1. 背景
項目中有1000萬條歷史案卷,為某地方坐標系數(shù)據(jù),我們的真實需求是將地方坐標系坐標反轉成WGS84坐標,如果現(xiàn)在需要將其轉換成百度坐標系數(shù)據(jù)。常規(guī)方案是先建立好整個該市的本地坐標和百度坐標之間的控制點庫后再進行轉換。但是在具體實施中發(fā)現(xiàn)轉換特別慢,由于控制點庫也有200多萬條記錄,大概一個點需要一秒鐘才能轉換完。
2.將Update變成Insert關鍵字段值的優(yōu)化——優(yōu)化1
最開始采用的是坐標轉換完后,直接update歷史案卷表。由于update的效率是相對低的,尤其是有一千萬條記錄時,即使對主鍵也做了索引,依然效率不高。這里便采用新建一張空表再insert的方案。同時考慮到不必要的字段太多,數(shù)據(jù)量太大,所以只將歷史案卷的主鍵和坐標insert到新表中的方案進行優(yōu)化。大概一個坐標轉完可以是0.9秒左右,有一定提高,但不是特別明顯。
3進行分表的優(yōu)化——優(yōu)化2
原始算法的轉換步驟是:先從歷史案卷表中獲取一條記錄,再根據(jù)記錄坐標去控制點庫獲取該坐標對應的四角坐標的坐標值,然后再根據(jù)算法轉換。
最明顯的瓶頸將出現(xiàn)在:
a.從歷史案卷中獲取坐標的時間。
b.從控制點庫中獲取到兩條記錄(左上角控制點對,右下角控制點對)的時間。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動安全 [無線安全]玩轉無線電——不安全的藍牙鎖 2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實現(xiàn)JSON轉Model - HandyJSON使用講解 2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應用分析 2017-07-26
- 集合結合數(shù)據(jù)結構來看看(二) 2017-07-26