CSV檔案大量匯入問題
-
想請問持續有 CSV 檔案產生,我想批次把 CSV 檔案匯入 MongoDB,之前爬文看到可以使用 mongoimport,
但是 CSV 檔案大小還蠻大的,可能 mongoimport 一執行完後馬上又立刻執行,一直持續不斷,
這樣會不會有什麼問題?
-
我最近在做这个实验,还是遇到了很多问题,首先就是越到后来速度必定会变慢。
第二是我非常头疼的问题是,会丢失数据,我没找到原因,希望能有人帮忙解决一下。
-
内存换页时容易导致资料错误,每导入一部分文档就回收一下内存,除非你的内存足够大。
-
-
目前看來只能先採用批次 insert 的方式來持續匯入資料了,若有更好的方式再請回覆,謝謝~
-
@yea 檔案蠻大是多大呢?
-
每個 CSV 檔案大概100MB上下,並不是固定的,有什麼好建議嗎?
-
最主要會提這個問題,是因為若可以直接使用 mongoimport,就可以不用提高程式的執行最高記憶體上限
-
我後來在測試單機 32g 內存
一次導入2.19G的CSV資料 導了300次 沒有報錯 資料沒有遺失
目前還在繼續加入導入的次數測試最大負荷
因此每個檔案100MB應該還算是可以負荷的範圍內
可能還是要看硬體資源夠不夠