CSV檔案大量匯入問題
-
想請問持續有 CSV 檔案產生，我想批次把 CSV 檔案匯入 MongoDB，之前爬文看到可以使用 mongoimport，
但是 CSV 檔案大小還蠻大的，可能 mongoimport 一執行完後馬上又立刻執行，一直持續不斷，
這樣會不會有什麼問題?
-
我最近在做这个实验，还是遇到了很多问题，首先就是越到后来速度必定会变慢。
第二是我非常头疼的问题是，会丢失数据，我没找到原因，希望能有人帮忙解决一下。
-
内存换页时容易导致资料错误，每导入一部分文档就回收一下内存，除非你的内存足够大。
-
-
目前看來只能先採用批次 insert 的方式來持續匯入資料了，若有更好的方式再請回覆，謝謝~
-
@yea 檔案蠻大是多大呢?
-
每個 CSV 檔案大概100MB上下，並不是固定的，有什麼好建議嗎?
-
最主要會提這個問題，是因為若可以直接使用 mongoimport，就可以不用提高程式的執行最高記憶體上限
-
我後來在測試單機 32g 內存
一次導入2.19G的CSV資料 導了300次 沒有報錯 資料沒有遺失
目前還在繼續加入導入的次數測試最大負荷
因此每個檔案100MB應該還算是可以負荷的範圍內
可能還是要看硬體資源夠不夠
