CSV檔案大量匯入問題


  • 註冊用戶

    想請問持續有 CSV 檔案產生,我想批次把 CSV 檔案匯入 MongoDB,之前爬文看到可以使用 mongoimport,

    但是 CSV 檔案大小還蠻大的,可能 mongoimport 一執行完後馬上又立刻執行,一直持續不斷,

    這樣會不會有什麼問題?


  • 註冊用戶

    我最近在做这个实验,还是遇到了很多问题,首先就是越到后来速度必定会变慢。

    第二是我非常头疼的问题是,会丢失数据,我没找到原因,希望能有人帮忙解决一下。



  • @yea

    内存换页时容易导致资料错误,每导入一部分文档就回收一下内存,除非你的内存足够大。


  • 註冊用戶

    @AJW

    看到你的實驗了,已關注~ 再等你的結論,感謝~

    本帖下載内容已隐藏,请登入以查看隐藏内容!
    连续导入多个csv时-失去连接造成部分数据丢失


  • 註冊用戶

    目前看來只能先採用批次 insert 的方式來持續匯入資料了,若有更好的方式再請回覆,謝謝~


  • Lv 1

    @yea 檔案蠻大是多大呢?


  • 註冊用戶

    @Amber

    每個 CSV 檔案大概100MB上下,並不是固定的,有什麼好建議嗎?


  • 註冊用戶

    最主要會提這個問題,是因為若可以直接使用 mongoimport,就可以不用提高程式的執行最高記憶體上限


  • Lv 1

    我後來在測試單機 32g 內存 

    一次導入2.19G的CSV資料 導了300次 沒有報錯 資料沒有遺失

    目前還在繼續加入導入的次數測試最大負荷

    因此每個檔案100MB應該還算是可以負荷的範圍內

    可能還是要看硬體資源夠不夠


登录后回复
 

与 萌阔论坛 的连接断开,我们正在尝试重连,请耐心等待