主機異常關閉後mongodb二進位檔案損壞[他人案例分享]


  • Lv 1

    今天,在某個演示環境中,我們的產品經歷過整個機房斷電後,出現了mongodb二進位檔案損壞,以下是故障的分析記錄過程:

    1.在客戶處支撐的同事發現整個機房斷電再恢復後,3個mongodb複製集中,有1個主機上的mongodb服務狀態報錯

    2.登錄後臺發現複製集中每個mongodb主機上,mongod進程都在

    3.在服務狀態好著的mongodb主機上,通過mongo登錄資料庫,查詢複製集狀態,發現複製集狀態正常,1個primary+2個secondary,並且optimeDate時間一致.

    這個時候我就很好奇了,按說mongodb複製集狀態都正常著,不至於再出現其中1個節點上查詢mongodb服務狀態報錯的情況了.

    登錄報錯的主機上,通過mongo登錄資料庫,這時候,很詭異的事來了,終端上直接報錯:"Bus error",很奇怪啊,我這還是第一次遇到mongo命令報這個錯.感覺自己是不是遇到什麼詭異事件了.然後執行mongo --version,一樣的報錯"Bus error".

    這個時候,不知道怎麼的,就忽然想起很久遠時候的一個靈異事件了----最初做產品的兄弟遇到了這樣一個問題:同一個mongodb rpm包,安裝好之後,在某個主機上安裝的mongod的二進位檔案的md5和預期的不一樣了.

    然後就使用md5sum 去算這個提示"Bus error"的mongo,結果終端上直接報錯"Input/Output error"了,但是使用md5sum去算同目錄下另外幾個mongodb相關的檔就沒報錯.

    到這個時候,我意識到作業系統可能出了啥故障了.喊了作業系統組的同事看了下,----剛開始還以為是只有mongo這個二進位檔案被人或者其他服務給修改了,但是,在我們準備把這個損壞的mongo二進位檔案備份到另外一個目錄的時候,終端上繼續報錯了"cp *** Input/Output error".

    本帖部分内容已隐藏,请登入并回覆,以查看隐藏内容!


  • 註冊用戶

    想看~快給我看~芝麻開門


  • Lv 1

    @leo

    看看看看看看


  • 註冊用戶

    结果呢?想看大结局


  • 註冊用戶

    芝麻開門.快給我看吧


登录后回复
 

与 萌阔论坛 的连接断开,我们正在尝试重连,请耐心等待