千尋位置-監控平台使用 MongoDB


  • Lv 1

    _2017_03_13_1_17_0

    千尋的統一監控平台包含數據採集、分發、存儲、報表、監控等多個模塊,其中「存儲」和「報表」的模塊大量使用了mongoDB,分別解決數據存儲和數據分析的問題。

    在數據存儲方面,監控數據擁有固有的特性,比如監控的指標不固定,可能臨時增加;數據寫入的頻率比較固定,不會有大的波峰/谷流量出現;讀取的並發量比較低,但一次返回的數據量比較大,同時隨著數據不斷的累計,存儲量會越來越大。而mongoDB能很好的解決上述需求

    • mongoDB 無 schema 的特性,使得數據結構擴展起來非常方便
    • mongoDB 高性能以及數據壓縮的特性完全能慢滿足數據存儲的需求
    • mongoDB 的TTL索引的特性能自動的刪除過期的數據,確保存儲容量不會無限膨脹

    _2017_03_13_1_17_24

    千尋的報表模塊經歷了2個階段的發展,第一階段分析需求比較簡單,直接使用 mongoDB 的aggregation、mapReduce做數據分析來完成;而隨著業務方越來越多,報表的維度越來越細,開始使用spark(通過mongoDB spark connector)、阿里雲EMR等產品配合mongoDB做數據分析,效率更高,並且能滿足複雜查詢分析的需求。

    最後,千尋的同學分析了使用 mongoDB 過程中積累的經驗

    • 生產環境推薦「1主2次」的配置,保證服務高可用、數據高可靠 (註:要保證高可用,除了後端要多節點,還要正確的使用mongoDB driver,以
      本帖下載内容已隐藏,请登入以查看隐藏内容!
      ,極大的降低了運維管理成本。

登录后回复
 

与 萌阔论坛 的连接断开,我们正在尝试重连,请耐心等待