Leaf in the Wild: KPMG France通过新的MongoDB Data Lake进入云计算时代


  • 管理員

           

            不管你喜欢还是讨厌它,“大数据”一词在每个行业都能得到人们的关注和认同。 不再仅仅是互联网公司的专利,传统的企业正在以“大数据”的方式进行创新,这在几年前是不可想象的。

             一个很好的例子是KPMG France部署了一个基于MongoDB的data lake,以支持其名为Loop的会计套件,并发布业界首创的财务基准测试服务,使KPMG France客户能够洞察到每一个他们的业务如何真正执行。 在大数据的真正意义上,这个应用程序将真正地超越传统数据管理技术的能力。 我与KPMG France技术服务总监Christian Taltas进行了交流,以了解更多信息。.

    您能告诉我们关于KPMG France的事情吗?

            KPMG是世界上最大的专业服务公司之一,在155个国家开展独立业务,员工人数为17.4万人。KPMG提供企业、政府和非营利性组织所使用的审计、税务和咨询服务。

            KPMG France为6.5万客户提供会计服务。 我是KPMG技术服务(KTS)的总经理,KTS是KPMG France的软件公司的子公司。 KTS开发了Loop,一个完整的协同会计解决方案,由KPMG France的注册会计师(CPAs)及其客户使用。

            请描述一下您如何使用MongoDB?

             MongoDB数据库驱动Loop会计套,由KPMG的4,800个CPAs使用。 该套件目前还与约2,000名KPMG的客户合作使用。 我们预计超过2万名客户在未来18个月内采用Loop的协同会计。

    MongoDB为会计套件提供什么服务?

    它为套件提供多种功能:

    Data Lake:客户业务系统中的所有原始会计数据,如销售数据,发票,银行对账单,现金交易,费用,工资单等,都从Microsoft SQL Server进入MongoDB。我们的CPAs可以访问这些数据,以生成客户的KPI。我们为客户开发的一个特有的功能是财务基准测试。我们可以使用MongoDB data lake中的数据,使我们的客户能够将其财务业绩与指定地理区域内相同行业的竞争对手进行比较。他们可以比较薪金水平,费用,利润率,营销成本(实际上几乎所有的财务指标),以帮助确定其在同一行业,地区和市场上与其他公司相比的整体市场竞争力。 MongoDB data lake使我们能够管理大量的结构化、半结构化和非结构化数据,我们可以运行支持高级分析和商业智能指示板的临时和预定义查询。我们正在不断地向data lake添加新数据,同时支持数千个并发用户。

    元数据管理:我们会计套件的另一个独特之处是,可以根据他们想要跟踪的特定标准,为每个客户定制报表。例如,一家连锁餐厅将对不同的指标感兴趣,而不是一家建筑公司。我们通过为每个客户创建一个独特的模式,这些客户从标准的业务应用程序模式继承而来,然后将其写入MongoDB来实现此定制。它存储每个客户的模式类,然后在生成帐户和报告时应用于运行时。 Loop应用程序被设计为一个业务框架,可以实时生成报表,运行在Node.js之上。 MongoDB帮助我们管理整个应用程序代码库,以便根据用户的角色和配置文件(例如:簿记员,CPA,销售主管)向每个用户提供正确的模式和应用程序业务模块。 MongoDB文档数据模型的灵活性是一个非常强大的特性,我们无法用传统的关系数据模型强加的约束来实现它。

    缓存层:用户体验至关重要,因此我们使用MongoDB作为高速层来管理用户认证和会话。

    日志层:我们还使用MongoDB来存储所有每天Loop应用程序的数百万客户端请求。这使我们能够在日志顶部构建Tableau报告,以排除每个用户会话和遍布法国的220个区域的KPMG网站的生产性能问题。我们正在使用MongoDB Connector for BI在Tableau中生成这些报告。

    您为什么选择MongoDB?

            当我们在2012年开始开发时,我们知道我们需要模式灵活性来处理会计套件需要存储和处理的数据结构中的巨大差异。这一要求取消了传统关系数据库对处理缓存、元数据管理和KPI基准测试计算的资格。当我们探索不同的NoSQL选项时,我们担心我们会通过运行单独的缓存和数据库来过度复杂我们的架构。然而,在性能测试中,MongoDB提供了灵活性和可扩展性,可以为这两种用例提供服务。它的性能优于NoSQL数据库和我们测试的专用缓存,因此我们决定在MongoDB上构建我们的平台。

            由于我们的会计套件是基于JavaScript的,JavaScript应用程序和数据库之间的紧密集成也是帮助我们加快开发周期的重要优势。

             在去年开发新的财务基准测试服务时,我们评估了Microsoft的Azure DocumentDB,但MongoDB提供了更丰富的查询和索引功能。我们还考虑在Hadoop上构建基准分析,但MongoDB的体系结构加上聚合流水线的优势,为我们提供了一个更简单的解决方案,同时提供了我们需要的data lake功能。 MongoDB 3.2中提供的聚合增强功能,特别是引入$ lookup操作符,是我们技术决策的关键。

    您能描述您的MongoDB部署是什么样的?

            缓存层和元数据管理都在专用的三个节点副本集上运行。 这为会计套件提供了故障恢复能力,以确保始终保持可用性。 元数据主要是只读的,而缓存层提供混合的读/写工作负载。

            Data lake被部署为分片集群,处理来自客户端业务系统的大量数据,同时提供复杂的分析查询并向CPAs报告。

            在从我们自己的数据中心迁移之后,我们在Microsoft Azure cloud中的Windows实例上运行MongoDB。 我们需要确保我们可以满足应用程序的可扩展性要求,而cloud是更好的做法,而不是集中于我们自己的基础架构。

    您如何支持和管理您的部署?

            我们使用MongoDB Enterprise Advanced,我们可以从MongoDB工程师,Cloud Manager操作平台和MongoDB BI连接器获得24x7的主动支持。最近我们也采用了MongoDB咨询服务的Production Readiness package。

    随着我们从自己的本地部署迁移到Azure,专业服务,技术支持和高级管理软件的结合证明是非常宝贵的:

    • MongoDB顾问审查了我们的运营流程和Azure部署计划,从而能够提供指导和最佳实践来执行迁移,而不会中断业务。他们还帮助我们创建了一个操作手册,以使未来的最佳实践制度化。
    • Cloud Manager能自动配置并且部署MongoDB 的实例到Azure上,现在我们依靠它来处理正在进行的升级和维护。 在UI中进行几次简单的点击就可以消除我们开发自己的配置管理脚本的需要。
    • Cloud Manager还为我们的MongoDB数据库提供了高分辨率的遥测数据,使我们能够在影响CPAs之前主动处理任何问题。
    • 数据完整性显然是我们业务的关键,因此Cloud Manager在提供data lake 的连续备份方面是非常宝贵的。我们评估了自己管理备份,但对于MongoDB来说,作为Cloud Manager备份服务的一部分,为我们管理它更具成本效益。


    作为向Azure迁移的一部分,您还迁移到最新的MongoDB 3.2版本。可以分享升级的结果吗?

             一个词 - 可扩展性。 MongoDB 3.2现在使用WiredTiger作为其默认存储引擎,我们可以在更低的硬件面积上实现更高的吞吐量和可扩展性。

             会计套件现在支持近7000个内部和外部客户,其中半数连接平均每个工作日5小时。但我们计划在未来18个月内将其推广到20,000个客户。我们已经能够根据我们的开发集群加载测试套件,而MongoDB已经扩展到5倍的当前会话、分析和数据量,而没有任何问题。 WiredTiger的文档级并发控制和存储压缩是这些结果的关键。

    您对Loop会计套件有什么未来的计划?

            我们希望自动化更多的基准测试,并进一步开展数据挖掘,为客户构建预测分析模型。这将使我们能够提供针对历史数据的基准,并评估未来可能的业务成果。我们计划在MongoDB data lake使用Azure机器学习框架。

    您如何衡量MongoDB对您的业务的影响?

           我们估计,通过为会计套件选择MongoDB,我们至少可以比使用其他非关系型数据库快50%的时间进入市场。与JavaScript紧密集成,灵活的数据模型,开箱即用的性能和复杂的管理平台都是提高开发人员生产率和降低运营成本的关键。

           会计套件的财务基准测试服务是一项高度创新的应用,为KPMG France提供了显着的竞争优势。我们可以访问大量的客户信息,这些信息通过我们的data lake建立在MongoDB上。它允许我们有效地存储数据,同时支持丰富的分析功能,以提供其他会计实践无法匹配的见解。

    Christian,谢谢您花时间与MongoDB社区分享您的见解。

    想实现data lake?从我们的指南中了解更多信息:

    使用MongoDB将在线大数据提供给BI &Analytics

    关于作者 - Mat Keep

    MatMongoDB产品营销团队的一员,负责为MongoDB产品和服务构建愿景、定位和内容,包括分析市场趋势和客户要求。 加入MongoDB前,MatOracle Corp的产品管理主管,负责与web、电信、云和大数据工作负荷有关的MySQL数据库。 下属职位包括技术供应商和最终用户公司的一系列销售、业务发展和分析员/程序员职位。


登录后回复
 

与 萌阔论坛 的连接断开,我们正在尝试重连,请耐心等待