MapReduce


  • 註冊用戶

    1. MapReduce介绍

    • MapReduce 最早来源于 Google 的几篇论文,它是一种编程模型,主要用于大规模数据集的并行运算。概念"Map(映射)"和"Reduce(归约)"是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce函数,用来保证所有映射的键值对中的每一个共享相同的键组。
    • count、distinct、group 能做的事情都可以通过 MapReduce 实现。它是一个简单并行化到多个服务器的聚合方法。它可以将任务拆分并发送到不同的服务器上,每台服务器完成其中一部分任务,当所有服务器都完成时再把结果汇集起来组成最终的完整结果。
    • MapReduce 是作为一个后台任务来执行,每次操作都会对集合中的所有文档做重新映射,在响应速度上有一定的延迟,一般只适用于超大数据量的聚合运算等,并不适用于实时查询。任务执行完成后会生成一个保存结果的集合,此时才可以对这个集合进行实时查询。

    本帖部分内容已隐藏,请登入并回覆,以查看隐藏内容!

  • 註冊用戶

    学习一下mongodb


  • 註冊用戶

    想看~快給我看~芝麻開門


  • Lv 1

    想看~快給我看~芝麻開門


  • Lv 1

    @jesseshi

    想看~快給我看~芝麻開門


  • 註冊用戶

    芝麻开门,学习一下


  • 註冊用戶

    嘛咪嘛咪哄,芝麻开门


  • 註冊用戶

    想看~快給我看~芝麻開門


登录后回复
 

与 萌阔论坛 的连接断开,我们正在尝试重连,请耐心等待