关于用java编译的mapreduce与用Scala编译的spark的对比(单词统计的例子说明)

最近在学习spark,顺便也学习了Scala的在其间的使用。我发现与用java编译的mapreduce相比,用Scala编译的spark更加的容易让人被其折服…

直接看图说话吧,感受spark的强大!以统计单词为例。

  • 以下为java编译的mapreduce

70+行的代码。


  • Scala编译的spark

仅仅为6行代码….


  • 同样的结果如下:


  • 最后,据说官方会考虑将mapreduce优化,拭目以待吧…相比如今的spark的威力…

记录此文章仅仅是为了表达我心中的兴奋,因为遇到了spark

---------------本文终---------------