最近在学习spark,顺便也学习了Scala的在其间的使用。我发现与用java编译的mapreduce相比,用Scala编译的spark更加的容易让人被其折服…
直接看图说话吧,感受spark的强大!以统计单词为例。
- 以下为java编译的mapreduce
70+行的代码。
- Scala编译的spark
仅仅为6行代码….
- 同样的结果如下:
- 最后,据说官方会考虑将mapreduce优化,拭目以待吧…相比如今的spark的威力…
记录此文章仅仅是为了表达我心中的兴奋,因为遇到了spark…