在学习spark中,reduce方法是绕不开的。但是我在测试时发现与从前的规则好像有一点冲突了…
如下分析:
- 输入代码
1, val a=sc.parallelize(1 to 10)//理论上理解为0~9的数字放在一个分区
2, a.reduce((x,y) => x+y)
- 输出
55//即意味着从0(0可省亦可)到10(包括10在内了,与上方的to方法冲突了)都被相加了…
这测试我想了老半天了…没想到是这种结果…bug???
The House Belong to Love and Freedom.