在我学习了一段时间的Hadoop之后开始了简单的实践,也开始了处理百万级的数据了(几百MB),结果发现用我的MacBook Pro跑的效果还不错(即伪分布式连接eclipse的前提下,其教程可以在我博客中可以找到)。
下面简单说说一些问题。
突然连接不上了
解决:
查看配置文件的填写是否正确,特别是一个字母的是否缺失的检查;
连接信息的准确性;
将eclipse,Hadoop都关闭重启;
电脑整个重启;
一般大多数都可以解决了
- 文件导入
input
发现均为0KB
解决:
全部关闭重启,不行则电脑重启;
- 导入的文件过大,导致在
output
端的输出查看不了,即一般情况出现Editor could not be initialized.
的字样
解决:
在终端利用命令行查询输出文件(不推荐,文件过大易卡死);
简单的方法,将其从HDFS下载至本地即可轻松查看(如下图);
以后有问题再在此补充。