关于Hadoop在连接eclipse中开发出现的问题

在我学习了一段时间的Hadoop之后开始了简单的实践,也开始了处理百万级的数据了(几百MB),结果发现用我的MacBook Pro跑的效果还不错(即伪分布式连接eclipse的前提下,其教程可以在我博客中可以找到)。

下面简单说说一些问题。

  • 突然连接不上了

    解决:

查看配置文件的填写是否正确,特别是一个字母的是否缺失的检查;

连接信息的准确性;

将eclipse,Hadoop都关闭重启;

电脑整个重启;

一般大多数都可以解决了


  • 文件导入input发现均为0KB

解决:

全部关闭重启,不行则电脑重启;


  • 导入的文件过大,导致在output端的输出查看不了,即一般情况出现Editor could not be initialized.的字样

解决:

在终端利用命令行查询输出文件(不推荐,文件过大易卡死);

简单的方法,将其从HDFS下载至本地即可轻松查看(如下图);


以后有问题再在此补充。

---------------本文终---------------

文章作者:刘俊

最后更新:2019年01月02日 - 15:01

许可协议: 转载请保留原文链接及作者。