最近看到了一篇文章,一个基于有道的词典小工具,心血来潮,想着自己来写一个试试看。
下面我将用python完成接口的对接(即进行抓包),并且用pyQT5实现对应的GUI界面。接下来就是事件机制的编写了,这样任务就完成了。
The House Belong to Love and Freedom.
最近看到了一篇文章,一个基于有道的词典小工具,心血来潮,想着自己来写一个试试看。
下面我将用python完成接口的对接(即进行抓包),并且用pyQT5实现对应的GUI界面。接下来就是事件机制的编写了,这样任务就完成了。
爬取拉勾网的最大障碍:普通模块难以实现翻页爬取。自己加了参数page
,经过抓包查询之后也达不到我的理想要求。
没办法了,只好用selenium模块结合浏览器来实现边翻页边爬取了。
实际上比较浪费系统资源,这种情况不得已还是尽量别用的好。
在此记录下主要的过程,包括实现的代码。
还是要说明一下:不懂的地方还是需要自己去查询了解,代码不过就是几个模块的知识运用罢了。
最近总是遇到了许多的瓶颈…即感觉认识的知道的太少了。
在前些天看到了一些关于python的优化内容之后,加上之前用python也有一段时间了,突然的感觉到一些基础细节才是最重要的,我意识到了这往往可能就是人与人技术之间的一个分水岭,也往往是突破瓶颈关键点,也往往能决定一个人技术的所在点。基础细节知识是能决定一个人能走多远的
平时在获取爬虫之后,会不满足于仅仅得到了结果,而是想经过一个交互式的界面来进一步的完善,获取更多的功能,从而可以更好的展示数据。
下面运用了python的pyqt5库来进行GUI的设计。
用pyqt5这个库实现简单的界面化有两种方法:
编写代码(一般为几十行代码足够了)。
结合QT Creator来进行界面设计,加入信号与槽的机制,槽这一方面还是需要编写相应的几行代码。
下面一一进行简单的介绍。
关于Jupyter Notebook的介绍就不在此多说了。
官网教程:
https://jupyter-notebook.readthedocs.io/en/stable/notebook.html
直接开始介绍整个流程好了。
先下载Anaconda,里面有包含了现成的Jupyter Notebook,之后我们打开Anaconda客户端即可直接使用Jupyter Notebook了。
老早就想将一些数据库里的数据来进行交互式的实现了,之前看了有主要的两种方法:
一是pyQt5这个库,结合Qt creator来进行完成。
另外就是通过网页形式来进行交互式的实现了。
在接触了前者之后发现学习的时间成本比较高一些,所以打算选择后者了…