Parallels Desktop13破解版的下载以及简单的操作可见：https://blog.csdn.net/weixin_41000111/article/details/79428402

本文仅仅是做一些补充。

关于在eclipse中运行爬虫scrapy框架的项目介绍如下。

scrapy官方文档：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/shell.html

首先打开终端将cd至eclipse目录下的（即eclipse-workspace），使用命令行scrapy startproject tutorial（其中的tutorial是自由选择的），之后会生成一个目录，将其目录移至一个python工程下。

如上图。

eclipse的界面主题更换

关于我的eclipse的界面主题更换（目前为eclipse Oxygen版本），在内置中已经可以作为一种选择了。

具体看图所示即可：

可供的选择有三种，其中的dark类型是比较护眼的，均可试试。

实际的dark展示：

爬取淘宝信息：

1，可用selenium模块与driver Chrome插件自动化模拟爬取。

2， 进行抓包爬取。

下面一一进行介绍并且贴出实现代码。但是在此必须说明一下，因为时间有限，相关模块不懂的还需要自行搜索，在此不做教程解说，只提供分析思路与代码实现过程。

学习博客推荐：https://cuiqingcai.com，
实际上我也是根据此博客学习到了一些知识，也是我参考学习的唯一博客。

最近学习一些python爬虫的框架，用selenium与Chromedriver插件结合Chrome浏览器来爬去网页源数据。

发现了如题的错误信息：

selenium.common.exceptions.WebDriverException: Message:
‘chromedriver ‘ executable needs to be in PATH. Please see
https://sites.google.com/a/chromium.org/chromedriver/home

在已配置好系统环境的前提下，用如下代码指定位置，或者是将Chromedriver插件放在工程文件下，均得到了如上的错误信息。

from selenium import webdriver
browser = webdriver.Chrome('/Users/junjieliu/Downloads/小插件/chromedriver')

以下是通过正则表达式爬取的猫眼电影以及豆瓣电影的相关的电影信息的代码过程。

最近因为学习到了爬虫的原因，存储数据需要mysql了，因为以前学习过其命令行，所以在之前安装过了，太久没用了，怎么开都不懂了，搞了几十分钟不想搞了，重新安装。下面记录下遇到的一些问题。

在学习爬虫的过程中，在运行编者的代码时出现了UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe8 in position 67986: ordinal not in range(128)的编码问题。

具体原因是因为程序默认的解析编码格式发生了冲突造成的，简单来说就是需要解析的内容与API程序默认的解析编码格式不同，所以才会出现如上的错误。

最近用homebrew下载mongodb，发现出现了Error: go: version missing for “gotools” resource!的错误，试了几次都不行，最后在谷歌用英文搜索关键词在GitHub的一个论坛用相关的解决方案。

打算重新好好系统的学习数据结构了。这是开始。

因为概念已经是烂大街了，在此只记录下我用java或者是python实现相关功能的代码。

查找

java实现