首页 存档 技术 查看内容

Python爬虫实战之使用Scrapy爬起点网的完本小说

2018-3-30 13:00 |来自: 互联网 595 0

摘要: 作者:totcw 来源:http://blog.csdn.net/totcw/article/details/65444660 一.概述本篇的目的是用scrapy来爬取起点小说网的完本小说,使用的环境ubuntu,至于scrapy的安装就自行百度了。 二.创建项目scrapy startproj ...

作者:totcw

来源:http://blog.csdn.net/totcw/article/details/65444660

一.概述


本篇的目的是用scrapy来爬取起点小说网的完本小说,使用的环境ubuntu,至于scrapy的安装就自行百度了。

二.创建项目


scrapy startproject name 通过终端进入到你创建项目的目录下输入上面的命令就可以完成项目的创建.name是项目名字.

三.item的编写


我这里定义的item中的title用来存书名,desc用来存书的内容.、

四.pipelines的编写


在pipelines可以编写存储数据的形式,我这里就是使用txt形式的文件来存储每一本书

五.Setting的编写


只要将下面代码中的tutorial替换成自己项目的名字就可以

六.spider的编写


七.总结


通过上面的代码虽然可以获取所有书的内容,但是起点是有vip**的,也就是说必须用起点的vip帐号登录才能查看完本的小说,因此这有点遗憾,我没有起点小说网的会员.


金三银四课程特惠

马哥教育精英线下Linux班郑州校区开班倒计时,优惠四重享,赠送高达4000元的学习大礼包:

第一重:4月30日前报名,立减400元,名额有限抢完为止;

第二重:4月30日前报名,赠送马哥教育内部Linux知识精讲教材一本(价值666元);

第三重:4月30日前报名,赠送马哥教育实体服务器使用资格(价值1666元);

第四重:4月30日前报名,赠送马哥教育云学堂学习权限1个(价值1999元);


课程详情,请咨询学习顾问:



马哥教育一号女神,温柔可人,最懂IT男

豌豆

Linux面授班,报名优惠400元,名额有限,抢完为止!



声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

相关分类

返回顶部