首页 ›存档› 技术 › 查看内容

一个Python小白的5个小时爬虫经历

2018-3-30 13:00 |来自: 互联网 366 0

摘要: 原文：http://www.cnblogs.com/panzi/p/6421826.html 作者：丶Pz 全文约 7840 字，读完可能需要 12 分钟。前言最近业余在做一个基于.NETCore的搜索项目，奈何基层代码写好了，没有看起来很华丽的数据供测试。很巧 ...

原文：http://www.cnblogs.com/panzi/p/6421826.html

作者：丶Pz

全文约 7840 字，读完可能需要 12 分钟。

前言

最近业余在做一个基于.NETCore的搜索项目，奈何基层代码写好了，没有看起来很华丽的数据供测试。很巧的也是博客搜索，于是乎想到了博客园。C# 也能做做页面数据抓取的，不过在博客园看到的大部分都是python实现，所以就临时想了一下看看python到底是什么东东。

不看基础语法，不看语言功能，直接上代码，哪里不会搜哪里。代码完成总共用时大概4个小时，其中搭建环境加安装BeautifulSoup大概1个小时。解析HTML用时间最多了，边看demo边解析，大概2个小时，剩下的时间就是调试加保存数据了。

环境搭建

既然用python，那么自然少不了语言环境。于是乎到官网下载了3.5版本的。安装完之后，随机选择了一个编辑器叫PyCharm，话说python编辑器还真挺多的。由于本人是小白，所以安装事项不在过多赘述。

建好项目，打开编辑器，直接开工。本来之前用C#写的时候，大体思路就是获取网页内容，然后正则匹配。后来发现网上的帖子也很多。不过在搜索过程中发现，不建议用正则来匹配HTML。有正好我的正则不太好，所以我就搜了一下HTML解析工具，果不其然，人家都做好了，直接拿来用吧。没错就是这个东东：BeautifulSoup。

安装也很简单，不过中间出了个小插曲，就是bs4没有。继续搜，然后需要用pip安装一下就好了。（当然我并不知道bs4和pip是什么鬼）

思路分析

博客吗，我当然就对准了博客园，于是乎，进入博客园首页，查看请求。

发送请求

当然我不知道python是怎么进行网络请求的，其中还有什么2.0和3.0的不同，中间曲曲折折了不少，最终还是写出了最简单的一段请求代码。


import urllib.parse
import urllib.request

# params CategoryId=808 CategoryType=SiteHome ItemListActionName=PostList PageIndex=3 ParentCategoryId=0 TotalPostCount=4000
def getHtml(url,values):
  user_agent='Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'
  headers = {'User-Agent':user_agent}
  data = urllib.parse.urlencode(values)
  response_result = urllib.request.urlopen(url '?' data).read()
  html = response_result.decode('utf-8')
  return html

#获取数据
def requestCnblogs(index):
  print('请求数据')
  url = 'http://www.cnblogs.com/mvc/AggSite/PostList.aspx'
  value= {
     'CategoryId':808,
     'CategoryType' : 'SiteHome',
     'ItemListActionName' :'PostList',
     'PageIndex' : index,
     'ParentCategoryId' : 0,
    'TotalPostCount' : 4000
  }
  result = getHtml(url,value)
  return result