首页 存档 技术 查看内容

Python爬虫之模拟知乎登录

2018-3-30 13:00 |来自: 互联网 391 0

摘要: 昨天受邀在 CSDN 微信群做了一次 Python 技术分享,主题是《用Python模拟知乎登录》,效果非常不错,发现越来越多的人加入到了 Python 阵容中。 经常写爬虫的都知道,有些页面没登录是被禁止抓取的,比如知乎的话题 ...

昨天受邀在 CSDN 微信群做了一次 Python 技术分享,主题是《用Python模拟知乎登录》,效果非常不错,发现越来越多的人加入到了 Python 阵容中。

经常写爬虫的都知道,有些页面没登录是被禁止抓取的,比如知乎的话题页面就要求用户登录才能访问,而 “登录” 离不开 HTTP 中的 Cookie 技术。

登录原理

Cookie 的原理非常简单,因为 HTTP 是一种无状态的协议,因此为了在无状态的 HTTP 协议之上维护会话(session)状态,让服务器知道当前是和哪个客户在打交道,Cookie 技术出现了 ,Cookie 相当于是服务端分配给客户端的一个标识。

  1. 浏览器第一次发起 HTTP 请求时,没有携带任何 Cookie 信息

  2. 服务器把 HTTP 响应,同时还有一个 Cookie 信息,一起返回给浏览器

  3. 浏览器第二次请求就把服务器返回的 Cookie 信息一起发送给服务器

  4. 服务器收到HTTP请求,发现请求头中有Cookie字段, 便知道之前就和这个用户打过交道了。

实战应用

用过知乎的都知道,只要提供用户名和密码以及验证码之后即可登录。当然,这只是我们眼中看到的现象。而背后隐藏的技术细节就需要借助浏览器来挖掘了。现在我们就用 Chrome 来查看当我们填完表单后,究竟发生了什么?

(如果已经登录的,先退出)首先进入知乎的登录页面 https://www.zhihu.com/#signin ,打开 Chrome 的开发者工具条(按 F12)先尝试输入一个错误的验证码观察浏览器是如何发送请求的。

从浏览器的请求可以发现几个关键的信息

  1. 登录的 URL 地址是 https://www.zhihu.com/login/email

  2. 登录需要提供的表单数据有4个:用户名(email)、密码(password)、验证码(captcha)、_xsrf。

  3. 获取验证码的URL地址是 https://www.zhihu.com/captcha.webp?r=1490690391695

声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

相关分类

返回顶部