1 爬虫介绍
爬虫是什么？
-通过编程技术，把互联网中的数据获取经过数据清洗，存到库中
python:request,selenium---》app，小程序，网站---》xpaht，lxml---》mysql，redis，文件，excel，mongodb-通过编程语言---》模拟发送http请求---》获取数据---》解析--》入库-爬取过程 解析过程 会遇到反扒-抓app，小程序---》抓包工具---》抓取手机发送的所有请求-charles-Fiddler爬虫协议
-君子协议
-https://xxx/robots.txt百度就是一个爬虫
-百度/谷歌 搜索引擎---》启动了一个爬虫---》一刻不停的在互联网中爬取网站---》存到库中(es)
-用户在百度输入框中---》输入搜索内容---》去百度的库中搜索--》返回给前端---》前端点击---》去了真正的地址-seo 优化-不花钱---》搜索关键词的结果---》排的靠前-伪静态-sem 优化-花钱买关键词2 requests模块介绍和快速使用
requests:模拟发送http请求模块---》封装了urlib3[python内置的发送http请求的模块]
requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求# 第三方
pip3 install requests3 requests发送get请求
# requests可以模拟发送http请求，有的时候，网站会禁止---》禁止的原因是：模拟的不像，有的东西没带# http请求:请求头中没带东西，没带cookie，客户端类型，referer...import requests# 这个网站没有反扒
res=requests.get('https://www.cnblogs.com/')
print(res.text) # 响应体内容4 携带get参数
import requests
# 1 url编码和解码 %E4%B8%8A%E6%B5%B7 ===》上海
# res=requests.get('https://api.map.baidu.com/place/v2/search?ak=6E823f587c95f0148c19993539b99295®ion=上海&query=肯德基&output=json')# 2 携带get参数，第二种方式
params = { 'ak': '6E823f587c95f0148c19993539b99295', 'region': '上海', 'query': '肯德基', 'output': 'json',
}
res = requests.get('https://api.map.baidu.com/place/v2/search',params=params)print(res.text) # 响应体内容### url 编码和解码from urllib.parse import quote,unquote# s='上海' # %E4%B8%8A%E6%B5%B7
# print(quote(s))print(unquote('%E4%B8%8A%E6%B5%B7'))5 携带请求头
import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
res = requests.get('https://dig.chouti.com/',headers=headers)
print(res.text)6 携带cookie
import requests'''
是否登录---》有个标志1 前后端混合项目---》登录信息-->放在cookie中了2 前后端分离项目---》登录信息--》后端规定的--》放在请求头的'''### 携带cookie的第一种方式：放在cookie参数中---》cookie特殊--》后期用的频率很高
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
}
data = {'linkId': '41566118'
}
cookie = {'token': 'eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJqaWQiOiJjZHVfNTMyMDcwNzg0NjAiLCJleHBpcmUiOiIxNzEwOTAxOTY5NTM2In0.eseWTCMqp-yHa7rWgSvPhnWVhhQAgqGIvIgLGbvcBcc'
}# 没有登录---》返回的数据不是咱们想要的
res = requests.post('https://dig.chouti.com/link/vote', headers=headers, data=data, cookies=cookie)
print(res.text)
7 发送post请求
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36','Cookie': 'deviceId=web.eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJqaWQiOiJiNjEzOGM2OS02ZWRlLTQ3MWItODI4Yy03YTg2ZTE3M2E3NjEiLCJleHBpcmUiOiIxNzEwOTAxNjM1MTMxIn0.JluPFMn3LLUGKeTFPyw7rVwR-BWLiG9V6Ss0RGDHjxw; Hm_lvt_03b2668f8e8699e91d479d62bc7630f1=1708309636; __snaker__id=miaeDoa9MzunPIo0; gdxidpyhxdE=lMhl43kDvnAOqQQcQs9vEoTiy8k90nSwfT3DkVSzGwu3uAQWI9jqa2GcIUvryeOY0kX6kfPuhJUAGrR6ql0iv%2F6mCzqh6DHE1%5CP%2BaIXeUQgLcfqlklCcq2V9CgWbvQRGeRaduwzkcPYwf6CXZiW9a87NxU%2BRlYq57Zq01j2gMK0BaX%2FK%3A1708310847499; token=eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJqaWQiOiJjZHVfNTMyMDcwNzg0NjAiLCJleHBpcmUiOiIxNzEwOTAxOTY5NTM2In0.eseWTCMqp-yHa7rWgSvPhnWVhhQAgqGIvIgLGbvcBcc; Hm_lpvt_03b2668f8e8699e91d479d62bc7630f1=1708309982'
}
data = {'linkId': '41566118'
}
# 没有登录---》返回的数据不是咱们想要的
res = requests.post('https://dig.chouti.com/link/vote', headers=headers, data=data)
print(res.text)8 post请求携带参数
import requests
# 方式一：data参数:urlencoded
# post请求：三种编码方式：json，urlencoded，form-data
# 咱们以data字典形式携带--->urlencoded编码---》最终它会被编码为---》name=lqz&age=19 -->放在请体中
# res=requests.post('地址',data={'name':'lqz','age':19})
res=requests.post('地址',data=b'name=lqz&age=19')# 方式二：json编码:json
# 咱们以json字典形式携带--->json编码---》最终它会被编码为---》{'name':'lqz','age':19} -->放在请体中
res=requests.post('地址',json={'name':'lqz','age':19})9 模拟登录
发送post请求---》一般登录接口---》post请求---》登录成功后---》能拿到：登录信息---》以后再发请求---》携带登录信息--》就是登录状态
可见即可爬
import requestsdata = {'username': 'xxx@qq.com','password': '123','captcha': '3333','remember': '1','ref': ' http://www.aa7a.cn/', # 登录成功，重定向到这个地址'act': 'act_login',
}
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
res = requests.post('http://www.aa7a.cn/user.php', headers=header, data=data)
print(res.text)
# 登录成功的cookie
cookies=res.cookies
print(cookies)# 向首页发送请求--->登录状态
res=requests.get('http://www.aa7a.cn/',cookies=cookies)
print('xxx@qq.com' in res.text)10 session对象
# http 请求，每次都是一个新的---》cookie需要自己处理携带
# session可以自动处理cookie，不需要手动携带了
import requestssession=requests.session()
# 以后发送请求使用sessiondata = {'username': 'xxx@qq.com','password': '1233','captcha': '3333','remember': '1','ref': ' http://www.aa7a.cn/', # 登录成功，重定向到这个地址'act': 'act_login',
}
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
res = session.post('http://www.aa7a.cn/user.php', headers=header, data=data)# 向首页发送请求--->登录状态res=session.get('http://www.aa7a.cn/')
print('616564099@qq.com' in res.text)——session可以自动处理cookie，不需要手动携带了
11 响应对象
# response 对象---》http响应### 使用requests模块
# 发送请求：request对象：请求头，请求参数，请求体---》本质就是http请求--》被包装成一个对象
# 响应回来：response对象：http响应--》cookie，响应头，响应体。。### django框架-request：http请求-response：http响应# requests模块的response对象中有哪些东西？# 爬取图片--》图片防盗链---》referfer--》请求头中即可
import requests# header = {
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
# }
# respone = requests.get('https://www.jianshu.com/',headers=header)
# # respone属性
# print(respone.text) # 响应体---》字符串形式
# print('------------')
# print(respone.content) # 响应体---》bytes格式
# print('------------')
# print(respone.status_code) # 响应状态码
#
# print(respone.headers) # 响应头
# print(respone.cookies) # 响应的cookie
# print(respone.cookies.get_dict()) # cookiejar对象--->转成字典格式
# print(respone.cookies.items()) # cookie的value值
#
# print(respone.url) # 请求地址
# print(respone.history) # 访问历史---》重定向，才会有
#
# print(respone.encoding) # 编码格式# response.iter_content() # 图片,视频---》迭代着把数据保存到本地# 如果下载图片，视频。。。# 图片防盗链---》通过referer做的--》请求头中有个referer参数--》上次访问的地址
# res=requests.get('https://tupian.qqw21.com/article/UploadPic/2022-2/20222102371522350.jpg')
header={'Referer':'https://www.tupianzj.com/'
}
res=requests.get('https://img.lianzhixiu.com/uploads/allimg/180514/9-1P514153131.jpg',headers=header)
# print(res.content)
# with open('美女.jpg','wb') as f:
# f.write(res.content)
with open('code.jpg','wb') as f:for line in res.iter_content(chunk_size=1024):f.write(line)12 ssl 认证
http 和 https区别
-http：超文本传输协议
-https：安全的超文本传输协议
-https=http+ssl/tls
-防止：篡改，截取。。。。
-必须有证书：才能通信
import requestsheader = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
respone = requests.get('https://www.jianshu.com/',headers=header,verify=False)
# respone = requests.get('https://www.jianshu.com/',headers=header,cert=('/path/server.crt','/path/key'))
print(respone.text)13 使用代理
正向代理---》反向代理
代理有免费和收费的
-大神写了开源的免费代理---》原理：有些网站提供免费的代理--》爬虫技术---》爬取别人的免费代理--》验证过后---》自己用
import requestsres = requests.get('http://demo.spiderpy.cn/get/?type=https')
print(res.json())
print(res.json()['proxy'])# 112.30.155.83:12792
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36'
}
# respone = requests.get('https://www.jianshu.com/', headers=header, proxies={'https': res.json()['proxy']})
respone = requests.get('https://www.jianshu.com/', headers=header)
print(respone.text)
14 超时设置，异常处理，上传文件
超时
import requests
respone=requests.get('https://www.baidu.com',timeout=0.0001)异常处理
import requests
from requests.exceptions import * #可以查看requests.exceptions获取异常类型try:r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:print('===:')
# except ConnectionError: #网络不通
# print('-----')
# except Timeout:
# print('aaaaa')except RequestException:print('Error')上传文件
import requests
files={'file':open('a.jpg','rb')}
respone=requests.post('http://httpbin.org/post',files=files)
print(respone.status_code)
