Python3网络爬虫实战

hshy

爬虫常用库
urllib
rullib.request

requests

selenium


下载
chromedriver.exe

from selenium import webdriver
driver = ebdriver.chrome()
driver.get('http://www.baidu.com')
driver.page_soure

phantomjs

java

with open('/var/tem/1.gif','wb') as f;      f.write(response.content)
       f.close()


解析方式：
直接处理
Json解析
正则表达式
BeautifulSoup
PyQuery
XPath


python3
import requests
request.get('http://m.weibo.com').text

如何解决javascript渲染的问题？
1.分析Ajax请求
2.Selenium/WebDriver ( 模拟浏览器加载)
from selenium import webdriver
driver = webdriver.chrome()
driver.get('http://www.baidu.com')
print(driver.page_soure)  和web浏览器中的源码数据一致


3.Splash   模拟js渲染

4.PyV8 、 Ghost.py  等其它库模拟加载js

怎样保存数据？
1.文本
2.关系型数据库      工具  DataGrip
3.非关系型数据库   工具  Robomongo
MongoDB  Redis等Key-Value4.二进制文件

java

Urllib Python内置的Http请求库urllib.request  请求模块
urllib.error  异常处理模块
urllib.parse  url解析模块
urllib.robotparser  robots.txt解析模块

与Python2的变化
Python2
import urllib2
response = urllib2.urlopen('http://www.baidu.com')

Python3
import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')


什么是Requests
Request是用Python语言编写，基于urllib,采用Apache2 Licensed开源协议的HTTP库。
它比urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。
一句话---Python实现的简单易用的HTTP库
安装 pip install requests

java

正则表达式
非Python独有,re模块实现

http://tool.oschina.net/regex  在线正则工具

java

BeautifulSoap
灵活又方便的网页解析库，处理高效，支持多种解析器。
利用它不用编写正则表达式即可方便地实现网页信息的提取。

安装
pip install beautifulsoup4

java

PyQuery
强大又灵活的网页解析库。如果你觉得正则写起来太麻烦，
如果你觉得BeautifulSoup语法太难记，如果你熟悉jQuery的语法，
那么PyQuery就是你的绝佳选择。

安装  pip install pyquery

from pyquery import PyQuery as pq
doc = pq(html)
print(doc('li'))

https://pyquery.readthedocs.io/en/latest/api.html

更多CSS内容：http://www.w3school.com.cn/css/index.asp

java

Selenium
自动化测试工具，支持多种浏览器。
爬虫中主要用来解决JavaScript渲染的问题。

安装pip install selenium

更多selenium使用方法  https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

下载 chromedriver.exe
http://chromedriver.chromium.org/
https://chromedriver.storage.googleapis.com/index.html

放到环境变量所包含的路径下如：
D:\ProgramFiles\Anaconda3\Scripts 目录下


selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 74
  (Driver info: chromedriver=74.0.3729.6 (255758eccf3d244491b8a1317aa76e1ce10d57e9-refs/branch-heads/3729@{#29}),platform=Windows NT 6.1.7601 SP1 x86_64)

查看自己的chrome版本，下载对应版本的chromedriver.exe
链接：https://pan.baidu.com/s/1hCNGhke3MNZ8KA9OCaJlbA
提取码：bguh



这时升级一下chrome到74版本
链接：https://pan.baidu.com/s/1uyyBL2XUW7zXUqusU81vyg
提取码：5vdp
安装无界面浏览器 Phantomjs

http://phantomjs.org/
链接：https://pan.baidu.com/s/1-ncbuB9rGBGLdcCu8fFS1Q
提取码：4vkn