Python做爬虫和其他的方式做爬虫最大的区别应该在于. Python 可以将浏览器内核寄宿到程序里。例如Ie内核。火狐内核。google内核。然后可以模拟人对浏览器的操作。不是简单的发起HTTP请求然后解析页面就结束。而是可以在页面上进行多次点击操作。程序还能一直监听发生变化后的页面元素。


from selenium import webdriver
from lxml import etree
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

webdriver 是python 将浏览器寄宿到程序的框架。并且可以模拟用户的操作。也提供基本的HTML解析方式
selenium 是更深一层 操作浏览器和 解析HTML元素的框架。有时候 同一段代码 webdriver 解析不出来 selenium 就是能解析出来。可能底层优化的更好吧
etree 会将HTML 解析成对象。获取里面的属性。
三者结合使用或许效果更好。

https://www.cnblogs.com/Gao1234/p/15366222.html