1、模拟请求网页模拟浏览器，打开目标网站获取数据打开网站之后，就可以自动化的获取我们所需要的网站数据保存数据拿到数据之后，需要持久化到本地文件或者数据库等存储设备中那么我们该如何使用 Python 来编写自己的爬虫；Python中可以通过selenium webdriver和webbrowser方法打开网页一selenium webdriver1首先需要安装selenium和webdriverpip install selenium2安装相应浏览器的driverexe，以chrome为例下载chromedriverexe文件，放到chrome的app；所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地 类似于使用程序模拟IE浏览器的功能，把URL作为；import urllibhtml = urllibopenurltext = htmlread复杂些可以用requests库，支持各种请求类型，支持cookies，header等 再复杂些的可以用selenium，支持抓取javascript产生的文本 我设计了简单的爬虫闯关网站；这里以python为例，简单介绍一下如何通过python网络爬虫获取网站数据，主要分为静态网页数据的爬取和动态网页数据的爬取，实验环境win10+python36+pycharm50，主要内容如下静态网页数据 这里的数据都嵌套在网页源码中；coding = ut8import requestsurl = #39#39html_str = requestsgeturltext # 发起请求，将结果转换为文本printstr如果你要提取数据可以采用正则xptah等方法。

2、用urllib或者urllib2推荐将页面的html代码下载后，用beautifulsoup解析该html然后用beautifulsoup的查找模块或者正则匹配将你想获得的内容找出来，就可以进行相关处理了，例如from BeautifulSoup import BeautifulSoup html = #39t；首先这样的信息是在网页上提供，那么进行爬取是不难的，网页请求方面对于python3x，可以学会requests库即可，对于python27，需要学会urllib2urllib即可网页的html获得之后，需要学会进行网页解析，这部分看具体需要，可以。

3、2之后我们要获取到用户正常登录的cookiepython提供了cookieJar的库，只要把cookieJar的实例作为参数传到urllib2的一个opener里面然后访问一次登录的页面，cookie就已经保存下来了之后通过这个实例访问所有的页面都带有正常登陆；1先了解网页抓取的逻辑过程 可参考整理关于抓取网页，分析网页内容，模拟登陆网站的逻辑流程和注意事项 2再 利用工具分析出需要的内容 是如何产生的 总结浏览器中的开发人员工具IE9的F12和Chrome的Ctrl+Shift；Spynner的简单使用 Spynner的功能十分强大，但是由于本人能力有限，就介绍一下如何显示网页的源码吧！ usrbinpython *coding utf8 * import spynner browser = spynnerBrowser创建一个浏览器对象；网站上不去，这个你懂的不过可以百度一下“python编写的新浪微博爬虫现在的登陆方法见新的一则微博“，可以找到一个参考的源码，他是用python2写的如果用python3写，其实可以使用urllibrequest模拟构建一个带cookies。

4、python3x中使用urllibrequest模块来抓取网页代码，通过函数取网页内容，获取的为数据流，通过read函数把数字读取出来，再把读取的二进制数据通过decode函数解码编号可以通过查看网页源代码中得知，如下；“我去图书馆”抢座助手，借助python实现自动抢座在使用“我去图书馆”公众号进行抢座的时候，在进行抢座前我们都会进入一个页面，选定要选的座位之后点击抢座通过分析网页源码，很容易定位座位元素的代码，座位元素的模；很早之前，学习Python web编程的时候，就涉及一个Python的urllib可以用urlliburlopenquoturlquotread可以轻松读取页面上面的静态信息但是，随着时代的发展，也来越多的网页中更多的使用javascriptjQueryPHP等语言动态生成；2接着安装bs4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pipinstallbs4”即可，如下3最后就是requests+BeautifulSoup组合爬取糗事百科，requests用于请求页面，BeautifulSoup用于解析页面。