python爬虫教程(最简单的python爬虫项目)

python爬虫教程

用一个精彩的答复作为最初：怎么入门Python爬虫？-谢科的答复
如果你想学习编程，可是找不到学习途径和资源，欢迎重视专栏：学习编程
榜首：Python爬虫学习系列教程（来源于某博主：http://cuiqingcai.com/1052.html）
全体目录：
一、爬虫入门
1.Python爬虫入门一之综述
2.Python爬虫入门二之爬虫基础了解
3.Python爬虫入门三之Urllib库的根本运用
4.Python爬虫入门四之Urllib库的高级用法
5.Python爬虫入门五之URLError异常处理
6.Python爬虫入门六之Cookie的运用
7.Python爬虫入门七之正则表达式
二、爬虫实战
1.Python爬虫实战一之爬取糗事百科段子
2.Python爬虫实战二之爬取百度贴吧帖子
3.Python爬虫实战三之实现山东大学无线网络掉线主动重连
4.Python爬虫实战四之抓取淘宝MM相片
5.Python爬虫实战五之模拟登录淘宝并获取一切订单
6.Python爬虫实战六之抓取爱问知识人问题并保存至数据库
7.Python爬虫实战七之计算大学本学期绩点
8.Python爬虫实战八之使用Selenium抓取淘宝匿名旺旺
三、爬虫利器
1.Python爬虫利器一之Requests库的用法
2.Python爬虫利器二之BeautifulSoup的用法
3.Python爬虫利器三之Xpath语法与lxml库的用法
4.Python爬虫利器四之PhantomJS的用法
5.Python爬虫利器五之Selenium的用法
6.Python爬虫利器六之PyQuery的用法
四、爬虫进阶
1.Python爬虫进阶一之爬虫结构概述
2.Python爬虫进阶二之PySpider结构装置配置
3.Python爬虫进阶三之爬虫结构Scrapy装置配置
4.Python爬虫进阶四之PySpider的用法
第二（榜首的姊妹篇）：Python爬虫入门教程（来源于博主：blog.csdn.net/column/details/why-bug.html）
教程目录：
[Python]网络爬虫（一）：抓取网页的意义和URL根本构成
[Python]网络爬虫（二）：使用urllib2经过指定的URL抓取网页内容
[Python]网络爬虫（三）：异常的处理和HTTP状态码的分类
[Python]网络爬虫（四）：Opener与Handler的介绍和实例使用
[Python]网络爬虫（五）：urllib2的运用细节与抓站技巧
[Python]网络爬虫（六）：一个简单的百度贴吧的小爬虫
[Python]网络爬虫（七）：Python中的正则表达式教程
[Python]网络爬虫（八）：糗事百科的网络爬虫（v0.3）源码及解析(简化更新)
[Python]网络爬虫（九）：百度贴吧的网络爬虫（v0.4）源码及解析
[Python]网络爬虫（十）：一个爬虫的诞生全过程（以山东大学绩点运算为例）
[Python]网络爬虫（11）：亮剑！爬虫结构小抓抓Scrapy闪亮登场！
[Python]网络爬虫（12）：爬虫结构Scrapy的榜首个爬虫示例入门教程
第三：你现已看完上面（榜首或许第二）的教程：再推荐知乎用户
@陈唯源
的实战操练博客
Python爬虫学习记载（1）——Xiami全站播映数
Python爬虫学习记载（2）——LDA处理歌词
百度音乐带标签，作曲，演唱者，类别的歌词数据
Python爬虫学习记载（4）——传说中的足彩倍投法。。如同也不是那么靠谱
2011~2013.5全球一切足球比赛比分数据以及足彩各公司盘口
Python爬虫学习记载（3）——用Python获取虾米加心歌曲，并获取MP3下载地址
Python爬虫学习记载（5）——pythonmongodb+爬虫+web.py的acfun视频排行榜
Python爬虫学习记载（0）——Python爬虫抓站记载（虾米，百度，豆瓣，新浪微博）

最简单的python爬虫项目

importre
importurllib.request
defget_content(url):
#定义一个抓取的函数
html=urllib.request.urlopen(url)
content=html.read().decode('utf-8')
html.close()
returncontent
defget_images(info):
#定义一个保存图片到本地的函数
src=r'<imgclass="BDE_Image"src="(.+?\.jpg)"'
comp=re.compile(src)
get_codes=re.findall(comp,info)
i=1
forget_codeinget_codes:
urllib.request.urlretrieve(get_code,r'D:\pythonPicture\%s.jpg'%i)#地址为绝对路径
i=i+1
info=get_content('http://tieba.baidu.com/p/5914519867')#爬取图片的网页链接
get_images(info)
print("完成")#完成