Python技术栈

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 13732|回复: 100

[爬取案例] 抓取网页所有url的简单Python爬虫源码

  [复制链接]

17

主题

20

帖子

61

积分

注册会员

Rank: 2

积分
61
发表于 2018-12-12 09:50:31 | 显示全部楼层 |阅读模式
抓取网页所有url的简单Python爬虫源码,只用到了一个Python标准库urllib模块,没有用BeautifulSoup第三方库。python 多线程爬虫是一个很实用的工具。
简单Python爬虫源码发,如下:
[Python] 纯文本查看 复制代码
import urllib
 
content = urllib.urlopen('http://www.pydef.com/').read()
 
s1=0
while s1>=0:
    begin = content.find(r'<a',s1) href=",begin)
    m2 = content.find(r" m1="content.find(r'">',m1)
 
    s1 = m2
    if(begin<=0):
        break
    elif(content[m1:m2].find(r" ")!=-1):
        m2 = content[m1:m2].find(r' ')
        url = content[m1+6:m1+m2-1]
        print url
    elif m2>=0:
        url = content[m1+6:m2-1]
        print url
print "end."
</a',s1)>

Python 总 群
回复

使用道具 举报

0

主题

7

帖子

24

积分

新手上路

Rank: 1

积分
24
发表于 2018-12-12 09:52:11 | 显示全部楼层
呵呵。。。
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2018-12-12 11:33:23 | 显示全部楼层
嘘,低调。
Python 总 群
回复

使用道具 举报

0

主题

8

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2018-12-12 11:51:24 | 显示全部楼层
鄙视楼下的顶帖没我快,哈哈
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2018-12-12 11:52:19 | 显示全部楼层
沙发???
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-12-12 15:49:06 | 显示全部楼层
LZ帖子不给力,勉强给回复下吧
Python 总 群
回复

使用道具 举报

0

主题

3

帖子

16

积分

新手上路

Rank: 1

积分
16
发表于 2018-12-12 17:24:45 | 显示全部楼层
锄禾日当午,发帖真辛苦。谁知坛中餐,帖帖皆辛苦!
Python 总 群
回复

使用道具 举报

0

主题

4

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2018-12-12 18:53:54 | 显示全部楼层
发发呆,回回帖,工作结束~
Python 总 群
回复

使用道具 举报

0

主题

7

帖子

24

积分

新手上路

Rank: 1

积分
24
发表于 2018-12-12 19:12:43 | 显示全部楼层
OMG!介是啥东东!!!
Python 总 群
回复

使用道具 举报

0

主题

7

帖子

24

积分

新手上路

Rank: 1

积分
24
发表于 2018-12-13 02:40:43 | 显示全部楼层
啥玩应呀
Python 总 群
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


QQ|Archiver|手机版|小黑屋|Python.BBS ( 鲁ICP备18046958号 )

GMT+8, 2020-8-9 11:16 , Processed in 0.188504 second(s), 20 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表