Python技术栈

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 2107|回复: 0

[实例学习] Python爬虫实例——基于BeautifulSoup和requests实现

[复制链接]

4

主题

4

帖子

54

积分

注册会员

Rank: 2

积分
54
发表于 2018-9-28 10:39:19 | 显示全部楼层 |阅读模式
爬取的目标网页:http://www.qianlima.com/zb/area_305/

这是一个招投标网站,我们使用python脚本爬取红框中的信息,包括链接网址、链接名称、时间等三项内容。
使用到的Python库:BeautifulSoup、requests
代码如下:
[Python] 纯文本查看 复制代码
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
 
 
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#连接
content = r.text#获取内容,自动转码unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
	print tag.get('href')
	print tag.string
	print tag.next_element.next_element.string

运行结果如下:




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
Python 总 群
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


QQ|Archiver|手机版|小黑屋|Python.BBS ( 鲁ICP备18046958号 )

GMT+8, 2020-8-9 10:33 , Processed in 0.133620 second(s), 21 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表