Python技术栈

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 16784|回复: 100

[大数据分析] 小白文之爬取某房产网站数据并做可视化分析(一)

  [复制链接]

10

主题

20

帖子

161

积分

超级版主

Rank: 8Rank: 8

积分
161
发表于 2019-3-15 11:39:07 | 显示全部楼层 |阅读模式
数据获取:爬取网站房产信息,并存为csv文件。
[Python] 纯文本查看 复制代码
from bs4 import BeautifulSoup
import requests
import time
import random
import csv

headers = {'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Host': 'weifang.jiwu.com',
'Origin': 'http://weifang.jiwu.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'}


with open('data.csv', 'a') as f:
    writer = csv.writer(f)
    writer.writerow(['name', 'address', 'price'])

    for i in range(1, 26):
        url = 'http://weifang.jiwu.com/loupan/list-page%d.html' % i
        html = requests.get(url, headers=headers).text
        soup = BeautifulSoup(html, 'lxml')
        loupan_list = soup.find_all('div', {'class': 'loupan-list-left'})[0]  # 获取楼盘列表
        for item in loupan_list.find_all('div',{'class':'loupan-list1'}):
            name = item.find_all('h3')[0].a.get_text() # 楼盘名称
            address = item.find_all('p',{'class':'loupan-list1-s5'})[0].get_text() # 楼盘地址
            price = item.find_all('p',{'class':'loupan-list1-s7'})[0].get_text() # 楼盘价格

            tlist = []
            tlist.append(name)
            tlist.append(address)
            tlist.append(price)
            writer.writerow(tlist)

Python 总 群
回复

使用道具 举报

0

主题

4

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2019-3-15 11:39:08 | 显示全部楼层
确实不错,顶先
Python 总 群
回复

使用道具 举报

0

主题

4

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2019-3-15 11:42:24 | 显示全部楼层
好帖必须得顶起
Python 总 群
回复

使用道具 举报

0

主题

4

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2019-3-15 11:51:33 | 显示全部楼层
介是神马?!!
Python 总 群
回复

使用道具 举报

0

主题

10

帖子

24

积分

新手上路

Rank: 1

积分
24
发表于 2019-3-15 11:57:01 | 显示全部楼层
介是神马?!!
Python 总 群
回复

使用道具 举报

0

主题

8

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2019-3-15 11:58:08 | 显示全部楼层
求沙发
Python 总 群
回复

使用道具 举报

0

主题

3

帖子

16

积分

新手上路

Rank: 1

积分
16
发表于 2019-3-15 12:25:19 | 显示全部楼层
为毛老子总也抢不到沙发?!!
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2019-3-15 12:27:20 | 显示全部楼层
学习下
Python 总 群
回复

使用道具 举报

0

主题

4

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2019-3-15 12:34:04 | 显示全部楼层
LZ敢整点更有创意的不?兄弟们等着围观捏~
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2019-3-15 12:35:06 | 显示全部楼层
Python 总 群
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


QQ|Archiver|手机版|小黑屋|Python.BBS ( 鲁ICP备18046958号 )

GMT+8, 2020-9-28 19:06 , Processed in 0.111827 second(s), 20 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表