Python技术栈

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 9009|回复: 101

[爬取案例] mangodb入门实践篇之——爬取某交友网妹子信息

  [复制链接]

10

主题

20

帖子

161

积分

超级版主

Rank: 8Rank: 8

积分
161
发表于 2018-12-13 20:25:54 | 显示全部楼层 |阅读模式
最近刚接触mongodb,从某交友网站爬取了部分美女会员信息,进行了数据入库的实验。由于该网站的会员信息都保存在json文件,所以在下载到json文件后,提取出感兴趣的几个键值对,利用python的pymongo模块,顺利完成数据入库。小白文,纯属学习笔记,mark一下。
[Python] 纯文本查看 复制代码
import requests
import json
from pymongo import MongoClient

#连接mongodb,并创建名为friends的数据库
conn = MongoClient('127.0.0.1',27017)
db = conn.friends
friends = db.friends

# 获取一个json文件并解析
url = 'http://yuehui.163.com/searchusersrcm.do?ajax=1&ageBegin=18&ageEnd=25&aim=-1&marriage=0&mode=4&order=8&province=1&city=0&district=-1&sex=0&userTag=0&vippage=-1&page=1&pagesize=81'
req = requests.get(url)
html = req.text
js = json.loads(html)

# 从会员信息中提取想要的key和value,插入到friends数据库
for n in range(0,81):
    try:
        content_dic = js[0]['list'][n] # 一个字典包含一位会员信息
        cityName = content_dic['cityName']
        constellationName = content_dic['constellationName']
        degreeName = content_dic['degreeName']
        districtName = content_dic['districtName']
        fullPhotoUri = content_dic['fullPhotoUri']
        industryName = content_dic['industryName']
        nick = content_dic['nick']

        friends.insert({'cityName':cityName,'constellationName':constellationName,'degreeName':degreeName,'districtName':districtName,'fullPhotoUri':fullPhotoUri,'industryName':industryName,'nick':nick})
    except:IndexError

# print测试,结果
for s in friends.find():
    print(s)







Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-12-13 20:25:56 | 显示全部楼层
我也来顶一下..
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-12-13 20:27:39 | 显示全部楼层
支持,楼下的跟上哈~
Python 总 群
回复

使用道具 举报

7

主题

12

帖子

56

积分

注册会员

Rank: 2

积分
56
发表于 2018-12-13 23:18:59 | 显示全部楼层
……
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-12-14 03:34:14 | 显示全部楼层
佩服佩服!
Python 总 群
回复

使用道具 举报

205

主题

236

帖子

862

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
862
发表于 2018-12-14 08:49:59 | 显示全部楼层
厉害了,我的哥
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2018-12-14 12:58:04 | 显示全部楼层
啊啊啊啊啊啊啊啊啊啊啊
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2018-12-14 17:42:58 | 显示全部楼层
站位支持
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2018-12-14 20:42:41 | 显示全部楼层
大人,此事必有蹊跷!
Python 总 群
回复

使用道具 举报

0

主题

4

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2018-12-14 22:39:07 | 显示全部楼层
沙发位出租,有意请联系电话:13838384381
Python 总 群
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


QQ|Archiver|手机版|小黑屋|Python.BBS ( 鲁ICP备18046958号 )

GMT+8, 2020-1-25 23:39 , Processed in 0.225719 second(s), 32 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表