Python技术栈

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 3552|回复: 10

[爬取案例] 如何一天爬取500万的成人网站PornHub小视频?

[复制链接]

12

主题

15

帖子

70

积分

注册会员

Rank: 2

积分
70
发表于 2020-1-2 15:06:49 | 显示全部楼层 |阅读模式

项目地址

Python + Scrapy + MongoDB。每天500万条数据!

PornHubBot

PornHubBot是基于Scrapy框架爬取PornHub.com数据的项目,并将数据存储在MongoDB。

  • 项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

  • 项目爬的是PornHub.com,结构简单,速度飞快

  • 爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。

  • 10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]


环境、架构

开发语言: Python2.7

开发环境: MacOS系统、4G内存

数据库: MongoDB

1、主要使用 scrapy 爬虫框架

2、从Cookie池和UA池中随机抽取一个加入到Spider

3、start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。

4、支持分页爬取数据,并加入到待爬队列。

使用说明

启动前配置

  • 安装MongoDB,并启动,不需要配置

  • 安装Scrapy

  • 安装Python的依赖模块:pymongo、json、requests

  • 根据自己需要修改 Scrapy 中关于间隔时间、启动Requests线程数等的配置


启动

  • python PornHub/quickstart.py

运行截图

数据库说明

数据库中保存数据的表是PhRes。以下是字段描述:

PhRes表:

video_title:     The title of the video, and as a unique.link_url:        Video jump to Website`s linkimage_url:       Video cover linkvideo_duration:  The length of the video, in secondsquality_480p:    Video 480p mp4 download address

本项目旨在学习Scrapy爬虫框架和MongoDB数据库,不可使用于商业和个人其他意图。若使用不当,均由个人承担。


Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2020-1-2 15:06:49 | 显示全部楼层
锄禾日当午,发帖真辛苦。谁知坛中餐,帖帖皆辛苦!
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2020-1-2 15:57:39 | 显示全部楼层
好帖必须得顶起
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2020-1-2 17:25:04 | 显示全部楼层
有空一起交流一下
Python 总 群
回复

使用道具 举报

0

主题

7

帖子

16

积分

新手上路

Rank: 1

积分
16
发表于 2020-1-2 17:33:14 | 显示全部楼层
发发呆,回回帖,工作结束~
Python 总 群
回复

使用道具 举报

0

主题

10

帖子

30

积分

新手上路

Rank: 1

积分
30
发表于 2020-1-2 17:52:25 | 显示全部楼层
回个帖子,下班咯~
Python 总 群
回复

使用道具 举报

0

主题

5

帖子

20

积分

新手上路

Rank: 1

积分
20
发表于 2020-1-2 17:54:45 | 显示全部楼层
前排,哇咔咔
Python 总 群
回复

使用道具 举报

0

主题

6

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2020-1-2 18:14:00 | 显示全部楼层
LZ帖子不给力,勉强给回复下吧
Python 总 群
回复

使用道具 举报

0

主题

7

帖子

24

积分

新手上路

Rank: 1

积分
24
发表于 2020-1-2 18:19:21 | 显示全部楼层
想自学游戏开发和简单的应用程序开发,但不知道学些什么可以实现我的梦想,求指点
Python 总 群
回复

使用道具 举报

0

主题

8

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2020-1-2 18:40:13 | 显示全部楼层
高手云集 果断围观
Python 总 群
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


QQ|Archiver|手机版|小黑屋|Python.BBS ( 鲁ICP备18046958号 )

GMT+8, 2020-8-12 20:48 , Processed in 0.230725 second(s), 20 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表