摘要:当代万维网和互联网技术发展迅猛,有时候在浏览某些网页、相册或者某些图片网站时,发现很多图片都很喜欢想要下载到本地,但是数量较多时操作会过于繁琐。此爬虫软件是为了使用户能够便捷的获取并下载某些网站的图片,它的最终目的是能够实现对大多数网站进行成功的获取并下载。网络爬虫是一个能够对网页实现自动提取的程序,在搜索引擎中,从万维网上它能为其下载网页,故是组成搜索引擎的重要部分。本软件由Python语言进行开发,并采用已有的比较成熟的Scrapy架构进行图片相关的URL分析处理以及下载。经过测试与修改一段时间后,已经基本实现了并可应用到对个别网站的爬取,使本软件的可运用的范围达到更大的扩展。

关键词 :爬虫;万维网;Python;Scrapy架构

目录

摘要

Abstract

1 绪论-1

1.1 选题的目的和意义-1

1.2 国内外文献综述-1

1.3 论文研究内容-2

2 系统设计说明-3

2.1 系统设计的背景和意义-3

2.2 系统设计的目标-3

2.3 设计原则-3

2.3.1 可靠性原则-3

2.3.2 效率性原则-3

2.3.3 实用性原则-3

3 系统分析-4

3.1 网络爬虫工作原理-4

3.2 可行性分析-5

3.2.1 可行性研究的前提-5

3.2.2 技术可行性-5

3.2.3 可行性操作-5

3.2.4 社会可行性-6

3.2.5 经济可行性-6

3.3 软件运行和开发环境-6

4 开发技术及工具-7

4.1 开发技术介绍-7

4.1.1 Python语言特点-7

4.1.2 Scrapy架构技术-7

4.2 开发工具介绍-8

5 系统设计-9

5.1 爬虫体系结构-9

5.2 爬虫的概要设计-10

6 详细设计与实现-11

6.1 爬虫模块化-11

6.2 爬虫具体流程设计-11

6.2.1 起始URL的爬取-11

6.2.2 封装URL成应答包(Response)-11

6.2.3 爬虫解析应答包-12

6.2.4 解析出项目(Item),交给管道处理-12

6.2.5 返回需要爬取的URL到调度器-12

7 爬虫爬取结果-13

7.1 百度贴吧-13

7.2 豆瓣相册-14

结 论-15

参 考 文 献-16

致 谢-17

技术
下载桌面版
GitHub
百度网盘(提取码:draw)
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:766591547
关注微信