购物比价平台的设计与实现
购物比价平台的设计与实现
The design and implementation of the shopping price platform abstract
This paper makes a brief analysis on the current social phenomenon and promoteInternet online
shopping development, the significance of the research on the currentbusiness platform to do the
analysis, business platform for commodity informationcapture tools to do a simple introduction,
and shows the research using Python to obtaindifferent shopping platform product information,
introduced the use of Scrapy webcapture the framework based on Python to capture and analyze the
different businessplatform source technology, access to product information from the source code,
andwith the help of the python development framework of web Flask and My SQL databaseshow will
get to the letter to the user method. Then the design and implementation ofthe system are introduced
and analyzed. Finally, the test and results of the system aredisplayed. The system shows the
commodity information of different platforms in theform of Web site, so that users can be more
convenient to use and operate, and makemore correct choices.
Key Words: Commodity information;Grab;Python;Scrapy;Flask。
1. 绪论
1.1 、 背景和研究意义。
随着互联网的不断发展，快递业不断地优胜略汰，和各大电商平台功能日益完善，网购逐
渐变得越来越便捷安全，而且正在成为一种时尚。在当今社会，时间无疑是人们最重要的资
源，无论是工作，休息陪伴家人，大多数人都不会愿意把这种无价的资源浪费在对着手机或者
电脑屏幕选择和比较商品上面。因此，对于不同电商平台，便捷、迅速的选择比较途径被越来
越多的人所青睐。
1.2 、 论文研究主要内容。
本文主要对不同电商平台商品数据的分析和抓取，以网站的形式展示给用户，为网购用户
提供清晰的商品信息比较，以便于用户在最短的时间内，准确的选择性价比更高，更加适合自
己的商品。
在接下来的第二章，第一节，介绍了本论文研究的主要任务即功能需求，第二节主要介绍
了开发环境和软件，第三节介绍了本论文涉及的关键技术。
在第三章，主要介绍了对论文研究内容的系统设计，主要包括功能模块设计，数据库设
计，页面设计，这三个内容分我将分为三节进行介绍。
第四章是系统的实现过程，也是最主要的部分，分别包括环境的搭建，数据库的相关内
容，和 scrapy 爬取数据的过程，以及数据的存储和显示，分别在五个小节详细介绍。
最后一章是对本次论文的总结和展望，以及我在学习过程中我查询过的资料和来源，最后
一节是我对大学四年以及这次论文研究的总结，感谢这四年遇到的老师和同学。
2. 项目准备。
2.1 、 明确功能需求。
在项目中我们首先要考虑的是我们要做什么，我们要获取不同电商平台的商品数据并且将
这些数据保存在数据库中，然后以网站的形式将这些数据展示在网页上。很显然要展示给用户
来自不同的电商平台的商品信息，就需要我们去获取，所以我们要学习网络爬虫的技术，而
python 已经有很多定义好的模块可以给我们直接使用，这些经过无数前辈检验过的东西让我们
可以不用考虑爬虫底层的细节问题而可以更加专注于我们需要获取的数据并且有更多的时间去
做后续的处理工作。在我的系统种，我选择了 python 开发的 scrapy 作为项目开发的 web 抓取
和提取数据的框架。在爬取淘宝等网站的数据时，根据经验，我们爬取数据的行为常常会被服
务器检测到并且他们会采取一些手段对我们的爬虫动作进行屏蔽。因此我们需要将我们的爬虫
伪装成浏览器的浏览操作，这就需要我们掌握浏览器伪装的技术。在我们从网站上爬取数据
时，我们是通过分析网页源码规律，获取里面的某一段数据做到的，我使用正则表达式和
XPath 表达式来对网页的源代码进行分析和获取。当我们获取到数据，我们需要将获取的数据
存储起来保存在文件中，也可以存在数据库中，我在项目中选择 mysql 数据库。页面的显示由
很多优秀的框架可以用，我们可以任意挑选一种，在系统中，我选择使用flask 框架。
【由于本篇文章为本科论文，如需全文请点击底部下载全文链接】
2.2、开发环境和软件.
2.3、关键技术介绍.
2.3.1、网络爬虫
2.3.2、python 语言
2.3.3、scrapy 介绍
2.3.4、防爬虫屏蔽之浏览器伪装技术
2.3.5、XPath 表达式
2.3.6、scrapy-spl ash.
2.3.7、正则表达式
2.3.8、flask 介绍
2.3.9 、MVC 设计模式
2.3.10、基于python 的模板引擎 jinja
3. 系统设计
3.1、功能模块设计.
3.2、数据库设计.
3.3、页面设计.
4. 系统实现
4.1、搭建开发环境.
4.1.1、安装python 环境
4.1.2、安装集成开发环境 PyCharm. .
4.1.3、安装scrapy 模块
4.1.4、安装flask
4.2、创建数据库.
4.2.1、安装数据库链接驱动
标签： #设计
摘要：
展开>>
收起<<
购物比价平台的设计与实现 Thedesignandimplementationoftheshoppingpriceplatformabstract This paper makes a brief analysis on the current social phenomenon and promoteInternet online shopping development, the significance of the research on the currentbusiness platform to do the analysis, business platfor...
相关推荐
-
2024年党建工作要点工作计划5篇供参考
2023-12-16 999+ -
2025年专题生活会对照带头严守政治纪律和政治规矩，维护党的团结统一等“四个带头方面”个人对照检查发言材料4110字文稿
2024-12-21 999+ -
2025年医保局局长、科技局领导干部专题“四个带头”方面对照检查材料2篇例文（附：反面典型案例剖析情况）
2025-02-09 457 -
2025年国有企业党委书记、市总工会党组书记民主生活会“四个带头”方面对照个人检查发言材料2篇文(附：典型案例、上年度整改+个人情况)
2025-02-09 506 -
2025年市委组织部部长、教育局党委书记生活会“四个带头”个人对照检查发言材料2篇文(典型案例+个人事项)
2025-02-09 626 -
2025年市财政局党组书记、局长、市检察院党组领导班子对照“四个带头”方面生活会个人对照检视发言材料2篇文（含以案为鉴反思、以案促改促治方面）
2025-02-09 508 -
市检察院党组、市财政局领导班子2025年生活会对照“四个带头”方面检视发言材料2份文【含以违纪行为为典型案例剖析】
2025-02-09 461 -
2025年市财政局领导对照“四个带头”生活会检视发言材料2篇例文【含以违纪行为为典型案例剖析】
2025-02-09 582 -
单位领导班子2025年聚焦“四个带头”生活会对照检查材料2篇文(含：典型案例剖析反思、落实意识形态责任制)
2025-02-09 757 -
2025年镇党委副书记、市科学技术局领导班子生活会对照“四个带头”检视材料2篇文【含违纪行为典型案例分析】
2025-02-09 257
作者：闻远设计
分类：其它行业资料
价格：免费
属性：4 页
大小：14.89KB
格式：DOCX
时间：2024-03-10
