Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 Scrapy可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 使用Scrapy开发一个基于Python的爬虫非常简单，开发者只需要定制开发几个模块就可以轻松地实现一个爬虫，用来抓取网页数据。当然，要开发一个商业化的爬虫，还需要大量的开发工作，这些工作包括爬虫优化、爬取数据的存储及清洗。 要使用Scrapy，需要先