Scrapy - 版本历史

Eric：/* 选择器生成 */

2023-11-10T08:07:00Z

选择器生成

←上一版本		2023年11月10日 (五) 08:07的版本
第25行：		第25行：
	\|-		\|-
	\| response.selector.xpath()		\| response.selector.xpath()
	\| 简写<code>response.xpath()</code>		\| 简写<code>response.xpath()</code> ,注意对于某个节点下再搜索应该使用<code>.</code>表示当前节点如<code>somenode.xpath('.//picture')</code>，而<code>somenode.xpath('//picture')</code>还是会从文档的根节点开始
	\| <code>response.xpath("//span/text()")</code> <br /><code>response.css("img").xpath("@src")</code>选择所有含有src属性的img		\| <code>response.xpath("//span/text()")</code> <br /><code>response.css("img").xpath("@src")</code>选择所有含有src属性的img
	\|-		\|-

2023年11月10日 (五) 04:21 Eric

2023-11-10T04:21:34Z

@@ 第138行： / 第138行： @@
 ==下载器==
 ==资源==
 ===官网===

2023年11月5日 (日) 04:38 Eric

2023-11-05T04:38:19Z

←上一版本		2023年11月5日 (日) 04:38的版本
第92行：		第92行：
	product_name = scrapy.Field()		product_name = scrapy.Field()
	image_urls = scrapy.Field()		image_urls = scrapy.Field()
			#images = scrapy.Field() # 记录存储位置文件名信息等

	class ProductSpider(scrapy.Spider):		class ProductSpider(scrapy.Spider):
第107行：		第108行：
	item['image_urls'] = response.xpath('//img[@class="product-img"]/@src').get()		item['image_urls'] = response.xpath('//img[@class="product-img"]/@src').get()
	yield item		yield item

			## 在图片下载完成后被调用，将图片存储地址等保存到item中。
			# def item_completed(self, results, item, info):
			# for success, image_info in results:
			# if success:
			# item['images'] = [{'url': image_info['url'], 'path': image_info['path']}]
			# return item
	</syntaxhighlight>		</syntaxhighlight>

第112行：		第120行：
	<syntaxhighlight lang="sh" >		<syntaxhighlight lang="sh" >
	scrapy crawl sample		scrapy crawl sample

			# 启动爬虫，并将item存储到sample.json
			# scrapy crawl sample -o sample.json
	</syntaxhighlight>		</syntaxhighlight>

2023年11月5日 (日) 04:01 Eric

2023-11-05T04:01:36Z

←上一版本		2023年11月5日 (日) 04:01的版本
第69行：		第69行：
	}}		}}


			=== 编写项目管道 ===

			=== 图片下载 ===
			==== 内置下载管道 ====
			可以使用内置的ImagesPipeline方便下载图片，它会自动处理下载item中image_urls图片链接。
			* 1.在项目settings中开启ImagesPipeline管道。
			<syntaxhighlight lang="python" >
			ITEM_PIPELINES = {
			"scrapy.pipelines.images.ImagesPipeline": 1,
			}
			# 设置图片下载路径，绝对路径或相对路径
			IMAGES_STORE = "images"
			</syntaxhighlight>

			* 2.爬取图片链接，返回给引擎。
			<syntaxhighlight lang="python" >
			import scrapy

			# 可以放入item.py 再导入
			class Product(scrapy.Item):
			product_name = scrapy.Field()
			image_urls = scrapy.Field()

			class ProductSpider(scrapy.Spider):
			name = 'sample'
			start_urls = ["https://exsample.com"]

			# 也可以为这爬虫设置自定义存储位置。
			#custom_settings = {
			# 'IMAGES_STORE': 'images/sample'
			#}

			def parse(self, response):
			item = Product()
			item['product_name'] = response.xpath('//h1[@class="title"]/text()').get()
			item['image_urls'] = response.xpath('//img[@class="product-img"]/@src').get()
			yield item
			</syntaxhighlight>

			3.启动爬虫
			<syntaxhighlight lang="sh" >
			scrapy crawl sample
			</syntaxhighlight>

			{{了解更多
			\|[https://docs.scrapy.org/en/latest/topics/media-pipeline.html Scrapy 文档：文件和图片的下载处理]
			}}

			==== 自定义下载管道 ====

			=== 文件下载 ===
			==== 内置下载管道 ====
			{{了解更多
			\|[https://docs.scrapy.org/en/latest/topics/media-pipeline.html Scrapy 文档：文件和图片的下载处理]
			}}
	==下载器==		==下载器==

2023年11月5日 (日) 03:40 Eric

2023-11-05T03:40:41Z

@@ 第55行： / 第55行： @@
 |[https://docs.scrapy.org/en/latest/topics/selectors.html Scrapy 文档：selectors ]
 }}
 ==资源==
 ===官网===

2023年11月2日 (四) 05:31 Eric

2023-11-02T05:31:41Z

@@ 第11行： / 第11行： @@
 }}
 ==资源==
 ===官网===

2023年11月1日 (三) 06:37 Eric

2023-11-01T06:37:05Z

←上一版本		2023年11月1日 (三) 06:37的版本
第5行：		第5行：

	==快速入门==		==快速入门==
			===架构===
			{{#drawio:Scrapy架构}}
			{{了解更多
			\|[https://docs.scrapy.org/en/latest/topics/architecture.html Scrapy 文档：Architecture overview]
			}}

	==资源==		==资源==

Eric：创建页面，内容为“Scrapy 是一个开源的网络爬虫框架。 ==简介== ===时间轴=== ==快速入门== ==资源== ===官网=== Scrapy 官网：https://scrapy.org/ Scrapy 文档：https://docs.scrapy.org/ *Scrapy 源代码：https://github.com/scrapy/scrapy ===网站===”

2022-12-01T12:55:46Z

创建页面，内容为“Scrapy 是一个开源的网络爬虫框架。 ==简介== ===时间轴=== ==快速入门== ==资源== ===官网=== *Scrapy 官网：https://scrapy.org/ *Scrapy 文档：https://docs.scrapy.org/ *Scrapy 源代码：https://github.com/scrapy/scrapy ===网站===”

新页面

Scrapy 是一个开源的[[网络爬虫]]框架。

==简介==
===时间轴===

==快速入门==

==资源==
===官网===
*Scrapy 官网：https://scrapy.org/
*Scrapy 文档：https://docs.scrapy.org/
*Scrapy 源代码：https://github.com/scrapy/scrapy

===网站===