网络爬虫 - 版本历史

Eric：/* 表格提取 */

2022-07-04T16:01:11Z

表格提取

←上一版本		2022年7月4日 (一) 16:01的版本
第91行：		第91行：
	====XPath + Pandas====		====XPath + Pandas====

			====pdfplumber====
			[[pdfplumber]]是一个Python库，可以用于[[PDF]]查看信息，提取表格等。可以使用pip安装pdfplumber：
			pip install pdfplumber

			如获取某个PDF文件上多个表格：
			<syntaxhighlight lang="python" >
			import pdfplumber
			import pandas as pd

			tables = []

			with pdfplumber.open("path/to/file.pdf") as pdf:
			for i in range(len(pdf.pages)):
			page = pdf.pages[i]
			table = page.extract_table()
			tables.extend(table[1:])

			df = pd.DataFrame(data=tables, columns=table[0])
			print(df)
			</syntaxhighlight>

			{{了解更多
			\|[https://github.com/jsvine/pdfplumber GitHub：jsvine/pdfplumber]
			}}

	===URL解析===		===URL解析===

2022年1月15日 (六) 16:10 Eric

2022-01-15T16:10:07Z

←上一版本		2022年1月15日 (六) 16:10的版本
第90行：		第90行：

	====XPath + Pandas====		====XPath + Pandas====


			===URL解析===
			{\| class="wikitable" style="width: 100%;
			! 名称
			! 描述
			! 示例
			\|-
			\| [https://docs.python.org/zh-cn/3/library/urllib.parse.html urllib.parse]
			\| 用于解析 [[URL]]，Python标准库，使用时导入即可。<br \><syntaxhighlight lang="python">
			from urllib import parse
			</syntaxhighlight> <br \>常用函数：<br \><code>urlparse()</code> 将URL字符串分割成其组成部分。<br \><code>quote()</code> URL编码。 <br \><code>unquote()</code> URL解码。
			\| <syntaxhighlight lang="python">
			parse.unquote('https://example.com/%E9%A6%96%E9%A1%B5')
			</syntaxhighlight>输出<nowiki>'https://example.com/首页'</nowiki>
			\|-
			\|
			\|
			\|
			\|}

	==数据存储==		==数据存储==

2021年7月2日 (五) 02:29 Eric

2021-07-02T02:29:06Z

←上一版本		2021年7月2日 (五) 02:29的版本
第504行：		第504行：
	*[https://en.wikipedia.org/wiki/XPath 维基百科：XPath]		*[https://en.wikipedia.org/wiki/XPath 维基百科：XPath]

	[[分类:~~数据获取~~]]		[[分类:数据分析]]

Eric：/* 数据存储 */

2021-01-13T04:45:10Z

数据存储

←上一版本		2021年1月13日 (三) 04:45的版本
第107行：		第107行：
	实际存储中，可以进一步完善，如保存过的文件不再下载，文件名与网页中相同。示例如下：		实际存储中，可以进一步完善，如保存过的文件不再下载，文件名与网页中相同。示例如下：
	<syntaxhighlight lang="python">		<syntaxhighlight lang="python">
			import os
	import requests		import requests
	~~import os~~

	url = ~~'http~~:~~//img0.bdstatic.com/static/searchresult/img/logo-2X_32a8193.png'~~		def download_file(url, save_path,headers=None):
	~~download_path = '~'~~		save_path = os.path.expanduser(save_path)
	~~download_path_expand~~ = os.path.expanduser(~~download_path~~) ~~#将~转化为当前用户目录~~		file_name = url.split('/')[-1]
	~~img_name~~ = url.split('/')[-1]		file_path = os.path.join(save_path, file_name) #直接加号拼接需注意：windows使用\和liunxs使用/分割路径。
	~~img_path~~ = os.path.join(~~download_path_expand~~, ~~img_name~~) #直接加号拼接需注意：windows使用\和liunxs使用/分割路径。

	if not os.path.exists(~~download_path~~): #判断是否已存在下载目录		if not os.path.exists(save_path): #判断是否已存在下载目录
	os.makedirs(~~download_path~~) #新建下载目录		os.makedirs(save_path) #新建下载目录

	if not os.path.exists(~~img_path~~): #判断是否已存在		if not os.path.exists(file_path): #判断是否已存在
	res = requests.get(url)		res = requests.get(url,headers=headers)
	with open(~~img_path~~, 'wb') as f: # 'wb'表示以二进制格式打开文件用于写入		with open(file_path, 'wb') as f: # 'wb'表示以二进制格式打开文件用于写入
	f.write(res.content) # res.content为响应的二进制格式内容		f.write(res.content) # res.content为响应的二进制格式内容
	print("{}文件保存完成。".format(~~img_path~~))		print("{}文件保存完成。".format(file_path))
	else:		else:
	print("文件已存在。")		print("文件已存在。")

			download_file('http://img0.bdstatic.com/static/searchresult/img/logo-2X_32a8193.png', '~/图片保存目录')
	</syntaxhighlight>		</syntaxhighlight>

第489行：		第490行：
	\|[https://www.sqlite.org/datatype3.html SQLite文档：SQLite 3 数据类型]		\|[https://www.sqlite.org/datatype3.html SQLite文档：SQLite 3 数据类型]
	}}		}}

	==爬虫进阶==		==爬虫进阶==

Eric：/* XPath */

2020-11-10T09:08:23Z

XPath

@@ 第58行： / 第58行： @@
 可以使用pip安装lxml：
   pip install lxml
 ===表格提取===

2020年11月8日 (日) 10:32 Eric

2020-11-08T10:32:35Z

←上一版本		2020年11月8日 (日) 10:32的版本
第59行：		第59行：
	pip install lxml		pip install lxml

	===~~其他解析~~===		===表格提取===
			====Pandas====
	如果只要获取页面中的表格，可以使用[[Pandas]]的<code>read_html()</code>函数，简单方便。可以使用pip安装Pandas：		如果只要获取页面中的表格，可以使用[[Pandas]]的<code>read_html()</code>函数，简单方便。可以使用pip安装Pandas：
	pip install pandas		pip install pandas
第75行：		第76行：
	\|[https://pandas.pydata.org/docs/user_guide/io.html#html Pandas 指南：IO工具 - HTML]		\|[https://pandas.pydata.org/docs/user_guide/io.html#html Pandas 指南：IO工具 - HTML]
	}}		}}

			====BeautifulSoup + Pandas====

			====XPath + Pandas====

	==数据存储==		==数据存储==
	===二进制文件===		===二进制文件===

2020年11月6日 (五) 01:18 Eric

2020-11-06T01:18:32Z

←上一版本		2020年11月6日 (五) 01:18的版本
第63行：		第63行：
	pip install pandas		pip install pandas

	~~获取某个网页上所有表格，生成一个表格组成的列表：~~		获取某个网页上所有表格，生成一个由DataFrame对象组成的列表：
	<syntaxhighlight lang="python">		<syntaxhighlight lang="python">
	import pandas as pd		import pandas as pd
	dfs=pd.read_html('https://pandas.pydata.org/docs/reference/io.html')		dfs = pd.read_html('https://pandas.pydata.org/docs/reference/io.html')
	</syntaxhighlight>		</syntaxhighlight>

			<code>read_html()</code>函数默认使用lxml解析，还可以设置为BeautifulSoup4和html5lib。函数格式<code>pandas.read_html(args, *kwargs)</code>。可选参数

	{{了解更多		{{了解更多

2020年11月6日 (五) 00:51 Eric

2020-11-06T00:51:37Z

@@ 第59行： / 第59行： @@
   pip install lxml
 ==数据存储==
 ===二进制文件===

2020年11月5日 (四) 05:55 Eric

2020-11-05T05:55:26Z

显示更改

Eric：创建页面，内容为“网络爬虫（web crawler），也叫网络蜘蛛（spider），是一种用来自动抓取Web信息数据的程序或者脚本。搜索引擎和其他一些网站…”

2020-11-04T07:36:58Z

创建页面，内容为“网络爬虫（web crawler），也叫网络蜘蛛（spider），是一种用来自动抓取Web信息数据的程序或者脚本。搜索引擎和其他一些网站…”

新页面

网络爬虫（web crawler），也叫网络蜘蛛（spider），是一种用来自动抓取Web信息数据的程序或者脚本。搜索引擎和其他一些网站使用网路爬虫更新他们的内容。

==简介==

==爬虫基础==
以下是基于[[Python]] 3 编程语言的爬虫。
===获取页面===
====request====
request模块是Python的urllib标准库下的模块，直接使用即可。request模块可以方便获取URL内容。

<syntaxhighlight lang="python">
from urllib.request import urlopen
html = urlopen('https://www.baidu.com')
print(html.read())
</syntaxhighlight>

{{了解更多 |[https://docs.python.org/zh-cn/3/library/urllib.request.html Python文档：标准库urllib - request 用于打开 URL 的可扩展库 ] }}

====requests====
[[requests]]是一个Python第三方HTTP库。该软件的目的是使HTTP请求更简单，更人性化。

可以使用[[pip]]安装requests：
pip install requests

使用 Requests 发送网络请求非常简单。如获取某个网页，使用get函数，会返回一个Response对象，我们可以从这个对象中获取所有我们想要的信息。
<syntaxhighlight lang="python">
import requests
response = requests.get('https://www.baidu.com')
print(response.content)
</syntaxhighlight>

{{了解更多
| [https://requests.readthedocs.io/zh_CN/latest/ Requests文档]
| [https://github.com/psf/requests Requests源代码]
}}

===页面解析===
====BeautifulSoup====
[[Beautiful Soup]]是一个Python第三方库，可以用来解析html文档，方便提取需要的数据。

可以使用pip安装：
pip install beautifulsoup4

如使用BeautifulSoup提取一个页面标题
<syntaxhighlight lang="python">
from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('https://www.baidu.com')

bs = BeautifulSoup(html.read(), 'html.parser')
bs.title
</syntaxhighlight>

====XPath====
[[XPath]]即XML路径语言（XML Path Language），一种查询语言，用于在XML中选择节点。在Python中，可以使用lxml这个第三方库来解析页面，然后通过XPath来选取内容。

可以使用pip安装lxml：
pip install lxml

==参考资料==
*[https://zh.wikipedia.org/wiki/网络爬虫维基百科：网络爬虫]
*[https://zh.wikipedia.org/wiki/网页抓取维基百科：网页抓取]
*[https://en.wikipedia.org/wiki/Web_crawler 维基百科：Web crawler]
*[https://en.wikipedia.org/wiki/XPath 维基百科：XPath]

[[分类:数据获取]]