Python数据采集实战-使用BeautifulSoup解析HTML文档提取所需内容

欢迎大家来到IT世界,在知识的湖畔探索吧!

实现功能

使用BeautifulSoup框架解析HTML文档并提取所需内容的例子：假设我们要从以下HTML文档中提取所有超链接的链接地址

实现代码

from bs4 import BeautifulSoup
import requests

# 发送请求并获取HTML文档
url = "https://www.baidu.com"
response = requests.get(url)
html_doc = response.text

# 使用BeautifulSoup解析HTML文档
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取所有链接
links = []
for link in soup.find_all('a'):
    links.append(link.get('href'))

# 打印链接列表
print(links)

欢迎大家来到IT世界,在知识的湖畔探索吧!

实现效果

本人读研期间发表5篇SCI数据挖掘相关论文，现在某研究院从事数据挖掘相关科研工作，对数据挖掘有一定认知和理解，会结合自身科研实践经历不定期分享关于python机器学习、深度学习、数据挖掘基础知识与案例。

致力于只做原创，以最简单的方式理解和学习，关注我一起交流成长。

邀请三个朋友关注V订阅号：数据杂坛，即可在后台联系我获取相关数据集和源码，送有关数据分析、数据挖掘、机器学习、深度学习相关的电子书籍。