快速导航: 首页 2025年8月30日 星期六
分类标签：es鸿蒙智能限速功能单片机项目实战操作之优秀心跳检测【life】VC开发FPGA编解码SDI视频专题kubernetes代理模式IOS屏幕管理condaAzure 架构师学习笔记RPC文件编码识别c++20MATLAB定位程序与详解鸿蒙开发局域网

初学者如何用 Python 写第一个爬虫？

目录

  1. 引言
  2. 爬虫概述
    • 2.1 什么是爬虫
    • 2.2 爬虫的工作原理
  3. 爬虫开发所需工具与库
    • 3.1 Python 安装与环境设置
    • 3.2 必须的 Python 库
    • 3.3 安装库
  4. 如何编写爬虫
    • 4.1 第一个简单爬虫实例
    • 4.2 使用 requests 获取网页数据
    • 4.3 使用 BeautifulSoup 解析 HTML
  5. 进阶：如何应对复杂网站
    • 5.1 使用 Selenium 处理动态内容
    • 5.2 模拟用户登录
    • 5.3 反爬虫技术与应对方法
  6. 爬虫案例
    • 6.1 爬取简书文章标题
    • 6.2 爬取知乎问题及答案
  7. 存储爬取的数据
    • 7.1 将数据存储到文件
    • 7.2 使用数据库存储数据
  8. 总结与注意事项

引言

随着互联网的快速发展，大量的信息以不同的形式分布在各个网站上，如何快速地获取这些数据是许多开发者和数据分析师所关注的一个问题。而爬虫技术就是用来自动化抓取网络数据的技术。

在本文中，我们将引导你从零开始学习如何使用 Python 编写一个简单的爬虫。我们将涵盖爬虫开发所需的基本工具与库，以及如何在实际中解决爬虫过程中的一些常见问题。

爬虫概述

2.1 什么是爬虫

爬虫（Crawler），也称为网络蜘蛛（Spider）或网页抓取工具，是一种自动化程序，主要用于在互联网上抓取数据。爬虫可以模拟用户访问网页，获取网页内容，并将网页中的数据提取出来，存储以供进一步分析。

2.2 爬虫的工作原理

爬虫的工作原理主要分为以下几个步骤：

  1. 请求网页：爬虫向目标网站发送 HTTP 请求，获取该网页的内容。
  2. 解析网页：爬虫解析网页中的 HTML 代码，提取出有用的信息。
  3. 存储数据：爬虫将提取到的数据存储到数据库或文件中。
  4. 继续抓取：爬虫根据需要继续抓取其他相关的网页，重复上述过程。

爬虫开发所需工具与库

3.1 Python 安装与环境设置

在开始写爬虫之前，首先要确保 Python 环境已经安装在你的电脑上。你可以访问 Python官网 下载并安装最新版本的 Python。

为了方便爬虫开发，建议你使用一个虚拟环境来隔离项目依赖。你可以通过以下命令来创建并激活虚拟环境：

bashCopy Code
# 创建虚拟环境
python -m venv myenv

# 激活虚拟环境
# Windows
myenv\Scripts\activate
# macOS/Linux
source myenv/bin/activate

3.2 必须的 Python 库

在编写爬虫时，我们将会使用以下一些常见的 Python 库：

  • requests：用于发送 HTTP 请求，获取网页内容。
  • BeautifulSoup：用于解析 HTML 内容。
  • lxml：解析 HTML 和 XML 文档的工具。
  • Selenium：用于模拟浏览器操作，处理 JavaScript 渲染的网页。

3.3 安装库

你可以使用 pip 工具安装这些库，命令如下：

bashCopy Code
# 安装 requests 库
pip install requests

# 安装 BeautifulSoup 和 lxml 库
pip install beautifulsoup4 lxml

# 安装 selenium 库
pip install selenium

如何编写爬虫

4.1 第一个简单爬虫实例

在开始编写爬虫之前，我们先来编写一个简单的爬虫，爬取一个网站的内容。例如，我们从一个简单的 HTML 页面抓取一些标题信息。

pythonCopy Code
import requests
from bs4 import BeautifulSoup

# 发送请求获取网页内容
url = "http://example.com"
response = requests.get(url)

# 解析 HTML 内容
soup = BeautifulSoup(response.text, 'lxml')

# 提取标题
titles = soup.find_all('h1')

for title in titles:
    print(title.text)

4.2 使用 requests 获取网页数据

requests 库是 Python 中最常用的发送 HTTP 请求的库。它可以让你轻松发送 GET、POST 请求并获取响应。

以下是发送一个简单的 GET 请求并获取响应内容的示例：

pythonCopy Code
import requests

# 发送 GET 请求
response = requests.get('http://example.com')

# 输出网页内容
print(response.text)

4.3 使用 BeautifulSoup 解析 HTML

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的库，它使得从网页中提取信息变得更加容易。

以下是如何使用 BeautifulSoup 解析 HTML 并提取网页中所有标题的示例：

pythonCopy Code
from bs4 import BeautifulSoup

# 假设我们已经获得了网页的 HTML 内容
html_content = '<html><body><h1>Title 1</h1><h1>Title 2</h1></body></html>'
soup = BeautifulSoup(html_content, 'lxml')

# 提取所有 h1 标签中的文本
titles = soup.find_all('h1')
for title in titles:
    print(title.text)

进阶：如何应对复杂网站

5.1 使用 Selenium 处理动态内容

有些网页使用 JavaScript 动态加载内容，requests 和 BeautifulSoup 无法处理这些情况。为了解决这个问题，我们可以使用 Selenium 来模拟浏览器操作，获取动态加载的数据。

下面是一个使用 Selenium 模拟浏览器获取网页内容的例子：

pythonCopy Code
from selenium import webdriver

# 使用 Chrome 浏览器驱动
driver = webdriver.Chrome()

# 打开网页
driver.get('http://example.com')

# 获取网页内容
html_content = driver.page_source

# 关闭浏览器
driver.quit()

# 解析 HTML 内容
soup = BeautifulSoup(html_content, 'lxml')

# 提取标题
titles = soup.find_all('h1')
for title in titles:
    print(title.text)

5.2 模拟用户登录

许多网站要求用户登录才能访问某些页面，爬虫需要模拟登录过程。我们可以使用 requests 来模拟登录请求，传递用户名和密码。

pythonCopy Code
import requests

# 登录 URL 和登录数据
login_url = "http://example.com/login"
login_data = {
    "username": "your_username",
    "password": "your_password"
}

# 创建一个会话对象
session = requests.Session()

# 发送 POST 请求模拟登录
session.post(login_url, data=login_data)

# 登录后获取网页数据
response = session.get("http://example.com/protected_page")
print(response.text)

5.3 反爬虫技术与应对方法

许多网站都采取了一些反爬虫措施，例如限制请求频率、验证码验证等。为了避免被封禁，我们需要采取一些反反爬虫的措施：

  • 设置合理的请求头部，模拟浏览器。
  • 使用代理 IP 来避免同一个 IP 发送过多请求。
  • 控制请求频率，避免对服务器造成过大压力。

爬虫案例

6.1 爬取简书文章标题

我们来通过爬虫爬取简书网站的文章标题。简书页面的结构相对简单，因此我们可以使用 requests 和 BeautifulSoup 来完成。

pythonCopy Code
import requests
from bs4 import BeautifulSoup

url = "https://www.jianshu.com/"
response = requests.get(url)

soup = BeautifulSoup(response.text, 'lxml')

# 提取简书首页的所有文章标题
articles = soup.find_all('a', class_='title')

for article in articles:
    print(article.text)

6.2 爬取知乎问题及答案

接下来，我们爬取知乎上的一个问题及其答案。由于知乎采用了动态加载，通常需要使用 Selenium 来加载完整的页面。

pythonCopy Code
from selenium import webdriver
from bs4 import BeautifulSoup

# 使用 Selenium 启动浏览器
driver = webdriver.Chrome()
driver.get("https://www.zhihu.com/question/123456")

# 等待页面加载完毕
driver.implicitly_wait(3)

# 获取页面源代码
html_content = driver.page_source
driver.quit()

# 解析网页
soup = BeautifulSoup(html_content, 'lxml')

# 获取问题标题
question_title = soup.find('h1', class_='QuestionHeader-title').text
print("问题标题：", question_title)

# 获取答案
answers = soup.find_all('span', class_='RichText')
for answer in answers:
    print("答案：", answer.text)

存储爬取的数据

7.1 将数据存储到文件

在爬虫抓取数据后，我们通常需要将数据存储到文件中，最常见的格式包括 JSON 和 CSV 格式。

存储为 CSV 文件：

pythonCopy Code
import csv

# 假设我们爬取的数据是一个列表
data = [['Title 1', 'Description 1'], ['Title 2', 'Description 2']]

# 将数据写入 CSV 文件
with open('output.csv', mode='w', newline='') as file:
    writer = csv.writer(file)
    writer.writerow(['Title', 'Description'])  # 写入表头
    writer.writerows(data)

存储为 JSON 文件：

pythonCopy Code
import json

data = {'Title 1': 'Description 1', 'Title 2': 'Description 2'}

# 将数据写入 JSON 文件
with open('output.json', mode='w') as file:
    json.dump(data, file)

7.2 使用数据库存储数据

对于大规模的数据存储，通常使用数据库进行存储。我们可以使用 SQLite 或其他数据库，如 MySQL 或 PostgreSQL。

以下是如何使用 sqlite3 库将数据存储到 SQLite 数据库中的示例：

pythonCopy Code
import sqlite3

# 连接到 SQLite 数据库（如果没有该数据库，会自动创建）
conn = sqlite3.connect('data.db')
cursor = conn.cursor()

# 创建一个表
cursor.execute('''CREATE TABLE IF NOT EXISTS articles (title TEXT, description TEXT)''')

# 插入数据
cursor.execute('''INSERT INTO articles (title, description) VALUES (?, ?)''', ('Title 1', 'Description 1'))

# 提交并关闭连接
conn.commit()
conn.close()

总结与注意事项

通过本教程，我们已经掌握了如何使用 Python 编写一个简单的爬虫，并解决了一些常见问题。在实际开发中，爬虫的设计和实现可能会更加复杂，需要考虑各种反爬虫技术、动态加载页面等因素。

开发爬虫时需要注意遵守法律法规，尊重网站的 robots.txt 协议，避免对网站造成过大的访问压力。希望本文能帮助你入门 Python 爬虫开发，并激发你进一步探索数据抓取和分析的兴趣。

本站地址： https://www.ffyonline.com/pageSingle/articleOneWeb/109142
推荐文章 AI如何辅助创业？年轻人一定要创业 在Solidity中实现时间敏感功能：深入分析与实践 马斯克再出手：Grok Code Fast 1，AI 编程的“平价跑车”！ 2025最佳图片无损放大工具推荐：realesrgan-gui评测与下载指南 我用Trae写了个数字滚动器，结果看了一下午！ React Native 初体验 007.用 LangChain 构建 Few-Shot 对话示范 2025年五大顶级自动化测试工具深度解析：测开工程师的终极选择指南 突然无法从Org拉取代码？VS Code Salesforce报错“该Org不支持Source Tracking”终极解决方案 分布式和微服务，它们有什么区别？该如何选择？ 第7篇：Web集成模块 - HTTP请求的全链路追踪 GraphRAG 在 PostgreSQL 上的实践 WinForm 中集成 NLog 实现全局异常处理 AntFlowCore：面向中国式审批的 .NET 9 开源工作流中台 TypeScript 类型魔法：像遍历对象一样改造你的类型