Python爬虫 - 初识爬虫

目录

1. 什么是网络爬虫
2. 爬虫的工作原理
3. Python中的爬虫库
   • Requests
   • BeautifulSoup
   • Scrapy
4. 爬虫的基本流程
5. 实例：简单的网页爬虫
6. 实例：爬取豆瓣电影信息
7. 注意事项与反爬虫措施
8. 总结

什么是网络爬虫

网络爬虫（Web Crawler）是一种自动化程序或脚本，用于在互联网上浏览和提取信息。它通过访问网页并获取数据，帮助用户收集大量信息。爬虫广泛应用于搜索引擎、数据分析、市场研究等领域。

爬虫的工作原理

网络爬虫的工作原理可以概括为以下几个步骤：

1. 发送请求：爬虫向目标网站的服务器发送HTTP请求。
2. 获取响应：服务器返回请求的网页内容（HTML）。
3. 解析数据：爬虫解析HTML，提取所需的数据。
4. 存储数据：将提取的数据保存到本地数据库或文件中。
5. 重复过程：根据需求，爬虫可以继续访问其他网页，重复以上步骤。

Python中的爬虫库

Requests

Requests是一个简单易用的HTTP库，适合用于发送网络请求。

pythonCopy Code
import requests

response = requests.get('https://example.com')
print(response.text)

BeautifulSoup

BeautifulSoup是一个用于解析HTML和XML文档的库，可以方便地从网页中提取数据。

pythonCopy Code
from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(title)

Scrapy

Scrapy是一个功能强大的爬虫框架，适合于大规模抓取和复杂数据提取。

bashCopy Code
pip install scrapy

使用Scrapy创建爬虫的基本命令：

bashCopy Code
scrapy startproject myproject
cd myproject
scrapy genspider myspider example.com

爬虫的基本流程

1. 确定目标网站：选择要爬取的网站，并制定爬取策略。
2. 发送请求：使用Requests库发送HTTP请求。
3. 获取响应：解析HTTP响应，获取网页内容。
4. 数据提取：使用BeautifulSoup或其他解析库提取所需的数据。
5. 数据存储：将数据保存到CSV、JSON、数据库等格式中。
6. 处理异常：捕获并处理可能出现的异常，如请求失败、解析错误等。
7. 遵守robots.txt：在爬取前检查网站的robots.txt文件，遵守网站的爬取规则。

实例：简单的网页爬虫

下面是一个简单的网页爬虫实例，用于爬取某个示例网站的标题。

pythonCopy Code
import requests
from bs4 import BeautifulSoup

url = 'https://example.com'
response = requests.get(url)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')
    title = soup.title.string
    print(f"网页标题: {title}")
else:
    print("请求失败，状态码:", response.status_code)

运行结果

Copy Code
网页标题: Example Domain

实例：爬取豆瓣电影信息

在这个实例中，我们将爬取豆瓣电影的相关信息，包括电影名称、评分和评论人数。

步骤

1. 确定目标网址，例如豆瓣电影的某个页面。
2. 使用Requests库发送请求。
3. 解析返回的HTML，提取所需信息。
4. 存储数据到CSV文件中。

代码实现

pythonCopy Code
import requests
from bs4 import BeautifulSoup
import csv

url = 'https://movie.douban.com/top250'
response = requests.get(url)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'html.parser')
    movies = soup.find_all('div', class_='item')

    with open('douban_movies.csv', 'w', newline='', encoding='utf-8') as csvfile:
        fieldnames = ['名称', '评分', '评论人数']
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
        writer.writeheader()

        for movie in movies:
            title = movie.find('span', class_='title').text
            rating = movie.find('span', class_='rating_num').text
            comments = movie.find('div', class_='star').find_all('span')[3].text
            writer.writerow({'名称': title, '评分': rating, '评论人数': comments})

    print("数据已成功写入 douban_movies.csv")
else:
    print("请求失败，状态码:", response.status_code)

运行结果

Copy Code
数据已成功写入 douban_movies.csv

注意事项与反爬虫措施

在进行网络爬虫时，应注意以下几点：

1. 遵守法律法规：确保爬虫行为不违反法律法规。
2. 尊重网站协议：遵循网站的robots.txt文件，避免对服务器造成负担。
3. 设置请求间隔：避免频繁请求，设置合理的时间间隔。
4. 使用代理：如果需要大规模爬取，可以使用代理IP。
5. 处理异常：做好异常处理，防止程序崩溃。

总结

本文介绍了Python爬虫的基本概念、工作原理以及常用库的使用方法。通过实例演示了如何爬取网页数据，并存储到CSV文件中。在实践中，要遵循法律法规及良好的道德规范，确保爬虫行为合法合规。希望本文能为你提供一个良好的爬虫入门指南，进一步拓展你的数据获取能力。

这只是一个初步的结构和部分内容，如果需要更详细的内容扩展，请告知我具体的部分或主题。