代码收藏家技术教程 2024-10-03

Python实战教程：爬取中国天气网数据并深入分析

介绍

本教学文章将详细介绍如何使用Python来爬取中国天气网（http://www.weather.com.cn/）的天气数据，包括当天和未来14天的天气信息。我们将通过具体的步骤和代码示例，演示如何使用requests库发起HTTP请求，以及使用BeautifulSoup库解析HTML文档，最后使用pandas和matplotlib进行数据清洗、处理和可视化。

细分步骤与详细代码

第一步：环境准备

确保你的Python环境已经安装了requests、BeautifulSoup、pandas、matplotlib等库。如果没有安装，可以通过pip安装：

pip install requests beautifulsoup4 pandas matplotlib

第二步：确定数据来源

中国天气网的天气数据URL格式为：

当天数据: http://www.weather.com.cn/weather/城市编号.shtml

未来14天数据: http://www.weather.com.cn/weather/城市编号15d.shtml

其中，“城市编号”可以替换为不同的城市编码，例如北京为101010100。

第三步：爬取数据

我们将编写Python函数来请求网页并获取HTML内容。


	import requests 

	from bs4 import BeautifulSoup 

	


	def get_html(url): 

	"""请求网页并返回HTML内容""" 

	try: 

	headers = { 

	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' 

	} 

	response = requests.get(url, headers=headers, timeout=30) 

	response.raise_for_status() 

	return response.text 

	except requests.RequestException as e: 

	print(e) 

	return None 

	


	# 示例URL 

	url_today = 'http://www.weather.com.cn/weather/101010100.shtml' 

	url_14d = 'http://www.weather.com.cn/weather/10101010015d.shtml' 

	


	html_today = get_html(url_today) 

	html_14d = get_html(url_14d)

第四步：解析HTML并提取数据

使用BeautifulSoup解析HTML，并提取所需的数据。

def parse_html(html):  
    """解析HTML并提取天气数据"""  
    if not html:  
        return []  
      
    bs = BeautifulSoup(html, 'html.parser')  
      
    # 假设这里我们只提取日期、天气、温度等基本信息  
    # 具体的解析方式需要根据实际HTML结构来编写  
    data = []  # 存储解析后的数据  
      
    # 这里是示例代码，具体实现需根据网页结构调整  
    # 例如，对于7天和14天的数据，可能需要分别处理  
    # 查找div标签id为'7d'或'15d'  
      
    # 提取7天数据示例  
    # div_7d = bs.find('div', {'id': '7d'})  
    # 遍历ul和li标签提取数据  
  
    # 提取当天数据示例  
    # 可能需要解析嵌套的script标签中的JSON数据  
      
    # 这里假设你已经知道如何提取数据，并存储在data列表中  
    # 示例：data.append([日期, 天气, 最高温, 最低温, ...])  
      
    return data  
  
# 解析数据  
data_today = parse_html(html_today)  
data_14d = parse_html(html_14d)

第五步：数据清洗与处理

使用pandas对数据进行清洗和处理，如去除重复数据、处理缺失值等。

import pandas as pd  
  
# 假设data_today和data_14d已经按照预期格式提取了数据  
df_today = pd.DataFrame(data_today, columns=['日期', '天气', '最高温', '最低温'])  
df_14d = pd.DataFrame(data_14d, columns=['日期', '天气', '最高温', '最低温'])  
  
# 数据清洗示例：去除空值  
df_today.dropna(inplace=True)  
df_14d.dropna(inplace=True)

第六步：数据可视化

使用matplotlib库对清洗后的数据进行可视化，以便更直观地了解天气变化。

import matplotlib.pyplot as plt  
  
# 绘制当天温度图  
plt.figure(figsize=(10, 5))  
plt.plot(df_today['日期'], df_today['最高温'], label='最高温', marker='o')  
plt.plot(df_today['日期'], df_today['最低温'], label='最低温', marker='x')  
plt.title('当天温度变化')  
plt.xlabel('日期')  
plt.ylabel('温度 (°C)')  
plt.legend()  
plt.grid(True)  
plt.show()  
  
# 绘制未来14天温度图（这里假设'日期'列是字符串，需要转换为日期类型以便排序）  
df_14d['日期'] = pd.to_datetime(df_14d['日期'])  
df_14d.sort_values(by='日期', inplace=True)  
  
plt.figure(figsize=(15, 7))  
plt.plot(df_14d['日期'], df_14d['最高温'], label='最高温', marker='o')  
plt.plot(df_14d['日期'], df_14d['最低温'], label='最低温', marker='x')  
plt.title('未来14天温度变化')  
plt.xlabel('日期')  
plt.ylabel('温度 (°C)')  
plt.xticks(rotation=45)  # 旋转x轴标签，避免重叠  
plt.legend()  
plt.grid(True)  
plt.show()

第七步：数据保存

将处理后的数据保存到CSV文件中，方便后续分析和使用。

# 保存数据到CSV文件  
df_today.to_csv('weather_today.csv', index=False)  
df_14d.to_csv('weather_14d.csv', index=False)

第八步：注意事项与扩展

反爬虫机制：在实际应用中，许多网站都设置了反爬虫机制，如限制访问频率、验证码等。如果遇到这些问题，可能需要使用代理IP、设置合适的请求头、使用Selenium等工具来模拟浏览器行为。
法律与道德：在爬取任何网站的数据之前，请确保你的行为符合相关法律法规以及网站的robots.txt文件规定。尊重网站的数据版权和隐私政策。
数据更新：天气数据是实时更新的，因此如果你需要获取最新数据，需要定期运行你的爬虫程序。
错误处理：在编写爬虫时，应添加适当的错误处理逻辑，如网络请求失败、HTML结构变化等情况下的异常处理。
数据扩展：除了基本的天气信息外，你还可以尝试爬取更多维度的数据，如空气质量、风向风速、湿度等，以满足不同的分析需求。