代码收藏家 Python中的HTTP请求：从菜鸟到高手的全面指南
目录
一、HTTP请求基础知识
二、Python中的HTTP请求库
安装requests库
使用requests库发送HTTP请求
GET请求
POST请求
PUT请求
DELETE请求
三、处理HTTP响应
获取状态码
获取响应头
获取响应体
四、高级技巧与实践
使用连接池
设置请求头
处理Cookies和Session
错误处理
设置超时时间
使用代理
HTTP认证
五、高级功能与实践
自定义请求头
文件上传
流式响应
处理重定向
SSL证书验证
六、总结
在现代网络应用中，HTTP（HyperText Transfer Protocol）协议是客户端与服务器之间数据传输的核心。作为Python开发者，了解和掌握如何发送和处理HTTP请求至关重要。无论你是开发Web应用、爬虫，还是进行API集成，本文都将从基础到高级，逐步引导你成为HTTP请求处理的高手。
一、HTTP请求基础知识
HTTP是一种无状态的应用层协议，用于客户端和服务器之间的数据传输。其主要特点包括请求-响应模型、无状态性以及对多种数据格式的支持。
一个HTTP请求由请求行、请求头和请求体三部分组成：
一个HTTP响应则包含状态行、响应头和响应体：
二、Python中的HTTP请求库
Python提供了多个模块和库来处理HTTP请求和响应，其中最常用的库是requests。requests库功能强大且易于使用，是发送HTTP请求的流行选择。
安装requests库
你可以使用pip命令来安装requests库：
pip install requests
使用requests库发送HTTP请求
requests库提供了简单的API来发送HTTP请求，包括GET、POST、PUT、DELETE等常见方法。
GET请求
GET请求用于从服务器获取数据。以下是一个简单的GET请求示例：
import requests
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print(response.status_code) # 打印状态码
print(response.json()) # 打印返回的JSON数据在这个例子中，我们发送了一个GET请求到https://jsonplaceholder.typicode.com/posts，并打印了响应的状态码和JSON数据。
POST请求
POST请求用于向服务器发送数据。以下是一个简单的POST请求示例：
import requests
data = {'title': 'foo', 'body': 'bar', 'userId': 1}
response = requests.post('https://jsonplaceholder.typicode.com/posts', json=data)
print(response.status_code) # 打印状态码
print(response.json()) # 打印返回的JSON数据在这个例子中，我们发送了一个POST请求到https://jsonplaceholder.typicode.com/posts，并发送了包含标题、正文和用户ID的JSON数据。
PUT请求
PUT请求用于更新服务器上的资源。以下是一个简单的PUT请求示例：
import requests
data = {'id': 1, 'title': 'updated title', 'body': 'updated body', 'userId': 1}
response = requests.put('https://jsonplaceholder.typicode.com/posts/1', json=data)
print(response.status_code) # 打印状态码
print(response.json()) # 打印返回的JSON数据在这个例子中，我们发送了一个PUT请求到https://jsonplaceholder.typicode.com/posts/1，并更新了指定帖子的标题、正文和用户ID。
DELETE请求
DELETE请求用于删除服务器上的资源。以下是一个简单的DELETE请求示例：
import requests
response = requests.delete('https://jsonplaceholder.typicode.com/posts/1')
print(response.status_code) # 打印状态码在这个例子中，我们发送了一个DELETE请求到https://jsonplaceholder.typicode.com/posts/1，并删除了指定帖子。
三、处理HTTP响应
在处理HTTP响应时，我们通常需要获取状态码、响应头和响应体。
获取状态码
状态码表示请求的处理结果，常见状态码包括：
获取状态码的示例：
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print(f"状态码: {response.status_code}")获取响应头
响应头包含服务器返回的附加信息，可以通过headers属性获取：
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print("响应头:")
for key, value in response.headers.items():
print(f"{key}: {value}")获取响应体
响应体是实际的数据内容，可以通过text或json()方法获取：
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print("响应体:")
print(response.text) # 以字符串形式获取
print(response.json()) # 以JSON格式获取四、高级技巧与实践
除了基本的HTTP请求和响应处理外，还有一些高级技巧和实践可以帮助你更高效地发送和处理HTTP请求。
使用连接池
建立HTTP连接是一个耗时的操作，为了减少连接的开销，你可以使用连接池来复用已有的连接。在requests库中，你可以通过设置Session对象来启用连接池。
import requests
session = requests.Session()
# 使用session发送多个请求
response1 = session.get('https://jsonplaceholder.typicode.com/posts/1')
response2 = session.get('https://jsonplaceholder.typicode.com/posts/2')
# 关闭session
session.close()设置请求头
在发送HTTP请求时，设置合适的请求头信息是非常重要的。例如，设置User-Agent可以模拟不同的浏览器行为，设置Accept-Encoding可以支持压缩以减少传输的数据量。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get('https://example.com', headers=headers)处理Cookies和Session
如果需要保持会话状态或进行多次请求，建议使用requests.Session()来管理会话，它会自动处理Cookies的持久化和发送。
session = requests.Session()
# 登录并获取cookies
login_data = {'username': 'your_username', 'password': 'your_password'}
response = session.post('https://example.com/login', data=login_data)
# 使用session发送其他请求
response = session.get('https://example.com/protected_page')错误处理
检查HTTP响应状态码以确保请求成功。对于非200的响应，应适当处理错误，并记录详细的错误信息以便调试。
try:
response = requests.get('https://example.com/nonexistent_page')
response.raise_for_status() # 如果状态码不是200，则引发HTTPError异常
except requests.exceptions.HTTPError as errh:
print("Http Error:", errh)
except requests.exceptions.ConnectionError as errc:
print("Error Connecting:", errc)
except requests.exceptions.Timeout as errt:
print("Timeout Error:", errt)
except requests.exceptions.RequestException as err:
print("OOps: Something Else", err)设置超时时间
为了防止请求无限期地等待，应设置合理的超时时间。这可以通过在请求中传递timeout参数来实现。
response = requests.get('https://example.com', timeout=5) # 设置超时时间为5秒使用代理
有时候，由于网络环境的限制，直接发起HTTP请求可能会遇到速度瓶颈。这时，你可以考虑使用代理来绕过限制，提高请求速度。
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:3128'
}
response = requests.get('https://www.zdaye.com', proxies=proxies)
print(response.text)注意，代理服务器的URL格式通常为协议://地址:端口。如果你需要身份验证，可以在URL中包含用户名和密码，如http://user:password@proxy.server:port。
HTTP认证
有些网站需要HTTP基本认证才能访问。requests库通过AuthBase类及其子类HTTPBasicAuth来处理这种情况。
from requests.auth import HTTPBasicAuth
url = 'https://example.com/protected'
username = 'your_username'
password = 'your_password'
response = requests.get(url, auth=HTTPBasicAuth(username, password))
print(response.text)此外，requests库还支持OAuth等更复杂的认证机制，这通常需要通过第三方库来实现。
五、高级功能与实践
自定义请求头
除了常见的User-Agent和Accept-Encoding之外，你还可以根据需要自定义其他请求头。
headers = {
'User-Agent': 'Custom User Agent',
'Custom-Header': 'CustomHeaderValue',
}
response = requests.get('https://example.com', headers=headers)
print(response.headers)文件上传
使用requests库上传文件非常简单。你只需要将文件对象作为文件字段的一部分传递给POST请求。
url = 'https://example.com/upload'
files = {'file': open('example.txt', 'rb')}
response = requests.post(url, files=files)
print(response.text)流式响应
对于大文件或长时间运行的请求，你可能希望以流的方式处理响应数据，以避免将整个响应内容一次性加载到内存中。
response = requests.get('https://example.com/largefile', stream=True)
with open('largefile', 'wb') as f:
for chunk in response.iter_content(chunk_size=8192):
f.write(chunk)处理重定向
requests库默认会自动处理HTTP重定向。但如果你需要控制重定向的行为，可以通过设置allow_redirects参数来实现。
response = requests.get('https://example.com/redirect', allow_redirects=False)
print(response.status_code) # 可能会是301或302
print(response.headers['Location']) # 重定向的目标URLSSL证书验证
默认情况下，requests库会验证SSL证书。但在某些情况下，你可能需要忽略SSL验证（例如，在测试环境中）。虽然不推荐在生产环境中这样做，但你可以通过设置verify参数为False来实现。
response = requests.get('https://example.com', verify=False)
print(response.text)然而，更好的做法是指定一个CA证书文件来验证服务器的SSL证书。
response = requests.get('https://example.com', verify='/path/to/cacert.pem')
print(response.text)六、总结
本文全面介绍了如何在Python中使用requests库发送和处理HTTP请求。从基础知识到高级技巧，我们涵盖了GET、POST、PUT、DELETE等常见请求方法，以及如何处理HTTP响应、设置请求头、管理Cookies和会话、处理错误、设置超时时间、使用代理和进行HTTP认证等内容。
作者：傻啦嘿哟
