代码收藏家技术教程 2025-02-11

python 获取网页表格的方法（多种方法汇总）

我们在网页上看到很多的表格，如果要获取里面的数据或者转化成其他格式，

就需要将表格获取下来并进行整理。

在Python中，获取网页表格的方法有多种，以下是一些常用的方法和库：

1. 使用Pandas的`read_html`

Pandas库提供了一个非常方便的函数read_html，它可以自动识别HTML中的表格并将其转换为DataFrame对象。

import pandas as pd

# 从URL读取
dfs = pd.read_html('http://example.com/some_page_with_tables.html')

# 从文件读取
dfs = pd.read_html('path_to_your_file.html')

# 访问第一个DataFrame
df = dfs[0]

这个方法获取表格非常简单，而且解析数据也很方便，是比较常用的直接获取网页表格的方法。

2. 使用BeautifulSoup和pandas

如果你需要更细粒度的控制，可以使用BeautifulSoup来解析HTML，然后手动提取表格数据，并将其转换为pandas的DataFrame。

from bs4 import BeautifulSoup
import pandas as pd

# 假设html_doc是你的HTML内容
html_doc = """
<table>
  <tr>
    <th>Column1</th>
    <th>Column2</th>
  </tr>
  <tr>
    <td>Value1</td>
    <td>Value2</td>
  </tr>
</table>
"""

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取表格
table = soup.find('table')

# 提取表头
headers = [th.text for th in table.find_all('th')]

# 提取表格数据
rows = []
for tr in table.find_all('tr')[1:]:  # 跳过表头
    cells = [td.text for td in tr.find_all('td')]
    rows.append(cells)

# 创建DataFrame
df = pd.DataFrame(rows, columns=headers)

这个方法主要是遍历表格的各个部分，然后保存下来。这样的方法可以细化做调整，例如可以筛选掉一些不需要的内容之类的。

3. 使用lxml库

lxml是一个强大的XML和HTML解析库，它提供了XPath支持，可以用来提取复杂的HTML结构。

from lxml import html

# 假设html_doc是你的HTML内容
html_doc = """
<table>
  <tr>
    <th>Column1</th>
    <th>Column2</th>
  </tr>
  <tr>
    <td>Value1</td>
    <td>Value2</td>
  </tr>
</table>
"""

# 解析HTML
tree = html.fromstring(html_doc)

# 使用XPath提取表格数据
rows = tree.xpath('//tr')

# 提取表头
headers = [header.text_content() for header in rows[0].xpath('.//th')]

# 提取表格数据
data = []
for row in rows[1:]:
    cells = [cell.text_content() for cell in row.xpath('.//td')]
    data.append(cells)

# 创建DataFrame
df = pd.DataFrame(data, columns=headers)

4. 使用Scrapy框架

Scrapy是一个用于爬取网站并从页面中提取结构化数据的应用框架。它提供了一套完整的工具，可以用来处理复杂的爬虫任务。

import scrapy

class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/some_page_with_tables.html']

    def parse(self, response):
        for table in response.css('table'):
            for row in table.css('tr'):
                columns = row.css('td::text').getall()
                yield {
                    'Column1': columns[0],
                    'Column2': columns[1],
                }