利用Pydantic的BaseModel简化Python中的数据处理

文章目录

前言

在开发过程中，我们经常需要处理来自不同源头的数据，这些数据可能包含各种格式和类型。确保数据的质量和一致性是构建健壮应用的关键之一。为了简化这一过程，提高代码的可维护性和可靠性，我们可以使用Pydantic库提供的BaseModel类。本文将简要介绍BaseModel的作用、适用场景，并通过实例展示其基本用法。

一、Pydantic的BaseModel方法

1. 含义

在Python中，BaseModel并不是所有类的基类；它是Pydantic库中的一个特定类，专门用于数据验证、设置默认值、序列化和反序列化等目的。是否使用BaseModel取决于你的具体需求。如果你的应用场景涉及到需要对输入的数据进行严格的验证、处理复杂的嵌套数据结构或者需要将数据模型序列化为JSON格式（或从这些格式恢复），那么使用BaseModel将会非常有帮助。

2. 使用BaseModel情景

3. BaseModel示例代码

使用 BaseModel

from pydantic import BaseModel, Field
from typing import Optional

class Config(BaseModel):
    model_path: str = Field(..., description="路径到模型文件")
    query_instruction: Optional[str] = Field("默认查询指令", description="查询文本前添加的指令")
    use_gpu: bool = Field(True, description="是否使用GPU加速")

# 使用例子
config = Config(model_path="/path/to/model")
print(config)

在这个例子中，Config类利用了BaseModel提供的特性来自动处理数据验证、默认值设定和描述文档生成等功能。

不使用 BaseModel

class SimpleConfig:
    def __init__(self, model_path: str, query_instruction: str = "默认查询指令", use_gpu: bool = True):
        self.model_path = model_path
        self.query_instruction = query_instruction
        self.use_gpu = use_gpu

# 使用例子
config = SimpleConfig(model_path="/path/to/model")
print(config.__dict__)

在这个例子中，我们没有使用BaseModel，而是直接定义了一个类，并在构造函数中手动设置了属性及其默认值。这种方式更灵活，但缺少了自动数据验证和类型检查等特性。

如果项目中需要强大的数据验证和处理功能，BaseModel是一个非常好的选择。而对于一些较为简单、不需要复杂数据处理的应用场景，直接定义类或继承其他更适合的基础类可能是更好的选择。重要的是根据实际需要来决定最适合的设计方案。

二、更多高级示例

1、嵌套模型示例

from pydantic import BaseModel, Field

class Address(BaseModel):
    street: str
    city: str
    zip_code: str

class Person(BaseModel):
    name: str = Field(..., description="姓名")
    age: int = Field(..., gt=0, description="年龄必须大于0")
    address: Address

# 使用例子
person = Person(name="张三", age=28, address={"street": "科技路", "city": "苏州", "zip_code": "215000"})
print(person)

说明: 这个例子演示了如何使用Pydantic处理嵌套的数据结构。Address类作为Person类的一个字段被定义和使用。此外，还展示了如何为字段添加验证条件（如age必须大于0）。

2、复杂数据类型示例

from typing import List, Dict
from pydantic import BaseModel

class Product(BaseModel):
    id: int
    name: str
    tags: List[str] = []
    dimensions: Dict[str, float] = None

# 使用例子
product = Product(id=1, name="笔记本电脑", tags=["电子", "便携"], dimensions={"长": 30.5, "宽": 20.0})
print(product)

说明: 此示例展示了如何在Pydantic模型中使用更复杂的数据类型，比如列表(List)和字典(Dict)。默认情况下，如果未提供值，则tags将是一个空列表，而dimensions将为None。

3、自定义验证器示例

from pydantic import BaseModel, validator

class User(BaseModel):
    username: str
    password: str

    @validator('password')
    def password_must_have_6_characters(cls, v):
        if len(v) < 6:
            raise ValueError('密码至少需要6个字符')
        return v

# 使用例子
try:
    user = User(username="user1", password="123456")
    print(user)
except ValueError as e:
    print(e)

说明: 在这个示例中，我们通过装饰器@validator为password字段添加了一个自定义验证器，确保其长度至少为6个字符。如果输入不符合要求，将抛出ValueError异常。

作者：tangjunjun-owen