【年报文本深度解析】Python高效批量提取上市公司年报中的“MD”文本内容

目录

一些做文本分析的经管类文章里在介绍时简单得用“MD&A”（即管理层讨论与分析）部分作为文本分析样本，但实际上在很多年报中并无叫该名的章节，可能还会叫董事会报告等一系列名称，所以按照下方文献的思路，重新编制代码，提取相应部分。

[1]姚加权,张锟澎,郭李鹏,等.人工智能如何提升企业生产效率？——基于劳动力技能结构调整的视角[J].管理世界,2024,40(02):101-116+133+117-122.DOI:10.19744/j.cnki.11-1235/f.2024.0018.

1 章节名和下一章节名设置

经过人工阅读，总结了一套经营信息所在章节的章节名，以及其下一章的章节名，粗略估计能涵盖98%以上的年报文本。

title=['董事会报告','董事局报告','经营情况讨论与分析','经营层讨论与分析','管理层讨论与分析','管理层分析与讨论','董事会工作报告','董事局工作报告']
nexttitle=['监事会工作报告\n','监事会工作报告 \n','监事会报告 \n','重要事项 \n','公司治理 \n','监事会报告\n','重要事项\n','公司治理\n']

2 核心函数

该函数的核心思路是，找出当前年报经营信息对应的章节名，同时由于目录会出现一次章节名，所以设置一些判定条件避开。

def exetract(fileName):
    with open('all txt\\'+fileName,'r',encoding='utf-8') as f:
        text=f.read()
        minindex1=sys.maxsize
        #找出公司经营信息所在章节的章节名
        for i in range(len(title)):          
            #避免第一次出现标题是在目录
            if text.find(title[i])!= -1 and text[text.find(title[i])+len(title[i])] not in ['“','。','分','一','中','关','之','》','"','—','”','第'] and text.find(title[i]) < minindex1:
                minindex1=text.find(title[i])
                topic=title[i]
                continue
            elif text.find(title[i],text.find(title[i])+1)!= -1 and text.find(title[i]) < minindex1:
                minindex1=text.find(title[i])
                topic=title[i]
        splittext=text.split(topic)     
        for ind,j in enumerate(splittext[1:]):
            if j[0:2]==' \n' or j[0]=='\n' or j[0]==' ' or j[0]=='	':
                result=''
                for k in range(ind+1,len(splittext[1:])+1):
                    result=result+splittext[k]
                break
            else:
                continue
        minindex2=sys.maxsize
        for k in range(len(nexttitle)):
            if result.find(nexttitle[k])!= -1 and result.find(nexttitle[k])<minindex2:
                minindex2=result.find(nexttitle[k])
                nexttopic=nexttitle[k]
            else:
                continue
        result=result.split(nexttopic)[0]
        with open('outputtxt\\'+fileName,'w',encoding='utf-8') as w:
            w.write(result)
            w.close()
        print(str(index)+'完成')

3 全部代码

import os
import pandas as pd
import sys

# 注意，可能出现目录与章节名不一致、没有目录、目录前出现章标题的情况，需要手动调整
fileList=os.listdir('all txt')
outfileList=os.listdir('outputtxt')
title=['董事会报告','董事局报告','经营情况讨论与分析','经营层讨论与分析','管理层讨论与分析','管理层分析与讨论','董事会工作报告','董事局工作报告']
nexttitle=['监事会工作报告\n','监事会工作报告 \n','监事会报告 \n','重要事项 \n','公司治理 \n','监事会报告\n','重要事项\n','公司治理\n']

def exetract(fileName):
    with open('all txt\\'+fileName,'r',encoding='utf-8') as f:
        text=f.read()
        minindex1=sys.maxsize
        #找出公司经营信息所在章节的章节名
        for i in range(len(title)):        
            #避免第一次出现标题是在目录
            if text.find(title[i])!= -1 and text[text.find(title[i])+len(title[i])] not in ['“','。','分','一','中','关','之','》','"','—','”','第'] and text.find(title[i]) < minindex1:
                minindex1=text.find(title[i])
                topic=title[i]
                continue
            elif text.find(title[i],text.find(title[i])+1)!= -1 and text.find(title[i]) < minindex1:
                minindex1=text.find(title[i])
                topic=title[i]
        splittext=text.split(topic)
        for ind,j in enumerate(splittext[1:]):
            if j[0:2]==' \n' or j[0]=='\n' or j[0]==' ' or j[0]=='	':
                result=''
                for k in range(ind+1,len(splittext[1:])+1):
                    result=result+splittext[k]
                break
            else:
                continue
        minindex2=sys.maxsize
        for k in range(len(nexttitle)):
            if result.find(nexttitle[k])!= -1 and result.find(nexttitle[k])<minindex2:
                minindex2=result.find(nexttitle[k])
                nexttopic=nexttitle[k]
            else:
                continue
        result=result.split(nexttopic)[0]
        with open('outputtxt\\'+fileName,'w',encoding='utf-8') as w:
            #result=result.replace('\n','')#删除换行符
            w.write(result)
            w.close()
        print(str(index)+'完成')
# 下方需要根据个人数据情况，调用exetract(函数)遍历全部年报文本
for i in fileList:
	exetract(i)

作者：Ryo_Yuki