数字经济作为当前研究的一项热点话题，在研究中深为学者青睐。本篇推文将介绍企业数字化转型程度的两种常用衡量指标：词频指标和 TF-IDF 指标，并提供使用两项指标测度的 2001~2022 年各上市公司数字化转型程度计算结果。
为方便大家使用，我提供了两种格式：供 Stata 读取的 dta 格式和供 Excel 打开的 xlsx 格式，主要包含以下文件：
- 2001~2022年各上市公司数字转型关键词总词频（词频指标）
- 2001~2022年上市公司数字赋能指数(TF-IDF指标)
上市公司数字化转型程度（词频指标）
「工商管理」2021 年第 7 期里面有篇论文 <企业数字化转型与 资本市场表现——来自股票流动性的经验证据> 将上市企业年报中涉及“企业数字化转型”的相应词频统计作为企业数字化转型程度的代理指标。
与“企业数字化转型”相关的词频主要包括：人工智能技术、大数据技术、云计算技术、区块链技术以及数字技术运用等五类词语，具体的关键词如下：
词频指标具体计算方法为：根据上图的特征词进行搜索、匹配和词频计数，进而分类归集关键技术方向的词频并形成最终加总词频，并将其进行对数化处理，从而得到刻画企业数字化转型的词频指标。
下图展示了数据中 5 家上市公司数字化转型程度的变化（词频指标）：
上市公司数字化转型程度（TF-IDF 指标）
「经济研究」2023 年 6 月刊里面有篇论文 <国内贸易网络、地理距离和供应商本地化>中使用了 TF-IDF 指标来反映上市公司数字技术的应用程度。该指标的计算方法如下：
其中 D 表示数字赋能指标词典集合，包括词频指标中涉及的关键词。TF 表示术语频率或者说词频，IDF 表示逆文档频率指数。在之前的课程「名师讲堂｜上市公司数字赋能指数计算（数字技术应用程度指标）」中，我们分享了该方法的 R 语言实现方法。
×
下图展示了数据中 5 家上市公司数字化转型程度的变化（TF-IDF 指标）：
上市公司年报爬取
在计算上市公司数字化转型程度之前，需要预先爬取上市公司年报。考虑到处理上市公司的年报是个很困难的事情，于是我就直接帮大家处理好了。
上市公司年报可以从巨潮资讯网爬取，爬取方法可以参考平台上的系列课程「R 语言文本分析」：
×
由于巨潮资讯网只提供了 2000 年之后的年报文件，所以我只爬取了 2000 年之后的。合计 55475 份 pdf 文件，172GB，基于此即可计算上市公司数字赋能指数。
计算方法不难，不过计算量非常巨大。计算过程包含文本提取、中文文本分词和 TF-IDF 计算三步。
下图展示 2022 年所有上市公司数字赋能指数词云图（R 语言绘制，绘图代码见附件中）：
点击这里跳转到 RStata 短书平台获取附件：旧版本｜2001~2022年各上市公司数字转型关键词总词频及TF-IDF指标计算结果（吴非2021版本）
评论