2001～2024 年各上市公司数字转型关键词总词频及TF-IDF指标计算结果（吴非2021版本，基于管理层讨论分析文本）

1466 字 约 5 分钟 数据资料 上市公司文本数据

今天给大家分享一份 2001～2024 年各上市公司数字转型关键词总词频及 TF-IDF 指标计算结果。该数据基于上市公司年报中“管理层讨论与分析”部分的文本处理得到。

数据来源与处理方法

该数据的原始文本来源于巨潮资讯网（http://www.cninfo.com.cn/）披露的上市公司年报。由于巨潮资讯网仅提供 2000 年之后的年报文件，因此数据起始年份为 2001 年（2000年的年报太少）。

数据处理流程主要包含以下步骤：

1. 文本提取与分词

使用 R 语言的 jiebaR 包对年报文本进行中文分词处理。分词引擎配置了停用词字典（stopwords.txt）和用户自定义词典（dictionary.txt），其中用户词典包含了吴非(2021)论文中界定的数字化转型关键词。

# 分词引擎：需要停用词字典和用户字典
engine_s <- worker(stop_word = "stopwords.txt", user = "dictionary.txt")
read_csv("dictionary.txt", col_names = F) -> word

2. 关键词筛选与词频统计

分词完成后，根据吴非(2021)论文提供的数字化转型关键词词典（包括人工智能、大数据、云计算、区块链、物联网、移动互联网等 75 个特征词）进行关键词筛选，并按公司和年份汇总词频。

textdf2 %>%
  mutate(file = basename(file)) %>%
  tidyr::extract(col = file, into = c("code", "year"),
                 regex = "(.*)_(\\d{4})") %>%
  filter(value %in% word$X1) -> textdf2a

textdf2a %>%
  mutate(year = as.numeric(year)) %>%
  group_by(code, year) %>%
  summarise(n = sum(n)) %>%
  ungroup()

3. TF-IDF 指标计算

在词频统计的基础上，使用 tidytext 包计算 TF-IDF（词频-逆文档频率）指标，以反映数字技术在单份年报中的相对重要性。

textdf2 %>%
  bind_tf_idf(term = value, document = file, n = n) %>%
  mutate(file = basename(file)) %>%
  tidyr::extract(col = file, into = c("code", "year"),
                 regex = "(.*)_(\\d{4})") %>%
  filter(value %in% word$X1) %>%
  group_by(code, year) %>%
  summarise(tf_idf = sum(tf_idf, na.rm = T)) %>%
  ungroup() -> textdf4

4. 股票信息匹配

通过巨潮资讯网 API 获取上市公司股票代码与股票名称的对应关系，将代码匹配为便于阅读的名称。

library(jsonlite)
fromJSON("http://www.cninfo.com.cn/new/data/szse_stock.json") -> lst
lst$stockList %>%
  as_tibble() %>%
  select(code, category, zwjc) -> codelist

附件也提供的全部代码供参考：

数据概览

为方便大家使用，我把数据整理成了上市公司层面的数字转型关键词词频与 TF-IDF 指标面板数据，包含以下两个文件：

数据文件 指标说明
2001～2024年各上市公司数字转型关键词总词频（吴非2021，基于管理层讨论与分析部分文本）.dta 各上市公司每年数字化转型相关关键词的总出现次数（词频指标）
2001～2024年上市公司数字赋能指数(吴非2021TF-IDF，基于管理层讨论与分析部分文本).dta 各上市公司每年的数字赋能指数（基于 TF-IDF 方法计算）

数据变量说明：

变量名 说明
年份 年份（2001～2024）
股票代码 上市公司股票代码
股票名称 上市公司股票名称
类别 股票交易所类别（沪市/深市等）
总词频 / 数字赋能指数 数字化转型程度指标

该数据可用于研究以下问题：

  • 企业数字化转型程度的时序变化趋势
  • 数字化转型与企业经营绩效的关系
  • 数字化转型的行业与地区差异
  • 数字化转型对企业创新的影响

预览如下：

图表展示

数字化转型关键词图谱

下图展示了吴非(2021)论文中界定的数字化转型关键词分类图谱，涵盖人工智能、大数据、云计算、区块链、物联网、移动互联网等五大类共 76 个特征词：

5 家上市公司词频指标变化趋势

下图展示了数据中 5 家上市公司数字化转型程度的变化（基于词频指标）：

5 家上市公司 TF-IDF 指标变化趋势

下图展示了数据中 5 家上市公司数字化转型程度的变化（基于 TF-IDF 指标）：

2024 年各上市公司数字赋能指数词云

下图展示了 2024 年所有上市公司数字赋能指数的词云图，字体大小反映该公司在年报中提及数字技术相关词汇的程度：

数据引用格式

由于该数据包含较多 RStata 处理的内容，在研究中使用该数据请使用清晰的方式注明数据来源于 RStata 或者 RStata 数据中心，并使用如下格式引用：

RStata 数据中心: 2001～2024年各上市公司数字转型关键词总词频及TF-IDF指标计算结果（吴非2021版本，基于管理层讨论分析文本）. 2026. https://tidyfriday.cn/rsdb2/

英文文献可以使用下面的格式引用：

RStata Data Center: Panel Data on Digital Transformation Keyword Frequency and TF-IDF Indicators for Chinese Listed Companies (Wu Fei 2021 Version, Based on Management Discussion and Analysis Text), 2001–2024. 2026. https://tidyfriday.cn/rsdb2/

关联课程/数据推荐

R 语言文本分析：https://rstata.duanshu.com/#/course/bf37cf50eef04d38b43541cc52114c96

使用 R 语言爬取全部上市公司的年报数据：https://rstata.duanshu.com/#/course/6e8f8a1c6b2e4784974b1087fcbfc52c

使用 Stata 提取一大堆文本文件中的词频并绘图展示：https://rstata.duanshu.com/#/course/efd05edf653e4eccaf9fc8228948767e

Stata 中文文本分析：https://rstata.duanshu.com/#/course/b6a9efd94e5a48c2bba52dc9fdfd4291

R 语言：调用百度文心千帆大模型进行文本分析与文本主要内容提取：https://rstata.duanshu.com/#/course/ac74461a5d12460b80538877a8242b18

如需定制相关数据或有其他数据需求，欢迎联系李老师付费定制。

点击这里跳转到 RStata 短书平台获取附件：2001～2024 年各上市公司数字转型关键词总词频及TF-IDF指标计算结果（吴非2021版本，基于管理层讨论分析文本）

相关文章

评论