今天给大家分享一份爬取自中国政府采购网的政府采购数据，爬取时间为 2024 年 3 月 29 日，合计 373 万条数据（网站上标注的比这个多，不过里面存在很多重复的，去除之后就只剩这么多了）。
网站上的数据是这样的：
点击每一项可以看到合同的详情，根据时间的不同，详情页有两种形式。2020 年 7 月 1 日之前的合同详情页面是这样的：
2020 年 7 月 1 日之后的合同详情页面是这样的：
经过我们的爬取整理，得到了 373 万条合同数据，包含如下变量：
合同编号、合同名称、合同签订日期、合同公告日期、合同金额、采购方式、详情链接、项目编号、采购人、采购人地址、供应商、供应商地址、主要标的名称、规格型号或服务要求、主要标的数量、主要标的单价、履约期限和地点等简要信息、所属地域、所属行业、代理机构、合同金额num_万元
数据预览如下：
为了方便大家使用，部分变量已进行了初步处理（例如日期转换成日期变量，合同金额转换成了数值型）。
为了便于大家更好的了解这份数据，下图展示了每年政府采购合同的数目（根据签订时间计算）：
各年合同总金额：
这里有个特别需要注意的事情，就是数据里面的合同金额有一些是错误的，例如 100 万写成了 1000000 万（没有特别好的办法一一改正，有很多实在没法判断是对是错），因此上图是把合同金额超过 100 亿或者小于 1 万的删去了。
如何爬取
对这份数据的爬取感兴趣的小伙伴可以学习这个课程：
使用 R 语言爬取政府采购数据：多线程爬取 & 正则表达式：https://rstata.duanshu.com/#/brief/course/597b1ad461a04821987af9496d8d25d1
点击这里跳转到 RStata 短书平台获取附件：旧版本｜2000～2024年3月政府采购合同公告数据
评论