今天给大家分享一份爬取自中国政府采购网的政府采购数据,爬取时间为 2023 年 9 月 底,合计 288.4 万条数据(去除了重复的)。
网站上的数据是这样的:
![]()
点击每一项可以看到合同的详情,根据时间的不同,详情页有两种形式。2020 年 7 月 1 日之前的合同详情页面是这样的:
![]()
2020 年 7 月 1 日之后的合同详情页面是这样的:
![]()
经过我们的爬取整理,得到了 288.4 万条合同数据,包含如下变量:
合同编号、合同名称、合同签订日期、合同公告日期、合同金额、采购方式、详情链接、项目编号、采购人、采购人地址、供应商、供应商地址、主要标的名称、规格型号或服务要求、主要标的数量、主要标的单价、履约期限和地点等简要信息、所属地域、所属行业、代理机构
数据格式方面,我们提供两种格式:
- 供 Stata 读取的 dta 格式;
- 供 Excel 读取的 xlsx 格式。
有数据很大,所以拆分成了逐年的文件,例如 2023 年的数据预览如下:
![]()
各年份发布(按照发布日期算)的合同数量分布如下:
![]()
如何爬取的
关于这份数据是如何爬取整理的,感兴趣的小伙伴可以学习这个课程:
使用 R 语言爬取政府采购数据:多线程爬取 & 正则表达式:https://rstata.duanshu.com/#/brief/course/597b1ad461a04821987af9496d8d25d1
点击这里跳转到 RStata 短书平台获取附件:旧版本|政府采购合同数据(截止 2023 年 9 月)
评论