新版本在这里:https://rstata.duanshu.com/#/course/159d29113a1c46a59c9b85c4308ef5fe
今天给大家分享一份爬取自中国政府采购网的政府采购数据,爬取时间为 2024 年 3 月 29 日,合计 373 万条数据(网站上标注的比这个多,不过里面存在很多重复的,去除之后就只剩这么多了)。
网站上的数据是这样的:
![]()
点击每一项可以看到合同的详情,根据时间的不同,详情页有两种形式。2020 年 7 月 1 日之前的合同详情页面是这样的:
![]()
2020 年 7 月 1 日之后的合同详情页面是这样的:
![]()
经过我们的爬取整理,得到了 373 万条合同数据,包含如下变量:
合同编号、合同名称、合同签订日期、合同公告日期、合同金额、采购方式、详情链接、项目编号、采购人、采购人地址、供应商、供应商地址、主要标的名称、规格型号或服务要求、主要标的数量、主要标的单价、履约期限和地点等简要信息、所属地域、所属行业、代理机构、合同金额num_万元
数据预览如下:
![]()
为了方便大家使用,部分变量已进行了初步处理(例如日期转换成日期变量,合同金额转换成了数值型)。
为了便于大家更好的了解这份数据,下图展示了每年政府采购合同的数目(根据签订时间计算):
![]()
各年合同总金额:
![]()
这里有个特别需要注意的事情,就是数据里面的合同金额有一些是错误的,例如 100 万写成了 1000000 万(没有特别好的办法一一改正,有很多实在没法判断是对是错),因此上图是把合同金额超过 100 亿或者小于 1 万的删去了。
如何爬取
对这份数据的爬取感兴趣的小伙伴可以学习这个课程:
使用 R 语言爬取政府采购数据:多线程爬取 & 正则表达式:https://rstata.duanshu.com/#/brief/course/597b1ad461a04821987af9496d8d25d1
点击这里跳转到 RStata 短书平台获取附件:旧版本|2000~2024年3月政府采购合同公告数据
评论