由于现在网站增加了反爬，所以仅仅爬取了目录页面的信息，不过也包含了供应商、客户、金额等关键信息，因此就没再继续爬取详情页面。供应商、客户的经纬度信息是先使用名称和工商注册信息匹配，然后使用匹配得到的工商注册地址解析得到的。如果没有匹配成功就直接使用名称解析。
今天给大家分享一份爬取自中国政府采购网的政府采购数据，爬取的时间范围为 2000～2025 年 12 月，合计超过 600 万条数据（网站上标注的比这个多，不过里面存在很多重复的，去除之后就只剩这么多了）。
网站上的数据是这样的：
点击每一项可以看到合同的详情，根据时间的不同，详情页有两种形式。2020 年 7 月 1 日之前的合同详情页面是这样的：
2020 年 7 月 1 日之后的合同详情页面是这样的：
数据概览
经过我们的爬取整理，得到了超过 600 万条合同数据，因为数据量较大，所以分年份进行了储存（附件中的 分年文件 文件夹包含 2000～2025 年各年的 dta.zip 文件）。以 2025 年为例，数据预览如下：
为了方便大家使用，部分变量已进行了初步处理（例如日期转换成日期变量，合同金额转换成了数值型）。
为了便于大家更好的了解这份数据，下图展示了每年政府采购合同的数目（根据签订时间计算）：
各年合同总金额（2014～2025年）：
这里有个特别需要注意的事情，就是数据里面的合同金额有一些是错误的，例如 100 万写成了 1000000 万（没有特别好的办法一一改正，有很多实在没法判断是对是错），因此上图是把合同金额超过 100 亿或者小于 1 万的删去了。
如何爬取
本来这个数据是有个爬取课程：
使用 R 语言爬取政府采购数据：多线程爬取 & 正则表达式：https://rstata.duanshu.com/#/brief/course/597b1ad461a04821987af9496d8d25d1
不过由于网站反爬的升级，这个课程的代码已经失效了，就不再建议学习了。由于每年我都会分享这个数据，所以也觉得没必要再重新讲解爬取方法了。
数据引用要求
由于该数据包含较多 RStata 处理的内容，在研究中使用该数据请使用清晰的方式注明数据来源于 RStata 或者 RStata 数据中心，并使用如下格式引用：
RStata 数据中心: 2000～2025年12月政府采购合同数据(含采购人和供应商经纬度及其所属省市区县). 2026. https://tidyfriday.cn/rsdb2/
英文文献可以使用下面的格式引用：
RStata Data Center: Government Procurement Contracts Database, 2000–2025 (through December), with Geocoded Coordinates and Administrative Divisions of Procuring Entities and Suppliers. 2026. https://tidyfriday.cn/rsdb2/
关联课程/数据推荐
2000～2024 年政府采购供应商与工商注册信息匹配结果：https://rstata.duanshu.com/#/course/9df7d4c13cf64c69a4cc02a1d8044e9c
2013～2024 年上市公司与政府采购数据匹配结果(截止2024年12月)：https://rstata.duanshu.com/#/course/705954e973f8474797fe7990eae684c4
2015～2024 年专精特新企业与政府采购数据匹配结果：https://rstata.duanshu.com/#/course/f647e696f33e44188d262a5738183bec
2009～2020 年税调与政府采购数据匹配结果：https://rstata.duanshu.com/#/course/3877739b49274e559cc6510f01784b9b
使用 R 语言进行地理编码：地址解析经纬度、坐标转换 & 根据经纬度判断所处的省市区县：https://rstata.duanshu.com/#/course/6f8633b486ed49e398c486d0d9f0f59a
RStata 定制｜地址转经纬度与根据经纬度判断所处的省市区县：https://rstata.duanshu.com/#/course/6b44ce2712af47b6ba7b2a2fd74a4e68
点击这里跳转到 RStata 短书平台获取附件：2000～2025 年 12 月政府采购合同数据(含采购人和供应商经纬度及其所属省市区县)
评论