历年政府采购公告数据（仅含条目数据，停止更新）

一直有小伙伴想爬取中国政府采购网的政府采购公告数据（注意之前分享的是政府采购合同数据），在过去几个月里，我花了很多时间（还有很多钱）来爬取这个数据。

该数据的爬取分成两部分，首先需要爬取整理所有的目录页面：

这样可以得到每一条政府采购公告数据的标题、链接、年份等信息。我爬取的是 2001 年到 2022 年 6 月 30 日的，经过爬取和整理一共得到了大约 1400 万条公告链接数据。

第二部是循环爬取这 1300 万个链接，得到每个公告的详细信息。这部分工作又得分成两部分：1. 2013 年之前的爬取过程是反爬的；2. 2013 年之后的爬取过程不反爬。因此我先爬取了 2013 年之后的网页，大概是 1100 万个。

各年、各种类型的政府采购公告样式千奇百怪，难以整理，所以详细数据的整理还在进行中。因此今天先分享第一步的结果，2001～2022 年 6 月全部的 1400 万条采购公告的基础信息，包含如下变量：

1. 年份
2. 链接
3. 标题
4. 文本
5. 日期
6. 采购人
7. 代理机构
8. 类型
9. 地区
10. 类别

dfa %>%
  arrange(desc(年份))

#> # A tibble: 14,007,770 × 10
#>     年份 链接                                                标题  文本  日期       采购人 代理…¹  类型  地区  类别
#>    <dbl> <chr>                                               <chr> <chr> <date>     <chr>  <chr>   <chr> <chr> <chr>
#>  1  2022 http://www.ccgp.gov.cn/cggg/dfgg/gkzb/202201/t2022… 辉县… NA    2022-01-01 辉县…  河南嘉… 公开… 河南… ""
#>  2  2022 http://www.ccgp.gov.cn/cggg/dfgg/zbgg/202201/t2022… 新疆… NA    2022-01-01 新疆…  新疆普… 中标… 新疆… "货…
#>  3  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#>  4  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#>  5  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#>  6  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#>  7  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#>  8  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#>  9  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#> 10  2022 http://www.ccgp.gov.cn/cggg/dfgg/jzxcs/202201/t202… 宜昌… NA    2022-01-01 夷陵…  中咨智… 竞争… 湖北… "服…
#> # … with 14,007,760 more rows, and abbreviated variable name ¹代理机构
#> # ℹ Use `print(n = ...)` to see more rows

其中文本变量是指有些公告目录上有这样的一些描述：

由于数据非常大，所以我拆分成了逐年的文件，包括下面两种格式：

1. 供 Stata 读取的 dta 格式；
2. 供 Excel 读取的 xlsx 格式。

大家可以根据自己的需要选择使用。

详细的公告数据还在处理中。考虑到公告的样式各种个样，难以处理，所以只选择处理含有公告摘要的：

没有公告摘要信息的公告会直接使用“公告文本”变量保存公告的内容方便有需要的小伙伴进行文本分析。

详细的公告数据处理完成之后也会分享给大家，耐心等待即可～

下图展示了历年各种类型的公告数量以及占比：

)

点击这里跳转到 RStata 短书平台获取附件：历年政府采购公告数据（仅含条目数据，停止更新）