R 爬虫之爬取 NCBI 文献

点击上方关注我们

故事起源

前几天有粉丝私信问我能不能爬取 NCBI 的文献，其实觉得没必要，批量爬取下来你不一定会看，最多爬取一下每篇文章的摘要，如果感兴趣再去下载对应的文献进行精读，既然说了自己也趁着在学习爬虫，试着爬取一下吧，画了一晚上的功夫也就下面这样了。

先看看

今天尝试一下爬取 NCBI 的文献并下载，NCBI 上的 pubmed 文献下载有好几个来源：

• 1、pubmed 可免费下的会有 PMC full text 标志

• 2、直接到 期刊网址 里下载免费文献

• 3、还有一种在搜索文献主界面没有 Free （PMC） article 标注，里面只有该期刊的链接，具体不知道是不是可以免费下载，只有点进去看了才知道

第二篇点进去之后：

尝试下载

我的思路是对于PMC full text可以免费下载的文献我们下载，对应链接到期刊网址的只输出文献下载地址，没有下载到的自行点击链接查看是否可以下载相应的文献。

1、获取文章标题，网址

首先加载 R 包，构造网页链接，然后获取每篇文章的标题和链接，我们还是搜索 m6A 相关的文献：

library(rvest)
library(tidyverse)

# 构造网页
for (i in 1:1) {
  u <- paste('https://pubmed.ncbi.nlm.nih.gov/?term=m6a&page=',i,sep = '')
}
u
[1] "https://pubmed.ncbi.nlm.nih.gov/?term=m6a&page=1"

这里我们以第一页 10 篇文章做测试。

获取文章所有标题：

# 获取文章标题
title <- read_html(u) %>%
  html_nodes('.docsum-title') %>%
  html_text(trim = T)
# 查看内容
head(title,3)
[1] "Link Between m6A Modification and Cancers."
[2] "The role of m6A RNA methylation in cancer."
[3] "m6A Modification and Implications for microRNAs."

获取每篇文章对应的进入链接地址：

# 获取每篇文章链接
artc_link <- read_html(u) %>%
  html_nodes('.docsum-title') %>%
  html_attr('href') %>%
  paste('https://pubmed.ncbi.nlm.nih.gov',.,sep = '')
# 查看内容
head(artc_link,3)
[1] "https://pubmed.ncbi.nlm.nih.gov/30062093/" "https://pubmed.ncbi.nlm.nih.gov/30784918/"
[3] "https://pubmed.ncbi.nlm.nih.gov/28494721/"

然后我们需要判断每篇文章里面的右侧下载链接是由含有Free PMC article的字符串，我们点进某篇文章 右键检查 ，查看 相关节点信息 ：

看到两个链接都含有 link-item 属性，我们提取该属性的文本内容试试：

artc_link[1] %>%
  read_html() %>%
  html_nodes('.link-item') %>%
  html_text(trim = T)
[1] "Frontiers Media SA" "Free PMC article"   "Frontiers Media SA" "Free PMC article"
[5] "Clipboard"          "Email"              "Save"               "My Bibliography"
[9] "Collections"        "Citation Manager"

可以看到含有Free PMC article的字符串，我们拿第二篇文章没有PMC full text链接的试一试：

artc_link[2] %>%
  read_html() %>%
  html_nodes('.link-item') %>%
  html_text(trim = T)
[1] "Elsevier Science" "Elsevier Science" "Clipboard"        "Email"            "Save"
[6] "My Bibliography"  "Collections"      "Citation Manager"

发现里面并没有Free PMC article的字符串，因此我们应该可以利用这个来判断是不是Free PMC article的文章。

我们点击PMC full text进去会到新的页面，里面含有 pdf 下载的链接：

可以看到这个网页的地址可以在上一页的 href 中获得，我们使用 xpath 相对路径提取，虽然网址后面和上面的网址栏里有一些不一样，但是进去都会到 同一个页面 ：

提取链接地址：

artc_link[1] %>%
  read_html() %>%
  html_nodes(xpath = '//*[@id="full-text-links-dialog"]/div/a[2]') %>%
  html_attr('href')
[1] "https://www.ncbi.nlm.nih.gov/pmc/articles/pmid/30062093/"

2、获取文章pdf下载地址

然后还需要获得 pdf 的下载地址，右边 PDF 链接点击后会直接进入文章 pdf 的浏览界面：

同样这个网页的地址可以在上一页的 href 中获得，我们使用 xpath 相对路径提取。

提取地址：

artc_link[1] %>%
  read_html() %>%
  html_nodes(xpath = '//*[@id="full-text-links-dialog"]/div/a[2]') %>%
  html_attr('href') %>%
  read_html() %>%
  html_nodes(xpath = '//*[@id="rightcolumn"]/div[2]/div/ul/li[4]/a') %>%
  html_attr('href')
[1] "/pmc/articles/PMC6055048/pdf/fbioe-06-00089.pdf"

只提取到后面部分的地址，我们还需要加上前缀：

artc_link[1] %>%
  read_html() %>%
  html_nodes(xpath = '//*[@id="full-text-links-dialog"]/div/a[2]') %>%
  html_attr('href') %>%
  read_html() %>%
  html_nodes(xpath = '//*[@id="rightcolumn"]/div[2]/div/ul/li[4]/a') %>%
  html_attr('href') %>%
  paste('https://www.ncbi.nlm.nih.gov/',.,sep = '')
[1] "https://www.ncbi.nlm.nih.gov//pmc/articles/PMC6055048/pdf/fbioe-06-00089.pdf"

接下来加个条件判断批量获取 pdf 下载链接，按照上面说的思路：

# 批量获取下载链接
down_link <- list()
for (i in 1:length(artc_link)) {
  origin <- artc_link[i] %>% read_html() %>%
    html_nodes('.link-item') %>%
    html_text(trim = T)
  # 判断是否PMC free
  if("Free PMC article" %in% origin){
    download_link <- artc_link[i] %>% read_html() %>%
      html_nodes(xpath = '//*[@id="full-text-links-dialog"]/div/a[2]') %>%
      html_attr('href') %>%
      read_html() %>%
      html_nodes(xpath = '//*[@id="rightcolumn"]/div[2]/div/ul/li[4]/a') %>%
      html_attr('href') %>%
      paste('https://www.ncbi.nlm.nih.gov/',.,sep = '')
    # 储存link信息
    down_link[[artc_link[i]]] <- download_link
  }else{
    # 获取文章来源
    web_link <- artc_link[i] %>%
      read_html() %>%
      html_nodes('.link-item') %>%
      html_attr('href') %>%
      head(2) %>%
      unique()
    # 保存
    down_link[[artc_link[i]]] <- web_link[1]
  }
}

# 查看长度
length(down_link)
[1] 10
# 查看内容
head(down_link,3)
$`https://pubmed.ncbi.nlm.nih.gov/30062093/`
[1] "https://www.ncbi.nlm.nih.gov//pmc/articles/PMC6055048/pdf/fbioe-06-00089.pdf"

$`https://pubmed.ncbi.nlm.nih.gov/30784918/`
[1] "https://linkinghub.elsevier.com/retrieve/pii/S0753-3322(18)38294-5"

$`https://pubmed.ncbi.nlm.nih.gov/28494721/`
[1] "http://www.eurekaselect.com/152355/article"

然后把我们的文章 title、文章链接、pdf 下载链接转为数据框储存起来：

# 转为数据框
info <- data.frame(title_name = title,
                   arcticle_link = artc_link,
                   download_link = down_link %>% Reduce(rbind,.))

我们看看：

‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍3、下载文章 pdf 文件‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

‍既然我们获得了文章的下载链接，那就直接批量下载 pdf 文献到本地了！当然是下载 pmc free 的。开干：

# 创建文件夹
dir.create('C:/Users/admin/Desktop/pdf_download/')

# 选中可下载文献
get_file <- info[c(grep('^https://www.ncbi.nlm.nih.gov/',info$download_link)),]

# 文件名
pdf_name <- get_file$title_name

# 文件下载路径
pdf_link <- get_file$download_link

# 批量下载
for (i in 1:length(pdf_link)) {
  # 文件名称
  p_name <- paste('C:/Users/admin/Desktop/pdf_download/',pdf_name[i],'pdf',sep = '')
  # 下载
  download.file(url = pdf_link[i],
                destfile = p_name,
                mode = 'wb')
}
试开URL’https://www.ncbi.nlm.nih.gov//pmc/articles/PMC6055048/pdf/fbioe-06-00089.pdf'
Content type 'application/pdf' length 1918139 bytes (1.8 MB)
downloaded 1.8 MB

试开URL’https://www.ncbi.nlm.nih.gov//pmc/articles/PMC7047367/pdf/12943_2020_Article_1172.pdf'
Content type 'application/pdf' length 776866 bytes (758 KB)
downloaded 758 KB
...
Error in download.file(url = pdf_link[i], destfile = p_name, mode = "wb") :
  无法打开目的文件'C:/Users/admin/Desktop/pdf_download/Reduced m6A modification predicts malignant phenotypes and augmented Wnt/PI3K-Akt signaling in gastric cancer.pdf'，原因是'No such file or directory'

可以看到下载到最后一篇发生了报错，是因为这篇 文章标题的字符有问题 ，含有斜杠/，我们就不能把文章名称作为保存文件的名字，我这边改为 4 为文件名。

文章名称：

重新下载这篇文章：

for (i in 4) {
  # 文件名称
  p_name <- paste('C:/Users/admin/Desktop/pdf_download/',4,'.pdf',sep = '')
  # 下载
  download.file(url = pdf_link[i],
                destfile = p_name,
                mode = 'wb')
}
试开URL’https://www.ncbi.nlm.nih.gov//pmc/articles/PMC7293016/pdf/gkaa347.pdf'
Content type 'application/pdf' length 838520 bytes (818 KB)
downloaded 818 KB

最后到这里就大功告成了，然后我们打开下载的 pdf 文件检查一下：

文章内容：

最后把数据框数据输出保存一下：

# 输出保存
write.csv(info,file = 'C:/Users/admin/Desktop/pdf_download/meta.csv',row.names = F)