R： ROCR包用于ROC分析

转自生信菜鸟团

受试者工作特征曲线（receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。

ROC可以用于：（1）比较预测二分类响应变量的预测效果；（2）获取预测二分类响应变量的连续预测变量的阈值。

比如在预测病人有无高血压时，有无高血压为二分类的响应变量：有或无，使用测量的血压值为预测变量，血压值为连续变量。

假如还想通过体重来预测有无高血压，那么要比较这两个模型：血压值及体重究竟哪个指标能更好的预测有无高血压就是用途（1），而选择哪一个数值是比较好的界定“有无高血压”的阈值，就是用途（2）。

ROCR包与ROC

一个用于分析ROC的数据是一组连续变量和一组二分类变量，连续变量是预测变量，分类变量是响应变量。

在ROCR包中，这两组数据被称为“predictions“和”labels“。

如下所示为ROCR包的示例数据ROCR.sample。

# 载入工具包
library(tidyverse)
library(ROCR)

data(ROCR.simple)
ROCR.simple %>% as_tibble
# # A tibble: 200 x 2
# predictions labels
# <dbl>  <dbl>
# 1       0.613      1
# 2       0.364      1
# 3       0.432      0
# 4       0.140      0
# 5       0.385      0
# 6       0.244      1
# 7       0.971      1
# 8       0.890      1
# 9       0.782      1
# 10       0.869      0
# # ... with 190 more rows

ROC曲线是一个以FPR为横坐标，TPR为纵坐标的曲线。

TPR：真阳性率 ( true positive rate) ，又称敏感度(sensitivity)，TPR = TP / P = TP / (TP+FN)。

FPR：伪阳性率(false positive rate) ，FPR = FP / N = FP / (FP + TN)，其值为1-specificity。

其中 P为总阳性样本，N为总阴性样本。

上述的TP、FP、TN、FN的含义见下面的confusion matrix。

对于一个ROC曲线而言，它不直接得出哪个阈值最好，而是把所有的阈值都尝试一遍，得出一组（FPR，TPR）坐标，然后绘制成曲线，然后就可以根据曲线来选择最好的阈值：尽可能大的TPR，尽可能小的FPR。

同时一条ROC曲线的展示的预测能力优劣可以由AUC（Area under curve）来衡量：0.5代表随机分布，预测变量没有预测能力；0.5-0.7，较低的预测能力；0.7-0.9，有一定的预测能力，0.9-1，有较高的预测能力。

ROC示例

ROCR包很简单，用到三个函数：

prediction：将原始数据（predictions，labels）封装为prediction对象，以用于后续分析；
performance：对prediction对象计算auc，tpr， fpr等等；
plot：利用base R绘图系统绘图。

以RCOR的示例数据为例：

# 构建prediction对象
pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
# 计算AUC，结果返回一个S4对象，y.values就是AUC
perf_auc <- performance(pred, "auc")

##S4对象，其内包括6个数据##
slotNames(perf_auc)
# [1] "x.name"       "y.name"       "alpha.name"   "x.values"     "y.values"     "alpha.values"

# AUC数值如下
perf_auc@"y.values"
# [[1]]
# [1] 0.8341875

performance返回一个S4对象，里面是返回的x，y的名字及数值，如果调用performance时只传入一个参数，如auc，auc就是这里面的y。如果传入两个参数，比如”tpr”、”fpr”，那么此时的tpr是y，fpr是x。调用函数也可以明确参数measure=tpr, x.measure=fpr。

# 获取ROC数据
perf_roc <- performance(pred, measure = "tpr", x.measure = "fpr")
plot(perf_roc)

也可以使用ggplot2进行绘制：

tibble(x=perf_roc@x.values[[1]], y=perf_roc@y.values[[1]]) %>%
ggplot(aes(x=x, y=y)) + geom_line()

# ggplot2绘图有较大自由性，可以修改部分格式，如下
tibble(x=perf_roc@x.values[[1]], y=perf_roc@y.values[[1]]) %>%
ggplot(aes(x=x, y=y)) + 
  geom_line(aes(color=cut(y, c(-1,0.5,0.7,0.9,1)))) +
  geom_point(aes(color=cut(y, c(-1,0.5,0.7,0.9,1)))) +
  theme_bw()+
  labs(color="TPR", x="True positive rate", y="False positive rate") +
  scale_color_brewer(palette = "Reds") + 
  theme(legend.position = "bottom",
        legend.title = element_text(face = "bold"),
        legend.text = element_text(size = 12),
        axis.title = element_text(face = "bold"))+
  geom_text(aes(x=1, y=0, label=paste0("AUC: ",perf_auc@y.values[[1]]%>%round(2))), 
            hjust="right", vjust="bottom")

参考资料：

用R软件包ROCR画ROC曲线：https://blog.csdn.net/machinelearning_er/article/details/70242672
ROC是什么？：https://www.zhihu.com/question/23700474
ROC曲线简介：https://zhuanlan.zhihu.com/p/26293316