当试验以计量资料表达结果时，将测量值按大小顺序排列，并将诊断实验的连续变量设定出多个不同的临界值，从而计算出一系列的灵敏度/特异度对子，再将它们绘制在坐标轴中即可。 受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。 得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。 接受者操作特性曲线就是以假阳性概率（False positive rate）为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。 得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在两种不同的判定标准下所得的结果而已。 ROC曲线的应用场景有很多，根据上述的定义，其最直观的应用就是能反映模型在选取不同阈值的时候其敏感性（sensitivity, FPR）和其精确性（specificity, TPR）的趋势走向【2】。
如图所示，蓝色、红色为无诊断价值的试验，黄色、绿色、紫色曲线为临床应用价值逐步提高的试验，其中紫色为最理想的试验，灵敏度和特异度均为100%。 亦可通过分别计算各个试验的ROC曲线下的面积进行比较。 3、ROC曲线是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为横坐标绘制的曲线。 ROC曲线是以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为横坐标绘制的。 每一个点都对应诊断试验的一个截点，我们将这些可能的点连接起来即可制作出经验ROC曲线（empirical ROC curve）。
受试者工作特征曲线: (一) 软件操作
在软件中给数据变量名和水平赋值后，使用SPSS软件在上侧界面中依次选择“分析”—“分类”—“ROC曲线”，见图1。 图7是Medcalc软件输出的两种诊断方法的ROC曲线，大致可以看出采用X线摄片的AUC要小于采用CT检查的AUC，表示CT的诊断效能可能优于X线，两者的差异是否有统计学意义需要进一步查看统计检验的结果。 回归 RMSE（Root Mean Square Error）均方根误差 衡量观测值与真实值之间的偏差。
3、两种或两种以上不同诊断试验对疾病识别能力的比较。 在对同一种疾病的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。 亦可通过分别计算各个试验的ROC曲线下的面积进行比较，哪一种试验的AUC最大，则哪一种试验的诊断价值最佳。 3.两种或两种以上不同诊断试验对算法性能的比较。 在对同一种算法的两种或两种以上诊断方法进行比较时，可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，靠近左上角的ROC曲线所代表的受试者工作最准确。
受试者工作特征曲线: 临床研究新风向，巧用LASSO回归构建属于你的心仪模型
肌萎缩性脊髓侧索硬化症是一种以运动系统退化为主要特征的疾病，临床证据表明，多达50%的病例出现认知和行为改变。 ALS在临床上和生物学上都是异质性(一种… 阿斯利康正在将数据科学和人工智能技术嵌入到药物研发中，以寻求更好的新方法来发现、测试和加速未来的潜在药物。
一般来说，对于两种诊断方法可以有成组比较法和配对比较法，成组比较法是两种诊断方法作用于不同受试者，配对比较法则是针对于同一受试者接受两种不同的诊断方法。 ROC曲线适用于二分类别的反映效果或结果的变量。 受试者工作特征曲线 依据专业知识，对疾病组和参照组测定结果进行分析，确定测定值的上下限、组距以及截断点（cut-off point），按选择的组距间隔列出累积频数分布表，分别计算出所有截断点的敏感性、特异性和假阳性率（1-特异性）。 以敏感性为纵坐标代表真阳性率，（1-特异性）为横坐标代表假阳性率，作图绘成ROC曲线。
受试者工作特征曲线: 机器学习必刷题-基础概念篇( ：为什么用AUC做评价指标？
ROC曲线其实就是以FPR为横坐标，TPR为纵坐标绘制出来的曲线。 受试者工作特征曲线 ROC曲线的坐标轴范围都是 ，曲线与坐标轴之间的面积叫做曲线下面积（Area 受试者工作特征曲线 Under Curve，AUC）。 AUC取值范围是 [0.5, 1]，在0.5 ~ 0.7范围内时有较低准确性，在0.7 ~ 0.9范围内时有一定的准确性，在0.9以上时有较高准确性。 我们预测了100个人，但并不意味着我们真正使用该模型来预测一个人是否患有该疾病。 该模型仅仅是根据大于某个临界值（例如0.5）的概率来确定人是否患有疾病，从而为我们提供了某人患病的可能性。
在AUC＞0.5的情况下，AUC越接近于1，说明诊断效果越好。 AUC在0.5～0.7时有较低准确性，AUC在0.7～0.9时有一定准确性，AUC在0.9以上时有较高准确性。 AUC＝0.5时，说明诊断方法完全不起作用，无诊断价值。 受试者工作特征曲线 AUC＜0.5不符合真实情况，在实际中极少出现。
受试者工作特征曲线: 受试者工作特性曲线ROC和曲线下面积AUC
将两条要进行比较的ROC曲线的“AUC差”除以“差的标准误”所得的值Z，是呈正态分布的。 计算两条曲线AUC差值的可信区间，如果区间包含0，则两种方法诊断价值的差异无统计学意义；反之则有一种方法的价值更高。 从表2中可以看出前6个数据预测结局为阳性，其他14个数据预测结局为阴性。 计算它的混淆矩阵如表3，真实结局中有10个1和10个0。 但是预测结局的阳性数有6个，其中有5个是真实阳性，有1个是真实阴性。 第三个观测值结局本来是阴性的，但预测结局是阳性的，这个观测值预测错误。
- 1、受试者工作特征曲线 ，简称ROC曲线，又称为感受性曲线。
- 通过画出某个指标的ROC曲线就可以很明确地看出其分类/诊断效果的好坏；另外，可以同时画出多个指标的ROC曲线并计算各自的AUC（area under ROC，ROC曲线下的面积），就可以知道哪个指标的分类/诊断效果更好。
- 由于本案例中两种诊断方法的观察对象不是同一组人群，两个样本相互独立，所以可以采用ROC的成组比较。
- 如果一个实例是正类并且也被 预测成正类，即为真正类（True positive）,如果实例是负类被预测成正类，称之为假正类（False positive）。
- 亦可通过分别计算各个试验的ROC曲线下的面积进行比较，哪一种试验的 AUC最大，则哪一种试验的诊断价值最佳。
- 然后，在这45个人中，与真正生病的50个人相重叠的人数直接决定了你的模型预测能力的准确性，我们称之为“准确度”，其通常通过ROC曲线和C统计量来衡量（Logistic回归模型中的AUC等于C统计量）。
本研究欲探究生化指标X对疾病诊断价值最高的截断值，可以通过ROC曲线选择最佳的诊断界限值来直观鉴别。 受试者工作特征曲线 最靠近左上角的ROC曲线的点是错误最少的阈值，其假阳性和假阴性的总数最少。 截断值（cut off value）即判断标准，是判定试验阳性与阴性的界值，既确定某项指标的正常值，以区分正常与异常。 确定截断值的方法在常规情况下，即灵敏度、特异度均很重要的情况下，最常用的是受试者工作特征曲线（receiver 受试者工作特征曲线 operating 受试者工作特征曲线 characteristic curve，ROC曲线）。
受试者工作特征曲线: 性能比较-Delong test
确定系数（通常也称为“ R平方”），也经常用作衡量模型准确性的标准，可以算作是鉴别指数和一致性系数的组合。 结果显示，相比model1，model2的X1、X2、X9的组合效应更好(更高的特异性)，同时model2的变量数量也更少(简约性原则)，因此选择model2更佳。 在这个示例中使用了一个上述没有提到的R包(riskRegression，不在上述那6个R包之内)构建ROC曲线，只是因为该R包的方法和分析过程的承接非常方便。
- 总结一下，对于计算ROC，最重要的三个概念就是TPR, FPR, 截断点。
- 受试者工作特性曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。
- 对于每个混淆矩阵，我们计算两个指标TPR和FPR,以FPR为x轴，TPR为y轴画图，就得到了ROC曲线。
- 为了更全面地评价诊断方法的真实性，必须考虑不同界值下诊断试验的真实性，这时就需要进行ROC曲线分析。
- 1.Roc曲线Roc曲线：接收者操作特征（receiveroperating characteristic），roc曲线上每个点反映着对同一信号刺激的敏感性。
- PR其实就是x轴TPR或recall或Sen，也叫查全率，y轴PPV或precision，也就是查准率。