肺結節(jié)CT圖像輔助檢測產品臨床試驗設計考慮要素舉例

一、肺結節(jié)CT圖像輔助檢測產品臨床試驗試驗設計基本類型

肺結節(jié)CT影像輔助檢測產品采用MRMC設計、交叉自身對照設計或平行對照設計。平行對照設計的具體過程及方法參考《醫(yī)療器械臨床試驗設計指導原則》相關內容。

若采用MRMC的設計，試驗過程具體為，將參與試驗的臨床醫(yī)師隨機劃分為A、B兩組。A組：醫(yī)師第一階段在使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結節(jié)檢測；經一定的洗脫期后，第二階段在不使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結節(jié)檢測。B組：醫(yī)師第一階段在不使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結節(jié)檢測；經一定的洗脫期后，第二階段在使用AI輔助的條件下完成所有數(shù)據(jù)樣本CT影像的肺結節(jié)檢測。該試驗中醫(yī)師使用AI輔助的作為試驗組，不使用AI輔助的作為對照組，對比試驗組與對照組肺結節(jié)檢測的診斷準確度指標，閱片過程中每名醫(yī)師需分別在使用AI和不使用AI的條件下都完成所有入組影像數(shù)據(jù)樣本的閱片。

二、評價指標

此類產品臨床試驗通常選擇檢出的靈敏度（以病灶為單位）和特異度(以患者為單位)等組成的復合指標，亦可在此基礎上添加受試者工作特征（receiver operating Characteristic, ROC）曲線或其衍生曲線組成復合指標，如因變量自由的受試者工作特征（free-response receiver operating Characteristic, FROC）曲線、定位受試者工作特征（location-specific receiver operating characteristic, LROC）曲線等。使用ROC曲線或其衍生曲線時，可考慮在試驗組醫(yī)師閱片階段，由閱片醫(yī)師標記對目標疾病判定的檢驗效能（可考慮百分數(shù)評分），從而構建ROC曲線，并需考慮在培訓階段明確醫(yī)師百分數(shù)評分的標準和方法。

次要指標可包括AI輔助醫(yī)師檢出目標疾病的陽性預測值/陰性預測值，似然比，Kappa系數(shù)，軟件獨立檢出目標疾病的靈敏度（以病灶為單位），軟件獨立檢出目標疾病的靈敏度和特異度（以患者為單位），閱片時間，醫(yī)生診斷信心評價，軟件功能易用性和穩(wěn)定性（可采用主觀感受評價，如李克特量表等）。若同時觀察量化分析等非輔助決策臨床功能的性能表現(xiàn)，亦可設立相應次要評價指標。

三、樣本量估算及統(tǒng)計學分析

以MRMC設計為例，說明樣本量估算考慮要素，若主要評價指標為AUC、結節(jié)水平靈敏度、患者水平特異度。試驗中，檢驗的檢驗效能取80%。對于主要評價指標，優(yōu)效性與非劣效統(tǒng)計分析將在單側0.025的檢驗水準下進行。下述內容僅為示意舉例，可根據(jù)產品具體情況合理調整相關參數(shù)：

1.基于AUC的樣本量計算，預試驗或文獻資料確認效應值取0.05，研究醫(yī)師設定為12名，AUC優(yōu)效界值取0，則總樣本量不得低于87例，陰性、陽性患者比為1:1。

2.基于結節(jié)水平靈敏度，效應值取0.069，研究醫(yī)師設定為12名，優(yōu)效界值取0，需陽性樣本至少116個結節(jié)，假定平均每個陽性患者存在2個結節(jié)，則至少需要58例陽性數(shù)據(jù)樣本。

3.基于患者水平的特異度，效應值取-0.055，非劣效值取0.1（參考Riverain ClearRead CT 的特異度95%區(qū)間下限），在當受試醫(yī)師為12名時，非劣效驗證（非劣效界值取0.1）需要陰性樣本達到至少157例。

綜合以上各指標樣本量估算值，本試驗樣本量最低為215例，陽性數(shù)據(jù)樣本58例，陰性數(shù)據(jù)樣本157例。考慮到樣本存在剔除和脫落的可能，當預期脫落率為5%，剔除率為5%時，陽性樣本需要達到至少62例，陰性樣本需要達到至少166例，共計228例。