国产免费久久精品99re丫y,香蕉久久一区二区不卡无毒影院,国产成人精品午夜视频',91短视频在线播放,国产精品女上位在线观看,国产福利兔女郎在线观看,国产精品成人免费观看

環(huán)球醫(yī)療器械網(wǎng)

新聞資訊

剛剛,AI醫(yī)械注冊(cè)審查指導(dǎo)原則發(fā)布(附全文)(2)

日期:2022-03-10 08:46:20  閱讀數(shù):942

五、技術(shù)考量

(一)注冊(cè)單元與檢測(cè)單元

人工智能醫(yī)療器械的注冊(cè)單元與檢測(cè)單元?jiǎng)澐衷瓌t詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則,人工智能獨(dú)立軟件、人工智能軟件組件分別參照獨(dú)立軟件、軟件組件的要求。

若軟件核心功能(即軟件在預(yù)期使用場(chǎng)景完成預(yù)期用途所必需的功能)相同,但核心算法(即實(shí)現(xiàn)軟件核心功能所必需的算法)類(lèi)型不同,則每類(lèi)核心算法所對(duì)應(yīng)的核心功能均需檢測(cè),即檢測(cè)對(duì)象為核心功能而非核心算法。

(二)網(wǎng)絡(luò)**與數(shù)據(jù)**

人工智能醫(yī)療器械需結(jié)合預(yù)期用途、使用場(chǎng)景、核心功能,基于保密性、完整性、可得性等網(wǎng)絡(luò)**特性,確定網(wǎng)絡(luò)**能力建設(shè)要求,以應(yīng)對(duì)網(wǎng)絡(luò)攻擊和數(shù)據(jù)竊取等網(wǎng)絡(luò)威脅,如算法編程框架漏洞攻擊、數(shù)據(jù)污染等。具體要求詳見(jiàn)醫(yī)療器械網(wǎng)絡(luò)**指導(dǎo)原則。

除此之外,還需在人工智能醫(yī)療器械全生命周期過(guò)程中考慮數(shù)據(jù)**問(wèn)題,包括上市前設(shè)計(jì)開(kāi)發(fā)階段和上市后使用階段。數(shù)據(jù)轉(zhuǎn)移需明確轉(zhuǎn)移方法、數(shù)據(jù)污染防護(hù)措施、數(shù)據(jù)銷(xiāo)毀等要求。數(shù)據(jù)整理、數(shù)據(jù)集構(gòu)建、算法訓(xùn)練、算法性能評(píng)估、軟件驗(yàn)證等內(nèi)部活動(dòng)需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開(kāi)展以防止數(shù)據(jù)污染。數(shù)據(jù)標(biāo)注、軟件確認(rèn)等涉及外方的活動(dòng)需明確數(shù)據(jù)污染防護(hù)措施,特別是在開(kāi)放網(wǎng)絡(luò)環(huán)境下。各數(shù)據(jù)庫(kù)(集)均需進(jìn)行數(shù)據(jù)備份,明確備份的方法、頻次、數(shù)據(jù)恢復(fù)方法。數(shù)據(jù)采集、上市后使用需考慮醫(yī)療機(jī)構(gòu)關(guān)于網(wǎng)絡(luò)**與數(shù)據(jù)**的接口要求。

(三)移動(dòng)計(jì)算與云計(jì)算

人工智能醫(yī)療器械若使用移動(dòng)計(jì)算、云計(jì)算等技術(shù),則遵循相關(guān)指導(dǎo)原則要求。具體而言,移動(dòng)計(jì)算相關(guān)要求詳見(jiàn)移動(dòng)醫(yī)療器械指導(dǎo)原則,云計(jì)算相關(guān)要求詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則,移動(dòng)計(jì)算與云計(jì)算的網(wǎng)絡(luò)**相關(guān)要求詳見(jiàn)醫(yī)療器械網(wǎng)絡(luò)**指導(dǎo)原則。

(四)人因與可用性

建議加強(qiáng)人工智能醫(yī)療器械的人因設(shè)計(jì)以提升可用性,將用戶(hù)錯(cuò)誤使用的風(fēng)險(xiǎn)降至可接受水平,特別是軟件用戶(hù)界面。具體要求詳見(jiàn)醫(yī)療器械人因設(shè)計(jì)相關(guān)指導(dǎo)原則。

(五)壓力測(cè)試

本指導(dǎo)原則所述壓力測(cè)試是指采用罕見(jiàn)或特殊的真實(shí)數(shù)據(jù)樣本開(kāi)展的算法性能測(cè)試,側(cè)重于評(píng)估算法泛化能力的極限。

注冊(cè)申請(qǐng)人需根據(jù)產(chǎn)品實(shí)際情況開(kāi)展壓力測(cè)試,以全面深入評(píng)估算法性能,必要時(shí)可引入對(duì)抗樣本開(kāi)展對(duì)抗壓力測(cè)試。若未開(kāi)展相應(yīng)測(cè)試或測(cè)試結(jié)果不佳,均需對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制,并在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。

(六)對(duì)抗測(cè)試

本指導(dǎo)原則所述對(duì)抗測(cè)試是指基于真實(shí)數(shù)據(jù)樣本利用數(shù)據(jù)擾動(dòng)、生成對(duì)抗網(wǎng)絡(luò)等技術(shù)產(chǎn)生對(duì)抗樣本,并采用對(duì)抗樣本開(kāi)展的算法性能測(cè)試,側(cè)重于評(píng)估算法的魯棒性/健壯性。

若條件具備,建議注冊(cè)申請(qǐng)人開(kāi)展對(duì)抗測(cè)試,以全面深入評(píng)估算法性能。若未開(kāi)展相應(yīng)測(cè)試或測(cè)試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

(七)第三方數(shù)據(jù)庫(kù)

第三方數(shù)據(jù)庫(kù)可用于算法性能評(píng)估,但其類(lèi)型、用途等情況各不相同,未必能夠完全滿(mǎn)足軟件確認(rèn)測(cè)試的要求。因此,使用第三方數(shù)據(jù)庫(kù)進(jìn)行軟件確認(rèn)測(cè)試,需評(píng)估其滿(mǎn)足軟件確認(rèn)測(cè)試的充分性、適宜性和有效性。

可用于軟件確認(rèn)測(cè)試的第三方數(shù)據(jù)庫(kù)即為測(cè)評(píng)數(shù)據(jù)庫(kù)。測(cè)評(píng)數(shù)據(jù)庫(kù)除滿(mǎn)足數(shù)據(jù)庫(kù)通用要求(如數(shù)據(jù)管理、網(wǎng)絡(luò)**與數(shù)據(jù)**、可擴(kuò)展性)外,還應(yīng)滿(mǎn)足以下專(zhuān)用要求。

1.權(quán)威性:測(cè)評(píng)數(shù)據(jù)庫(kù)的數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注及其質(zhì)控工作由相應(yīng)臨床專(zhuān)業(yè)領(lǐng)域的權(quán)威機(jī)構(gòu)(如國(guó).家臨床醫(yī)學(xué)研究中心等)負(fù)責(zé),以保證數(shù)據(jù)準(zhǔn)確性;標(biāo)注人員、審核人員、仲裁人員需具備與其崗位職責(zé)相匹配的臨床實(shí)踐經(jīng)驗(yàn),以保證數(shù)據(jù)質(zhì)量。

2.科學(xué)性:測(cè)評(píng)數(shù)據(jù)庫(kù)的數(shù)據(jù)樣本均為臨床真實(shí)數(shù)據(jù),不得進(jìn)行數(shù)據(jù)擴(kuò)增;樣本分布符合目標(biāo)疾病流行病學(xué)特征情況,樣本總量基于目標(biāo)疾病流行病學(xué)統(tǒng)計(jì)指標(biāo)、測(cè)試抽樣誤差控制要求,通過(guò)統(tǒng)計(jì)學(xué)計(jì)算予以確定;單次測(cè)試原則上根據(jù)測(cè)評(píng)數(shù)據(jù)庫(kù)樣本分布情況等比例隨機(jī)抽取測(cè)試樣本,且其樣本量滿(mǎn)足測(cè)試抽樣誤差控制要求。

3.規(guī)范性:測(cè)評(píng)數(shù)據(jù)庫(kù)的數(shù)據(jù)采集、數(shù)據(jù)脫敏、數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)更換、數(shù)據(jù)管理、數(shù)據(jù)**保證、數(shù)據(jù)備份等數(shù)據(jù)治理活動(dòng)以及測(cè)評(píng)活動(dòng)均需建立質(zhì)控程序文件,并滿(mǎn)足可追溯性要求。

4.多樣性:測(cè)評(píng)數(shù)據(jù)庫(kù)的樣本需來(lái)源于多家、多地域、多層級(jí)的代表性臨床機(jī)構(gòu)以及多家、多種、多參數(shù)的代表性采集設(shè)備,以保證數(shù)據(jù)多樣性能夠滿(mǎn)足算法泛化能力評(píng)估要求;若條件具備,測(cè)評(píng)數(shù)據(jù)庫(kù)可包含適當(dāng)比例的罕見(jiàn)或特殊的臨床真實(shí)數(shù)據(jù)樣本,以便開(kāi)展壓力測(cè)試深入評(píng)估算法泛化能力的極限。

5.封閉性:測(cè)評(píng)數(shù)據(jù)庫(kù)需封閉管理,樣本總量需遠(yuǎn)大于單次測(cè)試樣本量,測(cè)評(píng)活動(dòng)亦需封閉管理,以保證算法性能評(píng)價(jià)的客觀性、公正性、公平性。

6.動(dòng)態(tài)性:測(cè)評(píng)數(shù)據(jù)庫(kù)需定期補(bǔ)充或更換一定比例的數(shù)據(jù)樣本,以保證其具備持續(xù)的科學(xué)性、多樣性和封閉性以及數(shù)據(jù)的時(shí)效性;數(shù)據(jù)補(bǔ)充或更換的頻率、比例需有確定依據(jù),并滿(mǎn)足規(guī)范性要求。更換出庫(kù)的數(shù)據(jù)樣本由測(cè)評(píng)數(shù)據(jù)庫(kù)責(zé)任方自行確定其處理方案。

基于測(cè)評(píng)數(shù)據(jù)庫(kù),利用數(shù)據(jù)擾動(dòng)、生成對(duì)抗網(wǎng)絡(luò)等技術(shù),可衍生出對(duì)抗測(cè)評(píng)數(shù)據(jù)庫(kù)。若條件具備,建議基于測(cè)評(píng)數(shù)據(jù)庫(kù)建設(shè)對(duì)抗測(cè)評(píng)數(shù)據(jù)庫(kù),以全面深入評(píng)價(jià)算法性能。

注冊(cè)申請(qǐng)人可依據(jù)上述專(zhuān)用要求對(duì)第三方數(shù)據(jù)庫(kù)進(jìn)行篩選,若第三方數(shù)據(jù)庫(kù)能用作測(cè)評(píng)數(shù)據(jù)庫(kù)(含對(duì)抗測(cè)評(píng)數(shù)據(jù)庫(kù),下同)則可用于軟件確認(rèn)測(cè)試,并在產(chǎn)品注冊(cè)申報(bào)時(shí)按醫(yī)療器械主文檔登記事項(xiàng)要求提交測(cè)評(píng)數(shù)據(jù)庫(kù)評(píng)估材料。

公開(kāi)數(shù)據(jù)庫(kù)因不具備封閉性而不能用作測(cè)評(píng)數(shù)據(jù)庫(kù),但可用于算法性能評(píng)估,若用于算法訓(xùn)練需重新進(jìn)行質(zhì)量評(píng)估。使用公開(kāi)數(shù)據(jù)庫(kù)需根據(jù)其使用情況開(kāi)展必要評(píng)估工作,并在注冊(cè)申報(bào)資料中予以說(shuō)明。

其他類(lèi)型第三方數(shù)據(jù)庫(kù)可參照測(cè)評(píng)數(shù)據(jù)庫(kù)和公開(kāi)數(shù)據(jù)庫(kù)的要求予以使用,同時(shí)考慮其適用場(chǎng)景、數(shù)據(jù)質(zhì)量評(píng)估、時(shí)效性等要求。

(八)白盒算法

白盒算法的特征提取需要人為干預(yù),可與現(xiàn)有醫(yī)學(xué)知識(shí)建立關(guān)聯(lián),可解釋性高,通常為基于模型的算法。

對(duì)于此類(lèi)算法,有監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,不適用內(nèi)容詳述理由并予以記錄。同理,無(wú)監(jiān)督學(xué)習(xí)的模型/數(shù)據(jù)質(zhì)控要求亦參照有監(jiān)督深度學(xué)習(xí)執(zhí)行,其中數(shù)據(jù)標(biāo)注不適用,其余不適用內(nèi)容詳述理由并予以記錄。

此類(lèi)算法無(wú)論有監(jiān)督學(xué)習(xí)還是無(wú)監(jiān)督學(xué)習(xí),均需明確特征信息,如特征分類(lèi)(如人口統(tǒng)計(jì)學(xué)、生物學(xué)、形態(tài)學(xué))、特征屬性(如形態(tài)、紋理、性質(zhì)、尺寸、邊界)、特征展現(xiàn)方式(如形狀、尺寸、邊界、顏色、數(shù)量)等信息。

(九)集成學(xué)習(xí)

集成學(xué)習(xí)是指產(chǎn)生多個(gè)基學(xué)習(xí)器并以某種結(jié)合策略將基學(xué)習(xí)器進(jìn)行集成的人工智能算法。集成學(xué)習(xí)從不同角度具有不同類(lèi)型劃分維度,如同質(zhì)和異質(zhì)的基學(xué)習(xí)器集成算法、串行和并行的集成算法等,并可與深度學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用集成學(xué)習(xí)算法,注冊(cè)申報(bào)資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)集成學(xué)習(xí)類(lèi)型及其算法特性提供算法驗(yàn)證與確認(rèn)資料。

(十)遷移學(xué)習(xí)

遷移學(xué)習(xí)是指將在某領(lǐng)域或任務(wù)學(xué)習(xí)到的模型應(yīng)用于不同但相關(guān)的領(lǐng)域或任務(wù)的人工智能算法,如將在自然圖像領(lǐng)域?qū)W習(xí)形成的模型應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域。遷移學(xué)習(xí)主要包括基于特征和基于模型的算法,并可與深度學(xué)習(xí)、聯(lián)邦學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用遷移學(xué)習(xí)算法,注冊(cè)申報(bào)資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)遷移學(xué)習(xí)的類(lèi)型及其算法特性提供預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、算法測(cè)試等資料。

(十一)強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是指基于行動(dòng)與環(huán)境的交互,實(shí)現(xiàn)行動(dòng)從環(huán)境所獲累積獎(jiǎng)勵(lì)**大化的人工智能算法,采用“試錯(cuò)”的學(xué)習(xí)策略。強(qiáng)化學(xué)習(xí)從不同角度具有不同類(lèi)型劃分維度,如有模型與無(wú)模型的算法、基于策略和基于價(jià)值的算法等,并可與深度學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用強(qiáng)化學(xué)習(xí)算法,注冊(cè)申報(bào)資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)強(qiáng)化學(xué)習(xí)類(lèi)型及其算法特性提供算法驗(yàn)證與確認(rèn)資料。

(十二)聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)是基于多個(gè)數(shù)據(jù)源協(xié)同建立學(xué)習(xí)模型的人工智能算法,即每個(gè)數(shù)據(jù)源獨(dú)立進(jìn)行本地?cái)?shù)據(jù)學(xué)習(xí),通過(guò)交換數(shù)據(jù)模型共同建立學(xué)習(xí)模型,實(shí)為分布式算法訓(xùn)練技術(shù),亦屬于隱私計(jì)算技術(shù)。聯(lián)邦學(xué)習(xí)主要包括橫向聯(lián)邦(基于樣本)和縱向聯(lián)邦(基于特征)等算法,并可與遷移學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用聯(lián)邦學(xué)習(xí)算法等隱私計(jì)算技術(shù)進(jìn)行算法訓(xùn)練,注冊(cè)申報(bào)資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)聯(lián)邦學(xué)習(xí)等隱私計(jì)算技術(shù)的算法類(lèi)型及其算法特性提供算法驗(yàn)證與確認(rèn)資料。

(十三)生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是通過(guò)生成器和判別器的互相博弈學(xué)習(xí)而產(chǎn)生與真實(shí)數(shù)據(jù)類(lèi)似樣本的人工智能算法,主要用于數(shù)據(jù)擴(kuò)增、對(duì)抗測(cè)試的樣本生成(詳見(jiàn)前文),并可與深度學(xué)習(xí)等人工智能算法組合使用。

人工智能醫(yī)療器械若使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增、對(duì)抗樣本生成,注冊(cè)申報(bào)資料需明確算法的名稱(chēng)、類(lèi)型、輸入輸出、流程圖、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù),并根據(jù)生成對(duì)抗網(wǎng)絡(luò)類(lèi)型及其算法特性提供算法測(cè)試資料。此時(shí),建議開(kāi)展對(duì)抗測(cè)試。

(十四)持續(xù)學(xué)習(xí)/自適應(yīng)學(xué)習(xí)

持續(xù)學(xué)習(xí)/自適應(yīng)學(xué)習(xí)具備自學(xué)習(xí)能力,部署后可通過(guò)持續(xù)學(xué)習(xí)用戶(hù)數(shù)據(jù)而進(jìn)行產(chǎn)品快速更新。此時(shí),用戶(hù)亦成為產(chǎn)品開(kāi)發(fā)者,與注冊(cè)申請(qǐng)人共同承擔(dān)產(chǎn)品質(zhì)量責(zé)任和法律責(zé)任;同時(shí),此種更新對(duì)于產(chǎn)品**有效性的影響具有高度不確定性,特別是基于數(shù)據(jù)的無(wú)監(jiān)督學(xué)習(xí)。

因此,在當(dāng)前法律法規(guī)體系和技術(shù)水平條件下,持續(xù)學(xué)習(xí)/自適應(yīng)學(xué)習(xí)應(yīng)關(guān)閉自學(xué)習(xí)功能,或者雖開(kāi)放自學(xué)習(xí)功能但不得投入使用,即用戶(hù)始終使用產(chǎn)品原有功能,自學(xué)習(xí)功能僅用于算法訓(xùn)練或醫(yī)學(xué)科研。

注冊(cè)申請(qǐng)人應(yīng)按照質(zhì)量管理體系要求,對(duì)自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新的**有效性進(jìn)行驗(yàn)證與確認(rèn),必要時(shí)申請(qǐng)變更注冊(cè),待批準(zhǔn)后方能將自學(xué)習(xí)功能所產(chǎn)生的產(chǎn)品更新投入使用。

(十五)人工智能算法編程框架

人工智能算法編程框架(以下簡(jiǎn)稱(chēng)算法框架)從開(kāi)發(fā)者角度可分為自研算法框架和現(xiàn)成算法框架,其中自研算法框架即注冊(cè)申請(qǐng)人自行研發(fā)的人工智能算法框架,屬于自研軟件;現(xiàn)成算法框架是指注冊(cè)申請(qǐng)人所使用的由第三方開(kāi)發(fā)的人工智能算法框架,視為現(xiàn)成軟件,現(xiàn)成算法框架開(kāi)發(fā)者視為醫(yī)療器械供應(yīng)商。

算法框架更新包括產(chǎn)品更新(即更換算法框架)、版本更新、補(bǔ)丁更新,其中產(chǎn)品更新、非效率型版本更新對(duì)于人工智能醫(yī)療器械而言屬于重大軟件更新,效率型版本更新(即運(yùn)算效率單純提高)、補(bǔ)丁更新對(duì)于人工智能醫(yī)療器械而言通常屬于輕微軟件更新,除非影響到人工智能醫(yī)療器械的**性或有效性。算法框架同時(shí)發(fā)生多種類(lèi)型的更新,同樣遵循風(fēng)險(xiǎn)從高原則。

算法框架可參照自研軟件、現(xiàn)成軟件相關(guān)要求提交相應(yīng)注冊(cè)申報(bào)資料,均需明確算法框架的名稱(chēng)、類(lèi)型(自研算法框架、現(xiàn)成算法框架)、型號(hào)規(guī)格、完整版本、制造商等信息。算法框架若基于云計(jì)算平臺(tái),相關(guān)要求詳見(jiàn)前文關(guān)于云計(jì)算的要求。

(十六)人工智能芯片

人工智能芯片作為計(jì)算資源的組成部分,本身不屬于監(jiān)管對(duì)象,根據(jù)其所屬的計(jì)算平臺(tái)類(lèi)型考慮監(jiān)管要求。對(duì)于人工智能獨(dú)立軟件,人工智能芯片作為通用計(jì)算平臺(tái)的組成部分,不屬于產(chǎn)品結(jié)構(gòu)組成,按照運(yùn)行環(huán)境予以考慮。對(duì)于人工智能軟件組件,人工智能芯片作為醫(yī)用計(jì)算平臺(tái)的組成部分,屬于產(chǎn)品結(jié)構(gòu)組成,與產(chǎn)品進(jìn)行整體評(píng)價(jià)。

無(wú)論何種情況,使用人工智能芯片均需在注冊(cè)申報(bào)資料中明確其名稱(chēng)、型號(hào)規(guī)格、制造商、性能指標(biāo)等信息。

六、算法研究資料

(一)算法研究報(bào)告

算法研究報(bào)告適用于人工智能算法或算法組合的初次發(fā)布和再次發(fā)布,包括算法基本信息、算法風(fēng)險(xiǎn)管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗(yàn)證與確認(rèn)、算法可追溯性分析、結(jié)論等內(nèi)容,不適用內(nèi)容詳述理由。

1.算法基本信息

明確算法的名稱(chēng)、類(lèi)型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運(yùn)行環(huán)境等基本信息以及算法選用依據(jù)。

其中,算法類(lèi)型從學(xué)習(xí)策略、學(xué)習(xí)方法、可解釋性等角度明確算法特性。算法結(jié)構(gòu)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。算法框架明確所用人工智能算法框架的基本信息,包括名稱(chēng)、類(lèi)型(自研算法框架、現(xiàn)成算法框架)、型號(hào)規(guī)格、完整版本、制造商等信息;若基于云計(jì)算平臺(tái),明確云計(jì)算的名稱(chēng)、服務(wù)模式、部署模式、配置以及云服務(wù)商的名稱(chēng)、住所、服務(wù)資質(zhì)。運(yùn)行環(huán)境明確算法正常運(yùn)行所需的典型運(yùn)行環(huán)境,包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件;若使用人工智能芯片需明確其名稱(chēng)、型號(hào)規(guī)格、制造商、性能指標(biāo)等信息。算法選用依據(jù)詳述人工智能算法或算法組合選用的理由和基本原則。

2.算法風(fēng)險(xiǎn)管理

明確算法的軟件**性級(jí)別(輕微、中等、嚴(yán)重)并詳述判定理由。提供算法風(fēng)險(xiǎn)管理資料,明確過(guò)擬合與欠擬合、假陰性與假陽(yáng)性、數(shù)據(jù)污染與數(shù)據(jù)偏倚(如數(shù)據(jù)擴(kuò)增)等風(fēng)險(xiǎn)的控制措施。若無(wú)單獨(dú)文檔可提供軟件風(fēng)險(xiǎn)管理資料,并注明算法風(fēng)險(xiǎn)管理所在位置。

3.算法需求規(guī)范

提供算法需求規(guī)范文檔,若無(wú)單獨(dú)文檔可提供軟件需求規(guī)范,并注明算法需求所在位置。

4.數(shù)據(jù)質(zhì)控

提供數(shù)據(jù)來(lái)源合規(guī)性聲明,列明數(shù)據(jù)來(lái)源機(jī)構(gòu)的名稱(chēng)、所在地域、數(shù)據(jù)收集量、倫理批件(或科研合作協(xié)議)編號(hào)等信息。

提供數(shù)據(jù)采集操作規(guī)范文檔,根據(jù)數(shù)據(jù)采集方式明確采集設(shè)備、采集過(guò)程、數(shù)據(jù)脫敏等質(zhì)控要求。

概述數(shù)據(jù)整理情況,明確數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理的質(zhì)控要求。

提供數(shù)據(jù)標(biāo)注操作規(guī)范文檔,明確標(biāo)注資源管理、標(biāo)注過(guò)程質(zhì)控、標(biāo)注質(zhì)量評(píng)估、數(shù)據(jù)**保證等要求。

若適用,提供數(shù)據(jù)擴(kuò)增情況說(shuō)明,明確擴(kuò)增的對(duì)象、方式、方法、倍數(shù)等信息。

依據(jù)適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類(lèi)型等因素,提供原始數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、標(biāo)注數(shù)據(jù)庫(kù)、擴(kuò)增數(shù)據(jù)庫(kù)關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

若數(shù)據(jù)來(lái)自公開(kāi)數(shù)據(jù)庫(kù),提供公開(kāi)數(shù)據(jù)庫(kù)的基本信息(如名稱(chēng)、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如數(shù)據(jù)使用量、數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)分布等)。

5.算法訓(xùn)練

依據(jù)適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類(lèi)型等因素,提供訓(xùn)練集、調(diào)優(yōu)集(若有)關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

明確算法訓(xùn)練所用的評(píng)估指標(biāo)、訓(xùn)練方式、訓(xùn)練目標(biāo)、調(diào)優(yōu)方式(若有),提供ROC曲線(xiàn)或混淆矩陣等證據(jù)證明訓(xùn)練目標(biāo)滿(mǎn)足醫(yī)療要求,提供訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線(xiàn)等證據(jù)以證實(shí)算法訓(xùn)練的充分性和有效性。

6.算法驗(yàn)證與確認(rèn)

依據(jù)適用人群、數(shù)據(jù)來(lái)源機(jī)構(gòu)、采集設(shè)備、樣本類(lèi)型等因素,提供測(cè)試集關(guān)于疾病構(gòu)成的數(shù)據(jù)分布情況。

提供假陰性與假陽(yáng)性、重復(fù)性與再現(xiàn)性、魯棒性/健壯性、實(shí)時(shí)性等適用指標(biāo)的算法性能評(píng)估結(jié)果,以證明算法性能滿(mǎn)足算法設(shè)計(jì)目標(biāo)。

若使用第三方數(shù)據(jù)庫(kù)開(kāi)展算法性能評(píng)估,提供第三方數(shù)據(jù)庫(kù)的基本信息(如名稱(chēng)、創(chuàng)建者、數(shù)據(jù)總量等)和使用情況(如測(cè)試數(shù)據(jù)樣本量、評(píng)估指標(biāo)、評(píng)估結(jié)果等)。

若適用,提供算法性能影響因素分析報(bào)告,明確影響算法性能的主要因素及其影響程度,以及產(chǎn)品使用限制和必要警示提示信息。

若適用,提供壓力測(cè)試、對(duì)抗測(cè)試等測(cè)試報(bào)告。若未開(kāi)展相應(yīng)測(cè)試或測(cè)試結(jié)果不佳,均需明確產(chǎn)品使用限制和必要警示提示信息。

若基于測(cè)評(píng)數(shù)據(jù)庫(kù)進(jìn)行算法確認(rèn),提供測(cè)評(píng)數(shù)據(jù)庫(kù)的基本信息(如名稱(chēng)、創(chuàng)建者、數(shù)據(jù)總量等)、評(píng)估情況(如評(píng)估方法、評(píng)估指標(biāo)、評(píng)估結(jié)果等)、使用情況(如評(píng)估指標(biāo)、評(píng)估結(jié)果等)。若基于臨床評(píng)價(jià)方式進(jìn)行算法確認(rèn),指向臨床評(píng)價(jià)資料即可。

提供上述各類(lèi)測(cè)試場(chǎng)景(含臨床評(píng)價(jià))下的算法性能評(píng)估結(jié)果比較分析報(bào)告,明確產(chǎn)品使用限制和必要警示提示信息。

7.算法可追溯性分析

提供算法可追溯性分析報(bào)告,即追溯算法需求、算法設(shè)計(jì)、源代碼(明確軟件單元名稱(chēng)即可)、算法測(cè)試、算法風(fēng)險(xiǎn)管理的關(guān)系表。

若無(wú)單獨(dú)文檔可提供軟件可追溯性分析報(bào)告,并注明算法可追溯性分析所在位置。

8.結(jié)論

簡(jiǎn)述算法性能綜合評(píng)價(jià)結(jié)果,明確對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能所做的必要限制,并判定人工智能算法或算法組合的**有效性是否滿(mǎn)足要求。

(二)算法更新研究報(bào)告

算法更新研究報(bào)告僅適用于人工智能算法或算法組合的再次發(fā)布,在算法研究報(bào)告相應(yīng)內(nèi)容中明確算法更新情況。

其中,算法基本信息描述申報(bào)算法情況,若適用詳述與前次注冊(cè)相比的變化情況;算法風(fēng)險(xiǎn)管理、算法需求規(guī)范、數(shù)據(jù)質(zhì)控、算法訓(xùn)練、算法驗(yàn)證與確認(rèn)、算法可追溯性分析描述算法更新的具體情況;結(jié)論簡(jiǎn)述算法性能綜合評(píng)價(jià)結(jié)果,并判定人工智能算法或算法組合更新的**有效性是否滿(mǎn)足要求。

考慮到算法更新具有累積效應(yīng),算法更新研究報(bào)告需涵蓋人工智能醫(yī)療器械自前次注冊(cè)(延續(xù)注冊(cè)除外)以來(lái)算法更新的**內(nèi)容。

七、注冊(cè)申報(bào)資料補(bǔ)充說(shuō)明

注冊(cè)申報(bào)資料在符合醫(yī)療器械注冊(cè)申報(bào)資料要求等文件要求基礎(chǔ)上,滿(mǎn)足醫(yī)療器械軟件、醫(yī)療器械網(wǎng)絡(luò)**、移動(dòng)醫(yī)療器械等相關(guān)指導(dǎo)原則要求,同時(shí)重點(diǎn)關(guān)注以下要求。

(一)產(chǎn)品注冊(cè)

1.申請(qǐng)表信息

(1)人工智能獨(dú)立軟件

產(chǎn)品名稱(chēng)應(yīng)符合通用名稱(chēng)命名規(guī)范要求,通常體現(xiàn)輸入數(shù)據(jù)(如CT圖像、眼底照片)、目標(biāo)疾?。ê∽?、疾病的屬性)、預(yù)期用途(如輔助分診、輔助評(píng)估、輔助檢測(cè)、輔助診斷)等特征詞。

結(jié)構(gòu)組成所述功能模塊需保證用語(yǔ)的規(guī)范性,若采用人工智能算法需體現(xiàn)核心算法名稱(chēng),如深度學(xué)習(xí)等。

適用范圍基于預(yù)期用途、使用場(chǎng)景、核心功能予以規(guī)范,如處理對(duì)象、目標(biāo)疾病、醫(yī)療用途、適用人群、目標(biāo)用戶(hù)、使用場(chǎng)所、采集設(shè)備要求、使用限制等。

(2)人工智能軟件組件

人工智能軟件組件通常無(wú)需在注冊(cè)證載明信息中體現(xiàn)。其軟件功能名稱(chēng)可參照人工智能獨(dú)立軟件要求。若有輔助決策類(lèi)軟件功能,結(jié)構(gòu)組成(若適用)和適用范圍需予以體現(xiàn)。

2.算法研究資料

對(duì)于軟件**性級(jí)別為中等、嚴(yán)重級(jí)別的產(chǎn)品,全新類(lèi)型在軟件研究資料中以算法為單位,提交每個(gè)人工智能算法或算法組合的算法研究報(bào)告,具體要求詳見(jiàn)第六章;成熟類(lèi)型在軟件研究資料中明確算法基本信息即可,無(wú)需提供算法研究資料。

對(duì)于軟件**性級(jí)別為輕微級(jí)別的產(chǎn)品,在軟件研究資料中明確算法基本信息即可,無(wú)需提供算法研究資料。

3.用戶(hù)培訓(xùn)方案

對(duì)于軟件**性級(jí)別為嚴(yán)重級(jí)別、預(yù)期由患者使用或在基層醫(yī)療機(jī)構(gòu)使用的產(chǎn)品,原則上需單獨(dú)提供一份用戶(hù)培訓(xùn)方案,包括用戶(hù)培訓(xùn)的計(jì)劃、材料、方式、師資等。

4.產(chǎn)品技術(shù)要求

產(chǎn)品技術(shù)要求若含有基于測(cè)評(píng)數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo),需在“附錄”中明確測(cè)評(píng)數(shù)據(jù)庫(kù)的基本信息(如名稱(chēng)、型號(hào)規(guī)格、完整版本、責(zé)任方、主文檔登記編號(hào)等)。

基于其他類(lèi)型第三方數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo),原則上無(wú)需在產(chǎn)品技術(shù)要求中體現(xiàn)。

5.說(shuō)明書(shū)

根據(jù)算法性能綜合評(píng)價(jià)結(jié)果,對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制,并在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。若適用,明確數(shù)據(jù)采集設(shè)備和數(shù)據(jù)采集過(guò)程相關(guān)要求。

對(duì)于輔助決策類(lèi)產(chǎn)品,說(shuō)明書(shū)需明確人工智能算法的算法性能評(píng)估總結(jié)(測(cè)試集基本信息、評(píng)估指標(biāo)與結(jié)果)、臨床評(píng)價(jià)總結(jié)(臨床數(shù)據(jù)基本信息、評(píng)價(jià)指標(biāo)與結(jié)果)、決策指標(biāo)定義(或提供決策指標(biāo)定義所依據(jù)的臨床指南、專(zhuān)家共識(shí)等參考文獻(xiàn))等信息。此時(shí)若采用基于數(shù)據(jù)的人工智能算法,說(shuō)明書(shū)還需補(bǔ)充算法訓(xùn)練總結(jié)信息(訓(xùn)練集基本信息、訓(xùn)練指標(biāo)與結(jié)果)。

若產(chǎn)品采用人工智能黑盒算法,則需根據(jù)算法影響因素分析報(bào)告,在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。

(二)變更注冊(cè)

1.算法研究資料

對(duì)于軟件**性級(jí)別為中等、嚴(yán)重級(jí)別的產(chǎn)品,全新類(lèi)型在軟件研究資料中以算法為單位,根據(jù)人工智能算法的更新情況,提交每個(gè)人工智能算法或算法組合的算法更新研究報(bào)告(或算法研究報(bào)告),具體要求詳見(jiàn)第六章;成熟類(lèi)型在軟件研究資料中明確算法基本信息即可,無(wú)需提供算法研究資料。

對(duì)于軟件**性級(jí)別為輕微級(jí)別的產(chǎn)品,在軟件研究資料中明確算法基本信息即可,無(wú)需提供算法研究資料。

2.用戶(hù)培訓(xùn)方案

若適用,提交用戶(hù)培訓(xùn)方案變化情況說(shuō)明。

3.產(chǎn)品技術(shù)要求

若適用,產(chǎn)品技術(shù)要求變更對(duì)比表需體現(xiàn)測(cè)評(píng)數(shù)據(jù)庫(kù)的變化情況。

4.說(shuō)明書(shū)

若適用,提交說(shuō)明書(shū)變化情況說(shuō)明。

(三)延續(xù)注冊(cè)

延續(xù)注冊(cè)通常無(wú)需提交算法相關(guān)研究資料。若適用,根據(jù)注冊(cè)證“備注”所載明的要求提交相應(yīng)算法研究資料。

八、參考文獻(xiàn)

[1] 全國(guó)人大. 中華人民共和國(guó)個(gè)人信息保護(hù)法[Z],2021.8

[2] 原國(guó).家食品藥品監(jiān)督管理總局.醫(yī)療器械說(shuō)明書(shū)和標(biāo)簽管理規(guī)定(總局令第6號(hào))[Z],2014.7

[3] 國(guó).家市場(chǎng)監(jiān)督管理總局.醫(yī)療器械注冊(cè)與備案管理辦法(總局令第47號(hào))[Z],2021.8

[4] 原國(guó).家食品藥品監(jiān)督管理總局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范(2014年第64號(hào)公告)[Z],2014.12

[5] 國(guó).家藥品監(jiān)督管理局.醫(yī)療器械主文檔登記事項(xiàng)(2021年第36號(hào)公告)[Z],2021.3

[6] 國(guó).家市場(chǎng)監(jiān)督管理總局.醫(yī)療器械注冊(cè)申報(bào)資料要求和批準(zhǔn)證明文件格式(2021年第121號(hào)公告)[Z],2021.9

[7] 原國(guó).家食品藥品監(jiān)督管理總局.移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則(2017年第222號(hào)通告)[Z],2017.12

[8] 國(guó).家藥品監(jiān)督管理局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨(dú)立軟件(2019年第43號(hào)通告)[Z],2019.7

[9] 國(guó).家藥品監(jiān)督管理局.醫(yī)療器械**和性能的基本原則(2020年第18號(hào)通告)[Z],2020.3

[10] 國(guó).家藥品監(jiān)督管理局. 人工智能醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則(2021年第47號(hào)通告)[Z],2021.7

[11] 國(guó).家藥品監(jiān)督管理局. 醫(yī)用軟件通用名稱(chēng)命名指導(dǎo)原則(2021年第48號(hào)通告)[Z],2021.7

[12] 國(guó).家藥品監(jiān)督管理局.醫(yī)療器械臨床評(píng)價(jià)技術(shù)指導(dǎo)原則(2021年第73號(hào)通告)[Z],2021.9

[13] 國(guó).家藥品監(jiān)督管理局. 醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范獨(dú)立軟件現(xiàn)場(chǎng)檢查指導(dǎo)原則(藥監(jiān)綜械管〔2020〕57號(hào))[Z],2020.5

[14] 國(guó).家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則(第二版)(征求意見(jiàn)稿)[Z],2020.6

[15] 國(guó).家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.醫(yī)療器械網(wǎng)絡(luò)**技術(shù)審查指導(dǎo)原則(第二版)(征求意見(jiàn)稿)[Z],2020.9

[16] 國(guó).家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.醫(yī)療器械人因設(shè)計(jì)技術(shù)審查指導(dǎo)原則(征求意見(jiàn)稿)[Z],2020.5

[17] 國(guó).家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心.深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)(2019年第7號(hào)通告)[Z],2019.7

[18] 國(guó).家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心. 肺炎CT影像輔助分診與評(píng)估軟件審評(píng)要點(diǎn)(試行)(2020年第8號(hào)通告)[Z],2020.3

[19] 國(guó).家衛(wèi)生健康委員會(huì). 人工智能輔助診斷技術(shù)管理規(guī)范(國(guó)衛(wèi)辦醫(yī)發(fā)〔2017〕7號(hào))[Z],2017.2

[20] 國(guó).家衛(wèi)生健康委員會(huì). 人工智能輔助診斷技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國(guó)衛(wèi)辦醫(yī)發(fā)〔2017〕7號(hào))[Z],2017.2

[21] 國(guó).家衛(wèi)生健康委員會(huì). 人工智能輔助治療技術(shù)管理規(guī)范(國(guó)衛(wèi)辦醫(yī)發(fā)〔2017〕7號(hào))[Z],2017.2

[22] 國(guó).家衛(wèi)生健康委員會(huì). 人工智能輔助治療技術(shù)臨床應(yīng)用質(zhì)量控制指標(biāo)(國(guó)衛(wèi)辦醫(yī)發(fā)〔2017〕7號(hào))[Z],2017.2

[23] GB/T 25000.12-2017 系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評(píng)價(jià)(SQuaRE)第12部分:數(shù)據(jù)質(zhì)量模型[S]

[24] YY/T 0287-2017 醫(yī)療器械質(zhì)量管理體系用于法規(guī)的要求[S]

[25] YY/T 0316-2016 醫(yī)療器械風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用[S]

[26] YY/T 0664-2020 醫(yī)療器械軟件軟件生存周期過(guò)程[S]

[27] YY/T 1406.1-2016 醫(yī)療器械軟件第1部分:YY/T 0316應(yīng)用于醫(yī)療器械軟件的指南[S]

[28] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第1部分:術(shù)語(yǔ)(報(bào)批稿)[S],2020.12

[29] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第2部分:數(shù)據(jù)集通用要求(報(bào)批稿)[S],2020.12

[30] YY/T 人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià)第3部分:數(shù)據(jù)標(biāo)注通用要求(報(bào)批稿)[S],2021.12

[31] YY/T 人工智能醫(yī)療器械肺部影像輔助分析軟件算法性能測(cè)試方法(報(bào)批稿)[S],2021.12

[32] AIMDICP-WG6-2020-001 基于眼底彩照的糖尿病視網(wǎng)膜病變輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法[S],2020.7

[33] AIMDICP-WG6-2020-002 基于胸部CT的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法[S],2020.7

[34] IMDRF/AIMD WG/N67, Machine Learning-enabled Medical Devices - A subset of Artificial Intelligence-enabled Medical Devices: Key Terms and Definitions[Z], 2021.9

[35] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7

[36] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data[Z], 2012.7

[37] FDA, Developing a Software Precertification Program: A Working Model[Z], 2019.1

[38] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning(AI/ML) - Based Software as a Medical Device(SaMD) (Draft Guidance)[Z], 2019.4

[39] FDA, Clinical Decision Support Software (Draft Guidance)[Z], 2019.9

[40] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan[Z], 2021.1

[41] FDA/Health Canada/MHRA. Good Machine Learning Practice for Medical Device Development: Guiding Principles[Z], 2021.10

[42] FDA. Technical Considerations for Medical Devices with Physiologic Closed-Loop Control Technology(Draft Guidance)[Z], 2021.12

[43] AAMI/BSI. Artificial Intelligence and Machine Learning - the Emergence of Artificial Intelligence and Machine Learning Algorithmsin Healthcare: Recommendations to Support Governance and Regulation[Z], 2019

[44] AAMI/BSI. Machine Learning AI in Medical Devices: Adapting Regulatory Frameworks and Standards to Ensure Safety andPerformance[Z], 2020

[45] BSI. Recent Advancements in AI - Implications for Medical Device Technology and Certification[Z], 2020

[46] ISO/IEC TR 5469(WD) Artificial intelligence-Functional safety and AI systems[S]

[47] ISO/IEC TR 24028:2020Information technology - Artificial intelligence - Overview of trustworthiness in artificial intelligence[S]

[48] ISO/IEC TR 24029-1:2021 Artificial Intelligence(AI) - Assessment of the robustness of neural networks - Part 1: Overview[S]

[49] ISO/IEC TR 24030:2021 Information technology - Artificial intelligence(AI) - Use cases[S]

[50] ISO/IEC TR 29119-11:2020 Software and systems engineering - Software testing - Part 11: Guidelines on the testing of AI-based systems[S]

[51] 人工智能醫(yī)療器械創(chuàng)新合作平臺(tái)[Z]. https://www.aimd.org.cn

[52]IMDRF AIMD WG[Z]. https://www.imdrf.org/workitems/ wi-aimd.asp

[53] ITU/WHO FG-AI4H [Z]. https://www.itu.int/go/fgai4h

[54] IEEE AIMD WG[Z]. https://sagroups.ieee.org/aimdwg

END


 
锦屏县| 海丰县| 香格里拉县| 和龙市| 额尔古纳市| 大埔区| 深泽县| 广丰县| 宝坻区| 东阳市| 和顺县| 玉山县| 关岭| 嘉荫县| 靖宇县| 保康县| 八宿县| 策勒县| 桓仁| 西华县| 岑巩县| 福泉市| 舒城县| 古蔺县| 孙吴县| 宁津县| 瑞安市| 公安县| 福安市| 桐柏县| 青冈县| 鄢陵县| 饶阳县| 剑阁县| 贵德县| 鄂温| 北海市| 大洼县| 吕梁市| 呼图壁县| 临夏市|