JP7097350B2 - 医用画像評価のためのディープラーニングの応用 - Google Patents
医用画像評価のためのディープラーニングの応用 Download PDFInfo
- Publication number
- JP7097350B2 JP7097350B2 JP2019507912A JP2019507912A JP7097350B2 JP 7097350 B2 JP7097350 B2 JP 7097350B2 JP 2019507912 A JP2019507912 A JP 2019507912A JP 2019507912 A JP2019507912 A JP 2019507912A JP 7097350 B2 JP7097350 B2 JP 7097350B2
- Authority
- JP
- Japan
- Prior art keywords
- medical
- deep learning
- chest
- ray
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims description 34
- 238000011156 evaluation Methods 0.000 title description 11
- 238000000034 method Methods 0.000 claims description 65
- 238000004422 calculation algorithm Methods 0.000 claims description 52
- 230000005856 abnormality Effects 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 18
- 238000003058 natural language processing Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 206010007572 Cardiac hypertrophy Diseases 0.000 claims description 9
- 208000006029 Cardiomegaly Diseases 0.000 claims description 9
- 208000002151 Pleural effusion Diseases 0.000 claims description 9
- 230000002308 calcification Effects 0.000 claims description 9
- 206010016654 Fibrosis Diseases 0.000 claims description 8
- 230000004761 fibrosis Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 208000034189 Sclerosis Diseases 0.000 claims description 5
- 230000010339 dilation Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims 2
- 201000010099 disease Diseases 0.000 description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 13
- 238000002059 diagnostic imaging Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 10
- 201000008827 tuberculosis Diseases 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000012216 screening Methods 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 238000002565 electrocardiography Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011976 chest X-ray Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002906 microbiologic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 206010061598 Immunodeficiency Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000007435 diagnostic evaluation Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 208000008128 pulmonary tuberculosis Diseases 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000009210 therapy by ultrasound Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
＜関連出願＞
本出願は、２０１８年１１月１４日に出願されたインド特許出願第２０１８２１０４２８９３号の優先権の利益を主張し、該出願はすべての目的のためにその全体が参照により本明細書に組み込まれる。
本出願は、２０１８年１１月１４日に出願されたインド特許出願第２０１８２１０４２８９３号の優先権の利益を主張し、該出願はすべての目的のためにその全体が参照により本明細書に組み込まれる。
本開示は概して、画像化または診断と評価のための他の医学的手順から得られた電子化データを処理するための方法とシステムに関する。いくつかの実施形態は、画像化および他の医療データにおける特定の特徴と条件のマシン認識を行なうディープラーニングアルゴリズムの開発のための方法に関する。
コンピュータ断層撮影（ＣＴ）およびＸ線像などの医用画像技術は、診断、臨床研究および治療計画において広く使用される。医用画像評価の有効性、精度およびコスト効果を改善するための自動化されたアプローチがますます求められるようになっている。
胸部Ｘ線は、毎年世界的に行なわれる何百万ものスキャンを用いた、最も一般的な放射線医学診断検査の一つである。検査が頻繁に行なわれる一方で、胸部Ｘ線の解釈はより複雑な放射線医学タスクの一つであり、および高度に主観的であることが知られており、解釈者間の一致に関し、解釈者の経験値、検出される異常、および臨床設定に応じてκ値が０．２～０．７７の範囲で変動する。
費用が手頃であるため、胸部Ｘ線は、放射線科医がほとんどまたは全くいない地域を含む、世界中で使用される。世界の多くの地域では、デジタル胸部Ｘ線機器のアベイラビリティは、この複雑なタスクを行なうのに十分な高度な訓練を受けた臨床医のアベイラビリティよりも急速に成長している。自動化された検出が、資源の限られた環境に疾患スクリーニングツールとして適用されるならば、人口の健康結果に対する利点は世界的に見て重要であり得る。胸部Ｘ線のそのように使用の一例は、結核スクリーニングであり、ここで専門の解釈者の手による胸部Ｘ線は、結核の早期発見に関して臨床症状よりもより高感度である。
過去数年にわたって、医用画像における異常検出を助けるディープラーニングアルゴリズムの使用に対する関心が増してきた。これは、未加工の画像を解釈し、およびその中にある物体を検出するためのマシンの性能の急成長による自然な帰結である。特に胸部Ｘ線においては、様々な異常を検出するためのディープラーニングの使用を記載した一連の研究が存在する（Ｓｈｉｎ，ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐａｇｅｓ２４９７－２５０６，２０１６；Ｒａｊｐｕｒｋａｒ，ｅｔ ａｌ，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７１１．０５２２５，２０１７；Ｌｉ，ｅｔ ａｌ．，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７１１．０６３７３，２０１７）。これらの大部分は、高品質の大きなデータセットのアベイラビリティの不足によって制限されており、公開された最も大きな研究は、１１２，１２０のＸ線で訓練されたアルゴリズムを記載し、比較的少数が、大部分の胸部Ｘ線を正常であり、かつ異常なＸ線はより珍しいと考えており、特定の異常はさらに稀である。
本開示は、医用画像から異常を検出して位置を突き止めるように訓練される、完全に自動化されたディープラーニングシステムの開発と臨床的検証を記載する。
特定の実施形態は、胸部Ｘ線異常を検出し、および位置を突き止めるための、ディープラーニングシステムの訓練と臨床的検証を提供する。システムは、１２０万のＸ線で訓練されており、および２０００の試験を含む独立したデータセットに対する３人の放射線科医のパネルの多数票に対してそれを試験した。胸部Ｘ線における異常は、非常に小さな病変から肺野の大部分を包含する広範な異常にまで及ぶ。最適なディープラーニングアルゴリズムアーキテクチャは、検出される異常によって異なる；従って、各異常に関して最大限のＡＵＣを有する個別のアルゴリズムを使用するシステムが提供される。
特に、実施形態は、胸部Ｘ線スキャンにおける医学的異常を検出し、および位置を突き止めるためのディープラーニングシステムを開発する方法を提供し、該方法は以下を含む：自然言語処理（ＮＬＰ）アルゴリズムを使用して、医用画像スキャンを選択し、および医学的異常を抽出する工程；サイズ変更とタグ固有のデータ拡張により、選択された医用画像スキャンを前処理する工程；選択された医用画像スキャンを用いて、畳み込みニューラルネットワークアーキテクチャを含むディープラーニングアルゴリズムを訓練する工程であって、アーキテクチャは、他の身体部分のＸ線スキャンから胸部Ｘ線を選別するタスクの前訓練によって修正される、工程；多数のモデルの予測を組み合わさることによって特定の種類の医学的異常の存在／不在を予測する工程であって、該モデルは様々なヒューリスティックスを使用して選択される、工程；医学的異常の認識レベルに対応するスコアを生成し、および医学的異常の正確な位置と範囲を表すバウンディングボックスを出力する工程；および、放射線科医の報告と比較することによって、医学的異常の検出に関して、ディープラーニングアルゴリズムの精度を検証する工程。
実施形態に従って、前述の医用画像スキャンは、限定されないがＣＴ、Ｘ線、核磁気共鳴映像法（ＭＲＩ）、および超音波処置を含む。胸部Ｘ線スキャンについては、前記医学的異常は、限定されないが、肋骨横隔膜角（ＣＰ ａｎｇｌｅ）の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水を含む。
他の実施形態は、ディープラーニングアルゴリズムによって胸部Ｘ線スキャンにおける医学的異常を検出し、および位置を突き止めるように構成されたシステムを提供し、ディープラーニングアルゴリズムは以下の工程によって開発される：自然言語処理（ＮＬＰ）アルゴリズムを使用して、医用画像スキャンを選択し、および医学的異常を抽出する工程；サイズ変更とタグ固有のデータ拡張により、選択された医用画像スキャンを前処理する工程；選択された医用画像スキャンを用いて畳み込みニューラルネットワークアーキテクチャを含むディープラーニングアルゴリズムを訓練する工程であって、アーキテクチャは、他の身体部分のＸ線スキャンから胸部Ｘ線スキャンを選別するタスクの前訓練によって修正される、工程；多数のモデルの予測を組み合わさることによって特定の種類の医学的異常の存在／不在を予測する工程であって、該モデルは様々なヒューリスティックスを使用して選択される、工程；医学的異常の認識レベルに対応するスコアを生成し、および医学的異常の正確な位置と範囲を表すバウンディングボックスを出力する工程；および、放射線科医の報告と比較することによって、医学的異常の検出に関して、ディープラーニングアルゴリズムの精度を検証する工程。
さらに、ディープラーニングアルゴリズムによって胸部Ｘ線スキャンにおける医学的異常を検出し、および位置を突き止めるように構成されたシステムであって、アルゴリズムは、異常なスキャンの検出のための０．９３±０．０１のＡＵＣ、および肋骨横隔膜角の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水をそれぞれ検出するための０．９４±０．０２、０．８８±０．０３、０．９７±０．０２、０．９３±０．０７、０．９３±０．０４、０．８８±０．０５、０．８９±０．０５、０．９３±０．０２、０．９８±０．０２のＡＵＣを達成する。
＜本発明の有利な効果＞
胸部Ｘ線異常検出のためのディープラーニングに関する既に発表された研究は、「疾患」の診断と「異常な所見」の検出を区別していない。本発明は、異常な所見の検出、または病歴の予備的知識をもたない専門家によって視覚的に検出可能なＸ線における異常に焦点を置く。これは、異なる疾患有病率パターンと異なる疾患発現を有する地理的環境にわたってシステムを適用可能にする。
胸部Ｘ線異常検出のためのディープラーニングに関する既に発表された研究は、「疾患」の診断と「異常な所見」の検出を区別していない。本発明は、異常な所見の検出、または病歴の予備的知識をもたない専門家によって視覚的に検出可能なＸ線における異常に焦点を置く。これは、異なる疾患有病率パターンと異なる疾患発現を有する地理的環境にわたってシステムを適用可能にする。
本発明が、本明細書に記載される特定の方法、プロトコルおよびシステム等に限定されず、それゆえに変化し得ることを理解すべきである。本明細書に使用される用語は、特定の実施形態のみを記載するためにあり、本発明の範囲を限定するようには意図されておらず、請求項のみによって定義される。
本明細書と添付される請求項において使用されるように、別の趣旨に規定されない限り、以下の用語は以下に示される意味を有する。
「アーキテクチャ」は、コンピュータシステムの機能、構成および実装を記載する規則と方法のセットを指す。
「畳み込みニューラルネットワーク（ＣＮＮ）」は、視覚像を分析するために最も一般的に応用される、ディープフォワード人工ニューラルネットワークのクラスを指す。ＣＮＮは、最小限の前処理を要するように設計された多層のパーセプトロンの一種を使用する。ＣＮＮは、入力層、出力層、および複数の隠れ層から成る。ＣＮＮの隠れ層は、典型的には、畳み込み層、プーリング層、全結合層、およびから正規化層から構成される。畳み込み層は、入力にコンボリューション操作を適用し、その結果を次の層に流す。局所または全体的なプーリング層は、ある層にあるニューロンクラスタの出力を、次の層の単一ニューロン内に結合する。全結合層は、ある層にあるすべてのニューロンを、他の層にあるすべてのニューロンへと連結する。ＣＮＮは、他の画像分類アルゴリズムと比較して、比較的少ない前処理を用いる。これは、従来のアルゴリズムでは手動で操作されていたフィルタをネットワークが学習することを意味する。このように、機能設計において予備知識と人的労力に依存しないことは、主要な利点である。
「ヒューリスティックス」は、古典的方法が遅すぎる時に問題をより素早く解決するために、または古典的方法が正確な解を何ら見つけられない時に近似解を見つけるために、設計された技術を指す。これは、最適性、完全性、精度または正確さを速度と引き換えにして達成される。ある意味では、これはショートカットと見なされ得る。ヒューリスティック関数は、単にヒューリスティックとも呼ばれるが、どの分枝に従うかを決定するために有効な情報に基づいて、各分枝工程でサーチアルゴリズムにある選択肢を位する関数である。ヒューリスティックの目的は、手近にある問題を解くために十分適した適当な時間フレームにおいて解を生成することである。この解は、この問題へのすべての解のうち最高のものではないこともあり、または正確な解に近似しているだけの場合もある。
「自然言語処理（ＮＬＰ）」は、賢く有用な手段でヒト言語から意味を分析し、理解し、かつ導き出すコンピュータのための手段を指す。ＮＬＰを利用することで、開発者は、自動要約、変換固有表現抽出（ｔｒａｎｓｌａｔｉｏｎ ｎａｍｅｄ ｅｎｔｉｔｙ ｒｅｃｏｇｎｉｔｉｏｎ）、関係抽出、感情分析、音声認識、およびトピックセグメンテーションなどのタスクを行なうために、知識を体系づけ、かつ構造化することができる。
本開示は、データドリブン画像評価ワークフローにおける機械学習分析の統合と使用を可能にする様々な技術と構成を例示する。例えば、機械学習分析（特定の医学的状態の、訓練された画像検出モデルなど）は、医用画像研究の一部として生成された医用画像手順データ上で行なわれてもよい。医用画像手順データは、画像診断法によって捕らえられた画像データ、および命令データ（放射線像読み取りのリクエストを示すデータなど）を含んでもよく、それぞれのデータは医用画像評価（放射線科医によって行なわれる放射線解釈、または別の資格のある医学の専門家よる診断評価など）を促すために生成される。
例えば、機械学習分析は、訓練した構造、条件、特定の試験の画像内の疾病を識別するために、医用画像手順データから画像を受信し、および処理してもよい。機械学習分析は、緊急または生命に関わる疾病、臨床的に重篤な異常、および他の重要な所見などの、画像内の特定の疾病の自動化検出、指示、または確認に帰結する場合もある。機械学習分析の結果に基づいて、画像に関する医学的評価および関連するイメージング手順を優先させてもよく、またはそうでなければ変更または修正してもよい。さらに、疾病の検出は、医用画像評価（またはそのような医用画像評価からの報告などのデータ項目の生成）の前またはそれと同時に、特定の評価者への医用画像データの割り当て、医用画像データに関する評価プロセス、または他の動作を実行することを助けるために使用されてもよい。
さらに本明細書で論じられるように、機械学習分析は、限定されないが、特に人体解剖学の医用画像および解剖表現における特定の種類の疾病に関して画像認識タスクを行なうように訓練されたディープラーニングモデル（ディープマシンラーニング、または階層モデルとしても知られる）を含む、任意の数の機械学習アルゴリズムと訓練モデルのために提供されてもよい。本明細書において使用されるように、用語「機械学習」は、訓練された構造のマシンドリブン式（例えばコンピュータ支援の）識別を行なうことができる様々なクラスの人工知能アルゴリズムおよびアルゴリズムドリブンアプローチを指し、複数レベルの表現と抽象化を使用するそのような機械学習アルゴリズムの複数レベルの動作を指す用語「ディープラーニング」と共に使用される。しかしながら、本記載の医用画像評価に適用され、使用され、および構成される機械学習アルゴリズムの役割は、人工ニューラルネットワーク、学習可能アルゴリズム、訓練可能なオブジェクト分類、および他の人工知能処理技術の変化形体を含む、任意の数の他のアルゴリズムベースのアプローチによって補われ、または置き換えられてもよいことが明らかになるであろう。
以下の例のいくつかにおいて、放射線医学医用画像手順（例えばコンピュータ断層撮影（ＣＴ）、核磁気共鳴映像法（ＭＲＩ）、超音波、およびＸ線処置等）と、免許および資格のある放射線科医によって画像評価（例えば放射線解釈）で行なわれるイメージング手順から生成された画像診断評価が参照される。本記載の技術とシステムの適用可能性は、従来の放射線画像診断法を含まないものをも包含する、様々な医学的処置および専門性によって生成された種々様々な画像化データ（および他のデータ表現）にまで拡大されることが理解されるだろう。そのような専門性として、限定されないが、病理学、医学写真術、脳波記録法（ＥＥＧ）および心電図記録法（ＥＫＧ）手順などの医療データ測定、心臓学データ、神経科学データ、前臨床イメージング、および遠隔医療、遠隔病理診断、遠隔診断に関して生じる他のデータ収集手順、および医学的処置と医科学の他の適用があげられる。したがって、本明細書に記載されるデータ認識とワークフロー修正技術の性能は、捕らえられた静止画像およびマルチイメージ（例えばビデオ）表現を含む、様々な医用画像情報のタイプ、設定、および使用事例に適用され得る。
以下の記載および図面は特定の実施形態を、それらが当業者にとって実行可能であるように十分に例示する。他の実施形態は、構造的、論理的、電気的、プロセス、および他の変更を組み込み得る。いくつかの実施形態の部分および特徴は、他の実施形態のそれに含まれ、またはそれと取り替えられてもよい。
＜実施例１．胸部Ｘ線異常を検出するディープラーニングシステムの放射線科医の検証確認＞
１．１ 方法
１．１．１ アルゴリズム開発
１，２００，０００のＸ線と、それらの対応する放射線医学報告が、異常を特定するための畳み込みニューラルネットワーク（ＣＮＮ）を訓練するために使用された。自然言語処理アルゴリズムは、非体系的な放射線医学報告を解析し、かつ胸部Ｘ線にある異常の存在についての情報を抽出するために開発された。抽出されたこれらの所見は、ＣＮＮを訓練する時に標識として使用された。個別ネットワークは、正常なＸ線と、「肋骨横隔膜角（ＣＰ ａｎｇｌｅ）の鈍化」、「石灰化」、「心臓肥大症」、「空洞形成」、「硬化」、「繊維症」、「肺門の拡張」、「混濁」および「胸水」の胸部Ｘ線所見を特定するために訓練された。表１は、報告から放射性所見を抽出する時に使用された定義を表記する。これらの所見はタグとして言及された。異常が手動で抽出された場合、タグ抽出の精度は１セットの報告に対して測定された。タグ抽出の精度は表２ａで報告される。
１．１．１ アルゴリズム開発
１，２００，０００のＸ線と、それらの対応する放射線医学報告が、異常を特定するための畳み込みニューラルネットワーク（ＣＮＮ）を訓練するために使用された。自然言語処理アルゴリズムは、非体系的な放射線医学報告を解析し、かつ胸部Ｘ線にある異常の存在についての情報を抽出するために開発された。抽出されたこれらの所見は、ＣＮＮを訓練する時に標識として使用された。個別ネットワークは、正常なＸ線と、「肋骨横隔膜角（ＣＰ ａｎｇｌｅ）の鈍化」、「石灰化」、「心臓肥大症」、「空洞形成」、「硬化」、「繊維症」、「肺門の拡張」、「混濁」および「胸水」の胸部Ｘ線所見を特定するために訓練された。表１は、報告から放射性所見を抽出する時に使用された定義を表記する。これらの所見はタグとして言及された。異常が手動で抽出された場合、タグ抽出の精度は１セットの報告に対して測定された。タグ抽出の精度は表２ａで報告される。
１．１．１．１ 前処理とデータ拡張
全てのＸ線を、標準的なサイズにサイズ変更し、および１セットの標準正常化を、ソース依存の変形を縮小するために適用した。サイズ変更操作は、もとの画像のダウンサンプリングを含む。ダウンサンプリングは、価値のある可能性のある情報の損失を意味するが、次元の呪いを解消することによりモデルをよりよく訓練するのを助け、およびＡＩの現状によって保証される。付加的に、画像のサイズは、推論の速度に有意に影響を与える。
全てのＸ線を、標準的なサイズにサイズ変更し、および１セットの標準正常化を、ソース依存の変形を縮小するために適用した。サイズ変更操作は、もとの画像のダウンサンプリングを含む。ダウンサンプリングは、価値のある可能性のある情報の損失を意味するが、次元の呪いを解消することによりモデルをよりよく訓練するのを助け、およびＡＩの現状によって保証される。付加的に、画像のサイズは、推論の速度に有意に影響を与える。
Ｘ線は、ＣＴおよびＭＲＩ等の他の医用画像モダリティのようには標準化されていないという事実を考慮すると、取得、露出、ノイズに使用されるメーカー／モデルにおいて変動性に対してモデルをロバスト性にすることを目的とした多くのタグ固有のデータ拡張が、訓練中に使用される。
１．１．１．２ アーキテクチャおよび訓練
個々の異常を検出するシステム内の基本ブロックは、ＤｅｎｓｅＮｅｔ（Ｈｕａｎｇ，ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌｕｍｅ １，ｐａｇｅ３，２０１７）またはＲｅｓＮｅｔＨｅ，ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，ｐａｇｅｓ７７０－７７８，２０１６）のいずれかの修正版である。個々の異常検出システムを構築するすべての分類モデルは、一般的なＩｍａｇｅＮｅｔ前訓練ではなく、他の身体部分のＸ線写真から胸部Ｘ線写真を選別するタスクで前訓練される。この工程は、すべてのＸ線から成るスーパーセットの使用を目的としている。ＩｍａｇｅＮｅｔ前訓練と比較すると、一般化性能におけるモデルコンバージェンスとインクリメンタル（増加）の改善が観察された。
個々の異常を検出するシステム内の基本ブロックは、ＤｅｎｓｅＮｅｔ（Ｈｕａｎｇ，ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，ｖｏｌｕｍｅ １，ｐａｇｅ３，２０１７）またはＲｅｓＮｅｔＨｅ，ｅｔ ａｌ．，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ，ｐａｇｅｓ７７０－７７８，２０１６）のいずれかの修正版である。個々の異常検出システムを構築するすべての分類モデルは、一般的なＩｍａｇｅＮｅｔ前訓練ではなく、他の身体部分のＸ線写真から胸部Ｘ線写真を選別するタスクで前訓練される。この工程は、すべてのＸ線から成るスーパーセットの使用を目的としている。ＩｍａｇｅＮｅｔ前訓練と比較すると、一般化性能におけるモデルコンバージェンスとインクリメンタル（増加）の改善が観察された。
１．１．１．３ モデル集団の使用
アンサンブルは、モデルのセットによって生成された予測を組み合わせることによって一般化性能を改善する単純な手法である。異なる初期条件、アーキテクチャ、およびサンプリング（訓練中に使用される異常の分布）を使用して、特定の異常を検出するために多数のモデルを生成する。これらのモデルのサブセットを様々なヒューリスティックスを使用して選択し、および多数派アンサンブルスキーム（ｍａｊｏｒｉｔｙ ｅｎｓｅｍｂｌｉｎｇ ｓｃｈｅｍｅ）を、特定の異常の存在／不在についての決定を行うためにこれらの選択されたモデルの予測を組み合わせるのに使用する。
アンサンブルは、モデルのセットによって生成された予測を組み合わせることによって一般化性能を改善する単純な手法である。異なる初期条件、アーキテクチャ、およびサンプリング（訓練中に使用される異常の分布）を使用して、特定の異常を検出するために多数のモデルを生成する。これらのモデルのサブセットを様々なヒューリスティックスを使用して選択し、および多数派アンサンブルスキーム（ｍａｊｏｒｉｔｙ ｅｎｓｅｍｂｌｉｎｇ ｓｃｈｅｍｅ）を、特定の異常の存在／不在についての決定を行うためにこれらの選択されたモデルの予測を組み合わせるのに使用する。
１．２ 研究設計
１．２．１ サンプルサイズおよびＸ線の選択
南インドの２つのＣｏｌｕｍｂｉａ Ａｓｉａ Ｈｏｓｐｉｔａｌセンターからの外来患者と入院患者の組み合わせを研究に使用した。全てのデータは、この研究での使用前に非特定化された。放射線科医の検証は、２相で行われ、各相につき１０００のＸ線の別個のセットを使用する。サンプルサイズ計算はセクション１．４．１で説明される。両センターからのすべての胸部Ｘ線は以下のようにフィルタリングされた。
１．放射線科医の報告が有効である全てのＰＡ像およびＡＰ像の胸部Ｘ線を選択した。
２．このセットのうち、小児科の患者（≦１４歳）のＸ線、仰臥位でとられたＸ線（病床／携帯用のＸ線）を除外した。
１．２．１ サンプルサイズおよびＸ線の選択
南インドの２つのＣｏｌｕｍｂｉａ Ａｓｉａ Ｈｏｓｐｉｔａｌセンターからの外来患者と入院患者の組み合わせを研究に使用した。全てのデータは、この研究での使用前に非特定化された。放射線科医の検証は、２相で行われ、各相につき１０００のＸ線の別個のセットを使用する。サンプルサイズ計算はセクション１．４．１で説明される。両センターからのすべての胸部Ｘ線は以下のようにフィルタリングされた。
１．放射線科医の報告が有効である全てのＰＡ像およびＡＰ像の胸部Ｘ線を選択した。
２．このセットのうち、小児科の患者（≦１４歳）のＸ線、仰臥位でとられたＸ線（病床／携帯用のＸ線）を除外した。
１セットの１０００のＸ線（セット１）をこのプールから無作為に選択し、対象の異常を含むＸ線の富化はなかった。第２のセットの１０００のＸ線（セット２）を、同じプール（先に選択された１０００のＸ線を除く）からサンプリングし、そうすると、各異常の少なくとも８０の例が含まれ、可能であれば残りのＸ線は無作為に選択された。Ｘ線放射線医学報告を解析した自然言語処理ツールは、上記で表記された除外を実行し、かつ第２相のためのサンプリングを自動化するために使用された。研究設計は図１に例示される。
１．２．２ 包含および除外基準
立位でとられた歩行可能な成人患者からのＰＡ像とＡＰ像の胸部Ｘ線を研究に含めた。病床または携帯用のＸ線機器からの、１４歳以下の患者からのＸ線、仰臥位でとられたＸ線を除外した。その結果、データセットは、目視可能な静脈内のライン、管、カテーテル、またはＥＣＧリードのあるＸ線、またはペースメーカーなどの医療機器を埋め込まれた患者からのＸ線を含んでいなかった。
立位でとられた歩行可能な成人患者からのＰＡ像とＡＰ像の胸部Ｘ線を研究に含めた。病床または携帯用のＸ線機器からの、１４歳以下の患者からのＸ線、仰臥位でとられたＸ線を除外した。その結果、データセットは、目視可能な静脈内のライン、管、カテーテル、またはＥＣＧリードのあるＸ線、またはペースメーカーなどの医療機器を埋め込まれた患者からのＸ線を含んでいなかった。
１．２．３ 異常の定義
審査を行う放射線科医とアルゴリズムが、異常を定義するための同じ評価基準系に基づいて動作していることを保証するために、以下の動作定義を「正常」および各異常に関して使用した。これらの定義は、アルゴリズム開発段階中に、報告からタグを抽出するために使用され、および検証段階中に放射線科医によって使用された。
審査を行う放射線科医とアルゴリズムが、異常を定義するための同じ評価基準系に基づいて動作していることを保証するために、以下の動作定義を「正常」および各異常に関して使用した。これらの定義は、アルゴリズム開発段階中に、報告からタグを抽出するために使用され、および検証段階中に放射線科医によって使用された。
１．３ 放射線科医の検証とゴールドスタンダードの生成
１．３．１ 報告からの異常抽出
Ｘ線に対応するもともとの放射線科医の報告から関連する所見を抽出するために、カスタマイズされたＤｉｃｔｉｏｎａｒｙ－ｂａｓｅｄアプローチを自然言語処理アルゴリズムと組み合わせて使用した。自然言語処理アルゴリズムの精度は、各スキャンに対する一人の専門の解釈者の意見に対して、２０００のスキャンから構成される独立したデータセットに関する非体系的な放射線医学報告から胸部Ｘ線異常を抽出するために定量化された。専門家には、表１のタグ定義、もとの報告書、および胸部Ｘ線が提供され、アルゴリズム出力については盲検化された。
１．３．１ 報告からの異常抽出
Ｘ線に対応するもともとの放射線科医の報告から関連する所見を抽出するために、カスタマイズされたＤｉｃｔｉｏｎａｒｙ－ｂａｓｅｄアプローチを自然言語処理アルゴリズムと組み合わせて使用した。自然言語処理アルゴリズムの精度は、各スキャンに対する一人の専門の解釈者の意見に対して、２０００のスキャンから構成される独立したデータセットに関する非体系的な放射線医学報告から胸部Ｘ線異常を抽出するために定量化された。専門家には、表１のタグ定義、もとの報告書、および胸部Ｘ線が提供され、アルゴリズム出力については盲検化された。
１．３．２ 画像からの異常検出に関するディープラーニングアルゴリズム精度の確認
Ｘ線は、３～１５年間の放射線医学の専門技術を有する、委員会公認の６人の放射線科医（３組）に無作為に分配され、その結果、各Ｘ線は２人の放射線科医によって別個に解釈され、彼らのいずれも最初に報告されたそのＸ線を持っていなかった。第３の解釈は、Ｘ線に添付のもとの放射線医学報告の形態で利用可能であった。カスタムバリデーションポータルを、放射線科医の検証のために使用した。ＤＩＣＯＭファイルは、異常の存在を決定する間、放射線科医が使用するための完全なもとの解として利用可能であった。放射線科医は、個々の異常に関して「存在」または「不在」とマークすることができ、および冒されている領域をマークするためのペンツールを使用することができる。追加のテキストフィールドはフィードバックに有効であった。
Ｘ線は、３～１５年間の放射線医学の専門技術を有する、委員会公認の６人の放射線科医（３組）に無作為に分配され、その結果、各Ｘ線は２人の放射線科医によって別個に解釈され、彼らのいずれも最初に報告されたそのＸ線を持っていなかった。第３の解釈は、Ｘ線に添付のもとの放射線医学報告の形態で利用可能であった。カスタムバリデーションポータルを、放射線科医の検証のために使用した。ＤＩＣＯＭファイルは、異常の存在を決定する間、放射線科医が使用するための完全なもとの解として利用可能であった。放射線科医は、個々の異常に関して「存在」または「不在」とマークすることができ、および冒されている領域をマークするためのペンツールを使用することができる。追加のテキストフィールドはフィードバックに有効であった。
この研究用のゴールドスタンダードは、３人の放射線科医（遡及的評価のための検証ポータルを使用する２人の放射線科医、および放射線医学報告を使用する１人の放射線科医）の解釈間の、各異常の存在または不在に関する多数派意見であった。異常なＸ線検出、および個々の異常に関するアルゴリズム精度は、このゴールドスタンダードに対して報告される。アルゴリズム出力は、両方のデータセットで生成され、および放射線科医の検証が完了するまで、ロックされたデータベースに置かれた。放射線科医は、検証試験のためにＸ線を審査するときには、もとのＸ線報告とアルゴリズム出力を知らされていなかった。
１．４ 統計的分析
１．４．１ サンプルサイズ計算
９５％の信頼区間を用いて感度と特異度を正確に算出することは、集団から無作為にサンプリングされた富化されていないデータセット中のおよそ２０，０００のサンプルサイズを必要とする。セクション１．２．１に詳述されたエンリッチメント戦略を使用した。９０％の精度と９５％の信頼区間を有する８０％の感度を推定するのに必要なサンプルは、９５１である。したがって、２０００のＸ線が、正常／異常というＸ線の分類を評価するのに十分であろう。偽陰性は予備的診断の研究において偽陽性よりも重大であると考えられるため、このサンプルサイズ計算に関する感度を考慮する。
１．４．１ サンプルサイズ計算
９５％の信頼区間を用いて感度と特異度を正確に算出することは、集団から無作為にサンプリングされた富化されていないデータセット中のおよそ２０，０００のサンプルサイズを必要とする。セクション１．２．１に詳述されたエンリッチメント戦略を使用した。９０％の精度と９５％の信頼区間を有する８０％の感度を推定するのに必要なサンプルは、９５１である。したがって、２０００のＸ線が、正常／異常というＸ線の分類を評価するのに十分であろう。偽陰性は予備的診断の研究において偽陽性よりも重大であると考えられるため、このサンプルサイズ計算に関する感度を考慮する。
異常は、典型的な外来患者の設定では、５％未満の有病率を有している。９５１のＸ線のサンプルサイズは、９５％の信頼区間で８０％の特異度に対し３％の精度を提供するだろう。上記に表記された各特定の疾病に関して有病率が１０％未満であることを考慮すると、各疾病につき少なくとも７７の真の事例が、１０％の精度と９５％の信頼区間を有する８０％の感度を提供するだろう。したがって、１つの疾病につき最低８０の真の事例をセット２に使用した。
１．４．２ アルゴリズム性能の測定 ｖｓ 放射線科医
特定の異常に関してＡＵＣを算出する場合、セット１の全体、およびセット２からの異常に関するすべてのＸ線陽性を使用した。
１．感度計算のために、十分に多い数の「異常陽性」事例を使用。
２．正常：異常の比率を自然分布に近い状態に保つ。両セットを組み合わせて使用するのに比べると、これは特異度のより明瞭な推定を可能にする。
特定の異常に関してＡＵＣを算出する場合、セット１の全体、およびセット２からの異常に関するすべてのＸ線陽性を使用した。
１．感度計算のために、十分に多い数の「異常陽性」事例を使用。
２．正常：異常の比率を自然分布に近い状態に保つ。両セットを組み合わせて使用するのに比べると、これは特異度のより明瞭な推定を可能にする。
実際にこれは、各異常を別個に検出する精度を評価する独立した研究を行なうことに等しい。しかしながら、全データセット（ｎ＝２０００）を、異常なＸ線の検出に関するＡＵＣを算出する時に使用した。
ＡＵＣ信頼区間は、Ｈａｎｌｅｙ ａｎｄ ＭｃＮｅｉｌ（Ｒａｄｉｏｌｏｇｙ，１４３（１）：２９－３６，１９８２）によって記載された「分布に基づく」アプローチを使用して算出した。各所見に対するペアになった解釈者間の一致は、合意の割合とコーエンのκ係数を使用して測定された（Ｆａｍ Ｍｅｄ，３７（５）：３６０－３６３，２００５）。加えて、各所見に対する３人すべての解釈者（２人の放射線科医ともとの報告）間の一致は、フライスのκ係数を使用して測定された（Ｐｓｙｃｈｏｌｏｇｉｃａｌ ｂｕｌｌｅｔｉｎ，７６（５）：３７８，１９７１）。解釈者が３つのペアにグループ分けされたため、解釈者間の合意についての報告された各測定値は、３つの推定の平均である。
１．３ 結果
基本的な人口統計、および各異常を含むスキャンの数は表３に概説される。２０００のＸ線のうち６５８のＸ線が、「混濁」、「心臓肥大症」および「石灰化」という、最も頻繁な異常を伴う異常であった。空洞形成の特定において、ディープラーニングシステムの精度を確信をもって算出するための、この異常を含む十分なスキャンはなかった。
基本的な人口統計、および各異常を含むスキャンの数は表３に概説される。２０００のＸ線のうち６５８のＸ線が、「混濁」、「心臓肥大症」および「石灰化」という、最も頻繁な異常を伴う異常であった。空洞形成の特定において、ディープラーニングシステムの精度を確信をもって算出するための、この異常を含む十分なスキャンはなかった。
報告解析における高精度の達成は、ディープラーニングアルゴリズムを訓練するための多くのＸ線の使用を可能にする助けになった。放射線医学報告からの異常抽出精度と一人の解釈者による手動での抽出は、表２ａで概説される。アルゴリズムは、専門の解釈者に対して、０．９４の感度、１の特異度を有する正常なＸ線報告を検出することができた。報告からの個々の異常の検出については、感度は、胸水に関しては０．９３～、石灰化と空洞形成に関しては～１と異なっていた；特異度は混濁に関しては０．９２～、繊維症に関しては～０．９９であり、異なっていた。
１．３．１ 放射線科医間の一致
解釈者間の一致は表２ｂに記載される。一致は、異常なＸ線の検出において最も高かった（解釈者間の一致は８５％、コーエンのκ０．６、フライスのκ０．５６）。
解釈者間の一致は表２ｂに記載される。一致は、異常なＸ線の検出において最も高かった（解釈者間の一致は８５％、コーエンのκ０．６、フライスのκ０．５６）。
１．３．２ アルゴリズムの精度 ｖｓ ３人の放射線科医の多数派意見
１２の異常の各々を特定するディープラーニングシステムの精度は、表４に表記される。図２は、６人の放射線科医のプールから無作為に得た３人の放射線科医の多数派意見（２人の放射線科医の遡及的再解釈、およびもとの放射線医学報告）に対する、全データセット（ｎ＝２０００）にプロットされた各異常ごとのＡＵＣ曲線を示す。６人の放射線科医ごとの、個々の放射線科医の感度と特異度は各プロット上にマークされる。ほとんどの場合、個々の放射線科医の感度と特異度は、胸水、心臓肥大症および混濁を例外として、ＡＵＣ曲線をわずかに上回り、およびアルゴリズムの性能は、何人かの個体の性能（または放射線科医の感度と特異度）と等しかった。
１２の異常の各々を特定するディープラーニングシステムの精度は、表４に表記される。図２は、６人の放射線科医のプールから無作為に得た３人の放射線科医の多数派意見（２人の放射線科医の遡及的再解釈、およびもとの放射線医学報告）に対する、全データセット（ｎ＝２０００）にプロットされた各異常ごとのＡＵＣ曲線を示す。６人の放射線科医ごとの、個々の放射線科医の感度と特異度は各プロット上にマークされる。ほとんどの場合、個々の放射線科医の感度と特異度は、胸水、心臓肥大症および混濁を例外として、ＡＵＣ曲線をわずかに上回り、およびアルゴリズムの性能は、何人かの個体の性能（または放射線科医の感度と特異度）と等しかった。
他のデータセット（Ｑｕｒｅ９０ｋ）は、もとの訓練データセットに寄与しなかったインドの４つのセンターで無作為にサンプリングされる。このデータセットに関する参照標準（グラウンドトゥルース）は、もとの放射線科医報告に自然言語処理（ＮＬＰ）を使用して設定される。１２の異常の各々を特定するディープラーニングシステムの精度は、表５に表記される。
１．４ 結論
ディープラーニングシステムは、異常なスキャンの検出に関して０．９３（ＣＩ ０．９２－０．９４）のＡＵＣ、および、肋骨横隔膜角の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水それぞれの検出に関して、０．９４（０．９２－０．９７）、０．８８（０．８５－０．９１）、０．９７（０．９５－０．９９）、０．９３（０．８５－１）、０．９３（０．８９－０．９６）、０．８８（０．８４－０．９３）、０．８９（０．８４－０．９４）、０．９３（０．９１－０．９５）、０．９８（０．９７－１）のＡＵＣ（ＣＩ）を実証した。
ディープラーニングシステムは、異常なスキャンの検出に関して０．９３（ＣＩ ０．９２－０．９４）のＡＵＣ、および、肋骨横隔膜角の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水それぞれの検出に関して、０．９４（０．９２－０．９７）、０．８８（０．８５－０．９１）、０．９７（０．９５－０．９９）、０．９３（０．８５－１）、０．９３（０．８９－０．９６）、０．８８（０．８４－０．９３）、０．８９（０．８４－０．９４）、０．９３（０．９１－０．９５）、０．９８（０．９７－１）のＡＵＣ（ＣＩ）を実証した。
この例は、大量の十分に標識されたデータで訓練されたディープラーニングアルゴリズムが、胸部Ｘ線の異常を正確に検出することができることを示す。これらのシステムがより正確になれば、胸部Ｘ線解釈の限界を広げ、およびその有効性を改善するためにそれらを使用する実現可能性が増す。
＜実施例２．結核検出のためのディープラーニングソリューションｑＸＲ＞
Ｑｕｒｅ．ａｉ ｑＸＲは、異常な胸部Ｘ線をスクリーニングし、優先させるように設計されている。アルゴリズムは、１５の最も一般的な胸部Ｘ線異常を自動的に特定する。典型的または異型の肺結核を示唆するこれらの異常のサブセットを、プロダクト内の「結核スクリーニング」アルゴリズムを生成するために組み合わせる。結核スクリーニングアルゴリズムは、微生物学的確認の前に、結核を示唆する異常に関する放射線科医または内科医の胸部Ｘ線のスクリーニングを複製するように意図される。ｑＸＲは、ＣＥ認証された初のＡＩベースの胸部Ｘ線判断ソフトウェアである。ｑＸＲは、ベンダー中立統合過程（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ｉｎｔｅｇｒａｔｉｏｎ Ｐｒｏｃｅｓｓ）により統合され、および任意のＸ線システム（ＣＲまたはＤＲ）から生成されたＸ線と共に機能する。ｑＸＲは結核をスクリーニングし、さらに１５の他の異常を特定し、その結果、患者は自身が患っているかもしれないＴＢではない疾病についての情報を得ることができる。
Ｑｕｒｅ．ａｉ ｑＸＲは、異常な胸部Ｘ線をスクリーニングし、優先させるように設計されている。アルゴリズムは、１５の最も一般的な胸部Ｘ線異常を自動的に特定する。典型的または異型の肺結核を示唆するこれらの異常のサブセットを、プロダクト内の「結核スクリーニング」アルゴリズムを生成するために組み合わせる。結核スクリーニングアルゴリズムは、微生物学的確認の前に、結核を示唆する異常に関する放射線科医または内科医の胸部Ｘ線のスクリーニングを複製するように意図される。ｑＸＲは、ＣＥ認証された初のＡＩベースの胸部Ｘ線判断ソフトウェアである。ｑＸＲは、ベンダー中立統合過程（Ｖｅｎｄｏｒ Ｎｅｕｔｒａｌ Ｉｎｔｅｇｒａｔｉｏｎ Ｐｒｏｃｅｓｓ）により統合され、および任意のＸ線システム（ＣＲまたはＤＲ）から生成されたＸ線と共に機能する。ｑＸＲは結核をスクリーニングし、さらに１５の他の異常を特定し、その結果、患者は自身が患っているかもしれないＴＢではない疾病についての情報を得ることができる。
ｑＸＲは、既存の放射線医学ワークフローに干渉せずに、シームレスにベンダー中立アーカイブ（ＶＮＡ）およびＰＡＣＳと統合する。以下を含む結果の表を送達するために、それはＨＩＰＡＡコンプライアントクラウドサーバで展開される：
ａ．各胸部Ｘ線に関して「正常」または「異常」
ｂ．対応する確率スコアを用いてアルゴリズムによって検出された全ての異常のリスト
ｃ．確率スコアを用いて、各Ｘ線に関して、「結核スクリーニング勧告」または「結核スクリーニング陰性」。
ａ．各胸部Ｘ線に関して「正常」または「異常」
ｂ．対応する確率スコアを用いてアルゴリズムによって検出された全ての異常のリスト
ｃ．確率スコアを用いて、各Ｘ線に関して、「結核スクリーニング勧告」または「結核スクリーニング陰性」。
標準的なイメージングプロトコルを使用して、ｑＸＲは、クライアントＰＡＣＳ／ＶＮＡから対象のＸ線（非特定化）を自動的にアップロードし、およびＨＬ７フォーマットを使用して結果のオーバーレイと対応する報告を返し、ユーザーがもとのＸ線の審査に先立って分析にアクセスできるようにする。この標準プロセスは、２週間にわたる咳などの症状を有する個体、糖尿病および他の免疫無防備の患者が、数秒以内に結核に関するスクリーニングを受け、微生物学的確認（ＮＡＡＴ）を参照し、および陽性であるとわかれば、同日に処置を開始することができる。図３は、地区ＴＢセンターでパイロット用のｑＸＲを使用したＴＢ検出のための提案されたワークフローを示す。
展開のための労力には、ＡＰＩを介した現行のＸ線システムとの統合が含まれる。結果は、放射線医学ビューアと矛盾がなく、またはウェブベースのＱｕｒｅビューア上でホストされ得る。自動化された報告は、画像データにおける特定の疾病の特徴の認識レベルに対応するスコアで生成される。表６は自動化報告の例である。
Claims (13)
- 胸部Ｘ線スキャン画像における医学的異常を検出し、および位置を突き止めるためにディープラーニングシステムを開発する方法であって、該方法は：
自然言語処理（ＮＬＰ）アルゴリズムを使用して、特定の医学的異常に対応する医用スキャン画像を選択する工程；
サイズ変更とタグ固有のデータ拡張により、選択されたスキャン画像を前処理する工程であって、ここでデータ拡張はモデル訓練のためのタグを用いたデータのラベリングであり、タグは医学的異常の所見である、工程；
選択された医用スキャン画像を用いてディープラーニングアルゴリズムを訓練する工程；
多数のモデルの予測を組み合わせることによって、特定の種類の医学的異常の存在／不在を予測する工程であって、複数のモデルは、胸部X線画像を他の身体部分のX線画像から分離するタスクについて事前に訓練されている、工程；
医学的異常の存在が認識される確率に対応するスコアを生成し、および医学的異常の正確な位置と範囲を表すバウンディングボックスを出力する工程；
を含む、方法。 - ディープラーニングアルゴリズムは、畳み込みニューラルネットワークアーキテクチャを含む、請求項１に記載の方法。
- アーキテクチャは、他の身体部分のＸ線画像から胸部Ｘ線画像を選別するタスクによる前訓練によって修正される、請求項２に記載の方法。
- モデルは様々なヒューリスティックスを使用して選択される、請求項１に記載の方法。
- 医学的異常は、肋骨横隔膜角の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水を含む、請求項１に記載の方法。
- 医学的異常を検出するためのディープラーニングアルゴリズムの精度は、放射線科医の報告と比較することによって検証される、請求項１に記載の方法。
- ディープラーニングアルゴリズムを使用して胸部Ｘ線スキャン画像における医学的異常を検出し、および位置を突き止めるように構成されたシステムであって、システムは、：
自然言語処理（ＮＬＰ）アルゴリズムを使用して、特定の医学的異常に対応する医用スキャン画像を選択する工程；
サイズ変更とタグ固有のデータ拡張により、選択された医用スキャン画像を前処理する工程であって、ここでデータ拡張はモデル訓練のためのタグを用いたデータのラベリングであり、タグは医学的異常の所見である、工程；
選択された医用スキャン画像を用いてディープラーニングアルゴリズムを訓練する工程；
多数のモデルの予測を組み合わせることによって、特定の種類の医学的異常の存在／不在を予測する工程であって、複数のモデルは、胸部X線画像を他の身体部分のX線画像から分離するタスクによって事前に訓練されている、工程；および、
医学的異常の存在が認識される確率に対応するスコアを生成し、および医学的異常の正確な位置と範囲を表すバウンディングボックスを出力する工程；
によって開発される、システム。 - ディープラーニングアルゴリズムは畳み込みニューラルネットワークアーキテクチャを含む、請求項７に記載のシステム。
- アーキテクチャは、他の身体部分のＸ線画像から胸部Ｘ線画像を選別するタスクによる前訓練によって修正される、請求項８に記載のシステム。
- モデルは様々なヒューリスティックスを使用して選択される、請求項７に記載のシステム。
- 医学的異常は、肋骨横隔膜角の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水を含む、請求項７に記載のシステム。
- 医学的異常の検出に関するディープラーニングアルゴリズムの精度は、放射線科医の報告と比較することによって検証される、請求項７に記載のシステム。
- アルゴリズムは、異常なスキャンの検出に関して０．９３±０．０１のＡＵＣ、および、肋骨横隔膜角の鈍化、石灰化、心臓肥大症、空洞形成、硬化、繊維症、肺門の拡張、混濁および胸水それぞれの検出に関して、０．９４±０．０２、０．８８±０．０３、０．９７±０．０２、０．９３±０．０７、０．９３±０．０４、０．８８±０．０５、０．８９±０．０５、０．９３±０．０２、０．９８±０．０２のＡＵＣを達成する、請求項７に記載のシステム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN201821042893 | 2018-11-14 | ||
| IN201821042893 | 2018-11-14 | ||
| PCT/IB2019/050317 WO2020099941A1 (en) | 2018-11-14 | 2019-01-15 | Application of deep learning for medical imaging evaluation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021509491A JP2021509491A (ja) | 2021-03-25 |
| JP7097350B2 true JP7097350B2 (ja) | 2022-07-07 |
Family
ID=70731782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019507912A Active JP7097350B2 (ja) | 2018-11-14 | 2019-01-15 | 医用画像評価のためのディープラーニングの応用 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7097350B2 (ja) |
| CN (1) | CN111436212A (ja) |
| WO (1) | WO2020099941A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102507451B1 (ko) * | 2020-09-07 | 2023-03-08 | 주식회사 뷰노 | 흉부 이미지 판독 방법 |
| WO2023239150A1 (ko) * | 2022-06-07 | 2023-12-14 | 서울대학교병원 | 기능적 분석 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160350919A1 (en) | 2015-06-01 | 2016-12-01 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005010076A1 (de) * | 2005-03-04 | 2006-09-07 | Siemens Ag | Bildbearbeitungsverfahren für ein digitales medizinisches Untersuchungsbild und zugehörige Untersuchungseinrichtung |
| WO2015134668A1 (en) * | 2014-03-04 | 2015-09-11 | The Regents Of The University Of California | Automated quality control of diagnostic radiology |
| WO2016094330A2 (en) * | 2014-12-08 | 2016-06-16 | 20/20 Genesystems, Inc | Methods and machine learning systems for predicting the liklihood or risk of having cancer |
| US10282835B2 (en) * | 2015-06-12 | 2019-05-07 | International Business Machines Corporation | Methods and systems for automatically analyzing clinical images using models developed using machine learning based on graphical reporting |
| US10111632B2 (en) * | 2017-01-31 | 2018-10-30 | Siemens Healthcare Gmbh | System and method for breast cancer detection in X-ray images |
| US11583239B2 (en) * | 2017-03-24 | 2023-02-21 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Service | Method and system of building hospital-scale chest X-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases |
| EP3404666A3 (en) * | 2017-04-28 | 2019-01-23 | Siemens Healthcare GmbH | Rapid assessment and outcome analysis for medical patients |
| KR101887194B1 (ko) * | 2018-06-20 | 2018-08-10 | 주식회사 뷰노 | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 |
-
2019
- 2019-01-15 CN CN201980000228.1A patent/CN111436212A/zh active Pending
- 2019-01-15 JP JP2019507912A patent/JP7097350B2/ja active Active
- 2019-01-15 WO PCT/IB2019/050317 patent/WO2020099941A1/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160350919A1 (en) | 2015-06-01 | 2016-12-01 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
Non-Patent Citations (4)
| Title |
|---|
| Hoo-Chang Shin et al.，Learning to Read Chest X-Rays: Recurrent Neural Cascade Model for Automated Image Annotation，IEEE Conference on Computer Vision and Pattern Recognition，2016年，No. CVPR，pp. 2497-2506 |
| Mauro Annarumma et al.，Deep metric learning for multi-labelled radiographs，[online]，2017年12月11日，arXiv:1712.07682v1，https://arxiv.org/abs/1712.07682，［２０２１年２月１７日検索］ |
| Preetham Putha et al.，Can Artificial Intelligence Reliably Report Chest X-Rays?，[online]，2018年07月19日，arXiv:1807.07455v1，https://arxiv.org/abs/1807.07455v1，［２０２１年２月１７日検索］ |
| Xiaosong Wang et al.，ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases，IEEE Conference on Computer Vision and Pattern Recognition，2017年，No. CVPR，pp. 3462-3471 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021509491A (ja) | 2021-03-25 |
| WO2020099941A1 (en) | 2020-05-22 |
| CN111436212A (zh) | 2020-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733727B2 (en) | Application of deep learning for medical imaging evaluation | |
| Kulkarni et al. | Artificial intelligence in medicine: where are we now? | |
| US10755413B1 (en) | Method and system for medical imaging evaluation | |
| Celik | Detection of Covid-19 and other pneumonia cases from CT and X-ray chest images using deep learning based on feature reuse residual block and depthwise dilated convolutions neural network | |
| CN110033859A (zh) | 评估患者的医学检查结果的方法、系统、程序和存储介质 | |
| Mazzanti et al. | Imaging, health record, and artificial intelligence: hype or hope? | |
| JP6503535B1 (ja) | 医用画像をａｉの判断で症状度合いごと画像に表示する診断方法。 | |
| MV et al. | Detection of COVID-19 using deep learning techniques and cost effectiveness evaluation: a survey | |
| US20220122734A1 (en) | Diagnosing skin conditions using machine-learned models | |
| Chabat et al. | Computerized decision support in medical imaging | |
| Nijiati et al. | Artificial intelligence assisting the early detection of active pulmonary tuberculosis from chest X-rays: A population-based study | |
| JP7097350B2 (ja) | 医用画像評価のためのディープラーニングの応用 | |
| Mayya et al. | COVIDDX: AI-based Clinical Decision Support System for Learning COVID-19 Disease Representations from Multimodal Patient Data. | |
| Prabha et al. | A big wave of deep learning in medical imaging-analysis of theory and applications | |
| Angelica et al. | Impact of computer vision with deep learning approach in medical imaging diagnosis | |
| Makarovskikh et al. | Automatic classification Infectious disease X-ray images based on Deep learning Algorithms | |
| JP7222882B2 (ja) | 医用画像評価のためのディープラーニングの応用 | |
| JPWO2019208130A1 (ja) | 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム | |
| Cao et al. | Automatic lung segmentation algorithm on chest X-ray images based on fusion variational auto-encoder and three-terminal attention mechanism. Symmetry 2021; 13 (5): 814 | |
| Zhang et al. | Ultrasonic Image's Annotation Removal: A Self-supervised Noise2Noise Approach | |
| US11508065B2 (en) | Methods and systems for detecting acquisition errors in medical images | |
| US20240331872A1 (en) | System and method for detection of a heart failure risk | |
| Punde | Computer Aided Diagnosis Model of Glaucoma with Eye Tracking Data | |
| EP4379672A1 (en) | Methods and systems for classifying a medical image dataset | |
| Nirmal et al. | Doctor AI: An Intelligent Approach for Medical Diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210301 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7097350 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |