JP2024500938A - 医用画像における状態特徴の自動注釈付け - Google Patents
医用画像における状態特徴の自動注釈付け Download PDFInfo
- Publication number
- JP2024500938A JP2024500938A JP2023538745A JP2023538745A JP2024500938A JP 2024500938 A JP2024500938 A JP 2024500938A JP 2023538745 A JP2023538745 A JP 2023538745A JP 2023538745 A JP2023538745 A JP 2023538745A JP 2024500938 A JP2024500938 A JP 2024500938A
- Authority
- JP
- Japan
- Prior art keywords
- map
- features
- trained
- annotation
- annotation map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 125
- 238000013145 classification model Methods 0.000 claims abstract description 85
- 238000011282 treatment Methods 0.000 claims abstract description 67
- 238000010801 machine learning Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 24
- 238000013434 data augmentation Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000001052 transient effect Effects 0.000 claims 1
- 238000002604 ultrasonography Methods 0.000 abstract description 3
- 201000010099 disease Diseases 0.000 description 74
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 74
- 238000000605 extraction Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 13
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 206010012689 Diabetic retinopathy Diseases 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 208000009857 Microaneurysm Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 206010002329 Aneurysm Diseases 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000005641 tunneling Effects 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013532 laser treatment Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/29—Measurement performed on radiation beams, e.g. position or section of the beam; Measurement of spatial distribution of radiation
- G01T1/2914—Measurement of spatial distribution of radiation
- G01T1/2992—Radioisotope data or image processing not related to a particular imaging system; Off-line processing of pictures, e.g. rescanners
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- High Energy & Nuclear Physics (AREA)
- Mathematical Physics (AREA)
- Vascular Medicine (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
医学的状態の特徴は、医学的状態を有するか否かとして画像を分類するように訓練済み分類モデルを使用して、医用画像に自動的に注釈を付けることができる。自動的に注釈付けされた特徴は、例えばレーザ、超音波、又は他の治療方法で医学的状態を治療するための治療計画を生成するために更に処理され得る。
Description
本出願は、2020年12月23日に出願された「医用画像における状態特徴の自動注釈付け(AUTOMATIC ANNOTATION OF CONDITION FEATURES IN MEDICAL IMAGES)」と題するカナダ特許出願第3,103,872号の優先権を主張し、この特許出願の内容全体が参照により本願に組み入れられる。
本開示は、医用画像の処理に関し、特に、医用画像に存在する状態の特徴の自動注釈付けに関する。
医用画像は、潜在的な疾患又は状態を特定するために使用されることが多い。画像は、専門家によって又は訓練された機械学習モデルによって処理され得る。例えば、画像セグメンテーションモデルは、画像を入力として取得し、疾患又は状態に関連する特徴など、モデルが特定するように訓練された特定の特徴の輪郭を描く線ベクトル又は画像マスクを出力する。そのような画像セグメンテーションモデルは、疾患特徴の比較的正確なセグメンテーション又は抽出を提供することができるが、モデルは、入力画像並びに対応する注釈付き特徴を有する比較的大きな訓練データセットを必要とする。訓練に必要な入力画像の注釈付き特徴は、多くの場合、手動で実行される。
訓練データセットを作成するための画像内の特徴の手動注釈付けは、必要な多数の画像及び/又は多数の小さな特徴の注釈付けの困難さに起因して非実用的であり得る。注釈付き特徴がなければ、セグメンテーションモデルは、未知の画像内の特徴を抽出するように訓練することができない。
セグメンテーションモデルは、画像内の特徴を抽出するように訓練されてもよいが、分類モデルは、未知の画像を1つ以上の区分に分類するように訓練されてもよい。図1は、そのような分類モデルを示す。図示のように、未訓練モデル102は、健康104a又は疾患104bのいずれかとしてラベル付けされた複数の画像を用いて訓練されてもよい。セグメンテーションモデルの訓練と同様に、画像は、健康な状態又は疾患状態を表す画像としてラベル付けされてもよい。しかしながら、画像が健康であるか又は特定の疾患もしくは状態が存在するとラベル付けされている場合には、訓練データセットを生成することは著しく容易であり得る。モデル102が十分に訓練された時点で、訓練済みモデル106を使用して未知の画像108を分類することができる。訓練済みモデル106は、未知の画像を健康110aであるか、又は特定の疾患110bを表す画像として分類されてもよい。訓練済みモデル106は、1つ以上の疾患又は状態を分類するように訓練されてもよい。
モデル及びセグメンテーションモデルを分類することは有用であり得るが、医用画像を処理する、特に、医用画像を処理して医用画像に自動的に注釈を付ける更なる、別の、及び/又は改善された技術を有することが望ましい。
本開示によれば、医用画像に注釈を付ける方法であって、医用画像を訓練された機械学習(ML)分類モデルに渡すステップと、特定の状態が医用画像に存在するという信頼度の値を含む分類出力を訓練されたML分類モデルから受信するステップと、複数の画素グループのそれぞれについて、それぞれの画素グループに対する変化が訓練されたML分類出力に与える予測影響を決定することにより、示された状態の信頼度が所定の高い信頼度閾値を上回る場合、医用画像を処理して、医用画像に存在する特定の状態の重要な特徴(key featuer)を自動的に特定するステップと、複数の画素グループの予測影響に基づいて特定の状態の重要な特徴の表示を提供する注釈マップを出力するステップと、を含む方法が提供される。
方法の更なる実施形態によれば、所定の信頼度閾値が少なくとも95%である。
方法の更なる実施形態によれば、所定の信頼度閾値が少なくとも99%である。
方法の更なる実施形態によれば、GUIは、ユーザが医用画像に存在する1つ以上の重要な特徴を選択して注釈マップから選択された重要な特徴を除去又は修正できるようにする。
方法の更なる実施形態によれば、注釈マップから選択された重要な特徴を除去することは、訓練されたML分類モデルを調整するためのフィードバックとして使用される。
方法の更なる実施形態によれば、GUIは、特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、特定された無関係な特徴をフィードバックとして使用するための機能を含む。
方法の更なる実施形態によれば、方法は、出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む。
方法の更なる実施形態によれば、出力された注釈マップを処理するステップは、注釈マップに基づいて治療マップを生成し、特定された重要な特徴のうちの1つ以上に部分的に対応する1つ以上の治療位置を注釈マップに含めるステップを含む。
方法の更なる実施形態によれば、治療マップを生成するステップは、医用画像と関連付けられた1つ以上の追加画像を引き出すステップと、1つ以上の追加画像内の1つ以上の特性を特定するステップと、1つ以上の追加画像内の特定された1つ以上の特性に基づいて治療に適した注釈マップ内で特定された1つ以上の重要な特徴を決定するステップとを含む。
方法の更なる実施形態によれば、方法は、治療マップと注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、モデルフィードバックに基づいて訓練されたML分類モデルを調整するステップとを更に含む。
方法の更なる実施形態によれば、方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、注釈マップを遠隔コンピュータシステムに戻すステップとを更に含む。
方法の更なる実施形態によれば、方法は、注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む。
方法の更なる実施形態によれば、方法は、訓練されたML分類モデルを提供するために分類モデルを訓練するステップを更に含む。
方法の更なる実施形態によれば、分類モデルを訓練するステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む。
方法の更なる実施形態によれば、それぞれの画素グループに対する変化が訓練されたML分類出力に与える予測影響を決定するステップは、閉塞、及び顕著性のうちの1つ以上を使用する。
方法の更なる実施形態によれば、複数の画素グループのうちの少なくとも1つの画素グループが単一の画素を含む。
方法の更なる実施形態によれば、複数の画素グループのうちの少なくとも1つの画素グループが複数の隣り合う画素を含む。
本開示によれば、システムの1つ以上のプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるようにシステムを構成する命令を記憶する非一時的コンピュータ可読媒体が更に提供され、方法は、医用画像を訓練された機械学習(ML)分類モデルに渡すステップと、特定の状態が医用画像に存在するという信頼度の値を含む分類出力を訓練されたML分類モデルから受信するステップと、複数の画素グループのそれぞれについて、それぞれの画素グループに対する変化が訓練されたML分類出力に与える予測影響を決定することにより、示された状態の信頼度が所定の高い信頼度閾値を上回る場合、医用画像を処理して、医用画像に存在する特定の状態の重要な特徴を自動的に特定するステップと、複数の画素グループの予測影響に基づいて特定の状態の重要な特徴の表示を提供する注釈マップを出力するステップとを含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、所定の信頼度閾値が少なくとも95%である。
非一時的コンピュータ可読媒体の更なる実施形態によれば、所定の信頼度閾値が少なくとも99%である。
非一時的コンピュータ可読媒体の更なる実施形態によれば、注釈マップを出力するステップは、注釈マップの表示を含むグラフィカル・ユーザ・インターフェース(GUI)を生成するステップと、表示デバイスに表示するためのGUIを出力するステップとを含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、GUIは、ユーザが医用画像に存在する1つ以上の重要な特徴を選択して注釈マップから選択された重要な特徴を除去又は修正できるようにする。
非一時的コンピュータ可読媒体の更なる実施形態によれば、注釈マップから選択された重要な特徴を除去することは、訓練されたML分類モデルを調整するためのフィードバックとして使用される。
非一時的コンピュータ可読媒体の更なる実施形態によれば、GUIは、特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、特定された無関係な特徴をフィードバックとして使用するための機能を含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、出力された注釈マップを処理して、状態を治療するための治療計画を生成するステップを更に含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、出力された注釈マップを処理するステップは、注釈マップに基づいて治療マップを生成し、特定された重要な特徴のうちの1つ以上に部分的に対応する1つ以上の治療位置を注釈マップに含めるステップを含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、治療マップを生成するステップは、医用画像と関連付けられた1つ以上の追加画像を引き出すステップと、1つ以上の追加画像内の1つ以上の特性を特定するステップと、1つ以上の追加画像内の特定された1つ以上の特性に基づいて治療に適した注釈マップ内で特定された1つ以上の重要な特徴を決定するステップとを含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、治療マップと注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、モデルフィードバックに基づいて訓練されたML分類モデルを調整するステップとを更に含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、注釈マップを遠隔コンピュータシステムに戻すステップとを更に含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、命令の実行によって与えられる方法は、訓練されたML分類モデルを提供するために分類モデルを訓練するステップを更に含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、分類モデルを訓練するステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、それぞれの画素グループに対する変化が訓練されたML分類出力に与える予測影響を決定するステップは、閉塞、及び顕著性のうちの1つ以上を使用する。
非一時的コンピュータ可読媒体の更なる実施形態によれば、複数の画素グループのうちの少なくとも1つの画素グループが単一の画素を含む。
非一時的コンピュータ可読媒体の更なる実施形態によれば、複数の画素グループのうちの少なくとも1つの画素グループが複数の隣り合う画素を含む。
本開示によれば、医用画像に注釈を付けるためのシステムが更に提供され、該システムは、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるようにシステムを構成する命令を記憶する少なくとも1つのメモリとを備え、方法は、医用画像を訓練された機械学習(ML)分類モデルに渡すステップと、特定の状態が医用画像に存在するという信頼度の値を含む分類出力を訓練されたML分類モデルから受信するステップと、複数の画素グループのそれぞれについて、それぞれの画素グループに対する変化が訓練されたML分類出力に与える予測影響を決定することにより、示された状態の信頼度が所定の高い信頼度閾値を上回る場合、医用画像を処理して、医用画像に存在する特定の状態の重要な特徴を自動的に特定するステップと、複数の画素グループの予測影響に基づいて特定の状態の重要な特徴の表示を提供する注釈マップを出力するステップとを含む。
システムの更なる実施形態によれば、所定の信頼度閾値が少なくとも95%である。
システムの更なる実施形態によれば、所定の信頼度閾値が少なくとも99%である。
システムの更なる実施形態によれば、注釈マップを出力するステップは、注釈マップの表示を含むグラフィカル・ユーザ・インターフェース(GUI)を生成するステップと、表示デバイスに表示するためのGUIを出力するステップとを含む。
システムの更なる実施形態によれば、GUIは、ユーザが医用画像に存在する1つ以上の重要な特徴を選択して注釈マップから前記選択された重要な特徴を除去又は修正できるようにする。
システムの更なる実施形態によれば、注釈マップから選択された重要な特徴を除去することは、訓練されたML分類モデルを調整するためのフィードバックとして使用される。
システムの更なる実施形態によれば、GUIは、特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、特定された無関係な特徴をフィードバックとして使用するための機能を含む。
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、出力された注釈マップを処理して、状態を治療するための治療計画を生成するステップを更に含む。
システムの更なる実施形態によれば、出力された注釈マップを処理するステップは、注釈マップに基づいて治療マップを生成し、特定された重要な特徴のうちの1つ以上に部分的に対応する1つ以上の治療位置を注釈マップに含めるステップを含む。
システムの更なる実施形態によれば、治療マップを生成するステップは、医用画像と関連付けられた1つ以上の追加画像を引き出すステップと、1つ以上の追加画像内の1つ以上の特性を特定するステップと、1つ以上の追加画像内の特定された1つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された1つ以上の重要な特徴を決定するステップとを含む。
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、治療マップと注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、モデルフィードバックに基づいて訓練されたML分類モデルを調整するステップとを更に含む。
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、注釈マップを遠隔コンピュータシステムに戻すステップとを更に含む。
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む。
システムの更なる実施形態によれば、命令の実行によって与えられる方法は、訓練されたML分類モデルを提供するために分類モデルを訓練するステップを更に含む。
システムの更なる実施形態によれば、分類モデルを訓練するステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む。
システムの更なる実施形態によれば、それぞれの画素グループに対する変化が訓練されたML分類出力に与える前記予測影響を決定するステップは、閉塞、及び顕著性のうちの1つ以上を使用する。
システムの更なる実施形態によれば、複数の画素グループのうちの少なくとも1つの画素グループが単一の画素を含む。
システムの更なる実施形態によれば、複数の画素グループのうちの少なくとも1つの画素グループが複数の隣り合う画素を含む。
本開示の更なる特徴及び利点は、添付図面と組み合わせて解釈される、以下の詳細な説明から明らかになる。
以下、医用画像内の特徴を自動的に抽出して注釈付けすることができる自動注釈付けシステムについて更に説明する。自動抽出は、特定の疾患を示す特徴を含むことができる特徴を画像から抽出できるようにする。以下で更に説明するように、特徴を抽出するために訓練されたセグメンテーションモデルを使用するのではなく、プロセスは、入力修正と併せて訓練済み分類モデルを使用して、画像を健康か疾患かに分類する入力画像内の位置を特定する。分類モデルが高い信頼度で画像を分類することができない場合、自動特徴注釈は許容できる程度にうまく機能しない場合がある。このように、プロセスは、まず画像を健康又は疾患として分類し、次いで、疾患予測信頼度が95%などの閾値を上回る場合、入力修正を使用して特徴を自動的に抽出することができる。特定された特徴は、例えば、個々の特徴に自動的に注釈を付けるために更に処理することができ、これは様々な用途に使用され得る。例えば、注釈付き特徴は、疾患の治療を計画する際に使用されてもよい。「健康な画像」、「疾患Aの画像」、「疾患Bの画像」などの適切なラベルと共に豊富な入力画像が利用可能な場合、これらのラベルを使用して分類ネットワークを訓練することが可能であり、分類ネットワークはその後、注釈/特徴抽出出力を与えるために使用することができる。
自動特徴抽出を訓練する際の第1のステップは、ラベルのうちの1つ以上の分類モデルを訓練することである。モデルは任意の構造を有することができるが、非常に高い精度が必要とされるため、xception、resnext、又はmnastnetなどの最良の性能の画像分類モデルに基づいてモデルを選択することができる。一例として、網膜分類を行う本開示に係るモデルは、画像ダウンスケーリングのために追加された更なる層を伴うxceptionであってもよい。網膜分類モデルは、「健康」及び「糖尿病性網膜症」の2つのクラスラベルを伴う3,000個の画像から99.9%の精度まで訓練された。利用可能な訓練データを増大させるために、例えば、回転、ストレッチ、ミラーリング、又は他の特性を調整して追加画像を生成することによって訓練画像を調整又は修正する訓練データ拡張を使用することができる。データ拡張は、利用可能な画像に対する分類モデルの過剰適合を回避又は低減するのに役立ち得る。
分類モデルを訓練した後、訓練済みモデルを未知の画像に適用して、それらを健康又は糖尿病性網膜症を示すものとして分類することができる。糖尿病性網膜症の予測信頼度が予測閾値を上回る場合、未知の入力画像を入力修正と共に使用して、分類モデルの分類結果に影響を与える画像の部分を決定する。入力修正は、画像から特徴を抽出するときに、幾つかのアルゴリズムのうちの1つを使用して入力画像を修正することができる。例えば、閉塞は、各分類試行において入力画像内の幾つかの画素を隠す正方形マスクを用いて分類モデルを複数回使用して入力画像を評価することを含む。モデルが評価されるたびに、マスクが画像全体に変換され、関心のある出力クラスの値が記録される。次いで、マスク位置(x、y)に対応する出力クラス値の2Dマップをプロットすることができる。結果として得られる2Dマップは、関心のある特徴を明らかにする。
閉塞は、他の方法と比較して非常に非効率的で不正確であり得る。例えば、顕著性は、分類モデルに関する入力画像の勾配を計算する別の技術である。勾配は、入力に対する変化に関する出力の変化を示す。閉塞プロセスが実際に入力を変化させ、モデルの出力を決定する場合、顕著性プロセスは、分類モデルの入力勾配又は画像勾配を決定することによって、入力の変化に基づいて出力の変化を数学的に決定する。入力勾配は、以下のように定義することができる。
ここで、
・ciは、特徴抽出iのための所望のクラスにおけるモデル出力である
・ax,yは、位置(x,y)におけるモデル入力又は入力画像画素である。
・ciは、特徴抽出iのための所望のクラスにおけるモデル出力である
・ax,yは、位置(x,y)におけるモデル入力又は入力画像画素である。
勾配は、数学的に計算され、分類に最も大きな影響を与える入力画像内の位置を特定するべく特徴抽出のために直接使用され得る。入力変更に使用され得る他の技術は、誘導逆伝播、積分勾配、ノイズトンネリング勾配などを含み得る。
図2は、自動疾患特徴注釈付け機能を示す。図2には示されないが、自動疾患特徴注釈付け機能202は、機能を実装するようにコンピュータシステムを構成する1つ以上のメモリユニットに記憶された命令を実行する1つ以上のプロセッサを備える1つ以上のコンピュータシステムによって実装されてもよい。自動疾患特徴注釈付け機能202は、1つ以上の入力画像204を処理することができる。入力画像204は、眼や眼の一部の画像等の医用画像であるが、例えば、超音波画像、MRI画像、X線画像、光学顕微鏡法、2光子顕微鏡法、共焦点顕微鏡法、光干渉断層法、光音響画像法、組織学的スライドなどを含む他の医用画像が使用されてもよい。画像204は、訓練済み分類モデル208が特定するように訓練された特定の疾患の有無を決定する疾患検出機能206によって処理されてもよい。訓練済み分類モデル208は、1つ以上の疾患又は状態を分類するように訓練されてもよい。更に、単一の訓練済み分類モデルのみが図2に示されているが、疾患検出機能206は、異なる疾患/状態を検出するように訓練された複数の異なる訓練済み分類モデルに入力画像204を渡すことが可能である。
訓練済み分類モデル208は、入力画像を受け、モデルが特定するように訓練される1つ以上のラベルを示す分類出力を与える。分類モデルは、例えば、xception、resnext、又はmnastnetを含む様々なネットワークアーキテクチャによって、又はそれに基づいて提供され得る。訓練済みモデルからの出力は、予測信頼度の表示を含む。予測信頼度が特定の疾患ラベルについて95%以上などの第1の高い閾値を上回る場合、画像204は特徴抽出機能210によって処理されてもよい。特徴抽出機能は、閉塞、顕著性、誘導逆伝播、積分勾配、ノイズトンネリング勾配などの入力修正技術を使用して、分類に到達する際の入力画像内の画素の重要性を決定する。特徴抽出機能は、特定の画素値の変化が分類出力に与える影響を示す特徴抽出マップを生成する。特徴抽出マップを使用して、画像に存在する疾患特徴に自動的に注釈を付けることができる。図示のように、自動疾患特徴注釈付け機能202は、画像を、存在する特定の疾患又は状態212を有するものとして分類するとともに、円214によって概略的に示されるように抽出された特徴を強調表示することができる。予測信頼度が高い閾値を下回るが、疾患又は状態の低い閾値を上回る場合、自動疾患特徴注釈付け機能202は、画像内に存在する疾患を特定することができるが、疾患特徴を自動的に抽出するために十分に高い精度では特定することができない。そのような場合、自動疾患注釈付け機能202は、画像を疾患216を有するものとして分類するが、特徴を注釈付けしない。また、自動疾患注釈付け機能202は、訓練済み分類モデルからの出力が健康な画像であることを示す場合、画像を健康218として分類することもできる。
自動特徴抽出によって強調表示された特徴は、注釈付き疾患特徴として直接的に使用されてもよい。あるいは、強調表示された特徴は、注釈付き疾患特徴を生成するために更に処理されてもよい。抽出された特徴は、実際には疾患の一部ではない画像に存在する特徴を強調表示することができる。例えば、眼の画像において、特徴抽出は、疾患/状態糖尿病性網膜症に関連する微小動脈瘤などの疾患特徴とともに、黄斑、視神経、血管などの眼の部分を強調表示することができる。抽出された特徴を処理して非疾患特徴を除去し、注釈付き疾患特徴を提供することができる。注釈付き疾患特徴が抽出された特徴と異なる場合、注釈付き疾患特徴、又は抽出された特徴と注釈付き疾患特徴との間の差は、訓練済み分類モデルの更なる訓練又は更新のためのフィードバックとして使用され得る。
図3は、医用画像を自動的に分類して特徴を抽出する方法を示す。方法300は、医用画像を受信することができるコンピュータシステムによって実行されてもよい。方法300を実施するコンピュータシステムは、医用画像を取り込む撮像システムに直接的に接続されてもよく、又は撮像システムの一部であってもよく、又はそのような撮像システムとは別個であってもよい。コンピュータシステムの特定の場所又は組み込みにかかわらず、方法300は、画像を訓練済み分類モデルに渡す(302)。分類モデルは、健康であるとして又はモデルが認識するように訓練された特定の疾患を示すものとして画像を分類するように訓練される。モデルは、1つ以上の疾患又は状態を認識するように訓練されてもよい。疾患分類の表示を提供することに加えて、モデルは、モデルの分類が正しいという信頼度の表示も提供する。出力が分類モデルから受信されると、画像が健康又は疾患として分類されたかどうかが決定される(304)。画像が健康と分類された場合(304で健康)、本方法は健康予測を出力する(306)。モデルは、画像を健康であるとして明示的に分類することができる。これに加えて又は代えて、何らかの予測信頼度閾値を下回る疾患分類は、健康であると考えられ得る。
画像が疾患又は健康でないと分類された場合(304で疾患)、方法300は、予測信頼度が特徴抽出閾値を上回っているかどうかを決定する(308)。特徴を適切に抽出するために、入力画像の分類は、例えば95%以上であり得る特定の信頼度レベルを上回ることが必要である。特徴を抽出するために必要な分類予測の信頼度レベルは、抽出閾値と呼ぶことができる。予測信頼度が抽出閾値を下回る場合(308でNo)、分類モデルからの疾患予測が出力される(310)。しかしながら、予測信頼度が抽出閾値を上回る場合(308でYes)、方法は、画像から特徴を抽出することに進む(312)。特徴抽出は、特徴、又は画像の部分、分類の結果を特定するために分類モデルに依存し、したがって許容可能な特徴抽出結果を提供するために、モデルによって提供される分類は十分に正確でなければならず、すなわち予測に高い信頼度を有しなければならない。抽出された特徴は、単一の2Dマップとして、又は複数の2Dマップとして提供され得る。例えば、それぞれの2D特徴マップは、画像の赤、緑、青(RGB)チャネル、又は入力画像で使用されるチャネルに応じて他のチャネルに対して生成され得る。更に、1つ以上の個々の2Dマップを2Dマップに組み合わせることができる。
特徴が抽出されると、例えば抽出された特徴に更に注釈を付けるために、特徴を更に処理することができる(314)。抽出された特徴が、疾患分類をもたらす入力画像内の位置を提供する2Dマップ又はマスクとして提供され得る場合、抽出された特徴に注釈を付けることにより、個々のオブジェクトがそれぞれ特定の特徴又は特徴のグループを表すことができる。例えば、糖尿病性網膜症の場合、個々の注釈付き特徴は、微小動脈瘤の入力画像内の位置であり得る。
図4は、医用画像における疾患特徴を自動的に抽出する方法を示す。方法400は、画像が訓練済み分類モデルによって疾患を示すものとして分類されており、分類信頼度が、分類モデルを使用して特徴抽出を実行するための閾値を上回っていると仮定する。方法400は、画像を受信し(402)、次いで、画像内の各画素の位置(404,408)について、全ての画素の位置が決定されるまで画素の位置の予測影響を決定する(406)。画素の位置のそれぞれは、個々の画素又は画素のグループであってもよい。予測に対する画素の位置の影響を決定することは、例えば、位置の画素値が例えば全て黒、白、グレー、又は他の色に変更される閉塞などの様々な方法で行うことができ、その後、調整された画像は、調整された画像を分類するために訓練済み分類モデルに提供され、その後、元の入力画像からのベースライン予測と比較される。例えば、顕著性を含む、分類モデルからの分類出力に対して異なる画素の位置が及ぼす影響を決定するための他の技術を使用することができ、顕著性は、入力の変化が出力に及ぼす影響、又は画素の位置における値の変化が分類に及ぼす影響を与えるモデルの入力/画像勾配を決定する。異なる画素の位置の影響は、個別に、一度に又は並行して決定されてもよく、又は、例えば分類モデルの勾配を決定することによって、異なる画素の位置が一度に計算されてもよい。
全ての画素の位置の予測影響が決定された後、画素の位置の影響に基づいて特徴抽出マップが生成可能である(410)。特徴抽出マップは、異なる画素の位置が分類に与える影響を示す2Dマップ又は画像であってもよい。2D特徴マップは、例えば表示又は更なる処理(414)のために、他のプロセス又は機能に出力(412)されてもよい。個々の特徴を特定して注釈を付けるために、特徴マップは、更に処理されてもよい。例えば、特徴マップは、血管、視神経、微小動脈瘤、ドルーゼンなどの個々の特徴を強調表示することができる。各特徴に注釈を付けることができる。個々の特徴注釈は、特徴マップによって強調表示される入力画像の位置を処理することによって自動的に行われてもよい。個々の注釈付き特徴は、個々の特徴の特定子又は名称、画像内の位置、特徴の形状などの注釈付き特徴詳細などの注釈付き特徴情報を与えることができる。注釈付き特徴、又は抽出された特徴の2Dマップは、例えば、疾患状態の治療を計画する際を含む様々な目的に使用可能である。
図5は、疾患特徴に自動的に注釈を付け、疾患の治療を計画し、治療計画を実行するためのシステムを示す。システム500は、様々な機能を実装するサーバを備えるものとして示されている。単一のサーバとして示されているが、機能又は機能の一部は、複数のサーバ又はコンピューティングシステムによって実装されてもよい。サーバは、命令を実行するためのCPU502と、命令を格納するためのメモリ504と、不揮発性(NV)ストレージ素子506と、入力及び/又は出力デバイスをサーバに接続するための入力/出力(IO)インターフェースとを備える。メモリ504に記憶された命令及びデータは、CPU502によって実行されるときに様々な機能510を与えるようにサーバを構成する。
機能510は、自動疾患特徴注釈付け機能512を含む。注釈付け機能512は、眼の眼底画像として描写された医用画像514を受信することができるが、機能は他のタイプの医用画像に適用されてもよい。疾患検出機能516は、画像を受け取り、画像を健康又は疾患として分類するように訓練された1つ以上の訓練済み分類モデル518に画像を渡すことができる。また、訓練済みモデル518は、訓練済みモデル518の分類の予測信頼度の表示も与える。予測信頼度が、例えば95%以上であり得る特徴抽出閾値を上回る場合、特徴抽出機能520は、特徴を抽出するために画像を更に処理することができる。前述したように、特徴抽出は、画像内の特徴を特定するために、訓練済み分類モデル及び入力修正を使用することができる。
分類結果に影響を及ぼす画像内の位置を強調する2Dマップとして提供され得る抽出された特徴は、更に処理可能である。例えば、グラフィカル・ユーザ・インターフェース(GUI)機能522は、抽出された特徴を処理して、抽出された特徴、又は抽出された特徴の表示を表示するGUIを生成することができる。また、GUI機能522によって提供されるGUIは、追加の機能を提供することもでき、例えば、場合によっては手動で特徴を追加、除去、又は調整すること、並びに患者の詳細、元の画像、他の医用画像524などの他の情報を表示することを含む、特徴と相互作用する能力を与えることができる。
また、抽出された特徴は、抽出された特徴の注釈付け機能526によって処理されてもよい。特徴抽出機能520によって強調表示された抽出された特徴は、画像を疾患として分類するために使用される訓練済みモデルの重大な特徴の表示を提供するが、抽出された特徴は、疾患特徴ではなく、眼などの撮像されている器官に共通の特徴を含むことができる。これらの共通特徴は、共通特徴を特定するように訓練された訓練済みモデルを使用して、例えば、共通特徴が存在する画像及び存在しない画像を使用して特定することができる。更に、抽出された特徴は、画像内の特徴の位置を強調する2D画像マップとして提供されるが、個々の特徴を提供するものではない。抽出された特徴の注釈付け機能526は、抽出された特徴から個々の特徴を特定し、対応する個々の注釈付き特徴を生成することができる。抽出された特徴の注釈付け機能526は、例えば、個々の特徴を分離するために、2D特徴マップ、場合によっては入力画像を処理することができる画像処理技術を含む様々な技術を使用して、抽出された特徴マップを処理して個々の特徴を特定することができる。個々の特徴が特定されると、画像内の位置、注釈付き特徴のサイズ及び/又は形状、特定子及び/又は名称、注釈付き特徴に関するノート又はコメントなどの注釈付き特徴に関する情報を含む、対応する個々の注釈付き特徴を生成することができる。抽出された特徴注釈付け機能は、個々の抽出された特徴のそれぞれに対応する注釈付き特徴を生成することができ、又は撮像された器官に共通ではない個々の特徴のみなどの抽出された特徴のサブセットに対応する注釈付き特徴を生成することができる。すなわち、血管、視神経などの一般的な特徴は、対応する注釈付き特徴に処理されなくてもよい。これに加えて又は代えて、抽出された特徴注釈付け機能は、注釈付き特徴を手動で追加/削除するための機能を含むことができる。
抽出された特徴、又は抽出された特徴から生成された注釈付き特徴は、治療計画機能528によって処理されてもよい。治療計画機能は、機械学習技術を利用して、治療することができる抽出された特徴及び/又は注釈付き特徴の部分を特定することができる。治療計画機能は、治療を計画する際に、追加の医用画像524などの追加の情報を利用することができる。例えば、眼の状態を治療する際に、治療することができる特徴を特定するために眼底画像を処理することができ、追加画像は、実際の治療のために特徴のサブセットを選択するのを助けることができる網膜の厚さなどの追加の情報を特定することができる。
フィードバック機能530は、例えばモデル再訓練機能532によって、又は治療計画又は抽出された特徴の注釈付けに使用されるものなどの他のモデルによって使用され得るフィードバックを生成することができる。フィードバックは、様々な方法で生成され得る。例えば、フィードバックは、特徴又は注釈付き特徴を手動で除去するなど、ユーザの手動対話から直接的に生成される。フィードバックは、疾患の状態を治療するための重大な特徴の表示を提供し得る治療計画を、抽出された特徴と比較することによって生成され得る。フィードバックを使用して、処理可能な特徴のみに基づいて画像を分類するために、分類モデルを訓練又は調整することができる。
図示のように、システム500は、オペレータがシステムと対話することを可能にするGUIを表示するためのディスプレイ又はモニタ534を含むことができる。図5に示すGUIは単なる例示であり、実際のGUIは、広範囲のフォーマットで所望の情報を提示し得ることが理解されるであろう。図示のように、GUIは、他の医用画像が使用されてもよいが、眼の眼底画像として示される入力画像536を含む様々な情報を表示することができる。GUIは、個々の注釈付き特徴538の画像を含むことができる。GUIは、オペレータが個々の注釈付き特徴と対話することを可能にする制御部540を提供することができる。例えば、制御は、オペレータが個々の注釈付き特徴を選択し、その位置、サイズ、形状、名前、メモなどの情報542を調整することを可能にすることができる。更に、制御は、オペレータが注釈付き特徴を除去できるようにする又は場合によっては新たな注釈付き特徴を追加又は定義できるようにする機能を含むことができる。注釈付き特徴を変更するための機能は、オペレータが注釈付き特徴を手動で追加、削除、又は変更できるようにする機能を提供することができる。これに加えて又は代えて、注釈付き特徴を変更するための機能は、例えば、変更されるべき想定し得る注釈付き特徴の一般領域を定義するために幾つかのユーザ入力を必要とする及び/又は可能な変更を確認もしくは拒絶する変更を自動的又は半自動的に実行することができる。また、GUIは、状態を治療するための治療計画544を表示することもできる。図5には示されていないが、GUIは、治療計画を調整するための制御をオペレータに提供することができる。GUIは、場合によっては、特徴がどのように特定及び/又は注釈付けされるかを調整するために、オペレータによってフィードバック機能に加えられた変更のいずれかの表示を提供することができる。
また、システム500は、レーザ治療システムとして示されている治療システム546に結合されてもよいが、他の治療システムが使用されてもよい。治療システムは、例えば決定された位置をレーザで治療することによって治療計画を実行することができる。
上記では、治療システム546に直接的に接続され得る単一のサーバによって提供される様々な機能を示した。機能は、1つ以上のネットワーク化されたシステムによって提供されてもよい。例えば、疾患検出機能516、訓練済みモデル518、及び特徴抽出機能520は、場合によっては有料で、異なる専門家がアクセスすることができる1つ以上のクラウドサーバに実装されてもよい。クラウドベースの機能は、他のコンピュータシステム又は治療システムのコントローラなどのコントローラと対話することができる。更にまた、特徴抽出の結果は、処理される特徴を特定するために使用されてもよく、又は出力は、例えば他のモデルを訓練するなどのために、他のシステムへの入力として提供されてもよい。
図6は、医用画像における疾患特徴を自動的に抽出する方法を示す。方法600は方法400と同様であり、同様のステップは同様の参照番号を使用し、これについては再び詳細には説明しない。前述したように、特徴の注釈付け及び治療の計画において、機能は追加の医用画像を利用することができる。方法600は、特徴を抽出するときに追加画像を利用する。追加画像又は情報は、各画素の位置(404,408)を処理するときに使用される。追加画像又は情報を使用して、画素の位置のモデルパラメータを調整し(606a)、調整されたパラメータを使用して決定された画素の位置の予測影響を調整する(606b)。追加情報は、分類モデルを局所的に調整するために使用され得る。例えば、モデルは、幾つかの他の特徴があり、他の領域では感度が低い画素の位置でより感度が高くなるように調整され得る。追加情報は、追加の医用画像、患者情報、他の画素の位置からの情報などを含むことができる。
図7は、訓練済みモデルを更新する方法を示す。方法700は、注釈付き特徴のGUIを生成して表示する(702)。GUIは、ユーザが注釈付き特徴と対話することを可能にすることができ、例えば、注釈付き特徴の1つ以上を選択し、選択された特徴を削除又は変更すること、又は画像内の位置を選択し、新しい注釈付き特徴を作成することを含む。注釈付き特徴を調整する対話にかかわらず、更新された注釈付き特徴のGUIからのフィードバックは、疾患特徴に関するフィードバックとして受信される(704)。訓練済み分類モデル、及び/又は抽出された特徴から注釈付き特徴を自動的に生成するために使用されるモデルは、受信したフィードバックに基づいて更新又は再訓練されてもよい。
図8は、訓練済みモデルを更新する更なる方法を示す。方法800は、医用画像に存在する疾患を治療するための治療計画を作成するために、注釈付き特徴を処理する。治療計画は、レーザ又は超音波装置などのシステムで治療するための位置を指定することができる。治療計画は、疾患の関連する特徴の良好な指標を提供し得る。治療計画は、抽出された特徴マップ(804)及び訓練済み分類モデルと比較され、及び/又は抽出された特徴から注釈付き特徴を自動的に生成するために使用されるモデルは、治療計画と抽出された特徴マップとの間の差異に基づいて更新又は再訓練される。
上記では、モデルを再訓練するためのフィードバックの使用について説明した。上記のようにGUIからのフィードバック又は抽出された特徴と治療計画との間の違いを使用することに加えて、他の情報を使用して、疾患又はその治療の特定に重要ではない可能性がある抽出された特徴を特定することができる。例えば、眼疾患の検出又は治療において、抽出された特徴は、疾患特徴だけでなく、静脈又は他の構造などの眼の特徴も含み得る。これらの共通構造は、画像から特定されたそれらの特徴又は構造のみを特定するように訓練された他の機械学習モデルなどの他の技術を使用して特定することができる。次いで、これらの特定された構造は、抽出された疾患特徴から除去されてもよい。修正プロセスは、特定の結果に達するまで、異なる特徴又は特徴の変更を繰り返し特定しようと試みる反復プロセス又は試行錯誤プロセスであり得る。次いで、共通の特徴が除去された、修正済の抽出された特徴を使用して、モデルを疾患特徴に集中させるために分類モデルを再訓練することができる。更に、上記では、特定の疾患特徴を特定するために分類モデルを使用し、次いで分類モデルの訓練を改善するためにフィードバックを使用して、疾患特徴をより良好に特定することについて説明した。特定の分類モデルを使用して特定された疾患特徴はまた、別の分類モデルによって無視されるべき特徴を特定するために使用され得る。例えば、微小動脈瘤は、糖尿病性網膜症を同定及び/又は治療するために重要であり得るが、他の状態又は疾患については重要ではなく、無視されるべきである。
当業者であれば分かるように、図1-4に示すシステム及び構成要素は、図面に示されていない構成要素を含み得る。説明を簡単かつ明確にするために、図中の要素は必ずしも縮尺通りではなく、概略的なものに過ぎず、要素構造を限定するものではない。当業者であれば分かるように、特許請求の範囲に定義される本発明の範囲から逸脱することなく、幾つかの変形及び修正を行うことができる
特定の構成要素及びステップが記載されているが、個々に記載された構成要素並びにステップは、より少ない構成要素又はステップに一緒に組み合わせられてもよく、又はステップは、順次、非順次、又は同時に実行されてもよいことが企図される。更に、特定の順序で行われるものとして前述したが、本教示を考慮する当業者であれば分かるように、他のステップに対する特定のステップの特定の順序を変更できる。同様に、個々の構成要素又はステップは、複数の構成要素又はステップによって提供されてもよい。本教示を考慮する当業者であれば分かるように、本明細書に記載の構成要素及びプロセスは、例示的な例として本明細書に記載の特定の実施態様以外に、ソフトウェア、ファームウェア、及び/又はハードウェアの様々な組み合わせによって提供され得る。
様々な実施形態の技法は、ソフトウェア、ハードウェア、及び/又はソフトウェアとハードウェアの組み合わせを使用して実施され得る。様々な実施形態は、装置、例えば、通信システム又はデータストレージシステムで使用され得るノードに関する。様々な実施形態はまた、記載された1つ以上の方法のステップのうちの1つ、複数、又は全てを実施するように機械、例えばプロセッサを制御するための機械可読命令を含む、非一時的機械、例えばコンピュータ、例えばROM、RAM、CD、ハードディスクなどを対象とする。
幾つかの実施形態は、コンピュータ又は複数のコンピュータに、様々な機能、ステップ、動作及び/又は動作、例えば、前述のステップの1つ以上又は全てを実施させるためのコードを含むコンピュータ可読媒体を含むコンピュータプログラムプロダクトに関する。実施形態に応じて、コンピュータプログラムプロダクトは、実行されるべきステップごとに異なるコードを含むことができ、場合によっては含む。したがって、コンピュータプログラムプロダクトは、方法、例えば、通信デバイス、例えば、無線端末又はノードを動作させる方法の個々のステップごとのコードを含むことができ、場合によっては含む。コードは、RAM(ランダムアクセスメモリ)、ROM(読み出し専用メモリ)又は他の種類のストレージ装置などのコンピュータ可読媒体に記憶された機械、例えばコンピュータの実行可能命令の形態であってもよい。コンピュータプログラムプロダクトを対象とすることに加えて、幾つかの実施形態は、前述した1つ以上の方法の様々な機能、ステップ、動作及び/又は動作のうちの1つ以上を実施するように構成されたプロセッサを対象とする。したがって、幾つかの実施形態は、本明細書に記載の方法のステップの一部又は全てを実施するように構成されたプロセッサ、例えばCPUに関する。プロセッサは、例えば、本出願に記載された通信デバイス又は他のデバイスで使用するためのものであり得る。
前述の様々な実施形態の方法及び装置に対する多数の更なる変形が、上記の説明を考慮すれば当業者には明らかとなる。そのような変形は、範囲内で考慮されるべきである。
Claims (54)
- 医用画像に注釈を付ける方法であって、
医用画像を訓練された機械学習(ML)分類モデルに渡すステップと、
特定の状態が前記医用画像に存在するという信頼度の値を含む分類出力を前記訓練されたML分類モデルから受信するステップと、
示された前記状態の前記信頼度が所定の高い信頼度閾値を上回る場合、複数の画素グループのそれぞれについて、前記それぞれの画素グループに対する変化が前記訓練されたML分類出力に与える予測影響を決定することによって、前記医用画像を処理して、前記医用画像に存在する前記特定の状態の重要な特徴を自動的に特定するステップと、
前記複数の画素グループの前記予測影響に基づいて、前記特定の状態の前記重要な特徴の表示を提供する注釈マップを出力するステップと、
を含む方法。 - 前記所定の信頼度閾値が少なくとも95%である、請求項1に記載の方法。
- 前記所定の信頼度閾値が少なくとも99%である、請求項1に記載の方法。
- 注釈マップを出力する前記ステップは、
前記注釈マップの表示を含むグラフィカル・ユーザ・インターフェース(GUI)を生成するステップと、
表示デバイスに表示するための前記GUIを出力するステップと、
を含む、請求項1~3のいずれかに記載の方法。 - 前記GUIは、ユーザが前記医用画像に存在する1つ以上の重要な特徴を選択して前記注釈マップから前記選択された重要な特徴を除去又は修正できるようにする、請求項4に記載の方法。
- 前記注釈マップから前記選択された重要な特徴を除去することは、前記訓練されたML分類モデルを調整するためのフィードバックとして使用される、請求項5に記載の方法。
- 前記GUIは、前記特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、前記特定された無関係な特徴をフィードバックとして使用するための機能を含む、請求項4~6のいずれかに記載の方法。
- 前記出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む、請求項1~7のいずれかに記載の方法。
- 前記出力された注釈マップを処理する前記ステップは、
前記注釈マップに基づいて治療マップを生成し、特定された前記重要な特徴のうちの1つ以上に部分的に対応する1つ以上の治療位置を前記注釈マップに含めるステップを含む、請求項8に記載の方法。 - 治療マップを生成する前記ステップは、
前記医用画像と関連付けられた1つ以上の追加画像を引き出すステップと、
前記1つ以上の追加画像内の1つ以上の特性を特定するステップと、
前記1つ以上の追加画像内の前記特定された1つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された1つ以上の重要な特徴を決定するステップと、
を含む、請求項9に記載の方法。 - 前記治療マップと前記注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、
前記モデルフィードバックに基づいて前記訓練されたML分類モデルを調整するステップと、
を更に含む、請求項9又は10に記載の方法。 - 遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、
前記注釈マップを前記遠隔コンピュータシステムに戻すステップと、
を更に含む、請求項1~11のいずれかに記載の方法。 - 前記注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む、請求項12に記載の方法。
- 前記訓練されたML分類モデルを提供するために分類モデルを訓練するステップを更に含む、請求項1~13のいずれかに記載の方法。
- 分類モデルを訓練する前記ステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む、請求項14に記載の方法。
- 前記それぞれの画素グループに対する変化が前記訓練されたML分類出力に与える前記予測影響を決定する前記ステップは、
閉塞、及び
顕著性、
のうちの1つ以上を使用する、請求項1~15のいずれかに記載の方法。 - 前記複数の画素グループのうちの少なくとも1つの画素グループが単一の画素を含む、請求項1~16のいずれかに記載の方法。
- 前記複数の画素グループのうちの少なくとも1つの画素グループが複数の隣り合う画素を含む、請求項1~16のいずれかに記載の方法。
- システムの1つ以上のプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるように前記システムを構成する命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
医用画像を訓練された機械学習(ML)分類モデルに渡すステップと、
特定の状態が前記医用画像に存在するという信頼度の値を含む分類出力を前記訓練されたML分類モデルから受信するステップと、
複数の画素グループのそれぞれについて、前記それぞれの画素グループに対する変化が前記訓練されたML分類出力に与える予測影響を決定することにより、
示された前記状態の前記信頼度が所定の高い信頼度閾値を上回る場合、前記医用画像を処理して、前記医用画像に存在する前記特定の状態の重要な特徴を自動的に特定するステップと、
前記複数の画素グループの前記予測影響に基づいて前記特定の状態の前記重要な特徴の表示を提供する注釈マップを出力するステップと、
を含む非一時的コンピュータ可読媒体。 - 前記所定の信頼度閾値が少なくとも95%である、請求項19に記載の非一時的コンピュータ可読媒体。
- 前記所定の信頼度閾値が少なくとも99%である、請求項19に記載の非一時的コンピュータ可読媒体。
- 注釈マップを出力する前記ステップは、
前記注釈マップの表示を含むグラフィカル・ユーザ・インターフェース(GUI)を生成するステップと、
表示デバイスに表示するための前記GUIを出力するステップと、
を含む、請求項19~21のいずれかに記載の非一時的コンピュータ可読媒体。 - 前記GUIは、ユーザが前記医用画像に存在する1つ以上の重要な特徴を選択して前記注釈マップから前記選択された重要な特徴を除去又は修正できるようにする、請求項22に記載の非一時的コンピュータ可読媒体。
- 前記注釈マップから前記選択された重要な特徴を除去することは、前記訓練されたML分類モデルを調整するためのフィードバックとして使用される、請求項23に記載の非一時的コンピュータ可読媒体。
- 前記GUIは、前記特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、前記特定された無関係な特徴をフィードバックとして使用するための機能を含む、請求項22~24のいずれかに記載の非一時的コンピュータ可読媒体。
- 前記命令の実行によって与えられる前記方法は、
前記出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む、請求項19~25のいずれかに記載の非一時的コンピュータ可読媒体。 - 前記出力された注釈マップを処理する前記ステップは、
前記注釈マップに基づいて治療マップを生成し、特定された前記重要な特徴のうちの1つ以上に部分的に対応する1つ以上の治療位置を前記注釈マップに含めるステップを含む、請求項26に記載の非一時的コンピュータ可読媒体。 - 治療マップを生成する前記ステップは、
前記医用画像と関連付けられた1つ以上の追加画像を引き出すステップと、
前記1つ以上の追加画像内の1つ以上の特性を特定するステップと、
前記1つ以上の追加画像内の前記特定された1つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された1つ以上の重要な特徴を決定するステップと、
を含む、請求項27に記載の非一時的コンピュータ可読媒体。 - 前記命令の実行によって与えられる前記方法は、
前記治療マップと前記注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、
前記モデルフィードバックに基づいて前記訓練されたML分類モデルを調整するステップと、
を更に含む、請求項27又は28に記載の非一時的コンピュータ可読媒体。 - 前記命令の実行によって与えられる前記方法は、
遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、
前記注釈マップを前記遠隔コンピュータシステムに戻すステップと、
を更に含む、請求項19~29のいずれかに記載の非一時的コンピュータ可読媒体。 - 前記命令の実行によって与えられる前記方法は、前記注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む、請求項30に記載の非一時的コンピュータ可読媒体。
- 前記命令の実行によって与えられる前記方法は、前記訓練されたML分類モデルを提供するために分類モデルを訓練するステップを更に含む、請求項19~31のいずれかに記載の非一時的コンピュータ可読媒体。
- 分類モデルを訓練する前記ステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む、請求項32に記載の非一時的コンピュータ可読媒体。
- 前記それぞれの画素グループに対する変化が前記訓練されたML分類出力に与える前記予測影響を決定する前記ステップは、
閉塞、及び
顕著性、
のうちの1つ以上を使用する、請求項19~33のいずれかに記載の非一時的コンピュータ可読媒体。 - 前記複数の画素グループのうちの少なくとも1つの画素グループが単一の画素を含む、請求項19~34のいずれかに記載の非一時的コンピュータ可読媒体。
- 前記複数の画素グループのうちの少なくとも1つの画素グループが複数の隣り合う画素を含む、請求項19~34のいずれかに記載の非一時的コンピュータ可読媒体。
- 医用画像に注釈を付けるためのシステムにおいて、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサによって実行されるときに医用画像に注釈を付ける方法を与えるように前記システムを構成する命令を記憶する少なくとも1つのメモリと、
を備え、前記方法は、
医用画像を訓練された機械学習(ML)分類モデルに渡すステップと、
特定の状態が前記医用画像に存在するという信頼度の値を含む分類出力を前記訓練されたML分類モデルから受信するステップと、
複数の画素グループのそれぞれについて、前記それぞれの画素グループに対する変化が前記訓練されたML分類出力に与える予測影響を決定することにより、
示された前記状態の前記信頼度が所定の高い信頼度閾値を上回る場合、前記医用画像を処理して、前記医用画像に存在する前記特定の状態の重要な特徴を自動的に特定するステップと、
前記複数の画素グループの前記予測影響に基づいて前記特定の状態の前記重要な特徴の表示を提供する注釈マップを出力するステップと、
を含むシステム。 - 前記所定の信頼度閾値が少なくとも95%である、請求項37に記載のシステム。
- 前記所定の信頼度閾値が少なくとも99%である、請求項37に記載のシステム。
- 注釈マップを出力する前記ステップは、
前記注釈マップの表示を含むグラフィカル・ユーザ・インターフェース(GUI)を生成するステップと、
表示デバイスに表示するための前記GUIを出力するステップと、
を含む、請求項37~39のいずれかに記載のシステム。 - 前記GUIは、ユーザが前記医用画像に存在する1つ以上の重要な特徴を選択して前記注釈マップから前記選択された重要な特徴を除去又は修正できるようにする、請求項40に記載のシステム。
- 前記注釈マップから前記選択された重要な特徴を除去することは、前記訓練されたML分類モデルを調整するためのフィードバックとして使用される、請求項41に記載のシステム。
- 前記GUIは、前記特定の状態に関連しない無関係な特徴を自動的又は半自動的に特定し、前記特定された無関係な特徴をフィードバックとして使用するための機能を含む、請求項40~42のいずれかに記載のシステム。
- 前記命令の実行によって与えられる前記方法は、
前記出力された注釈マップを処理して、前記状態を治療するための治療計画を生成するステップを更に含む、請求項37~43のいずれかに記載のシステム。 - 前記出力された注釈マップを処理する前記ステップは、
前記注釈マップに基づいて治療マップを生成し、特定された前記重要な特徴のうちの1つ以上に部分的に対応する1つ以上の治療位置を前記注釈マップに含めるステップを含む、請求項44に記載のシステム。 - 治療マップを生成する前記ステップは、
前記医用画像と関連付けられた1つ以上の追加画像を引き出すステップと、
前記1つ以上の追加画像内の1つ以上の特性を特定するステップと、
前記1つ以上の追加画像内の前記特定された1つ以上の特性に基づいて治療に適した前記注釈マップ内で特定された1つ以上の重要な特徴を決定するステップと、
を含む、請求項45に記載のシステム。 - 前記命令の実行によって与えられる前記方法は、
前記治療マップと前記注釈マップとの比較に基づいてモデルフィードバックを生成するステップと、
前記モデルフィードバックに基づいて前記訓練されたML分類モデルを調整するステップと、
を更に含む、請求項45又は46に記載のシステム。 - 前記命令の実行によって与えられる前記方法は、
遠隔コンピュータシステムからネットワークを介して医用画像を受信するステップと、
前記注釈マップを前記遠隔コンピュータシステムに戻すステップと、
を更に含む、請求項37~47のいずれかに記載のシステム。 - 前記命令の実行によって与えられる前記方法は、前記注釈マップを戻すことに関連付けられた料金を決定するステップを更に含む、請求項48に記載のシステム。
- 前記命令の実行によって与えられる前記方法は、前記訓練されたML分類モデルを提供するために分類モデルを訓練するステップを更に含む、請求項37~49のいずれかに記載のシステム。
- 分類モデルを訓練する前記ステップは、ラベル付き訓練画像に関してデータ拡張を使用するステップを含む、請求項50に記載のシステム。
- 前記それぞれの画素グループに対する変化が前記訓練されたML分類出力に与える前記予測影響を決定する前記ステップは、
閉塞、及び
顕著性、
のうちの1つ以上を使用する、請求項37~51のいずれかに記載のシステム。 - 前記複数の画素グループのうちの少なくとも1つの画素グループが単一の画素を含む、請求項37~52のいずれかに記載のシステム。
- 前記複数の画素グループのうちの少なくとも1つの画素グループが複数の隣り合う画素を含む、請求項37~52のいずれかに記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CA3103872A CA3103872A1 (en) | 2020-12-23 | 2020-12-23 | Automatic annotation of condition features in medical images |
CA3,103,872 | 2020-12-23 | ||
PCT/CA2021/051853 WO2022133590A1 (en) | 2020-12-23 | 2021-12-21 | Automatic annotation of condition features in medical images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024500938A true JP2024500938A (ja) | 2024-01-10 |
Family
ID=82100508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023538745A Pending JP2024500938A (ja) | 2020-12-23 | 2021-12-21 | 医用画像における状態特徴の自動注釈付け |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240054638A1 (ja) |
EP (1) | EP4268240A1 (ja) |
JP (1) | JP2024500938A (ja) |
CN (1) | CN116848588A (ja) |
AU (1) | AU2021408159A1 (ja) |
CA (2) | CA3103872A1 (ja) |
WO (1) | WO2022133590A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3137612A1 (en) * | 2021-11-05 | 2023-05-05 | Pulsemedica Corp. | Hybrid classifier training for feature extraction |
US20240112329A1 (en) * | 2022-10-04 | 2024-04-04 | HeHealth PTE Ltd. | Distinguishing a Disease State from a Non-Disease State in an Image |
CN115620286B (zh) * | 2022-11-02 | 2023-05-05 | 安徽云层智能科技有限公司 | 一种基于大数据的数据自动标注系统及方法 |
CN115546218B (zh) * | 2022-12-02 | 2023-03-21 | 京东方科技集团股份有限公司 | 置信度阈值确定方法和装置、电子设备和存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013149038A1 (en) * | 2012-03-28 | 2013-10-03 | University Of Houston System | Methods and software for screening and diagnosing skin lesions and plant diseases |
DE102016219488A1 (de) * | 2016-10-07 | 2018-04-12 | Siemens Healthcare Gmbh | Verfahren zum Bereitstellen einer Konfidenzinformation |
US20200286614A1 (en) * | 2017-09-08 | 2020-09-10 | The General Hospital Corporation | A system and method for automated labeling and annotating unstructured medical datasets |
JP6952124B2 (ja) * | 2017-10-05 | 2021-10-20 | 富士フイルム株式会社 | 医療画像処理装置 |
EP3826544A1 (en) * | 2018-07-26 | 2021-06-02 | Koninklijke Philips N.V. | Ultrasound system with an artificial neural network for guided liver imaging |
US11011257B2 (en) * | 2018-11-21 | 2021-05-18 | Enlitic, Inc. | Multi-label heat map display system |
US20200194108A1 (en) * | 2018-12-13 | 2020-06-18 | Rutgers, The State University Of New Jersey | Object detection in medical image |
US10910100B2 (en) * | 2019-03-14 | 2021-02-02 | Fuji Xerox Co., Ltd. | System and method for generating descriptions of abnormalities in medical images |
WO2020227661A1 (en) * | 2019-05-09 | 2020-11-12 | Materialise N.V. | Surgery planning system with automated defect quantification |
-
2020
- 2020-12-23 CA CA3103872A patent/CA3103872A1/en active Pending
-
2021
- 2021-12-21 WO PCT/CA2021/051853 patent/WO2022133590A1/en active Application Filing
- 2021-12-21 US US18/257,797 patent/US20240054638A1/en active Pending
- 2021-12-21 EP EP21908191.6A patent/EP4268240A1/en active Pending
- 2021-12-21 AU AU2021408159A patent/AU2021408159A1/en active Pending
- 2021-12-21 CN CN202180093797.2A patent/CN116848588A/zh active Pending
- 2021-12-21 JP JP2023538745A patent/JP2024500938A/ja active Pending
- 2021-12-21 CA CA3202916A patent/CA3202916A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240054638A1 (en) | 2024-02-15 |
EP4268240A1 (en) | 2023-11-01 |
CN116848588A (zh) | 2023-10-03 |
AU2021408159A1 (en) | 2023-07-06 |
WO2022133590A1 (en) | 2022-06-30 |
CA3202916A1 (en) | 2022-06-30 |
CA3103872A1 (en) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102014385B1 (ko) | 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치 | |
Maninis et al. | Deep retinal image understanding | |
US10902588B2 (en) | Anatomical segmentation identifying modes and viewpoints with deep learning across modalities | |
US10452899B2 (en) | Unsupervised deep representation learning for fine-grained body part recognition | |
JP2024500938A (ja) | 医用画像における状態特徴の自動注釈付け | |
US9892361B2 (en) | Method and system for cross-domain synthesis of medical images using contextual deep network | |
Zhang et al. | Diabetic retinopathy grading by a source-free transfer learning approach | |
KR102160390B1 (ko) | 인공지능 기반의 사용자 의료정보 분석 방법 및 시스템 | |
Kumar et al. | Redefining Retinal Lesion Segmentation: A Quantum Leap With DL-UNet Enhanced Auto Encoder-Decoder for Fundus Image Analysis | |
KR102015224B1 (ko) | 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 | |
JP7250166B2 (ja) | 画像分割方法及び装置、画像分割モデルのトレーニング方法及び装置 | |
Ogiela et al. | Natural user interfaces in medical image analysis | |
Kim et al. | Web applicable computer-aided diagnosis of glaucoma using deep learning | |
Birgui Sekou et al. | Retinal blood vessel segmentation using a fully convolutional network–transfer learning from patch-to image-level | |
Al-Khasawneh et al. | Alzheimer’s Disease Diagnosis Using MRI Images | |
Tariq et al. | Diabetic retinopathy detection using transfer and reinforcement learning with effective image preprocessing and data augmentation techniques | |
Shenavarmasouleh et al. | Drdrv3: Complete lesion detection in fundus images using mask r-cnn, transfer learning, and lstm | |
WO2023077238A1 (en) | Hybrid classifier training for feature annotation | |
Pal et al. | A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation | |
Koziński et al. | Learning to segment 3D linear structures using only 2D annotations | |
Mohammedhasan et al. | A new deeply convolutional neural network architecture for retinal blood vessel segmentation | |
Elif et al. | Accurate myocardial pathology segmentation with residual u-net | |
Akyol et al. | A decision support system for early-stage diabetic retinopathy lesions | |
KR20220103656A (ko) | 인공지능 기반의 수술 동영상 분석과 수술 비교 평가를 위한 장치 및 방법 | |
Pratt | Deep Learning for Diabetic Retinopathy Diagnosis & Analysis |