JP7470875B2 - 画像シーケンス分析 - Google Patents
画像シーケンス分析 Download PDFInfo
- Publication number
- JP7470875B2 JP7470875B2 JP2023547764A JP2023547764A JP7470875B2 JP 7470875 B2 JP7470875 B2 JP 7470875B2 JP 2023547764 A JP2023547764 A JP 2023547764A JP 2023547764 A JP2023547764 A JP 2023547764A JP 7470875 B2 JP7470875 B2 JP 7470875B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- score
- sequence
- image processing
- sequences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012300 Sequence Analysis Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 115
- 238000000034 method Methods 0.000 claims description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 40
- 238000010801 machine learning Methods 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 16
- 210000003484 anatomy Anatomy 0.000 claims description 12
- 238000002604 ultrasonography Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 10
- 238000012285 ultrasound imaging Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 238000013479 data entry Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000000747 cardiac effect Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000013175 transesophageal echocardiography Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010967 transthoracic echocardiography Methods 0.000 description 2
- 208000000875 Spinal Curvatures Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Description
本発明は、医用画像処理の分野における方法に関する。
医用撮像の領域では、収集される患者画像シーケンスが臨床的に関連する情報を導出するために、一つ又はそれより多くの自動化される画像分析ルーチンで処理されることが多い。これは、追加の解剖学的情報、追加のグラフィック詳細、又は測定値などのさらなる臨床的に関連する情報を含むことができる。1つの一般的な画像処理タスクは例えば、画像セグメンテーションである。画像処理タスクは任意のモダリティ、例えば、超音波、MRI、CT、X線、PET、又は任意の他のモダリティからの画像に適用され得る。
画像処理手順の成功、例えば、結果の精度又は品質は、それが適用される画像シーケンスの品質に依存する。多くの場合、複数の画像シーケンスが取得され、それらの各々に処理手順が適用されて、異なる結果のセットが導出される。次いで、臨床医は、最も高い品質を有する、最も多くの情報を含む、又は他の方法で最も成功した結果を選択することができる。これは、画像処理結果が悪く、改善される結果を達成するためにスキャンを繰り返すために患者が呼び戻されなければならないシナリオを回避する。
画像処理タスクを何度も繰り返すプロセスは時間がかかり、リソース集約的である。不十分な画像処理結果を回避するための改善されるアプローチは有利であろう。
Frouinらの「心エコー図による左室の要因解析(FALVE)：地域の壁運動異常を検出するための新しいツール」（European Journal Of Echocardiography, Harcourt Publishers, エディンバラ, GB, vol. 5, no． 5， 1 October 2004(2004.10.01), 335乃至346頁）が参照される。これは、超音波画像シーケンスに適用される因子分析法を使用して、心臓壁運動を追跡するための方法を説明する。
さらに、L Yu Juanらの「畳み込み学習からランクへのアルゴリズムを用いた30超音波スパイン画像選択」（2019年第41回国際会議EEE Engineering In Medicine And Biology Society(EMBC)、IEEE、2019年7月23日(2019.07.23)、4799乃至4802頁）が参照される。これは、人工ニューラルネットワークを使用して脊椎湾曲の最良品質画像を選択する方法を説明する。
この発明は、請求項によって規定される。
本発明の一態様による例によれば、画像処理タスクを適用するために周期的に移動する解剖学的オブジェクトの候補画像系列を評価するためのシステムが提供される。システムは少なくとも1つの機械学習アルゴリズムを備える分類器モジュールを備え、機械学習アルゴリズムは周期的に移動する解剖学的オブジェクトの画像系列を入力として受け取り、少なくとも1つのスコアを出力として生成するように適合され(すなわち、訓練され)、少なくとも1つのスコアは、画像系列に適用されるべきである場合、特定の画像処理タスクの成功の予測される尺度を表す。システムは周期的に移動するオブジェクトの複数の画像系列を受信し、各画像系列を分類器モジュールへの入力として供給し、それによって、複数の画像系列の各々についての少なくとも1つのスコアを取得し、各画像系列についての少なくとも1つのスコアに基づいて、画像処理タスクの適用のための複数の画像系列の最良のサブセットを識別するように適合される制御モジュールをさらに備える。
識別される最良のサブセットは、受信される複数の画像系列よりも少ない画像系列を含む。場合によっては、単一の画像系列のみに対応することがある。
実施形態は複数の異なる候補画像系列のうちのどれが、特定の画像処理タスクがそれに適用されるときに最良の結果をもたらす可能性が最も高いかを事前に評価することが可能な選択アルゴリズムを適用することに基づく。これは、画像処理タスクを適用する必要なしに、画像系列自体の分析又は処理に基づいて行われる。したがって、これは、時間及び処理リソースを節約する。候補画像系列の分析は、一つ又はそれより多くの人工知能アルゴリズムを包含する分類器を使用して自動的に行われる。それは、画像処理タスクの可能性の高い高品質の結果を予測するために1つ以上のアルゴリズムが訓練される訓練手順を通じて得られた知識を具現化する。
複数の画像系列の最良のサブセットは、少なくとも1つの得点に基づいて、画像処理タスクが成功の最高の尤度、又は成功の最高の予測される全体的な尺度を有するサブセットを手段する。
各画像系列は、それぞれが特定の時点に対応する複数の画像を含むことができる。したがって、各画像系列は、画像の時系列シーケンスに対応し得る。これは、解剖学的オブジェクトの一つ又はそれより多くの移動サイクルの全体又は一部に及んでもよい。
解剖学的オブジェクトは、周期的に移動する解剖学的オブジェクトである。移動サイクルは、複数の段階を包含するものとして理解され得る。各候補画像系列は、少なくとも1つの移動サイクル、好ましくは複数のサイクルをカバーすることができる。
画像処理タスクは、特定の解剖学的構造の一つ又はそれより多くの画像から情報を導出するように適合される画像処理タスクを意味する、解剖学的構造特有の画像処理タスクであってもよい。それは、入力画像系列から臨床的に関連する情報を導出するように適合される画像処理タスクを意味する、臨床画像処理タスクであってもよい。臨床的に関連する情報は一つ又はそれより多くの解剖学的特徴の寸法、一つ又はそれより多くの生理学的パラメータ、一つ又はそれより多くの解剖学的特徴(例えば、通常、疾患など)の臨床状態、又は任意の他のものに関する情報を意味し得る。
方法は、複数の画像系列の識別される最良のサブセットを示すデータ出力を生成することをさらに含むことができる。これは、例えば、さらなる画像処理モジュールに提供されてもよい。データ出力はいくつかの例では例えば、表示装置上に表示するために、感覚出力を介してユーザに提示するためにユーザインターフェースに通信され得る。
システムは画像系列を入力として受け取り、画像処理タスクを入力画像系列に適用し、出力処理画像系列を生成するように適合される画像処理モジュールをさらに含むことができる。制御モジュールは、画像系列の識別される最良のサブセットを画像処理モジュールに供給するように適合され得る。制御モジュールは画像系列の識別される最良のサブセットのみを画像処理モジュールに供給し、識別されるサブセットに含まれない画像系列の残りの部分を供給しないように適合されてもよい。これは、低品質の画像処理結果をもたらすと予測される画像系列に画像処理演算を適用する処理リソースを無駄にすることを回避する。
画像処理タスクの出力は、場合によっては一つ又はそれより多くの処理される画像を含むことができる。それは、候補画像の各系列の画像ごとに1つの処理される画像を含むことができる。さらなる例では、画像処理タスクの出力が画像を処理することによって導出される別のタイプの情報又はデータ、たとえば、画像系列内の識別される解剖学的特徴のリスト、画像系列内の解剖学的特徴の寸法の測定値、画像系列内の解剖学的プロセスの時間測定値を含むことができる。画像系列の画像ごとに1つの出力があってもよく、又は画像系列全体に対してより少ない数の出力があってもよい。
制御モジュールは受信される複数の画像系列の記録をメモリ(例えば、ローカルメモリ又はキャッシュ)に記憶するように適合されてもよく、画像系列の識別される最良のサブセットに含まれない受信される画像系列の各々を、これらの画像系列を画像処理モジュールに供給することなく、メモリから除去、削除、又は破棄するように適合されてもよい。
このステップは、いくつかの例では画像処理モジュールに画像系列の最良のサブセットを供給する前に行われてもよい。これは、必要とされない画像系列が最も早い機会に廃棄されるので、メモリ容量を最大化する。
分類器モジュールの一つ又はそれより多くの機械学習アルゴリズムは、各々が画像処理タスクの予測される成功の異なる尺度を表す複数の異なるスコアを生成するように適合され得る。異なるスコアの各々はその画像系列に適用されるときに画像処理タスク出力の品質と相関することが知られている(すなわち、画像処理タスク出力の成功又は品質を予測することが知られている)所与の画像系列の異なる特性又は品質に関連し得る。最良の画像系列の選択を複数の異なるスコアに基づいて、各画像系列の異なる分析可能な特性にマッピングすることによって、複数の独立した係数が考慮されるので、これは、評価の堅牢性及び信頼性を改善する。
制御モジュールは各画像系列のそれぞれの複数のスコアから、複数の画像系列のそれぞれの全体的なスコアを決定し、各画像系列の全体的なスコアに基づいて、画像処理タスクのアプリケーションのための最良の画像系列を識別するようにさらに適合されてもよい。
全体的スコアは、所定の評価関数又は運転を使用して決定されてもよい。これは、複数のスコアの一つ又はそれより多くの加重平均を含むことができる。
本方法は、少なくとも1つのスコア又は全体スコアに従って複数の画像系列をランク付けすることを含むことができる。制御モジュールはユーザインターフェースデバイスへの通信のために、画像系列のランキングを示すデータ出力を生成するように適合され得る。ランキングは、ユーザインターフェースのディスプレイデバイス上に表示され得る。ユーザインターフェースは、ユーザが複数の候補画像系列のうちの何れか1つを選択することを可能にするように適合され得る。表示されるランク付けは、ユーザの選択を支援する。選択はいくつかの例では画像処理モジュールに通信され得、画像処理モジュールは画像処理タスクをユーザ選択画像系列に適用するように適合される。
少なくとも1つの機械学習アルゴリズムは、それぞれが少なくとも1つのスコアで手動でタグ付けされる複数のサンプル画像系列を含むトレーニングデータセットを使用してトレーニングされる機械学習アルゴリズムであってもよい。
一組の実施形態では、画像処理タスクが周期的に移動する解剖学的オブジェクトの1つ以上の解剖学的領域の画像セグメンテーションを含む。
この実施形態のセットでは、いくつかの例では少なくとも1つのスコアが画像系列に適用されるときにセグメンテーションで生成される形状又は輪郭と、画像系列の画像に存在する形状又は輪郭との間の予測される視覚的(すなわち、グラフィック、空間的、形状)対応を示すスコアを含み得る。これは、視覚的信頼性スコアと呼ばれることがある。これは、セグメンテーションにおけるソース画像系列とグラフィカル情報との間の対応の程度に関連する。
追加的又は代替的に、少なくとも1つのスコアは、画像系列に適用される場合、セグメンテーションにおいて生成されるメッシュジオメトリと、所定の関心解剖学的オブジェクトのジオメトリとの間の予測される対応を示すスコアを含み得る。これは、メッシュ妥当性スコアと呼ばれることがある。
既知の幾何学的形状は、解剖学的オブジェクトの典型的な幾何学的形状であってもよい。
一つ又はそれより多くの実施形態によれば、少なくとも1つのスコアは、
前記画像系列の少なくとも1つの画像に対する前記画像処理タスクの結果が前記解剖学的オブジェクトの移動サイクルの第1の位相内で生じることと、
前記画像系列のさらなる少なくとも1つの画像に対する前記画像処理タスクの結果が前記解剖学的オブジェクトの前記移動サイクルのさらなる位相内で生じることと
の間の対応又は予測される一貫性を示すスコアを含むことができる。
の間の対応又は予測される一貫性を示すスコアを含むことができる。
これは、セグメント化一貫性スコアと呼ばれることがある。
少なくとも1組の実施形態では画像系列は超音波画像系列であり、これは各々が一連の超音波画像を含むことを意味する。
いくつかの実施形態では請求されるシステムが超音波撮像装置をさらに備えてもよく、制御モジュールは超音波撮像装置から複数の画像系列を受信するように適合される。
本発明のさらなる態様による実施例は周期的に移動する解剖学的オブジェクトの複数の画像系列を受信することと、前記複数の画像系列の各々に分類器動作を適用することであって、前記分類器動作は少なくとも1つの機械学習アルゴリズムを含み、前記少なくとも1つの機械学習アルゴリズムは周期的に移動するオブジェクトの画像系列を入力として受信し、少なくとも1つのスコアを出力として生成するように適合され(すなわち、訓練され)、前記少なくとも1つのスコアは、前記画像系列に適用されるべきである場合、特定の画像処理タスクの成功の予測される尺度を表すことと、各画像系列についての前記少なくとも1つのスコアに基づいて、前記画像処理タスクの適用のための前記複数の画像系列の最良のサブセットを識別することとを含む、コンピュータ実装方法を提供する。
いくつかの実施形態では、方法が複数の画像系列の識別される最良のサブセットに画像処理タスクを適用することをさらに含む。本方法は好ましくは画像処理タスクを識別される最良のサブセットのみに適用することと、画像系列の識別される最良のサブセットに含まれない、受信される複数の画像系列のうちの任意の画像系列に画像処理タスクを適用しないこととを含む。
本発明のさらなる態様による実施例はプロセッサ上で実行されるとき、上で概説されるか、もしくは下で説明されるか、又は本出願の任意の請求項に従って、方法をプロセッサに実行させるように構成されるコンピュータプログラムコードを備えるコンピュータプログラム製品を提供する。
本発明のこれら及び他の態様は以下に記載される実施形態から明らかであり、それらを参照して説明される。
本発明をより良く理解し、どのように実施することができるかをより明確に示すために、ここで、単なる例として、添付の図面を参照する。
本発明は、図面を参照して説明される。
詳細な説明及び特定の例は装置、システム、及び方法の例示的な実施形態を示しているが、例示のみを目的とするものであり、本発明の範囲を限定することを意図するものではないことを理解される。本発明の装置、システム及び方法のこれら及び他の特徴、態様、及び利点は、以下の説明、添付の特許請求の範囲、及び添付の図面からよりよく理解されるのであろう。図は単に概略的なものであり、縮尺通りに描かれていないことを理解される。また、同じ又は同様の部分を示すために、図面全体を通して同じ参照番号が使用されることを理解される。
本考案は処理リソースを著しく増加させることなく、患者の一連の医用画像に画像処理作業を適用する際に、より正確な成果を達成する手段を提供する。提案されるシステム及び方法は特定の解剖学的領域の複数の画像シーケンスを受信することに基づいており、各画像シーケンスは、解剖学的オブジェクトの周期的な動きを捕捉する。各画像シーケンスは、一つ又はそれより多くの機械学習アルゴリズムの使用を用いて、所与の画像系列に適用される場合に画像処理タスクの結果の予測される成功又は品質を示す各画像シーケンスの少なくとも1つのスコアを導出する分類器モジュールに供給される。これは複数の画像系列のうちのどれが、画像処理タスクから最良の(例えば、最高の品質、又は最大量の情報)結果をもたらす可能性が最も高いかの事前評価を行うことを可能にする。これは画像処理タスクを用いて画像系列の各々を実際に処理する必要なしに、画像処理結果の品質の最大化を可能にし、これは大量の処理リソースを消費し、時間を消費する。分類器モジュールは、予測をはるかに迅速に達成することができる。
画像処理タスクは、特定の解剖学的構造の一つ又はそれより多くの画像から情報を導出するように適合される画像処理タスクを意味する、解剖学的構造特有の画像処理タスクであってもよい。それは、入力画像系列から臨床的に関連する情報を導出するように適合される画像処理タスクを意味する、臨床画像処理タスクであってもよい。臨床的に関連する情報は一つ又はそれより多くの解剖学的特徴の寸法、一つ又はそれより多くの生理学的パラメータ、一つ又はそれより多くの解剖学的特徴(例えば、通常、疾患など)の状態、又は任意の他のものに関する情報を意味し得る。
医用撮像、例えば超音波撮像では、多くの場合、患者の症例ごとに多数の画像シーケンスが取得される。不適切な画像シーケンスの使用は、導出される臨床的測定又は診断に影響を及ぼし得る。したがって、画像シーケンスのセットが与えられると、臨床医は、所与の臨床タスクのための最も関連する情報を含むシーケンスに対して彼の作業を実行することが望ましい。
ユーザが利用可能なすべてのシーケンスをループすることによって手動で選択を実行する場合、これは、貴重な時間を浪費することになる。さらに、ユーザによる最適な画像系列の選択の精度は保証されない。
最良の画像シーケンスの選択は自明ではなく、多くの基準に依存し、画像系列に適用されるべき後続の画像処理タスクに関連することが多い。画質は1つの要因であるが、純粋に画質ベースのスコアは必ずしも、画像処理タスクの適用の成功の正確な予測を提供するとは限らない。例として、特定の画像シーケンスは間違った解剖学的視野(FOV)をカバーする(解剖学的構造の完全なカバレッジがない)か、又は必要な時間的ウィンドウをカバーしない(例えば、標的心臓位相のビューを得るために心周期の時間的カバレッジが不十分)ため、特定の臨床タスクには不適切であり得る。
2つの画像シーケンスは類似の品質を有するように見えるが、どのシーケンスが企図される臨床画像処理タスクのための最適な結果をもたらすかは明らかではない。例えば、画像シーケンスのいずれもが、明確に見える標的解剖学的領域(例えば、心臓の左心室全体)ではない場合がある。この場合、異なる画像系列をどのように区別し、どの画像処理結果が最良となるかを識別する方法は不明である。したがって、最良のシーケンスは、最高の解剖学的カバレッジ、又は最高の画像品質を有するシーケンスを必要としない。
したがって、方法は、複数の画像シーケンスのうちのどれが特定の画像処理動作に最も適しているかを自動的に決定することができる値であろう。好ましくは、選択方法は自動である。好ましくは、それは画像取得と共にリアルタイムで実行されるように動作可能である。
図1は、本発明の1つ以上の実施形態による例示的なシステム10を概略的に示す。システムは、画像処理タスクを候補画像系列に適用することに関連して、周期的に移動する解剖学的オブジェクトの候補画像系列又はシーケンスを評価するためのものである。
システムは、制御モジュール14を含む。制御モジュールは、周期的に移動する解剖学的オブジェクトの複数の候補画像シーケンス12又はシーケンスを受信するように適合される。
システムは、制御モジュールと動作可能に結合される分類器モジュール16をさらに含む。分類器モジュールは少なくとも1つの機械学習アルゴリズムを備えるか、又はそれによって構成され、機械学習アルゴリズムは周期的に移動するオブジェクトの画像系列を入力として受け取り、少なくとも1つのスコアを出力として生成するように適合され(すなわち、訓練され)、スコアは、画像系列に適用される場合、特定の画像処理タスクの成功又は精度の予測される尺度を表す。
制御モジュール14はさらに、受け取った画像系列12の各々を分類器モジュール16への入力として供給し、それによって複数の画像系列の各々について少なくとも1つのスコアを取得するように適合される。制御モジュールは、各画像系列の少なくとも1つのスコアに基づいて、画像処理タスクのアプリケーションのための複数の画像系列の最良のサブセットを識別するようにさらに適合される。
複数の画像系列手段の最良のサブセットは例えば、少なくとも1つの得点に基づいて、画像処理タスクが、成功の最高の尤度、又は成功の最高の予測される総合的測定を有するサブセットである。
本発明の実施形態は、様々な異なる画像処理タスクに適用可能である。一般に、これらは臨床画像処理タスクであってもよく、これは入力される一連の画像から臨床的に関連する情報を導出する又は抽出するように適合される画像処理タスクを意味する。これは、例として、一つ又はそれより多くの解剖学的特徴の輪郭又は位置、一つ又はそれより多くの解剖学的特徴の寸法、一つ又はそれより多くの生理学的パラメータ、一つ又はそれより多くの解剖学的特徴(例えば、通常、罹患など)の臨床状態、又は任意の他の臨床的に関連する情報に関する情報を含み得る。
いくつかの例によれば、システムは任意選択で、制御モジュール14と動作可能に結合され、画像系列を入力として受信し、関連する画像処理タスクを入力画像系列に適用し、出力処理画像系列を生成するように適合される画像処理モジュール18をさらに含むことができる。出力処理画像系列は例えば、入力画像系列の画像の各々の処理されるバージョン(例えば、各画像のセグメント化されるバージョン)を含んでもよい。あるいは、それは画像系列から抽出される臨床的に関連する情報を含んでもよい。
少なくとも1つのスコアはその画像系列に適用されるときに画像処理タスク出力の品質と相関することが知られている(すなわち、画像処理タスク出力の成功又は品質を予測することが知られている)所与の画像系列の特定の分析可能な特性又は品質に関連し得る。
複数の画像系列の最良のサブセットは、単一の画像系列又は複数の画像系列を含むことができる。
制御モジュール14は画像系列の識別される最良のサブセットのみを画像処理モジュールに供給し、受信される画像系列の残りの部分を供給しないように適合され得る。
制御モジュール14は、ローカルメモリ又はキャッシュを含むことができる。制御モジュールはローカルメモリに受信される複数の画像系列の記録を記憶し、画像系列を画像処理モジュールに供給することなく、画像系列の識別される最良のサブセットに含まれていない受信される画像系列の少なくとも各々をメモリから除去、削除、又は破棄するように適合されてもよい。
図1の上記の例では分類器モジュール16、制御モジュール14、及び任意選択の画像処理モジュール18はシステム10内の別個のコンポーネントとして示されているが、これは必須ではないことに留意される。それらの関連する機能は、一つ又はそれより多くの構成要素間で異なる方法で分散され得る。たとえば、異なるモジュールの機能は、単一の要素によって、たとえば単一のコントローラ又はプロセッサによって統合され、実行され得るか、又はそうでなければそれらの機能は、一つ又はそれより多くの要素又は構成要素の間で分散され得る。あるいは、各モジュールの機能がシステム10内の別個のコントローラ又はプロセッサによって実行されてもよい。
さらに、制御モジュール14は単一の制御ユニットの形成で図1に示されているが、これは説明に過ぎない。コントローラによって実行される関数はこの実施形態及び本開示全体にわたって説明される任意の実施形態の両方において、より分散される構成要素のセット、たとえば、複数の制御要素もしくはプロセッサによって、又は装置の一つ又はそれより多くの他の構成要素に含まれる処理要素によって実行され得る。
各画像系列は、それぞれが特定の時点に対応する複数の画像を含むことができる。したがって、各画像系列は、画像の時系列シーケンスに対応し得る。これは、解剖学的オブジェクトの一つ又はそれより多くの移動サイクルの全体又は一部に及んでもよい。いくつかの例では、分類器モジュールが画像系列を形成する画像のすべてに基づいて、又は画像系列を形成する画像の選択のみに基づいて、少なくとも1つのスコアを導出するように適合され得る。例えば、関心対象の関連する解剖学的特徴が、移動サイクルの特定の位相において最も良く描写されることが知られている場合がある。したがって、分類器モジュールはいくつかの例では受け取った各画像系列から、解剖学的オブジェクトの移動サイクルの所定の位相に対応する一つ又はそれより多くの画像を抽出し、抽出される画像の選択のみに基づいて少なくとも1つのスコアを導出するように適合され得る。
いくつかの例では、受信される画像系列のうちの1つ又は複数が解剖学的オブジェクトの複数の移動サイクルにわたる画像を備え得る。これらの場合、いくつかの例では、分類器モジュールが複数の移動サイクルのうちの選択される1つだけに対応する画像を抽出するように適合され得る。
実施形態は各画像系列の少なくとも1つのスコアを導出するために、一つ又はそれより多くの機械学習アルゴリズムを利用する。
機械学習アルゴリズムは、出力データを生成又は予測するために入力データを処理する任意の自己訓練アルゴリズムである。ここで、入力データは一つ又はそれより多くの一連の医用画像を含み、出力データは、画像系列に適用されるべきである場合、特定の画像処理タスクの精度の予測される成功の尺度を示す少なくとも1つのスコアを含む。
本発明で使用されるのに適した機械学習アルゴリズムは、当業者には明らかであろう。適切な機械学習アルゴリズムの例は、決定木アルゴリズム及び人工ニューラルネットワークを含む。ロジスティック回帰、サポートベクターマシン、又はナイーブベイジアンモデルなどの他の機械学習アルゴリズムは、適切な代替案である。
人工ニューラルネットワーク(又は、単純にニューラルネットワーク)の構造が人間の脳によってインスパイアされる。ニューラルネットワークは、各層が複数のニューロンを含む層から構成される。各ニューロンは、数学的演算を含む。特に、各ニューロンは単一の種類の変換(たとえば、同じ種類の変換、シグモイドなどであるが、異なる重み付けを伴う)の異なる重み付けされる組合せを備え得る。入力データを処理するプロセスでは、入力データに対して各ニューロンの数学的演算が実行されて数値出力が生成され、ニューラルネットワーク内の各層の出力が次の層に順次供給される。最終層は出力を提供する。
機械学習アルゴリズムを訓練する方法は周知である。典型的には、そのような方法がトレーニング入力データエントリ及び対応するトレーニング出力データエントリを含む、トレーニングデータセットを取得することを含む。初期化される機械学習アルゴリズムは、予測出力データエントリを生成するために各入力データエントリに適用される。予測出力データエントリと対応するトレーニング出力データエントリとの間の誤差は、機械学習アルゴリズムを修正するために使用される。このプロセスは誤差が収束し、予測出力データエントリが訓練出力データエントリと十分に類似する(例えば、±1％)まで繰り返すことができる。これは、一般に、教師あり学習技術として知られている。
例えば、機械学習アルゴリズムがニューラルネットワークから形成される場合、誤差が収束するまで、各ニューロンの数学的演算(の重み付け)を修正することができる。ニューラルネットワークを修正する既知の方法は、勾配降下法、逆伝播アルゴリズムなどを含む。
トレーニング入力データエントリは、例示的な画像系列に対応する。トレーニング出力データエントリは、各画像系列の少なくとも1つのスコアに対応する。
分類器モジュールの一つ又はそれより多くの機械学習アルゴリズムは、各々が画像処理タスクの予測される成功の異なる尺度を表す複数の異なるスコアを生成するように適合され得る。異なるスコアの各々はその画像系列に適用されるときに画像処理タスク出力の品質と相関することが知られている(すなわち、画像処理タスク出力の成功又は品質を予測することが知られている)所与の画像系列の異なる特性又は品質に関連し得る。最良の画像系列の選択を複数の異なるスコアに基づいて、各画像系列の異なる分析可能な特性にマッピングすることによって、複数の独立した係数が考慮されるので、これは、評価の堅牢性及び信頼性を改善する。いくつかの例では、スコアの各々が分類器モジュールによって構成される複数の機械学習アルゴリズムのうちの異なる1つによって決定され得る。各々は、スコアのうちの単一の特定のスコアを決定するために特に訓練され得る。
制御モジュールは各画像系列のそれぞれの複数のスコアから、複数の画像系列のそれぞれの全体的なスコアを決定し、各画像系列の全体的なスコアに基づいて、画像処理タスクのアプリケーションのための最良の画像系列を識別するようにさらに適合されてもよい。
全体的スコアは、所定の評価関数又は運転を使用して決定されてもよい。これは、複数のスコアの一つ又はそれより多くの加重平均を含むことができる。重み付けは、異なるスコアの値に部分的に基づいて、及び／又は異なるスコアの閾値に基づいて決定され得る。重み付けは、例えば、スコアが予め定義される閾値を下回るか又は上回る場合、ゼロに設定され得る。
いくつかの例では、最高全体スコアを有する画像シーケンスがその後、例えば画像処理モジュール18に供給される、さらなる処理のために使用されてもよい。画像系列の最良のサブセットは、予め定義される数の画像系列を含むように構成され得る。
分類器モジュールは、単一の画像処理タスク、又は複数の異なる画像処理タスクの何れかのためのスコアを生成するように適合され得る。例えば、各々が異なるそれぞれの画像処理タスクに関連する入力画像系列の少なくとも1つのスコアを生成するように構成される複数の異なるモードで動作可能であってもよい。したがって、各画像処理タスクは、それ自体のスコアセットを有することができる。
いくつかの実施形態では、候補画像シーケンスの受信されるスタックが画像系列の各々についての全体スコアに従ってランク付け及び／又はソートされ得る。ランク付け又はソートされる画像シーケンスのセットは、表示装置などのユーザインターフェースデバイス上でユーザに提示され得る。ユーザインターフェースは画像処理タスクの適用のために、画像系列のうちの一つ又はそれより多くの所望のサブセットのユーザによる選択を可能にすることができる。
本発明の実施形態が特に適している1つの画像処理タスクは、画像セグメンテーションである。特に、画像処理タスクは、周期的に移動する解剖学的オブジェクトの1つ以上の解剖学的領域の画像セグメンテーションを含んでもよい。これは、一つ又はそれより多くの解剖学的特徴又は領域の輪郭を識別することを含むことができる。それは、特定の解剖学的オブジェクト又は特徴の輪郭又は境界を表すメッシュを生成することを含んでもよい。
次に、本発明の1つの特定の例示的な実施形態について、より詳細に概説する。この例は画像セグメンテーションプロシージャの適用のために、受信される複数の画像系列の最良のサブセットを識別することに関する。
この例では、少なくとも1つのスコアがセグメンテーションにおいて生成される形状又は輪郭と、画像系列の画像に存在する形状又は輪郭との間の予測される対応を示すスコアを含むことができる。これは、視覚的信頼性スコアと呼ばれることがある。視覚的信頼スコアは、セグメンテーション結果が画像からの証拠によってサポートされる程度を効果的に表す。セグメンテーションアルゴリズムは以前の解剖学的モデルの使用を使用することができ、したがって、生成されるセグメンテーションは、場合によっては限られた画像サポートのみを用いて、形状補間から大部分が導出され得る。この後者の場合、セグメンテーションの大部分は、以前の心臓形状情報のみに基づく。視覚的信頼性スコアは、セグメンテーションの形状、輪郭又は幾何学的形状と、それが基づいている基礎となる画像の形状、輪郭又は幾何学的形状との間の視覚的又はグラフィック対応の程度を評価することを目的とする。
視覚的信頼性スコアは、機械学習アルゴリズムを使用して所与の画像系列について導出され得る。機械学習アルゴリズムは、それぞれが視覚的対応スコアで手動でラベル付けされる、例示的な画像系列を含むトレーニングデータのセットを使用してトレーニングされ得る。視覚的対応スコアは関連する画像セグメンテーションプロシージャを画像系列に事前に適用することに基づいて導出することができ、次いで、ユーザは、セグメンテーション及び画像系列の形状及び輪郭間の視覚的対応を手動で評価する。セグメンテーションプロシージャを適用することは、セグメンテーションプロシージャを画像系列の個々の画像に適用して、各画像について1つのセグメント化を導出することを含んでもよい。画像系列の視覚的対応スコアは、系列を形成する画像のセット全体の視覚的対応スコア、例えばスコアの平均に基づくことができる。
スコアが手動で導出され、トレーニングデータがタグ付けされると、任意選択で、トレーニング画像系列はスコアと相関する画像特徴(例えば、目標点距離の局所的分布)を識別するために分析され得る。機械学習アルゴリズムは入力画像系列の予測スコアを生成するときに、これらの特徴を具体的に分析するように構成され得る。
追加又は代替として、少なくとも1つのスコアは、セグメンテーションにおいて生成されるメッシュジオメトリと、事前定義される関心解剖学的オブジェクトのジオメトリとの間の予測される対応を示すスコアを含み得る。このスコアは、メッシュ妥当性スコアと呼ぶことができる。
このスコアは、結果として得られるセグメント化が解剖学的に妥当である程度を効果的に表す。例えば、関心解剖学的オブジェクト(すなわち、セグメント化されている解剖学的オブジェクト)が心臓の全体又は一部である場合、心臓の全体又は関連部分の幾何学的形状の事前知識を使用して、生成されるメッシュが予測される幾何学的形状に幾何学的にマッピングする程度を評価することができる。
メッシュ妥当性スコアは、機械学習アルゴリズムを使用して所与の画像系列について導出され得る。機械学習アルゴリズムは、それぞれがメッシュ妥当性スコアで手動でラベル付けされる複数の例示的な画像系列を含むトレーニングデータのセットを使用してトレーニングされ得る。メッシュ妥当性スコアは関連する画像セグメンテーションプロシージャを各画像系列に事前に適用し、次いで、ユーザが、セグメンテーションから導出されるメッシュと、予測される解剖学的構造形状に関する臨床医の知識に基づいて、関連する解剖学的オブジェクトの既知の又は予測される幾何学的形状との間の対応を手動で評価することによって導出することができる。
少なくとも1つのスコアは、追加又は代替として、以下の間の予測される一貫性又は対応を含み得る。解剖学的オブジェクトの移動サイクルの第1の位相内で生じる画像系列の少なくとも1つの画像に対する画像セグメンテーション結果；及び解剖学的オブジェクトの移動サイクルのさらなる位相で生じる画像系列のさらなる少なくとも1つの画像に対する画像セグメンテーション結果。第1のフェーズは移動サイクルの任意の点におけるフェーズとすることができる(すなわち、サイクルの時間的開始フェーズである必要はない)。
このスコアは、セグメント化一貫性と呼ばれることがある。例として、セグメンテーションプロシージャは、心臓をセグメント化するためのものであってもよい。セグメンテーションの一貫性は、それぞれ拡張末期(ED)期と収縮末期(ES)期に導出されるセグメンテーション結果間の一貫性に関連し得る。これは、画像シーケンスごとに1つのスコアをもたらし得る。
上記のスコアの各々は、可能な値の所定の範囲内の数値によって表されてもよい。1つ以上のスコアは代わりに、2進値、例えば、真／偽、又はパス／フェイルを取り得る。例えば、セグメント化一貫性スコアのためにバイナリ値が使用され、任意選択で他のスコアのための数値が使用され得る。
いくつかの例では、分類器モジュールが上記の3つのスコアのうちの少なくとも2つを生成するように適合され得る。いくつかの例では上記のスコアのうちの3つすべてが、分類器モジュールによって生成され得る。
例えば、動作中、複数の入力画像系列12が受信される。各々は分類器モジュール16への入力として供給され、分類器モジュールは各画像系列について2つ以上のスコアを生成する。
2つ以上の異なるスコアを個々に有する各画像系列のスコアリングの後、所定の関数を使用して、複数の入力画像系列の各々についての総合スコアを取得する。1つの非限定的な例として、総合スコアの計算は、スコアの加重平均に基づくことができる。しかしながら、複数のスコアを単一の総合スコアに組み合わせるための所定の関数の他の例も考慮され得る。これは、例えば、線形関数又は非線形関数であってもよい。それは、いくつかの例では全体的なスコアを導出するために、スコアをフィルタリング、処理、又は他の方法で処理するための一つ又はそれより多くのステップを有するアルゴリズムを利用することができる。複数のスコアを単一の総合スコアに組み合わせるための所定の機能はローカルデータストアに記録されてもよく、制御ユニットは動作中に所定の機能を検索してもよい。
いくつかの例では、全体スコアの計算に加えて、スコアのうちの少なくとも1つに閾値範囲が適用され得、スコアのうちの少なくとも1つが閾値範囲外にある場合、候補画像系列が最良画像系列のサブセットから除外される。次いで、スコアが閾値範囲内に入る画像系列の各々について、全体スコアを計算することができる。
全体スコアに基づいて、画像処理タスクの適用のために、画像系列のうちの一つ又はそれより多くのサブセットが選択される。
例示として、全体スコアを生成するための1つの関数は、以下の通りであり得る。任意の画像(フレーム)＞[X]に対する[セグメント化一貫性スコア]＝[偽]及び[メッシュ尤度]を有する画像シーケンスは除外され、ここで、Xは予め定義される値である。次いで、処理されるフレームの視覚的信頼性スコア及び処理されるフレームのメッシュ妥当性スコアの加重平均として、全体スコアが計算される。関心解剖学的オブジェクトが心臓である場合、いくつかの例では、各系列のEDフレーム及びESフレームのみが処理され得る。任意選択で、除外されていない画像シーケンスの各々は、それらのそれぞれの全体スコアに従ってランク付けされる。
本発明の1つの可能な用途は、心臓を表す超音波画像シーケンスと共に使用するためのものである。これらは、例えば、経食道心エコー検査(TEE)又は経胸壁心エコー検査(TTE)プローブを用いて捕捉することができる。画像処理タスクは心臓の全体又は部分(例えば、左心室)のセグメント化であってもよい。セグメンテーションは、実際には心臓のセクションの物理的寸法の定量化、血行動態パラメータの定量化、介入計画、及び可視化を含む、様々な臨床機能のために使用され得る。セグメンテーションは、モデルベースのセグメンテーションであってもよい。
いくつかの例では、分類器モジュールが各画像系列を形成する画像のセット全体(例えば、画像ごと)に基づいて、又は各画像シーケンスを形成する画像のうちの選択される一つ又はそれより多くのみ(例えば、心周期の特定の位相に対応する画像のみ、例えば、ED及びES画像フレーム)に基づいて、少なくとも1つのスコアを決定するように適合され得る。いくつかの例では、2つ以上の心周期を含むすべてのシーケンスについて、その画像シーケンスからの最良の心周期が(例えば、1つ以上の機械学習アルゴリズムを用いて)識別され、受信される複数の画像シーケンスからの他のシーケンスの最良の心周期と比較され得る。
一例として、複数の画像系列からの単一のTEE画像系列の選択は、複数の画像系列の各々からED及びES位相画像を最初に抽出することを含むことができる。次いで、上記で概説した3つのスコアを、TEE画像シーケンスの各々のED位相画像について評価することができる。各ED画像について、ED画像を同じ画像系列から抽出される対応するES画像と比較することによって、上述のセグメント化一貫性スコアを評価することができる。セグメント化一貫性スコアが定義される最小閾値を下回る場合、それは、失敗を示すとみなされ得、その場合、対応する画像系列は破棄される。最良の画像系列は、各画像系列のED画像のスコアに基づいて選択される。
さらなる実施形態では、受信される一連の画像の各々が画像の時系列ではなく、3D解剖学的領域を通じた2Dスライスのセットを表すことができる。この場合、画像系列の最良のサブセットを選択するために上述したのと同じ一般的な原理を適用することもできる。
一つ又はそれより多くの実施形態によれば、システム10は超音波撮像装置をさらに備えてもよく、制御モジュール14は超音波撮像装置から複数の画像系列を受信するように適合される。超音波撮像装置は、超音波データを取得するための超音波プローブなどの超音波トランスデューサユニットを備えてもよい。撮像装置は、取得される超音波データから超音波画像を導出するためのコンポーネントをさらに含み得る。
本発明のさらなる態様による実施例は、コンピュータ実装方法を提供する。1つ以上の実施形態による例示的な方法40のステップは、図2に概説されている。
この方法は、周期的に移動する解剖学的オブジェクトの複数の画像系列を受信すること42を含む。方法は複数の画像系列の各々に分類器動作を適用すること44をさらに含み、分類器動作は、少なくとも1つの機械学習アルゴリズムを含む。少なくとも1つの機械学習アルゴリズムは周期的に移動するオブジェクトの画像系列を入力として受け取り、少なくとも1つのスコアを出力として生成するように適合され、少なくとも1つのスコアは、それが画像系列に適用される場合、特定の画像処理タスクの成功の予測される尺度を表す。方法は、各画像系列の少なくとも1つのスコアに基づいて、画像処理タスクのアプリケーションのための複数の画像系列の最良のサブセット50を識別すること(46)をさらに含む。任意選択で、受信される複数の画像系列の残り52は破棄されてもよい。任意選択で、方法は、画像処理タスクを複数の画像系列の識別される最良のサブセット54に適用すること54をさらに含むことができる。好ましくは、画像処理タスクが複数の画像系列の識別される最良のサブセット54にのみ適用される。
本発明のさらなる態様による実施例はプロセッサ上で実行されるとき、上で概説されるか、もしくは下で説明されるか、又は本出願の任意の請求項に従って、方法をプロセッサに実行させるように構成されるコンピュータプログラムコードを備えるコンピュータプログラム製品を提供する。
開示される実施形態に対する変形は図面、開示及び添付の特許請求の範囲の研究から、請求される発明を実施する際に当業者によって理解され、実行され得る。請求項において、単語「有する(comprising)」は他の要素又はステップを除外せず、不定冠詞「a」又は「an」は複数を除外しない。
単一のプロセッサ又は他のユニットは、特許請求の範囲に列挙されるいくつかのアイテムの機能を満たすことができる。
特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。
コンピュータプログラムは他のハードウェアとともに、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶／配布され得るが、インターネット又は他の有線もしくはワイヤレス電気通信システムなどの他の形態で配布されてもよい。
「に適合される」という用語が特許請求の範囲又は説明において使用される場合、「に適合される」という用語は、「乃至に構成される」という用語と等価であることが意図されることに留意される。
請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
Claims (15)
- 画像処理タスクの適用のために周期的に動く解剖学的オブジェクトの候補画像系列を評価するためのシステムであって、
少なくとも1つの機械学習アルゴリズムを有する分類器モジュールであって、前記機械学習アルゴリズムは、周期的に動くオブジェクトの画像系列を入力として受信し、少なくとも1つのスコアを出力として生成するように構成され、前記スコアは、前記画像系列に適用される場合、特定の画像処理タスクの成功の予測される尺度を表す、分類器モジュールと、
制御モジュールであって、
前記周期的に動く解剖学的オブジェクトの複数の候補画像系列を受信し、
各画像系列を前記分類器モジュールへの入力として供給し、それによって前記複数の画像系列の各々についての前記少なくとも1つのスコアを取得し、
前記各画像系列についての少なくとも1つのスコアに基づいて、前記画像処理タスクの適用のための前記複数の画像系列の最良のサブセットを識別する
ように構成される制御モジュールと
を有する、システム。 - 前記システムは画像系列を入力として受信し、前記画像処理タスクを前記入力画像系列に適用し、出力処理画像系列を生成するように構成される画像処理モジュールをさらに含む、請求項1に記載のシステム。
- 前記制御モジュールは、前記画像処理モジュールに前記識別される画像系列の最良のサブセットのみを供給するように構成される、請求項2に記載のシステム。
- 前記制御モジュールは、前記受信される複数の画像系列の記録をメモリに記憶するように構成され、前記画像系列を前記画像処理モジュールに供給することなく、前記識別される画像系列の最良のサブセットに含まれない前記受信される画像系列の少なくとも各々を前記メモリから削除するように構成される、請求項3に記載のシステム。
- 前記分類器モジュールの一つ又はそれより多くの機械学習アルゴリズムは、各々が前記画像処理タスクの予測される成功の異なる尺度を表す複数の異なるスコアを生成するように構成される、請求項1乃至4の何れか一項に記載のシステム。
- 前記制御モジュールはさらに、
前記各画像系列についての各複数のスコアからの複数の画像系列の各々についての総合スコアを決定し、
前記各画像系列についての総合スコアに基づいて、前記画像処理タスクの適用のための画像系列の最良のサブセットを識別する
ように構成される、請求項5に記載のシステム。 - 前記制御モジュールはさらに、前記少なくとも1つのスコア又は前記総合スコアに従って前記複数の画像系列をランク付けするように構成される、請求項1乃至6の何れか一項に記載のシステム。
- 前記少なくとも1つの機械学習アルゴリズムは、各々が前記少なくとも1つのスコアで手動でタグ付けされる複数のサンプル画像系列を有するトレーニングデータセットを使用してトレーニングされている機械学習アルゴリズムである、請求項1乃至7の何れか一項に記載のシステム。
- 前記画像処理タスクは、前記周期的に動く解剖学的オブジェクトの一つ又はそれより多くの解剖学的領域の画像セグメンテーションを有する、請求項1乃至8の何れか一項に記載のシステム。
- 少なくとも1つのスコアは、
前記画像系列に適用されるときに前記セグメンテーションにおいて生成される形状又は輪郭と、前記画像系列に存在する形状又は輪郭との間の予測される対応を示すスコア、及び／又は
前記画像系列に適用されるときに前記セグメンテーションにおいて生成されるメッシュジオメトリと、既定の関心解剖学的オブジェクトのジオメトリとの間の予測される対応を示すスコア
を含む、請求項9に記載のシステム。 - 前記受信される複数の画像系列は複数の超音波画像系列を有する、請求項1乃至10の何れか一項に記載のシステム。
- 超音波撮像装置をさらに有し、前記制御モジュールは、前記超音波撮像装置から前記複数の画像系列を受信するように構成される、請求項1乃至11の何れか一項に記載のシステム。
- コンピュータ実装方法であって、
周期的に動く解剖学的オブジェクトの複数の画像系列を受信するステップと、
前記複数の画像系列の各々に分類器動作を適用するステップであって、前記分類器動作は少なくとも1つの機械学習アルゴリズムを有し、前記少なくとも1つの機械学習アルゴリズムは周期的に動くオブジェクトの画像系列を入力として受信し、少なくとも1つのスコアを出力として生成するように構成され、前記少なくとも1つのスコアは、前記画像系列に適用される場合に、特定の画像処理タスクの成功の予測される尺度を表し、
前記各画像系列についての少なくとも1つのスコアに基づいて、前記画像処理タスクの適用のための複数の画像系列の最良のサブセットを識別するステップと
を有する、方法。 - 前記画像処理タスクを、前記識別される複数の画像系列の最良のサブセットのみに適用するステップをさらに有する、請求項13に記載の方法。
- プロセッサ上で実行されるとき、前記プロセッサに、請求項13又は14に記載の方法を実行させるように構成されるコンピュータプログラムコードを有する、コンピュータプログラムプロダクト。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21156767.2A EP4044113A1 (en) | 2021-02-12 | 2021-02-12 | Image sequence analysis |
| EP21156767.2 | 2021-02-12 | ||
| PCT/EP2022/051426 WO2022171416A1 (en) | 2021-02-12 | 2022-01-24 | Image sequence analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024504857A JP2024504857A (ja) | 2024-02-01 |
| JP7470875B2 true JP7470875B2 (ja) | 2024-04-18 |
Family
ID=74595109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023547764A Active JP7470875B2 (ja) | 2021-02-12 | 2022-01-24 | 画像シーケンス分析 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240127432A1 (ja) |
| EP (2) | EP4044113A1 (ja) |
| JP (1) | JP7470875B2 (ja) |
| CN (1) | CN116888626A (ja) |
| WO (1) | WO2022171416A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220270240A1 (en) * | 2021-02-23 | 2022-08-25 | Siemens Healthcare Gmbh | Fully automatic inline processing for pc-mri imagesfully automatic inline processing for pc-mri images using machine learning |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190378312A1 (en) | 2018-06-11 | 2019-12-12 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for evaluating image quality |
| JP2020500148A (ja) | 2016-09-15 | 2020-01-09 | ポリセリックス・リミテッド | 新規細胞傷害性剤およびそのコンジュゲート |
| CN111916186A (zh) | 2020-08-17 | 2020-11-10 | 北京赛迈特锐医疗科技有限公司 | 序贯型ai诊断模型对胸部x线智能诊断系统及方法 |
-
2021
- 2021-02-12 EP EP21156767.2A patent/EP4044113A1/en not_active Withdrawn
-
2022
- 2022-01-24 WO PCT/EP2022/051426 patent/WO2022171416A1/en active Application Filing
- 2022-01-24 EP EP22704505.1A patent/EP4292044B1/en active Active
- 2022-01-24 US US18/276,482 patent/US20240127432A1/en active Pending
- 2022-01-24 JP JP2023547764A patent/JP7470875B2/ja active Active
- 2022-01-24 CN CN202280014345.5A patent/CN116888626A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020500148A (ja) | 2016-09-15 | 2020-01-09 | ポリセリックス・リミテッド | 新規細胞傷害性剤およびそのコンジュゲート |
| US20190378312A1 (en) | 2018-06-11 | 2019-12-12 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for evaluating image quality |
| CN111916186A (zh) | 2020-08-17 | 2020-11-10 | 北京赛迈特锐医疗科技有限公司 | 序贯型ai诊断模型对胸部x线智能诊断系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024504857A (ja) | 2024-02-01 |
| EP4292044A1 (en) | 2023-12-20 |
| CN116888626A (zh) | 2023-10-13 |
| EP4292044B1 (en) | 2024-08-28 |
| US20240127432A1 (en) | 2024-04-18 |
| EP4044113A1 (en) | 2022-08-17 |
| WO2022171416A1 (en) | 2022-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bernard et al. | Standardized evaluation system for left ventricular segmentation algorithms in 3D echocardiography | |
| CN111493935B (zh) | 基于人工智能的超声心动图自动预测识别方法及系统 | |
| JP7204007B2 (ja) | 画像データ中の病変部の境界の識別 | |
| US11995823B2 (en) | Technique for quantifying a cardiac function from CMR images | |
| EP3657435A1 (en) | Apparatus for identifying regions in a brain image | |
| US12004860B2 (en) | Cardiac function assessment using machine-learning algorithms | |
| Vesal et al. | Spatio-temporal multi-task learning for cardiac MRI left ventricle quantification | |
| JP7470875B2 (ja) | 画像シーケンス分析 | |
| US20220130523A1 (en) | Image analysis method and device | |
| WO2022096867A1 (en) | Image processing of intravascular ultrasound images | |
| CN117671463A (zh) | 一种多模态医学数据质量校准方法 | |
| CN114787816A (zh) | 针对机器学习方法的数据增强 | |
| US20240293100A1 (en) | Cardiac image analysis | |
| JP2007521862A (ja) | 心臓機能の確率的解析 | |
| CN115023188A (zh) | 超声引导方法和系统 | |
| EP4084013A1 (en) | Circulatory system assessment | |
| CN116934741B (zh) | 一站式血管壁的成分和定量参数获取方法和装置 | |
| Laumer et al. | Fully automated 4D cardiac modelling from 2D echocardiography for clinical applications | |
| Palacios et al. | The Role of Artificial Intelligence in Cardiac CT | |
| Fabbri et al. | Segmentation of cardiac structures | |
| Yao et al. | A Combination of Dilated Adversarial Convolutional Neural Network and Guided Active Contour Model for Left Ventricle Segmentation | |
| Укибасов et al. | SEMANTIC SEGMENTATION DEEP LEARNING MODELS IN ECHOCARDIOGRAPHY: CUSTOM DATASET-BASED FINE-TUNING | |
| DE102020211736A1 (de) | Technik zur Quantifizierung einer Herzfunktion aus CMR-Bildern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230808 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240321 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7470875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |