JP2023545570A - 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること - Google Patents
形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること Download PDFInfo
- Publication number
- JP2023545570A JP2023545570A JP2023524132A JP2023524132A JP2023545570A JP 2023545570 A JP2023545570 A JP 2023545570A JP 2023524132 A JP2023524132 A JP 2023524132A JP 2023524132 A JP2023524132 A JP 2023524132A JP 2023545570 A JP2023545570 A JP 2023545570A
- Authority
- JP
- Japan
- Prior art keywords
- segmentation
- segmenter
- image
- shape
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 161
- 230000005856 abnormality Effects 0.000 title claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 82
- 238000010801 machine learning Methods 0.000 claims description 55
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 210000001519 tissue Anatomy 0.000 claims description 14
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 claims description 4
- 201000011510 cancer Diseases 0.000 claims description 3
- 101150080085 SEG1 gene Proteins 0.000 abstract description 28
- 101100421134 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sle1 gene Proteins 0.000 abstract description 28
- 101100202858 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SEG2 gene Proteins 0.000 abstract description 26
- 239000010410 layer Substances 0.000 description 50
- 230000006870 function Effects 0.000 description 28
- 210000000056 organ Anatomy 0.000 description 12
- 206010017076 Fracture Diseases 0.000 description 9
- 210000003484 anatomy Anatomy 0.000 description 9
- 208000010392 Bone Fractures Diseases 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 238000002603 single-photon emission computed tomography Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 206010041569 spinal fracture Diseases 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000008733 trauma Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000012633 nuclear imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003045 statistical classification method Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20124—Active shape model [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Abstract
画像処理のためのシステム及び関係する方法である。本システムは、入力画像についての2つのセグメンテーションマップを受信するための入力INインターフェースを備える。2つのセグメンテーションマップI1、I2は、それぞれのセグメンタである、第1のセグメンタSEG1及び第2のセグメンタSEG2によって得られる。第1のセグメンタSEG1は形状プライアベースセグメンテーションアルゴリズムを実装する。第2のセグメンタSEG2は、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第2のセグメンタSEG2は、第1のセグメンタSEG1と比較してより低い重みで1つ又は複数の形状プライアを考慮する。差分器DIFは、2つのセグメンテーションマップの間の差異を確認するように構成される。本システムは異常の検出を可能にする。
Description
本発明は、画像処理のためのシステムと、撮像システムと、画像処理方法と、機械学習モデルをトレーニングする方法と、コンピュータプログラム要素と、コンピュータ可読媒体とに関する。
医療画像はしばしば診断目的のために使用される。1つのそのような診断目的は解剖学的異常についての観察者によるそのような画像の検査である。そのような解剖学的異常の例としては、骨折(健康な折れていない骨に対する異常)、腫瘍性組織(病変がない器官に対する異常)がある。
しかしながら、例えば3D画像ボリューム中の潜在的に数百個の画像スライスの検査は、時間がかかり、観察者の能力に依存するので誤りを起こしやすい。これは、異常が、訓練された目にとってさえも容易に識別できない、微細な画像構造として画像中で反射される事例によって悪化する。さらには、そのような検査は、しばしば、例えば多忙な外傷診療所など、ストレスの多い環境において時間的制約下で必要とされる。
したがって、改善された画像セグメンテーションの必要がある。
本発明の目的は、さらなる実施形態が従属クレームに組み込まれる、独立クレームの主題によって達成される。本発明の以下の説明する態様は、撮像システムと、画像処理方法と、機械学習モデルをトレーニングする方法と、コンピュータプログラム要素と、コンピュータ可読媒体とに等しく適用されることに留意されたい。
本発明の第1の態様によれば、
入力(医療)画像についての2つのセグメンテーションマップを受信するための少なくとも1つの入力インターフェースであって、2つのセグメンテーションマップが、それぞれのセグメンタである、第1のセグメンタ及び第2のセグメンタによって得られ、第1のセグメンタが形状プライア(shape-prior)ベースセグメンテーションアルゴリズムを実装し、第2のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第2のセグメンタが、第1のセグメンタと比較してより低い重みで1つ又は複数の形状プライアを考慮する、少なくとも1つの入力インターフェースと、
解剖学的異常の検出を促進するように、2つのセグメンテーションマップの間の差異を確認するように構成された差分器(differentiator)と
を備える、画像処理のためのシステムが提供される。
入力(医療)画像についての2つのセグメンテーションマップを受信するための少なくとも1つの入力インターフェースであって、2つのセグメンテーションマップが、それぞれのセグメンタである、第1のセグメンタ及び第2のセグメンタによって得られ、第1のセグメンタが形状プライア(shape-prior)ベースセグメンテーションアルゴリズムを実装し、第2のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第2のセグメンタが、第1のセグメンタと比較してより低い重みで1つ又は複数の形状プライアを考慮する、少なくとも1つの入力インターフェースと、
解剖学的異常の検出を促進するように、2つのセグメンテーションマップの間の差異を確認するように構成された差分器(differentiator)と
を備える、画像処理のためのシステムが提供される。
実施形態では、本システムは、前記差異の標示を出力するように構成された可視化器(visualizer)を備える。
実施形態では、可視化器は、標示及びi)入力画像及び/又はii)第1又は第2のセグメンテーションマップをディスプレイデバイス(DD)上で表示するためのものである。
実施形態では、前記標示は、前記差異の大きさを表すようにコード化される。前記差異の可視化は、本明細書では好ましいが、必ずしもすべての実施形態において必要とされるとは限らない。例えば、そのような異常が検出された場合に、通信システムを介してメッセージを送信させること、音を発生させること、ランプをアクティブ化すること、又は任意の他の警報信号を生じさせることで十分であり得る。差異は、患者に関する医療入力画像のとおり、そのような異常が存在すると結論付けるために、しきい値処理される。
実施形態では、第2のセグメンタは、機械学習モデルと、関係するアルゴリズムとに基づく。
実施形態では、機械学習アルゴリズムは人工ニューラルネットワークに基づくが、本明細書では、分類/セグメンテーションが可能な他の機械学習モデルも想定される。
実施形態では、2つのセグメンテーションマップ中のセグメンテーションは、i)骨組織、ii)がん組織のうちのいずれか1つ又は複数を表す。
本システムは、2つのセグメンテーションアルゴリズムの動作の仕方が異なることにより、例えば骨折を検出するために使用される。確認された差異は、したがって、骨折を示す。
本明細書で提案することは、2つの異なるセグメンテーションアルゴリズム、明示的に符号化された形状プライアを一方は用いるが、他方は用いないセグメンテーションアルゴリズムを適用すること、及び両方のアルゴリズムによって与えられるセグメンテーション結果を比較することによって解剖学的異常を検出することである。例えば、CT(コンピュータ断層撮影)における脊椎骨折の検出について考えると、実施形態では、モデルベースセグメンテーション(MBS)技法が適用される。MBSアルゴリズムは、形状プライアを組み込んだアルゴリズムの部類である。例えば、形状プライアは、視野中に見える椎骨についてセグメント化し、異なる椎骨のために使用される。さらに、純粋に(又は少なくとも大部分は)画像強度を考慮しており、形状プライアを符号化しないディープランニング(DL)ベースセグメンテーション技法が使用される。本明細書では、形状プライアを用いた及び用いない、2つの異なるセグメンテーションアルゴリズムの異なる動作モードを利用する。結果を比較することによって、いかなる骨折も容易に検出され得る。MBSタイプセグメンテーション技法など、形状プライアベースアルゴリズムは、形状プライアの位相的連結性を維持する結果を選好する傾向があるが、より一般的にはMLアルゴリズムにおいてなど、非形状プライアベース手法においてはそのような偏向はない。ML手法は第2のセグメンタのために好ましいが、これはすべての実施形態のための要件であるとは限らない。いくつかの実施形態では、そのような形状プライアは依然として第2のセグメンテーションアルゴリズムにおいて使用されるが、これは、画像内情報に対してより少ない重みが形状プライアに与えられるように構成されるべきである。
MBSタイプアルゴリズム又は本明細書で想定される他のアルゴリズムなど、形状プライアベースアルゴリズムは、メッシュモデルなど、仮想幾何モデルのセットを使用する。形状プライアは、セグメンテーション結果を計算するためにセグメンテーション動作中に変形される。形状プライアは形状プロトタイプを表す。形状プライアは、(セグメンテーションの前に生成された)参考刊行物に基づいて、例えば器官又は解剖学的構造の形状をモデル化する。形状プライアは位相的に連結される。それらは、メッシュモデルとして実装され、ライブラリ中に保持され、形状プライアを使用する第1のセグメンタによってアクセスされる。形状プライアは、解剖学的構造の臨床知識及びそれらの形状、及びそのような解剖学的構造が可能である変形など、形状プライア知識を符号化する。そのようなメッシュモデルは、例えば、たいていのML(機械学習)ベースセグメンテーションアルゴリズムでは、セグメンテーション結果を計算するために使用されない。セグメンテーション結果はセグメント化された画像である。セグメント化された画像は、元の画像と、画像要素を分類するセグメンテーションマップとを含む。実施形態では、セグメンテーション結果は元の画像なしのセグメンテーションマップを含む。セグメンテーションはバイナリ又はマルチラベルである。
実施形態では、入力画像は、i)X線画像、ii)エミッション画像、iii)磁気共鳴MR画像のいずれか1つである。超音波、又はエミッション/核撮像など、任意の他の撮像モダリティも使用される。
別の態様では、撮像装置と、上記実施形態のいずれかにおけるシステムとを備える撮像システムが提供される。
別の態様ではさらに、
入力画像についての2つのセグメンテーションマップを受信するステップであって、2つのセグメンテーションマップが、それぞれのセグメンタである、第1のセグメンタ及び第2のセグメンタによって得られ、第1のセグメンタが形状プライアベースセグメンテーションアルゴリズムを実装し、第2のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第2のセグメンタが、第1のセグメンタと比較してより低い重みで1つ又は複数の形状プライアを考慮する、入力画像についての2つのセグメンテーションマップを受信するステップと、
2つのセグメンテーションマップの間の差異を確認するステップと
を含む、画像処理方法が提供される。
入力画像についての2つのセグメンテーションマップを受信するステップであって、2つのセグメンテーションマップが、それぞれのセグメンタである、第1のセグメンタ及び第2のセグメンタによって得られ、第1のセグメンタが形状プライアベースセグメンテーションアルゴリズムを実装し、第2のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第2のセグメンタが、第1のセグメンタと比較してより低い重みで1つ又は複数の形状プライアを考慮する、入力画像についての2つのセグメンテーションマップを受信するステップと、
2つのセグメンテーションマップの間の差異を確認するステップと
を含む、画像処理方法が提供される。
別の態様では、機械学習モデルをトレーニングする方法が提供される。
別の態様では、命令を含むコンピュータプログラム要素であって、少なくとも1つの処理ユニットによって実行されているときに、処理ユニットに本方法を実行させるように適応された、コンピュータプログラム要素が提供される。
別の態様ではさらに、プログラム要素を記憶した、又は機械学習モデルを記憶した、少なくとも1つのコンピュータ可読媒体が提供される。
定義
「ユーザ」は、撮像装置を動作させるか又は撮像手順を監督する、医療従事者などの人を指す。言い換えれば、ユーザは一般に患者でない。
「ユーザ」は、撮像装置を動作させるか又は撮像手順を監督する、医療従事者などの人を指す。言い換えれば、ユーザは一般に患者でない。
「撮像」は、本明細書で使用する際、無生物の「物体」又は人間又は動物の患者、又はそれらの解剖学的部分、又は微生物、ウイルスなどの顕微鏡像など、生物学的に重要な像を指す。無生物の物体は、セキュリティ検査における手荷物の品物、又は非破壊試験における製品を含む。しかしながら、本明細書では、提案するシステムについて、主に医療分野に関して説明し、したがって、本明細書では、主に「患者」、又は解剖学的構造又は器官など、撮像されるべき患者の一部、又は患者の解剖学的構造又は器官のグループに言及する。
一般に、「機械学習」は、機械学習(「ML」)アルゴリズムを実装するコンピュータ化された構成を含む。機械学習アルゴリズムは、分類など、タスクを実行するためにトレーニングデータから学習するように構成される。いくつかの機械学習アルゴリズムはモデルベースである。モデルベースMLアルゴリズムは、機械学習モデルのパラメータを調整するように動作する。この調整手順は「トレーニング」と呼ばれる。モデルは、したがって、タスクを実行するようにトレーニングによって構成される。MLアルゴリズムはまた、インスタンスベース学習を含む。MLアルゴリズムによるタスクパフォーマンスは測定可能に改善し、より多くの(新しい)トレーニングデータがトレーニング中に使用される。パフォーマンスは、システムにテストデータを供給するときに客観テストによって測定される。パフォーマンスは、所与のテストデータについて達成されるべき一定のエラーレートに関して定義される。例えば、T.M.Mitchell、「Machine Learning」、2頁、セクション1.1、McGraw-Hill、1997年を参照されたい。
次に、別段記載されていない限り原寸に比例しない以下の図面を参照しながら、本発明の例示的な実施形態について説明する。
図1を参照すると、コンピュータ支援撮像システムARが示されている。
構成ARは、実施形態では、像を供給するための撮像装置IAと、前記像を処理するための画像処理システムIPSとを備える。
極めて手短には、イメージエンハンスメントプロセッサIPSは、医学的異常についての医学的診断を促進するためのセグメンテーション機能を含む。骨折の画像ベース検出は、本明細書で想定する1つの適用例である。本明細書では、他の医学的適用だけでなく、非破壊材料試験など、医療分野以外の適用も想定する。特に、以下でより十分に考察するように、本システムは、ストレス又は骨粗しょう症によるヘアライン骨折、乳がんなどの早期がんなど、微細な構造細部の検出能力をも高めるために、2チャネルセグメンテーションを使用する。セグメンテーションのための提案する画像処理システムの他の適用は放射線治療計画における器官の輪郭設定(contouring)を含む。
(本明細書では単に「イメージャ」と呼ぶことがある)撮像装置IAは、本明細書では、好ましくは医療目的のために想定され、患者PAT又は関心ある他の対象物の1つ又は複数の画像を収集するように動作可能である。撮像装置は、医療施設の診察室中にセットアップされるなど、固定されるか、又はモバイル/ポータブルである。
広くは、撮像装置は、照会信号XBを生成するための信号源SSを備える。照会信号XBは、患者PAT中の組織と相互作用し、それによって修正される(すなわち、減衰させられるか、リダイレクトされるか、又はさもなければ測定可能な結果を生じる)。修正された信号は、次いで、信号検出ユニットDTによって検出される。強度値など、検出された信号は検出器投影生データ又は投影像を形成する。投影像は、再構成された像Iを生成するために再構成モジュールRECONによってさらに処理される。
本明細書で想定するイメージャIAは構造撮像又は機能撮像のために構成される。本明細書では、透過撮像及びエミッション撮像、又は超音波(US)撮像などの他の撮像など、様々な撮像モダリティを想定する。例えば、X線ベース撮像など、透過撮像では、信号源SSはX線管であり、照会信号は、管SSによって生成されるX線ビームXBである。この実施形態では、修正されたX線ビームは検出ユニットDTのX線感受性ピクセルに入射する。X線感受性検出器DTは、入射する放射線を強度値の分布として登録する。登録された強度値は投影画像λを形成する。X線投影画像λは、X線ラジオグラフィにおいてなど、それら自体で有用であることがあるが、その場合、再構成モジュールRECONによってCT撮像における断面画像に変換される。特に、再構成モジュールRECONは、フィルタ処理された逆投影アルゴリズム又は他のアルゴリズムなど、再構成アルゴリズムを投影像に適用する。断面画像は3D空間中に2D画像を形成する。CTでは、3D画像ボリュームを得るために、投影画像の異なるセットから複数のそのような断面画像が再構成される。
MRIイメージャでは、検出ユニットは、投影像を表す無線周波数信号をピックアップすることが可能であるコイルから形成され、無線周波数信号からMRI再構成アルゴリズムによってMRI断面画像が再構成される。
CT又はラジオグラフィにおけるX線像は患者の解剖学的構造の構造細部を表し、MRIも同様である。
PET又はSPECTなど、エミッション撮像では、信号源SSは、前に投与された放射性トレーサ物質の形態で患者の体内に常駐する。トレーサ物質によって引き起こされる核事象は、その場合、患者の周りに構成されたPET/SPECT検出器DTにおいて投影画像として登録される。その場合、代謝過程など、患者の体内のプロセスの機能細部を表す再構成されたPET/SPECT像を得るために、PET/SPECT再構成アルゴリズムが適用される。
撮像装置IAはオペレータコンソールCCからオペレータによって制御される。オペレータは、いくつかの撮像パラメータIPを設定することができるか、又は投影データ収集を開始又は停止することができる。
特に明記されていない限り、以下において、再構成された画像か投影画像かの区別はせず、どちらも単に、イメージエンハンスメントプロセッサシステムIPSによって処理されるべき「入力画像」又は「像」Iと呼ぶことにする。言い換えれば、画像処理システムIPSは、投影ドメインからの像に対して動作するように構成されるか、又は撮像ドメイン中で再構成された像に対して作用し得る。上記で説明したことに一致して、入力画像は、ロケーション(i、j)にピクセル値をもつ2Dであるか、又は編成されたロケーション(i、j、k)にボクセル値をもつ3Dである。したがって、入力画像Iは、2D又は3D行列など、2D又は3Dデータ構造に編成される。ピクセル値/ボクセル値は、X線では、減衰値、位相コントラスト値、暗視野信号など、関心ある量を表す。スペクトル撮像を用いたX線も想定する。MRIなどの他のモダリティでは、値は、RF周波数信号の強度、又はエミッション撮像と同様にガンマ光子数レートなどを表す。
装置IAによって生成された入力像Iは、例えばワイヤード又はワイヤレス通信手段によって、それのインターフェースINにおいて撮像プロセッサIPSにおいて受信される。像Iは撮像装置IAから直接受信されるか、又は、画像リポジトリIRP、又は像が最初に記憶されるバッファなど、メモリから取り出される。
画像プロセッサIPSは、1つ又は複数の汎用計算ユニット上で又は1つ又は複数の専用計算ユニット上で動作する。(少なくとも1つの)計算ユニットPUは撮像装置IAに又は撮像リポジトリIRPに通信可能に結合される。他の実施形態では、画像プロセッサIPは撮像装置IAに一体化される。撮像プロセッサIPは、ハードウェア又はソフトウェアにおいて、又は両方の組合せにおいて構成される。ハードウェア実装は、マイクロプロセッサ、FGPA又は他の汎用回路など、好適にプログラムされた回路を含む。本明細書では、ASICS又はオンチップシステムなど、ハードコード化された回路も想定する。GPU(グラフィカル処理ユニット)など、専用プロセッサも使用される。
次に、引き続き図1を参照しながら動作をより詳細に参照すると、コンピュータ実装画像処理システムIPSは、撮像装置IAによって与えられるか、又は例えば医療画像リポジトリIRPから取り出された像Iをセグメント化するためのセグメンテーション機能を含む。
広くは、セグメンテーションは、ピクセル又はボクセルレベルに従って画像をラベルに分類するタスクである。代替的に、分類は、外形又は表面など、全体としてより大きい画像領域に従う。ラベルは、それぞれのピクセル、ボクセル又は画像領域のセマンティクスを表す。このようにして、分類動作において、例えば骨ピクセル、すなわち、「骨」というラベルを有するピクセルを識別することができる。ピクセルは、その場合、他の組織タイプについての骨組織などを表すと考えられる。したがって、像中の器官のフットプリントをセグメンテーションによって識別することができる。
セグメント化された画像は、各ピクセル、ボクセル又は画像領域について、それぞれのラベルを空間的に示すセグメンテーションマップからなる。そのようなセグメンテーションマップのうちの1つ又は複数は、したがって、画像によってキャプチャされた視界中の異なる組織タイプをユーザに示す。標示はバイナリである(「骨である」/「骨でない」)が、本明細書では複数の器官/組織へのマルチラベルセグメンテーションも想定する。セグメンテーションは診断を助けることができる。本明細書で想定し、セグメンテーション機能によってサポート可能である医学的適用は、がん組織又は外傷など、医学的異常について像を検査することを含む。本明細書で特に想定する適用は、骨折について像を検査することである。ヘアライン骨折など、いくつかの骨折は、支援なしに見つけることが難しい。そのような骨折が認識されず、放置された場合、これは、将来医学的に厄介な問題につながり得る。提案するセグメンテーション機能は、特に、医療用像において、医学的異常、特に骨折についての証拠になり得る微細構造さえを確認するように調整される。
この向上した解像能力は、部分的に、セグメンテーション機能が2チャネルタイプで構成されていることから生じる。特に、セグメント化されるべき入力像Iは、異なるセグメンテーションアルゴリズムによって2つの方法又は「チャネル」において処理される。より詳細には、画像処理システムは、それぞれ、異なるそれぞれのセグメンテーションアルゴリズムによって実装されるか、又は少なくとも異なって構成される2つのセグメンテーションモジュールSEG1、SEG2を備える。各々は、セグメント化された画像、特に入力画像Iに関連するセグメンテーションマップを計算するために、入力画像Iに対して異なって動作する。それぞれのセグメンテーションマップは、SEG1、SEG2による何らかのセグメンテーション動作の主な結果である。セグメンテーションマップは、各1つの要素(ピクセル、ボクセル又は領域)が解剖学的構造、解剖学的構造のグループ、組織タイプなど関心ある対象物を表す値をそれぞれの要素に割り当てる機能である。骨は、本明細書での1つの例であるが、がん組織、脳組織なども本明細書で想定する。前記値は確率値である。特殊なケースとして、セグメンテーションマップは、「1」/「0」エントリをもつバイナリマップであり得る。セグメンテーションマップは、セグメント化されるべき画像をもつ空間レジストリにおける行列など、データ構造として表され、各エントリは、確率推定値など、正規化された値である。いくつかの実施形態において本明細書で想定するように、セグメンテーションモジュールSEG1のうちの1つは、モデルベースセグメンテーション(「MBS」)タイプアルゴリズムに基づいて動作するように構成される。MBSアルゴリズムは、IEEE Trans.Med.Imaging,vol 27(9),1189~11201頁(2008)で公開された、O.Ecabertらによる「Automatic model-based segmentation of the heart in CT images」においてなど、他の場所で報告されている。MBSタイプアルゴリズムは、MBSアルゴリズムが、セグメンテーションを行うか又は促進するために像に適合することを試みる、1つ又は複数のプロトタイプ形状プライアを使用することによって働く。しかしながら、MBSタイプアルゴリズムは、形状プライアベースセグメンタSEG1のための本明細書で想定する唯一のアルゴリズムではない。本明細書では、形状プライアを組み込んだ他のセグメンテーションアルゴリズム、例えば、像上の形状プライアを登録するアトラスベースセグメンテーション手法も想定する。本明細書では、形状プライアの形態の形状プライア知識を組み込んだいくつかの機械学習手法も想定する。
形状プライアは仮想幾何学的形状モデルである。1つ又は複数の形状プライアが使用される。形状プライアはコンピュータメモリに記憶される。形状プライアはメッシュモデルとして実装される。メッシュモデルは、例えば多角形など、縁部と頂点とを隣り合うメッシュ要素と共有する、相互接続されたメッシュ要素から構成される。メッシュモデルは、マトリックス構造又はポインタ構造など、好適なデータ構造においてメモリに記憶され得る。形状プライアは、医療像に記録される、予想される構造の形状の近似を表し、したがってプライア医学知識によって通知される。形状プライアは、3Dの場合の球、円柱、ピラミッド、楕円体など、理想的なプロトタイプ形状である。ラジオグラフィにおいてなど、2D像を処理するために、2D形状プライアが使用される。しかしながら、医療像に記録される実際の構造は、一般に、そのような理想形状を有しないが、形状プライアの変形又は摂動したインスタンスとして理解される。代替的に、理想化された幾何プリミティブとして形状プライアを使用する代わりに、本明細書では、好ましい実施形態において、母集団の平均測定値に基づく「統計的」形状プライアも想定する。そのような統計的形状プライアは以下のようにして得られる。患者の参照コホート(reference cohort)の像を収集する。像は、例えば、場合によっては半自動セグメンテーションツールによって支援される、専門家によって注釈を付けられる。像は、したがって、例えば心臓注釈を含む。形状プライアは、コホートに対する平均心臓形状として生成される。このようにして、統計的形状プライア、すなわち、参照コホートに対する、例えば、心臓のような、平均幾何学的外観を表す平均モデルが得られる。
形状プライアベースセグメンタSEG1の動作中、1つ又は複数のそのような形状プライアが、入力画像I中の画像構造に適応するように幾何学的に変形させられて、そのようにしてセグメンテーションを行うか、又は少なくともそのようなセグメンテーションを促進する。適合させられた形状モデルSの内側に又はそれの表面上に位置する画像要素(より大きい画像領域のボクセル、ピクセル)は、関心あるセグメント化された対象物(組織タイプ、器官、又は器官のグループ)を表すと考えられるが、適合させられた形状の外側の画像要素はそうでない。したがって、形状プライアベースセグメンテーションの表面ベース表現は、バイナリマップなど、バイナリセグメンテーション結果に変換され得る。形状プライア変形に加えて、以下でより詳細に説明するように、MBSアルゴリズムなど、何らかの形状プライアアルゴリズムによって、他の要因が考慮に入れられる。
それとは際立って対照的に、いくつかの実施形態では、他のセグメンタモジュールSEG2によって実装されるセグメンテーションアルゴリズムはそのような形状プライアを使用しない。特に、第2のセグメンタモジュールSEG2は、そのような形状プライアを変形することに対して動作しない。SEG1によって実装される形状プライアベースアルゴリズムは、セグメンテーションを行うためにそれらを変形するときに、形状プライアのそれらのライブラリを選好する自然な傾向を有する。したがって、形状プライアによって実施される想定するプロトタイプ的な形状への固有の偏向がある。1つ又は複数の形状プライアから変形によって導出可能であるセグメンテーション結果のみが、セグメンタSEG1による出力として生成可能である。特に、実際的な/予想される解剖学的形状変形のみを可能にするために形状プライアからの大きい偏差が抑制される。例えば、位相的に連結された結果につながらない変形はセグメンタSEG1によって想定されない。
一般に、第2のセグメンタSEG2によって実装されるそのような非形状プライアベースアルゴリズムの場合、そのような偏向はない。好ましくは、本明細書で想定するように、第2のセグメンテーションモデルSEG2は、前のトレーニングデータに基づいて好適に事前調整される、機械学習モデルを使用する機械学習ベースセグメンタとして実装される。本明細書で想定する非排他的な例としては人工ニューラルネットワークタイプ機械学習モデルがある。本明細書では、サポートベクターマシン(SVM)など、他のモデル、又は分類タスクが可能な他の機械学習モデルも想定する。例えば、第2のセグメンタSEG2のいくつかの実施形態において本明細書で想定する人工ニューラルネットワーク(NN)では、セグメンテーションを達成するために像に明示的に適応された事前に想到された形状プライアモデルはない。ニューラルネットワークモデル自体は、完全にジェネリックであり、したがって、最初から特定の形状モデルタイプに有利でない。むしろ、それは、コスト関数を改善するためにトレーニングデータセットに基づいて、通常、トレーニング中に調整される、以下でより詳細に説明するように重みと呼ばれることがある、機械学習モデルの任意の初期化されたパラメータの初期セットの全体である。パラメータ調整は、例えば逆伝搬アルゴリズム又は他の勾配ベースアルゴリズムなど、最適化アルゴリズム、又はさらに他のアルゴリズムによって誘導され、反復的に行われる。また、セグメンタSEG1のモデルベースセグメンテーションアルゴリズムがそのようなトレーニングデータに基づかないことに注目すべきである。
セグメント化された像中で骨折又はがん組織などいくつかの異常を識別するために、本明細書では、2つのモジュールSEG1、SEG2によって管理される2つのセグメンテーションアルゴリズムの異なる動作モードを利用する。
基本的な動作モードが図2に示されている。図2A及び図2BはそれぞれのセグメンテーションアルゴリズムSEG1、SEG2のセグメンテーション結果を示す。より詳細には、図2A及び図2Bは骨折した脊椎骨のセグメンテーションを示す。図2Aには、セグメンタSEG1によって使用される形状プライアを用いたセグメンテーションからのセグメンテーション結果が示されており、対して、図2Bには、セグメンタSEG2による形状プライアなしのセグメンテーションが示されている。わかるように、セグメンタSEG1は、使用された非骨折椎骨形状プライアによるセグメンテーション結果中の異常(骨折したエリア)を含む。セグメンタSEG2は、そのような形状プライアを使用せず、したがって、すべての骨構成要素を椎骨としてラベル付けするが、骨折した構成要素の間に残された空間Δ中で識別可能な軟組織は除外する。したがって、2つのセグメンタSEG1、SEG2によって生成されたセグメンテーション結果の間の差異は骨折した領域の検出を可能にする。
機械学習アルゴリズムなど、非MBSアルゴリズムは特定の形状プライア及びそれらの変形変形態に偏らず、そのような偏向は、したがって、図2Bに示されているように、非MBSアルゴリズムが、所与の構造を位相的に切断された領域にセグメント化することを防ぐことができない。
図2Aにおけるようなモデルベースセグメンテーションは、しかしながら、位相的に連結されないセグメンテーションを可能にしない。MBSは、それらの形状に向かう固有の偏向による、それの形状プライアの完全性を維持する。図2Bとは反対に、図2AのMBSベースセグメンテーションではギャップ又は不連続は出現しない。
別の言い方をすると、例えば図2Bに示されているように、非モデルベースセグメンテーション/セグメンタSEG2は、強度値など、処理された像中の画像構造によって純粋に誘導される。対照的に、図2Aにおけるモデルベースセグメンテーションアルゴリズム/セグメンタSEG1は、画像値を考慮しないか、又は画像値を考慮するだけでなく、事前定義された形状プライアのそれのライブラリに適合しようと試みる。より詳細には、さらに、モデルベースセグメンテーションでは、可能にされた変形は連続的に作用し、したがって位相的に切断された結果を除外するように構成されるか、又は少なくともそれらは不連続性であったか、又はギャップが出現する。MBSタイプアルゴリズムでは、位相的に連結された形状プライアから開始して、得られたセグメンテーションは、変形しているが、図2Aにおけるように位相的に連結されたままである。図2Bの例におけるようなギャップΔをもつ切断されたセグメンテーションが、セグメンテーションモジュールSEG1によって使用される純モデルベース手法を用いて行われる可能性はまったくない。そうは言っても、代替として、第2のセグメンテーションアルゴリズムSEG2が形状プライアをまったく含まないことは、必ずしも事実であるとは限らない。むしろ、この場合、第2のセグメンテーションアルゴリズムは、以下で詳述するように、それの形状プライアにではなく、画像中に記録された画像構造又は画像値に、より高い重みを与えるように構成される。
最初に、形状プライアベースセグメンテーションの一実施形態としてMBSタイプアルゴリズムをより詳細に見ると、いくつかのそのような手法は外部及び内部エネルギーの概念を使用する。セグメンテーションは、目的関数を最適化することに関して公式化される。目的関数Fは、1つは内部エネルギーEintについての、1つは外部エネルギーEextについての、少なくとも2つの項を含む。内部/外部エネルギーは弾性理論から本目的のために概念化されている。変形Dは、形状プライアの固有の弾性によりコストを招くと仮定される。形状プライアの弾性がより低いと仮定されるほど、コストは高くなる。これはアプリオリに知られていると仮定されるので、弾性は、セグメント化されるべき器官/組織の材料又は解剖学的性質と相関する。
内部エネルギー項Eintは、形状プライアがどのように変形されるべきかを表すが、第2の項Eextは、それ自体画像データの処理を表す。内部エネルギー項は、モデルが画像をどのように変形することができるかを調整するが、現実的な範囲内でのみである。外部エネルギーはモデルを画像内データのほうに「引く」。総コストFへの2つの項の各々の寄与はいくつかの重みパラメータα、β≧0によって制御され得る。
ここで、θは候補セグメンテーションであり、Iは入力画像であり、Dは、形状プライアSに作用する変形である。目的は、最終的な最良のセグメンテーションθ*を見つけるためにセグメンテーションθにわたってFを最小にすることである。これは、Fが極小又は最小であるセグメンテーションθ*か、又はFが事前定義された品質しきい値を下回るセグメンテーションθ*であり得る。停止条件が満たされるまで、又はユーザが反復を中止することを決定するまで、段階的にFの勾配に沿ってθを反復的に調整するために、勾配ベース手法が使用される。(1)は最小化目的として公式化されるが、(1)がユーティリティ関数Fの最大化として公式化され得る、それに対する二重も想定する。制御重みα、βの間の比は形状プライア適合対画像内情報の総コストFへの相対的寄与率を決定する。
実施形態では、第2のセグメンテーションアルゴリズムSEG2は必ずしも機械学習タイプであるとは限らないことを想定する。それは、依然としてMBSタイプであり得、したがって、内部/外部エネルギーの上記で説明した概念を使用するが、形状プライア変形項Eintの重みαよりも高い重みβを画像内情報項Eextに添付する。形状プライアベースセグメンテーションアルゴリズムは対照的な様式で構成される。すなわち、それは、画像情報項Eextのための重みβと比較してより高い重みαを形状プライア変形項Eintのために使用する。特に、両方のセグメンテーションアルゴリズムSEG1、SEG2がMBSを使用する場合、内部エネルギーのための重みαはセグメンテーションアルゴリズムSEG2よりもセグメンテーションアルゴリズムSEG1のほうが高い。
好ましくは、しかしながら、SEG2は、形式(1)ではまったくなく、代わりに、形状プライアなしのトレーニングされた機械学習モデルMに基づくが、SEG1は、コスト関数(1)を改善するように構成されたMBSタイプアルゴリズムを実装する。SEG1はEext項をまったく有しない(β=0)。代替的に、β>0であるが、α>βであり、特に、例えばα/β>2など、α>>βである。しかしこの場合も、MBSタイプアルゴリズム(1)は形状プライアベースアルゴリズムの一実施形態にすぎず、アトラスベース又は他のアルゴリズムなど、セグメンタSEG1のための任意の他の形状プライアベースアルゴリズムも想定する。
次に、引き続き図1を参照しながら、2チャネルセグメンテーション機能をもつ画像処理システムIPSの動作についてより詳細に説明する。入力ポートINにおいて、入力画像Iが受信される。入力画像Iは、それぞれの異なるセグメンテーション結果I1及びI2を生成するために2つのセグメンテーションアルゴリズムSEG1、SEG2によって処理される。結果は、特に(1つ又は複数の)それぞれのセグメンテーションマップを含む。
互いにネイティブに空間的に位置合わせされた2つのセグメンテーション結果I1、I2は、次いで、骨折などの解剖学的異常などの医学的異常の標示を生成するために比較される。より詳細に、実施形態では、差分画像/マップを生成するために、2つのセグメンテーションマップI2及びI1、又はセグメント化された画像の点ごとの減算を実行する差分器DIFが使用される。そのような差分画像/マップの例については上記で図2Cにおいて説明した。
差分画像中のどの画像要素が2つのセグメンテーション結果の間の関連がある偏差を表すかを確立するために、固定された又はユーザ定義されたしきい値が使用される。前記差分がこのしきい値を超える画像要素は、このようにして形成され得るインジケータ領域の一部であると考えられる。各画像要素について、そのようなセグメンテーション結果偏差があるか否かを示す異常ロケータマップが、このようにしてコンパイルされ得る。そのような偏差を表すすべての画像要素の収集を本明細書では偏差セットDSと呼ぶことがある。偏差セットDSは、したがって、骨折など、求められている解剖学的異常を示す。
偏差セットは、可視化器VIZによって処理されて、入力画像又は2つのセグメンテーションI1、I2のうちのいずれか1つと一緒にオーバーレイされて表示され得るカラー又はグレー値コード化されたオーバーレイウィジェットにされる。カラー又はグレー値は偏差セット全体にわたって大きさとともに変動する。
像/マップI1、I2、DSのいくつか又はすべては、重ね合わせられて表示されるか、又は、例えばディスプレイデバイスDD上の異なる画像平面内に同時に表示される。より詳細には、コンピュータ支援読取りのための随意の可視化補助の実施形態では、出力セグメンテーションI1、I2の間の顕著な偏差SDの領域は、画像のカラー又はグレー値コード化されたオーバーレイを使用して表示され得る。適用可能な場合、カラー/グレー値コード化されたオーバーレイは、カラー又はグレー値がセグメンテーション間の偏差の大きさとともに変動する。例えば、これは、ニューラルネットワーク(例えば畳み込みニューラルネットワークCNN)のボクセル/ピクセルレベル確率応答と、MBSセグメンテーションなど、形状プライアベースセグメンタSEG1によって与えられる分類結果との間の差異を示す。
2チャネルセグメンテーションは、したがって、健康な器官形状からの偏差を示すために異常検出を促進することができる。提案するシステムIPSは、医療画像に基づいて解剖学的異常を検出するために使用され得る。例えば、CT画像又はラジオグラフィ画像の場合、システムIPSは、外傷に起因する骨折の検出を可能にする。2つのマップ間の差異を可視化する代わりに、又は2つのマップ間の差異を可視化することに加えて、例えば前記差異値をしきい値処理することに基づいて、警報信号又は警報メッセージが生成される。
次に、画像処理の方法のフローチャートを示す図3を参照する。特に、説明するステップは、上記で説明した2チャネルセグメンテーションに関するが、以下のステップは、必ずしも上記で説明したアーキテクチャに結び付けられるとは限らず、それ自体で教示として理解され得ることが理解されよう。
ステップS310a及びS310bにおいて、X線画像など、入力画像Iが、2つの異なるセグメンテーションアルゴリズムによって、又は同じセグメンテーションアルゴリズムの少なくとも2つの異なって構成されたバージョンによって処理される。
好ましくは、ステップS310aにおいて、セグメンテーションを計算するために形状プライアを使用するアルゴリズムに基づいて入力画像Iが処理されて、(図3にI1として示されている)セグメント化された画像I1にされる。モデルベースセグメンテーションタイプアルゴリズムは、実施形態において本明細書で想定する1つの例である。
ステップS310bにおいて、入力画像Iは、(図3においてI2として示されている)セグメンテーション出力I2を生成するために、形状プライアモデルにまったく基づかないセグメンテーションアルゴリズムによって処理される。実施形態では、少なくとも、明示的な形状プライアは使用されない。
好ましくは、ステップS310bは、トレーニングデータ上で事前トレーニングされる形状プライアなしに機械学習モデルによって実施される。代替的に、式(1)に関して上記で説明したように、ステップS310bにおけるセグメンテーションアルゴリズムは、モデルベースアルゴリズムでもあるが、画像内構造からの寄与を差し引いた少ない形状プライア適応からの寄与を計量するように構成される。
ステップS310a及びS310bの順序は重要でない。
ステップS320において、2つのセグメンテーション結果I1、I2が受信され、ステップS330に渡され、そこで2つの画像が比較される。特に、偏差マップ又は差分画像Δを生成するために、2つのセグメンテーション結果/画像I1、I2の間の点ごとの差異が形成される。
ステップS340において、例えば、差分画像/マップΔ中に符号化された差異値をプリセットされた有意性しきい値と比較することによって、差分画像が分析される。
差異値が所与のしきい値を超える画像ロケーションは偏差セットの一部であると考えられる。差異集合はカラーコード化され得るか、又は別段処理され得る。
ステップS350において、場合によっては処理されたカラー又はグレー値で符号化された偏差セットが表示される。これは、セグメント化された入力画像I1、I2のうちの1つと併せて偏差セットをオーバーレイとして表示することを含む。加えて又は代わりに、偏差セットは、元の入力画像I上のオーバーレイなど、元の入力画像と組み合わせて表示される。本明細書では、像I1、I2、Iのいずれか1つ又は複数をもつ偏差セットをディスプレイデバイスDD上のグラフィックスディスプレイの異なるペイン中に任意の組合せで同時に表示するなど、他の表示オプションも考えられる。そのような表示に加えて、又はそのような表示の代わりに、医学的異常が検出されたことをユーザに通知するために警報信号又はメッセージを生成するために、しきい値処理された差分マップΔが使用される。
次に、第2の非形状プライアベースセグメンテーションアルゴリズムSEG2の機械ベース実装の一実施形態を示す図4を参照する。図4は、人工ニューラルネットワークタイプの機械学習モデルMの概略ブロック図を示す。特に、実施形態では、非全結合レイヤ(non-fully connected layer)である1つ又は複数のレイヤを含む、少なくとも部分的に畳み込みニューラルネットワークタイプ(「CNN」)が使用される。図4におけるニューラルネットワークMはフィードフォワードタイプのものであるが、本明細書ではリカレントアーキテクチャを除外しない。
モデルMは、図5において以下でより十分に説明するコンピュータ化されたトレーニングシステムTSによってトレーニングされる。トレーニングにおいて、トレーニングシステムTSはモデルMの(モデル)パラメータθの初期セットを適応させる。ニューラルネットワークモデルのコンテキストにおいて、パラメータを本明細書ではネットワーク重みと呼ぶことがある(これらの重みは上記(1)における重みα、βに関係しない)。トレーニングデータは、シミュレーションによって生成されるか、又は、図5に関して以下でより詳細に説明するように、PACS(ピクチャアーカイビング及び通信システム)又は類似のものなどの医療画像データベースにおいて見つけられるような既存の履歴像又は他のデータから得られる。
したがって、2つの処理フェーズ、すなわち、トレーニングフェーズ及び展開(又は推論)フェーズが機械学習モデルNNに関して定義される。トレーニングフェーズでは、展開フェーズより前に、モデルは、トレーニングデータに基づいてモデルのパラメータを適応させることによってトレーニングされる。トレーニングされると、モデルは、例えば毎日の臨床業務において遭遇する新しい像をセグメント化するために、展開フェーズにおいて使用される。トレーニングは、単発動作であるか、又は、新しいトレーニングデータが利用可能になると繰り返される。
機械学習モデルMは1つの(又は複数の)コンピュータメモリMEM’に記憶される。事前トレーニングされたモデルMは、デスクトップコンピュータ、ワークステーション、ラップトップなど、又は分散コンピューティングアーキテクチャにおける複数のそのようなデバイスなど、計算デバイスPU上で実行される機械学習構成要素として展開される。好ましくは、良好なスループットを達成するために、計算デバイスPUは、マルチコア設計のプロセッサなど、並列計算をサポートする1つ又は複数のプロセッサ(CPU)を含む。一実施形態では、GPU(グラフィカル処理ユニット)が使用される。
次に、より詳細に図4を参照すると、ネットワークMは、データフローが左から右に、したがってレイヤからレイヤに進む、カスケード様式でレイヤ中に構成された複数の計算ノードを備える。本明細書では、リカレントネットワークを除外しない。畳み込みネットワークは、画像データを処理するときに良好な結果をもたらすことが分かっている。
展開では、セグメント化されるべき入力画像Iなど、入力データは、入力レイヤILに適用され、随意にコンテキスト非画像データCXDで補完される。コンテキスト非画像データCXDは画像データIを記述するか、又は画像データIに関する。コンテキスト非画像データCXDは、画像I中に画像化された患者の生物学的特性か、又は、入力画像を収集するために使用された撮像パラメータIpを含む。入力データIは、次いで、隠れレイヤL1-LN(2つのみが示されているが、1つのみ又は3以上であり得る)のシーケンスを通って伝搬して、次いで、推定出力M(I)として出力レイヤOLにおいて出現する。上記で説明した実施形態によれば、出力M(x)は、セグメント化された画像I’であるか、又は少なくとも関係するセグメンテーションマップである。
モデルネットワークMは2つ以上の隠れレイヤを有するので、モデルネットワークMは深いアーキテクチャを有すると言われることがある。フィードフォワードネットワークでは、「深さ」は、入力レイヤILと出力レイヤOLとの間の隠れレイヤの数であるが、リカレントネットワークでは、深さは隠れレイヤの数×パスの数である。
ネットワークのレイヤ、及び、実際、入力像及び出力像、及び(本明細書で特徴マップと呼ぶ)隠れレイヤ間の入力及び出力は、計算及びメモリ割当ての効率のために2次元又はより高次元の行列(「テンソル」)として表され得る。次元及びエントリの数は上述のサイズを表す。
好ましくは、隠れレイヤL1-LNは、畳み込み演算子CVを使用する畳み込みレイヤのシーケンスを含む。畳み込みレイヤの数は、2つ~5つ、又は任意の他の数など、少なくとも1つである。ある隠れLmレイヤ及び入力レイヤILは1つ又は複数の畳み込み演算子CVを実装する。各レイヤLmは同数の畳み込み演算子CVを実装するか、又は、数はいくつかの又はすべてのレイヤについて異なる。随意に、ゼロパディングPが使用される。
実施形態では、畳み込みレイヤのシーケンスの下流に、分類結果、すなわち、セグメント化された画像I’又はセグメンテーションマップを生成するために、1つ又は複数の全結合レイヤ(fully connected layer)FC(1つのみが示されている)がある。
各レイヤLiは、前のレイヤからの入力特徴マップを処理して、ロジット(logit)と呼ばれることがある中間出力にする。例えば加算によって随意のバイアス項が適用される。アクティブ化レイヤは、ロジットを非線形様式で処理して次世代特徴マップにし、次世代特徴マップは、次いで出力され、次のレイヤに入力として渡され、以下同様である。アクティブ化レイヤは、示されているように整流線形ユニットRELUとして、又はソフトマックス関数、シグモイド関数、双曲関数、又は任意の他の好適な非線形関数として実装される。随意に、よりロバストな学習を促進するためのプーリングレイヤ又はドロップアウトレイヤなど他の関数レイヤがある。プーリングレイヤは出力の次元を低減するが、ドロップアウトレイヤは、異なるレイヤからのノード間の接続を切断する。
畳み込みレイヤL1-Nは、畳み込みレイヤの出力特徴マップ中のエントリがそのレイヤの入力として受信されたすべてのノードの組合せでないという点で、全結合レイヤFCと区別される。言い換えれば、畳み込みカーネルは、前の畳み込みレイヤから受信される特徴マップへの入力画像のサブセットのみに適用される。サブセットは出力特徴マップ中の各エントリについて異なる。畳み込み演算子の演算は、したがって、典型的な信号処理から知られている典型的な畳み込み演算における離散フィルタカーネルに似た、入力上の「スライディング」として概念化され得る。ゆえに、「畳み込みレイヤ」と呼ばれる。全結合レイヤFCでは、出力ノードは、一般に、前のレイヤのすべてのノードを処理することによって得られる。
実施形態では、出力レイヤOLは、クラスごとの分類確率を表すために前のレイヤからの特徴マップが組み合わせられて正規化されたカウントにされる、ソフトマックス関数レイヤとして、又は同様の計算ノードとしてなど、コンバイナレイヤとして構成される。ネットワークMによって与えられる分類結果は、例えば、ただ1つの器官タイプが重要である場合、2つのラベルへのバイナリ分類を含む。多器官/組織分類では、出力レイヤOLによってマルチラベル分類結果が与えられる。
画像データIに加えて、患者の生物学的特性、又は他の非画像コンテキストデータCXDが共同処理されるべきである場合、非画像コンテキストデータCXDには、画像データと一緒に効率的に処理するために望ましくないことがあるスパースな表現という問題があるので、これを最初に好適な表現又は符号化に変換する必要がある。非画像コンテキストデータCXDをより好適でより密な表現に変換するためにオートエンコーダネットワークによるワンホット符号化及び処理が使用され、その表現は、次いで、モデルMによって画像データと一緒に処理される。
図4において上記で説明したモデルMは、単に一実施形態によるものであり、本開示を限定しないことが理解されよう。本明細書では、本明細書で説明するよりも多い又は少ない又は異なる機能をもつ他のニューラルネットワークアーキテクチャも想定する。GAN(敵対的生成ネットワーク(generative adversarial network))など、マルチモードネットワークが、2014年6月に提出された「Generative Adversarial Networks」、arXiv:1406.2661においてI.Goodfellowらによって報告された。さらには、本明細書で想定するモデルMは、サポートベクターマシン、デシジョンツリー、ランダムフォレストなど、必ずしもニューラルネットワークタイプであるとは限らない。本明細書では、他のモデルベース又はインスタンスベースML技法も想定する。モデルベース手法は、図4におけるNNのように識別(discriminative)タイプであるか、又は生成(generative)タイプである。セグメンテーションのためのインスタンスベース手法は、例えばk-NN(「最近傍(nearest neighbor)」)手法を含む。本明細書では、代替実施形態において、トレーニングデータからのサンプリングに基づく典型的な統計的分類方法も想定する。さらに他の技法は、ベイジアンネットワーク、又はマルコフタイプ確率場などの確率場(random field)などを含む。
図5は、形状プライアに基づかない第2のセグメンテーションモジュールとして使用するための機械学習モデルをトレーニングするためのトレーニングシステムを示す。NNタイプモデルMなど、上記で説明した例示的なモデルベース手法では、すべての畳み込みフィルタカーネル、全結合レイヤ、出力レイヤなどについての重みの合計は、機械学習モデルの構成を定義する。重みはレイヤごとに異なる。特に、トレーニングフェーズにおいて学習されるのはこれらの重みである。トレーニングフェーズが終わると、十分に学習された重みは、ノードが構成されたアーキテクチャと一緒に、1つ又は複数のデータメモリMEM’に記憶され得、展開のために使用され得る。
次に、ニューラルネットワークタイプモデルなど、モデルベースMLアルゴリズムにおけるパラメータをトレーニングするためのトレーニングシステムTS、又は非ニューラルネットワークタイプMLモデルをトレーニングするためのトレーニングシステムTSを示す、図5を参照する。
教師あり学習では、トレーニングデータはデータ(xk、yk)のk個のペアを含む。kは数百又は数千に達する。トレーニングデータは、各ペアk(インデックスkは、特徴マップの世代を指定するために上記で使用したインデックスに関係しない)について、トレーニング入力データxkと、関連付けられたターゲットykとを含む。トレーニングデータは、したがって、特に、本明細書で主に想定する教師あり学習方式について、ペアkにおいて編成される。しかしながら、本明細書では、教師なし学習方式を除外しないことに留意されたい。
トレーニング入力データxkは、例えばHIS(病院情報システム)のPACSなど、実験室において又は前に診療所において収集された履歴画像データから得られ、画像リポジトリに保持される。ターゲットyk又は「グランドトゥルース」は、(セグメント化されていない)画像xkに関連するセグメンテーションマップ又はセグメント化された画像を表す。そのようなラベルは、専門家によるセグメンテーション、注釈又は輪郭設定を含む。そのようなラベルはPACSデータベース又は他の医療データリポジトリから取り出される。履歴像は、前にセグメント化された像を含む。また、いくつかの実施形態では、シミュレーションから、セグメント化されていないトレーニングデータ対セグメント化されたトレーニングデータのペアを生成することが可能である。
トレーニングがコンテキストデータCXDを含めることである場合、一般に、ターゲットyk中に含められるコンテキストデータはない。言い換えれば、コンテキストデータを用いた学習の場合、ペアは、一般に、((xk、c)、yk)の形態を有し、非画像コンテキストデータcはトレーニング入力xkのみに関連し、ターゲットykには関連しない。
トレーニングフェーズでは、図4におけるNNネットワークなど、機械学習モデルMのアーキテクチャには重みの初期セットが事前にポピュレートされる。モデルNNの重みθはパラメータ化Mθを表し、トレーニングシステムTSの目的は、トレーニングデータ(xk、yk)ペアに基づいてパラメータθを最適化し、したがって適応させることである。言い換えれば、学習は、ユーティリティ関数を最大にする二重公式化が代わりに使用されるが、コスト関数Fが最小にされる最適化方式として、数学的に公式化され得る。
差し当たり、コスト関数Fのパラダイムを仮定すると、これは、総計された残差(residue)、すなわち、モデルMによって推定されたデータと、トレーニングデータペアkのいくつか又はすべてによるターゲットとの間に招かれた誤差を測定する。
式(2)及び以下で、関数M()は、入力xkに適用されたモデルMの結果を示す。本明細書で主に想定する分類子の場合、距離測度||・||は、好ましくは、交差エントロピー又はカルバック-ライブラー(Kullback-Leibler)ダイバージェンスなどのうちの1つとして公式化される。任意の好適な距離測度が使用され得る。
トレーニングでは、トレーニングペアのトレーニング入力データxkは初期化されたネットワークMを通して伝搬される。特に、k番目のペアについてのトレーニング入力xkは、モデルMの入力ILにおいて受信され、モデルに通され、次いで、出力OLにおいて出力トレーニングデータMθ(x)として出力される。測度||・||は、モデルMによって生成される実際のトレーニング出力Mθ(xk)と所望のターゲットykとの間の、本明細書で残差とも呼ぶ、差異を測定するように構成される。
出力トレーニングデータM(xk)は、適用された入力トレーニング画像データxkに関連するターゲットykについての推定値である。一般に、この出力M(xk)と、現在考えているk番目のペアの関連するターゲットykとの間には誤差がある。その場合、完全なトレーニングデータセットのペア(xk、yk)のすべて又はサブセットについての総計された残差((2)における合計)を減少させるように、モデルMのパラメータθを適応させるために、後方/前方伝搬又は他の勾配降下ベース方法など、最適化方式が使用される。
モデルのパラメータθが現在のペア(xk、yk)についてアップデータUPによって更新される、第1の内側ループにおける1回又は複数回の繰り返しの後に、トレーニングシステムTSは、次のトレーニングデータペアxk+1、yk+1が相応して処理される、第2の外側ループに入る。アップデータUPの構造は使用される最適化方式に依存する。例えば、アップデータUPによって管理される内側ループは、前方/後方伝搬アルゴリズムにおける1つ又は複数の前方及び後方パスによって実装される。パラメータを適応させている間、すべてのトレーニングペアの総計された、例えば合計された(2)残差は、目的関数を改善するために、現在のペアに達していると考えられる。総計された残差は、ペアごとのいくつかの又はすべての考えられる残差の式(2)におけるなど平方和残差として目的関数Fを構成することによって形成され得る。平方和の代わりに、他の代数の組合せも想定する。プロセスフローは、トレーニングデータペアの所望の最小数が処理されるまで、内側及び外側ループを通して交互に処理される。
図5に示されているトレーニングシステムは、すべてのモデルベース学習方式、特に教師あり方式について考えられ得る。本明細書では、代替実施形態において、教師なし学習方式も想定する。図5は主にモデルベース学習に関するが、代替実施形態では、代わりにインスタントベース学習方式も想定する。また、図5、図6はパラメータ化されたモデルに関するが、本明細書では、非パラメトリックMLアルゴリズムを除外しない。トレーニングシステムTSを実施するためにGPUが使用される。
十分にトレーニングされた機械学習モジュールMは、1つ又は複数のメモリMEM’又はデータベースに記憶され、セグメンタSEG2のための事前トレーニングされた機械学習モデルMとして利用可能にされ得る。トレーニングされたモデルはクラウドサービスにおいて利用可能にされる。アクセスは無料で提供され得るか、又はそれらの使用は支払い認証又は従量課金方式を介して許可され得る。
図6は、図4において上記で説明した方法など、機械学習モジュールをトレーニングする方法のフローチャートを示す。
好適なトレーニングデータを照合する必要がある。本明細書では、教師なし学習又は少なくとも半教師なし学習セットアップも想定するので、これは不可欠ではないが、本明細書では、好ましくは、教師あり学習方式を想定している。
教師あり学習では、トレーニングデータはデータ項目の好適なペアを含み、各ペアは、トレーニング入力データと、それと関連付けられたターゲットトレーニング出力データとを含む。像又は投影データは、上記で説明したように、データベース又は他の画像リポジトリから像又は投影データを取り出すことによってペアにされ得る。
引き続き図6を参照すると、ステップS610において、トレーニングデータがペア(xk、yk)の形態で受信される。各ペアは、上記で図5において定義されているように、トレーニング入力xkと、関連するターゲットyk、xkを含む。
ステップS620において、トレーニング出力を生成するために、トレーニング入力xkが初期化された機械学習モデルNNに適用される。
ステップS630において、関連するターゲットyk(セグメンテーション(マップ))からのトレーニング出力M(xk)の偏差又は残差がコスト関数Fによって定量化される。コスト関数を改善するために、ステップS640において、モデルの1つ又は複数のパラメータが内側ループにおいて1回又は複数回の繰り返しで適応させられる。例えば、モデルパラメータは、コスト関数によって測定される残差を減少させるように適応させられる。パラメータは、畳み込みNNモデルMが使用される場合、特に、畳み込み演算子の重みWを含む。
トレーニング方法は、次いで、外側ループにおいてステップS610に戻り、そこでトレーニングデータの次のペアが供給される。ステップS620において、モデルのパラメータは、考えられているすべてのペアの総計された残差が減少するように、特に最小になるように適応させられる。コスト関数は総計された残差を定量化する。内側ループにおいて前方後方伝搬又は同様の勾配ベース技法が使用される。
より一般的には、モデルMのパラメータは、コスト関数又はユーティリティ関数のいずれかである目的関数Fを改善するように調整される。実施形態では、コスト関数は、総計された残差を測定するように構成される。実施形態では、残差の総計は、考えられているすべてのペアについてすべての又はいくつかの残差を合計することによって実施される。本方法は、好ましくは、トレーニングをスピードアップするために、並列処理が可能なプロセッサを有する、1つ又は複数の汎用処理ユニットTS上で実装される。
図6はパラメータ化されたモデルベーストレーニングに関するが、本明細書では、実施形態において、パラメータ化されていないMLトレーニング方式及び/又はインスタンスベースMLトレーニング方式も想定する。
画像処理システムIPS又はトレーニングシステムTSの構成要素は、イメージャIAに関連付けられたワークステーションなど、1つ又は複数の汎用処理ユニットPU上で、又はイメージャのグループに関連付けられたサーバコンピュータ上で動作する、1つ又は複数のソフトウェアモジュールとして実装される。
代替的に又はさらに、画像処理システムIPS又はトレーニングシステムTSのいくつかの又はすべての構成要素は、FPGA(フィールドプログラマブルゲートアレイ)など、好適にプログラムされたマイクロコントローラ又はマイクロプロセッサなど、ハードウェアにおいて構成されるか、又は撮像システム画像処理システムIPSに一体化されたハードワイヤードICチップ、特定用途向け集積回路(ASIC)として構成される。さらなる実施形態では、さらに、画像処理システムIPS又はトレーニングシステムTSは部分的にソフトウェアと部分的にハードウェアの両方において実装される。
画像処理システムIPS又はトレーニングシステムTSの異なる構成要素は単一のデータ処理ユニットPU上に実装される。代替的に、いくつかの又は複数の構成要素は、場合によってはリモートで分散型アーキテクチャに構成され、クラウド設定又はクライアントサーバセットアップなど、好適な通信ネットワークにおいて接続可能な、異なる処理ユニットPU上に実装される。特に、2つのセグメンタSEG1、SEG2は同じ又は異なる計算システム上で動作するが、差分器DIFは、場合によっては、セグメンタSEG1、SEG2がその上で動作するシステムのうちの少なくとも1つからリモートで、また別のシステム上で動作する。本明細書で説明する処理の場合、セグメンテーションマップは、通信ネットワークによって差分器DIFに送信されるか、又はデータストレージなどから差分器DIFによって取り出される。
本明細書で説明する1つ又は複数の特徴は、コンピュータ可読媒体内で符号化された回路として、又はコンピュータ可読媒体内で符号化された回路を用いて、及び/又はそれの組合せで、構成又は実装され得る。回路は、ディスクリート回路及び/又は集積回路、システムオンチップ(SOC)、及びそれらの組合せ、機械、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含み得る。
本発明の別の例示的な実施形態では、適切なシステム上で、前の実施形態のうちの1つによる方法の方法ステップを実行するように適応させられていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
コンピュータプログラム要素は、したがって、コンピュータユニット上に記憶され、コンピュータユニットも本発明の一実施形態の一部である。この計算ユニットは、上記で説明した方法のステップを実行するように、又はそれの実行を引き起こすように適応させられる。その上、それは、上記で説明した装置の構成要素を動作させるように適応させられる。計算ユニットは、自動的に動作するように、及び/又はユーザの指令を実行するように適応させられ得る。コンピュータプログラムはデータプロセッサのワーキングメモリにロードされる。データプロセッサは、したがって、本発明の方法を実行するように装備される。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムの両方をカバーする。
さらに、コンピュータプログラム要素は、上記で説明した方法の例示的な実施形態の手順を実現するために、すべての必要なステップを与えることが可能である。
本発明のさらなる例示的な実施形態によれば、CD-ROMなど、コンピュータ可読媒体が提示され、コンピュータ可読媒体は、その上に記憶されたコンピュータプログラム要素を有し、コンピュータプログラム要素については前のセクションによって説明した。
コンピュータプログラムは、他のハードウェアと一緒に又は他のハードウェアの一部として供給される光記憶媒体又は固体媒体など、好適な媒体(特に、必ずしもそうではないが、非一時的媒体)上に記憶及び/又は分配され得るが、インターネット又は他のワイヤード又はワイヤレス電気通信システムを介してなど、他の形態でも分配され得る。
しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示され、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードされ得る。本発明のさらなる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードのために利用可能にするための媒体が提供され、コンピュータプログラム要素は、本発明の前に説明した実施形態のうちの1つによる方法を実行するように構成される。
本発明の実施形態については異なる主題に関して説明したことに留意しなければならない。特に、いくつかの実施形態については方法タイプクレームに関して説明したが、他の実施形態についてはデバイスタイプクレームに関して説明した。しかしながら、当業者は、上記及び以下の説明から、別段通知されない限り、主題の1つのタイプに属する特徴の任意の組合せに加えて、異なる主題に関する特徴間の任意の組合せも本出願で開示されると考えられると推論するであろう。しかしながら、すべての特徴を組み合わせて、特徴の単なる総和を超える相乗効果を与えることができる。
本発明を図面及び上記の説明において例示し、詳細に説明したが、そのような例示及び説明は説明的又は例示的であり、限定的でないと考えられるべきである。本発明は開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、本開示、及び従属クレームの検討から、クレームされる発明を実施する際に当業者によって理解され、実施され得る。
特許請求の範囲において、「備える」という語は他の要素又はステップを除外せず、単数形の要素は複数を除外しない。単一のプロセッサ又は他のユニットは特許請求の範囲に列挙されたいくつかの項目の機能を実現する。いくつかの手段が相互に異なる従属クレームに列挙されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示さない。特許請求の範囲におけるいずれの参照符号も範囲を限定すると解釈されるべきでない。
Claims (14)
- 入力画像についての2つのセグメンテーションマップを受信するための少なくとも1つの入力インターフェースであって、前記2つのセグメンテーションマップが、それぞれのセグメンタである、第1のセグメンタ及び第2のセグメンタによって得られ、前記第1のセグメンタが、形状プライアベースセグメンテーションアルゴリズムを実装し、前記第2のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は前記第2のセグメンタが、前記第1のセグメンタと比較してより低い重みで1つ又は複数の形状プライアを考慮する、少なくとも1つの入力インターフェースと、
解剖学的異常の検出を促進するように、前記2つのセグメンテーションマップの間の差異を確認する差分器と
を備える、画像処理のためのシステム。 - 前記差異の標示を出力する可視化器を備える、請求項1に記載のシステム。
- 前記可視化器が、前記標示とi)前記入力画像又はii)第1若しくは第2のセグメンテーションマップとをディスプレイデバイス上で表示する、請求項2に記載のシステム。
- 前記標示が、前記差異の大きさを表すようにコード化される、請求項2又は3に記載のシステム。
- 前記第2のセグメンタが機械学習モデルに基づく、請求項1から4のいずれか一項に記載のシステム。
- 前記機械学習モデルが人工ニューラルネットワークに基づく、請求項5に記載のシステム。
- 前記2つのセグメンテーションマップ中のセグメンテーションが、i)骨組織、ii)がん組織のいずれか1つ又は複数を表す、請求項1から6のいずれか一項に記載のシステム。
- 前記解剖学的異常が骨折のうちの1つであり、前記差異が前記骨折を示す、請求項7に記載のシステム。
- 前記入力画像が、i)X線画像、ii)エミッション画像、iii)磁気共鳴画像のいずれか1つである、請求項1から8のいずれか一項に記載のシステム。
- 撮像装置と、請求項1から9のいずれか一項に記載のシステムとを備える、撮像システム。
- 入力画像についての2つのセグメンテーションマップを受信するステップであって、前記2つのセグメンテーションマップが、それぞれのセグメンタである、第1のセグメンタ及び第2のセグメンタによって得られ、前記第1のセグメンタが形状プライアベースセグメンテーションアルゴリズムを実装し、前記第2のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は前記第2のセグメンタが、前記第1のセグメンタと比較してより低い重みで1つ又は複数の形状プライアを考慮する、入力画像についての2つのセグメンテーションマップを受信するステップと、
解剖学的異常の検出を促進するように前記2つのセグメンテーションマップの間の差異を確認するステップと
を有する、コンピュータ実装画像処理方法。 - 請求項5から10のいずれか一項に記載のシステムにおけるように前記機械学習モデルをトレーニングする、コンピュータ実装方法。
- 命令を含むコンピュータプログラムであって、少なくとも1つの処理ユニットによって実行されているときに、前記処理ユニットに請求項11及び12のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
- 請求項13に記載のコンピュータプログラムを記憶した、又は請求項12に記載のコンピュータ実装方法における前記機械学習モデルを記憶した、少なくとも1つのコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20202844.5A EP3989165A1 (en) | 2020-10-20 | 2020-10-20 | Detecting anatomical abnormalities by segmentation results with and without shape priors |
EP20202844.5 | 2020-10-20 | ||
PCT/EP2021/077972 WO2022084074A1 (en) | 2020-10-20 | 2021-10-09 | Detecting anatomical abnormalities by segmentation results with and without shape priors |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023545570A true JP2023545570A (ja) | 2023-10-30 |
Family
ID=72964570
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023524132A Pending JP2023545570A (ja) | 2020-10-20 | 2021-10-09 | 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240005484A1 (ja) |
EP (2) | EP3989165A1 (ja) |
JP (1) | JP2023545570A (ja) |
CN (1) | CN116420165A (ja) |
WO (1) | WO2022084074A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4332884A1 (en) | 2022-09-02 | 2024-03-06 | Koninklijke Philips N.V. | Detecting anatomical abnormalities in 2d medical images |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006085268A1 (en) * | 2005-02-11 | 2006-08-17 | Philips Intellectual Property & Standards Gmbh | Image processing device and method |
-
2020
- 2020-10-20 EP EP20202844.5A patent/EP3989165A1/en not_active Withdrawn
-
2021
- 2021-10-09 CN CN202180071812.3A patent/CN116420165A/zh active Pending
- 2021-10-09 WO PCT/EP2021/077972 patent/WO2022084074A1/en active Application Filing
- 2021-10-09 US US18/032,355 patent/US20240005484A1/en active Pending
- 2021-10-09 JP JP2023524132A patent/JP2023545570A/ja active Pending
- 2021-10-09 EP EP21790189.1A patent/EP4233001A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116420165A (zh) | 2023-07-11 |
EP4233001A1 (en) | 2023-08-30 |
US20240005484A1 (en) | 2024-01-04 |
EP3989165A1 (en) | 2022-04-27 |
WO2022084074A1 (en) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11967072B2 (en) | Three-dimensional object segmentation of medical images localized with object detection | |
CN107545309B (zh) | 使用深度生成机器学习模型的图像质量评分 | |
US10957098B2 (en) | Consistent 3D rendering in medical imaging | |
JP4310099B2 (ja) | 肺疾患検出のための方法及びシステム | |
JP7139479B2 (ja) | 画像処理装置、医用画像診断装置、及びプログラム | |
US11893729B2 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
JP6914233B2 (ja) | 類似度決定装置、方法およびプログラム | |
JP7004829B2 (ja) | 類似度決定装置、方法およびプログラム | |
Yerukalareddy et al. | Brain tumor classification based on mr images using GAN as a pre-trained model | |
Irene et al. | Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method | |
Davamani et al. | Biomedical image segmentation by deep learning methods | |
JP2023545570A (ja) | 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること | |
CN111260636B (zh) | 模型训练方法及设备、图像处理方法及设备以及介质 | |
EP3989167A1 (en) | Simultaneous detection and classification of bone fractures using deformation modelling in model-based segmentation | |
EP3965117A1 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
US20050036691A1 (en) | Method and system for using structure tensors to detect lung nodules and colon polyps | |
CN116848549A (zh) | 经由降维投影的图像结构的检测 | |
WO2020110520A1 (ja) | 類似度決定装置、方法およびプログラム | |
JP7318058B2 (ja) | 画像処理装置 | |
US20210407674A1 (en) | Method and arrangement for identifying similar pre-stored medical datasets | |
US20220351000A1 (en) | Method and apparatus for classifying nodules in medical image data | |
Pitale et al. | Machine Learning Algorithms for Classifying Disorder in Brain and Lung Biomedical Images | |
WO2024077348A1 (en) | Saliency maps for classification of images | |
Fahim et al. | Geometric Learning-Based Transformer Network for Estimation of Segmentation Errors | |
Hers | Improving robustness of deep learning models for processing ultrasound volumes for assessing developmental dysplasia of the hip |