JP6570145B2 - 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置 - Google Patents

Description

関連出願の相互参照

本出願は、２０１４年３月２７日に申請され本明細書に参照によって組み込まれる米国仮特許出願第６１／９７１，０４２号から優先権を得る非仮特許出願である。

本開示は概して、特徴抽出及び連続的モデルベース予測方法を使用した、医療画像及び／又はボクセルデータ内の望ましくない構造の抑制に関し、更には、コンピュータ断層撮影（ＣＴ）スキャン内の肺小結節の検出を改善し得る技術に関し得る。モデルベース予測とは、本開示の文脈において、例えばニューラルネットワークなどの分析モデル、経験モデル、又はそれらの組み合わせの使用法として定義され、それらはピクセル／ボクセルから計算又は得られた尺度に基づき値（例えばピクセル又はボクセル）を予測するものである。

オブジェクト検出は困難な問題であることが広く認識されている。コンピュータ視覚システムにとってオブジェクト検出が困難になる、多くの態様が存在する。それらの態様には、２、３例を挙げると、画像取得における変動、オブジェクト外観の複雑性、オブジェクト背景における大きな変動性（通常はクラッタと呼ばれる）などの要因が含まれる。医療画像の分野において、「オブジェクト」とは、通常の生体構造の特定要素、非生体構造オブジェクトの位置、又は、腫瘍などの疾患の存在を指し得る。

医療画像におけるオブジェクト検出の１つの重要な適用は、胸部ＣＴスキャンにおける肺小結節、又は腫瘤の検出である。２０年以上の努力にもかかわらず、機械を用いた小結節検出の一般的問題は未解決のままであり、人間による検出は限られたままである。これに対する大きな理由は、当該問題を困難するもの１つの大きな要素に対処できないことである。すなわち、小結節の肺血管との複雑な相互作用、及び、様々な取得プロトコルに起因する外観の変動である。

本開示の様々な態様は、異なる取得プロトコル下で取り込まれた医療画像及び／若しくはボクセルデータを正規化するための手法、並びに／又は、胸部の医療画像及び／若しくはボクセルデータ内の選択された非小結節構造を抑制するための方法を含み得る。大部分の非小結節構造は、血管内容物であり、従って、「血管抑制」という用語は、本開示において、そのような非小結節構造抑制の総称として使用される。しかしながら、開示されている技術は、例えば、胸部における気管支壁及び裂線、並びに、場合によっては、管状の特性を有する人口のオブジェクトなど、「血管」／血管構造以外の構造にも適用され得る。これは更に、他の身体部分（例えば、胸部、心臓、頭部）、他のモダリティ（例えば、超音波、トモシンセシスなど）、及び／又は他の分野（例えば、ビデオ監視、軍事用の標的設定）に拡大し得る。この技術は、小結節検出の改善、小結節の特性決定、及び／又は、選択された生体構造抑制画像データ又は生体構造強調画像データのレンダリングの改善という目的で使用され得る。この技術は本明細書において、特に肺内における小結節に関して説明されているが、同様の方法論が他の文脈に適用され得る。

本開示の様々な態様の追加の特徴及び利点は、後述する詳細な説明、及び、それに併せた添付図面から明らかになるであろう。これらは共に、例として、本開示の様々な態様の特徴を示す。

添付図面は以下の通りである。

本開示の態様に係る、例えば、ＣＴ取得正規化のプロセス図の例を示す。

本開示の様々な態様に係る、更なる処理を示す、更なるプロセス図を示す。

小結節シミュレーションの前のボリュームのスライスの例を示す。 小結節シミュレーションの後のボリュームのスライスの例を示す。 血管抑制後の、図３Ｂに示されているものと同じスライスを示す。;

本開示の態様に係る、予測段階の例のプロセス図を示す。

本開示の態様に係る、組織分離の概念的な描写を提供する。

血管を除去した、すりガラス小結節の画像例を示したものの１つである。 血管を除去した、すりガラス小結節の画像例を示したものの１つである。 血管を除去した、すりガラス小結節の画像例を示したものの１つである。

本開示の様々な態様が実施され得るシステムの概念図を示す。

小結節検出のために採用される手法は複数存在し、それらには、テンプレートマッチング（例えば、Ｑ． Ｌｉ， Ｓ． Ｋａｔｓｕｒａｇａｗａ， ａｎｄ Ｋ． Ｄｏｉ， "Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｉａｇｎｏｓｔｉｃ ｓｃｈｅｍｅ ｆｏｒ ｌｕｎｇ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｄｉｇｉｔａｌ ｃｈｅｓｔ ｒａｄｉｏｇｒａｐｈｓ ｂｙ ｕｓｅ ｏｆ ａ ｍｕｌｔｉｐｌｅ−ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ ｔｅｃｈｎｉｑｕｅ，" Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ， ２００１， ２８（１０）： ２０７０−２０７６； 以後「Ｌｉその他２００１」）、マルチレベル閾値化法（例えば、Ｓ． Ａｒｍａｔｏ， Ｍ． Ｇｉｇｅｒ， ａｎｄ Ｈ． ＭａｃＭａｈｏｎ， "Ａｕｔｏｍａｔｅｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｌｕｎｇ ｎｏｄｕｌｅｓ ｉｎ ＣＴ ｓｃａｎｓ： ｐｒｅｌｉｍｉｎａｒｙ ｒｅｓｕｌｔｓ，" Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ， ２００１， ２８， １５５２-１５６１；以後「Ａｒｍａｔｏその他２００１」）、強調フィルタ（例えば、Ａ． Ｆｒａｎｇｉ， Ｗ． Ｎｉｅｓｓｅｎ， Ｋ． Ｖｉｎｃｋｅｎ， ａｎｄ Ｍ． Ｖｉｅｒｇｅｖｅｒ， "Ｍｕｌｔｉｓｃａｌｅ ｖｅｓｓｅｌ ｅｎｈａｎｃｅｍｅｎｔ ｆｉｌｔｅｒｉｎｇ，" ＭＩＣＣＡＩ， １９９８， １３０−１３７；以後「Ｆｒａｎｇｉその他１９９８」及びＱ． Ｌｉ， Ｓ． Ｓｏｎｅ． ａｎｄ Ｋ． Ｄｏｉ， "Ｓｅｌｅｃｔｉｖｅ ｅｎｈａｎｃｅｍｅｎｔ ｆｉｌｔｅｒｓ ｆｏｒ ｎｏｄｕｌｅｓ， ｖｅｓｓｅｌｓ， ａｎｄ ａｉｒｗａｙ ｗａｌｌｓ ｉｎ ｔｗｏ− ａｎｄ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ＣＴ ｓｃａｎｓ，" Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ ２００３， ３０（８）： ２０４０−２０５１；以後「Ｌｉその他２００３」）、及び、ボクセル分類（例えば、Ｄ． Ｗｕ， Ｌ． Ｌｕ， Ｊ． Ｂｉ， Ｙ． Ｓｈｉｎａｇａｗａ， Ｋ． Ｂｏｙｅｒ， Ａ． Ｋｒｉｓｈｎａｎ， ａｎｄ Ｍ． Ｓａｌｇａｎｉｃｏｆｆ， "Ｓｔｒａｔｉｆｉｅｄ ｌｅａｒｎｉｎｇ ｏｆ ｌｏｃａｌ ａｎａｔｏｍｉｃａｌ ｃｏｎｔｅｘｔ ｆｏｒ ｌｕｎｇ ｎｏｄｕｌｅｓ ｉｎ ＣＴ ｉｍａｇｅｓ，" ＣＶＰＲ， ２０００， ２７９１−２７９８．以後「Ｗｕその他２０００」）が含まれ得る。

テンプレートマッチング（例えば、Ｌｉその他２００１）は、テンプレートのセットに対する各ボクセルについての類似性を測定する段階を含み得る。オブジェクトの外観の多様性が高いほど、妥当なパフォーマンスのためにより多くのテンプレートが必要となり得る。このスケーリング挙動によって、困難な分野において、テンプレートマッチングが非効率になり得る。

マルチレベル閾値化法は、一つには、ハンスフィールドユニット（ＨＵ）において定義され得るボクセル値は有意義な解釈を有し得るという理由から、ＣＴ（例えば、Ａｒｍａｔｏその他２００１）において使用され得る。小結節濃度の情報は、例えば、閾値の設定に使用され得る。この技術は、いくつかの困難に遭遇し得る。そのうちの１つは、所与の閾値に対する、オブジェクト形態の適切な測定であり得る。小結節は周囲の構造に接続され得るので、正確な形態評価が困難になる。これを補償するべく、そのような手法は、接続された構造を除去するための形態的な後処理段階を組み込み得る。しかしながら、形態的な後処理段階は、小結節が検出不能となる程度まで、小結節を変更する可能性がある。より複雑な後処理、例えば、ルール駆動型の適応を使用することによって、このプロセスを適応し得るが、そのようなルール駆動型の適応は、脆性の原因となり得、その方法は、よりテンプレートマッチングに似始め得る。

フィルタ強調法（例えば、Ｆｒａｎｇｉその他１９９８及びＬｉその他２００３）は、局所的な構造に適応することによって、テンプレートマッチングのときに改善し得る。１つのそのような手法は、局所的なテンソル情報から取得した局所的構造を見積もるためのものであり得る。例示的な２つのテンソルは、３×３ヘッセ行列及び３×３構造テンソルであり、ここで、「３」は空間次元の数を指す。これらのテンソルからの固有値は、各ボクセルでの「チューブネス（ｔｕｂｅｎｅｓｓ）」、「ブロブネス（ｂｌｏｂｎｅｓｓ）」、又は「プレートネス（ｐｌａｔｅｎｅｓｓ）」の程度を定量化するのに使用され得る。これらの指標は、複合特徴指数を導き出すべく、統合され得る。そのような解析は単純かつ解析的に適切である一方で、いくつかの制限に遭遇し得る。第１に、情報を統合するのに使用される式は、現実とは異なり得る、小結節及び血管の理想化に基づき得る。例えば、小結節は概して、完全な球形ではなく、血管は概して、完全な円筒形ではない。この方法は、一次及び二次導関数によって取り込まれた情報のみを使用し得るので、血管が分岐する、又は、小結節が血管構造に付着するなどの、より複雑な領域において、パフォーマンスは低迷し得る。最後に、この方法は理想化に基づくので、複数のスケールにわたる指標の統合は、容易でないことがあり得る。

例えば、Ｗｕその他２０００のようなボクセル分類は、ＣＴスキャンから特徴を抽出する段階を含み得る。この特徴は次に、小結節が存在するかどうかを示し得る確率、又は他の出力を生成するべく、分類方法によって使用され得る。ボクセル分類は、手作業でラベルを付けられた大量のデータを必要と得るので、非実用的であり得る。また、ボクセル分類方法は、サンプルの偏りの問題を抱え得る。つまり、トレーニングするために収集された小結節の種類に特異的に調整され得る。その結果、小結節を見逃す原因となり得る。

別の方法が、Ｒ．Ｗｉｅｍｋｅｒ，Ｔ．Ｂｕｅｌｏｗ及びＴ．Ｋｌｉｎｄｅｒの"Ｖｉｓｕａｌ Ｓｕｐｐｒｅｓｓｉｏｎ ｏｆ Ｓｅｌｅｃｔｉｖｅ Ｔｉｓｓｕｅ ｉｎ Ｉｍａｇｅ Ｄａｔａ"、米国特許出願公開第２０１５／００６３６６９号（以後「Ｗｉｅｍｋｅｒその他２０１５」）で見られるＷｉｅｍｋｅｒその他において、発明者は、血管構造を抑制するための方法を、抑制データによるオリジナルデータの加重和として説明している。この種類の方法論は、文献中において、しばしば「インペインティング（ｉｎｐａｉｎｔｉｎｇ）」と称され得る。オブジェクト除去に対する１つのそのような手法は、ピラミッド合成であり得る。合成に使用される加重は、０と１との間の値に対応し得る「ベセルネス（ｖｅｓｓｅｌｎｅｓｓ）」の局所尤度法から導き出され得る。この尺度が実際どのように得られるかは、Ｗｉｅｍｋｅｒその他２０１５においてまったく説明されておらず、抑制あり、及び抑制なしの状態で画像データを合成るための手段としての使用だけが説明されている。Ｗｉｅｍｋｅｒその他は、加重を強調又は非強調するべく、尤度法に対する修正の様々なモードを説明している。Ｗｉｅｍｋｅｒその他の「不透明性マッピング」を取得するための機構はより不明確である。この説明は、ボクセルの濃度はルックアップテーブルの種類によって減少することを示唆しているように見える。

また、小結節の検出及び分割の自動化方法を開発することは有用であるが、しかし、それはまた、専門家によって使用可能な例えば二次ボリュームの形式であり得る付属情報も提供し得ると認識されてきた（例えば、Ｂ． Ｖａｎ Ｇｉｎｎｅｋｅｎ， Ｓ． Ａｒｍａｔｏ，その他， "Ｃｏｍｐａｒｉｎｇ ａｎｄ ｃｏｍｂｉｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｐｕｌｍｏｎａｒｙ ｎｏｄｕｌｅｓ ｉｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ｓｃａｎｓ： Ｔｈｅ ＡＮＯＤＥ０９ ｓｔｕｄｙ，" Ｍｅｄ． Ｉｍａｇｅ Ａｎａｌｙｓｉｓ， ２０１０， １４（６）， ７０７−７２２及びＥ． Ｍ． Ｖａｎ Ｒｉｋｘｏｏｒｔ， Ｂ． Ｖａｎ Ｇｉｎｎｅｋｅｎ， "Ａｕｔｏｍａｔｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｐｕｌｍｏｎａｒｙ ｓｔｒｕｃｔｕｒｅｓ ｉｎ ｔｈｏｒａｃｉｃ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ｓｃａｎｓ： ａ ｒｅｖｉｅｗ，" Ｐｈｙｓｉｃｓ ｉｎ Ｍｅｄｉｃｉｎｅ ａｎｄ Ｂｉｏｌｏｇｙ， ２０１３， ５８， １８７−２２０を参照）。

本開示の様々な態様は、通常の生体構造の抑制のために本発明者らによって形成された枠組みに関し得る（例えば、参照によって本明細書に組み込まれる、Ｋｎａｐｐその他による米国特許出願公開第２００９／０２９０７７９（以後Ｋｎａｐｐその他による２００９）、及びＫｎａｐｐその他による米国特許出願公開第２０１３／０２２３７１１（以後Ｋｎａｐｐその他２０１３）を参照のこと）。Ｋｎａｐｐその他２００９において、骨の濃度が除去される代替的な画像を予測することによって、モデルが形成された。Ｋｎａｐｐその他２０１３において、胸筋抑制技術は、胸筋に関連する偏りが除去される画像データを予測し得る。

本開示の文脈において、「抑制」という用語の使用は、（血管などの）生体構造が、ただ低濃度になるのではなく、画像から実際に除去されることを示唆する。本開示の態様は、詳細は後述するが、望ましくない濃度を「予測で除去」し得る予測モデルを構築することに関連し得る。

ここでは、図面において図示される例示的な実施形態を参照する。その例示的な実施形態を説明するべく、特殊な文言が本明細書で使用される。それでも、本発明の範囲は、それによっていかなる制限も受けないことが意図されていることが理解されよう。本明細書で図示されている発明の特徴に対する変更及び更なる修正、並びに、本開示に接した当業者に想起される、本明細書で示される本発明の原理の追加的な応用は、本発明の範囲内と見なされ得る。

ＣＴスキャンにおける小結節を識別するにあたって、理想的にＣＴスキャンを撮影して小結節以外の構造を抑制したいことがある。このプロセスを開始するにあたり、取得に関連する変動を考慮するべく、各スキャンが正規化され得る。これは、堅牢性を高め、更なるプロセスを単純化し得る。本開示の態様に係る、この正規化処理における主要な段階は、図１で見ることができる。正規化処理は、身体分割１０で開始し得る。この段階において、患者の身体は、入力ＣＴ画像の視野内で他の構造から分割され、その後、患者の呼吸器系に関連する空気の領域を分割し得る。この後、肺濃度が固定値の付近のままであるように、空気領域は固定値に合わせて校正１１され得る。濃度校正１１の後、ＣＴスキャンのノイズ特性が分析され得、ノイズのアーティファクトを抑制する１２べく、適応型の局所的な平均化方法が使用され得る。ノイズ抑制１２の後、１つのスキャンと次のスキャンとの間でコントラストの詳細を可能な限り一貫させるように１３、画像が処理され得る。このことは、例えば、Ｋｎａｐｐその他２００９及びＫｎａｐｐその他の米国特許出願公開第２０１０／０２６６１８９（以後、「Ｋｎａｐｐその他２０１０」と称し、Ｋｎａｐｐその他２０１０も参照によって本明細書に組み込まれる）において使用される技術と同様の技術を使用することで達成され得る。この技術において、コントラストの詳細を校正するべく、マルチスケール表現でヒストグラムマッチングが使用された。最後に、ボリュームはサイズ変更され得る（例えば、ミリメートル単位で、指定されたサイズに再サンプリングされる）。これは、面内（ＣＴ画像内）及び／又は面外（ＣＴ画像全体）で実行され得、補間の使用を含み得る。その結果、１つのスキャンから次のスキャンまでのスライスの間隔及び厚さが可能な限り一貫するようになる１４。これもやはり、Ｋｎａｐｐその他２００９及び／又はＫｎａｐｐその他２０１０で説明されている技術を使用し得る。

血管抑制を実行するべく、所与のボリュームについて、小結節などの他の構造を除去しないように注意しつつ、血管が予測で除去されたボリュームを生成することが望ましい場合がある。これは、後の議論で明確にされる、「フォワードシミュレーション、予測による反転」戦略によって達成され得る。

図２は、本開示の態様に係る全体のプロセスの流れの例を示す。プロセスはケース選択、すなわち、通常の（予測される）変動性の代表的な量を取り込む、胸部の一定数のＣＴボリュームから開始する。取得の変動について正規化され得る、これらの選択された複数のケースを使用することで、標的形成２０として図２で示されているモデル構築の目的のために、血管抑制ボリュームが生成され得る。血管抑制ボリュームを作成するのに使用され得る１つの技術において（本発明はそれに限定されない）、最初にＣＴボリュームの軸方向に沿った、局所的な最小値投影法（ｍｉｎ−ｉｐ）を計算し得る。ｍｉｎ−ｉｐ操作は、肺領域内の内容をすべて、又は実質的にすべて抑制することに役立ち得る。ｍｉｎ−ｉｐボリュームは、分割された血管マスクのわずかに平滑化されたバージョンを使用するＣＴボリュームと合成され得る。又は、すべての構造を抑制するべく、既知の小結節位置のマスクを有するＣＴボリュームと合成され得る。血管及び／又は小結節マスクは、自動化アルゴリズム又は半自動化方法を使用して生成され得るか、手動アウトラインから導き出され得る。これらのマスクは、標的データを作成するオフラインのプロセスのみに使用されるので、それらを作成するのに使用される実際の機構は重要ではないが、しかしながら正確であるほど良い。肺血管と相互作用する小結節の例を十分な数だけ保有するべく、例えばＫｎａｐｐその他２００９のような小結節シミュレーションを使用して良い。つまり、合成小結節は、非抑制ボリューム及び／又は血管抑制ボリュームに挿入され得る。その結果は、血管ありのボリューム、及び、欠陥なしのボリュームの組であり得るが、それらは両方とも、未変更の、又は実質的に未変更の小結節である。図３Ａは代表的な例からのスライスであるが、図３Ｂでは、シミュレートされた小結節のみが追加された同じスライスが見られる。図３Ｃでは、図３Ｂからのスライスと同じであるが、血管のみが抑制され、小結節は未変更のままであるスライスが見られる。

入力標的ボリュームの組が作成２０されたら、特徴生成プロセス２１を通過させることで、各画像を処理し得る。このプロセスは、特徴の例のセットが以下のようであり得るボクセルレベルの特徴を抽出するのに使用され得る。・複数のオーダーによるマルチスケールガウス導関数・局所的な最小値及び最大値投影・局所的な最小値及び最大値投影から計算された、及び／又は局所的な最小値及び最大値投影法に基づく面内特徴他の特徴は、位置又は派生的な特徴（形状インデックス、曲率など）自体に基づいて導き出され得るか、パッチ解析又はディープニューラルネットワークなどのモデルベースの手法を使用して学習される。大量のデータがあれば、モデル、又はモデルのセットが生成され得る２２。本開示の一態様に係る、多層フィードフォワードニューラルネットワークがこの目的に使用され得る。これらのモデルはその後、Ｋｎａｐｐその他２０１３で見られる方法と同様の分割マスク又はオブジェクト指標を使用することなく、抑制データを予測可能であり得る。モデル又はモデルのセットが形成されると、検証データに関するそれらのパフォーマンスが評価される２３。これは、モデルの特定のサブセットの選択につながり得る、及び／又は、トレーニングのための追加ケースの選択によって、又は、更なるシミュレートされた小結節の作成によって、トレーニングのプロセスを更にガイドするのに使用され得る。

図４は、本開示の態様に係る、正規化されたＣＴスキャンから抑制されたスキャンへの高レベルフロー図の例を示す。抽出された特徴４０は、モデル生成２２で使用されたものと同一であり得る。予測段階４１は、出力が統合され得る、例えばニューラルネットワークなどの予測モデルのセットを適用する段階を含み得る。統合は、例えば平均化によって、費用関数を使用することによって実行され、出力の最適な１つ、又は両方を選択し得る（すなわち、平均化するための出力の最適なセットを選択する）。本開示のこの態様において、複数の画像ゾーンについて、複数のモデル出力が得られ得る。複数の画像ゾーンにおいて、各画像ゾーンはその生体構造の位置及び／又はそのピクセル濃度によって識別され得る。コンピュータ支援による検出には不要であり得るが、表示目的のために望ましい場合は、抑制ボリュームがオリジナルの画像データと一致するように、後処理４２が正規化処理を調整するのに使用され得る。

図５は、全体的な技術が現実の小結節で動作し得る方法、及び、２つの表現を生成し得る方法の概念的な例を提供する。画像５０は、生体構造抑制５１を受け、結果、２つの表現５２を生じさせ得る。５２における上の表現は、小結節のより容易な検出及び分割を可能にし得る抑制ボリュームであり得、５２における下の表現は、血管ボリュームであり得るが、これは単にＣＴデータと抑制データとの間の差であり得る。血管ボリュームは、例えば血管分割又は前のスキャンを用いたレジストレーションに有用であり得る。

図６Ａ−６Ｃからなる図６は、明らかな血管の重ね合わせを有する、現実のすりガラス小結節の例の拡大図である。図６ＡはＣＴ画像を示す。図６Ｂはすりガラス小結節画像の拡大図を示し、図６Ｃは血管抑制画像を示す。見て分かるように、アルゴリズムは小結節の内容を維持しつつ、血管構造を除去し得る。

本発明の様々な実施形態は、ハードウェア、ソフトウェア、及び／又はファームウェアを含み得る。図７は、本開示の様々な態様に係る、様々な形式、及び／又は、実施形態の一部を実施するのに使用され得る例示的なシステムを示す。そのようなコンピューティングシステムは、１又は複数のシステムメモリ７１に接続され得る１又は複数のプロセッサ７２を含み得る。そのようなシステムメモリ７１は、例えば、ＲＡＭ、ＲＯＭ、又は他のそのような機械可読媒体を含み得、システムメモリ７１は、例えば、ベーシックＩ／Ｏシステム（ＢＩＯＳ）、オペレーティングシステム、プロセッサ７２による実行のための命令などを組み込むのに使用され得る。また、システムは、追加のＲＡＭ、ＲＯＭ、ハードディスクドライブ、又は他のプロセッサ可読媒体などの更なるメモリ７３を含み得る。また、プロセッサ７２は、少なくとも１つのインプット／アウトプット（Ｉ／Ｏ）インタフェース７４と接続され得る。Ｉ／Ｏインタフェース７４は、１又は複数のユーザインタフェースに加え、様々な種類の記憶媒体用の読取装置、及び／又は、例えば、ソフトウェアコードが（例えば、ダウンロード又はアップロードによって）得られ得る、又は提供され得る、１又は複数の通信ネットワークへの接続（例えば、通信インタフェース及び／又はモデム）を含み得る。

上記の配置は、本発明の原理に沿った適用を例示するものに過ぎないことが理解されるであろう。本発明の精神及び範囲を逸脱することなく、「使用法及び他の適用及び分野への拡張」の節で説明されているように、多くの修正及び代替的な配置は考案され得る。

詳しく述べると、血管抑制ボリュームの生成は、小結節の検出及び特性評価の他に多くの用途があり得る。これらには以下が含まれる。・肺血栓塞栓症検出などの他のプロセスへの入力として使用できる、より単純で、より堅牢な血管の分割・血管樹の可視化の改善に基づく、血管に取り付けられる生検小結節への血管樹ナビゲーションの改善・血管の肥厚及び／又は収縮につながる血管構造に関連する疾患の検出の改善・スキャンのレジストレーションプロセスへの入力として、血管ボリューム、又は、分割されたマスクを使用し、小結節の成長などの何らかの潜在的な異常変化の評価を実現・抑制ボリュームを使用して肺の最大値投影の生成（小結節がどこにあり得るかについての高レベルの指示を実質的に提供し得る）などの、より情報の多い表示を生成・骨と血管とが両方抑制された二次元再構築

更に、本技術は他の用途／分野に適用され得る。上述の枠組みの多くの拡張は、血管抑制を超え、以下はいくつかの更なる（網羅的であることが意図されない）適用の一覧に過ぎない。・脳動脈瘤を強調するための脳における血管抑制・おそらくレジストレーションの目的で、小結節を強調し、血管構造を分割する能力を改善するためのＣＴ肝臓スキャンにおける血管抑制・小動脈瘤及び他の疾患を強調するための眼底画像における血管抑制・レジストレーション又は他のプロセスで使用する、良性石灰化の検出又は除去のための胸部における血管抑制（それぞれトモシンセシス又はマンモグラムによって獲得されたボリューム又は画像）

本発明は図面に示され、本発明のもっとも実際的かつ望ましい実施形態であると現在見なされているものに関連して、具体的かつ詳細に、上で完全に説明されているが、本明細書で説明される本発明の原理及び概念から逸脱することなく、多くの修正を行えることは、当業者にとって明らかであろう。

Claims (22)

1. 画像を処理する方法であって、
   １又は複数の入力画像又は入力画像ボリュームを処理する前に実行される第１のプロセスと、
   前記１又は複数の入力画像又は入力画像ボリュームに対して実行され、前記第１のプロセスの後に実行される、第２のプロセスと
   を備え、
   前記第１のプロセスは、測定された合成のデータに基づいて対のデータを生成するように構成され、前記対のデータの１つ目は、生成された標的データから構成され、前記対のデータの２つ目は、測定装置からの出力に基づく観察可能な結果から構成され、
   前記第１のプロセスは、１又は複数の画像又は画像ボリュームを表すデータから、１又は複数の要素を得る段階を有し、
   前記得る段階は、
   前記データを正規化及び前処理して、処理済みデータを得る段階と、
   前記処理済みデータから複数の特徴を抽出して、抽出された複数の特徴のセットを得る段階と、
   前記抽出された複数の特徴のセットに基づき、ディープニューラルネットワークモデルを含む少なくとも１つのニューラルネットワークモデルを使用して、前記測定された合成のデータまたは前記測定された合成のデータの派生物から導出されるモデルベース予測を実行し、前記標的データに基づいて前記１又は複数の要素を予測する段階と
   を含み、
   前記測定された合成のデータまたは前記測定された合成のデータの派生物は、前記１又は複数の要素が除去された、１又は複数の画像又は画像ボリュームを表わす前記データ、もしくは、前記１又は複数の画像又は画像ボリュームを表わすデータ、もしくは、その両方のデータを含み、且つ、前記１又は複数の要素が除去された、１又は複数の画像又は画像ボリュームを表わす前記データ、もしくは、前記１又は複数の画像又は画像ボリュームを表わすデータ、もしくは、その両方のデータへと組み込まれる、１又は複数のシミュレーション構造物を表わすデータを含み、
   前記第２のプロセスは、前記１又は複数の入力画像又は入力画像ボリュームを表すデータから、前記測定された合成のデータの組み合わせを用いるトレーニングプロセスを通じて導かれた前記モデルベース予測によって予測された前記１又は複数の要素のうちの少なくとも１つを除去し、抑制された複数の要素を有する１又は複数の画像および画像ボリュームの少なくとも何れかを得る段階を有する、
   方法。
2. 前記１又は複数の要素のうちの１又は複数が除去された予測出力を得る段階を更に備える、請求項１に記載の方法。
3. 前記除去する段階は、前記ニューラルネットワークモデルに基づく予測によって予測される前記１又は複数の要素を前記データから差し引いて、前記１又は複数の要素が除去されたデータを得る段階を含む、請求項１または２に記載の方法。
4. 前記データがＸ線写真のＣＴシリーズを有し、前記１又は複数の要素のうちの１又は複数が複数の血管要素のみを含む、請求項１から３のいずれか一項に記載の方法。
5. 前記標的データを生成するべく、複数のオリジナルボリューム、複数の生体構造抑制ボリューム、又はその両方を使用する前に、複数のシミュレートされた小結節、複数の測定された小結節、又はその両方を、前記複数のオリジナルボリューム、複数の生体構造抑制ボリューム、又はその両方に挿入する段階を更に備える、請求項１から４のいずれか一項に記載の方法。
6. 前記正規化及び前処理が、ノイズ抑制を実行してノイズ抑制データを得る段階と、前記ノイズ抑制データ上でバンドパス分解を実行する段階とを有する、請求項１から５のいずれか一項に記載の方法。
7. 前記正規化及び前処理が、前記バンドパス分解の少なくとも１つの結果上で、少なくとも１つの操作を実行する段階を更に有し、前記少なくとも１つの操作が、グレースケールのレジストレーション及び強調からなる群から選択される、請求項６に記載の方法。
8. 前記正規化及び前処理が、データをサイズ調整して標的のサイズ調整済みデータを得る段階を有する、請求項１から７の何れか一項に記載の方法。
9. 前記複数の特徴を抽出することが、異なる複数のスケールにわたり複数のガウス導関数を得る段階を有する、請求項１から８の何れか一項に記載の方法。
10. 前記モデルベース予測を実行することが、
    複数の予測モデルを適用して１又は複数のボリュームボクセルに関する複数の抑制された予測を得る段階と、
    前記複数の抑制された予測を統合して統合された見積もりを得る段階と
    を有する、請求項１から９の何れか一項に記載の方法。
11. 前記複数の抑制された予測を前記統合することが、前記複数の抑制された予測を平均化する段階、又は、指定された費用関数に基づき、最適な抑制された予測を選択する段階のうち、少なくとも１つを有する、請求項１０に記載の方法。
12. 前記ニューラルネットワークモデルに基づく予測を実行することが、
    複数の画像ゾーンに対応する複数のニューラルネットワーク予測モデルを適用し、前記複数の画像ゾーンのピクセル／ボクセルの複数の予測を得る段階を有し、
    前記複数の画像ゾーンが、生体構造の位置、複数のボクセル濃度値、又はその両方に基づいて定義される、
    請求項１から１１の何れか一項に記載の方法。
13. 前記正規化及び前記前処理を実施することと、前記複数の特徴を抽出することと、前記ニューラルネットワークモデルに基づく予測を実行することと、前記除去することとを実施するべく、複数のソフトウェア命令をダウンロードする段階を更に備える、請求項１から１２の何れか一項に記載の方法。
14. １又は複数の入力画像又は入力画像ボリュームを処理する前に実行される第１のプロセスと、
    前記１又は複数の入力画像又は入力画像ボリュームに対して実行され、前記第１のプロセスの後に実行される、第２のプロセスと
    を備え、
    前記第１のプロセスは、測定された合成のデータに基づいて対のデータを生成するように構成され、前記対のデータの１つ目は、生成された標的データから構成され、前記対のデータの２つ目は、測定装置からの出力に基づく観察可能な結果から構成され、
    前記第１のプロセスは、１又は複数の画像又は画像ボリュームを表すデータから、１又は複数の要素を得る段階を有し、
    前記得る段階は、
    データを正規化及び前処理して、処理済みデータを得る段階と、
    前記処理済みデータから複数の特徴を抽出して、抽出された複数の特徴のセットを得る段階と、
    前記抽出された複数の特徴のセットに基づき、ディープニューラルネットワークモデルを含む少なくとも１つのニューラルネットワークモデルを使用して、前記測定された合成のデータまたは前記測定された合成のデータの派生物から導出されるモデルベース予測を実行し、前記標的データに基づいて前記１又は複数の要素を予測する段階と、
    を含み、
    前記測定された合成のデータまたは前記測定された合成のデータの派生物は、前記１又は複数の要素が除去された、１又は複数の画像又は画像ボリュームを表わす前記データ、もしくは、前記１又は複数の画像又は画像ボリュームを表わすデータ、もしくは、その両方のデータを含み、且つ、前記１又は複数の要素が除去された、１又は複数の画像又は画像ボリュームを表わす前記データ、もしくは、前記１又は複数の画像又は画像ボリュームを表わすデータ、もしくは、その両方のデータへと組み込まれる、１又は複数のシミュレーション構造物を表わすデータを含み、
    前記第２のプロセスは、前記１又は複数の入力画像又は入力画像ボリュームを表すデータから、前記測定された合成のデータの組み合わせを用いるトレーニングプロセスを通じて導かれた前記モデルベース予測によって予測された前記１又は複数の要素のうちの少なくとも１つを除去し、抑制された複数の要素を有する１又は複数の画像および画像ボリュームの少なくとも何れかを得る段階を有する、
    複数の操作をコンピュータに実施させるよう設計された複数の命令を備えるプログラム。
15. 前記第１のプロセスは、前記１又は複数の要素のうちの１又は複数が除去された予測出力を得る段階を更に有する、請求項１４に記載のプログラム。
16. 前記第２のプロセスは、前記１又は複数の要素を、前記第２のプロセスによって操作された前記データから差し引き、前記１又は複数の要素が除去されたデータを得る段階を更に有する、請求項１４または１５に記載のプログラム。
17. 前記１又は複数の画像、又は複数の画像ボリュームが、Ｘ線写真の画像を有し、前記１又は複数の要素が、そのようなＸ線写真の画像で通常見られる１又は複数の構造を有する、請求項１から１３の何れか一項に記載の方法。
18. 請求項１に記載の方法によって得られた生体構造抑制ボリュームを使用する段階を備える、代替的な投影を構築する方法。
19. 前記代替的な投影を表示する段階を更に備える、請求項１８に記載の方法。
20. 異なるボリュームとともに、前記生体構造抑制ボリュームの疾患検出、分割、又はレジストレーションを実行する段階を更に備える、請求項１８または１９に記載の方法。
21. 前記代替的な投影を使用することで、前記第２のプロセスによって操作された前記データを得るのに使用されたモダリティと異なるモダリティからの第２データとともに、前記第２のプロセスによって操作された前記データのレジストレーションを行う段階を更に備える請求項１８から２０の何れか一項に記載の方法。
22. 少なくとも１つのプロセッサと、
    請求項１４から１６の何れか一項に記載のプログラムと、
    を備える装置。