JP2023519878A - 複数のイメージングモダリティにおける関心領域を相関させるためのシステムおよび方法 - Google Patents

Abstract

乳房組織の関心領域を識別するための方法及びシステムは、人工知能を利用して、第１のイメージングモダリティ（例えばＸ線撮像）を用いて乳房組織を撮像する間に識別されたターゲット病変が、第２のイメージングモダリティ（例えば超音波撮像）を用いて識別されていることを確認する。病変マッチングエンジンを動作させるコンピューティングシステムは、さらなる解析のために、病変が識別されたＸ線画像及び対応する超音波画像の事例で訓練された機械学習分類器アルゴリズムを利用する。病変マッチングエンジンは、Ｘ線画像で識別されたターゲット病変と超音波画像で識別された潜在病変を解析し、ターゲット病変と潜在病変が同一である可能性を判定する。病変の一致に対する信頼度レベルのインジケータは、医療従事者が乳房組織内の病変を見つけるのを助けるために、コンピューティングデバイスのディスプレイ上に表示される。

Description

本出願は、ＰＣＴ国際特許出願として２０２１年３月２５日に出願され、２０２０年３月２７日に出願された米国仮特許出願第６３／０００，７０２号に対する優先権の利益を主張し、その開示内容は参照により全体が組み込まれるものとする。

背景
医用画像は、患者の内部構造を視覚化するための非侵襲的な方法を提供する。視覚化方法は、患者の癌のスクリーニング及び診断に使用することができる。例えば、早期スクリーニングは、癌である可能性のある乳房内部の病変を検出することができるので、病気の初期段階で治療を行うことができる。

マンモグラフィとトモシンセシスは、乳房組織を可視化するためにＸ線放射を利用する。これらの技術は、潜在的に癌である病変について患者をスクリーニングするためにしばしば使用される。従来のマンモグラムは、様々な角度から乳房の２次元画像を取得することを含む。トモシンセシスは、乳房の厚さ全体を通して、乳房の個別の層またはスライスの複数のＸ線画像をそれぞれ作成する。トモシンセシスは、乳房の３次元的な視覚化を行う。マンモグラフィとトモシンセシスは、典型的には、患者が立っていて、患者の乳房組織が圧迫されている状態で実行される。

病変が発見された場合、腫瘍があるかどうかを判定するために、次のステップとして診断用超音波が行われることがある。超音波は、典型的には圧電変換器によって生成される音波を用いて、患者の組織を画像化する。超音波画像診断では、組織を異なる角度から見ることができるため、固形の塊を容易に識別することができる。超音波プローブは、円弧状の音波を発生させて音波を収束させ、その音波は体内を伝わり、患者の異なる組織間の層から部分的に反射される。反射した音波はトランスデューサで検出され、電気信号に変換され、超音波スキャナで処理されて組織の超音波画像が形成される。超音波検査は、典型的には、患者が仰臥位で、患者の乳房組織が圧迫されていない状態で行われる。

診断超音波イメージング手順の間、技師及び放射線技師は、しばしば、Ｘ線イメージングの間に以前に識別された病変にナビゲートし、その位置を特定することに困難を伴う。前者は患者が直立しており乳房組織が圧迫されている状態で行われ、後者は患者が横になっており乳房組織が圧迫されていない状態で行われるため、Ｘ線画像から超音波画像への病変の位置の関連付けは困難である。さらに、超音波画像は、Ｘ線画像とは異なるレベルのコントラストを有し、異なる外観を有する。Ｘ線画像処理で検出される病変は、技術の向上によりますます小さくなっており、超音波画像で小さな病変の位置を特定することがより困難になってきている。

本開示は、このような背景のもとになされたものである。技術及び改良が本明細書で提供される。

概要
本開示の実施例は、乳房内部の関心領域の位置を特定する方法に関する。乳房内部のターゲット病変の位置の兆候は、コンピューティングデバイスで受信される。ターゲット病変は、第１のイメージングモダリティを用いて乳房の撮像の間に識別される。乳房の画像が第２のイメージングモダリティによって取得され、潜在的病変が画像内で識別される。ターゲット病変を含む第１の画像は、コンピューティングシステム上で動作する病変マッチングエンジンで解析され、人工知能を用いて潜在的病変を含む第２の画像と比較される。潜在的病変がターゲット病変に対応する確率が判定され、信頼度のレベルのインジケータがグラフィカルユーザインターフェースに表示するために出力される。

別の態様では、病変識別システムは、処理デバイスと、処理デバイスによって実行されると動作の実行を容易にする命令を格納するメモリとを含む。動作は、乳房のＸ線画像にアクセスすることであって、Ｘ線画像は視覚マーカで示された識別された病変を含む、アクセスすることと、乳房の超音波画像を受信することであって、超音波画像は潜在的病変の兆候を含む、受信することと、人工知能病変分類器を用いて潜在的病変及び識別された病変を解析することと、超音波画像における潜在的病変がＸ線画像における識別された病変に一致する可能性を示す信頼度スコアを生成することと、信頼度スコアと関連付けられる出力をグラフィカルユーザインターフェース上に表示させることと、を含む。

更に別の態様では、非一時的機械可読記憶媒体は、プロセッサによって実行されると、動作の実行を容易にする実行可能命令を格納する。動作は以下を含む。データストアからターゲット病変のデータを取得することであって、データはＸ線撮像で取得され、少なくともターゲット病変の画像及び乳房内部のターゲット病変の位置の座標を含む、取得することと、超音波撮像で得られる乳房の画像を記録することと、ターゲット病変の座標に基づいて超音波で得られる乳房の記録画像内の概略の関心領域を識別することと、前記概略の関心領域において潜在的病変を識別することと、人工知能病変分類器を用いて前記潜在的病変を解析し、前記潜在的病変を前記ターゲット病変と比較して、前記潜在的病変が前記ターゲット病変に対応するという信頼度のレベルを判定することと、前記信頼度のレベルのインジケータをグラフィカルユーザインターフェース上に出力することと、である。

別の態様では、病変識別システムは、少なくとも一つの光学カメラと、プロジェクタと、処理デバイスと、処理デバイスによって実行されると動作の実行を容易にする命令を記憶するメモリとを含む。動作は、少なくとも一つの光学カメラを用いて患者の乳房の少なくとも一つの光学画像を撮影することと、乳房の少なくとも一つのトモシンセシス画像にアクセスすることと、少なくとも一つのトモシンセシス画像上のターゲット病変の兆候を受信することと、領域マッチング及び非剛体変形モデルのための人工知能アルゴリズムで解析することにより、少なくとも一つの光学画像及び乳房の少なくとも一つのトモシンセシス画像を共整合することと、前記共整合すること及び前記ターゲット病変の兆候に基づいて確率マップを作成することであって、前記マップは前記ターゲット病変が前記乳房上の複数の点の各々に位置する可能性を示す、作成することと、前記確率マップを前記乳房上にプロジェクタで投影することと、を備える。

一つ以上の技法の詳細は、添付の図面及び以下の説明に記載されている。これらの技術の他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

図１は、乳房内部の関心領域を特定するための例示的なシステムを示す図である。 図２は、イメージングデータを含むヘルスケアデータを管理するための例示的なシステムの概略図である。 図３は、例示的なＸ線撮像システムの概略図である。 図４は、図３のＸ線撮像システムの透視図である。 図５は、左縦断（ＬＭＬＯ）イメージング方向に対する乳房位置決め状態におけるＸ線イメージングシステムを描いている。 図６は、例示的な超音波イメージングシステムを描いている。 図７は、患者の乳房に使用されている図６の超音波撮像システムの一例を描いている。 図８は、本開示の一つ又は複数の態様を実施するために使用可能な例示的なコンピューティングシステムの概略図である。 図９は、乳房内部の関心領域を識別する例示的な方法を示すフロー図である。 図１０は、図１のグラフィカルユーザインターフェースの表示例を示す図である。 図１１は、異なるモダリティから得られた画像内の病変を相関させるための例示的なシステムの概略図である。 図１２は、病変を相関させる例示的な方法を示すフロー図である。

詳細な説明
本開示は、撮像デバイスを用いて乳房組織内部の病変を突き止めるためのシステム及び方法に向けられている。特に、コンピューティングシステムは、機械学習を利用して潜在的病変にナビゲートし、超音波撮像により乳房内で識別された病変とＸ線撮像により識別された病変との間の相関に対する信頼度レベルのインジケータを提供する。

乳房の健康を評価する重要なステップは、スクリーニングＸ線イメージング手順（例えば、マンモグラフィ又はトモシンセシス）である。約１０－１５％の症例において、病変が癌の可能性があるかどうかを判定するための追加の画像診断のために患者を呼び戻す原因となる病変がＸ線画像により識別される。その際、画像診断が行われ、通常、超音波診断が行われる。超音波画像は、嚢胞と固い塊とをより正確に区別することができ、生検が必要とされる場合には、超音波が好ましい画像様式である。

超音波の利点にもかかわらず、臨床医は、超音波イメージングを実行しながら、Ｘ線イメージングで識別された同じ病変を見つけることが困難であると感じることがある。これは、３つの主要な要因によるものである。第１は、Ｘ線撮像手順（例えば、マンモグラフィ又はトモシンセシス）と比較して、超音波手順では乳房の位置が異なるということである。通常、Ｘ線撮像では、患者は直立姿勢で乳房を圧迫しているが、超音波撮影では、患者は通常仰臥位で乳房は圧迫されていない。この位置のずれは、Ｘ線画像で発見された病変を超音波で生成された画像と相関させることを困難にすることがある。

第２の理由は、超音波イメージングモダリティが、異なるコントラストでＸ線イメージングと異なって見えることである。超音波で識別された病変が、以前にＸ線画像で識別されたものと同じものであると確信することは困難である場合がある。

第３に、技術が向上し続けるにつれて、Ｘ線画像処理で検出できる病変はますます小さくなっている。このため、医療従事者が超音波画像中の病変を見つけることがより困難になる。

本明細書に記載のコンピューティングシステムは、超音波で識別された病変とＸ線撮像で識別された病変との間の相関関係の信頼度レベルのインジケータを提供するように動作する。コンピューティングシステムは、デジタル乳房トモシンセシス（ＤＢＴ）症例及び対応する放射線科医相関診断超音波症例のライブラリ上で訓練された人工知能（ＡＩ）モデルを使用する。ＡＩモデルは、新しいＤＢＴ画像と超音波画像を解析し、ある病変が別の病変と相関しているかどうかを判定する。さらに、ＡＩモデルは、ユーザが同じ病変を発見したかどうかを判定するのを支援するために、信頼度レベルのインジケータをユーザに提供することができる。いくつかの例では、ＡＩモデルは、超音波診断中に標的領域へのナビゲーションを速め、解析されるべき画像セットを減らすために、電磁的又は光学的トラッキング入力と組み合わせて採用され得る。幾つかの例では、ＡＩモデルは、信頼度レベルを計算するために形態因子を利用する。形態因子は、乳房の特定の領域を識別するために使用することができる乳房組織の形態学的特徴を含む。いくつかの例では、形態因子は、ほくろ、そばかす、及びタトゥーなどの乳房の表面上の視覚的特徴である。

図１は、乳房内部の関心領域の位置を特定するための例示的な病変識別システム１００を図示している。システム１００は、コンピューティングシステム１０２と、Ｘ線イメージングシステム１０４と、超音波イメージングシステム１０６とを含む。いくつかの例では、病変識別システム１００は、関心領域が最初に識別されたＸ線撮像手順中に収集されたデータに基づいて、超音波撮像中に医療従事者を乳房内の関心領域に誘導するように動作する。いくつかの例では、病変識別システム１００は、超音波画像上で見える病変がＸ線画像で以前に識別された同じ病変であることを医療従事者が確認するのを支援するために、ディスプレイ上で医療従事者に信頼度レベルのインジケータを提供する。

コンピューティングシステム１０２は、Ｘ線イメージングシステム１０４及び超音波イメージングシステム１０６から受信した情報を処理し、保存するように動作する。図１の例では、コンピューティングシステム１０２は、病変マッチングエンジン１１０及びデータストア１１２を含む。いくつかの例では、病変マッチングエンジン１１０及びデータストア１１２は、コンピューティングシステム１０２のメモリ内部に収容される。いくつかの例では、コンピューティングシステム１０２は、クラウドコンピューティング環境などのリモートサーバから病変マッチングエンジン１１０及びデータストア１１２にアクセスする。図１は、システム１００の他の構成要素から独立したものとしてコンピューティングシステム１０２を示しているが、それはまた、Ｘ線コンピューティングデバイス１１６、超音波コンピューティングデバイス１１８、又は患者のケアに利用される他のコンピューティングデバイスに組み込まれることも可能である。いくつかの例では、コンピューティングシステム１０２は、二つ以上のコンピューティングデバイスを含む。

病変マッチングエンジン１１０は、ターゲット病変のＸ線画像及び潜在的病変の超音波画像を解析して、潜在的病変がターゲット病変と同じであるか否かを判定するように動作する。図１の例では、人工知能ユニット１２４を学習させるために、ＤＢＴトレーニングデータストア１２２が利用される。ＤＢＴトレーニングデータストア１２２には、病変が識別された複数の事例が、超音波画像とＸ線画像とが対応付けて格納されている。例題は、医療従事者によって確認されたマッチングである。人工知能ユニット１２４は、機械学習アルゴリズムを用いてこれらの事例を解析し、超音波画像とＸ線画像とのマッチングに使用できる特徴を識別する。これらの特徴は、画像分類器を生成するために使用される。

病変分類器を生成するために、様々な機械学習技法を利用することができる。いくつかの例では、機械学習アルゴリズムは、教師あり機械学習アルゴリズムである。他の例では、機械学習アルゴリズムは、教師なし機械学習アルゴリズムである。いくつかの例では、機械学習アルゴリズムは、人工ニューラルネットワークに基づく。いくつかの例では、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ）である。いくつかの例では、機械学習アルゴリズムは、畳み込みディープニューラルネットワーク（ＣＮＮ）である。いくつかの例では、分類器を生成するために、二つ以上のネットワークの組み合わせが利用される。いくつかの例では、二つ以上のアルゴリズムが、例示的な事例データから特徴を生成するために利用される。

得られた訓練された機械学習分類器は、Ｘ線画像及び超音波画像のセットを比較するために画像アナライザ１２６によって利用される。乳房内部の形状、色、余白、方向、テクスチャ、パターン、密度、硬さ、サイズ、及び深さを含む様々な指標が、病変を比較するために利用される。いくつかの例では、指標は数値である。信頼度評価器１２８は、画像アナライザ１２６と連動して動作し、超音波イメージングで識別された潜在的病変がＸ線イメージングで識別された病変と同じであるという信頼度のレベルを判定する。いくつかの例では、信頼度評価器１２８によって信頼度スコアが生成される。いくつかの例では、信頼度レベルは、“高”、“中”、又は“低”などの、信頼度のカテゴリを示し得る。代替の例では、信頼度レベルは、“９９％”、“７５％”、又は“４４％”などのパーセンテージとして提供される。最後に、グラフィカルユーザインターフェース（ＧＵＩ）１３０は、コンピューティングデバイスのディスプレイ上に情報を提示するように動作する。いくつかの例では、ＧＵＩ１３０は、解析されている組織の一つ又は複数の画像上に信頼度レベルのインジケータを表示する。

いくつかの例では、病変マッチングエンジン１１０は、二つの異なるタイプの画像上で領域マッチングを実行するように動作する。いくつかの例では、領域マッチングは、乳房組織の形態因子及び他の特徴を使用して、二つの異なるイメージングモダリティ間で乳房の領域をマッチングするために、人工知能アルゴリズムを使用して実行される。幾つかの例では、解析は、共整合技術を使用して、病変が乳房上に位置すると予想される位置に対する確率的な値を提供する。幾つかの例では、人工知能モデルは、非剛体変形可能モデルと共に動作して、ターゲット病変と潜在的病変とが同じである尤度を判定する。

データストア１１２は、Ｘ線イメージングシステム１０４、超音波イメージングシステム１０６、及び病変マッチングエンジン１１０から受信した情報を格納するように動作する。いくつかの例では、データストア１１２は、実際には二つ以上の別個のデータストアである。例えば、一つのデータストアは、Ｘ線撮像システムからの画像を格納するリモートデータストアであり得る。別のデータストアは、コンピューティングシステム１０２内部にローカルに収容され得る。いくつかの例では、データストア１１２は、電子医療記録（ＥＭＲ）システムの一部であり得る。

Ｘ線イメージングシステム１０４は、Ｘ線放射を使用して乳房組織の画像を撮影するように動作する。Ｘ線イメージングシステム１０４は、Ｘ線イメージングデバイス１１４と、Ｘ線イメージングデバイス１１４と通信しているＸ線コンピューティングデバイス１１６とを含む。いくつかの例では、Ｘ線イメージングシステム１０４は、デジタル乳房トモシンセシス（ＤＢＴ）を実行する。Ｘ線イメージングデバイス１１４は、図３－５に関連して更に詳細に説明される。Ｘ線コンピューティングデバイス１１６は、医療従事者Ｈから入力を受け取ってＸ線イメージングデバイス１１４を動作し、Ｘ線イメージングデバイス１１４から受け取った画像を表示するように動作する。

超音波イメージングシステム１０６は、超音波を使用して乳房組織の画像を撮影するように動作する。超音波イメージングシステム１０６は、図６－７に関連して更に詳細に説明される。超音波イメージングシステム１０６は、超音波コンピューティングデバイス１１８と超音波イメージングデバイス１２０を含む。超音波コンピューティングデバイス１１８は、医療従事者Ｈから入力を受け取って超音波イメージングデバイス１２０を動作させ、超音波イメージングデバイス１２０から受け取った画像を表示するように動作する。

図１は、Ｘ線イメージングシステム１０４から得られた情報が、超音波イメージングシステム１０６によってどのように利用され得るかを示す図である。医療従事者Ｈは、Ｘ線コンピューティングデバイス１１６を動作して、Ｘ線イメージングデバイス１１４を使用して患者Ｐの乳房のＸ線画像を撮影する。Ｘ線画像は、定期的な健康診断の一部として撮影されることがある。スクリーニングの間、医療従事者Ｈは、患者Ｐの乳房において、それらの関心領域内部の病変が潜在的に癌であり生検を必要とするかどうかを判定するために追加の解析を必要とする一つ又は複数の関心領域を識別する。

いくつかの例では、関心領域の座標は、Ｘ線コンピューティングデバイス１１６で記録され、コンピューティングシステム１０２に伝達され得る。Ｘ線コンピューティングデバイス１１６によって記録された座標は、その全体が参照により組み込まれる、アトーニードケット０４５７６．０１１２ＵＳＰ１である同時係属米国特許出願に記載されているように、組織変形モデルとして用いて解析される。

いくつかの例では、第１の座標のセットは、乳房が圧迫されている間に識別された病変の、位置を識別する。第１の座標のセットは、乳房が圧迫されていない間に識別される病変の、予測される位置を識別する第２の座標のセットに変換される。第２の座標に対応する、超音波画像中の関心領域が、識別される。これにより、医療従事者は、超音波画像内の潜在的病変を識別することができる。

解析の出力は、イメージング手順が行われた場所とは異なる場所である可能性がある後の画像検査で使用するために超音波コンピューティングデバイス１１８に伝達することができる予測座標のセットである。超音波コンピューティングデバイス１１８を動作する医療従事者Ｈは、予測座標を使用して、超音波イメージングデバイス１２０を使用して患者Ｐの乳房上の関心領域にナビゲートする。

いくつかの実施例では、Ｘ線画像は、超音波イメージングデバイス１２０から受信される超音波画像と共に超音波コンピューティングデバイス１１８のユーザインターフェースに表示される。関心領域の予測座標や患者の乳房の画像上のバイオマーカの兆候など、追加の情報を超音波コンピューティングデバイス１１８に表示することができる。幾つかの実施例では、画像上にターゲット病変の位置を示す視覚的マーカが表示される。幾つかの例では、ターゲット病変がどこに位置する可能性が最も高いかを示す確率マッピングが画像上に表示され得る。

超音波コンピューティングデバイス１１８を動作する医療従事者Ｈは、同じ患者Ｐに対するＸ線画像において以前に識別された病変と潜在的に一致する超音波画像中の潜在的病変を探し出す。超音波画像及び潜在的病変の兆候は、解析のためにコンピューティングシステム１０２に伝達される。いくつかの例では、マンモグラフィ画像、対象関心領域、及びＢモード画像は、同じＧＵＩ上に表示される。ＧＵＩ１３０は、超音波システムのオペレータを関心領域へ視覚的に案内するのに役立つ一方、超音波プローブの位置、向き、及び注釈の文書化を自動化することも可能である。

いくつかの例では、識別された病変を含むＸ線画像及び潜在的病変を含む超音波画像は、コンピューティングシステム１０２の病変マッチングエンジン１１０によって解析される。病変マッチングエンジン１１０は、潜在的病変に対する信頼度レベルのインジケータを出力し、その信頼度レベルのインジケータを超音波コンピューティングデバイス１１８に伝達する。信頼度レベルのインジケータは、超音波コンピューティングデバイス１１８上のＧＵＩに表示される数値、色、又はカテゴリであり得る。例示的なＧＵＩは、図１０に記載されている。

いくつかの実施例では、図１１－１２に記載されているように、病変マッチングエンジン１１０は、確率マッピングを生成するように動作する。いくつかの実施例では、光学カメラは、超音波によって検査されている乳房の画像を捕捉する。乳房の以前に得られたＸ線画像は、共整合技術及び人工知能領域マッチングを使用してアクセスされ、解析される。解析から生成された確率マッピングは、医療従事者Ｈがターゲット病変を見つけるのを助けるために、乳房に視覚的に投影される。確率マッピングを含む例示的なＧＵＩ１３０は、図１１に示されている。

図２は、イメージングデータを含むヘルスケアデータを管理するための例示的なシステム１５０の概略図である。システム１５０は、通信ネットワーク１５２を介して互いに通信している複数のコンピューティングコンポーネントを含む。コンピューティングコンポーネントは、図１で説明したコンピューティングシステム１０２、Ｘ線イメージングシステム１０４、及び超音波イメージングシステム１０６に加えて、トラッキングシステム１５４、ナビゲーションシステム１５６、電子医療記録（ＥＭＲ）システム１５８、及びディスプレイシステム１６０を含むことができる。

「システム」は機能ブロックとして図１に示されているが、異なるシステムが共通のデバイスに統合されてもよく、通信リンクはすべてのシステムより少ないものの間に結合されてもよいことに留意すべきである。例えば、トラッキングシステム１５４、ナビゲーションシステム１５６及びディスプレイシステム１６０は、放射線学スイートにおける画像の取得を制御しうる取得ワークステーション又は技師ワークステーションに含まれてもよい。あるいは、ナビゲーションシステム１５６及びトラッキングシステム１５４は、超音波イメージングシステム１０６に統合されてもよいし、ディスプレイ１６０、Ｘ線イメージングシステム１０４及び超音波イメージングシステム１０６への個別の通信リンクを有するスタンドアロンモジュールとして提供されてもよい。同様に、当業者は、通信ネットワーク１５２が、ローカルエリアネットワーク、ワイドエリアネットワーク、無線ネットワーク、インターネット、イントラネット、又は他の同様の通信ネットワークであり得ることを追加的に理解するであろう。

一実施例では、Ｘ線イメージングシステム１０４は、Ｘ線管が乳房上の経路を横切って走査する際に患者の乳房の投影画像のセットを捕捉するトモシンセシス捕捉システムである。一組の投影画像は、その後、任意の平面に沿ったスライス又はスラブとして見ることができる３次元ボリュームに再構築される。３次元ボリュームは、Ｘ線イメージングシステム１０４（Ｘ線イメージングデバイス１１４上又はＸ線コンピューティングデバイス１１６上のいずれか）又は通信ネットワーク１５２を介してＸ線イメージングシステム１０４と通信しているデータストア１１２などのデータストアにローカルに格納されてもよい。いくつかの例では、３次元ボリュームは、電子医療記録（ＥＭＲ）システム１５８内部の患者のファイルに格納され得る。例示的なＸ線撮像システムに関する追加の詳細が、図３－５に関連して説明される。

Ｘ線イメージングシステム１０４は、３次元Ｘ線画像ボリュームを通信ネットワーク１５２を介してナビゲーションシステム１５６に送信し、そこでかかるＸ線画像を保存し閲覧することができる。ナビゲーションシステム１５６は、Ｘ線撮像システムによって得られたＸ線画像を表示する。ナビゲーションシステム１５６に表示するために再構成されると、Ｘ線画像は、任意の平面及び任意のスライス位置又は方向で画像を見るために再フォーマット及び再位置決めすることができる。いくつかの実施例では、ナビゲーションシステム１５６は、Ｘ線画像スライスの代替的な位置又は向きを示す複数のフレーム又はウィンドウを同一画面上に表示する。

熟練者は、Ｘ線イメージングシステム１０４によって得られたＸ線画像ボリュームは、任意の時点でナビゲーションシステム１５６に送信することができ、必ずしもＸ線画像ボリュームを得た直後に送信する必要はなく、代わりにナビゲーションシステム１５６の要求に応じて送信できることを理解されよう。代替例では、Ｘ線画像ボリュームは、フラッシュドライブ、ＣＤ－ＲＯＭ、ディスケット、又は他のそのような搬送可能な媒体デバイスによって、ナビゲーションシステム１５６に送信される。

超音波イメージングシステム１０６は、典型的には超音波プローブを使用して、超音波プローブの視野内部にある患者の組織の一部を画像化するために、患者の組織の超音波画像を得る。例えば、超音波イメージングシステム１０６は、乳房を画像化するために使用されてもよい。超音波イメージングシステム１０６は、超音波プローブの視野内部の患者の解剖学的構造の超音波画像を取得して表示し、典型的には、患者が画像化されているときにリアルタイムで画像を表示する。いくつかの例では、超音波画像は、さらに、後の時間における再構成又は再生のために、ハードドライブ、ＣＤ－ＲＯＭ、フラッシュドライブ又はディスケットなどの記憶媒体に保存することができる。超音波画像化システムに関する追加の詳細は、図６－７を参照して説明される。

いくつかの実施例では、ナビゲーションシステム１５６は超音波画像にアクセスすることができ、そのような実施例では、超音波イメージングシステム１０６はさらに通信ネットワーク１５２に接続され、超音波イメージングシステム１０６によって得られた超音波画像のコピーは通信ネットワーク１５２を介してナビゲーションシステム１５６に送信されることができる。他の実施例では、ナビゲーションシステム１５６は、通信ネットワーク１５２を介して超音波画像に遠隔でアクセスし、コピーすることができる。代替例では、超音波画像のコピーは、通信ネットワーク１５２を介してナビゲーションシステム１５６と通信しているデータストア１１２又はＥＭＲシステム１５８上に格納され、ナビゲーションシステム１５６によって遠隔的にアクセスされることができる。

トラッキングシステム１５４は、通信ネットワーク１５２を介してナビゲーションシステム１５６と通信しており、超音波イメージングシステム１０６が患者の組織をイメージングしている物理的位置を追跡することができる。いくつかの例では、トラッキングシステム１５４は、直接通信リンク又は無線通信リンクを介してナビゲーションシステム１５６に直接接続されることができる。トラッキングシステム１５４は、超音波イメージングシステム１０６に接続された送信機の位置を追跡し、ナビゲーションシステム１５６にトラッカー座標空間におけるそれらの座標を表すデータを提供する。いくつかの例では、トラッキングシステム１５４は、光学カメラ及び光学送信機からなる光学トラッキングシステムであってもよいが、当業者は、空間内の物体の位置を追跡することができる任意のデバイス又はシステムを使用することができることを理解されよう。例えば、当業者は、いくつかの例において、ＲＦ受信機及びＲＦ送信機からなる無線周波数（ＲＦ）トラッキングシステムを使用することができることを理解するであろう。

超音波イメージングシステム１０６は、トラッキングシステム１５４を用いた較正プロセスによって、ナビゲーションシステム１５６と共に使用するように構成されることができる。超音波イメージングシステム１０６の超音波プローブに接続される送信機は、その位置をトラッキングシステム１５４にトラッカー座標空間において送信してもよく、トラッキングシステム１５４はこの情報をナビゲーションシステム１５６に提供する。例えば、トラッキングシステム１５４が超音波プローブの位置及び向きを監視し、この情報をトラッカー座標空間でナビゲーションシステム１５６に提供できるように、送信機が超音波イメージングシステム１０６のプローブ上に配置されてもよい。ナビゲーションシステム１５６は、この追跡された位置を使用して、送信機の追跡された位置に対する、超音波プローブの位置及び向きを判定することができる。いくつかの例では、ナビゲーションシステム１５６及びトラッキングシステム１５４は、患者Ｐの超音波イメージングを行う医療従事者Ｈにリアルタイムのガイダンスを提供するように動作する。

いくつかの実施例では、構成は構成ツールを用いて行われる。このような例では、構成ツールの位置及び方向は、トラッキングシステム１５４によって追加的に追跡され得る。構成中、構成ツールは超音波イメージングシステム１０６の超音波プローブのトランスデューサフェースに接触し、トラッキングシステム１５４は、トラッカー座標空間における構成ツールの位置及び向きを表す情報をナビゲーションシステム１５６に送信する。ナビゲーションシステム１５６は、超音波プローブに接続された送信機の追跡された位置に基づいて、トラッカー座標空間における超音波プローブの視野の位置及び向きを判定するために、使用できる構成マトリックスを判定してもよい。代替例では、様々な超音波プローブの複数のブランド又はモデルの構成データを有するデータベースを使用して、構成中に視野構成をナビゲーションシステム１５６に予めロードすることができる。

超音波イメージングシステム１０６がナビゲーションシステム１５６と共に構成されると、患者の組織が超音波イメージングシステム１０６で撮像されることができる。超音波撮像中、トラッキングシステム１５４は、超音波イメージングシステム１０６の超音波プローブの位置及び向きを監視し、この情報をトラッカー座標空間においてナビゲーションシステム１５６に提供する。超音波イメージングシステム１０６は、ナビゲーションシステム１５６と共に使用するように構成されているので、ナビゲーションシステム１５６は、超音波イメージングシステム１０６の超音波プローブの視野の位置及び向きを判定することが可能である。

ナビゲーションシステム１５６は、超音波画像をＸ線画像に共整合するように構成することができる。いくつかの例では、ナビゲーションシステム１５６は、超音波プローブの視野の位置及び向きを、トラッカー座標空間からＸ線画像内の位置及び向き、例えば、Ｘ線システム座標に変換するように構成することができる。これは、超音波プローブの位置及び向きを追跡し、トラッカー座標空間におけるこの位置情報をナビゲーションシステム１５６に送信し、この位置情報をＸ線座標系に関連付けることによって、達成することができる。いくつかの実施例では、共整合された画像はＧＵＩ１３０上に表示される。

例えば、ユーザはＸ線画像内部の解剖学的平面を選択することができ、次にユーザは追跡された超音波プローブの位置及び向きを操作して超音波プローブの視野を選択された解剖学的平面に整列させることができる。アライメントが達成されると、超音波画像の関連する追跡空間座標を捕捉することができる。Ｘ線画像とトラッカー座標空間との間の解剖学的軸（上－下（ＳＩ）、左－右（ＬＲ）及び前－後（ＡＰ））の登録は、当業者に周知の技術を使用して、追跡超音波視野方向と選択された解剖学的平面との相対回転差から判定され得る。

この構成は、例えば、ユーザが解剖学的ターゲットを選択することを可能にするインターフェースを用いて、Ｘ線画像内部のランドマークを選択することを更に含むことができる。いくつかの例では、ランドマークは、静脈又は動脈などの内部組織ランドマークとすることができ、他の例では、ランドマークは、乳首などのフィデューシャル皮膚マーカ又は外部ランドマークとすることができる。Ｘ線画像で選択された同じランドマークを超音波プローブで位置決めすることができ、位置決めの際に、トラッカー座標空間におけるターゲットの表現の座標を取り込むための機構が提供され得る。Ｘ線画像におけるターゲットの座標とトラッカー座標空間におけるターゲットの座標の相対的な差は、二つの座標空間の位置合わせに必要な並進パラメータを判定するために使用される。以前に取得した平面方位情報を並進パラメータと組み合わせて、二つの座標空間を共整合することができる完全な４×４変換行列を提供することができる。

次に、ナビゲーションシステム１５６は、表示されている組織のスライスが超音波イメージングシステム１０６の超音波プローブの視野と同じ平面及び同じ向きになるように、変換行列を使用して表示されているＸ線画像を再フォーマットすることができる。一致した超音波画像及びＸ線画像は、次に、単一の画像表示フレームにおいて並んで表示されてもよく、又は直接重ねられて表示されてもよい。いくつかの例では、ナビゲーションシステム１５６は、表示画面上の別個のフレーム又は位置で追加のＸ線画像を表示することができる。例えば、Ｘ線画像は、超音波イメージングシステム１０６の視野のグラフィカル表現と共に表示することができ、視野のグラフィカル表現は、Ｘ線画像の３Ｄ表現を通してスライスして表示される。他の実施例では、注釈を追加的に表示することができ、これらの注釈は、例えば、生検針、誘導ワイヤ、イメージングプローブ又は他の同様のデバイスなど、超音波イメージングシステム１０６によってイメージングされた器具の位置を表すものである。

他の実施例では、超音波イメージングシステム１０６によって表示されている超音波画像は、ユーザがＸ線画像と超音波画像の両方を同じディスプレイ上に重ねて同時に見ることができるように、ナビゲーションシステム１５６によって表示されているＸ線画像のスライス上に重ね合わせることができる。いくつかの例では、ナビゲーションシステム１５６は、スーパーインポーズされた超音波又はＸ線画像の特定の態様を強化して、得られる結合された画像の品質を向上させることができる。

図１で説明したように、病変マッチングエンジン１１０を動作させるコンピューティングシステム１０２は、Ｘ線画像及び超音波画像のセットを解析して、超音波画像で識別された病変がＸ線画像で識別されたのと同じ病変であるという信頼度レベルを判定する。信頼度レベルのインジケータは、超音波イメージングシステム１０６を動作するユーザが、Ｘ線画像において以前に識別された病変が対応する超音波画像において発見されたかどうかを判定するのを助けるために、コンピューティングデバイス上に表示されることが可能である。

電子医療記録システム１５８は、複数の電子医療記録（ＥＭＲ）を格納する。各ＥＭＲは、患者の医療及び治療履歴を含む。電子医療記録システム１５８の例としては、Ｅｐｉｃ Ｓｙｓｔｅｍｓ Ｃｏｒｐｏｒａｔｉｏｎ、Ｃｅｒｎｅｒ Ｃｏｒｐｏｒａｔｉｏｎ、Ａｌｌｓｃｒｉｐｔｓ、Ｍｅｄｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ．（Ｍｅｄｉｔｅｃｈ）によって開発及び管理されるものが挙げられる。

図３は、例示的なＸ線イメージングシステム１０４の概略図である。図４は、Ｘ線イメージングシステム１０４の透視図である。図３及び図４を同時に参照すると、Ｘ線イメージングシステム１０４は、静的乳房支持プラットフォーム２０６及び可動圧縮パドル２０８を含む乳房圧縮イモビライザユニット２０４を介してＸ線撮像（マンモグラフィ及びトモシンセシスのいずれか又は両方）用に患者の乳房２０２を固定化する。乳房支持プラットフォーム２０６及び圧縮パドル２０８はそれぞれ、乳房２０２を圧縮して固定化するために互いに向かって移動する圧縮面２１０及び２１２を有している。既知のシステムでは、圧縮面２１０、２１２は、乳房２０２に直接接触するように露出している。プラットフォーム２０６はまた、画像レセプタ２１６と、任意に傾斜機構２１８と、任意に散乱防止グリッドを収容する。イモビライザユニット２０４は、Ｘ線源２２２から発せられるイメージングビーム２２０の経路内にあり、ビーム２２０が画像レセプタ２１６に衝突するようになっている。

イモビライザユニット２０４は、第１の支持アーム２２４に支持され、Ｘ線源２２２は第２の支持アーム２２６に支持される。マンモグラフィの場合、支持アーム２２４及び２２６は、システム１０４が各方向でマンモグラム投影画像を撮影できるように、ＣＣ及びＭＬＯなどの異なる撮影方向間で軸２２８を中心にユニットとして回転することが可能である。動作において、画像が撮影される間、画像レセプタ２１６はプラットフォーム２０６に対して所定位置に留まる。イモビライザユニット２０４は、アーム２２４、２２６の異なる撮像方向への移動のために乳房２０２を解放する。トモシンセシスの場合、支持アーム２２４は乳房２０２を固定化して定位置に留まり、少なくとも第２の支持アーム２２６はＸ線源２２２を軸２２８を中心としてイモビライザユニット２０４及び圧縮された乳房２０２に対して相対的に回転させる。システム１０４は、乳房２０２に対するビーム２２０のそれぞれの角度で、乳房２０２の複数のトモシンセシス投影画像を撮影する。

同時かつ任意に、画像レセプタ２１６は、乳房支持プラットフォーム２０６に対して、第２の支持アーム２２６の回転と同期して傾斜させることができる。傾斜は、Ｘ線源２２２の回転と同じ角度を通ることができるが、ビーム２２０が複数の画像の各々について画像レセプタ２１６上の同じ位置に実質的に留まるように選択される異なる角度を通ることもできる。傾斜は、軸２３０を中心とすることができ、この軸は、画像レセプタ２１６の画像平面内にあることができるが、そうである必要はない。画像レセプタ２１６に結合される傾斜機構２１８は、画像レセプタ２１６を傾斜動作で駆動することができる。

トモシンセシス撮像及び／又はＣＴ撮像の場合、乳房支持プラットフォーム２０６は水平にすることができ、又は水平に対して斜めにすることができ、例えばマンモグラフィにおける従来のＭＬＯ撮像の場合と同様の向きですることができる。Ｘ線イメージングシステム１０４は、単独でマンモグラフィシステム、ＣＴシステム、又は単独でトモシンセシスシステム、又は複数の形態の撮像を実行できる「コンボ」システムであり得る。このようなコンボシステムの一例は、本発明の譲受人によってＳｅｌｅｎｉａ Ｄｉｍｅｎｓｉｏｎｓという商品名で提供されてきた。いくつかの例では、初期イメージングが磁気共鳴イメージング（ＭＲＩ）で行われる。

システムが作動すると、画像レセプタ２１６は、イメージングビーム２２０による照明に応答して画像情報を生成し、それを画像プロセッサ２３２に供給して乳房Ｘ線画像を処理し生成させる。ソフトウェアを含むシステム制御及びワークステーションユニット２３８は、システムの動作を制御し、オペレータと相互作用してコマンドを受け取り、処理されたＸ線画像を含む情報を提供する。

図５は、左縦斜めＭＬＯ（ＬＭＬＯ）撮像方向に対する乳房位置決め状態における例示的なＸ線イメージングシステム１０４を示す図である。システム１０４のチューブヘッド２５８は、システム１０４のガントリ２５６に対して概ね平行になるように、又はそうでなければ乳房が置かれる支持アーム２６０の平坦部分に対して法線上にないように、向きが設定される。この位置では、技師は、チューブヘッド２５８の下に潜ったりしゃがんだりすることなく、乳房をより容易に位置決めすることができる。

Ｘ線イメージングシステム１０４は、Ｘ線イメージングシステム１０４を床上に支持するための床マウント又はベース２５４を含む。ガントリ２５６は、フロアマウント２５２から上方に延び、チューブヘッド２５８及び支持アーム２６０の両方を回転可能に支持する。チューブヘッド２５８及び支持アーム２６０は、互いに離散的に回転するように構成され、また、異なる高さの患者に対応するようにガントリのフェース２６２に沿って昇降させることができる。本明細書の他の箇所で説明され、ここでは示されていないＸ線源が、チューブヘッド２５８内部に配置される。支持アーム２６０は、その中にＸ線受容器及び他の構成要素（図示せず）を含む支持プラットフォーム２６４を含む。圧縮アーム２６６は、支持アーム２６０から延び、撮像処置中に患者の乳房を圧縮するための圧縮パドル２６８を（支持アーム２６０に対して）直線的に昇降するように構成される。チューブヘッド２５８及び支持アーム２６０を合わせてＣアームと呼ぶことがある。

Ｘ線イメージングシステム１０４には、多数のインターフェース及び表示画面が配置されている。これらには、フットディスプレイスクリーン２７０、ガントリインターフェース２７２、支持アームインターフェース２７４、及び圧迫アームインターフェース２７６が含まれる。一般に、様々なインターフェース２７２、２７４、及び２７６は、Ｘ線イメージングシステム１０４とのユーザ対話及び制御を可能にするように、一つ以上の触覚ボタン、ノブ、スイッチ、並びにグラフィックユーザインターフェース（ＧＵＩ）を有する容量性タッチスクリーンを含む一つ以上のディスプレイ・スクリーンを含んでもよい。例では、インターフェース２７２、２７４、２７６は、図１のＸ線コンピューティングデバイス１１６などのシステムコントロール及びワークステーションでも利用可能な制御機能性を含んでもよい。任意の個々のインターフェース２７２、２７４、２７６は、所定の設定、ユーザの好み、または動作要件に少なくとも部分的に基づいて、継続的または選択的に、他のインターフェース２７２、２７４、２７６で利用可能な機能性を含んでもよい。一般的に、および以下に説明するように、フットディスプレイスクリーン２７０は主に表示画面であるが、必要または所望の場合には静電容量式タッチスクリーンが利用されるかもしれない。

実施例では、ガントリインターフェース２７２は、撮像方向の選択、患者情報の表示、支持アーム昇降又は支持アーム角度（傾斜又は回転）の調整、安全機能等の機能性を可能にし得る。例では、支持アームインターフェース２７４は、支持アーム昇降又は支持アーム角度（傾斜又は回転）の調整、圧迫アーム昇降の調整、安全機能等の機能性を可能にすることができる。例では、圧迫アームインターフェース２７６は、圧迫アーム昇降の調節、安全機能などの機能性を可能にすることができる。更に、圧迫アームインターフェース２７６に関連する一つ以上のディスプレイは、加えられた圧迫アーム力、選択された撮像方向、患者情報、支持アーム昇降又は角度設定等の、より詳細な情報を表示してもよい。フットディスプレイスクリーン２７０は、特定の用途に必要又は望まれるように、圧迫アームインターフェース２７６のディスプレイによって表示されるような情報、又は追加的又は異なる情報を表示することもできる。

図６は、超音波イメージングシステム１０６の一例を示す図である。超音波イメージングシステム１０６は、超音波トランスデューサ３０４を含む超音波プローブ３０２を含む。超音波トランスデューサ３０４は、超音波３０６のアレイを放射するように構成される。超音波トランスデューサ３０４は、電気信号を超音波３０６に変換する。超音波トランスデューサ３０４は、乳房内部の病変などの患者の内部部分から反射された超音波音波などの超音波音波を検出するように構成されることもある。いくつかの例では、超音波トランスデューサ３０４は、容量性トランスデューサ及び／又は圧電トランスデューサ、並びに他の適切な変換技術を組み込んでもよい。

超音波トランスデューサ３０４はまた、ディスプレイ３１０に作動的に（例えば、有線又は無線で）接続される。ディスプレイ３１０は、超音波画像を生成及び解析するように構成されたプロセッサ及びメモリを含む図２の超音波コンピューティングデバイス１１８のようなコンピューティングシステムの一部であってよい。ディスプレイ３１０は、患者の超音波撮像に基づく超音波画像を表示するように構成される。

超音波イメージングシステム１０６で実行される超音波イメージングは主にＢモードイメージングであり、これは患者の内部の一部の断面の２次元超音波画像をもたらす。結果として得られる画像のピクセルの輝度は、一般に、反射された超音波の振幅又は強度に対応する。

他の超音波イメージングモードも利用され得る。例えば、超音波プローブは、乳房の３Ｄモデルを構築するために乳房に対する複数の角度から超音波画像データを取得する３Ｄ超音波モードで動作してよい。

いくつかの例では、超音波画像は、取得プロセス中に表示されないことがある。むしろ、Ｂモード画像が表示されることなく、超音波データが取得され、乳房の３Ｄモデルが生成される。

超音波プローブ３０２はまた、プローブローカライゼーショントランシーバ３０８を含んでもよい。プローブローカライゼーショントランシーバ３０８は、超音波プローブ３０２のローカライゼーション情報を提供する信号を放出するトランシーバである。プローブローカライゼーショントランシーバ３０８は、情報を送受信するための無線周波数識別（ＲＦＩＤ）チップ又はデバイス、並びに加速度計、ジャイロスコープデバイス、又は方向情報を提供することができる他のセンサを含んでもよい。例えば、プローブローカライゼーショントランシーバ３０８によって発せられた信号は、超音波プローブ３０２の向き又は位置を判定するために処理されてもよい。超音波プローブ３０２の向き及び位置は、デカルト座標又は球座標などの３次元成分で判定又は提供されてもよい。また、超音波プローブ３０２の向き及び位置は、切開器具、マーカ、磁気方向、重力に対する法線など、他の項目との相対的な関係で判定又は提供されてもよい。超音波プローブ３０２の向き及び位置により、以下でさらに説明するように、患者内部の病変に外科医を誘導するのを支援するために、追加の情報を生成して外科医に提供することができる。トランシーバという用語が本明細書で使用されているが、この用語は、送信機、受信機、及びトランシーバの両方を、それらの任意の組み合わせと共にカバーすることが意図されている。

図７は、患者の乳房３１２で使用されている超音波イメージングシステム１０６の一例を描いている。超音波プローブ３０２は、乳房３１２の一部と接触している。図７に描かれた位置では、超音波プローブ３０２は、乳房３１２の病変３１４を画像化するために使用されている。病変３１４を画像化するために、超音波トランスデューサ３０４は、乳房３１２の内部に超音波３０６のアレイを放射する。超音波３０６の一部は、病変が視野内にある場合、病変３１４などの乳房の内部構成要素から反射され、反射した超音波３１６として超音波プローブ３０２に戻る。反射した超音波３１６は、超音波トランスデューサ３０４によって検出されてもよい。例えば、超音波トランスデューサ３０４は、反射した超音波３１６を受信し、反射した超音波３１６を電気信号に変換し、処理及び解析してディスプレイ３１０上に超音波画像データを生成することができる。

撮像面における病変３１４等の深さは、超音波プローブ３０２から超音波３０６のパルスが発せられ、反射した超音波３１６が超音波プローブ３０２によって検出されるまでの時間から判定することができる。例えば、音速は周知であり、軟部組織に基づく音速の影響も判定可能である。従って、超音波３０６の飛行時間（より具体的には、飛行時間の半分）に基づいて、超音波画像内部のオブジェクトの深さを判定することができる。組織を通る波の屈折及び変速を補償するような、物体深度を判定するための他の補正又は方法もまた、実施されてもよい。当業者であれば、医用超音波イメージング技術における深さ測定の更なる詳細を理解することができる。このような深さ測定及び判定は、乳房３１２の３Ｄモデルを構築するために使用されてもよい。

さらに、超音波技術の複数の周波数又はモードが利用されてもよい。例えば、撮像周波数及び捕捉周波数と同様に、局在化周波数のリアルタイム及び同時送受信多重化が実施されてもよい。これらの能力の利用は、ディスプレイ３１０上での病変及び他の医用画像の視覚化を可能にするために、超音波技術からの複数のデータセットを共整合又は融合するための情報を提供する。撮像周波数及びキャプチャシーケンスは、他の撮像モード及び技術の中でも、Ｂモード撮像（複合化あり又はなし）、ドップラーモード（例えば、カラー、二重）、高調波モード、せん断波及び他のエラストグラフィモード、並びに造影超音波を含んでもよい。

図８は、コンピューティングデバイス４００の物理的構成要素の一例を示すブロック図である。コンピューティングデバイス４００は、コンピューティングシステム１０２、Ｘ線コンピューティングデバイス１１６、及び超音波コンピューティングデバイス１１８などの、病変識別システム１００又は画像データを管理するためのシステム１５０と組み合わせて利用される任意のコンピューティングデバイスであり得る。

図８に示す例では、コンピューティングデバイス４００は、少なくとも一つの中央処理装置（「ＣＰＵ」）４０２と、システムメモリ４０８と、システムメモリ４０８をＣＰＵ４０２に結合させるシステムバス４２２と、を含んでいる。システムメモリ４０８は、ランダムアクセスメモリ（「ＲＡＭ」）４１０と、リードオンリーメモリ（「ＲＯＭ」）４１２とを含む。起動時など、コンピューティングデバイス４００内部の要素間で情報を転送するのに役立つ基本ルーチンを含む基本入出力システムは、ＲＯＭ４１２に格納される。コンピューティングシステム４００は、さらに、大容量記憶装置４１４を含む。大容量記憶装置４１４は、ソフトウェア命令およびデータを格納することができる。

大容量記憶装置４１４は、システムバス４２２に接続された大容量記憶コントローラ（図示せず）を介して、ＣＰＵ４０２に接続される。大容量記憶装置４１４およびその関連するコンピュータ可読記憶媒体は、コンピューティングデバイス４００のための不揮発性、非一時的データストレージを提供する。本明細書に含まれるコンピュータ可読記憶媒体の説明は、ハードディスクまたはソリッドステートディスクなどの大容量記憶装置に言及しているが、コンピュータ可読データ記憶媒体は、ＣＰＵ４０２がデータおよび／または命令を読み取ることができる任意の利用可能な有形、物理デバイスまたは製造物品を含むことができることを当業者は理解するはずである。特定の例では、コンピュータ可読記憶媒体は、完全な非一時的媒体を含む。

コンピュータ可読記憶媒体は、コンピュータ可読ソフトウェア命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性、取り外し可能および非取り出し可能な媒体を含む。コンピュータ可読データ記憶媒体の例示的なタイプには、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他の固体メモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（「ＤＶＤ」）、他の光学記憶媒体、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気記憶装置、または所望の情報を格納するために使用でき、コンピューティングデバイス４００によってアクセスできる他の任意の媒体があるが、これだけに限られるわけではない。

いくつかの例によれば、コンピューティングデバイス４００は、無線ネットワーク、インターネット、または他のタイプのネットワークなどのネットワーク１５２を介してリモートネットワークデバイスへの論理接続を使用して、ネットワーク化された環境で動作することができる。コンピューティングデバイス４００は、システムバス４２２に接続されたネットワークインターフェースユニット４０４を介してネットワーク１５２に接続することができる。ネットワークインターフェースユニット４０４は、他のタイプのネットワークおよびリモートコンピューティングシステムに接続するために利用されることもできることを理解されたい。コンピューティングデバイス４００はまた、タッチユーザインターフェースディスプレイ画面、または別のタイプの入力デバイスを含む多数の他のデバイスから入力を受信し処理するための入力／出力コントローラ４０６を含む。同様に、入力／出力コントローラ４０６は、タッチユーザインターフェースディスプレイ画面、または他のタイプの出力デバイスに出力を提供してもよい。

上で簡単に述べたように、コンピューティングデバイス４００の大容量記憶装置４１４およびＲＡＭ４１０は、ソフトウェア命令およびデータを格納することができる。ソフトウェア命令は、コンピューティングデバイス４００の動作を制御するのに適したオペレーティングシステム４１８を含む。大容量記憶装置４１４および／またはＲＡＭ４１０はまた、ＣＰＵ４０２によって実行されると、コンピューティングデバイス４００に本書で論じる機能を提供させる、ソフトウェア命令を格納する。

ここで図９を参照すると、乳房内部の関心領域を位置決めする例示的な方法５００が説明されている。いくつかの例では、図１－８に記載されたシステム及びデバイスは、方法５００を実施するように用いることができる。特に、図１－２のコンピューティングシステム１０２は、イメージング手順の間にて乳房内部の関心領域の位置を特定する際に医療従事者を支援するために、方法５００のステップを実施するように動作する。

動作５０２で、Ｘ線イメージングモダリティによって得られる第１の画像が受信される。いくつかの例では、図１－２のＸ線イメージングシステム１０４のＸ線イメージングデバイス１１４は、Ｘ線コンピューティングデバイス１１６で医療従事者Ｈによって提供された入力の結果としてＸ線画像を記録するように動作する。幾つかの実施例では、Ｘ線画像は、デジタル乳房トモシンセシスを用いて取得される。いくつかの例では、Ｘ線画像は、遠隔データストアから取得され得る。このような例では、Ｘ線画像は、異なる時間及び場所で記録され、その後、ＥＭＲ又は他のデータストアに格納され得る。いくつかの例では、第１の画像は、コンピューティングシステム１０２で受信される。

動作５０４において、Ｘ線画像上のターゲット病変の兆候が受け取られる。いくつかの例では、兆候は、Ｘ線コンピューティングデバイス１１６において医療従事者Ｈから受信される。コンピューティングデバイス１１６は、マウス、タッチスクリーン、又はスタイラスなどのＸ線コンピューティングデバイス１１６と通信している入力デバイスで提供される入力によって、医療従事者ＨがＸ線画像と容易に相互作用してターゲット病変を強調できるようなユーザインターフェースを表示するように動作してもよい。いくつかの例では、ターゲット病変は、視覚マーカで示され得る。ターゲット病変は、追加の解析を必要とするものとして医療従事者Ｈによって識別される。いくつかの例では、ターゲット病変は、Ｘ線画像が撮影された後、臨床医によって後に識別される。いくつかの例では、ターゲット病変は、人工知能システムを使用してＸ線画像が記録されているときにリアルタイムで識別され得る。

動作５０６において、ターゲット病変の位置座標が記録される。ターゲット病変の座標は、Ｘ線イメージングシステム１０４を使用したＸ線撮像プロセス中に記録される。幾つかの実施例では、座標はデカルト座標又は極座標であり得る。幾つかの例では、関心領域は、トモシンセシス画像スタック内部の特定のスライス（ｚ座標）内部で識別され、その位置は、その画像スライス内部のｘ及びｙ座標によって更に識別され得る。

動作５０８で、乳房組織の第２の画像が超音波画像化によって得られる。超音波画像は、ターゲット病変の位置座標に対応する乳房組織の区域を含む。いくつかの実施例では、図１－２の超音波イメージングシステム１０６の超音波イメージングデバイス１２０は、超音波コンピューティングデバイス１１８で医療従事者Ｈによって提供される入力の結果として超音波画像を記録するように動作する。いくつかの例では、超音波画像は、遠隔データストアから取得され得る。そのような例では、超音波画像は、異なる時間及び場所で記録され、その後、ＥＭＲ又は他のデータストアに格納され得る。いくつかの例では、第２の画像は、第１の画像と一緒に処理するためにコンピューティングシステム１０２で受信される。

動作５１０において、ターゲット病変の位置座標に対応する乳房組織の領域内部で潜在的病変が識別される。いくつかの例では、領域は、Ｘ線イメージングの間にターゲット病変に対して保存された座標から超音波用に変換された座標に基づいて識別される。いくつかの例では、位置座標は、乳首に対する時計位置、乳房の表面からの深さ、及び乳首からの距離のうちの少なくとも二つを含む。いくつかの例では、潜在的病変は、超音波コンピューティングデバイス１１８で医療従事者Ｈによって強調表示され得る。コンピューティングデバイス１１８は、マウス、タッチスクリーン、又はスタイラスなどの超音波コンピューティングデバイス１１８と通信している入力デバイスで提供される入力によって、医療従事者Ｈが超音波画像と容易に相互作用して潜在的病変を強調できるユーザインターフェースを表示するように動作してもよい。いくつかの実施形態では、ＧＵＩ１３０は、ＤＢＴ画像と超音波画像とを並べて表示する。このＧＵＩ１３０の一例が図１０に示されている。医療従事者Ｈは、Ｘ線画像で識別されたターゲット病変と同じである可能性があるとして、潜在的病変を識別する。いくつかの例では、リアルタイムの人工知能システムが、記録されるＤＢＴ画像を解析して、潜在的病変を識別することができる。そのようなシステムの一例は、「Ｒｅａｌ－ｔｉｍｅ ＡＩ ｆｏｒ Ｐｈｙｓｉｃａｌ Ｂｉｏｐｓｙ Ｍａｒｋｅｒ Ｄｅｔｅｃｔｉｏｎ」と題する同時係属出願（事項番号０４５７６．０１１０ＵＳＰ１に関するインサート情報）に記載されており、その全体が参照によりここに組み込まれるものとする。

動作５１２において、潜在的病変は、人工知能を用いて解析され、第２の画像における潜在的病変が第１の画像におけるターゲット病変に対応するという信頼度のレベルを判定する。いくつかの例では、病変マッチングエンジン１１０は、潜在的病変及びターゲット病変を解析して、二つの病変が一致するかどうかを判定するように動作する。上述したように、機械学習病変分類器は、病変の超音波画像及びＸ線画像を一致させるために、サイズ、形状、及びテクスチャなどの病変の様々な態様を解析する。いくつかの例では、硬さ及び密度もまた、一致を判定するために比較され得る。

動作５１４において、信頼度のレベルのインジケータが出力される。いくつかの例では、信頼度レベルのインジケータは、ＧＵＩ１３０上に生成される。いくつかの実施例では、ＧＵＩ１３０は、信頼度レベルのインジケータと共に超音波画像及びＸ線画像を含む。いくつかの例では、インジケータは、テキスト、グラフィックス、色、又はシンボルとして表示され得る。ＧＵＩ１３０の例に関するより詳細な情報は、図１０に提供される。

図１０は、図１のＧＵＩ１３０の一実施例を示す。いくつかの例では、ＧＵＩ１３０は、図１の超音波コンピューティングデバイス１１８のようなコンピューティングデバイス上に表示される。図１０の例では、ＧＵＩ１３０は、乳房２０２のＸ線画像６０２及び超音波画像６０４を並べて表示する。Ｘ線撮像の間に予め識別されたターゲット病変６０６は、Ｘ線画像６０２において視覚的マーカで示される。乳房２０２の対応する超音波画像６０４は、潜在的病変６０８の兆候を示している。ターゲット病変６０６と潜在的病変６０８とが一致する可能性をパーセンテージで提供する信頼度レベルのインジケータ６１０が表示される。この例では、９９．９％の一致がある。

いくつかの例では、潜在的病変６０８の周りの色付きの円など、信頼度レベルの他のインジケータが提供され得る。異なる色は、異なる信頼度のレベルを表し得る。例えば、信頼度の高いレベルは、緑色の円で示され得る。信頼度の中レベルは、黄色の円で示され得る。信頼度の低いレベルは、赤色の円で示され得る。いくつかの例では、超音波画像６０４上の視覚的インジケータと、テキストの信頼度レベルのインジケータ６１０との、両方が使用され得る。

また、ＧＵＩ１３０は、超音波画像６０４が撮影されている乳房２０２上の位置を示す図６１２と、ターゲット病変６０６の位置を示す矢印を含む。さらに、座標６１４が表示される。この例では、座標６１４は、右乳房の１１時の位置、乳首から２ｃｍの位置にある潜在的病変の位置を示している。図６１２は、潜在的病変６０８の対応する視覚的表現を示している。

図１１は、病変識別システム７００の別の実施形態を示している。病変相関器７０１は、図１の病変マッチングエンジン１１０と同様の機能で、コンピューティングデバイス１０２上で動作する。しかしながら、この例では、病変は確率マッピングを用いて相関付けされる。リアルタイムの超音波画像誘導は、少なくとも二つの光学カメラ７０２及びプロジェクタ４０２を使用することによって提供される。光学カメラ７０２は、患者の胴体の複数の画像を撮影するように動作する。複数の定位光学画像は、コンピューティングデバイス１０２で以前に取得されたＸ線画像と組み合わせて解析される。

この例では、ＡＩ画像解析器７２４は、二つの異なるイメージングモダリティ間で乳房の領域を一致させるように構成される。いくつかの例では、深層学習モデルが、一つのタイプの画像において識別されたターゲット病変が、別のタイプの画像上の任意の所与の位置に位置する確率を生成するために利用される。例えば、トモシンセシスビュー７１０に示されるターゲット病変７１２は、超音波画像７０８上のその位置の確率を判定するために解析される。

いくつかの例では、確率マッパ７２８が、異なるタイプの画像において潜在的病変７１４がどこに位置する可能性が最も高いかを示す、乳房の確率マッピングを生成する。いくつかの例では、これは、光学カメラ７０２によって得られた光学画像であり得る。潜在的病変７１４は、超音波画像上に色勾配で示され、中心は、ターゲット病変がそこに位置する可能性が最も高いことを表している。いくつかの実施例では、確率マッピングは視覚的マップであり、図１１のＧＵＩ７３０に示すように、超音波画像又はトモシンセシス画像上に敷設される。他の実施例では、確率マッピングは、プロジェクタ７０４を用いた超音波検査中に患者の実際の乳房に投影される視覚的マップである。潜在的病変７１４は、確率マップの着色された領域によって示される。この視覚的確率マップは、超音波プローブ３０２を使用して超音波画像を得る際に医療従事者Ｈをガイドするために使用される。

いくつかの実施例では、トラッキングシステム１５４及びナビゲーションシステム１５６は、病変相関器７０１と連動して動作し、超音波画像化セッション中に医療従事者Ｈを誘導する。超音波プローブ３０２の現在の位置は、コンピューティングデバイス１０２に伝達され、プローブの現在の位置は、リアルタイムでＧＵＩ７３０上に提示される画像上に視覚的に示される。

ここで図１２を参照すると、乳房内部の関心領域を位置決めする例示的な方法８００が説明される。いくつかの例では、図１１のシステムは、この方法８００を実行するように動作する。

動作８０２において、少なくとも一つの乳房の一連のステレオ光学画像が捕捉される。これは、典型的には、患者が撮像台又は他の支持体上に横臥しているときに実行される。画像は、患者の上に配置された二つ以上の光学カメラ７０２で捕捉される。

動作８０４において、乳房の少なくとも一つのトモシンセシス画像にアクセスする。いくつかの実施形態では、トモシンセシス画像は、ユーザからの入力を受け取ることに応答して、コンピューティングデバイス１０２でアクセスされる。幾つかの例では、トモシンセシス画像は、撮像される患者に関連する電子医療記録からアクセスされる。幾つかの実施形態では、トモシンセシス画像は、次に、コンピューティングデバイス１０２のディスプレイ上に提示される。

動作８０６において、トモシンセシス画像上のターゲット病変の兆候が受信される。いくつかの例では、兆候は、図１のＸ線コンピューティングデバイスで医療従事者Ｈから受信される。ターゲット病変の兆候の一例７１２は、図１１のＧＵＩ１３０に示されている。図９に関して上述したように、ターゲット病変が指示され得る他の方法が存在する。

動作８０８において、光学画像及びトモシンセシス画像の共整合画像解析が実行される。いくつかの実施形態では、領域マッチングのための人工知能アルゴリズムが、光学画像及びトモシンセシス画像の両方が共整合され得る乳房の仮想デフォーマブルを生成するために使用される。いくつかの例では、人工知能アルゴリズムは、深層学習ベースの領域マッチング方法である。

動作８１０において、画像解析に基づいて確率マッピングが作成される。確率マッピングは、示された病変が乳房の特定の点に位置する尤度を示す。

図１１に示す例では、視覚的確率マップは、乳房の様々な位置におけるより高い又はより低い確率を示すために色インジケータを使用する。例えば、赤は最も高い確率を示し、青は最も低い確率を示すことができる。他の例では、黒が最も高い確率を示し、白が最も低い確率を示すグレースケールが使用される。図１１に見られるように、確率マップの結果として得られる視覚は、おそらく最も高い確率の領域を含み、病変がある可能性が最も高い場所を示す。この領域は、外側に広がる確率が低下する領域によって囲まれている。例えば、領域は赤色であり、その周囲の色は、オレンジ→黄色→緑色→青色と延びるかもしれない。他の実施例では、視覚的確率マップは、異なるタイプのハッシュまたはシェーディングとして表示される。いくつかの例では、確率マップは、様々な確率に対して異なる数値を提供する。いくつかの実施例では、単一のターゲットが、最も高い確率のポイントに投影される。

動作８１２において、確率マップは、患者Ｐに投影される。いくつかの例では、マップは、一つの乳房にのみ投影される。いくつかの実施例では、マップは患者の両方の乳房上に投影される。これにより、超音波イメージングを行う医療従事者Ｈに、ターゲット病変が最もありそうな場所への視覚的ガイドを提供する。

いくつかの実施例では、超音波プローブ３０２がターゲット病変の場所に近づいていることを示すために、追加のフィードバックを医療従事者Ｈに提供することができる。いくつかの実施例では、超音波プローブ３０２は、確率マップの患者への投影の経路をブロックし、影を作る。視覚的ガイダンスのこの干渉を補償するために、触覚フィードバック又は音声フィードバックのようなフィードバックが、超音波プローブ３０２がターゲット病変と位置合わせされたときに医療従事者Ｈが判定するのを助けるために使用され得る。

いくつかの例では、追加のガイダンスが、リアルタイムのナビゲーション補助の形で医療従事者に提供される。超音波プローブのリアルタイム位置は、撮像中に追跡され、位置に関する情報は、医療従事者のためにディスプレイ上に提供される。いくつかの例では、ディスプレイは、患者の乳房の画像に関連する超音波プローブの現在の位置及び向きの兆候を示す。

本明細書に記載の方法及びシステムは、医療従事者が超音波下でマンモグラフィ病変を迅速かつ正確に位置付けるのに役立つナビゲーション及び病変マッチング技術を提供するものである。このシステムは、医療従事者がマンモグラフィの際に関心領域を識別することを可能にする。その後の超音波検査中に、マンモグラフィ、関心領域、及びＢモード画像が同時に表示される。これにより、専門家は関心領域へ誘導されると同時に、プローブの位置、方向、注釈の文書化が自動化される。専門家が関心領域までナビゲートすると、システムは自動的に画像を解析し、病変を照合し、視覚的な信頼度のインジケータを提供する。

本明細書で提供されるシステム及び方法は、医療従事者が超音波を使用して目標病変の１ｃｍ以内にナビゲートすることを可能にする。人工知能に基づくシステムは、何千もの確認された症例に基づいて構築されている。病変は、医療従事者が自分自身で達成できるよりも高い精度でマッチングさせることができる。さらに、本来はＸ線画像を使って識別される病変を、超音波を使ってより速く、より簡単に特定することができる。

様々な実施形態及び例が本明細書に記載されているが、当業者であれば、本開示の範囲内でそれらに多くの変更を加えることができることを理解するであろう。従って、提供された例によって本開示の範囲がいかなる形でも限定されることは意図されていない。

Claims (22)

1. 乳房内部の病変の位置を特定する方法であって、
   コンピューティングシステムにおいて、第１のイメージングモダリティによって得られる乳房の第１の画像上の乳房内部のターゲット病変の位置の兆候を受信するステップと、
   コンピューティングシステムにおいて、第２のイメージングモダリティによって得られる乳房の第２の画像を受信するステップと、
   コンピューティングシステム上で動作する病変マッチングエンジンを用いて、ターゲット病変を含む第１の画像と潜在的病変を含む第２の画像とを解析し、人工知能を用いて第１の画像と第２の画像とを相関させるステップと、
   潜在的病変がターゲット病変に対応する確率を判定するステップと、
   グラフィカルユーザインターフェースに表示するために、確率のインジケータを出力するステップと
   を含む、方法。
2. 更に、
   前記第１の画像に示されるターゲット病変の位置座標を記録するステップと、
   前記潜在的病変の位置座標を記録するステップと
   を含み、
   前記第１の画像と前記第２の画像とを解析するステップが、前記ターゲット病変の位置座標と前記潜在的病変の位置座標とを比較することを含む、
   請求項１に記載の方法。
3. 前記潜在的病変の位置座標が、乳房の乳首に対する時計位置、乳房の表面からの深さ、及び乳首からの距離を含む、
   請求項２に記載の方法。
4. 前記ターゲット病変及び前記潜在的病変は、前記コンピューティングシステムのディスプレイ上に提示された前記乳房の画像上の選択を受信することによって示される、
   請求項１に記載の方法。
5. 前記第１のイメージングモダリティが、デジタル乳房トモシンセシスである、
   請求項１に記載の方法。
6. 前記第１のイメージングモダリティが、磁気共鳴イメージング（ＭＲＩ）である、
   請求項１に記載の方法。
7. 第２のイメージングモダリティが、超音波である、
   請求項１に記載の方法。
8. 前記第１の画像と前記第２の画像とを解析するステップが、デジタル乳房トモシンセシス症例及び対応する診断用超音波症例のライブラリを用いて訓練された人工知能システムを用いて行われる、
   請求項１にきさいの方法。
9. 前記第１の画像と前記第２の画像とを解析するステップは、領域マッチングを用いて前記画像の共整合を行うように構成された人工知能システムを用いて行われる、
   請求項１に記載の方法。
10. 潜在的病変を解析することが、ターゲット病変及び潜在的病変の周囲の、乳房組織の形態因子を比較することを含む、
    請求項１記載の方法。
11. 前記インジケータは、受信した画像上に、形状、色、数値、及び参照のうちの少なくとも一つを表示することを含む、
    請求項１に記載の方法。
12. 前記インジケータは、前記乳房の上の各位置が前記ターゲット病変に対応する確率の、視覚的兆候からなる確率マップを含む、
    請求項１に記載の方法。
13. 病変識別システムであって、
    処理デバイスと、
    前記処理デバイスによって実行されたときに動作の実行を促進する命令を記憶するメモリと
    を含み、
    前記動作は、
    乳房のＸ線画像にアクセスすることであって、該Ｘ線画像は、視覚マーカで示される、識別された病変を含む、アクセスすることと、
    乳房の超音波画像を受信することであって、該超音波画像は潜在的病変の兆候を含む、受信することと、
    人工知能病変分類器を用いて、潜在的病変と識別された病変とを解析することと、
    超音波画像中の潜在的病変がＸ線画像中の識別された病変と一致する可能性を示す信頼度スコアを生成することと、
    信頼度スコアに関連する出力をグラフィカルユーザインターフェースに表示することと
    を含む、システム。
14. 更に、
    前記動作は、
    乳房が圧迫されている間に、識別された病変の位置を識別する座標の第１のセットにアクセスすることと、
    乳房が圧迫されていない間に、識別された病変の予測される位置を識別する座標の第２のセットに、第１のセットを変換することと、
    座標の第２のセットに対応する超音波画像中の関心領域を識別することと、
    超音波画像中の潜在的病変を識別することと
    を備える、請求項１３に記載のシステム。
15. 更に、
    前記動作は、
    超音波プローブからその位置を示す送信を受信することによって、前記座標の第２のセットにナビゲートすることを
    含む、請求項１４に記載のシステム。
16. 更に、
    前記動作は、
    識別された病変及び潜在的病変の周囲の、乳房組織の形態因子を解析して信頼度スコアを生成することを
    含む、請求項１４に記載のシステム。
17. 前記潜在的病変は、人工知能病変分類器を用いて解析され、
    該人工知能病変分類器は、デジタル乳房トモシンセシス画像及び対応する超音波画像で訓練される、
    請求項１３に記載のシステム。
18. 人工知能病変分類器は、乳房内部の密度、硬さ、形状、マージン、向き、テクスチャ、パターン、サイズ、及び深さの、一つ以上における相関について病変を解析する、
    請求項１６に記載のシステム。
19. 超音波画像は超音波システムから受信され、信頼度スコアは超音波システムと通信するディスプレイに通信され、信頼度スコアの視覚的兆候は超音波画像上の視覚的インジケータとして超音波システムと通信するディスプレイに表示される、
    請求項１３に記載のシステム。
20. プロセッサによって実行されるとき動作の実行を容易にする実行可能な命令を含む、非一時的機械可読記憶媒体であって、
    前記動作は、
    データストアからターゲット病変のデータを取得することであって、データはＸ線撮像で取得され、少なくとも、ターゲット病変の画像及び乳房内部のターゲット病変の位置の座標を含む、取得することと、
    超音波撮像によって得られる乳房の画像を記録することと、
    前記ターゲット病変の座標に基づいて、前記超音波撮像によって得られる前記乳房の記録された画像における概略の関心領域を識別することと、
    前記概略の関心領域において潜在的病変を識別することと、
    人工知能病変分類器を用いて、潜在的病変を解析し、潜在的病変をターゲット病変と比較して潜在的病変がターゲット病変に対応することの信頼度のレベルを判定することと、
    信頼度のレベルのインジケータをグラフィカルユーザインターフェースに出力することと
    を含む、非一時的機械可読記憶媒体。
21. 更に、
    前記動作は、
    デジタル乳房トモシンセシスを用いて乳房組織の画像を記録することと、
    乳房内部のターゲット病変の画像上の兆候を受信することと、
    ターゲット病変の位置の座標を判定することと、
    ターゲット病変の兆候と座標をデータストアに保存することと
    を含む、請求項２０に記載の非一時的機械可読記憶媒体。
22. 病変識別システムであって、
    少なくとも一つの光学カメラと、
    プロジェクタと、
    処理デバイスと、
    該処理デバイスによって実行されたとき動作の実行を促進する命令を記憶するメモリと
    を含み、
    前記動作は、
    少なくとも一つの前記光学カメラを用いて、患者の乳房の少なくとも一つの光学画像を撮影することと、
    前記乳房の少なくとも一つのトモシンセシス画像にアクセスすることと、
    少なくとも一つの前記トモシンセシス画像におけるターゲット病変の兆候を受信することと、
    領域マッチング及び非剛体変形モデルのための人工知能アルゴリズムで解析することにより、少なくとも一つの前記光学画像と少なくとも一つの前記トモシンセシス画像とを共整合することと、
    該共整合することと前記ターゲット病変の兆候とに基づいて確率マップを作成することであって、該確率マップは、前記ターゲット病変が前記乳房の複数の点の各々に位置する可能性を示す、確率マップを作成することと、
    プロジェクタにより、前記確率マップを前記乳房に投影することと
    を含む、システム。

Images