JP6974354B2 - 同期された表面および内部腫瘍検出 - Google Patents

Description

関連出願への相互参照
本出願は、ＰＣＴ国際特許出願として２０１７年５月２３日に出願されており、そして２０１６年５月２７日に出願された米国仮特許出願番号第６２／３４２，７１３号に基づく優先権を主張し、その開示は、その全体が本明細書によって参考として本明細書中に援用される。

背景
医療撮像デバイスは、患者の内部構造を可視化するための非侵襲性方法を提供する。そのような非侵襲性可視化方法は、種々の病気に関して患者を治療する際に有用であり得る。例えば、患者における癌または腫瘍の早期検出は、その患者を治療する際に重要であり得、患者の生存率を増加させ得る。

非侵襲性医療撮像技法である、超音波撮像は、典型的には、圧電トランスデューサによって生産される、音波を使用して、患者内の組織を撮像する。超音波プローブは、音波を集束させ、典型的には、身体の中に進行し、部分的に、患者内の異なる組織間の層から反射される、弧形状の音波を生産する。反射された音波は、トランスデューサによって検出され、超音波スキャナによって処理され、組織の超音波画像を形成し得る、電気信号に変換される。

患者の乳房の超音波画像の取得が続く典型的手技は、患者を台の上に仰臥位に位置付け、ゲルまたは他の音響伝達媒質を患者の乳房に適用し、超音波トランスデューサを患者の乳房を横断して通過させることを伴う。トランスデューサが乳房を横断するにつれて、超音波画像は、典型的には、超音波システムのディスプレイ上でリアルタイムで視認されることができる。超音波トランスデューサは、撮像技術者によって手動で操作される、ハンドヘルドトランスデューサ、または米国特許第７，７３１，６６２号に説明されるもの等の自動化された走査デバイスのいずれかであってもよい。超音波走査は、内部構造を検出する際、望ましい感度を有するが、ハンドヘルド超音波プローブは、概して、不良な場所特異性に悩まされる。例えば、そのような方法の１つの短所は、乳房が、非常に伸展性の構造である、すなわち、患者が位置を変化させる度に乳房の幾何学形状および構造が移動および変化するという事実にある。したがって、超音波プローブを用いた乳房の正確かつ完全な走査は、達成が困難である。

要旨
一側面では、本技術は、撮像のための方法に関し、本方法は、第１の撮像モダリティを使用して、標的に関する表面画像データを入手するステップと、表面画像データに基づいて、標的の視覚表現を生成するステップと、第２の撮像モダリティを使用して、標的に関する内部画像データを入手するステップと、内部画像データの入手の間、入手された内部画像データに基づいて、標的の視覚表現を更新するステップとを含む。ある実施形態では、標的は、乳房を含む。別の実施形態では、第１の撮像モダリティは、デジタル写真、構造化された光立体的写真、および赤外線撮像のうちの少なくとも１つである。さらに別の実施形態では、第２の撮像モダリティは、超音波撮像である。なおも別の実施形態では、本方法はさらに、視覚表現に基づいて、標的の表面上の着目領域を識別するステップを含む。

前述の側面の別の実施形態では、本方法はさらに、着目領域を視覚表現内に表示するステップを含む。ある実施形態では、本方法はさらに、内部画像データの入手の間、標的が第２の撮像モダリティによって変形されるとき、第１の撮像モダリティによって、標的の更新された表面画像データを入手するステップと、更新された表面画像データに基づいて、変形された標的の更新された視覚表現を生成するステップと、内部画像データの入手の間、更新された視覚表現を表示するステップとを含む。

別の側面では、本技術は、患者の乳房を撮像するための方法に関し、本方法は、乳房の表面の写真画像を入手するステップと、写真画像に基づいて、乳房の表面マップを生成するステップと、乳房の視覚表現を表示するステップと、視覚表現に基づいて、乳房の表面上の着目領域を識別するステップと、識別された着目領域を示すインジケータとともに、乳房の視覚表現を表示するステップと、超音波プローブを用いて、乳房の超音波画像を入手するステップと、超音波画像の入手の間、少なくとも部分的に、入手された超音波画像に基づいて、視覚表現の表示を更新するステップと、を含む。ある実施形態では、視覚表現の表示を更新するステップは、視覚表現内に、超音波プローブによって走査される乳房の部分を表示することを含む。別の実施形態では、本方法はさらに、超音波プローブを用いて走査するための乳房の付加的着目領域を識別するために、入手された乳房の超音波画像を分析するステップを含み、視覚表現の表示を更新するステップは、視覚表現内において、乳房の付加的着目領域を識別することを含む。さらに別の実施形態では、本方法はさらに、超音波プローブの角度、超音波プローブの配向、超音波プローブの位置、および超音波プローブの走査速度のうちの少なくとも１つに関するフィードバックを生成するステップを含む。なおも別の実施形態では、写真画像は、乳房の立体視的に構造化された光画像である。

前述の側面の別の実施形態では、本方法はさらに、異常乳房構造体を判定するために、入手された超音波画像および写真画像のうちの少なくとも１つを分析するステップを含む。ある実施形態では、本方法はさらに、超音波画像に基づいて、３次元モデルを生成するステップを含み、３次元モデルは、異常乳房構造体の場所を示すインジケータを含む。別の実施形態では、本方法はさらに、乳房に関する癌リスクスコアを生成するために、入手された超音波画像および写真画像のうちの少なくとも１つを分析するステップを含む。さらに別の実施形態では、着目領域を識別するステップは、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異のうちの少なくとも１つに基づく。なおも別の実施形態では、本方法はさらに、乳房が超音波画像の入手の間に超音波プローブによって変形されるとき、乳房の更新された写真画像を入手するステップと、第２の写真画像に基づいて、変形された乳房の更新された視覚表現を生成するステップと、超音波画像の入手の間に変形された乳房の更新された視覚表現を表示するステップとを含む。

前述の側面の別の実施形態では、視覚表現は、写真画像および表面マップのうちの少なくとも１つを含む。ある実施形態では、乳房は、超音波画像の入手の間、圧迫されない。

別の側面では、本技術は、患者の乳房を撮像するためのシステムに関し、本システムは、カメラと、超音波プローブと、ディスプレイと、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに動作可能に結合される、メモリであって、少なくとも１つのプロセッサによって実行されると、カメラによって入手された写真画像に基づいて、乳房の表面マップを生成するステップと、乳房の視覚表現に基づいて、乳房の表面上の着目領域を識別するステップと、視覚表現上に表面インジケータを生成するステップであって、表面インジケータは、識別された着目領域を示す、ステップと、視覚表現を表面インジケータとともにディスプレイに送信するステップと、乳房の超音波画像を超音波プローブから受信するステップと、超音波画像の入手の間、入手された超音波画像に基づいて、視覚表現の表示への更新を生成するステップと、更新をディスプレイに送信するステップとを含む、動作のセットを実施する、命令を記憶する、メモリとを含む。ある実施形態では、システムはさらに、超音波プローブに動作可能に接続され、少なくとも１つのプロセッサに通信可能に接続される、追跡システムを含む。別の実施形態では、更新は、視覚表現上に、超音波プローブによって走査される乳房の部分を表すグラフィカル表現を含む。さらに別の実施形態では、更新は、視覚表現上に、超音波プローブを用いて走査されるべき乳房の別の着目領域を表すグラフィカル表現を含む。なおも別の実施形態では、カメラは、立体カメラであって、写真画像は、乳房の立体視的に構造化された光画像である。

前述の側面の別の実施形態では、動作のセットはさらに、異常乳房構造体を判定するために、入手された超音波画像および写真画像のうちの少なくとも１つを分析するステップを含む。ある実施形態では、着目領域を識別するステップは、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異のうちの少なくとも１つに基づく。別の実施形態では、動作のセットはさらに、表面マップおよび入手された超音波画像のうちの１つまたはそれを上回るものに基づいて、超音波プローブの角度、超音波プローブの配向、超音波プローブの位置、および超音波プローブの走査速度のうちの少なくとも１つに関するフィードバックを生成するステップを含む。さらに別の実施形態では、本システムはさらに、スピーカを含み、動作のセットはさらに、入手された超音波画像を分析するステップと、入手された超音波画像の分析に基づいて、可聴フィードバックを提供するためにオーディオ信号をスピーカに送信するステップとを含む。なおも別の実施形態では、動作のセットはさらに、乳房が超音波画像の入手の間に超音波プローブによって変形されるとき、乳房の更新された写真画像を入手するステップと、第２の写真画像に基づいて、変形された乳房の更新された視覚表現を生成するステップと、超音波画像の入手の間に変形された乳房の更新された視覚表現をディスプレイに送信するステップとを含む。

別の側面では、本技術は、患者の乳房を撮像するための方法に関し、本方法は、カメラを使用して、乳房の写真画像を入手するステップと、乳房の視覚表現を表示するステップであって、視覚表現は、少なくとも、写真画像に基づく、ステップと、超音波プローブを用いて乳房を走査するステップと、走査しながら、超音波プローブの場所を追跡し、超音波プローブの追跡された場所に基づいて、表示される視覚表現を更新するステップとを含む。

別の側面では、本技術は、患者の乳房を撮像するための方法に関し、本方法は、乳房の第１の写真画像を入手するステップと、乳房の視覚表現を表示するステップであって、視覚表現は、少なくとも、第１の写真画像に基づく、ステップと、超音波プローブを用いて乳房を走査するステップであって、乳房を走査するステップは、乳房を変形させる、ステップと、乳房を走査しながら、乳房の第２の写真画像を入手するステップであって、第２の写真画像は、変形された乳房を描写するステップと、乳房の第２の視覚表現を表示するステップであって、第２の視覚表現は、少なくとも、第２の写真画像に基づく、ステップとを含む。

本要旨は、発明を実施するための形態にさらに後述される、簡略化された形態において、概念の選択を導入するために提供される。本要旨は、請求される主題の重要な特徴または不可欠な特徴を識別することを意図しておらず、また、請求される主題の範囲を限定するために使用されることも意図していない。
本明細書は、例えば、以下の項目も提供する。
（項目１）
患者の乳房を撮像するための方法であって、
前記乳房の表面の写真画像を入手するステップと、
前記写真画像に基づいて、前記乳房の表面マップを生成するステップと、
前記乳房の視覚表現を表示するステップと、
前記視覚表現に基づいて、前記乳房の表面上の着目領域を識別するステップと、
前記識別された着目領域を示すインジケータとともに、前記乳房の視覚表現を表示するステップと、
超音波プローブを用いて、前記乳房の超音波画像を入手するステップと、
前記超音波画像の入手の間、少なくとも部分的に、前記入手された超音波画像に基づいて、前記視覚表現の表示を更新するステップと
を含む、方法。
（項目２）
前記視覚表現の表示を更新するステップは、前記視覚表現内に、前記超音波プローブによって走査される前記乳房の部分を表示することを含む、項目１に記載の方法。
（項目３）
前記超音波プローブを用いて走査するための前記乳房の付加的着目領域を識別するために、前記入手された前記乳房の超音波画像を分析するステップをさらに含み、前記視覚表現の表示を更新するステップは、前記視覚表現内において、前記乳房の付加的着目領域を識別するステップを含む、項目１または２に記載の方法。
（項目４）
前記超音波プローブの角度、前記超音波プローブの配向、前記超音波プローブの位置、および前記超音波プローブの走査速度のうちの少なくとも１つに関するフィードバックを生成するステップをさらに含む、項目１−３のいずれかに記載の方法。
（項目５）
前記写真画像は、前記乳房の立体視的に構造化された光画像である、項目１−４のいずれかに記載の方法。
（項目６）
異常乳房構造体を判定するために、前記入手された超音波画像および前記写真画像のうちの少なくとも１つを分析するステップをさらに含む、項目１−５のいずれかに記載の方法。
（項目７）
前記超音波画像に基づいて、３次元モデルを生成するステップをさらに含み、前記３次元モデルは、前記異常乳房構造体の場所を示すインジケータを含む、項目６に記載の方法。
（項目８）
前記乳房に関する癌リスクスコアを生成するために、前記入手された超音波画像および前記写真画像のうちの少なくとも１つを分析するステップをさらに含む、項目１−７のいずれかに記載の方法。
（項目９）
前記着目領域を識別するステップは、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異のうちの少なくとも１つに基づく、項目１−８のいずれかに記載の方法。
（項目１０）
前記乳房が前記超音波画像の入手の間に前記超音波プローブによって変形されるとき、前記乳房の更新された写真画像を入手するステップと、
前記第２の写真画像に基づいて、前記変形された乳房の更新された視覚表現を生成するステップと、
前記超音波画像の入手の間に変形された乳房の更新された視覚表現を表示するステップと、
をさらに含む、項目１−９のいずれかに記載の方法。
（項目１１）
前記視覚表現は、前記写真画像および前記表面マップのうちの少なくとも１つを含む、項目１−１０のいずれかに記載の方法。
（項目１２）
前記乳房は、前記超音波画像の入手の間、圧迫されない、項目１−１０に記載の方法。
（項目１３）
患者の乳房を撮像するためのシステムであって、
カメラと、
超音波プローブと、
ディスプレイと、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに動作可能に結合される、メモリであって、前記少なくとも１つのプロセッサによって実行されると、
前記カメラによって入手された写真画像に基づいて、前記乳房の表面マップを生成するステップと、
前記乳房の視覚表現に基づいて、前記乳房の表面上の着目領域を識別するステップと、
前記視覚表現上に表面インジケータを生成するステップであって、前記表面インジケータが、前記識別された着目領域を示す、ステップと、
前記視覚表現を前記表面インジケータとともに前記ディスプレイに送信するステップと、
前記乳房の超音波画像を前記超音波プローブから受信するステップと、
前記超音波画像の入手の間、前記入手された超音波画像に基づいて、前記視覚表現の表示への更新を生成するステップと、
前記更新を前記ディスプレイに送信するステップと、
を含む、動作のセットを実施する、命令を記憶する、メモリと
を備える、システム。
（項目１４）
前記超音波プローブに動作可能に接続され、前記少なくとも１つのプロセッサに通信可能に接続される、追跡システムをさらに備える、項目１３に記載のシステム。
（項目１５）
前記更新は、前記視覚表現上に、前記超音波プローブによって走査される前記乳房の部分を表すグラフィカル表現を含む、項目１３−１４のいずれかに記載のシステム。
（項目１６）
前記更新は、前記視覚表現上に、前記超音波プローブを用いて走査されるべき前記乳房の別の着目領域を表すグラフィカル表現を含む、項目１３−１５のいずれかに記載のシステム。
（項目１７）
前記カメラは、立体カメラであって、前記写真画像は、前記乳房の立体視的に構造化された光画像である、項目１３−１６のいずれかに記載のシステム。
（項目１８）
前記動作のセットはさらに、異常乳房構造体を判定するために、前記入手された超音波画像および前記写真画像のうちの少なくとも１つを分析するステップを含む、項目１３−１７のいずれかに記載のシステム。
（項目１９）
前記着目領域を識別するステップは、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異のうちの少なくとも１つに基づく、項目１３−１８のいずれかに記載のシステム。
（項目２０）
前記動作のセットはさらに、前記表面マップおよび前記入手された超音波画像のうちの１つまたはそれを上回るものに基づいて、前記超音波プローブの角度、前記超音波プローブの配向、前記超音波プローブの位置、および前記超音波プローブの走査速度のうちの少なくとも１つに関するフィードバックを生成するステップを含む、項目１３−１９のいずれかに記載のシステム。
（項目２１）
スピーカをさらに備え、前記動作のセットはさらに、
前記入手された超音波画像を分析するステップと、
前記入手された超音波画像の分析に基づいて、可聴フィードバックを提供するために、オーディオ信号を前記スピーカに送信するステップと
を含む、項目１３−２０のいずれかに記載のシステム。
（項目２２）
前記動作のセットはさらに、
前記乳房が前記超音波画像の入手の間に前記超音波プローブによって変形されるとき、前記乳房の更新された写真画像を入手するステップと、
前記第２の写真画像に基づいて、前記変形された乳房の更新された視覚表現を生成するステップと、
前記超音波画像の入手の間に変形された乳房の更新された視覚表現を前記ディスプレイに送信するステップと
を含む、項目１３−２０のいずれかに記載のシステム。
（項目２３）
患者の乳房を撮像するための方法であって、
カメラを使用して、乳房の写真画像を入手するステップと、
前記乳房の視覚表現を表示するステップであって、前記視覚表現は、少なくとも、前記写真画像に基づく、ステップと、
超音波プローブを用いて前記乳房を走査するステップと、
走査しながら、前記超音波プローブの場所を追跡し、前記超音波プローブの追跡された場所に基づいて、前記表示される視覚表現を更新するステップと
を含む、方法。
（項目２４）
患者の乳房を撮像するための方法であって、
乳房の第１の写真画像を入手するステップと、
前記乳房の視覚表現を表示するステップであって、前記視覚表現は、少なくとも、前記第１の写真画像に基づく、ステップと、
超音波プローブを用いて前記乳房を走査するステップであって、前記乳房を走査するステップが、前記乳房を変形させる、ステップと、
前記乳房を走査しながら、
前記乳房の第２の写真画像を入手するステップであって、前記第２の写真画像は、前記変形された乳房を描写するステップと、
前記乳房の第２の視覚表現を表示するステップであって、前記第２の視覚表現は、少なくとも、前記第２の写真画像に基づく、ステップと
を含む、方法。
（項目２５）
撮像のための方法であって、
第１の撮像モダリティを使用して、標的に関する表面画像データを入手するステップと、
前記表面画像データに基づいて、前記標的の視覚表現を生成するステップと、
第２の撮像モダリティを使用して、前記標的に関する内部画像データを入手するステップと、
前記内部画像データの入手の間、前記入手された内部画像データに基づいて、前記標的の視覚表現を更新するステップと
を含む、方法。
（項目２６）
前記標的は、乳房を含む、項目２５に記載の方法。
（項目２７）
前記第１の撮像モダリティは、デジタル写真、構造化された光立体的写真、および赤外線撮像のうちの少なくとも１つである、項目２５−２６のいずれかに記載の方法。
（項目２８）
前記第２の撮像モダリティは、超音波撮像である、項目２５−２７のいずれかに記載の方法。
（項目２９）
前記視覚表現に基づいて、前記標的の表面上の着目領域を識別するステップをさらに含む、項目２５−２８のいずれかに記載の方法。
（項目３０）
前記着目領域を前記視覚表現内に表示するステップをさらに含む、項目２９に記載の方法。
（項目３１）
前記内部画像データの入手の間、前記標的が前記第２の撮像モダリティによって変形されるとき、前記第１の撮像モダリティによって、前記標的の更新された表面画像データを入手するステップと、
前記更新された表面画像データに基づいて、前記変形された標的の更新された視覚表現を生成するステップと、
前記内部画像データの入手の間の前記更新された視覚表現を表示するステップと
をさらに含む、項目２５−３０のいずれかに記載の方法。

図１Ａ−１Ｂは、表面撮像モダリティおよび少なくとも１つの内部撮像モダリティを用いたスクリーニングを促進するためのシステムを描写する。 図１Ａ−１Ｂは、表面撮像モダリティおよび少なくとも１つの内部撮像モダリティを用いたスクリーニングを促進するためのシステムを描写する。

図２Ａ−２Ｂは、超音波システムの部分実施形態を描写する。 図２Ａ−２Ｂは、超音波システムの部分実施形態を描写する。

図３Ａ−３Ｃは、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。 図３Ａ−３Ｃは、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。 図３Ａ−３Ｃは、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。

図４Ａ−４Ｃは、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。 図４Ａ−４Ｃは、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。 図４Ａ−４Ｃは、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。

図５Ａ−５Ｂは、標的を撮像するための方法の例を描写する。 図５Ａ−５Ｂは、標的を撮像するための方法の例を描写する。

図６は、本実施例のうちの１つまたはそれを上回るものが実施され得る、好適な動作環境の一例を図示する。

図７は、本明細書に開示される種々のシステムおよび方法が動作し得る、ネットワークの実施形態である。

詳細な説明
本技術は、第１の撮像モダリティおよび第２の撮像モダリティを用いて標的を撮像するために好適な方法およびシステムに関する。第１の撮像モダリティは、標的の表面に関する画像データを捕捉してもよく、第２の撮像モダリティは、標的の内部側面に関する画像データを捕捉してもよい。フィードバックもまた、画像入手プロセスの間、技術者に提供されてもよい。ある例では、写真画像が、乳房等の標的から撮影される。写真画像は、随意に、次いで、分析され、乳房の表面上の潜在的高リスク面積または着目領域を判定する。写真画像から、乳房の視覚表現もまた、生成され、技術者（例えば、医療専門家）が視認するためにディスプレイ画面上に表示されてもよい。視覚表現はまた、識別された高リスク面積または着目領域を示す、インジケータを含んでもよい。医療専門家は、次いで、視覚表現を、限定ではないが、超音波撮像等の第２の撮像モダリティを利用するためのガイドとして使用してもよい。一般に、第２の撮像モダリティは、外部デバイスからの乳房の内部側面の撮像を含む。そのような撮像は、本明細書では、内部撮像と称され、撮像デバイスがその撮像のために組織の中に挿入される、空洞内撮像とは対照的である。医療専門家が、超音波プローブを使用するにつれて、視覚表現のディスプレイは、超音波撮像の進行度を反映させるように更新される。例えば、超音波プローブによって走査された乳房の部分は、強調されてもよい。代替として、乳房の部分が第２の撮像モダリティを用いて撮像されたことを表すために使用され得る、任意の印（例えば、マーカ、色、アイコン等）が、利用されてもよい。加えて、乳房の更新された写真が、超音波走査の間に入手されてもよく、それらの更新された写真は、超音波プローブによって生じる乳房の任意の現在の変形を反映させるように視覚表現を更新するために使用されてもよい。そのようなシステムは、内部撮像プロセスについての実質的にリアルタイム情報を提供し、より完全かつ正確な内部撮像を提供することが可能である。故に、超音波撮像の正確な場所追跡が、圧迫または固定されていない乳房であっても達成され得る。

他のマルチモダリティスクリーニングシステムは、本願に関連する「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｆｕｓｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｉｍａｇｅ Ｄａｔａ ｆｒｏｍ ａ Ｐｌｕｒａｌｉｔｙ ｏｆ Ｄｉｆｆｅｒｅｎｔ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ ｆｏｒ Ｕｓｅ ｉｎ Ｄｉａｇｎｏｓｔｉｃ Ｉｍａｇｉｎｇ」と題された米国特許公開第２０１２／０１５００３４号に説明され、その出願は全体として、参照することによって本明細書に組み込まれる。

図１Ａおよび１Ｂは、表面撮像モダリティおよび少なくとも１つの内部撮像モダリティを用いたスクリーニングを促進するためのシステム１００を描写する。システム１００は、写真画像入手システム１１０と、超音波画像入手システム１４０と、追跡システム１５０と、随意のナビゲーションシステム１３０と、ディスプレイシステム１６０と、随意に、Ｘ線画像入手システム１７０とを含み、全てが、代表的には、通信ネットワーク１２０を介して接続される。図１Ａは、全体的システム１００内の機能ブロックとして離散システムを描写するが、それらの離散システムのあるものは、図１Ｂに描写されるように、共通デバイス１８０の中に統合されてもよいことに留意されたい。例えば、追跡システム１５０、ナビゲーションシステム１３０、およびディスプレイシステム１６０は、共通デバイス１８０内に含まれてもよい一方、残りのシステムは、例えば、無線または有線通信を介して、共通デバイス１８０と通信してもよい。共通デバイス１８０は、コンピュータ、１つまたはそれを上回る離散コンピュータ、入手ワークステーション、技術者ワークステーション、または技術者が、共通デバイス１８０および／または接続されるシステムを制御、動作等させることができる、任意の他のデバイスであってもよい。ある例では、デバイス１８０は、ディスプレイシステム１６０、ユーザインターフェース、電力モジュール（建物、太陽光、および／またはバッテリ電力に接続する）を伴う、ポータブルデバイスであってもよく、写真画像入手システム１１０、超音波画像入手システム１４０、随意に、Ｘ線画像入手システム１７０に取り付けるための入力を含んでもよい。別の例では、ナビゲーションシステム１３０および追跡システム１５０は、超音波画像入手システム１４０中に統合されるか、または独立型モジュールとして、別個の通信リンクを用いて、ディスプレイ１６０、写真画像入手システム１１０、および超音波画像入手システム１４０に提供されてもよい。同様に、当業者は、加えて、通信ネットワーク１２０は、ローカルエリアネットワーク、広域ネットワーク、無線ネットワーク、有線ネットワーク、インターネット、イントラネット、または他の類似通信ネットワークであってもよいことを理解し得る。

写真画像入手システム１１０は、乳房の表面の少なくとも１つの写真画像を取得する。いくつかの実施形態では、写真画像は、デジタルカメラから捕捉された乳房の基本デジタル写真であるか、またはデジタルビデオカメラから捕捉されたフレームまたは画像であってもよい。他の実施形態では、写真画像は、立体視デジタルカメラによって捕捉された立体視画像である。さらなる実施形態では、写真画像は、構造化された光技法を使用して立体視デジタルカメラを用いて捕捉された立体視画像である。構造化された光技法は、光パターンを乳房上に投影させ、投影された光パターンを有する乳房の立体視写真を捕捉することによって動作する。乳房の曲率および形状に基づいて構造化された光パターンの変化の分析に応じて、乳房の表面に関する３次元パラメータが、判定される。本明細書で使用されるように、写真画像は、標的の表面の任意の画像であってもよい。いくつかの実施形態では、写真画像は、加えて、後の時間における再構成または再生のために、ハードドライブ、ＣＤ−ＲＯＭ、フラッシュドライブまたはディスケット等の記憶媒体上に記憶されることができる。

写真画像入手システム１１０はまた、赤外線撮像システムまたはサーモグラフィシステムを含んでもよい。デジタル赤外線撮像を通した乳房サーモグラフィは、乳房の表面の温度分析を提供する。一般に、異常高代謝性活性および血管循環を有する面積は、着目領域を示し得る。

写真画像および３次元パラメータから、利用可能な場合、表面マップが、写真画像入手システム１１０によって生成されてもよい。いくつかの実施形態では、写真画像入手システム１１０は、写真画像および／または表面マップを分析し、腫瘍等の異常乳房構造体または組織を示し得る、着目領域を識別する。例えば、乳房の写真画像および／または表面マップから識別され得る、ある特徴は、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異を含む。これらの特徴はそれぞれ、当業者によって認識される他の特徴とともに、乳房の表面の下方の異常組織または乳房構造体を示し得る。サーモグラフィデータはまた、さらなる着目領域を判定するために分析されてもよい。一般に、異常高代謝性活性および血管循環を有する面積は、癌性または前癌性組織を示す。着目領域は、画像分析、区画化、分類、学習アルゴリズム、および他の技術を通して判定されてもよい。いくつかの実施形態では、着目領域は、医療専門家が写真画像を視認することによって、手動で識別されてもよい。そのような実施形態では、医療専門家は、ユーザインターフェースを通して着目領域識別子を示してもよい。

乳房の表面の視覚表現が、写真画像入手システム１１０によって生成され、ディスプレイシステム１６０に送信される。視覚表現は、写真画像、表面マップ、および／または３次元データに基づいてもよい。例えば、視覚表現は、乳房の３Ｄ表面マップまたは乳房の２Ｄ輪郭マップの表現であってもよい。視覚表現はまた、写真画像入手システム１１０またはシステム１００または共通デバイス１８０内のプロセッサまたは分析器によって判定された着目領域に関するマーカまたはインジケータを含んでもよい。ユーザインターフェースを通して、付加的デジタル目印、クロップマーク、および基準もまた、視覚表現内に表示のために、強調または示されてもよい。視覚表現はまた、患者の顔等の任意の個人的識別可能画像データを写真から除去またはマスクするように修正されてもよい。

超音波入手画像システム１４０等による内部画像データの入手の間、写真画像入手システム１１０は、乳房の更新された写真画像を取得し続けてもよい。ある実施形態では、更新された写真画像は、ビデオ記録カメラを通して持続的に収集される。そのような実施形態では、ビデオフィードから撮影された静止画像が、写真画像として使用されてもよい。他の実施形態では、更新された写真画像が、断続的に収集される。更新された写真画像が、取得されると、乳房の表面の更新された視覚表現が、生成される。例えば、超音波プローブが、凹部または変形を乳房内に生じさせる場合、乳房の更新された視覚表現は、凹部を反映す。故に、超音波プローブを使用する技術者は、その現在の形態における乳房の正確なビューを有し、乳房のより正確かつ完全な超音波撮像をさらに確実にする。加えて、超音波画像の分析は、視覚表現の中に組み込まれるべき付加的着目領域を露見させ得る。

超音波画像入手システム１４０は、典型的には、超音波プローブの視野内の患者の組織の一部を撮像するために使用される、超音波プローブを使用して、患者の組織の超音波画像を取得する。超音波撮像システム１４０は、超音波プローブの視野内の患者の生体構造の超音波画像を取得および表示し、典型的には、患者が撮像されるにつれて画像をリアルタイムで表示する。いくつかの実施形態では、超音波画像は、加えて、後の時間における再構成または再生のために、ハードドライブ、ＣＤ−ＲＯＭ、フラッシュドライブ、またはディスケット等の記憶媒体上に記憶されることができる。

ある実施形態では、システム１００は、Ｘ線管が乳房の一部の周囲の経路を走査するにつれて、患者の乳房の投影画像のセットを捕捉する、トモシンセシス入手システムであり得る、随意のＸ線画像入手システム１７０を含んでもよい。他の例では、Ｘ線入手システム１７０は、マンモグラフィシステムまたはＸ線コンピュータ断層撮影（ＣＴ）システムであってもよい。投影画像のセットは、続いて、３次元体積に再構成され、これは、任意の平面に沿ったスライスまたはスラブとして視認され得る。３次元体積は、Ｘ線画像入手システム１７０上にローカルに、またはいくつかの実施形態では、写真アーカイブ通信システム（ＰＡＣＳ）内に記憶されてもよい。典型的には、Ｘ線画像の画像フォーマットは、ＤＩＣＯＭフォーマットであるが、しかしながら、当業者は、他の画像フォーマットも使用されることができることを理解し得る。他の例では、Ｘ線画像入手システムの代わりに、またはそれと組み合わせて、陽電子放射断層撮影（ＰＥＴ）システム、核撮像システム、磁気共鳴画像診断（ＭＲＩ）システム、または他の類似撮像システム等の他の内部撮像モダリティが、使用されてもよい。

追跡システム１５０は、ナビゲーションシステム１３０と通信し、患者の組織の撮像の間、超音波撮像システム１４０の物理的位置を追跡する。いくつかの実施形態では、追跡システム１５０は、直接、直接通信リンクまたは無線通信リンクを介して、ナビゲーションシステム１３０に接続されることができる。追跡システム１５０は、超音波撮像システム１４０に接続される送信機の位置を追跡し、ナビゲーションシステム１３０に、追跡器座標空間内のその座標を表すデータを提供する。いくつかの実施形態では、追跡システム１５０は、光学カメラおよび光学送信機を備える、光学追跡システムであってもよいが、しかしながら、当業者は、空間内の物体の位置を追跡可能な任意のデバイスまたはシステムが使用されることができることを理解し得る。例えば、当業者は、いくつかの実施形態では、ＲＦ受信機およびＲＦ送信機を備える、無線周波数（ＲＦ）追跡システムが、使用されることができることを理解し得る。

超音波撮像システム１４０は、追跡システム１５０を使用した較正プロセスによって、ナビゲーションシステム１３０と併用するために構成される。超音波撮像システム１４０の超音波プローブに接続される送信機は、その位置を追跡器座標空間内の追跡システム１３０に伝送することができ、これは、順に、本情報をナビゲーションシステム１３０に提供する。例えば、送信機は、追跡システム１５０が、超音波プローブの位置および配向を監視し、この情報を追跡器座標空間内のナビゲーションシステム１３０に提供し得るように、超音波撮像システム１４０のプローブ上に位置付けられてもよい。ナビゲーションシステム１３０は、この追跡された位置を使用して、送信機の追跡された位置に対して超音波プローブの位置および配向を判定することができる。

いくつかの実施形態では、超音波画像入手システム１４０の構成は、構成ツールを使用して実施され、その位置および配向は、加えて、追跡システム１５０によって追跡されることができる。構成の間、構成ツールは、超音波撮像システム１４０の超音波プローブのトランスデューサ面に接触し、追跡システム１５０は、追跡器座標空間内の構成ツールの位置および配向を表す情報をナビゲーションシステム１３０に伝送する。ナビゲーションシステム１３０は、超音波プローブに接続される送信機の追跡された位置に基づいて、追跡器座標空間内の超音波プローブの視野の位置および配向を判定するために使用され得る、構成マトリクスを判定することができる。代替実施形態では、種々の超音波プローブの複数のブランドまたはモデルの構成データを有する、データベースが、構成の間、視野構成をナビゲーションシステム１３０の中に事前にロードするために使用されることができる。

いったん超音波撮像システム１４０が、構成されると、患者の組織は、超音波撮像システム１４０を用いて撮像されることができる。超音波撮像の間、追跡システム１５０は、超音波撮像システム１４０の超音波プローブの位置および配向を監視し、追跡器座標空間内のこの情報をナビゲーションシステム１３０に提供する。超音波撮像システム１４０は、ナビゲーションシステム１３０と併用するために構成されているため、ナビゲーションシステム１３０は、超音波撮像システム１４０の超音波プローブの視野の位置および配向を判定可能である。

ナビゲーションシステム１３０は、超音波画像を、超音波プローブの位置および配向情報とともに、乳房の写真画像から生成される乳房の視覚表現と共位置合わせするように構成されることができる。いくつかの実施形態では、ナビゲーションシステム１３０は、追跡器座標空間からの超音波プローブの視野の位置および配向を、入手された写真画像に基づいて３次元空間と関連付けられた物理的座標であり得る、視覚表現内の位置および配向に変換するように構成されることができる。いくつかの例では、写真画像は、固定位置から撮影され、座標系が固定カメラの位置に基づいて生成されることをもたらす。例えば、視覚表現が表示されると、超音波プローブの場所および配向が、視覚表現上に表示されてもよい。いくつかの実施形態では、視覚表現は、超音波プローブによって走査または撮像された乳房の部分を反映させるように更新される。さらに、表示される視覚表現は、超音波プローブの配向および場所に合致するように配向されてもよい。

Ｘ線画像入手システム１７０は、通信ネットワーク１２０を介して、３次元Ｘ線画像体積をナビゲーションシステム１３０に伝送し、そこで、Ｘ線画像が、記憶および視認されることができる。当業者は、患者のＸ線画像が、いくつかの実施形態では、Ｘ線画像入手システム１７０上にローカルに記録され、通信ネットワーク１２０を介して、ナビゲーションシステム１３０によって遠隔でアクセスされることができ、他の実施形態では、通信ネットワーク１２０を介して、ナビゲーションシステム１３０と通信するサーバ上に記憶されることができることを理解し得る。いくつかの実施形態では、Ｘ線画像入手システム１７０は、ナビゲーションシステム１３０と同一デバイス内に格納される。ナビゲーションシステム１３０は、Ｘ線撮像システムによって取得されるＸ線画像を表示し、いったんナビゲーションシステム１３０上での表示のために再構成されると、Ｘ線画像は、任意の平面および任意のスライス位置または配向において任意の画像を視認するように再フォーマットおよび再位置付けされることができる。いくつかの実施形態では、ナビゲーションシステム１３０は、同一画面上に、Ｘ線画像スライスの代替位置または配向を示す、複数のフレームまたはウィンドウを表示する。

当業者は、Ｘ線撮像システム１７０によって取得されるＸ線画像体積が、任意の時点において、ナビゲーションシステム１３０に伝送されることができ、必ずしも、Ｘ線画像体積を取得直後に伝送されず、代わりに、ナビゲーションシステム１３０の要求に応じて伝送されることができることを理解し得る。代替実施形態では、Ｘ線画像体積は、フラッシュドライブ、ＣＤ−ＲＯＭ、ディスケット、または他のそのような運搬可能媒体デバイス等の運搬可能媒体デバイスによって、ナビゲーションシステム１３０に伝送される。

いくつかの実施形態では、ナビゲーションシステム１３０はまた、超音波画像にアクセスし、そのような実施形態では、超音波撮像システム１４０はさらに、超音波画像がナビゲーションシステム１３０に伝送され得るように、通信ネットワーク１２０に接続される。他の実施形態では、ナビゲーションシステム１３０は、超音波画像を受信するか、または遠隔でアクセスし、コピーし、代替実施形態では、超音波画像のコピーが、ナビゲーションシステム１３０と通信するサーバ上に記憶され、ナビゲーションシステム１３０によって遠隔でアクセスされることができる。

ナビゲーションシステム１３０はまた、超音波画像をＸ線画像と共位置合わせするように構成されてもよい。いくつかの実施形態では、ナビゲーションシステム１３０は、追跡器座標空間からの超音波プローブの視野の位置および配向を、Ｘ線画像内の位置および配向、例えば、ＤＩＣＯＭ座標に変換するように構成されることができる。これは、超音波プローブの位置および配向を追跡し、追跡器座標空間内の本位置情報をナビゲーションシステム１３０に伝送し、本位置情報をＸ線座標系に関連させることによって遂行されることができる。例えば、いくつかの実施形態では、ユーザは、Ｘ線画像内の解剖学的平面を選択することができ、ユーザは、次いで、追跡された超音波プローブの位置および配向を操作し、超音波プローブの視野を選択された解剖学的平面と整合させることができる。いったん整合が達成されると、超音波画像の関連付けられた追跡器座標空間座標が、捕捉されることができる。Ｘ線画像と追跡器座標空間との間の解剖学的軸（上下（ＳＩ）、左右（ＬＲ）、および前後（ＡＰ））の位置合わせが、当業者に公知の技法を使用して、追跡された超音波視野配向と選択された解剖学的平面との間の相対的回転差異から判定されることができる。

ナビゲーションシステム１３０の構成はさらに、写真画像に基づいて、Ｘ線画像または視覚表現内への目印または着目領域の組み込みを含んでもよい。例えば、写真画像入手システム１１０によって判定された着目領域が、組み込まれてもよい、または着目領域が、ユーザが解剖学的標的を選択することを可能にするインターフェースを使用して、選択されてもよい。いくつかの実施形態では、目印は、静脈または動脈等の内部組織目印であることができ、他の実施形態では、目印は、乳首等の基準皮膚マーカまたは外部目印等の外部目印であることができる。目印または着目領域は、次いで、技術者がそれらを超音波プローブを用いて位置特定し得るように、視覚表現の中に組み込まれてもよい。Ｘ線画像内の標的の座標と、視覚表現と関連付けられた座標と、追跡器座標空間内の標的の座標との間の相対的差異が、座標空間を整合させるために使用される転換パラメータを判定するために使用される。固定カメラに基づいて座標とともに以前に入手された平面配向情報が、転換パラメータと組み合わせられ、座標空間を共位置合わせ可能な変換マトリクスを提供することができる。

ナビゲーションシステム１３０は、次いで、変換マトリクスを使用して、乳房の表面および／または表示されている組織のスライスが超音波撮像システム１４０の超音波プローブの視野と同一平面および同一配向にあるように、表示されている乳房表面の視覚表現および／またはＸ線画像を再フォーマットしてもよい。乳房表面の合致される超音波および視覚表現は、次いで、隣り合わせで表示されてもよい。合致される超音波およびＸ線画像もまた、隣り合わせで表示される、または単一画像視認フレーム内に直接オーバーレイされてもよい。いくつかの実施形態では、ナビゲーションシステム１３０は、乳房の表面の付加的Ｘ線画像または視覚表現をディスプレイシステム１６０上の別個のフレームまたは位置に表示することができる。例えば、乳房の表面の視覚表現は、超音波プローブの視野と同一視点から表示されることができる。いくつかの実施形態では、注釈が、加えて、表示され、例えば、生検針、誘導ワイヤ、撮像プローブ、または他の類似デバイス等、超音波撮像システム１４０によって撮像される器具の位置を表すことができる。

他の実施形態では、ディスプレイシステム１６０によって表示されている超音波画像は、ユーザが同一ディスプレイ上にオーバーレイされたＸ線および超音波画像の両方を同時に視認し得るように、ディスプレイシステムによって表示されているＸ線画像のスライス上に重畳されることができる。いくつかの実施形態では、ナビゲーションシステム１３０は、重畳された超音波またはＸ線画像のある側面を向上させ、結果として生じる組み合わせられる画像の品質を増加させてもよい。

３次元画像データセットと超音波フィードとの間でナビゲートし、座標系を整合させ、共通参照点の表示を可能にするために使用され得る、例示的方法およびシステムは、以下ならびに米国特許第９，０１９，２６２号（本開示は、参照することによってその全体として本明細書に組み込まれる）にさらに詳細に説明される。

図２Ａ−２Ｂは、超音波システム２００の部分実施形態を描写する。超音波システム２００は、図２Ａに示されるように、複数の取り付けられた光学送信機２５０を伴う、超音波プローブ２０４を含む。光学送信機２５０は、固定表面に搭載される光学カメラ２１２によって検出される。いくつかの実施形態では、写真画像入手システムのためのデジタルカメラ（図示せず）が、光学カメラ２１２と実質的に同一場所に設置されてもよい。光学カメラ２１２は、複数の光学送信機の３次元座標データを追跡器座標空間内のナビゲーションシステム１３０に伝送するために、通信ネットワークに接続される。光学カメラ２１２は、超音波送信機２５０を追跡し、通信ネットワークを介して、本データをナビゲーションシステムに伝送することによって、超音波プローブ２０４の位置および配向を監視する。動作時、技術者が、超音波プローブ２０４を乳房等の標的２１４に向かって指向するにつれて、音波ビーム２１０が、トランスデューサ２０６から標的の中に放出される。検査の間、超音波プローブ２０４の場所および配向が、音波ビームの場所および角度を記録するように追跡され、したがって、超音波画像とその場所および配向の相関を可能にする。

示される実施形態では、超音波プローブ２０４は、追跡器座標空間内の光学カメラ２１２によって追跡される、超音波送信機２５０に係合される（例えば、支持構造２０８を介して）。超音波送信機２５０は、光学カメラ２１２によって追跡される光学送信機であるが、しかし、他の送信機−受信機システムも、使用されることができる。例えば、他の実施形態では、ＲＦ送信機および受信機が、追跡器座標空間内の超音波プローブ２０４の位置および配向を追跡するために使用されることができる。加えて、超音波送信機２５０の他の配向および位置も、光学カメラ２１２によって検出可能な位置および配向情報を提供するために使用され、ナビゲーションシステム１３０に伝送されてもよい。超音波送信機２５０は、直錬状トランスデューサ、湾曲トランスデューサ、ならびにアレイおよび位相アレイトランスデューサ等のトランスデューサ２０６の任意の形状を伴う任意の超音波プローブを構成する能力を提供するように、超音波プローブ２０４に除去可能に接続されてもよい。異なるタイプのトランスデューサは、異なるタイプの音波ビーム２１０を生産し得る。

付加的実施形態では、超音波画像フィードと表面画像および／またはトモシンセシススライスの共位置合わせは、乳房内の異なる平面および深度における超音波画像の捕捉を促進する。それぞれ、乳房内の異なる深度から入手された捕捉された超音波画像は、再構成され、超音波データの３次元体積を生成することができる。本技術は、超音波プローブを表面画像データに基づいてトモシンセシスを使用して入手された３次元体積内の適切な場所にナビゲートするために使用されることができる。いったんプローブが適切な表面場所内に来ると、超音波画像のシーケンスが、超音波信号の強度を変動させ、それによって、対応する超音波画像体積に関する情報を生成することによって、可変深度において取得されてもよい。本技術は、検査の間の任意の特定の場所におけるそのような３次元超音波画像体積の生成に限定されないことを認識されたい。

図２Ｂはさらに、（特定の位置における）超音波トランスデューサ２６０の異なる座標平面と、３Ｄトモシンセシス撮像幾何学形状２７０の座標平面とを図示する。追跡システムは、プローブ上の送信機によって提供される情報を使用して、超音波プローブの配向および位置をリアルタイムで判定し、したがって、任意の瞬間における超音波フィードと関連付けられた特定の視認平面に関連する情報を提供する。

超音波画像フィードを介して提供されるリアルタイム情報は、種々の方法で使用されることができる。超音波プローブの手動操作が、実施されてもよく、超音波画像フィードはまた、超音波ディスプレイ（または超音波画像に配分されるワークステーションディスプレイの一部）上に提供される。超音波プローブが、着目領域に接近するにつれて、可視または可聴キューが、ユーザに提供され、ユーザが、集塊をより慎重に視認し、および／または後の精査のために代表的画像を捕捉することを可能にされてもよい。他のタイプのフィードバックもまた、超音波走査に基づいて提供されてもよい。例えば、可聴または視覚フィードバックは、超音波プローブの速度に基づいて提供されてもよい。特定のトーンが、超音波プローブの所定の速度で発報されてもよく、そのトーンは、超音波プローブの速度が変化するにつれて、ピッチを変化させてもよい。可聴または可視フィードバックもまた、超音波プローブの配向または位置に関して提供され、超音波画像入手を補助してもよい。フィードバックはまた、着目領域のために使用されるべきプローブのタイプまたは超音波ビームの特性を示してもよい。例えば、フィードバックは、１８ＭＨｚ超音波プローブが特定の着目領域のために利用されるべきであることを示してもよい。

図３Ａ−３Ｃは、超音波プローブを用いてのような、内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。図３Ａは、乳房の表面の２つの視覚表現を示す、ディスプレイ３００（例えば、図１Ａ−１Ｂのディスプレイシステム１６０）を描写する。第１の視覚表現３０２Ａは、乳房の表面の側面図を示し、第２の視覚表現３０４Ａは、乳房の表面の正面図を示す。各視覚表現は、乳房の表面マップに基づく。各視覚表現上には、表面インジケータ３０６が、表示される。表面インジケータ３０６は、写真画像、３次元データ、サーモグラフィデータに基づいて、および／またはユーザインターフェースを通した手動識別によって判定された着目領域を示す。ディスプレイ３００は、医療専門家が、視覚表現を確認し、着目領域が位置する場所を理解し得るように、超音波撮像を実施する医療専門家に近接して設置される。図に示されないが、視覚表現は、乳房の写真画像とオーバーレイされ、技術者が、例えば、参照点として使用するための黒子または他の皮膚状態等の乳房上の天然目印を確認することを可能にしてもよい。いくつかの実施形態では、乳房の視覚表現はまた、腋窩組織または乳房を取り囲む身体の他の部分を表示するし得る。

図３Ｂは、超音波プローブを用いた内部画像データの入手の間の更新された視覚表現３０２Ｂ、３０４Ｂを描写する。内部画像入手の間、超音波プローブは、凹部３０８を生じさせる等によって、乳房の形状を改変し得る。更新された視覚表現３０２Ｂ、３０４Ｂは、乳房の現在の形状を反映させ、検査の間の凹部３０８または乳房の形状の他の変化を示すことを含む。故に、医療専門家は、更新を確認し、必要に応じて、超音波プローブを調節することができる。

図３Ｃは、超音波プローブを用いた内部画像データの入手の間の更新された視覚表現３０２Ｃ、３０４Ｃを描写する。更新された視覚表現３０２Ｃ、３０４Ｃでは、超音波プローブによって走査された走査面積３１０は、視覚表現３０２Ｃ、３０４Ｃ内において象徴化される。示されるように、走査面積３１０は、更新された視覚表現３０２Ｃ、３０４Ｃ内の斜交平行線陰影面積によって示される。走査面積３１０はまた、色変化、陰影、または任意の他の視覚インジケータによって示され、超音波プローブによって走査された乳房の面積を示してもよい。故に、内部画像データの入手の間、医療専門家は、まだ走査されていない乳房の部分を視認可能である。例えば、乳房全体が走査されるべき場合、乳房全体が、超音波走査の完了に応じて、走査面積３１０の斜交平行線陰影によって被覆されるであろう。

２つの視覚表現３０２、３０４が、図３Ａ−３Ｃに表示されるように描写されるが、いくつかの実施形態では、１つのみの視覚表現が、表示される。そのような実施形態では、視覚表現は、視覚表現が超音波プローブから放出されている超音波ビームと同一視点からであるように仮想上で回転してもよい。視覚表現の仮想移動はまた、医療専門家が、入手された超音波画像毎に、超音波プローブの角度および場所をより良好に理解可能であるように、後の再生および分析のために、入手された超音波画像とともに記録および相関されてもよい。さらに、収集される超音波画像のリアルタイムビューもまた、ディスプレイ３００または別個のディスプレイに表示されてもよい。

図４Ａ−４Ｃは、超音波プローブを用いるような内部画像データの入手の間の乳房の表示される視覚表現の例を描写する。図４Ａは、乳房の視覚表現４０２Ａを示す、ディスプレイ４００を描写する。視覚表現４０２Ａは、乳房の正面ビューからの乳房の輪郭マップである。図３Ａ−３Ｃに示される表面マップではなく、簡略化された輪郭マップ視覚表現４０２Ａが、使用されてもよく、その場合、コンピューティングリソースは、限定されるか、またはより少ない情報が、超音波走査のために要求される。視覚表現４０２Ａは、着目点または領域を示す、表面インジケータ４０６を含む。視覚表現４０２Ａはまた、医療専門家が超音波検査を実施するためのさらなる基準マーカを提供する、象限ライン４１２を含んでもよい。いくつかの実施形態では、乳房の輪郭マップ視覚表現４０２Ａはまた、腋窩組織または乳房を取り囲む身体の他の部分を表示し得る。

図４Ｂは、超音波プローブを用いた内部画像データの入手の間の更新された視覚表現４０４Ｂを描写する。内部画像入手の間、超音波プローブは、凹部４０８を生じさせる等、乳房の形状を改変させ得る。更新された視覚表現４０２Ｂは、乳房の現在の形状を反映させ、凹部４０８または検査の間の乳房の形状の他の変化を示すことを含む。故に、医療専門家は、更新を確認し、必要に応じて、超音波プローブを調節することができる。

図４Ｃは、超音波プローブを用いた内部画像データの入手の間の別の更新された視覚表現４０４Ｃを描写する。更新された視覚表現４０４Ｃでは、超音波プローブによって走査された走査面積４１０は、斜交平行線陰影面積として描写される。走査面積４１０はまた、色変化、陰影、または任意の他の視覚インジケータによって示され、超音波プローブによって走査された乳房の面積を示してもよい。故に、内部画像データの入手の間、医療専門家は、まだ走査されていない乳房の部分を視認可能である。例えば、乳房全体が走査されるべき場合、乳房全体は、超音波走査の完了に応じて、走査面積４１０の斜交平行線陰影によって被覆され得る。

図５Ａ−５Ｂは、乳房等の標的を撮像するための方法５００の例を描写する。動作５０２では、乳房の表面画像が、第１の撮像モダリティを使用して入手される。前述のように、第１の撮像モダリティは、デジタル写真、立体的写真、構造化された光立体的写真、および／または赤外線撮像、または任意のそれらの組み合わせを含んでもよい。入手された表面画像の分析から、１つまたはそれを上回る着目領域が、随意に、動作５０４において識別されてもよい。例えば、乳房の写真画像および／または表面マップから識別され得る、ある特徴は、前述のように、乳房の表面の下方の異常組織または乳房構造体を示し得る。着目領域は、画像分析、区画化、分類、学習アルゴリズム、および他の技術を通して判定されてもよい。いくつかの実施形態では、着目領域は、医療専門家がワークステーション内のユーザインターフェースを通して表面画像データを視認することによって、手動で識別されてもよい。

動作５０６では、乳房の表面の視覚表現が、表面画像データに基づいて生成される。視覚表現の生成はまた、表面画像データからの表面マップの生成を含んでもよい。生成された視覚表現はまた、動作５０４において判定された着目領域に関するマーカまたはインジケータを含んでもよい。医療専門家はまた、デジタル目印、クロップマーク、および基準をさらに利用して、ワークステーション内のユーザインターフェースを通して視覚表現に追加してもよい。いったん視覚表現が生成されると、動作５０８において、超音波検査等の内部撮像検査を実施する医療専門家のための誘導として、ディスプレイ画面上に表示される。

動作５１０では、標的に関する内部画像データが、入手される。標的に関する内部画像データは、手動で制御される超音波プローブの使用を通して入手されてもよい。内部画像データの入手の間、超音波プローブの場所、角度、および他の特性が、入手された内部画像データが乳房の表面の視覚表現の座標と共位置合わせまたは相関され得るように追跡される。動作５１２では、フィードバックが、内部撮像プロセスに関して提供されることができる。例えば、超音波プローブの追跡された特性から、可聴または可視フィードバックが、前述のように提供されることができる。

動作５１４では、内部撮像検査が完了したかどうかの判定が、行われる。例えば、検査が、超音波プローブを用いて完全乳房の走査を要求する場合、乳房の表面の視覚表現と相関される超音波画像データを分析することによって、完全乳房が実際に走査されたかどうかの判定が、行われることができる。他の例では、医療専門家が、ユーザインターフェース内の終了ボタンを押下した等、検査を手動で終了させたかどうかを判定することによって、判定が、行われてもよい。

内部撮像が、完了していない場合、方法５００は、動作５１８に進み、内部画像データが、随意に、分析され、超音波プローブによってさらに検査されるべき任意の付加的着目領域を判定してもよい。動作５２０では、更新された表面画像データが、入手される。更新された表面画像データは、動作５０２と同一様式で入手されてもよい。更新された表面画像データはまた、持続的に収集されてもよい。例えば、表面画像データを捕捉するために利用されるカメラは、ビデオを記録し、連続画像フィードを提供してもよい。更新された視覚表現が、次いで、動作５２０において、更新された表面画像データと、該当する場合、動作５１８において識別された付加的着目領域とに基づいて生成される。更新された視覚表現は、標的の現在のビューを示し、したがって、任意のリアルタイム凹部、変形、または標的内の他の形状変化を反映させる。更新された視覚表現はまた、オリジナル着目領域に関するインジケータと、また、付加的着目領域に関するインジケータとを含んでもよい。さらに、更新された視覚表現はまた、色、陰影、または他のマーカを含み、超音波プローブによってすでに走査された標的の部分を示してもよい。更新された視覚表現は、次いで、動作５２４において、ディスプレイ画面上に表示される。いくつかの実施形態では、更新された視覚表現はまた、超音波プローブの視点に合致する様式で表示されてもよい。

動作５２６では、標的に関する更新された内部画像データが、入手される。内部画像データは、動作５１０と同一様式で入手されてもよい。内部撮像プロセスに関するフィードバックが、再び、動作５１２と同様に、動作５２８において提供されてもよい。プロセスは、次いで、動作５１４に戻り、内部撮像検査が完了したかどうかの別の判定が、行われる。検査が完了していない場合、方法は、別のループの実施に進む。ある実施形態では、方法は、検査の間、更新された表面画像データを持続的に入手し、更新された視覚表現を生成および表示する。フィードバックもまた、検査の持続時間にわたって持続的に提供されてもよい。

動作５１４において、検査が完了した場合、方法は、動作５１６に進み、表面画像データおよび内部画像データが、パッケージ化および分析される。いくつかの実施形態では、検査の間に入手された表面画像データおよび内部画像データの全部が、乳房の３次元モデルを生成するために使用される。検査の間、超音波プローブの場所を追跡し、その場所を表面画像データの座標と相関させることによって、３Ｄモデルが、ロバストかつ空間的に正確な立体超音波画像を提供可能となる。３Ｄモデルは、次いで、医師または他の専門家によって視認され、癌または他の病気の潜在的リスクを判定することができる。いくつかの例では、学習アルゴリズムまたは他の自動化された分析が、３Ｄモデルに適用され、潜在的癌リスクスコアを判定するか、または医療精査のために標的内の構造体をさらに識別する。モデルを分析する際の処理要件に起因して、そのような分析は、サーバまたは他のクラウドサービスによって実施されてもよい。簡略化された用途では、正または負の出力が、表面画像データおよび内部画像データの分析に基づいて生成されてもよい。正の出力を受信する患者は、さらなる検査から免れるであろう一方、負の出力を受信する患者は、付加的試験を推奨されるであろう。そのような簡略化されたモデルは、特に、複雑なまたは放射線癌スクリーニングが限定される面積において有用である。本技術をそのような面積にもたらすことによって、デジタル写真および超音波プローブを使用した効率的癌スクリーニングが、そのようなスクリーニングが概して容易に利用可能ではない母集団のために達成されることができる。

いくつかの例では、内部画像データは、検査の間、分析され、異常構造を示す内部画像データが存在する場合、マークされる。次いで、マークされた内部画像のみが、保存され、３Ｄモデルの中に組み込まれ、したがって、処理およびメモリ要件を節約する。

図６は、本実施形態のうちの１つまたはそれを上回るものが実施され得る、好適な動作環境６００の一例を図示する。本動作環境は、本明細書に開示される撮像システムの中に直接組み込まれてもよい、または本明細書に説明されるような撮像システムから離散するが、それを制御するために使用される、コンピュータシステムの中に組み込まれてもよい。これは、好適な動作環境の一例にすぎず、使用または機能性の範囲に関する任意の限定を示唆することを意図するものではない。使用に好適であり得る、他の周知のコンピューティングシステム、環境、および／または構成として、限定ではないが、撮像システム、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、スマートフォン、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、タブレット等のプログラマブル消費者電子機器、前述のシステムもしくはデバイスのいずれかを含む、分散コンピューティング環境、および同等物が挙げられる。

その最も基本構成では、動作環境６００は、典型的には、少なくとも１つの処理ユニット６０２と、メモリ６０４とを含む。コンピューティングデバイスの正確な構成およびタイプに応じて、メモリ６０４（とりわけ、本明細書に開示される画像取得および処理方法を行うための命令を記憶する）は、揮発性（ＲＡＭ等）、不揮発性（ＲＯＭ、フラッシュメモリ等）、またはそれら２つのある組み合わせであることができる。本最も基本構成は、破線６０６によって図６に図示される。さらに、環境６００はまた、限定ではないが、磁気または光ディスクもしくはテープを含む、記憶デバイス（可撤性６０８および／または非可撤性６１０）を含むことができる。同様に、環境６００はまた、タッチスクリーン、キーボード、マウス、ペン、音声入力等の入力デバイス６１４、および／またはディスプレイ、スピーカ、プリンタ等の出力デバイス６１６を有することができる。また、環境内に含まれるのは、ＬＡＮ、ＷＡＮ、２地点間、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦ等の１つまたはそれを上回る通信接続６１２であることができる。

動作環境６００は、典型的には、少なくともある形態のコンピュータ可読媒体を含む。コンピュータ可読媒体は、処理ユニット６０２または動作環境を構成する他のデバイスによってアクセスされ得る、任意の利用可能な媒体であることができる。限定ではないが、一例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を備えることができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のための任意の方法または技術において実施される、揮発性および不揮発性の可撤性ならびに非可撤性媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学記憶、磁気カセット、磁気テープ、磁気ディスク記憶もしくは他の磁気記憶デバイス、固体状態記憶、または所望の情報を記憶するために使用され得る、任意の他の有形媒体を含む。通信媒体は、搬送波または他のトランスポート機構等の変調されたデータ信号において、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを具現化し、任意の情報送達媒体を含む。用語「変調されたデータ信号」とは、その特性セットのうちの１つまたはそれを上回るものを有する、または信号内の情報をエンコードするように変更される、信号を意味する。限定ではないが、一例として、通信媒体は、有線ネットワークまたは直接有線接続等の有線媒体と、音響、ＲＦ、赤外線、および他の無線媒体等の無線媒体とを含む。前述のいずれかの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。コンピュータ可読デバイスは、コンピュータ記憶媒体を組み込む、ハードウェアデバイスである。

動作環境６００は、１つまたはそれを上回る遠隔コンピュータへの論理接続を使用してネットワーク化された環境内で動作する、単一コンピュータであることができる。遠隔コンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的ネットワークノードであることができ、典型的には、前述の要素ならびに記載されていないその他の多くまたは全部を含む。論理接続は、利用可能な通信媒体によってサポートされる任意の方法を含むことができる。そのようなネットワーク化環境は、オフィス、企業間コンピュータネットワーク、イントラネット、およびインターネットに一般的である。

いくつかの実施形態では、本明細書に説明される構成要素は、コンピュータ記憶媒体および他の有形媒体上に記憶され、通信媒体内で伝送されることができる、コンピュータシステム６００によって実行可能なそのようなモジュールまたは命令を備える。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のために、任意の方法または技術において実施される、揮発性および不揮発性の可撤性ならびに非可撤性媒体を含む。前述のいずれかの組み合わせもまた、可読媒体の範囲内に含まれるべきである。いくつかの実施形態では、コンピュータシステム６００は、コンピュータシステム６００による使用のための遠隔記憶媒体内にデータを記憶する、ネットワークの一部である。

図７は、本明細書に開示される種々のシステムおよび方法が動作し得る、ネットワーク７００の実施形態である。実施形態では、クライアントデバイス７０２等のクライアントデバイスが、ネットワーク７０８を介して、サーバ７０４および７０６等の１つまたはそれを上回るサーバと通信してもよい。実施形態では、クライアントデバイスは、独立型デバイスであってもよい、または固定ワークステーション（例えば、図１Ｂに描写されるワークステーション１８０）のポータブルであってもよい。クライアントデバイスはまた、ラップトップ、パーソナルコンピュータ、スマートフォン、ＰＤＡ、ネットブック、または図６におけるコンピューティングデバイス等の任意の他のタイプのコンピューティングデバイスを含む、または組み込んでもよい。実施形態では、サーバ７０４および７０６は、図６に図示されるコンピューティングデバイス等の任意のタイプのコンピューティングデバイスであってもよい。ネットワーク７０８は、クライアントデバイスと１つまたはそれを上回るサーバ７０４および７０６との間の通信を促進可能な任意のタイプのネットワークであってもよい。例えば、表面画像データおよび内部画像データは、撮像システムを介して、ローカルで入手され、さらなる処理のために、画像入手ワークステーションまたはクラウドベースのサービス等の別のコンピューティングデバイスに通信されてもよい。そのようなネットワークの例として、限定ではないが、ＬＡＮ、ＷＡＮ、セルラーネットワーク、および／またはインターネットが挙げられる。

実施形態では、本明細書に開示される種々のシステムおよび方法は、１つまたはそれを上回るサーバデバイスによって行われてもよい。例えば、一実施形態では、サーバ７０４等の単一サーバが、本明細書で議論される撮像のための方法等、本明細書に開示されるシステムおよび方法を行うために採用されてもよい。クライアントデバイス７０２は、ネットワーク７０８を介して、サーバ７０４と相互作用してもよい。さらなる実施形態では、クライアントデバイス７０２はまた、次いで、サーバ７０４および／または７０６に提供され得る、走査および画像処理等の本明細書に開示される機能性を行ってもよい。

代替実施形態では、本明細書に開示される方法およびシステムは、分散コンピューティングネットワークまたはクラウドネットワークを使用して行われてもよい。そのような実施形態では、本明細書に開示される方法およびシステムは、サーバ７０４および７０６等の２つまたはそれを上回るサーバによって行われてもよい。特定のネットワーク実施形態が本明細書に開示されるが、当業者は、本明細書に開示されるシステムおよび方法が他のタイプのネットワークおよび／またはネットワーク構成を使用して行われてもよいことを理解されるであろう。

本明細書に説明される実施形態は、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせを使用して、本明細書に開示されるシステムおよび方法を実施し、行うために採用されることができる。具体的デバイスが、本開示全体を通して、具体的機能を行うように列挙されたが、当業者は、これらのデバイスが、例証目的のために提供され、他のデバイスも、本開示の範囲から逸脱することなく、本明細書に開示される機能性を行うために採用されることができることを理解されるであろう。

本開示は、付随の図面を参照して、本技術のいくつかの実施形態を説明したが、可能性として考えられる実施形態のいくつかのみが、示された。しかしながら、他の側面も、多くの異なる形態で具現化されることができ、本明細書に記載される実施形態の限定として解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であって、当業者に可能性として考えられる実施形態の範囲を完全に伝えるように提供された。

具体的実施形態が、本明細書に説明されたが、本技術の範囲は、それらの具体的実施形態に限定されない。当業者は、本技術の範囲内の他の実施形態または改良を認識するであろう。したがって、具体的構造、作用、または媒体は、例証的実施形態としてのみ開示される。本技術による実施形態はまた、本明細書に別様に記載されない限り、概して開示されるが、組み合わせとして明示的に例示されないものの要素または構成要素を組み合わせてもよい。本技術の範囲は、以下の請求項およびその中の任意の均等物によって定義される。

Claims (31)

1. 患者の乳房を撮像するための方法であって、
   前記乳房の表面の写真画像を入手するステップと、
   前記写真画像に基づいて、前記乳房の表面マップを生成するステップと、
   前記乳房の視覚表現を表示するステップと、
   前記視覚表現に基づいて、前記乳房の表面上の着目領域を識別するステップと、
   前記識別された着目領域を示すインジケータとともに、前記乳房の視覚表現を表示するステップと、
   超音波プローブを用いて、前記乳房の超音波画像を入手するステップと、
   前記超音波画像の入手の間、少なくとも部分的に、前記入手された超音波画像に基づいて、前記視覚表現の表示を更新するステップと
   を含む、方法。
2. 前記視覚表現の表示を更新するステップは、前記視覚表現内に、前記超音波プローブによって走査される前記乳房の部分を表示することを含む、請求項１に記載の方法。
3. 前記超音波プローブを用いて走査するための前記乳房の付加的着目領域を識別するために、前記入手された前記乳房の超音波画像を分析するステップをさらに含み、前記視覚表現の表示を更新するステップは、前記視覚表現内において、前記乳房の付加的着目領域を識別するステップを含む、請求項１または２に記載の方法。
4. 前記超音波プローブの角度、前記超音波プローブの配向、前記超音波プローブの位置、および前記超音波プローブの走査速度のうちの少なくとも１つに関するフィードバックを生成するステップをさらに含む、請求項１−３のいずれかに記載の方法。
5. 前記写真画像は、前記乳房の立体視的に構造化された光画像である、請求項１−４のいずれかに記載の方法。
6. 少なくとも１つのプロセッサが、異常乳房構造体を判定するために前記入手された超音波画像および前記写真画像のうちの少なくとも１つを分析するステップをさらに含む、請求項１−５のいずれかに記載の方法。
7. 前記超音波画像に基づいて、３次元モデルを生成するステップをさらに含み、前記３次元モデルは、前記異常乳房構造体の場所を示すインジケータを含む、請求項６に記載の方法。
8. 少なくとも１つのプロセッサが、前記乳房に関する癌リスクスコアを生成するために前記入手された超音波画像および前記写真画像のうちの少なくとも１つを分析するステップをさらに含む、請求項１−７のいずれかに記載の方法。
9. 少なくとも１つのプロセッサが前記着目領域を識別するステップは、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異のうちの少なくとも１つに基づく、請求項１−８のいずれかに記載の方法。
10. 前記乳房が前記超音波画像の入手の間に前記超音波プローブによって変形されるとき、前記乳房の更新された写真画像を入手するステップと、
    前記第２の写真画像に基づいて、前記変形された乳房の更新された視覚表現を生成するステップと、
    前記超音波画像の入手の間に変形された乳房の更新された視覚表現を表示するステップと、
    をさらに含む、請求項１−９のいずれかに記載の方法。
11. 前記視覚表現は、前記写真画像および前記表面マップのうちの少なくとも１つを含む、請求項１−１０のいずれかに記載の方法。
12. 前記乳房は、前記超音波画像の入手の間、圧迫されない、請求項１−１０に記載の方法。
13. 患者の乳房を撮像するためのシステムであって、
    カメラと、
    超音波プローブと、
    ディスプレイと、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに動作可能に結合される、メモリであって、前記少なくとも１つのプロセッサによって実行されると、
    前記カメラによって入手された写真画像に基づいて、前記乳房の表面マップを生成するステップと、
    前記乳房の視覚表現に基づいて、前記乳房の表面上の着目領域を識別するステップと、
    前記視覚表現上に表面インジケータを生成するステップであって、前記表面インジケータが、前記識別された着目領域を示す、ステップと、
    前記視覚表現を前記表面インジケータとともに前記ディスプレイに送信するステップと、
    前記乳房の超音波画像を前記超音波プローブから受信するステップと、
    前記超音波画像の入手の間、前記入手された超音波画像に基づいて、前記視覚表現の表示への更新を生成するステップと、
    前記更新を前記ディスプレイに送信するステップと、
    を含む、動作のセットを実施する、命令を記憶する、メモリと
    を備える、システム。
14. 前記超音波プローブに動作可能に接続され、前記少なくとも１つのプロセッサに通信可能に接続される、追跡システムをさらに備える、請求項１３に記載のシステム。
15. 前記更新は、前記視覚表現上に、前記超音波プローブによって走査される前記乳房の部分を表すグラフィカル表現を含む、請求項１３−１４のいずれかに記載のシステム。
16. 前記更新は、前記視覚表現上に、前記超音波プローブを用いて走査されるべき前記乳房の別の着目領域を表すグラフィカル表現を含む、請求項１３−１５のいずれかに記載のシステム。
17. 前記カメラは、立体カメラであって、前記写真画像は、前記乳房の立体視的に構造化された光画像である、請求項１３−１６のいずれかに記載のシステム。
18. 前記動作のセットはさらに、異常乳房構造体を判定するために、前記入手された超音波画像および前記写真画像のうちの少なくとも１つを分析するステップを含む、請求項１３−１７のいずれかに記載のシステム。
19. 前記着目領域を識別するステップは、同側皮膚テクスチャ、対側皮膚テクスチャ、皮膚色、組織陥凹形成、乳首変化、陥没乳頭、しこり、および対側乳房体積差異のうちの少なくとも１つに基づく、請求項１３−１８のいずれかに記載のシステム。
20. 前記動作のセットはさらに、前記表面マップおよび前記入手された超音波画像のうちの１つまたはそれを上回るものに基づいて、前記超音波プローブの角度、前記超音波プローブの配向、前記超音波プローブの位置、および前記超音波プローブの走査速度のうちの少なくとも１つに関するフィードバックを生成するステップを含む、請求項１３−１９のいずれかに記載のシステム。
21. スピーカをさらに備え、前記動作のセットはさらに、
    前記入手された超音波画像を分析するステップと、
    前記入手された超音波画像の分析に基づいて、可聴フィードバックを提供するために、オーディオ信号を前記スピーカに送信するステップと
    を含む、請求項１３−２０のいずれかに記載のシステム。
22. 前記動作のセットはさらに、
    前記乳房が前記超音波画像の入手の間に前記超音波プローブによって変形されるとき、前記乳房の更新された写真画像を入手するステップと、
    前記第２の写真画像に基づいて、前記変形された乳房の更新された視覚表現を生成するステップと、
    前記超音波画像の入手の間に変形された乳房の更新された視覚表現を前記ディスプレイに送信するステップと
    を含む、請求項１３−２０のいずれかに記載のシステム。
23. 患者の乳房を撮像するための方法であって、
    カメラを使用して、乳房の写真画像を入手するステップと、
    前記乳房の視覚表現を表示するステップであって、前記視覚表現は、少なくとも、前記写真画像に基づく、ステップと、
    超音波プローブを用いて前記乳房を走査するステップと、
    走査しながら、前記超音波プローブの場所を追跡し、前記超音波プローブの追跡された場所に基づいて、前記表示される視覚表現を更新するステップと
    を含む、方法。
24. 患者の乳房を撮像するための方法であって、
    乳房の第１の写真画像を入手するステップと、
    前記乳房の視覚表現を表示するステップであって、前記視覚表現は、少なくとも、前記第１の写真画像に基づく、ステップと、
    超音波プローブを用いて前記乳房を走査するステップであって、前記乳房を走査するステップが、前記乳房を変形させる、ステップと、
    前記乳房を走査しながら、
    前記乳房の第２の写真画像を入手するステップであって、前記第２の写真画像は、前記変形された乳房を描写する、ステップと、
    前記乳房の第２の視覚表現を表示するステップであって、前記第２の視覚表現は、少なくとも、前記第２の写真画像に基づく、ステップと
    を含む、方法。
25. 撮像のための方法であって、
    第１の撮像モダリティを使用して、標的に関する表面画像データを入手するステップと、
    前記表面画像データに基づいて、前記標的の視覚表現を生成するステップと、
    第２の撮像モダリティを使用して、前記標的に関する内部画像データを入手するステップと、
    前記内部画像データの入手の間、前記入手された内部画像データに基づいて、前記標的の視覚表現を更新するステップと
    を含む、方法。
26. 前記標的は、乳房を含む、請求項２５に記載の方法。
27. 前記第１の撮像モダリティは、デジタル写真、構造化された光立体的写真、および赤外線撮像のうちの少なくとも１つである、請求項２５−２６のいずれかに記載の方法。
28. 前記第２の撮像モダリティは、超音波撮像である、請求項２５−２７のいずれかに記載の方法。
29. 少なくとも１つのプロセッサが、前記視覚表現に基づいて、前記標的の表面上の着目領域を識別するステップをさらに含む、請求項２５−２８のいずれかに記載の方法。
30. 前記着目領域を前記視覚表現内に表示するステップをさらに含む、請求項２９に記載の方法。
31. 前記内部画像データの入手の間、前記標的が前記第２の撮像モダリティによって変形されるとき、前記第１の撮像モダリティによって、前記標的の更新された表面画像データを入手するステップと、
    前記更新された表面画像データに基づいて、前記変形された標的の更新された視覚表現を生成するステップと、
    前記内部画像データの入手の間の前記更新された視覚表現を表示するステップと
    をさらに含む、請求項２５−３０のいずれかに記載の方法。
    

Images