JP7171168B2 - 医用画像診断装置及び医用画像処理装置 - Google Patents

Description

本実施形態は、例えば医用画像診断装置及び医用画像処理装置に関する。

穿刺針を用いる生検は、一般に、患者またはその他被検体から組織サンプルを収集するために実施される。また、穿刺針を用いて腫瘍部を焼灼する治療法が存在する。これらの生検、焼灼治療においては、針は組織に挿入され、関心領域の医用撮像を使用して導かれる。関心領域の医用撮像は、例えば、超音波プローブを使用して取得される撮像など、リアルタイム撮像を含んでよい。針の位置は、リアルタイム撮像を使用して追跡されてもよい。また針の位置は、位置センサを使用して代替的にまたは追加的に追跡することが出来る。

穿刺術に先立って取得される先行画像（例えば、穿刺術よりも前もって取得された先行３次元医用画像、或いはアトラス画像）は、リアルタイム撮像と共に表示される。先行３次元医用画像とは、例えば、ＣＴ、ＭＲなどの医用画像診断装置によって取得された三次元画像または３次元超音波画像であってもよい。先行３次元医用画像は、リアルタイム超音波画像と一緒にレジストレーションされることがある。

生検針を誘導中の臨床医にとって、先行３次元医用画像は有益な情報を含むことができる。例えば、先行３次元医用画像は、所望のサンプルされる解剖学的特徴（腫瘍など）の大きさや位置を示すことができる。先行３次元医用画像は、３次元の性質によりおよび／または異なるモダリティで撮られているので、リアルタイム撮像よりもさらに多くの情報量を示すかもしれない。

中には、先行３次元医用画像がレジストレーションされたＭＰＲ（マルチプラナー再編成）画像として示される場合がある。レジストレーションされたＭＰＲ画像は、リアルタイム撮像で示される平面画像に対応する、先行３次元医用画像のスライスを示してもよい。

またあるケースでは、先行３次元医用画像が３次元ボリュームレンダリング画像として、示されるものがある。先行３次元医用画像を３次元ボリュームレンダリング画像として表示することにより、ＭＰＲ画像に比して、より多くの事実関係（ｃｏｎｔｅｘｔ）を伴う概要的な全体像を考慮することが出来る。

３次元ボリュームレンダリング画像は、先行画像が針とプローブとの幾何学的な位置関係の移動のみを伴った、固定された位置から見られることを可能にする。その一方で、レジストレーションされたＭＰＲ画像は、針とプローブの幾何学的な位置関係の移動のみに固定された位置から先行３次元医用画像を観察するような、全体的な位置や方向において同じ感覚をもたらさないかもしれない。

米国特許出願公開第２０１４／０２３２７１９Ａ１号明細書

例えば、穿刺術においては、針先や針先周囲に関する関連情報を視覚化することが望ましい。しかし、３次元ボリュームレンダリングの特性上、針の描出が３次元ボリュームレンダリングに含まれる場合、実際に針先がどこにあるのかを目で捉えるのは、一般的に困難である。針先は、針が挿入される表面または物質によって塞がれる可能性があるからである。

針は、主には柔組織に向けられるので、先行３次元医用画像の標準的な直接ボリュームレンダリング画像（ｃｌａｓｓｉｃａｌ Ｄｉｒｅｃｔ Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ ｉｍａｇｅｓ）では、粗く見える可能性がある。従来の直接ボリュームレンダリングは、柔組織を上手くレンダリングしないかもしれないので、主な組織タイプおよび／またはその主な組織タイプ周りの大半が柔組織の場合、先行３次元医用画像のレンダリングに対しては不適切かもしれない。

画像中のノイズは、局所シェーディングにより、よりひどくなる可能性がある。ノイズの影響は、先行画像が３次元超音波ボリュームならば、特にひどいかもしれない。ある状況下で、ノイズ影響が針の幾何学的位置関係（ｎｅｅｄｌｅ ｇｅｏｍｅｔｒｙ）をより見づらいものにする可能性がある。

以上に鑑み、本実施形態の目的は、手術前のシミュレーションや手術中において、対象部位、被検体内に挿入する医用器具又は電子機器の経路、或いは対象部位と医用器具又は電子機器の位置関係を、従来に比してより簡単に視認することが可能な医用画像診断装置、医用画像処理装置を提供することである。

実施形態に係る医用画像診断装置は、スキャン部、処理部を有する。スキャン部は、被検体の３次元領域に対してスキャンを実行する。処理部は、スキャンの結果に基づいて、３次元領域の医用画像データを生成し、３次元領域内のターゲットの位置を検出し、検出した前記ターゲットの位置を光源の位置として、前記医用画像データに対するレンダリング処理を実行する。

図１は、実施形態に係る医用画像診断装置の概要図である。 図２は、実施形態の処理全体を描いているフローチャートである。 図３は、針先に電源を備えた（ａｃｔｉｖｅ）仮想光源を有する、針生検画像の概要図である。 図４は、針先の前面のエラストグラフィに基づく色と輝度モディファイアとを示す概要図である。 図５は、先行ＰＥＴ／ＣＴ画像からＦＤＧ摂取（ＦＤＧ ｕｐｔａｋｅ）に基づく色と輝度モディファイアとを示す概要図である。 図６は、収集点からの距離の計測を示す概要図である。 図７は、ライブ超音波面からの距離の計測を示す概要図である。

以下、各実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

また、以下の実施形態においては、説明を具体的にするため、実施形態に係る医用画像診断装置が超音波診断装置である場合を例として説明する。しかしながら、以下に述べる本実施形態の画像処理手法は、超音波診断装置の例に限定されず、例えば、Ｘ線コンピュータ断層撮像装置、磁気共鳴イメージング装置、Ｘ線診断装置、ＰＥＴ、ＳＰＥＣＴ等の他の医用画像診断装置においても適用可能である。

実施形態に係る超音波診断装置１が、図１に示されている。超音波診断装置１は、撮影機器としての超音波スキャナ１４と、当該超音波スキャナ１４によって取得された超音波データを処理するパーソナルコンピュータ（ＰＣ）またはワークステーションである医用画像処理装置１２を具備している。医用画像処理装置１２は、超音波スキャナ１４、一つ以上の表示機器５０またはその他表示デバイス、そしてコンピュータキーボード、マウスまたはトラックボールなど、入力装置または複数の入力装置１８に接続されている。

超音波診断装置１或いは医用画像処理装置１２は、例えばその手術計画段階において手術の対象となる部位の位置を把握、被検体に挿入する医用器具又は電子機器の経路のシミュレーション、或いは手術中における手術対象部位と医用器具又は電子機器の位置関係のモニタリング等を行う場合に用いられる。なお、以下においては、説明を具体的にするため、医用器具としての穿刺針を被検体内に挿入する場合を例とする。なお、本実施形態では、被検体内の手術対象部位、医用器具の位置、電子機器の位置、又はユーザによりマニュアル指定された位置など、仮想光源が配置される位置の総称をターゲットとする。

超音波スキャナ１４は、患者またはその他被検体の領域を描出した超音波データ（ｕｌｔｒａｓｏｕｎｄ ｄａｔａ ｒｅｐｒｅｓｅｎｔａｔｉｖｅ ｏｆ ａ ｒｅｇｉｏｎ）を収集するように構成された任意の超音波スキャナであってよい。患者またはその他被検体の領域は、少なくとも一つの関心の解剖学的構造を具備するかもしれない。

本実施形態において、超音波スキャナ１４は、２次元超音波データを収集するように構成されている。超音波スキャナ１４は、リアルタイムまたはほぼリアルタイム（ｎｅａｒ－ｒｅａｌ－ｔｉｍｅ）で２次元超音波データを収集するように構成されている。代替的な実施形態において、医用画像診断装置が他のモダリティとなる場合には、超音波スキャナ１４は、例えばＭＲＩ（磁気共鳴撮像）スキャナ、Ｘ線スキャナ、ＰＥＴ（陽電子放射断層撮影法）スキャナ、ＳＰＥＣＴ（単光子放出コンピュータ断層撮影）スキャナ、またはＣＴスキャナなど、２次元または３次元医用撮像データを提供するように構成された任意の撮像モダリティ内の、任意のボリューメトリックスキャナと置き換えられる、または補われてもよい。

なお、超音波診断装置１には、生検手術を実行する患者またはその他被検体の身体に挿入される可能性のある、生検針の位置を決定するように構成された位置検出器２１が接続される。本実施形態において、公知のタイプの磁気検波器が生検針の位置を検出するために使用される。

実施形態の中には、位置検出器２１は、電磁石追跡システムを具備してよい。また実施形態には、電磁石センサが生検針（またはその他医療器具）に埋め込まれているものがある。電磁石センサの位置、つまり生検針の位置は、一つ以上の電磁石送信機を使用して決定される。

代わりの実施形態において、例えばステレオビジョン針検出器など、任意の適切なその他タイプの検出器が使われてよい。ステレオビジョン針検出器は、プローブと針とを追跡し、プローブと針の幾何学的関係（ｇｅｏｍｅｔｒｉｃ ｒｅｌａｔｉｏｎｓｈｉｐ）を計算する、カメラ二台を具備しているかもしれない。さらなる実施形態において、位置検出器２１は、任意の適切な挿入手術において任意の適切な医用デバイスが挿入される位置を決定するように構成されている。

図１に示されるように、超音波診断装置１は、装置本体１０、超音波プローブ７０、表示機器５０、及び入力装１８を備える。装置本体１０は、ネットワーク１００を介して外部装置４０と接続される。また、装置本体１０は、表示機器５０、及び入力装１８と接続される。

超音波プローブ７０は、複数の圧電振動子、圧電振動子に設けられる整合層、及び圧電振動子から後方への超音波の伝播を防止するバッキング材等を有する。超音波プローブ７０は、装置本体１０と着脱自在に接続される。複数の圧電振動子は、装置本体１０が有する超音波送信部１１ａから供給される駆動信号に基づき超音波を発生する。また、超音波プローブ７０には、後述するオフセット処理や、超音波画像のフリーズなどの際に押下されるボタンが配置される。

超音波プローブ７０から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ７０が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して周波数偏移を受ける。超音波プローブ７０は、被検体Ｐからの反射波信号を受信して電気信号に変換する。超音波プローブ７０は、例えば、複数の超音波振動子が所定の方向に沿って配列された一次元アレイプローブである。なお、超音波プローブ７０は、一次元アレイプローブに限られず、ボリュームデータを取得可能なものとして、二次元アレイプローブ（複数の超音波振動子が二次元マトリックス状に配列されたプローブ）、又はメカニカル４Ｄプローブ（超音波振動子列をその配列方向と直交する方向に機械的に煽りながら超音波走査を実行可能なプローブ）等であってもよい。

図１に示される装置本体１０は、超音波プローブ７０が受信した反射波信号に基づいて超音波画像を生成する装置である。装置本体１０は、図１に示すように、超音波送信部１１ａ、超音波受信部１１ｂ、Ｂモード処理部１３ａ、ドプラ処理部１３ｂ、画像メモリ３４（シネメモリ）、内部記憶部２０、データ処理部２２、通信インタフェース回路３５、制御部（ＣＰＵ）３０、画像データベース３１、入力インタフェース回路３２を含む。

超音波送信部１１ａは、超音波プローブ７０に駆動信号を供給するプロセッサである。超音波送信部１１ａは、例えば、トリガ発生回路、遅延回路、パルサ回路等により実現される。トリガ発生回路は、制御部３０の制御の下、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ７０から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、制御部３０の制御の下、レートパルスに基づくタイミングで、超音波プローブ７０に駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向が任意に調整可能となる。

超音波受信部１１ｂは、超音波プローブ７０が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信部１１ｂは、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路、加算器等により実現される。アンプ回路は、超音波プローブ７０が受信した反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生される。

Ｂモード処理部１３ａは、超音波受信部１１ｂから受け取った受信信号に基づき、Ｂモードデータを生成するプロセッサである。Ｂモード処理部１３ａは、超音波受信部１１ｂから受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

ドプラ処理部１３ｂは、超音波受信部１１ｂから受け取った受信信号に基づき、ドプラ波形、及びドプラデータを生成するプロセッサである。ドプラ処理部１３ｂは、受信信号から血流信号を抽出し、抽出した血流信号からドプラ波形を生成すると共に、血流信号から平均速度、分散、及びパワー等の情報を多点について抽出したデータ（ドプラデータ）を生成する。生成されたドプラデータは、２次元的な超音波走査線上のドプラＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

データ処理部２２は、Ｂモード処理部１３ａ、及びドプラ処理部１３ｂにより生成されたデータに基づき、各種データ処理を実行するプロセッサである。

データ処理部２２は、位置決定部２４、レジストレーション処理部２６、画像生成部２８、画像処理部２９を有している。

位置決定部２４は、位置検出器２１が検出した穿刺針の基準位置（例えば、先端位置）に基づいて、ボリュームデータ内における当該基準位置の位置を決定する。

レジストレーション処理部２６は、リジッドレジストレーション、アフィン変換、ノンリジッドレジストレーション等の所定の手法に従って、超音波ボリュームデータと先行ボリュームデータ（例えばＣＴボリュームデータ）とをレジストレーションする。

画像生成部２８は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに基づいてＢモード画像データを生成する。また、画像生成部２８は、ＲＡＷデータメモリに記憶されたドプラＲＡＷデータに基づいて、平均速度画像、分散画像、パワー画像等に係るドプラ画像データを生成する。

さらに、画像生成部２８は、ＲＡＷデータメモリに記憶されたＢモードデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ－ボクセル変換を実行することにより、形態情報を表すＢモードボリュームデータを生成する。また、データ処理部２２は、ＲＡＷデータメモリに記憶されたドプラデータに対し、空間的な位置情報を加味した補間処理を含むＲＡＷ－ボクセル変換を実行することにより、血流情報を表す血流（カラードプラ）ボリュームデータを生成する。Ｂモードボリュームデータ、及び、血流ボリュームデータは、所望の範囲のボクセルから構成される。

画像処理部２９は、発生した各種ボリュームデータを用いて、レンダリング画像、ＭＰＲ画像等を生成する。また、画像処理部２９は、シェーディング等の所定の画像処理を実行する。

表示処理部１６は、各種画像を表示機器５０に表示させるプロセッサである。表示処理部１６は、座標変換処理等により、表示画像としての超音波画像データを生成する。座標変換処理とは、例えば、Ｂモードデータ、及びドプラデータからなる超音波走査の走査線の信号列を、テレビ等に代表される一般的なビデオフォーマットの走査線信号列であるビデオ信号に変換する処理である。生成された超音波画像データは、例えばＤＩＣＯＭ（digital imaging and communication in medicine）規格に準拠したフォーマットに変換され、例えば画像データベース１９に記憶される。

また、表示処理部１６は、データ処理部２２において生成された各種画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、γカーブ補正、及びＲＧＢ変換などの各種処理を実行することで、画像データをビデオ信号に変換する。表示処理部１６は、ビデオ信号を表示機器５０に超音波画像として表示させる。

なお、表示処理部１６は、操作者（例えば、術者）が入力インタフェース回路３２により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Graphical User Interface）を生成し、ＧＵＩを表示機器５０に表示させてもよい。表示機器５０としては、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。

内部記憶部２０は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。内部記憶部２０は、超音波送受信を実現するための制御プログラム、画像処理を行うための制御プログラム、及び表示処理を行なうための制御プログラム等を記憶している。また、内部記憶部２０は、本実施形態に係る各種機能を実現するための制御プログラムを記憶している。また、内部記憶部２０は、診断情報（例えば、患者ＩＤ、医師の所見等）、診断プロトコル、ボディマーク生成プログラム、及び映像化に用いるカラーデータの範囲を診断部位ごとに予め設定する変換テーブルなどのデータ群を記憶している。また、内部記憶部２０は、生体内の臓器の構造に関する解剖学図譜、例えば、アトラスを記憶してもよい。

また、内部記憶部２０は、本実施形態では、超音波スキャナ１４によって収集された超音波データセットは、内部記憶部２０に格納され、その後に医用画像処理装置１２に提供される。代わりの実施形態において、超音波データセットは、画像保管通信システム（ＰＡＣＳ）の一部を形成し得る、遠隔データストア（図示せず）から供給される。内部記憶部２０または遠隔データストアは、メモリストレージの任意の適切な形態を具備していてもよい。

内部記憶部２０は、患者またはその他被検体を描出した３次元ＣＴデータも格納する。格納された３次元ＣＴデータは、ＣＴスキャナを使用して以前に収集されてきたデータである。格納された３次元ＣＴデータは、以下により詳細に説明される通り、撮像処理において使用される。代わりの実施形態において、ＣＴデータは、遠隔データストアから供給される。その他の実施形態において、ＣＴデータは、例えばＭＲＩ、Ｘ線、ＰＥＴ、ＳＰＥＣＴ、または超音波撮像モダリティなど任意のその他適切な撮像モダリティを使用して収集された３次元医用撮像データによって、置き換えられる、または補われてもよい。

画像メモリ３４は、例えば、磁気的若しくは光学的記録媒体、又は半導体メモリ等のプロセッサにより読み取り可能な記録媒体等を有する。画像メモリ３４は、入力インタフェース回路３２を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ３４に記憶されている画像データは、例えば、連続表示（シネ表示）される。

画像データベース３１は、外部装置４０から転送される画像データを記憶する。例えば、画像データベース３１は、過去の診察において取得された同一患者に関する過去画像データを、外部装置４０から取得して記憶する。過去画像データには、超音波画像データ、ＣＴ（Computed Tomography）画像データ、ＭＲ画像データ、ＰＥＴ（Positron Emission Tomography）－ＣＴ画像データ、ＰＥＴ－ＭＲ画像データ及びＸ線画像データが含まれる。また、過去画像データは、例えば３次元ボリュームデータ、及びレンダリング画像データとして記憶されている。これらの過去画像データは、本実施形態において、先行医用画像として利用される。

なお、画像データベース３１は、ＭＯ、ＣＤ－Ｒ、ＤＶＤなどの記録媒体（メディア）に記録された画像データを読み込むことで、所望の画像データを格納してもよい。

入力インタフェース回路３２は、入力装１８を介して、操作者からの各種指示を受け付ける。入力装１８には、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、ダイヤルスイッチ、トラックボール、ロータリーエンコーダ、操作パネル及びタッチコマンドスクリーン（ＴＣＳ）等が含まれる。

入力インタフェース回路３２は、例えばバスを介して制御部３０に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を制御部３０へ出力する。なお、本実施形態において入力インタフェース回路３２は、マウス及びキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を無線信号として受け取り、この電気信号を制御部３０へ出力する電気信号の処理回路も入力インタフェース回路３２の例に含まれる。

通信インタフェース回路３５は、通信インタフェース回路３５は、ネットワーク１００等を介して外部装置４０と接続され、外部装置４０との間でデータ通信を行う。外部装置４０は、例えば、各種の医用画像のデータを管理するシステムであるＰＡＣＳ（Picture Archiving and Communication System）のデータベース、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベース等である。また、外部装置４０は、例えば、Ｘ線ＣＴ装置、及びＭＲＩ（Magnetic Resonance Imaging）装置、核医学診断装置（ＰＥＴ、ＳＰＥＣＴ）、及びＸ線診断装置等、本実施形態に係る超音波診断装置１以外の各種医用画像診断装置である。なお、外部装置４０との通信の規格は、如何なる規格であっても良いが、例えば、ＤＩＣＯＭが挙げられる。

制御部（ＣＰＵ）３０は、プロセッサを有し、超音波診断装置１の中枢として機能する。制御部３０は、超音波受信部１１ｂから発生される受信信号に基づき、Ｂモード処理部１３ａ、ドプラ処理部１３ｂ、データ処理部２２、及び表示処理部１６等を制御し、所定の超音波画像データを生成し、生成した超音波画像データを表示機器に表示する。制御部３０は、入力インタフェース回路３２を介して、操作者等からの各種指示を受け付ける。制御部３０は、受け付けた各種指示を、制御部３０に入力する。

本実施形態において、位置決定部２４、レジストレーション処理部２６と画像生成部２８とは、実施形態の方法を実行することが可能なコンピュータ可読指示を有するコンピュータプログラムの方法により、医用画像処理装置１２でそれぞれ実行される。例えば、位置決定部２４とレジストレーション処理部２６、画像生成部２８とは、例えば制御部３０によって、医用画像処理装置１２で実行可能な個別のコンピュータプログラムまたはアルゴリズムとして、それぞれ実行される可能性がある。しかし、その他の実施形態において、回路は、一つ以上のＡＳＩＣｓ（特定用途向け集積回路）またはＦＰＧＡｓ（フィールド・プログラマブル・ゲート・アレイ）として、実行されてもよい。

医用画像処理装置１２は、ハードドライブや、ＲＡＭ、ＲＯＭを含むＰＣのその他構成要素、データバス、様々なデバイスドライバを含むオペレーティング・システム、グラフィックス・カードを含むハードウェアデバイスも包括する。このような構成要素は、明確にするために図１には図示されていない。

以下により詳細に説明される通り、生検針が患者またはその他被検体の身体へと挿入される間、生検針の少なくとも一部を描出した画像の特性は、画像上に表示されてよい、というのが図１の実施形態の特徴である。その表示される画像とは、例えば、レンダリング処理を使用して予め収集されたＣＴデータから生成された、患者またはその他被検体の身体の少なくとも一部の３次元レンダリング画像である。レンダリング処理の一部として、針が移動するとレンダリング画像の少なくとも一部の見た目が変化するように、仮想光源は、生検針の少なくとも一部と関連付けられる可能性がある。例えば、仮想光源の位置および／または輝度は、針が動くにつれて変化してもよい。

ＣＴデータから生成された、３次元レンダリング画像は、例えば、生検針の挿入中または生検針を抜いている間に、リアルタイムで超音波スキャナ１４から収集された、超音波データから生成されたリアルタイム画像を補足するのに、使用されることができる。例えば、実施形態の中には、ＣＴデータから生成された画像は、表示機器５０または異なる、例えば近接する、表示スクリーンに、超音波画像の隣に／と同時に表示されてよく、一つ以上の関心特徴に関連する生検針の位置を画像から決定する際に、ユーザを支援することができる。

生検針挿入手術間の図１のシステムの操作は、図２のフローチャートに概要が描かれている。

生検針挿入手術は、図３に概略的に描かれており、図３は、生検針２００が生検を実行したい一つ以上の点を含む可能性のある関心領域２０４へと、患者またはその他の被検体の肉体２０２を通して挿入されているところを示している。

処理の第一ステージ１００で、医用画像処理装置１２は、患者またはその他の被検体を描出したＣＴ撮像データを、内部記憶部２０または遠隔データストアから検索する。本実施形態において、ＣＴデータは、スキャンボリュームにおける対応する位置で、ＣＴスキャンによって決定されたＸ線吸収の程度を表すそれぞれボクセルの輝度値と共に、ボクセルのセットを具備している３次元ＣＴデータを具備する。本願実施形態におけるＣＴ撮像データとは、以前のスキャンから予め収集されてきたＣＴデータのことである。その他の実施形態において、医用画像処理装置１２は、任意の適切な３次元医用撮像データセットを検索する。

処理の次のステージ１０２で、位置決定部２４は、生検針２００の位置を描出する位置検出器２１から位置データを収集し、その位置データから生検針２００の現在位置を決定する。

次ステージ１０４で、医用画像処理装置１２は、患者またはその他の被検体に超音波スキャナ１４を使用して実行されている超音波計測を描出する超音波スキャナ１４から、リアルタイム超音波データを収集する。その他実施形態において、ステージ１００から１０４までは、同時にまたは任意の順序で実行されてよい。実施形態には、位置検出器２１からよりもリアルタイム超音波データから位置データが収集されるものもある。

ＣＴスキャナまたはＣＴデータのそれぞれ、超音波スキャナ１４または超音波データ、そして位置検出器２１または位置データは、それら独自の座標系を有する場合があるので、一つ以上の超音波データ、ＣＴデータまたは位置データを、一つ以上の超音波データ、ＣＴデータまたは位置データと組み合わせて使用するという試みは、ミスアライメントという結果に繋がる可能性がある。従って述べられた実施形態において、ＣＴデータ、超音波データおよび／または位置データが共通の座標系でアライメントされていることを確かなものにするために、アライメント手順は実行される。

アライメント手順は、レジストレーション処理部２６によって実行されて、先行レジストレーション手順または先行キャリブレーション手順に基づいていてよい。任意の適切なレジストレーション手順またはキャリブレーション手順が使用され得る。例えば、最初の超音波データセットは、超音波スキャナ１４から収集されてよく、そして任意の適切な公知のレジストレーション手順（例えば、任意の適切な公知の、リジッド、アフィン変換またはノンリジッドレジストレーション手順）が、超音波データセットをＣＴデータにレジストレーションするために、使用されてよく、その結果、超音波データまたはＣＴデータの座標系システムをアライメントするために使用されてもよい、並進または座標オフセットのセットを収集することになる。レジストレーション手順は、例えば解剖学的特性のそれぞれデータセットおよび／または位置における輝度値に基づいていてもよい。

同様に、例えば生検針２００が患者またはその他の被検体に関連する所定位置（例えば、被検体に触れてはいるが刺してはいないなど）にある場合に、または患者天板または超音波スキャナ１４に対して所定位置にある場合に、最初の位置データは、位置検出器２１から収集することが出来る。最初の位置データは、位置検出器２１の座標系、または位置データを、一つ以上のＣＴスキャナまたはＣＴデータ、超音波スキャナ１４または超音波データとアライメントするために使用され得る、並進または座標オフセットのセットを決定するためのレジストレーション処理部２６によって使用されてよい。

本実施形態において、並進または座標オフセットのセットは、上述の通り先行レジストレーションまたはキャリブレーション手順で収集される。本実施形態のステージ１０６において、医用画像処理装置１２（例えば、レジストレーション処理部２６）は、ステージ１００で検索されたＣＴデータ撮像データ、ステージ１０２で収集された位置データ、ステージ１０４で取得された超音波データ、をアライメントするために、先行レジストレーションまたはキャリブレーション手順において収集された並進または座標オフセットのセットを使用する。

実施形態において、並進または座標オフセットのセットは、ＣＴデータ、超音波データ、または位置データをアライメントするために、データ処理部２２によって（例えば、レジストレーション処理部２６によって）、使用されてよく、ＣＴデータ、超音波データおよび／または位置データとをアライメントするために、それぞれ時間的に新しい（ｅａｃｈ ｔｉｍｅ ｎｅｗ）ＣＴデータ、超音波データが収集される（つまり、それぞれステージ１００、１０２、または１０４の逐次に対して）。代わりの実施形態において、並進または座標オフセットのセットは、一つ以上のＣＴスキャナ、内部記憶部２０、超音波スキャナ１４、または位置検出器２１に提供される可能性があり、アライメントは、データが医用画像処理装置１２に提供される前に実施されてよい。さらなる実施形態において、ＣＴデータ、超音波データ、そして位置データのそれぞれは、同じ座標系で生成されており、アライメントを必要としない。

ステージ１０６のアライメント後、ＣＴデータは、患者またはその他被検体の少なくとも一部画像をレンダリングするためのレンダリング処理において、画像生成部２８によって使用される。仮想光源がレンダリング処理において使用されることは、図１の実施形態の特徴である。このようにして、ステージ１０８で仮想光源の位置が決定される。生検針２００の少なくとも一部の決定された位置に基づき（ステージ１０２で収集された位置データから位置決定部２４によって決定されたように）、ステージ１０８で仮想光源の位置が決定されることは、図１の実施形態の更なる特徴である。

なお、ステージ１０８で仮想光源の位置決定は、上述した位置検出器２１を用いた手法に限定されず、種々の手法を採用することが可能である。例えば、所定の断面に対応する２次元ＣＴ画像或いは２次元超音波画像を表示し、当該画像上において、入力装置１８を介してユーザがマニュアル操作により仮想光源位置（ターゲットの位置）を入力するようにしてもよい。

また、三次元画像を用いたマニュアル操作による仮想光源位置の入力も可能である。例えば、ＰＥＴ－ＣＴによって取得された三次元画像（すなわち、ＰＥＴ画像とＣＴ画像の三次元合成画像）に対して、入力装置１８を介してユーザがマニュアル操作により仮想光源位置（ターゲットの位置）を入力する。位置決定部２４は、入力された位置（少なくとも一点）から深さ方向に進み、初めてＰＥＴ画像に到達した座標を基準とすることで、仮想光源位置を決定することができる。

さらに、位置決定部２４は、閾値処理やパターンマッチング等の手法により、仮想光源位置を自動的に決定するようにしてもよい。

以上の様にして、図１の実施形態において、仮想光源は、生検針２００の先端位置に対応する位置であるように決定される。本実施形態において、仮想光源は一点の光源である。

次ステージ１１０で、画像生成部２８は、ＣＴデータを処理して、仮想光源を使用することで、画像をレンダリングして表示する。本開示における仮想光源の位置は、生検針２００の先端位置に対応しているように、ステージ１０８で決定される。任意の適切なレンダリング方法が使われてよく、例えば、グローバルイルミネーション（ｇｌｏｂａｌ ｉｌｌｕｍｉｎａｔｉｏｎ）および／またはトランスイルミネーション（ｔｒａｎｓｉｌｌｕｍｉｎａｔｉｏｎ）および／または光子マッピングおよび／またはレイ追跡方法および／またはその他レンダリング方法があり、また例えば米国出願２０１４／０２３２７１９、米国出願２０１５／００２２５２３、または米国出願２０１５／０１６４４７５に述べられているような任意の方法があるが、それぞれの内容は、ここに番号を付すことで組み込まれるものとする。レンダリング方法は、例えば、Ｊoｎｓｓｏｎ共著、相互ボリュームレンダリングのためのボリューメトリック照明技術検査（Ａ Ｓｕｒｖｅｙ ｏｆ Ｖｏｌｕｍｅｔｒｉｃ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ）、コンピュータグラフィックスフォーラム、第３３巻、１号、２０１４年２月に述べられているレンダリング方法の一つが使われてよい。

本実施形態において、画像生成部２８によって実行されるレンダリング処理は、ＣＴデータのボリュームの少なくとも一部に対応するボリューム中に、複数の仮想光源のそれぞれから仮想ライトをキャスティングすることで、放射照度ボリュームを決定することを具備する。仮想ライトがキャストされるボリュームは、関心領域を含む。

仮想光源のうちの一つは、ステージ１０８で定義された仮想光源であり、生検針２００の先端に位置する。少なくとも一つの更なる仮想光源が、周囲照明を提供するために使用される。その他の実施形態で、仮想光源の任意の数または任意のタイプが使用されてよい。

複数の仮想光源による放射照度は、ＣＴデータのボクセル輝度に依存し、ボクセルに割り当てられた吸収特性を使用して、ボリュームにおける点の大きなアレイ（ｅａｃｈ ｏｆ ａ ｌａｒｇｅ ａｒｒａｙ ｏｆ ｐｏｉｎｔｓ）のそれぞれで、決定される。点のアレイでの放射照度の値は、放射照度ボリュームとして格納される。

本実施形態において、グローバルイルミネーションライティングモデルは、レンダリング処理に置いて使用される。グローバルイルミネーションライティングモデルは、光源から直接向かって来る（ｃｏｍｉｎｇ）光による直接照明と、例えば別の表面から散乱してきた光による照明などの間接照明、との両方を含んでよい。

画像生成部２８は、表示用の画像をレンダリングするために、放射照度ボリュームを使用する。レイは仮想カメラからのキャスト（例えば、レンダリング結果画像のそれぞれピクセルに対する一つのレイ）であり、それぞれレイに沿った点からの放射照度は、レンダリング最終画像のためのピクセルカラーを提供するために統合される。

本実施形態において、レンダリング処理は、放射照度ボリュームの決定と放射照度ボリュームからの画像のレンダリングとの二段階（ｔｗｏ－ｐａｓｓ）処理であるが、その他の実施形態では一段階処理が使用されてもよい。仮想光源を使用する、任意の適切なレンダリング技術が使用され得る。レンダリング技術は、グローバルイルミネーションライティングモデルを使用してもしなくてもよい。レンダリング技術は、反射、屈折および／または散乱などの影響を含んでよいし、含まずともよい。

図１の実施形態において、レンダリング処理は、ボリューメトリックレンダリング処理であり、ステージ１１０で表示される画像は、スクリーンまたはその他２次元表示デバイス上に表示されるにもかかわらず、３次元における特徴を表すという印象をユーザに与える可能性のある、２次元投影である。この画像は、そのため３次元画像と呼ぶことが出来る。この画像は、一つ以上のシェーディング、深さ、表面テクスチャ特徴を含み得る。

図１の実施形態において、画像生成部２８は、レンダリング画像において生検針２００の少なくとも一部を描出した画像特徴を含む。本実施形態において、画像特徴は、レンダリング画像上に画像生成部２８によって、オーバーレイドされたライン（オーバーレイドライン）である。任意のその他適切な画像特徴が、代わりの実施形態において使用されてよい。実施形態の中には、生検針の少なくとも一部を描出した画像特徴は、多角形幾何により特徴付けたものまたはオーバーレイドラインのものがある。

実施形態には、針の代表的な画像特徴が画像において何も見当たらないものもある。唯一仮想光源だけが針の位置を示す。

実施形態の中には、二枚の３次元画像が表示されるものがある（例えば、同じレンダリング画像の二枚のコピー）。３次元画像のうちの一枚は、光源の点を含み、その他 の３次元画像は、例えば多角形幾何により特徴付けたものまたはオーバーレイドラインなど、生検針の少なくとも一部を具現化した画像特性を含む。画像特性と点光源は、同一ビューでは使用されないかもしれない。

ステージ１１２で、画像生成部２８は、超音波データから更なる画像を生成して表示する。任意の適切な公知の画像生成処理が超音波画像を生成するために使用されてよい。例えば、任意の適切な商業用超音波画像処理ソフトウェアが使用されてよい。本実施形態において、ステージ１１２で超音波データから生成された画像は、２次元画像である。その他実施形態において、ステージ１０４で受信したデータは、任意の適切なリアルタイムデータであってよく、ステージ１０４で受信したデータは、任意の適当な２次元または３次元画像を収集するために、処理することが出来る。

ステージ１０２から１１２は、超音波スキャナ１４および／または位置検出器２１から受信された新たなデータとして、繰り返される。例えば、超音波スキャナ１４は、各秒超音波データのいくつかのセットを収集するかもしれない。ステージ１１２は、新たな画像を生成するために、超音波データのそれぞれ新たなセットに対して、繰り返される。位置検出器は、毎秒数回新たな位置データを返す可能性がある。ステージ１１０は、新たな位置データのそれぞれセットに対して、繰り返される。

本実施形態において、直近の超音波画像は、直近のレンダリング画像に隣接して、表示機器５０上に表示される。新たな位置データおよび新たな超音波データが収集されるごとに、画像は更新される。

超音波画像は、現在画像化されている超音波面を示す。レンダリング画像は、仮想光源により指示されている生検針２００の位置がある、関心領域のレンダリング３次元画像を示す。レンダリング３次元画像における仮想光源の位置は、生検針２００が移動するにつれて、変化する。

仮想光源は生検針２００と関連付けられているように、生検針２００が患者またはその他被検体に挿入されたり、または引き抜かれたりすることで、画像の様子は変化する。本実施形態において、仮想光源によって提供される仮想ライトの輝度や色は、変わらないままである。しかし、ステージ１１０の結果画像に見えるライトの量やライトの色は、生検針２００の位置に依存する。

もし生検針２００の先端が肉体２０２の表面に近ければ、生検針２００の先端での仮想光源によって提供されるライトは、レンダリング画像において非常に明るく見える。またもし生検針２００の先端が肉体２０２へとさらに挿入されたら、仮想光源によって提供されるライトは、少し暗くなるおよび／または赤っぽく見える。さらに、組織のあるタイプには、その他の組織のタイプよりもよりライトを吸収するかもしれない。結果、画像におけるライトの明るさは、生検針２００が挿入された組織のタイプに依存する可能性がある。

レンダリング３次元画像は、２次元超音波画像を補足する。レンダリング３次元画像は、超音波画像が超音波プローブの位置とともに変化するビューを提供する一方で、生検針２００の位置が変化する、関心領域の固定されたビューを提供することがある。レンダリング３次元画像は、関心の解剖的構造の全体像（ｏｖｅｒｖｉｅｗ ｐｅｒｓｐｅｃｔｉｖｅ）に対して可能とする。レンダリング３次元画像は、全体的な位置および全体方向の感覚を与えることが出来る。

レンダリング３次元画像は、超音波画像と比較された際、追加の解剖学的情報を提供することが出来る。例えば、レンダリング３次元画像は、特定の解剖学的特徴を識別するために、セグメントされる可能性がある。レンダリング３次元画像は、超音波画像よりもより高解像であるかもしれない、および／または特定の特徴（例えば、柔組織における特徴）をより良く検知するために、適応されるかもしれない。

本実施形態において、仮想光源は、生検針２００の先端で位置されていることで、生検針２００と関連付けられる。その他の実施形態で、仮想光源は、任意の適当な医用デバイスの任意の適切な部分に関連して、位置付けすることも可能である。

針先に電源を備えた光源を使用することは、グローバルイルミネーションレンダリングモデルにうまく適合する可能性がある。針先での点ライトを位置付けるためにグローバルイルミネーション照明を使用することで、過度の透明度またはオーバーレイの使用を必要とすることなく、針先が関心領域の内側に示される可能性がある。

レンダリング画像において生検針２００を表示するある方法は、３次元多角形幾何を使用することである。多角形モデルの使用は、グローバルイルミネーションアルゴリズムと適合するかもしれない。しかし、針の幾何形状は、レンダリング画像において減衰され、良く見えない可能性がある。針の幾何学的位置関係（ｇｅｏｍｅｔｒｙ）が見えるかどうかは、照明条件にも依るのかもしれない。針先に電源を備えた光源を位置付けることは、挿入された幾何的位置関係（ｇｅｏｍｅｔｒｙ）よりももっと見えやすい有効位置マーカとして、役目を果たす可能性がある。

もし生検針２００が多角形幾何でのみ表されたとしたら、過度の透明性が肉体２０２のレンダリングで使用されない限り、生検針２００が肉体２０２へと挿入されると、目立たなくなる可能性がある。肉体２０２をレンダリングするための高い透明性を使用することは、ユーザに対して表示されることが可能な有益な情報量を制限するかもしれないし、および／またはユーザが肉体２０２における解剖学的構造の描出を理解することをより困難なものにしてしまうかもしれない。

レンダリング画像において生検針２００を表示する別の方法として、レンダリング画像上にオーバーレイによるものがある。仮に生検針２００が画像上にオーバーレイでのみ表されたら、肉体２０２への生検針２００の挿入の深さは、ユーザにとって不明確になる可能性がある。オーバーレイは、３次元方法におけるボリュームと相互に作用しない可能性があり、またＧＩ（グローバルイルミネーション、Ｇｌｏｂａｌ Ｉｌｌｕｍｉｎａｔｉｏｎ）ビューも物理的でないことから、ＧＩを妨げる可能性もある。

実施形態の中には、生検針２００も多角形幾何またはオーバーレイによって描出されていることなく、針先が仮想光源によって描出されるものがある。その他の実施形態では、仮想光源が、多角形幾何またはオーバーレイを使用する生検針２００の描出を補足するために使用される。

本実施形態において、電源を備えた照明の針先点は、ビーコンのような役割を果たすと考えられてよい。生検針２００の描出は、生検針自体のライティングを提供し、それにより生検針の視覚性に対するその他の照明条件に依存しないかもしれない。仮想光源を使用する生検針２００の描出は、３次元の方法でボリュームと相互に作用する。

生検針２００の先端にある仮想ライトの位置付けは、レンダリング３次元画像における生検針２００の先の位置により、直観的な方法で観察し把握出来るようになるだろう。画像の２次元における針先の位置は、画像におけるライトの位置で示される。画像におけるライトの明るさおよび／または色は、針先の深さ（つまり、スクリーン中へ向けられた次元に沿った針先の位置）および／またはライトが通っている組織中のタイプと、対応するかもしれない。

概念実証は、動脈瘤内に位置された仮想ライトで準備されてきた。動脈瘤において異なる位置にあるライト位置は、はっきりと区別がつくと思われる。もしライトが動脈瘤の背後に位置していれば、ライトが動脈瘤の内側に位置している画像とは、ライトの明るさや性質が異なる。この場合、ライトは有効位置インジケータとしての役割を果たす。

図１の実施形態において、針先の仮想光源により発せられる仮想ライトの明るさは、一定のままである（結果画像における明るさは、例えば深さなど位置によって、一見すると異なるが）。更なる実施形態において、針先での仮想光源により発せられる仮想ライトの色／輝度は、有益なボリューメトリック特性を示すように調節される。

図４は、針先での仮想光源により発せられる仮想ライトの色が、生検針２００周辺の超音波弾性計測の小さな領域に基づいている実施形態を例示している。生検針２００は、肉体２０２と関心領域２０４とに挿入される。超音波プローブ２０６は、関心の領域２０４を含む超音波撮像領域２０８のための超音波データを収集する。

弾性計測は、関心領域における点に対し収集される。弾性計測は、任意の適切な方法および任意の適切なモダリティを使用して、収集されてよい。例えば、弾性計測は、超音波プローブ２０６を使用して収集された超音波データから、収集されてもよい。弾性計測は、例えば生検針２００が肉体に挿入される前など、挿入手術が実行される前に収集されてもよい。弾性計測は、ＣＴデータとアライメントされる。

関心領域における点のセット（例えば、ピクセルまたはボクセル）のそれぞれに対して、画像生成部２８は、点周辺の小さな領域における弾性計測に基づいて、弾性値を決定する。画像生成部２８は、それぞれ弾性値を色と関連付ける。例えば、高い弾性値は赤、低い弾性値は青、と関連付けられていてよい。画像生成部２８は、その結果、色が弾性を表す関心領域に対するカラーマップを決定する。

図４のインセット領域２１０は、関心領域２０４の一部に対するカラーマップのグレースケールの描出を具備する。異なるグレースケール値が、弾性の異なる値を描出する。

画像生成部２８は、カラーマップと生検針２００の先端位置とを使用して、生検針２００の先端によって発せられる仮想ライトの色を決定する。針先により発せられる仮想ライトの色は、針先の位置に対するカラーマップにおける色に対応する。例えば、図４に示された針先位置は、カラーマップの赤い部分と一致する。赤い仮想ライトは、従って針先がこの赤い部分位置にある場合、針先にある仮想光源によって発せられる。仮に、針先がカラーマップの青い部分へと移動したら、針先の仮想光源より青い光が発せられる。

実際に、表示された画像は、図４のインセット領域として示されるカラーマップを表示しない。代わりに、針先の仮想光源によって発せられる仮想ライトは、生検針２００が移動するにつれて変化し、仮想光源の色は、カラーマップに関連して針先の位置に依存している（そして色自体は、弾性計測に基づいている）。

弾性計測に基づいて仮想光源の色を変化させることで、生検針２００の先端が関心領域の弾性が高い部分なのか、または低い部分なのかどうか、ユーザにとって直観的なビューで示されるかもしれない。

図５は、針先と関連付けられた仮想光源により発せられた仮想ライトの色が、針先周辺の計測されたＰＥＴ ＦＤＧ（フルデオキシグルコース（１８Ｆ））摂取に基づく、実施形態の概略図である。生検針２００は、肉体２０２と関心領域２０４とに挿入される。

ＦＤＧ摂取値は、関心領域における点に対して収集される。図５の実施形態において、ＦＤＧ摂取は、先行するＰＥＴ／ＣＴから決定され、レンダリング３次元画像をレンダリングするために使用される３次元医用撮像データを提供するためにも使われる。その他の実施形態において、ＦＤＧ摂取は、任意の適切なデータセットから決定されてよく、そのデータセットとは、３次元画像のレンダリングにおいて使用されたデータセットと同じでもよいし、違っていてもよい。更なる実施形態において、ＦＤＧ以外のマーカが使用されてよい。ライトは、例えばＰＥＴなど、線源としての核医学薬剤からの任意の適切な値に基づいて、調節され得る。

関心領域における点のセット（例えば、ピクセルまたはボクセル）のそれぞれに対して、画像生成部２８は、あの点に対するＦＤＧ摂取値を決定する。画像生成部２８は、それぞれＦＤＧ摂取値を色と関連付ける。画像生成部２８は、それによって、色がＦＤＧ摂取を表す、関心領域に対するカラーマップを決定する。

図５におけるグレースケールシェーディング２１２は、ＦＤＧ摂取が赤（高摂取）から青（低摂取）まで色によって表されたカラーマップの描出である。画像生成部２８は、カラーマップ２１２と生検針２００の先端位置とを使用して、生検針２００の先端で発せされた仮想ライトの色を決定する。針先により発せされた仮想ライトの色は、針先の位置に対するカラーマップ２１２における色と対応する。

図５において、針先は、カラーマップ２１２の緑のエリアと合致する。従って、針先の仮想光源から発せられた仮想ライトは、緑ということになる。もし、針先がカラーマップの青い領域へと移動したら、針先の仮想光源により発せられた仮想ライトは、青になる。針先での仮想ライトの色は、カラーマップでの位置に伴って、変化する（そして、それにより計測されたＦＤＧ摂取にも伴って変化する）。ユーザは、生検針２００の先端が低摂取領域にあるのか高摂取領域にあるのかを、ライトの色から判断できる。

その他の実施形態において、針先での仮想光源により発せられたライトの色は、針先で、または針先周辺の、組織に対する任意の適切な計測の値に依存する可能性がある。実施形態には、ライトの色が、例えばＰＥＴまたはＳＰＥＣＴ撮像のために使用される任意の適切なトレーサなど、任意の適切なトレーサの摂取に依存するものがある。ライトの色は、任意の適切な放射性核種の摂取に依存してもよい。実施形態の中には、ライトの色がテクニチューム－９９ｍに依存するものもある。ライトの色は、超音波またはＭＲエレクトログラフィ（例えば、電気的活性に対する値）、計算圧力、ＣＦＤ（コンピュータ流体力学）シミュレーション、またはＣＴパフュージョン値から収集される値に依存していてもよい。

仮想光源の色の決定には、カラーマップ、伝達関数、または任意のその他適切な関数を使用してよく、またはカラーマップまたは伝達関数を使用しない計測値に直接基づいていてもよい。

更なる実施形態において、仮想光源の任意の適切なパラメータが、任意の適切な計測の値に依存していてよい。例えば、ライトの輝度、色、方向または位置は、計測値（例えば、トレーサ摂取に対する値、弾性、粘性、圧力または流速、またはパフュージョン）に依存してよい。仮想光源によって生み出される光線または光円錐の、方向および／またはサイズは、計測値に依存するかもしれない。実施形態の中には、仮想光源はパルス状の光を生み出し、パルス状の光のパルス継続時間および／またはパルス周波数は、計測値に基づいているものがある。

実施形態には、ＣＴデータ（または画像がレンダリングされる元のその他３次元データ）は、レンダリングの前にセグメントされる。異なる解剖学的特徴は、ＣＴデータにおいて異なるセグメントされた領域によって、表すことが出来る。仮想光源のパラメータ（例えば、色または輝度）は、針先が特定のセグメントされた領域の内側にあるかどうかによって、調節される。

一実施形態において、異なる解剖学的構造を描出したセグメントされた領域は、異なる色と関連付けられる。ユーザは、仮想光源の色における変化を観察することで、針先が特定のセグメントされた領域へと入ってきたことが見ることが出来る。

その他の実施形態において、生検針２００は、肝腫瘍付近の組織へと挿入される。レンダリング画像において、生検針２００の先端は、点ライトのように見える。針２００が腫瘍に入ったら、ライトの輝度が上がる。ライトの輝度を観察することで、ユーザは、針２００が腫瘍に入ったということを目撃することが出来る。

図４および図５の実施形態において、仮想光源の性質は、針先位置での計測に左右される。その他の実施形態において、仮想光源の性質は、針先が例えばセグメントされた領域など、特定の領域にあるかどうかによる。またその他の実施形態において、仮想光源の性質は、所望の位置に関連する針先の位置に左右される。

所望の位置は、所望の収集点でもよい。所望の収集点とは、生検針２００を使用する、サンプルを収集するように意図された点であってよい。所望の位置は、以前の収集点に関連して、決められてもよい。例えば、所望の位置とは、以前の収集点または複数点から所定の距離での位置でよい。所望の位置は、計測の位置に関連して決めることが出来る。また所望の位置は、基準点に関連して決められることがある。さらに所望の位置は、画像において、または更なる画像において、点または特徴に関連して決められることもある。

図６は、関心領域２０４における所望の収集点２１４の四点が特定されてきたことを示す。実施形態には、所望の収集点２１４は、レンダリング３次元画像を使用して、特定されるものがある。その他の実施形態において、所望の収集点２１４は、任意の最適な方法によって特定されてよい。

図６は、所望の収集点２１４のうちの一点（針先に最も近い点）から、生検針２００の先端までの距離２１６を示している。図６の実施形態において、針先での仮想光源からのライトの輝度は、針先から最も近い所望の収集点２１４への距離２１６に依存している。針先が、最も近い所望の収集点２１４に近づいていくほど（つまり、距離２１６が縮まるほど）、仮想光源はより明るくなる。その他の実施形態で、仮想光源の任意の適切な特性が、距離２１６に応じて変化してよい。例えば、仮想光源からの光の色、方向、パルス継続時間、またはパルス繰り返し数は、針先が最も近い所望の収集点２１４へ近づくにつれ、変化してよい。実施形態の中には、異なる所望の収集点２１４が、ライトの異なる色と関連付けられるものがある。

図６の実施形態において、ライトの輝度は、針先から所望の収集点２１４までの距離に依存する。その他の実施形態において、ライトの性質は、以前に生検が行われてきた位置（以前の収集点）に、針先が近いかどうかに依存する。ライトの適切な特性は、以前の収集点２１４への距離に依存するおよび／または予め用意された収集点２１４への距離に基づいていてもよい。

実施形態には、ライトの特性は解剖学的距離からの距離に基づくものがある。例えば、ライトの特性は、腫瘍を表す領域としてなど、セグメントされた領域からの距離に基づいてよい。ライトの特性は、解剖学的目印からの距離に基づいてもよい。

実施形態には、ライトの特性は、例えば更なる針からの距離など、更なるデバイスからの距離に基づくものがある。一実施形態では、凍結切除のために複数の針が患者に挿入される。個別の仮想光源は、複数の針のそれぞれと関連付けられている。それぞれ仮想光源の色および／または輝度は、針と近接する針との間の間隔に基づいている。

実施形態には、ライトの特性は、更なる画像と関連付けられた位置からの距離に基づくものがある。例えば、実施形態の中には、基準位置が更なる画像から決定されるものがある。ライトの特性は、針先と基準位置との間の距離に基づく。更なる画像とは、ステージ１１２で生成された超音波画像でもよいし、または異なる画像でもよい。実施形態には、基準面は更なる画像から決定され、ライトの特性は針先と基準面との間の距離に基づいているものがある。

図７は、針先の仮想光源の色および／または輝度は、超音波スキャナ１４によって収集された超音波画像に対応している、ライブ２次元超音波面から針先のオフセットに依存する、更なる実施形態を描いている。図７において、生検針２００の先端は、距離２２０でのライブ２次元超音波面２１８からオフセットである。従って、現在の超音波ビューは（図２のステージ１１２で生成された超音波画像上に示されるように）、針２００と一直線になっていない（ｉｓ ｏｕｔ ｏｆ ａｌｉｇｎｍｅｎｔ ｗｉｔｈ）。図７の実施形態において、針２００がライブ２次元超音波面と一直線になったら、仮想光源の輝度は、より明るくなる。その他の実施形態では、仮想光源の任意の適切なパラメータは、ライブ超音波面からの距離に基づく（その距離は、不均衡計測と表現されるかもしれない）。

図１から図７までを参考に今まで述べられた実施形態において、位置データは針２００の位置を描出したものであり、仮想光源は針２００の先端に位置する。その他の実施形態において、仮想光源は針２００の任意の部分に対して位置してよい。実施形態には、分布した仮想光源または複数の光源は、針２００の長さに沿って位置している。従って、ユーザは単に先端だけよりも、光を生み出している針全体２００を見る。実施形態には、針２００に沿ったその他の点よりも、針２００の先端の方が、ずっと多い量の仮想ライトの光を生み出すものがある。

図１から図７の実施形態において、針の先端に位置した仮想光源は、点光源である。その他の実施形態では、仮想光源は指向性を有する光源である。その他実施形態において、針先の仮想光源は、最も近い所望の収集点に向かって、光線または光の円錐を発する。光線または光の円錐は、針が動こうとする方向のインジケータとしての役割を果たす。その他の実施形態において、光線または光の円錐は、針２００の軸と一直線に並んでよい。光線または光の円錐は、針２００の移動の方向と一直線に並んでもよい。

図１から図７の実施形態において、位置検出器２１によって取得された位置データは、生検針２００の位置を描出したデータであり、仮想光源は生検針２００と関連付けられている。その他の実施形態において、位置データは、人体または動物体中へ挿入された任意の医用デバイスの位置を描出する可能性がある。仮想光源は、医用デバイスの任意の適切な部分に関連付けられているかもしれない。仮想光源は、医用デバイスの先端に位置するかもしれない。仮想光源は、医用デバイスの長さの少なくとも一部に沿って分布していても良い。

画像生成部２８は、医用デバイスの任意の部分の位置に従って、仮想光源の任意のパラメータを変えるように構成されていて良い。

仮想光源は、医用デバイス処理を実行するように構成された、医用デバイスの一部に関連付けられている可能性がある。医用デバイス処理は、例えば生検サンプルの取得や切除の実行を具備する可能性がある。医用デバイス処理は、画像の取得を具備するかもしれない。医用デバイスの一部とは、医用デバイス処理を実行するように構成されており、例えばカメラ、ポイント、ブレードまたはアンテナなどを具備してよい。医用デバイスは、一つ以上の医用デバイス処理（例えば、一つ以上の生検）を具備する、挿入手術（例えば、生検針挿入手術）の実行のために、挿入されるかもしれない。それぞれ医用デバイス処理は、個別の位置で実行されてよい。

その医用デバイスとは、例えば針、ステント、身体部分の置換、人口装具、計測デバイス、外科装置、バルブ、心臓弁、撮像デバイス、内視鏡デバイス、カテーテル、インプラント、または電子デバイス、などの可能性がある。電子デバイスとは、例えば内視鏡や超音波プローブがあるかもしれない。挿入手術とは、例えば生検針挿入手術、内視鏡検査、カテーテル法、インプラント挿入手術を具備する可能性がある。仮想光源は、点光源または分布した光源であってよい。

実施形態には、医用デバイスが内視鏡というものがある。仮想光源は、例えば内視鏡の先端など、内視鏡の点と関連付けられている可能性がある。仮想光源は、内視鏡の観察点に位置するかもしれない。仮想光源の特性が内視鏡の観察点の位置に依存する画像は、レンダリングされるかもしれない。

実施形態には、医用デバイスがカテーテルであり、仮想光源がカテーテルの先端と関連付けられているものがある。実施形態の中には、医用デバイスはインプラントであり、仮想光源はインプラント上の点、例えばコーナーや中心点、基準点、付着点などの点に関連付けられているものもある。

一実施形態において、医用デバイスは経食道心エコー図（ＴＯＥまたはＴＥＥ）を実行するように構成された超音波プローブである。仮想光源は、超音波プローブと関連付けられている。

実施形態では、仮想光源の任意のパラメータは、手術の進捗に依存して変化してよい。例えば、仮想光源の任意のパラメータは、挿入手術の進捗によって変化してよい。仮想光源のパラメータは、挿入手術の継続時間によって変化してもよい。例えば、仮想光源の色／輝度は、時間と共に変化する可能性がある。仮想光源のパラメータは、例えば、実行されてきた医用デバイス処理の数など、達成されてきたことよりも、挿入手術のステージに依存して、変化するかもしれない。例えば、仮想光源の色は、収集されてきた所望のサンプルの割合によって、変化する可能性がある。仮想光源のパラメータは、挿入手術の完成度のレベルに応じて、変化してよい。

上記で述べた実施形態において、仮想光源の一つ以上のパラメータが変化される。その他の実施形態において、画像生成部２８は、仮想光源に関する少なくとも一つのパラメータを変えるように構成されており、仮想光源自体のパラメータであってもよいし、そうでなくてもよい。例えば画像生成部２８は、例えば解剖学的特徴を描出した画像の一部など画像の任意の部分の、または画像の全体の、色またはその他特性を変化させる可能性がある。画像生成部２８は、画像生成処理の任意のパラメータを変化させるように構成されていてよい。

実施形態には、医用デバイス上に位置しない、仮想光源が使用され得るものがある。例えば、仮想光源は、所望の収集点など、所望の位置にあるかもしれない。所望の位置での仮想光源のパラメータは、所望の位置から医用デバイスの距離に依存して、変化する可能性がある。例えば、所望の位置での仮想光源は、医用デバイスが所望の位置に近づくにつれ、色および／または輝度において変わる可能性がある。実施形態の中には、医用デバイス上に位置しない仮想光源のパラメータは、挿入手術の進捗に依存して、変化されてもよいものがある。例えば、医用デバイス処理が順調に実行されてきたら、画像の色は変化してもよい。

実施形態の中には、医用デバイス上に位置した仮想光源を使用することで、医用デバイス上に位置しない仮想光源の画像よりも、画像の解釈が更に容易になることを提供し得るものがある。例えば、針のように小さな物体が、点光源に関しどのように移動するのかを観察するのが比較的難しい一方で、点光源がその周辺に関しどのように移動するか、が容易に見て取れるかもしれない。

実施形態には、レンダリング３次元画像は、仮想内視鏡画像であり、仮想光源は、仮想内視鏡画像の観察点で、または観察点に対して、位置するものがある。また実施形態の中には、仮想内視鏡画像がレンダリング３次元画像に追加でレンダリングされるものもある。
内視鏡画像は、内視鏡検査の間に内視鏡の上に位置したカメラによって導出されるかもしれない画像をシミュレートするように、例えば内視鏡のビューの点から生成された仮想ビューを具備するかもしれない。代わりに、または追加で、画像は内視鏡自体の描出を具備するかもしれない。

実施形態には、仮想内視鏡画像の観察点の位置（例えば、ビューワが画像を観察しているように見える所からの位置）は、内視鏡の先端位置と対応し得るものがある。実施形態の中には、画像生成部２８は、仮想光源（例えば、少なくとも一つの色または輝度）に関する少なくとも一つのパラメータを、仮想内視鏡画像の観察点の位置に依存して変化させるように構成されている。例えば、仮想光源の色または輝度は、観察点が関心のある点または領域に近づくにつれて、変化するかもしれない。
実施形態には、医用画像処理装置１２は、３次元医用画像データの処理において、ユーザ入力を受信して、ユーザ入力を使用するように構成されているものがある。実施形態の中には、画像生成部２８は、ユーザ入力を受信して、ユーザ入力に基づいて医用デバイスに関する仮想光源を配置するように構成されたものがある。例えば、ユーザが画像生成部２８に仮想光源を、医用装置の先端上に、または医用デバイスの任意の適切な位置に、配置するように指示してもよい。ユーザは、仮想光源のパラメータを選択してよい。ユーザは、医用デバイスの位置に依存して、仮想光源のパラメータが変わるように選択してもよい。例えば、医用デバイスが所望の位置に近づくにつれて、仮想光源の色および／または輝度が変化するのを、ユーザが望むかどうか選択するかもしれない。

ユーザは、画像に表示されるのが、関心領域および／または解剖学的特徴かを選択してよい。ユーザは、医用デバイスの描出を選択し得る。例えば、ユーザは、一つ以上のオーバーレイ、多角形幾何、そして仮想光源を使用して、医用デバイスを表すかどうかを選択する可能性がある。ユーザは、任意の可能性のある描出をする、しないの切り替えをしてよい。

特定の実施形態は、医用撮像デバイス、追跡された生検針と表示装置とを具備する医用撮像装置を提供し得る。即ちその中で、光源は、点ライトとして先行スキャンにおける針先位置を視覚化するために使用される。

ライトの色および／または輝度は、超音波エラストグラフィを使用する針周辺の弾性の計測に基づいて、調節される可能性がある。ライトの色および／または輝度は、例えばＰＥＴなど核医学源からの値を基に、調節される可能性がある。ライドの色および／または輝度は、既に集められてきた生検サンプルからの針の点への距離に基づいて、調節されてもよい。またライトの色および／または輝度は、針の予め計画された生検点への距離に基づいて調節されてもよい。さらにライトの色／および輝度は、針のライブ超音波面上の高さに基づいて調節されてもよいだろう。

光線または光の円錐は、どの方向に針が移動するかのインジケータとして、最も近い点に向かうキャストであってもよい。

針について多くの実施形態が述べられてきたが、任意の医用デバイスが使用されてよい。医用デバイスは、任意の人体または動物体の、任意の部分へと挿入されてよい。仮想光源は、任意の医用デバイスの、任意の適切な位置に、または位置に対して、位置してよい。仮想光源は、医用デバイスが人体または動物検体の被検体へと挿入されたら、その人体または動物検体の被検体の少なくとも一部分の３次元画像における医用デバイスの位置を示すことが出来る。医用デバイスは、任意の適切な医用手術または獣医手術において、使用されてよい。

上記実施形態においては、穿刺針を用いた生検を例として説明した。しかしながら、当該例に拘泥されず、本実施形態は、穿刺針を用いた焼灼治療においても適用可能である。例えば、焼灼治療の事前のシミュレーション時において、ステップ１０８において焼灼予定範囲（ターゲット）内に仮想光源を設定し、ステップ１１０において、当該仮想光源によって焼灼予定範囲が照らし出されるように、焼灼予定範囲に存在するボクセルの輝度値を仮想光源からの距離に基づいて決定することで実現できる。また、例えば焼灼治療時のモニタリングにおいては、ステップ１０８において被検体内の電極の位置を仮想光源として設定し、ステップ１１０において、当該電極の位置から焼灼可能範囲が照らし出されるように、焼灼可能範囲に存在するボクセルの輝度値を仮想光源からの距離に基づいて決定することで実現できる。

本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理リソースまたはその他構成要素によって提供されることも可能であり、あるいは単一の回路によって提供される機能性が二つ以上の処理リソースまたはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。

特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変さらが本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。

１…超音波診断装置、１０…装置本体、１１ａ…超音波送信部、１１ｂ…超音波受信部、１２…医用画像処理装置、１３ａ…Ｂモード処理部、１３ｂ…ドプラ処理部、１４…超音波スキャナ、１６…表示処理部、１８…入力装置、１９…画像データベース、２０…内部記憶部、２１…位置検出器、２２…データ処理部、２４…位置決定部、２６…レジストレーション処理部、２８…画像生成部、２９…画像処理部、３０…制御部、３１…画像データベース、３２…入力インタフェース回路、３４…画像メモリ、３５…通信インタフェース回路、４０…外部装置、５０…表示機器、７０…超音波プローブ

Claims (15)

1. 被検体の３次元領域に対してスキャンを実行するスキャン部と、
   前記スキャンの結果に基づいて、前記３次元領域の医用画像データを生成し、
   前記３次元領域内のターゲットの位置を検出し、
   検出した前記ターゲットの位置を光源の位置として、前記医用画像データに対するレンダリング処理を実行する、処理部と、
   を備え、
   前記ターゲットは、前記３次元領域内に存在する医用器具又は電子機器であり、
   前記処理部は、
   前記被検体の内部に挿入された前記ターゲットの位置及び手術の進捗のうち少なくとも一つに基づいて、前記光源に関連する少なくとも一つのパラメータを変化させ、
   前記ターゲットの先端、前記ターゲットの所定の一部、及び、前記ターゲットの長さの少なくとも一部に沿って分布する部分、のうちのいずれかの位置を前記光源の位置として、前記レンダリング処理を実行し、
   色が組織性状情報または機能情報を表す、前記３次元領域内の関心領域に対するカラーマップを決定し、
   前記光源の色は、前記ターゲットが位置する領域の前記カラーマップの色に対応する、医用画像診断装置。
2. 前記医用器具は、穿刺針、カテーテル、ステント、およびインプラントのうち少なくとも一つを含む、請求項１に記載の医用画像診断装置。
3. 前記電子機器は、体内式の超音波プローブ、内視鏡、のうち少なくとも一つを含む、請求項１に記載の医用画像診断装置。
4. 前記処理部は、ユーザインタフェースを介してユーザから指定された前記医用器具または電子機器の位置を、前記ターゲットの位置として検出する、請求項１乃至３のうちいずれか一項に記載の医用画像診断装置。
5. 前記処理部は、前記３次元領域内に存在する穿刺針のシャフト位置を、前記ターゲットの位置として検出する、請求項１乃至４のうちいずれか一項に記載の医用画像診断装置。
6. 前記処理部は、前記３次元領域内に存在する穿刺針の先端位置を、前記ターゲットの位置として検出する、請求項１乃至４のうちいずれか一項に記載の医用画像診断装置。
7. 前記処理部は、穿刺の対象であるサンプル位置と、検出した前記穿刺針の先端位置の間の距離に基づいて、前記光源の強度を決定する、請求項６に記載の医用画像診断装置。
8. 前記処理部は、所定の穿刺計画において定められた位置と、検出した前記穿刺針の先端位置の間の距離に基づいて、前記光源の強度を決定する、請求項６に記載の医用画像診断装置。
9. 前記ターゲットは、前記被検体内を進行し、
   前記処理部は、前記ターゲットの進行方向に光が投じられるように、前記光源を設定する、請求項１乃至８のうちいずれか一項に記載の医用画像診断装置。
10. 前記スキャン部は、超音波走査を実行する超音波プローブを含み、
    前記処理部は、前記超音波プローブによる超音波走査が実行されているライブ走査断面の位置と前記ターゲットの位置の間の距離に基づいて、前記光源の強度を決定する、請求項１に記載の医用画像診断装置。
11. 前記処理部は、前記ターゲットの位置を含む領域、または前記ターゲットが存在する位置の周辺について算出された組織性状情報に基づいて、前記光源の強度を決定する、請求項１に記載の医用画像診断装置。
12. 前記機能情報は、他の医用画像診断装置により算出される、請求項１に記載の医用画像診断装置。
13. 前記スキャン部は、超音波走査を実行する超音波プローブを含み、
    前記処理部は、超音波プローブに設けられた位置センサの出力、穿刺針に設けられた位置センサの出力、および前記医用画像データのうちの少なくとも１つに基づいて、前記ターゲットの位置を検出する、請求項１乃至９のうちいずれか一項に記載の医用画像診断装置。
14. 前記処理部は、前記ターゲットの位置の光源を第１光源の位置として、前記ターゲットの位置と異なる位置を第２光源の位置として前記医用画像データに対するレンダリング処理を実行する、請求項１乃至１３のうちいずれか一項に記載の医用画像診断装置。
15. 医用画像診断装置で生成された被検体の３次元領域の医用画像データを取得し、
    前記３次元領域内のターゲットの位置を検出し、
    検出した前記ターゲットの位置を光源の位置として、前記医用画像データに対するレンダリング処理を実行する、処理部を備え、
    前記ターゲットは、前記３次元領域内に存在する医用器具又は電子機器であり、
    前記処理部は、
    前記被検体の内部に挿入された前記ターゲットの位置及び手術の進捗のうち少なくとも一つに基づいて、前記光源に関連する少なくとも一つのパラメータを変化させ、
    前記ターゲットの先端、前記ターゲットの所定の一部、及び、前記ターゲットの長さの少なくとも一部に沿って分布する部分、のうちのいずれかの位置を前記光源の位置として、前記レンダリング処理を実行し、
    色が組織性状情報または機能情報を表す、前記３次元領域内の関心領域に対するカラーマップを決定し、
    前記光源の色は、前記ターゲットが位置する領域の前記カラーマップの色に対応する、医用画像処理装置。

Images