JP6490820B2 - 超音波撮像装置、画像処理装置、及び方法 - Google Patents

Description

本発明は、超音波撮像装置に係り、特に、撮像した超音波画像と、他の撮像装置で撮像された同じ断面の画像と、被検体内所定の特徴部位を同時に表示する撮像技術に関する。

超音波撮像装置は、超音波を被検体に照射し、その反射信号により被検体内部の構造を画像化するため、無侵襲かつリアルタイムに患者を観察することが可能である。一方、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置あるいはＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置などの他の医用画像撮像装置は、広範囲かつ高分解能で撮像することができるため、細かな病変や臓器の位置関係の把握が容易に行える。例えば肝臓癌などの腫瘍を、早期の段階でＭＲＩ画像やＸ線ＣＴ画像から見つけ出すことができる。

また、超音波探触子に位置センサを貼り付けてスキャン面の位置関係を算出し、医用画像診断装置から撮像した３次元診断用ボリュームデータから、超音波スキャン面の画像と対応する２次元画像を構築し、表示する画像診断システムも普及し始めている。

特許文献１には、血管情報を用いて、超音波３次元画像（ボリューム）とＭＲＩ３次元画像との位置合わせを行い、超音波スキャン面の画像と対応するＭＲＩ断面画像を構築する方法が記載されている。この技術では、超音波画像とＭＲＩ画像のそれぞれから、血管領域を２値化画像として抽出し、細線化を行い、その中から血管分岐を検出する。そして、超音波画像とＭＲＩ画像のそれぞれから得られた血管分岐に対し、総当たりでマッチングを行い、対応血管分岐を特定し、位置合わせ用の幾何変換行列を推定する。その位置合わせの結果を用いて、ＭＲＩ画像を超音波画像に合わせて、対応した断面画像を生成して表示する。

特開２０１５−３９５７８号公報

近年では、被検体の手術中に腫瘍等の手術すべき領域を、術中超音波画像と、それに対応する高解像度のＭＲＩ画像やＣＴ画像とで確認することが望まれている。さらに、手術を正確にガイドするためには、術中超音波画像と高解像度モダリティ画像のそれぞれに、腫瘍や解剖学的な特徴部位の位置、名称、および距離関係などの情報をリアルタイムに表示することが望まれている。また、手術中の医師等のユーザの手が、ボリュームデータの位置合わせのために、手動入力装置のスイッチやマウス等に触ることはできるだけ避けたい。また、開腹状態の被検体の負担を軽減するために、できるだけ短時間にボリュームデータの位置合わせを行うことが望ましい。

しかしながら、特許文献１の技術では、血管分岐の位置情報しか特定できないため、臓器内の解剖学的な特徴部位の名称をユーザに提示することが困難である。また、血管が豊富に存在しない部位や血管が明瞭に撮像できない場合には、血管分岐の抽出、そして位置合わせが困難である。

本発明の目的は、超音波ボリュームデータと、他の医用画像撮像装置が撮像した診断用ボリュームデータから、特徴部位の位置推定と識別を容易に行うことが可能な超音波撮像装置、画像処理装置、及び方法を提供することにある。

上記の目的を達成するため、本発明においては、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子に取り付けられた位置センサと、超音波探触子の受信信号から超音波画像を生成するとともに、超音波画像と位置センサから得た超音波探触子の位置情報から第１ボリュームデータを生成する画像生成部と、第１ボリュームデータと、被検体についての第２ボリュームデータを受け取って処理する画像処理装置とを備え、画像処理装置は、第１ボリュームデータと第２ボリュームデータ各々から被検体の特徴部位を推定および識別し、特徴部位の位置情報を用いて、第１ボリュームデータと第２ボリュームとの位置合わせを行う構成の超音波撮像装置を提供する。

また、上記の目的を達成するため、本発明においては、画像処理装置であって、被検体についての超音波画像の第１ボリュームデータと、被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から被検体の特徴部位を推定および識別する特徴部位推定・識別部と、特徴部位の位置情報を用いて、第１ボリュームデータと第２ボリュームデータとを位置合わせする位置合わせ部を備える画像処理装置を提供する。

更に、上記の目的を達成するため、本発明においては、画像処理装置における画像処理方法であって、画像処理装置は、被検体についての超音波画像の第１ボリュームデータと、被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から被検体の特徴部位を推定および識別し、特徴部位の位置情報を用いて、第１ボリュームデータと第２ボリュームデータとを位置合わせを行う画像処理方法を提供する。

本発明によれば、超音波ボリュームデータと、他の画像撮像装置のボリュームデータのそれぞれから、所定の特徴部位の位置推定と識別を行い、その部位名称をそれぞれの断面画像に表示することができる。

実施例１に係る、超音波撮像装置の全体構成例を示すブロック図。 実施例１に係る、超音波撮像装置のハードウェア構成例を示すブロック図。 実施例１に係る、超音波撮像装置の画像処理装置の機能ブロック図。 実施例１に係る、超音波撮像装置の処理の流れを示すフローチャート図。 実施例１に係る、特徴部位の一例を示す説明図。 実施例１に係る、特徴部位の他の例を示す説明図。 実施例１に係る、特徴部位の他の例を示す説明図。 実施例１に係る、特徴部位位置・名称情報の一例を示す図。 実施例１に係る、ボリュームデータから特徴部位の位置推定・識別処理を示すフローチャート図。 実施例１に係る、超音波ボリュームとＣＴボリュームの位置合わせ処理を示すフローチャート図。 実施例２に係る、超音波撮像装置の画像処理装置の機能ブロック図。 実施例２に係る、特徴部位を修正する処理を示すフローチャート図。 実施例３に係る、超音波撮像装置の画像処理装置の機能ブロック図。 実施例３に係る、血管点群剛体位置合わせ処理を示すフローチャート図。 実施例３に係る、画像ベースの剛体位置合わせ処理を示すフローチャート図。 実施例３に係る、画像ベースの非剛体位置合わせ処理を示すフローチャート図。 各実施例に係る、ディスプレイの表示画面とボタン選択手段の一例を示す図。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

実施例１は、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子に取り付けられた位置センサと、超音波探触子の受信信号から超音波画像を生成するとともに、超音波画像と位置センサから得た超音波探触子の位置情報から第１ボリュームデータを生成する画像生成部と、第１ボリュームデータと、被検体についての第２ボリュームデータを受け取って処理する画像処理装置とを備え、画像処理装置は、第１ボリュームデータと第２ボリュームデータ各々から被検体の特徴部位を推定および識別し、特徴部位の位置情報を用いて、第１ボリュームデータと第２ボリュームとの位置合わせを行う構成の超音波撮像装置の実施例である。また、実施例１は、画像処理装置であって、被検体についての超音波画像の第１ボリュームデータと、被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から被検体の特徴部位を推定および識別する特徴部位推定・識別部と、特徴部位の位置情報を用いて、第１ボリュームデータと第２ボリュームデータとを位置合わせする位置合わせ部を備える画像処理装置、及びその処理方法の実施例である。

本実施例においては、被検体を撮像した第１ボリュームデータである超音波ボリュームデータと、第２ボリュームデータである医用画像診断モダリティのボリュームデータ、例えばＣＴボリュームデータのそれぞれから、所定の解剖学的な特徴部位に対し、位置推定と名称識別を行い、識別された特徴部位の名称を、推定された特徴部位の位置情報に基づいて、それぞれのボリュームデータの表示断面に表示する。また、超音波ボリュームとＣＴボリュームの対応する特徴部位の位置情報を用いて、超音波ボリュームとＣＴボリュームとの位置合わせ用の幾何変換行列を算出する。得られた位置合わせ用の幾何変換行列と、超音波ボリュームデータ取得時の超音波探触子の位置情報を用いて、手術中にリアルタイムに撮像した２Ｄ超音波画像と、それに対応するＣＴの断面画像を同時に表示部に表示する。さらに、得られた超音波とＣＴの対応する特徴部位の名称や位置関係を超音波断面画像とＣＴ断面画像に表示することにより、手術をガイドすることを可能とする。

＜構成及び動作＞
以下、実施例１の超音波撮像装置の具体的な一構成例について詳述する。図１に示すように、本実施例の超音波撮像装置は、超音波探触子７と、位置センサ８と、画像生成部１０７と、画像処理装置１０８とを備え、さらに、送信部１０２、送受切替部１０１、受信部１０５、位置検出ユニット６、ユーザインタフェース（ＵＩ）１２１、および、制御部１０６とを備えて構成される。なお、図１に示す超音波撮像装置の構成例は、他の実施例においても共通に利用される。

送信部１０２は、制御部１０６の制御下で、送信信号を生成し、超音波プローブと呼ばれる超音波探触子７を構成する複数の超音波素子ごとに受け渡す。これにより、超音波探触子７の複数の超音波素子は、それぞれ超音波を被検体１２０に向かって送信する。被検体１２０で反射等された超音波は、再び超音波探触子７の複数の超音波素子に到達して受信され、電気信号に変換される。超音波素子が受信した信号は、受信部１０５によって、受信焦点の位置に応じた所定の遅延量で遅延され、整相加算される。これを複数の受信焦点ごとについて繰り返す。整相加算後の信号は、画像生成部１０７に受け渡される。送受切り替え部１０１は、送信部１０２または受信部１０５を選択的に超音波探触子７に接続する。

位置検出ユニット６は、位置センサ８の出力から超音波探触子７の位置を検出する。例えば、位置検出ユニット６として、磁気センサユニットを用いることができる。位置検出ユニット６は、磁場空間を形成し、位置センサ８が磁場を検出することにより、基準点となる位置からの座標を検出することができる。

画像生成部１０７は、受信部１０５から受け取った整相加算信号を受信焦点に対応する位置に並べる等の処理を行い、２Ｄ超音波画像を生成する。画像生成部１０７は、超音波探触子７のその時の位置情報を位置検出ユニット６から受け取って、生成する超音波画像に位置情報を付与する。ユーザが超音波探触子７を移動させ、画像生成部１０７がその時の超音波探触子７の位置情報を付与した超音波画像を生成して、画像処理装置１０８に出力することにより、画像処理装置１０８は３次元超音波画像の第１ボリュームデータを生成することができる。

画像処理装置１０８は、この第１ボリュームデータに加え、他の画像撮像装置が被検体１２０について得た第２ボリュームデータをユーザインタフェース（ＵＩ）１２１を介して受け取って、第１ボリュームデータと第２ボリュームデータの特徴部位識別および位置合わせなどをする。以下の説明において、ＭＲＩ装置やＸ線ＣＴ装置や他の超音波診断装置等の他の画像撮像装置を、医用モダリティと呼ぶ。本実施例では、医用モダリティの一例として、Ｘ線ＣＴ装置を用い、Ｘ線ＣＴ装置のボリュームデータを、第２ボリュームデータとしてのＣＴボリュームデータと呼ぶ。

以下、画像処理装置１０８とユーザインタフェース（ＵＩ）１２１の構成と動作について詳しく説明する。位置検出ユニット６は、位置センサ８の出力から、超音波探触子７の位置を検出する。例えば、位置検出ユニット６として、磁気センサユニットを用いることができる。位置検出ユニット６は、磁場空間を形成し、位置センサ８が磁場を検出することにより、基準点となる位置からの座標を検出することができる。

図２は、画像処理装置１０８とユーザインタフェース１２１のハードウェア構成例を示すブロック図である。図２に示すハードウェア構成例は、後述する他の実施例においても、共通に用いられる。画像処理装置１０８は、ＣＰＵ（プロセッサ）１、ＲＯＭ（不揮発性メモリ：読出専用の記憶媒体）２、ＲＡＭ（揮発性メモリ：データの読み書きが可能な記憶媒体）３、記憶装置４および表示制御部１５を備えて構成される。ユーザインタフェース１２１は、画像入力部９、媒体入力部１１、入力制御部１３および入力装置１４を備えて構成される。これらと、超音波画像生成部１０７、および、位置検出ユニット６は、バス５によって相互に接続されている。また、表示制御部１５には、ディスプレイ１６が接続されている。

ＲＯＭ２およびＲＡＭ３の少なくとも一方には、ＣＰＵ１の演算処理で画像処理装置１０８の動作を実現するために必要とされるプログラムとデータが予め格納されている。ＣＰＵ１が、このＲＯＭ２およびＲＡＭ３の少なくとも一方に予め格納されたプログラムを実行することによって、画像処理装置１０８の各種処理が実現される。なお、ＣＰＵ１が実行するプログラムは、例えば、光ディスクなどの記憶媒体１２に格納しておき、媒体入力部１１（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ３に格納する様にしてもよい。また、記憶装置４に当該プログラムを格納しておき、記憶装置４からそのプログラムをＲＡＭ３にロードしてもよい。また、ＲＯＭ２にあらかじめ当該プログラムを記憶させておいてもよい。

画像入力部９は、Ｘ線ＣＴ装置などの医用モダリティである画像撮像装置１０が撮影したＣＴボリュームデータを、取り込むためのインターフェースである。記憶装置４は、画像入力部９を介して入力されたＣＴボリュームデータ等を格納する磁気記憶装置である。記憶装置４は、例えば、フラッシュメモリなどの不揮発性半導体記憶媒体を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

入力装置１４は、ユーザの操作を受け付ける装置であり、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを含む。入力制御部１３は、ユーザによって入力された操作入力を受け付けるインターフェースである。入力制御部１３が受けた操作入力は、ＣＰＵ１によって処理される。表示制御部１５は、例えば、ＣＰＵ１の処理で得られた画像データをディスプレイ１６に表示させる制御を行う。ディスプレイ１６は、表示制御部１５の制御下で画像を表示する。

図３は、本実施例の画像処理装置１０８の機能例を示す機能ブロック図である。図３のように、画像処理装置１０８は、超音波画像取得部２８と、超音波探触子位置情報取得部２９と、第１のボリュームデータとしての超音波ボリュームデータの生成部２１と、超音波ボリュームデータの特徴部位位置推定・識別部２３と、第２のボリュームデータとしてのＣＴボリュームデータの受け付け部２２と、ＣＴボリュームデータの特徴部位位置推定・識別部２４とを含む。また、画像処理装置１０８は、特徴部位の名称・位置の情報を示す超音波・ＣＴ対応特徴部位情報２５と、初期位置合わせのためのＣＴボリューム座標変換算出部２６と、リアルタイム２Ｄ-ＣＴ画像算出部２７と、リアルタイム２Ｄ超音波画像取得部３０と、画像表示部３１とを含む。

つぎに、図４に示すフローチャートを用いて、図３に示した画像処理装置１０８の動作処理を説明する。まず、ステップＳ２０１において、ＣＴボリュームデータ受付部２２は、画像入力部９を介して、画像撮像装置１０からＣＴボリュームデータを受け付ける。

ステップＳ２０２において、超音波探触子７を当てて、移動やスキャンを行うように促す表示をディスプレイ１６に表示する。ユーザが表示に従い超音波探触子７をその臓器の区域で移動させると、送信部１０２、受信部１０５および画像生成部１０７により、２Ｄ超音波画像が生成される。超音波ボリュームデータ生成部２１は、画像生成部１０７から連続的に生成された２Ｄ超音波画像を受け付ける。

ステップＳ２０３において、位置検出ユニット６は、位置センサ８の出力から、超音波探触子７の位置を検出する。超音波ボリュームデータ生成部２１は、その超音波探触子のリアルタイムの位置情報を受け付ける。ステップＳ２０４において、超音波ボリュームデータ生成部２１は、連続的に生成された２Ｄ超音波画像と、それに付与した超音波探触子の位置情報に基づいて、第１ボリュームデータとしての超音波ボリュームデータを生成する。

ステップＳ２０５とステップＳ２０６において、超音波ボリュームの特徴部位位置推定・識別部２３とＣＴボリュームの特徴部位位置推定・識別部２４は、公知の機械学習の手法を用いて、超音波ボリュームデータとＣＴボリュームのそれぞれから、所定の解剖学的な特徴部位の位置を推定し、推定結果に従い、各部位の名称を識別する。その特徴部位とは、例えば肝臓の門脈臍部、下大静脈の流入部、胆嚢、そして肝臓門脈や静脈の各分岐点など、医学的に定義されている臓器や臓器内の部位である。

図５Ａ、図５Ｂ、図５Ｃそれぞれは、超音波ボリュームデータとＣＴボリュームにおいて、特徴部位としての肝臓の門脈臍部、下大静脈の流入部、胆嚢の３次元的な位置や画像特徴を示す図である。図５Ａ、図５Ｂ、図５Ｃそれぞれの(a)は超音波ボリューム、(b)はＣＴボリュームを示しており、各図に示した立方体５０が上記の解剖学的な特徴部位それぞれの位置を示している。これら特徴部位の位置推定と名称識別の詳細は後で述べる。

図６に、超音波・ＣＴ対応特徴部位情報２５である、超音波ボリュームとＣＴボリュームから推定・識別された特徴部位の名称、および３次元位置情報、即ち各ボリュームにおける座標を示す超音波特徴部位情報、ＣＴ特徴部位情報は、ＲＡＭ３や記憶装置４などにテーブルとして記憶することができる。

図４のステップＳ２０７において、ＣＴボリューム座標変換算出（初期位置合わせ）部２６は、超音波・ＣＴ対応特徴部位情報２５を受け付け、対応特徴部位の位置情報を用いて、ＣＴボリュームを超音波ボリュームに初期位置合わせを行うための位置合わせ変換行列を算出する。位置合わせ変換行列算出の詳細は後で述べる。

ステップＳ２０８において、リアルタイム２Ｄ超音波画像取得部３０は、超音波画像取得部２８からリアルタイムに取得した２Ｄ超音波画像を受け付ける。

ステップＳ２０９において、ＣＴ断面であるリアルタイム２Ｄ-ＣＴ画像算出部２７は、ステップＳ２０３と同様に、２Ｄ超音波画像に対応する超音波探触子のリアルタイムの位置情報を受け付ける。

次に、ステップＳ２１０においては、リアルタイム２Ｄ-ＣＴ画像算出部２７は、超音波探触子の位置情報と、ＣＴボリュームの座標変換行列とを用いて、リアルタイムに取得した２Ｄ超音波画像に対応する２Ｄ-ＣＴの断面画像をＣＴボリュームからリアルタイムに算出する。

ステップＳ２１１においては、画像表示部３１は、２Ｄ超音波画像と、２Ｄ-ＣＴの断面画像と、超音波-ＣＴ対応特徴部位の名称・位置情報を受け付ける。画像表示部３１は、２Ｄ-ＣＴ、２Ｄ超音波画像の断面画像のそれぞれを、図１５の(a)に一例を示すように、ディスプレイ１６の異なる画面１６Ａ、１６Ｂ上に表示する。そして、識別された特徴部位の名称１７Ａ、１７Ｂと、特徴部位と２Ｄ画像との位置関係を、ぞれぞれの画面上に表示する。画像表示部３１は、３次元座標系における特徴部位の位置から、現在表示されている２Ｄ画像へ投影し、投影された場所に特徴部位の場所とマーカ１８Ａ、１８Ｂを表示する。すなわち、画像表示部３１は、第１ボリュームデータである超音波ボリュームデータと第２ボリュームデータであるＣＴボリュームデータ各々から推定した特徴部位の名称と位置関係を、超音波画像と位置合わせ後の第２ボリュームデータから生成した画像各々に表示することができるため、ユーザに対する正確な手術ナビゲーションを実現することができる。

さらに、画像表示部３１は、マーカ１８Ａ、１８Ｂのサイズを、特徴部位から２Ｄ画像への投影距離に比例して表示することもできる。なお、図１５の(a)のタッチパネル操作ボタン１９、及び図１５の(b)については、実施例２において説明する。

また、ステップＳ２１１においては、画像表示部３１は、２Ｄ超音波画像と、２Ｄ-ＣＴの断面画像の一方の色を変えて、画面１６Ａ、１６Ｂ上に並置して表示する代わりに、透過的に重畳した画像を生成して、ディスプレイ１６に表示することができる。さらに、画像表示部３１は、特徴部位の名称１７Ａ、１７Ｂとマーカ１８Ａ、１８Ｂを、重畳した画像２Ｄ画像に表示する。この場合においても、画像表示部３１は、マーカのサイズを、特徴部位から２Ｄ画像への投影距離に比例して表示することができる。

以上により、本実施例の構成において、患者体内の特徴部位の名称と位置関係と、超音波画像とそれに対応するＣＴ断面画像を同時に表示し、自動かつ正確な手術ナビゲーションを実現することが可能となる。

ここからは、図７に示すフローチャートを用いて、本実施例の超音波ボリュームの特徴部位位置推定・識別部２３とＣＴボリュームの特徴部位位置推定・識別部２４の処理を説明する。先に説明した通り、画像処理装置１０８は、ＣＰＵ１のプログラム実行によって実現されるため、図７の各処理もプログラムによって実現される。この超音波ボリュームの特徴部位位置推定・識別部２３とＣＴボリュームの特徴部位位置推定・識別部２４は、基本的に同様な機械学習・識別手段を備える。処理対象となるボリュームデータ、または機械学習に用いる識別器の構造やパラメータの設定のみが異なる。まず、ステップＳ４０１において、特徴部位位置推定・識別部２３と２４は、ボリュームデータを受け付ける。

ステップＳ４０２においては、特徴部位位置推定・識別部２３と２４は、特徴部位候補の位置推定と名称識別を行う。処理速度を向上するため、特徴部位位置推定・識別部２３と２４は、ボリュームデータのサイズを縮小して、機械学習を用いて粗い解像度で特徴部位候補を探索する。特徴部位の位置推定と名称識別の方法としては、例えば、公知の機械学習の方法であるＨｏｕｇｈ Ｆｏｒｅｓｔ法を用いることができる。

つぎに、ステップＳ４０３においては、各特徴部位位置推定・識別部２３、２４は、通常サイズのボリュームデータから、探索された特徴部位候補の周囲局所領域（局所ボリュームデータ）を取得する。

ステップＳ４０４においては、各特徴部位位置推定・識別部２３、２４は、特徴部位候補の周囲局所領域において、詳細に特徴部位を探索・識別する。ここで、上述のＨｏｕｇｈ Ｆｏｒｅｓｔ法を用いることができる。また、より高精度な位置推定・識別結果が望ましい場合、公知の深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）方法である３Ｄ ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）法を用いることができる。

ステップＳ４０５においては、各特徴部位位置推定・識別部２３、２４は、ステップＳ４０４で得られた特徴部位の識別スコアが、所定の閾値以下になる場合、その特徴部位を誤識別部位として除外する。

ステップＳ４０６においては、各特徴部位位置推定・識別部２３、２４は、識別された特徴部位の位置・名称情報を出力する。

続いて、図８に示すフローチャートを用いて、本実施例の初期位置合わせ用のＣＴボリューム座標変換算出部２６の処理を説明する。ＣＴボリューム座標変換算出部２６も、ＣＰＵ１によるプログラム実行によって実現される。
ステップＳ３０１においては、ＣＴボリューム座標変換算出部２６は、各特徴部位位置推定・識別部２３、２４から、超音波・ＣＴ対応特徴部位情報２５を受け付ける。

ステップＳ３０２においては、ＣＴボリューム座標変換算出部２６は、対応部位数が所定の数値Ｎを超えるかどうかを判別する。例えば、座標変換パラメータを算出するために、Ｎを３に設定する。

ステップＳ３０３においては、対応部位数がＮを超える場合、ＣＴボリューム座標変換算出部２６は、対応特徴部位の位置情報を用いて、対応部位間の座標変換のパラメータを決定する。この座標変換のための情報（回転角度と平行移動）、即ち幾何変換のパラメータを設定する手法としては、例えば、対応特徴部位の座標に対して、対応部位間の幾何距離の２乗和を最小とする公知のＳＶＤ（ｓｉｎｇｕｌａｒ ｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）法を適用することができる。

ステップＳ３０４においては、対応部位数がＮを満たさない場合、ＣＴボリューム座標変換算出部２６は、対応部位間の距離を、平行移動の初期値として算出する。対応部位数が複数ある場合、例えば、その平均値を平行移動の初期値として算出する。

ステップＳ３０５においては、ＣＴボリューム座標変換算出部２６は、超音波ボリュームとＣＴボリュームのそれぞれから、対応する特徴部位を中心とした３次元局所領域を切り出す。

ステップＳ３０６においては、ＣＴボリューム座標変換算出部２６は、ＣＴボリュームと超音波ボリュームの対応特徴部位を中心とした３次元局所領域の類似度評価関数の演算を行う。この類似度演算では、ＣＴと超音波の３次元局所領域から特徴的な領域、例えば、血管領域を抽出して、血管領域の重なる度合いを算出しても良い。血管が明瞭に撮像できていない場合、ＣＴと超音波の３次元局所領域同士の画像類似度を計算しても良い。画像類似度としては、公知の相互情報量を使用することができる。

ステップＳ３０７においては、ＣＴと超音波の３次元局所領域間の類似度が最大、あるいは極大となるような幾何変換情報（平行移動と回転角度）を求めるため、収束計算を実施する。

ステップＳ３０８においては、類似度が収束していない場合は、より高い類似度を得るために、幾何変換情報（平行移動と回転角度）を更新する。そして、更新された幾何変換情報を用いて、ステップＳ３０６〜Ｓ３０８を改めて実施する。

一方、ステップＳ３０３において幾何変換情報が求められた場合、もしくは、ステップＳ３０７において類似度が収束している場合は、ＣＴボリューム座標変換算出部２６は、ステップＳ３０９において求められた幾何変換情報を出力することによって、図３のＣＴボリューム座標変換算出部２６の処理を完了することができる。

以上のように、本実施例では、超音波ボリュームとＣＴボリュームのそれぞれから、所定の特徴部位を推定・識別し、得られた対応する特徴部位の位置情報を用いて超音波ボリュームとＣＴボリュームとの位置合わせを行う。これよって、リアルタイムに取得した超音波探触子位置情報を付与した超音波画像と、それに対応するＣＴ断面画像と、特徴部位の名称と位置関係とを同時に表示し、自動かつ正確な手術ナビゲーションを実現することが可能となる。

なお、実施例１では、画像処理装置１０８を超音波撮像装置１００の内部に備える構成であったが、図１、図２に示す画像処理装置１０８を、超音波撮像装置１００とは別の装置とすることも可能である。その場合、画像処理装置１０８と超音波撮像装置１００とは、信号線やネットワークを介して接続する。例えば、画像処理装置１０８を一般的な計算機、あるいは、ワークステーションなどの画像処理装置に実装し、ネットワークを介して超音波撮像装置１００と接続する。画像処理装置１０８は、位置合わせするべき超音波ボリュームデータとＣＴボリュームデータは、ネットワークを介して、クライアント端末からそれぞれ受け取り、位置合わせ処理を行う。そして、位置合わせ後のＣＴボリュームデータは、クライアント端末である超音波撮像装置に送信する構成にする。これにより、比較的大きな演算量が必要な画像処理装置１０８を、クライアント端末である超音波撮像装置１００に搭載する必要がない。これにより、超音波撮像装置１００は、ネットワークを介して接続された画像処理装置１０８の演算能力を用いて位置合わせ処理を行うことができるため、小型で簡素な超音波撮像装置１００でありながら、超音波画像と、同じ断面のＣＴ画像とをリアルタイムにディスプレイに表示可能な装置を提供できる。

以上説明したように、本実施例によれば、超音波ボリュームデータと、他の画像撮像装置のボリュームデータのそれぞれから、所定の特徴部位の位置推定と識別を行い、その部位名称をそれぞれの断面画像に表示することができる。さらに、得られた特徴部位の対応位置関係に基づき、超音波ボリュームと他装置ボリュームとの位置合わせを、自動かつ正確に提供することができる。

実施例１では、超音波ボリュームデータと医用画像診断モダリティのボリュームデータ、例えばＣＴボリュームデータのそれぞれから、所定の解剖学的な特徴部位の位置推定と名称識別を行い、得られた特徴部位の位置情報を用いて、超音波ボリュームとＣＴボリュームとの位置合わせの幾何変換行列を算出したが、本実施例２は、この構成に加えて更に、対応部位の追加や修正、または位置合わせの幾何変換計算の修正を、ユーザ指示に基づいて実行する実施例である。なお、実施例２の説明において、実施例１と同じ構成及び処理については、同じ符号を付して説明を省略する。

＜構成及び動作＞
図９は、実施例２における画像処理装置１０８の機能を示す機能ブロック図である。図９に示すように、画像処理装置１０８は、超音波画像取得部２８と、超音波探触子位置情報取得部２９と、超音波ボリュームデータ生成部２１と、超音波ボリュームデータの特徴部位位置推定・識別部２３と、ＣＴボリュームデータ受け付け部２２と、ＣＴボリュームデータの特徴部位位置推定・識別部２４とを含む。また、画像処理装置１０８は、超音波・ＣＴ対応特徴部位情報２５と、ＣＴボリューム座標変換算出部２６と、初期位置合わせ済ＣＴボリューム生成部３２と、画像表示部３１と、更に、特徴部位識別および位置合わせ結果の修正部３３とを含む。

図１５の(a)にその一例を示すように、超音波・ＣＴの対応特徴部位の名称と位置関係をディスプレイ１６に表示した状態で、特徴部位識別および位置合わせ結果の修正部３３は、ユーザが特徴部位識別および位置合わせが成功と判断するかどうかを尋ねる表示として、ボリューム追加、手動修正、詳細位置合わせ等のタッチパネル操作ボタン１９をディスプレイ１６に表示し、入力装置１４等のボタン選択手段を介して、ユーザの判断を受け付ける。ユーザが、特徴部位識別と位置合わせが成功であると入力装置１４等を介して入力した場合には、位置合わせ処理は、終了である。なお、ボタン選択手段としては、入力装置１４、タッチパネル操作ボタン１９に代え、トラックボールや、図１５の(b)に示したような術中に使うためのＵＳＢケーブル２０Ｂで接続されたフットスイッチ２０Ａを利用することができる。

一方、ユーザが、特徴部位識別と位置合わせが不成功と判断して入力した場合には、本実施例の特徴部位識別および位置合わせ結果の修正部３３は、特徴部位識別と位置合わせの修正処理を実行する。すなわち、本実施例の画像処理装置１０８は、特徴部位推定・識別部２３、２４において、超音波ボリュームデータとＣＴボリュームデータ各々から推定および識別された特徴部位を修正する修正部３３を備えている。

つぎに、図１０に示すフローチャートを用いて、実施例２における特徴部位識別および位置合わせ結果の修正部３３における特徴部位識別と位置合わせの修正処理を説明する。

まず、ステップＳ８００において、特徴部位識別および位置合わせ結果の修正部３３は、超音波−ＣＴ対応特徴部位の位置・名称情報を取得する。

そして、ステップＳ８０１において、特徴部位識別および位置合わせ結果の修正部３３は、ユーザが追加で超音波ボリュームを取得すると判断するかどうかを尋ねる表示をディスプレイ１６に表示し、入力装置１４やタッチパネル操作ボタン１９を介して、ユーザの判断を受け付ける。ユーザが、上述した第１ボリュームデータである超音波ボリュームデータ以外に、超音波探触子から１以上の超音波ボリュームを追加取得すると、入力装置１４やタッチパネル操作ボタン１９を介して入力した場合には、特徴部位識別および位置合わせ結果の修正部３３は、ステップ８０２〜ステップ８０３の処理を実行する。一方、ユーザが、超音波ボリュームを追加取得しないで、手動で修正すると判断・入力する場合、特徴部位識別および位置合わせ結果の修正部３３は、ステップ８０４の処理を実行する。

ステップＳ８０２においては、第１ボリュームデータの超音波ボリュームとは、臓器の異なる領域を超音波探触子７で撮像し、追加の超音波ボリュームを取得する。ステップＳ８０３においては、特徴部位識別および位置合わせ結果の修正部３３は、新たに追加された超音波ボリュームから、図７のステップＳ４０１〜ステップ４０６を使って説明した特徴部位の位置推定・識別処理を実行する。

ステップＳ８０４においては、ユーザが、入力装置１４を介して、得られた超音波・ＣＴ対応特徴部位の位置と名称を手動で修正する。特徴部位識別および位置合わせ結果の修正部３３は、ステップＳ８０３、あるいはステップＳ８０４で得られた修正済の超音波・ＣＴ対応特徴部位の位置・名称情報を受け付ける。

ステップＳ８０５においては、特徴部位識別および位置合わせ結果の修正部３３は、追加済、もしくは修正済の超音波・ＣＴ対応特徴部位の位置・名称情報を用いて、図８のステップ３０１〜ステップ３０９の処理に進んで、ＣＴボリューム座標変換情報の再算出を実行する。すなわち、本実施例の画像処理装置は、第１ボリュームデータである超音波ボリュームデータ以外の、超音波探触子７で撮像して得られたボリュームデータから、被検体の所定の特徴部位を推定および識別し、第２ボリュームデータであるＣＴボリュームデータの特徴部位の位置情報と、対応する第１ボリュームデータ以外のボリュームデータの特徴部位の位置情報を用いて、第２ボリュームデータの位置合わせの座標変換情報を再出力する。

ステップＳ８０６においては、特徴部位識別および位置合わせ結果の修正部３３は、修正済の対応特徴部位および 位置合わせ結果をディスプレイ１６に表示する。ユーザが、再修正すると判断（Ｙｅｓ）する場合、特徴部位識別および位置合わせ結果の修正部３３は、ステップ８０１〜ステップ８０６を改めて実施する。一方、ユーザが、再修正しないと判断（Ｎｏ）する場合、特徴部位識別および位置合わせ結果の修正処理が完了する。

以上のように、本実施例では、ユーザ指示に基づいて、対応部位の追加もしくは修正、そして位置合わせの座標変換情報の再計算を、実行することが可能な超音波撮像装置を構成することができる。

実施例３は、実施例１または実施例２で位置合わせを行った超音波ボリュームデータと、位置合わせ済みＣＴボリュームデータに対して、さらに詳細に位置合わせを行うことにより、位置合わせ精度を向上させることが可能な超音波撮像装置の実施例である。

図１１は、実施例３における画像処理装置１０８の機能を示す機能ブロック図である。図１１のように、画像処理装置１０８は、超音波画像取得部２８と、超音波探触子位置情報取得部２９と、超音波ボリュームデータ生成部２１と、超音波ボリュームデータの特徴部位位置推定・識別部２３と、ＣＴボリュームデータ受け付け部２２と、ＣＴボリュームデータの特徴部位位置推定・識別部２４とを含む。また、画像処理装置１０８は、超音波・ＣＴ対応特徴部位情報２５と、初期位置合わせのためのＣＴボリューム座標変換算出部２６と、リアルタイム２Ｄ-ＣＴ画像算出部２７と、リアルタイム２Ｄ超音波画像取得部３０と、画像表示部３１と、更に詳細位置合わせ部３４とを含む。

実施例３の構成において、詳細位置合わせ部３４における詳細位置合わせ処理では、剛体位置合わせもしくは非剛体位置合わせの方法を用いることが可能である。いずれかの位置合わせ実施方法の選択では、ユーザから指定されることが可能であり、順番にすべての方法を実施することも可能である。図１２〜図１４に示すフローチャートを用いて、詳細位置合わせの処理を説明する。

超音波ボリュームデータとＣＴボリュームデータ中に、血管領域が明瞭に撮像された場合、図１２に示す血管点群同士の剛体位置合わせ方法を用いることが可能である。この血管点群同士の位置合わせ処理を説明する。

ステップＳ５０１においては、詳細位置合わせ部３４は、実施例１または実施例２の構成で得られた初期位置合わせ済ＣＴボリュームを受け付ける。

ステップＳ５０２においては、詳細位置合わせ部３４は、初期位置合わせ済ＣＴボリュームから、血管データを抽出する。抽出された血管データは、セグメンテーションされた血管領域の中のボクセルの３次元座標データである。

ステップＳ５０３においては、詳細位置合わせ部３４は、超音波ボリュームデータを受け付ける。

ステップＳ５０４においては、詳細位置合わせ部３４は、超音波ボリュームデータから、血管データを抽出する。

ステップＳ５０５においては、詳細位置合わせ部３４は、超音波とＣＴの血管データ同士の位置合わせを行う。公知の自動位置合わせ手法としては、公知のＩＣＰ（Iterative Closest Point）法を用いることができる。ＩＣＰ法では、ＣＴ血管データの点群を幾何変換、すなわち平行移動と回転を行って、超音波血管データの点群との対応点間の距離を求めて、その距離が最小となるように反復的に計算を行う。これにより、両者を位置合わせすることができる。最後のステップＳ５０６においては、詳細位置合わせ部３４は、位置合わせの結果を出力する。

一方、超音波ボリュームデータとＣＴボリュームデータの中、血管領域が明瞭に撮像されていない場合、図１３に示す画像ベースの剛体位置合わせ方法を用いることが可能である。以下に、詳細位置合わせ部３４が、超音波ボリュームデータとＣＴボリュームデータに対し、画像ベースの剛体位置合わせを実施する処理を説明する。

ステップＳ６０１〜ステップＳ６０２においては、詳細位置合わせ部３４は、初期位置合わせ済ＣＴボリュームと、超音波ボリュームをそれぞれ受け付け、画像ベースの剛体位置合わせの対象を得る。

ステップＳ６０３においては、詳細位置合わせ部３４は、超音波ボリュームが所有する座標において、画像サンプリング点を抽出する。画像サンプリング点の抽出は、画像領域のすべての画素をサンプリング点として抽出してもよいが、位置合わせ処理の速度を向上させるために、画像上にグリッドを置いて、グリッドのノッドにおける画素だけをサンプリング点として用いてもよい。また、ランダムに所定数の座標を選定して、得られた座標における輝度値を、サンプリング点の輝度値として用いてもよい。

ステップＳ６０４においては、詳細位置合わせ部３４は、超音波ボリュームから抽出されたサンプリング点の座標を、ＣＴボリュームにおいて対応する点の座標へ、幾何変換する。

ステップＳ６０５においては、詳細位置合わせ部３４は、超音波ボリュームのサンプリング点における輝度データと、ＣＴボリュームの対応サンプリング点における輝度データを取得する。詳細位置合わせ部３４は、これらのサンプリング点における輝度データに対して、所定の評価関数を適用して、超音波ボリュームとＣＴボリュームとの間の画像類似度を演算する。画像類似度としては、公知の相互情報量を使用することができる。

ステップＳ６０６〜ステップ６０７においては、詳細位置合わせ部３４は、超音波ボリュームとＣＴボリュームの間の画像類似度が最大あるいは極大となるような幾何変換情報を求めて、その幾何変換情報を更新する。最後のステップＳ６０８においては、詳細位置合わせ部３４は、位置合わせの結果を出力する。

また、実施例１または実施例２で位置合わせを行った超音波ボリュームデータと、位置合わせ済みＣＴボリュームデータに対して、若しくは上述した本実施例で剛体位置合わせを行った超音波ボリュームデータと、位置合わせ済みＣＴボリュームデータに対して、さらに非剛体位置合わせを行うことにより、位置合わせ精度を向上させることができる。

画像ベースの非剛体位置合わせでは、超音波ボリュームを参照し、ＣＴボリュームを変形するために、ＣＴボリュームに制御格子が設置され、この制御格子における制御点を移動させることで、ＣＴ画像を変形させる。変形されたＣＴ画像と参照される超音波画像との間で、画像類似度が求められ、求めた画像類似度に基づいた最適化計算が行われ、制御格子における制御点の移動量、すなわち変形量が求められる。この場合、制御格子における制御点間の画素の移動量は、その画素の周囲に配置されている制御点の移動量の補間によって計算される。得られた各画素の移動量を用いて、ＣＴ画像の座標変換が行われ、画像を局所的に変形させる様な位置合わせが実施される。これにより、臓器の変形などを補正し、位置合わせの精度とロバスト性をさらに向上させることができる。ここからは、図１４に示すフローチャート図を用いて、本実施例の詳細位置合わせ部３４が、超音波ボリュームデータとＣＴボリュームデータに対し、画像ベースの非剛体位置合わせを実施する処理を説明する。

ステップＳ７０１においては、詳細位置合わせ部３４は、超音波ボリュームと位置合わせ済みＣＴボリュームを受け付ける。

ステップＳ７０２においては、詳細位置合わせ部３４は、格子状の制御点を位置合わせ済みＣＴボリュームに配置する。

ステップＳ７０３においては、詳細位置合わせ部３４は、ステップＳ６０３と同様な処理を行い、超音波ボリュームの画像サンプリング点を取得する。

ステップＳ７０４においては、詳細位置合わせ部３４は、サンプリング点の座標に対応するところの、ＣＴボリュームにおける画像データの座標を計算する。ここでは、あるサンプリング点の座標に対して、その周囲の制御点の位置に基づいて、例えば、公知のＢ−ｓｐｌｉｎｅ関数を用いて、座標の補間を行って、ＣＴボリュームにおける対応サンプリング点の座標を計算する。次に、詳細位置合わせ部３４は、ＣＴボリュームの各対応サンプリング点（超音波ボリュームの各サンプリング点に対応したサンプリング点）に対し、例えば、線形補間演算により、その対応サンプリング点の輝度値を算出する。これにより、制御点の移動に伴って変化したＣＴボリュームの座標（サンプリング点）と、その座標（サンプリング点）における輝度値が求まる。すなわち、制御点の移動に伴うＣＴボリュームの変形が行われる。

ステップＳ７０５においては、詳細位置合わせ部３４は、超音波ボリュームのサンプリング点における輝度データと、幾何変換後のＣＴボリュームの対応サンプリング点における輝度データ（ステップＳ７０４において生成されたデータ）に対して、所定の評価関数を適用して、超音波ボリュームとＣＴボリュームとの間の画像類似度を演算する。画像類似度としては、剛体位置合わせと同様に、公知の相互情報量を使用することができる。

ステップＳ７０６においては、詳細位置合わせ部３４は、超音波ボリュームとＣＴボリュームの間の画像類似度が最大あるいは極大となる様な各制御点の移動量を求めるため、収束計算を実施する。
ステップＳ７０７においては、ステップＳ７０６において画像類似度が収束していない場合は、詳細位置合わせ部３４は、より高い画像類似度を得るために、制御点移動量を更新する。そして、更新された制御点移動量を用い、ステップＳ７０４〜Ｓ７０６を改めて実施する。

一方、ステップＳ７０６において画像類似度が収束している場合は、詳細位置合わせ部３４は、ステップＳ７０８においては、ＣＴボリュームのすべての画素に対して、求められた制御点移動量に基づいて、前記ステップＳ７０４と同様の補間演算により各画素の座標を算出する。そして、前記求められた座標における輝度を算出し、位置合わせ済ＣＴボリュームを生成し、出力する。以上の処理によって、非剛体位置合わせ処理が完了する。

実施例３で得られた位置合わせ結果を用いて、位置合わせした超音波ボリュームデータとＣＴボリュームデータを用いて、図４のステップ２０８〜ステップ２１１を行って、ＣＴ画像を切り出すことにより、リアルタイムの超音波画像とＣＴ画像とをより高精度に一致させることができる。よって、本実施例の構成によれば、両画像で高精細な対応づけが可能であり、超音波とＣＴの対応特徴部位の位置関係を調整することが可能であり、より精度よく確認できる。

以上詳述した本発明は、リアルタイムで撮像した超音波画像と、他の撮像装置で予め撮像されたボリュームデータから求めた同じ断面の画像と、所定の特徴部位の位置・名称等を同時に表示することのできる超音波撮像装置を提供することができる。

すなわち、本発明によれば、超音波ボリュームデータと、予め他の医用画像撮像装置から撮像した診断用ボリュームデータのそれぞれから、所定の解剖学的な特徴部位の位置推定と名称識別を行い、超音波スキャン面の２次元画像と、それに対応する診断用ボリュームの断面画像の上に表示する超音波撮像装置を提供することができる。また、超音波スキャン面の２次元画像と対応する診断用ボリューム断面画像を算出するために、得られた特徴部位の位置情報を用いて自動かつ正確な位置合わせを行うことが可能な超音波撮像装置を提供することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。上述した通り、本発明は、超音波撮像装置に限定されるものでなく、ネットワークを介して超音波撮像装置と接続された画像処理装置、及びその画像処理方法として実現することができることは言うまでもない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

更に、上述した各構成、機能、処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良い。

１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ 記憶装置
５ バス
６ 位置検出ユニット
７ 超音波探触子
８ 位置センサ
９ 画像入力部
１０ 画像撮像装置
１１ 媒体入力部
１２ 記憶媒体
１３ 入力制御部
１４ 入力装置
１５ 表示制御部
１６ ディスプレイ
１７Ａ、１７Ｂ 名称
１８Ａ、１８Ｂ マーカ
１９ タッチパネル操作ボタン
２０Ａ フットスイッチ
２０Ｂ ＵＳＢケーブル
２１ 超音波ボリュームデータ生成部
２２ ＣＴボリュームデータ受付部
２３ 超音波ボリュームの特徴部位位置推定・識別部
２４ ＣＴボリュームの特徴部位位置推定・識別部
２５ 超音波・ＣＴ対応特徴部位情報
２６ ＣＴボリューム座標変換算出部
２７ リアルタイム２Ｄ-ＣＴ画像算出部
２８ 超音波画像取得部
２９ 超音波探触子位置情報取得部
３０ リアルタイム２Ｄ超音波画像取得部
３１ 画像表示部
３２ 初期位置合わせ済ＣＴボリューム生成部
３３ 特徴部位識別および位置合わせ結果の修正部
３４ 詳細位置合わせ部
５０ 立方体
１００ 超音波撮像装置
１０１ 送受切替部
１０２ 送信部
１０５ 受信部
１０６ 制御部
１０７ 画像生成部
１０８ 画像処理装置
１２０ ユーザ
１２１ ユーザインタフェース（ＵＩ）

Claims (12)

1. 被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、
   前記超音波探触子に取り付けられた位置センサと、
   前記超音波探触子の受信信号から超音波画像を生成するとともに、前記超音波画像と前記位置センサから得た前記超音波探触子の位置情報から第１ボリュームデータを生成する画像生成部と、
   前記第１ボリュームデータと、前記被検体についての第２ボリュームデータを受け取って処理する画像処理装置と、
   前記超音波画像と、位置合わせ後の前記第２ボリュームデータから生成した画像とを表示する画像表示部とを備え、
   前記画像処理装置は、
   前記第１ボリュームデータと前記第２ボリュームデータ各々から前記被検体の特徴部位を推定および識別し、前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとの位置合わせを行い、
   前記画像表示部は、
   前記第１ボリュームデータと前記第２ボリュームデータ各々から推定した特徴部位の名称と位置関係を、前記超音波画像と位置合わせ後の前記第２ボリュームデータから生成した画像各々に表示する、
   ことを特徴とする超音波撮像装置。
2. 請求項１に記載の超音波撮像装置であって、
   前記画像処理装置は、
   前記位置センサから前記超音波探触子の位置情報を受け取って、位置合わせ後の前記第２ボリュームデータから、前記位置センサの検出位置の前記超音波探触子から得られる前記超音波画像と同じ位置の画像を生成する、
   ことを特徴とする超音波撮像装置。
3. 請求項１に記載の超音波撮像装置であって、
   前記画像処理装置は、
   前記第１ボリュームデータと前記第２ボリュームデータ各々から前記被検体の所定の特徴部位を推定および識別する特徴部位推定・識別部と、
   前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせする位置合わせ部とを備える、
   ことを特徴とする超音波撮像装置。
4. 請求項３に記載の超音波撮像装置であって、
   前記画像表示部は、
   前記位置合わせ部で位置合わせした前記第１ボリュームデータと前記第２ボリュームデータとを重畳した画像を表示する、
   ことを特徴とする超音波撮像装置。
5. 被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、
   前記超音波探触子に取り付けられた位置センサと、
   前記超音波探触子の受信信号から超音波画像を生成するとともに、前記超音波画像と前記位置センサから得た前記超音波探触子の位置情報から第１ボリュームデータを生成する画像生成部と、
   前記第１ボリュームデータと、前記被検体についての第２ボリュームデータを受け取って処理する画像処理装置とを備え、
   前記画像処理装置は、
   前記第１ボリュームデータと前記第２ボリュームデータ各々から前記被検体の特徴部位を推定および識別し、前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとの位置合わせを行い、
   前記第１ボリュームデータ以外の、前記超音波探触子で撮像して得られたボリュームデータから前記被検体の所定の特徴部位を推定および識別し、
   前記第２ボリュームデータの特徴部位の位置情報と、対応する前記第１ボリュームデータ以外の前記ボリュームデータの特徴部位の位置情報を用いて、前記第２ボリュームデータの位置合わせの座標変換情報を出力する、
   ことを特徴とする超音波撮像装置。
6. 請求項３に記載の超音波撮像装置であって、
   前記画像処理装置は、
   前記特徴部位推定・識別部において、前記第１ボリュームデータと前記第２ボリュームデータ各々から推定および識別された前記特徴部位を修正する修正部を更に備える、
   ことを特徴とする超音波撮像装置。
7. 請求項３に記載の超音波撮像装置であって、
   前記位置合わせ部は、前記第１ボリュームデータと前記第２ボリュームデータに対し、画像ベースの剛体位置合わせを実施する、
   ことを特徴とする超音波撮像装置。
8. 請求項３に記載の超音波撮像装置であって、
   前記位置合わせ部は、前記第１ボリュームデータと前記第２ボリュームデータに対し、画像ベースの非剛体位置合わせを実施する、
   ことを特徴とする超音波撮像装置。
9. 画像処理装置であって、
   被検体についての超音波画像の第１ボリュームデータと、前記被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から前記被検体の特徴部位を推定および識別する特徴部位推定・識別部と、
   前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせする位置合わせ部と、
   前記超音波画像と、位置合わせ後の前記第２ボリュームデータから生成した画像とを表示部に表示するよう制御する表示制御部とを備え、
   前記表示制御部は、
   前記第１ボリュームデータと前記第２ボリュームデータ各々から推定した特徴部位の名称と位置関係を、前記超音波画像と位置合わせ後の前記第２ボリュームデータから生成した画像各々に表示するよう制御する、
   ことを特徴とする画像処理装置。
10. 画像処理装置であって、
    被検体についての超音波画像の第１ボリュームデータと、前記被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から前記被検体の特徴部位を推定および識別する特徴部位推定・識別部と、
    前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせする位置合わせ部と、
    前記第１ボリュームデータ以外の、超音波探触子で撮像して得られたボリュームデータから前記被検体の所定の特徴部位を推定および識別し、前記第２ボリュームデータの特徴部位の位置情報と、対応する前記第１ボリュームデータ以外の前記ボリュームデータの特徴部位の位置情報を用いて、前記第２ボリュームデータの位置合わせの座標変換情報を出力する修正部とを備える、
    ことを特徴とする画像処理装置。
11. 画像処理装置における画像処理方法であって、
    前記画像処理装置は、
    被検体についての超音波画像の第１ボリュームデータと、前記被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から前記被検体の特徴部位を推定および識別し、
    前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせを行い、
    前記超音波画像と、位置合わせ後の前記第２ボリュームデータから生成した画像とを表示するよう制御し、
    前記第１ボリュームデータと前記第２ボリュームデータ各々から推定した特徴部位の名称と位置関係を、前記超音波画像と位置合わせ後の前記第２ボリュームデータから生成した画像各々に表示するよう制御する、
    ことを特徴とする画像処理方法。
12. 画像処理装置における画像処理方法であって、
    前記画像処理装置は、
    被検体についての超音波画像の第１ボリュームデータと、前記被検体についての超音波画像とは異なる画像の第２ボリュームデータ各々から前記被検体の特徴部位を推定および識別し、
    前記特徴部位の位置情報を用いて、前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせを行い、
    前記第１ボリュームデータ以外の、超音波探触子で撮像して得られたボリュームデータから前記被検体の所定の特徴部位を推定および識別し、
    前記第２ボリュームデータの特徴部位の位置情報と、対応する前記第１ボリュームデータ以外の前記ボリュームデータの特徴部位の位置情報を用いて、前記第２ボリュームデータの位置合わせの座標変換情報を出力する、
    ことを特徴とする画像処理方法。

Images