JPWO2016136065A1

JPWO2016136065A1 - 超音波撮像装置、および、画像処理装置

Info

Publication number: JPWO2016136065A1
Application number: JP2017501852A
Authority: JP
Inventors: 子盛黎; 栗原　恒弥; 恒弥栗原; 秋山　靖浩; 靖浩秋山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2015-02-26
Filing date: 2015-11-27
Publication date: 2017-11-09
Anticipated expiration: 2035-11-27
Also published as: US20180028157A1; CN107106144B; CN107106144A; EP3263040A4; EP3263040A1; US11109843B2; WO2016136065A1; JP6383483B2

Abstract

超音波画像と、予め撮像したボリュームデータとの位置合わせを、ユーザに煩雑な操作を要求することなく、正確に行う。超音波画像の第１ボリュームデータと、別の画像撮像装置が得た第２ボリュームデータを受け取って位置合わせする。被検体の複数の撮像部位のうち所定の撮像部位の選択をユーザから受け付ける。受け付け部が受け付けた撮像部位に応じた回転角度だけ、第２ボリュームデータを初期回転させ、初期回転後の第２ボリュームデータと第１ボリュームデータとをさらに位置合わせする。

Description

本発明は、超音波撮像装置に係り、特に、リアルタイムで撮像した超音波画像と、他の撮像装置で予め撮像されたボリュームデータから求めた同じ断面の画像とを同時に表示することのできる超音波撮像装置に関する。

超音波撮像装置は、超音波を被検体に照射し、その反射信号により被検体内部の構造を画像化するため、無侵襲かつリアルタイムに患者を観察することが可能である。

一方、Ｘ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置あるいはＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）装置などの他の医用画像撮像装置は、広範囲かつ高分解能で撮像することができるため、細かな病変や臓器の位置関係の把握が容易に行える。例えば肝臓癌などの腫瘍を、早期の段階でＭＲＩ画像やＸ線ＣＴ画像から見つけ出すことができる。

特許文献１には、超音波探触子に位置センサを取り付け、任意の断面の超音波画像を得るとともに、他の医用画像撮像装置で予め撮像しておいた同じ被検体のボリュームデータから対応する断面の２次元画像を構築して、両画像を並べて表示する画像診断システムが開示されている。この技術では、他の医用画像撮像装置で予め撮像しておいたボリュームデータから、現在の超音波探触子の位置の２次元画像をリアルタイムで構築する。そのため、超音波画像の位置と、ボリュームデータ内の対応する位置とを対応付ける処理を予め行う必要がある。特許文献１には、位置の対応づけの手順が開示されている。まず、医師などのユーザが超音波探触子を被検体上で手動で動かして、位置合わせ画像として適当な疾患部等を含む超音波画像が得られる位置を探索する。そして、探索した超音波画像上で、ユーザが、疾患部の位置と、疾患部とは別の特徴構造の位置とを選定する。さらにユーザは、他の医用画像撮像装置のボリュームデータの画像上で、マウス等を手動で操作することにより、超音波画像上の疾患部の位置に対応する位置と、特徴構造の位置とを指定する。画像診断システムは、ユーザによって選定された超音波画像上の２つの位置と、他の医用画像撮像装置の画像上で指定された２つの位置とを対応付けるようにボリュームデータを位置合わせする。

特開２００８−１８８４１７号公報

しかしながら、特許文献１の技術では、超音波画像と他の医用画像撮像装置のボリュームデータとの位置合わせを行うため、医師などのユーザが、手動で超音波探触子を移動させ、位置合わせ画像として適当な超音波画像の位置を探索し、超音波画像上で複数の位置を手動で選定し、さらにボリュームデータの画像上で対応する複数の位置を指定するという、煩雑な複数の手動操作を行う必要がある。これらの煩雑な位置合わせの手動操作には、医師であるユーザの負担が大きいだけでなく、超音波探触子を当てられて、位置合わせの手動操作の間寝台上で待機している被検体への負担も大きい。また、位置合わせの基準となる位置は、一つの超音波画像上の２点であるため、高精度な３次元位置合わせは困難である。

また、特許文献１で記載されている技術は、経皮的ラジオ波焼灼療法（ＲＦＡ：Ｒａｄｉｏ−ＦｒｅｑｕｅｎｃｙＡｂｌａｔｉｏｎ）などの被検体を開腹しない治療・手術を前提としているが、近年では、被検体の手術中に開腹した状態で臓器に超音波探触子を直接当てて、腫瘍等の手術すべき領域を、超音波画像と、それに対応する高解像度のＭＲＩ画像やＣＴ画像とで確認することが望まれている。そのため手術中の医師等のユーザの手が、ボリュームデータの位置合わせのために、入力装置のスイッチやマウス等に触ることはできるだけ避けたい。また、開腹状態の被検体の負担を軽減するために、できるだけ短時間にボリュームデータの位置合わせを行うことが望ましい。一方、腫瘍等の位置を超音波画像上で正確に確認するためには、高解像度のボリュームデータと超音波画像との正確な位置合わせが望まれる。

本発明の目的は、超音波画像と、予め撮像したボリュームデータとの位置合わせを、ユーザに煩雑な操作を要求することなく、正確に行うことができる超音波撮像装置を提供することにある。

本発明の超音波撮像装置は、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子に取り付けられた位置センサと、超音波探触子の受信信号から超音波画像を生成するとともに、超音波画像と位置センサから得た超音波探触子の位置情報から第１ボリュームデータを生成する画像生成部と、外部の別の画像撮像装置が被検体について得た第２ボリュームデータを受け取って処理する画像処理装置とを有する。画像処理装置は、第１ボリュームデータと第２ボリュームデータとを位置合わせする位置合わせ部を備える。位置合わせ部は、被検体の複数の撮像部位のうち所定の撮像部位の選択をユーザから受け付ける受け付け部と、回転処理部とを含む。回転処理部は、受け付け部が受け付けた撮像部位に応じた回転角度だけ、第２ボリュームデータを初期回転させ、初期回転後の第２ボリュームデータと第１ボリュームデータとをさらに位置合わせする。

本発明によれば、超音波ボリュームデータと、他の画像撮像装置のボリュームデータとの位置合わせを、自動かつ正確に提供することができる。

実施形態１の超音波撮像装置の全体構成を示すブロック図。実施形態１の超音波撮像装置のハードウェア構成を示すブロック図。実施形態１の超音波撮像装置の画像処理装置１０８の機能ブロック図。実施形態１において、撮像部位（臓器の区域）をユーザから受け付けるための画面例を示す説明図。実施形態１の臓器の区域と、ＣＴ画像の回転角との関係を示す表。実施形態１の超音波撮像装置の位置合わせ処理を示すフローチャート。実施形態１の（Ａ）第１特徴データ（超音波血管データ）、（Ｂ）第２特徴データ（ＣＴ血管データ）、（Ｃ）初期回転後の第２特徴データ（ＣＴ血管データ）、の画像例をそれぞれ示す説明図。実施形態１において位置合わせ後の第１特徴データと第２特徴データを重ねて表示する画像例を示す説明図。実施形態１において、（Ａ）超音波ボリュームデータから抽出した第１特徴面、（Ｂ）ＣＴボリュームデータから抽出した第２特徴面、の画像の例を示す説明図。実施形態１の超音波画像に対応するＣＴ画像の算出処理を示すフローチャート図。実施形態２の超音波撮像装置の位置合わせ処理を示すフローチャート。実施形態３の画像ベース剛体位置合わせ処理部３００の機能ブロック図。実施形態３の画像ベース剛体位置合わせ処理のフローチャート。実施形態４の画像ベース非剛体位置合わせ処理部４００の機能ブロック図。実施形態４の画像ベース非剛体位置合わせ処理のフローチャート。

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜原理と概要＞
超音波画像とボリュームデータとの位置合わせ操作が煩雑になる要因は、超音波撮像装置の撮像方向や視野が、ＭＲＩやＸ線ＣＴ装置等の他の医用画像撮像装置とは大きく異なることにあると発明者ら考えた。撮像方向や視野が大きく異なる画像の位置合わせには、一般的な自動位置合わせ手法を適用することが困難である。そこで本発明は、超音波画像と、他の医用画像装置の画像を、撮像領域に応じて、撮像方向を一致させるように初期回転処理し、自動位置合わせ手法の適用ができるようにする。

超音波撮像装置は、超音波探触子を被検体の体表もしくは開腹された臓器の表面に沿わせて移動させながら、超音波探触子から被検体に超音波をスキャンするように送信して、反射波を受信して画像を取得する。そのため、被検体の体表もしくは臓器の表面が湾曲している場合には、その湾曲した表面に沿って超音波探触子が傾斜し、超音波探触子が傾斜した角度で送受信した面の超音波画像が取得される。また、医師であるユーザが臓器内の構造に対応した所望の角度で超音波画像を見たい場合には、ユーザが超音波探触子を所望の角度で傾斜させることもある。さらに、臓器の長手方向が体軸に対して斜めに位置する等の場合には、ユーザは、超音波探触子を体軸に対して斜めに移動させながら順次画像を取得することもある。そのため、超音波画像の面（スキャン面）は、被検体の体軸方向に垂直ではなく、体表や臓器表面の湾曲の度合いと、ユーザが超音波探触子を表面に当てる向きとによって、体軸から傾斜する。これに対し、Ｘ線ＣＴ装置やＭＲＩ装置は、被検体の体軸方向に垂直な断面画像が撮像され、これを複数連続させてボリュームデータが取得される。

そのため、両画像を自動位置合わせ手法で位置合わせするには、超音波画像の体軸からの傾斜に応じて、Ｘ線ＣＴ装置やＭＲＩ装置で得たボリュームデータを回転移動させる必要がある。一般的な、自動位置合わせ手法は、二つの画像に含まれる特徴的な形状を自動抽出し、その特徴的な形状が一致するようにパターンマッチング等を行って移動量を算出する方法である。超音波画像の体軸からの傾斜角は、小さい角度ではなく、かつ、臓器やユーザが見たい角度によっても異なる。超音波画像と、Ｘ線ＣＴ装置やＭＲＩ装置で得たボリュームデータとは、解像度が大きく異なるため、同じ特徴的な形状であっても、抽出された形状が異なる。しかも、抽出された形状は３次元形状である。このような理由により、自動位置合わせ手法は困難であり、自動位置合わせ処理を行おうとすると、膨大な計算量となる。そのため、時間もかかるため、開腹された被検体とユーザを待たせることになり、従来は実現することが難しかった。

本発明では、臓器によってその表面形状は、多少の個人差はあれど、ほぼ決まっており、ユーザが見たい超音波画像の向きも、撮像部位（臓器の部位）ごとにほぼ決まっていることに着目し、以下のような構成とする。すなわち、まず、他の医用画像撮像装置で撮影したボリュームデータを臓器の部位に応じた回転量で初期回転させる。その後、自動位置合わせの手法により、超音波画像と、他の医用画像撮像装置で撮影したボリュームデータとを自動位置合わせ手法で位置合わせする。これにより、短時間で精度よく自動位置合わせを行うことを可能にする。初期回転の回転量は、実施形態１のように、撮像部位（臓器の部位）ごとに予め定めておいた値を用いてもよいし、実施形態２のように、撮像の部位ごとに計算で求めてもよい。

（実施形態１）
本発明の超音波撮像装置の構成は、例えば、図１のように、超音波探触子７と、位置センサ８と、画像生成部１０７と、画像処理装置１０８とを備える。超音波探触子７は、被検体１２０に超音波を送信し、被検体１２０からの超音波を受信する。位置センサ８は、超音波探触子７に取り付けられている。画像生成部１０７は、超音波探触子７の受信信号から超音波画像を生成するとともに、超音波画像と位置センサ８から得た超音波探触子７の位置情報から第１ボリュームデータを生成する。画像処理装置１０８は、外部の別の画像撮像装置が被検体１２０について得た第２ボリュームデータを受け取って処理する。そのため画像処理装置１０８は、第１ボリュームデータと第２のボリュームデータとを位置合わせする。画像処理装置１０８は、被検体の複数の撮像部位のうち所定の撮像部位の選択をユーザから受け付け、受け付けた撮像部位に対応する回転角度を、予め定めておいた複数の撮像部位と回転角度との関係から求め、求めた回転角度だけ第２ボリュームデータを初期回転させる。そして、初期回転後の第２ボリュームデータと第１ボリュームデータとをさらに位置合わせすることにより、短時間で精度よく自動位置合わせを行うことができる。

＜構成及び動作＞
以下、実施形態１の超音波撮像装置の具体的な構成についてさらに説明する。本実施形態の超音波撮像装置は、図１のように、上述したように超音波探触子７と、位置センサ８と、画像生成部１０７と、画像処理装置１０８とを備え、さらに、送信部１０２、送受切替部１０１、受信部１０５、位置検出ユニット６、ユーザインタフェース１２１、および、制御部１０６とを備えて構成される。送信部１０２は、制御部１０６の制御下で、送信信号を生成し、超音波探触子７を構成する複数の超音波素子ごとに受け渡す。これにより、超音波探触子７の複数の超音波素子は、それぞれ超音波を被検体１２０に向かって送信する。被検体１２０で反射等された超音波は、再び超音波探触子７の複数の超音波素子に到達して受信され、電気信号に変換される。超音波素子が受信した信号は、受信部１０５によって、受信焦点の位置に応じた所定の遅延量で遅延させた後加算される（整相加算）。これにより、これを複数の受信焦点ごとについて繰り返す。整相加算後の信号は、画像生成部１０７に受け渡される。送受切り替え部１０１は、送信部１０２または受信部１０５を選択的に超音波探触子７に接続する。

位置検出ユニット６は、位置センサ８の出力から、超音波探触子７の位置を検出する。例えば、位置検出ユニット６として、磁気センサユニットを用いることができる。位置検出ユニット６は、磁場空間を形成し、位置センサ８が磁場を検出することにより、基準点となる位置からの座標を検出することができる。

画像生成部１０７は、受信部１０５から受け取った整相加算信号を受信焦点に対応する位置に並べる等の処理を行い、超音波画像を生成する。さらに、超音波探触子７のその時の位置情報を位置検出ユニット６から画像生成部１０７は受け取って、超音波画像に位置情報を付与する。これにより、ユーザが超音波探触子７を所定の範囲で移動させ、画像生成部１０７がその時の超音波探触子７の位置情報を付与した超音波画像を生成することにより、３次元超音波画像のボリュームデータ（以下、超音波ボリュームデータまたは第１ボリュームデータとも呼ぶ）を生成することができる。

画像処理装置１０８は、他の画像撮像装置が被検体１２０について得たボリュームデータ（第２ボリュームデータ）をユーザインタフェース１２１を介して受け取って、第１ボリュームデータと第２ボリュームデータとを位置合わせ等する。以下の説明において、超音波ＭＲＩ装置やＸ線ＣＴ装置や他の超音波診断装置等の他の画像撮像装置を、医用モダリティと呼ぶ。本実施形態では、一例として、医用モダリティとして、Ｘ線ＣＴ装置を用い、Ｘ線ＣＴ装置のボリュームデータを、ＣＴボリュームデータ（第２ボリュームデータ）と呼ぶ。

以下、画像処理装置１０８とユーザインタフェース１２１の構成と動作について詳しく説明する。

図２は、画像処理装置１０８とユーザインタフェース１２１のハードウェア構成を示すブロック図である。図２に示すハードウェア構成は、後述する他の実施形態においても、共通に用いられる。

画像処理装置は、ＣＰＵ（プロセッサ）１、ＲＯＭ（不揮発性メモリ：読出専用の記憶媒体）２、ＲＡＭ（揮発性メモリ：データの読み書きが可能な記憶媒体）３、記憶装置４および表示制御部１５を備えて構成される。ユーザインタフェース１２１は、画像入力部９、媒体入力部１１、入力制御部１３および入力装置１４を備えて構成される。これらと、超音波画像生成部６、および、位置検出ユニット６は、データバス５によって相互に接続されている。また、表示制御部１５には、ディスプレイ１６が接続されている。

ＲＯＭ２およびＲＡＭ３の少なくとも一方には、ＣＯＵ１の演算処理で画像処理装置１０８の動作を実現するために必要とされるプログラムとデータが予め格納されている。ＣＰＵ１が、このＲＯＭ２およびＲＡＭ３の少なくとも一方に予め格納されたプログラムを実行することによって、画像処理装置１０８の各種処理が実現される。なお、ＣＰＵ１が実行するプログラムは、記憶媒体（例えば、光ディスク）１２に格納しておき、媒体入力部１１（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ３に格納する様にしてもよい。また、記憶装置４に当該プログラムを格納しておき、記憶装置４からそのプログラムをＲＡＭ３にロードしてもよい。また、ＲＯＭ２にあらかじめ当該プログラムを記憶させておいてもよい。

画像入力部９は、Ｘ線ＣＴ装置（医用モダリティ）１０が撮影したＣＴボリュームデータ（第２ボリュームデータ）を、取り込むためのインターフェースである。記憶装置４は、画像入力部９を介して入力された第２ボリュームデータ等を格納する磁気記憶装置である。記憶装置４は、不揮発性半導体記憶媒体（例えば、フラッシュメモリ）を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

入力装置１４は、ユーザの操作を受け付ける装置であり、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを含む。入力制御部１３は、ユーザによって入力された操作入力を受け付けるインターフェースである。入力制御部１３が受けた操作入力は、ＣＰＵ１によって処理される。

表示制御部１５は、例えば、ＣＰＵ１の処理で得られた画像データをディスプレイ１６に表示させる制御を行う。ディスプレイ１６は、表示制御部１５の制御下で画像を表示する。

図３は、画像処理装置１０８の機能を示す機能ブロック図である。図３のように、画像処理装置１０８は、超音波ボリュームデータ（第１のボリュームデータ）の取得部２１と、超音波ボリュームデータの特徴データ抽出部２３と、ＣＴボリュームデータの受け付け部２２と、ＣＴボリュームデータの特徴データ抽出部２４とを含む。また、画像処理装置１０８は、位置合わせ部として、ＣＴ特徴データの初期回転部２５と、特徴データ位置合わせ部２６とを含む。さらに、画像表示部２７と、位置合わせ結果の確認・初期回転やり直し部２８と、ＣＴ画像の算出部３１とを含む。

さらに、画像処理装置１０８は、撮像部位の受け付け部２９と、複数の撮像部位と回転角度との関係を示すテーブル３０を備えている。受け付け部２９は、図４に示すように、入力装置１４からユーザが選択した臓器（肝臓）の区域Ｓ１〜Ｓ８を受け付けるため画面をディスプレイ１６に表示させ、ユーザによる区域Ｓ１〜Ｓ８の選択を入力装置１４を介して受け付ける機能ブロックである。区域Ｓ１〜Ｓ８は、解剖学的に知られた区域の分け方によって設定され、それぞれの表面形状や内部構造も解剖学的に知られている。よって、ユーザが区域ごとに超音波探触子７を当てる角度は、区域の表面形状と内部構造によってほぼ決まっているため、取得される超音波画像と被検体の体軸に対する回転角度が予め計算によって求められ、図５のように、区域ごとに対応づけたテーブル３０が作成されている。テーブル３０は、ＲＯＭ２，ＲＡＭ３または記憶装置４に予め格納される。なお、図５に示すテーブルには、平行移動の距離も区域ごとに示されているが、これは、傾斜した超音波画像にＣＴ画像を回転によって一致させる際に、回転のみならず平行移動も必要である場合の平行移動距離である。なお、平行移動の位置合わせは、特徴データ位置合わせ部２６の処理によって、公知の位置合わせ手法で位置合わせ可能であるため、テーブル３０としては、必ずしも平行移動距離を含まなくてもよい。また、被検体の性別や年齢、被検体を開腹しているか否かによって、回転角度は異なると考えられるため、異なる複数種類のテーブル３０を用意しておき、それらの一つを選択して用いことも可能である。

つぎに、図６に示すフローチャートを用いて、画像処理装置１０８の処理を説明する。

まず、ステップＳ２０１において、ＣＴボリュームデータ受付部２２は、画像入力部９を介して、画像撮像装置（Ｘ線ＣＴ装置）１０からＣＴボリュームデータを受け付ける。

ステップＳ２０２において、撮像部位受け付け部２９は、図４のような臓器の区域の指定を受け付けるための画像をディスプレイ１６に表示し、ユーザから臓器の区域（Ｓ１〜Ｓ８）の指定を、画面上のタッチパネルへのタッチやフットスイッチ等の入力装置１４の操作により受け付ける。

ステップＳ２０３において、超音波ボリュームデータ取得部２１は、ユーザにその臓器の区域に対して、超音波探触子７を当てて移動（スキャン）させるように促す表示をディスプレイ１６に表示する。ユーザが、超音波探触子７をその臓器の区域で移動させならば、送信部１０２、受信部１０５および画像生成部１０７により、３次元の超音波ボリュームデータが生成される。超音波ボリュームデータ取得部２１は、画像生成部１０７が生成した超音波ボリュームデータを受け付ける。例えば、ユーザが肝臓区域Ｓ５に超音波探触子に当ててスキャンした場合、肝臓において特徴的な部位である門脈が、超音波ボリュームデータに含まれる。

ステップＳ２０４において、特徴データ抽出部２３，２４は、それぞれ超音波ボリュームデータとＣＴボリュームデータにそれぞれ含まれる特徴部位、例えば、血管、の点群データを抽出する。抽出された血管データは、セグメンテーションされた血管領域の中のボクセルの３次元座標データである。図７（Ａ）に、超音波ボリュームデータから抽出された血管データを、図７（Ｂ）にＣＴボリュームデータから抽出された血管データをそれぞれ示す。図７（Ａ），（Ｂ）は、対応する臓器区域の血管データを示しているが、超音波ボリュームデータと、ＣＴ装置ボリュームデータは、解像度が大きく異なり、しかも、撮像方向と視野も大きく異なるため、両者の血管データの形状も大きく異なっている。

ステップＳ２０５において、ＣＴ特徴データ初期回転部２５は、ステップＳ２０４で抽出したＣＴ血管データを、ステップＳ２０２で指定された臓器区域に応じて回転させる。すなわち、ＣＴ特徴データ初期回転部２５は、図５に示す臓器区域と回転角度のテーブル３０を参照し、ステップＳ２０２で指定された臓器区域に対応する回転角度を読み出し、読み出した回転角度だけ、ＣＴ血管データを回転させる（初期回転）。また、テーブル３０に平行移動距離が含まれている場合には、臓器区域に対応する平行移動距離を読み出し、ＣＴ血管データをその距離だけ平行移動させる。これにより、ＣＴ血管データは、臓器区域に応じた超音波画像の傾斜に相当する角度に回転するように、幾何変換されるため、超音波血管データとＣＴ血管データは、初期位置が大まかに一致するようになる。図７（Ｃ）は、回転後のＣＴ血管データを示している。図７（Ｃ）より、回転後のＣＴボリュームデータ血管データは、その向きが超音波血管データの向きとほぼ一致しており、両者を重ね合わせることが可能な形状になっている。

次に、ステップＳ２０６においては、特徴データ位置合わせ部２６は、超音波血管データと、回転後のＣＴ血管データの点群同士の位置合わせを行う。ここで、ステップＳ２０５において、血管データ同士の初期位置は、既に大まかに一致しているため、公知の自動位置合わせ手法により、両者を位置合わせすることが可能である。公知の自動位置合わせ手法としては、公知のＩＣＰ（Iterative Closest Point）法を用いることができる。ＩＣＰ法では、ＣＴ血管データの点群を幾何変換（平行移動と回転）させて、超音波血管データの点群との対応点間の距離を求めて、その距離が最小となるように反復的に計算を行う。これにより、両者を位置合わせすることができる。

ステップＳ２０７においては、画像表示部２７が位置合わせ後のＣＴ血管データと超音波血管データの一方の色を変えて、透過的に重畳した画像を生成し、ディスプレイ１６に表示させる。例えば、図８のように、位置合わせ後のＣＴ血管データと超音波血管データが重なり合うことが確認できる画像が表示される。また、画像表示部２７は、位置合わせの結果をＣＴボリュームデータに適用し、超音波ボリュームデータと重ねて表示することもできる。さらに、画像表示部２７は、位置合わせ済のＣＴ血管データを位置合わせ済のＣＴボリュームデータの上に色を変えて透過的に重ね、超音波血管データを超音波ボリュームデータの上に色を変えて透過的に重ねた画像を生成して表示することも可能である。

図８の画像を表示した状態で、位置合わせ結果確認・初期回転やり直し部２８は、ユーザが位置合わせが成功と判断するかどうかを尋ねる表示をディスプレイ１６に表示し、入力装置１４を介して、ユーザの判断を受け付ける。ユーザが、位置合わせが成功であると入力装置１４を介して入力した場合には、位置合わせ処理は、終了である。ステップＳ２１０において、位置合わせ結果確認・初期回転やり直し部２８は、ステップＳ２０５，２０６でＣＴ血管データに施された回転移動および平行移動を、ＣＴボリュームデータ全体に施し、位置合わせ済みのＣＴボリュームデータを生成する。

一方、ユーザが、位置合わせが不成功であると判断した場合には、位置合わせ結果確認・初期回転やり直し部２８は、ステップＳ２０８、２０９に進んで、初期回転のやり直しを別の手法で行う。すなわち、ステップＳ２０８、２０９では、テーブル３０の回転角度を用いず、計算によりＣＴボリュームデータを初期回転させる回転角度を求める。

まず、ステップＳ２０８においては、超音波ボリュームデータと、ステップＳ２０５の初期回転を施していないＣＴボリュームデータから、臓器区域ごとに予め定められた特徴部を含む断面をそれぞれ抽出する。例えば、図９のように肝臓の下大静脈を含む特徴断面の画像を超音波ボリュームデータとＣＴボリュームデータからそれぞれ抽出して生成する。図９（Ａ）は、超音波ボリュームデータから抽出した下大静脈の断面画像の例を示している。図９（Ｂ）は、ＣＴボリュームデータから抽出した下大静脈の断面画像の例を示している。特徴断面の探索および抽出の方法としては、例えば、公知の機械学習の方法であるＡｄａｂｏｏｓｔ法を用いることができる。

そして、ステップＳ２０９においては、抽出された２つの特徴断面画像を一致させるように、それぞれの位置情報を用いて、ＣＴ血管データを回転させるべき回転角度を算出する。算出した回転角度で、ＣＴ血管データを回転させる（初期回転）。

ステップＳ２０６に戻って、超音波血管データと、回転後のＣＴ血管データの点群同士の位置合わせを行う。ステップＳ２０７で、位置合わせが成功であると判断されるまで、ステップＳ２０６、２０７、２０８，２０９を繰り返し実行する。位置合わせが成功であるとユーザに判断されたならば、ステップＳ２１０に進み、ステップＳ２０９，２０６でＣＴ血管データに施された回転移動および平行移動を、ＣＴボリュームデータ全体に施し、位置合わせ済みのＣＴボリュームデータを生成する。

以上により、超音波ボリュームデータに一致するように位置合わせがされたＣＴボリュームデータが生成される。

つぎに、ＣＴ画像算出部３１は、図１０のフローを実行することにより、超音波探触子７の現在の位置から生成される超音波画像に対応する断面のＣＴ画像を生成し、超音波画像と並べて表示する。

図１０のステップＳ５０１において、ＣＴ画像算出部３１は、図６のステップＳ２１０で生成された位置合わせ済みＣＴボリュームデータを受け取る。

ステップＳ５０２において、超音波ボリュームデータを取得時の超音波探触子７の位置情報を画像生成部１０７から受け取る。次に、ユーザが対象臓器の所望の位置に超音波探触子７を当てたならば、画像生成部１０７に超音波画像を生成させる（ステップＳ５０３）。同時に、超音波探触子７の位置情報を位置検出ユニット６から取得する（ステップＳ５０４）。

ＣＴ画像算出部は、ステップＳ５０２で取得した超音波ボリュームデータ取得時の超音波探触子７の位置情報と、ステップＳ５０４で取得した現在の超音波探触子７の位置情報との位置関係を算出し、算出した位置関係から、ステップＳ５０１で受け取った位置合わせ済ＣＴボリュームデータから、ステップＳ５０３で生成される超音波画像に対応する断面のＣＴ画像を切り出す（算出する）（ステップＳ５０５）。ステップＳ５０３の超音波画像と、ステップＳ５０５のＣＴ画像を並べて表示することにより、超音波探触子７の超音波画像と、同じ位置のＣＴ断面画像をリアルタイムに生成・表示することができる。

以上のように、本実施形態では、超音波ボリュームデータに一致するように位置合わせされたＣＴボリュームデータを生成することができる。この位置合わせは、ユーザに煩雑な位置合わせ処理を要求することなく、自動でかつ短時間に行うことができるため、ユーザ及び被検体の負担が小さい。また、超音波ボリュームデータとＣＴボリュームデータという３次元データ同士を位置合わせするため、位置合わせ精度が高い。よって、視野の狭いかつノイズの多い超音波画像に、高解像度のＣＴ画像等を高精度に一致させてリアルタイムで表示することが可能になり、小さな腫瘍等もユーザが超音波画像から認識可能になる。

また、本実施形態では、超音波ボリュームデータとＣＴボリュームデータの位置合わせ処理を、特徴部(血管）データを抽出して行うため、ボリュームデータよりもデータ量の少ない血管データで位置合わせすることができ、演算量を低減できる。よって、高速に位置合わせを行うことが可能である。

なお、実施形態１では、画像処理装置１０８を超音波撮像装置１００の内部に備える構成であったが、図１、図２に示す画像処理装置１０８を、超音波撮像装置１００とは別の装置とすることも可能である。画像処理装置１０８と超音波撮像装置１００とは、信号線やネットワークを介して接続する。例えば、画像処理装置１０８を一般的な計算機、あるいは、Ｗｏｒｋｓｔａｔｉｏｎなどの画像処理装置に実装し、ネットワークを介して超音波撮像装置１００と接続する。画像処理装置１０８は、位置合わせするべき超音波ボリュームデータとＣＴボリュームデータは、ネットワークを介して、クライアント端末から受け取り、位置合わせ処理を行う。位置合わせ後のＣＴボリュームデータは、クライアント端末である超音波撮像装置に送信する構成にする。これにより、比較的大きな演算量が必要な画像処理装置１０８を、超音波撮像装置１００に搭載する必要がない。超音波撮像装置１００は、ネットワークを介して接続された画像処理装置１０８の演算能力を用いて位置合わせ処理を行うことができる。よって、小型で簡素な超音波撮像装置１００でありながら、超音波画像と、同じ断面のＣＴ画像とをリアルタイムに表示可能な装置を提供できる。

（実施形態２）
実施形態１では、臓器の区域に応じた予め求めておいた回転角によって、ＣＴボリュームデータを初期回転させたが、本発明は、この構成に限られるものではなく、初期回転させる角度を計算により求めることも可能である。これを実施形態２として説明する。なお、実施形態２において、実施形態１と同じ構成及び処理については、同じ符号を付して説明を省略する。

実施形態２の超音波撮像装置は、図２の撮像部位ごと回転角度を対応づけるテーブル３０は備えていない。図１１のフローに示したように、画像処理装置１０８は、ステップＳ２０１〜２０４において、実施形態１と同様に行って、超音波血管データと、ＣＴ血管データを抽出する。そして、ＣＴ血管データを初期回転させる角度を、実施形態１のステップＳ２０８，２０９を行って計算により求め、求めた回転角度だけＣＴ血管データを回転させる。

具体的には、ステップＳ２０４の後に、ステップＳ２０８に進み、超音波ボリュームデータと、初期回転を施していないＣＴボリュームデータから、ステップＳ２０２で指定された臓器区域に含まれる予め定めた特徴部を含む断面をそれぞれ抽出する。例えば、図９（Ａ），（Ｂ）のように肝臓の下大静脈を含む特徴断面の画像を、超音波ボリュームデータとＣＴボリュームデータからそれぞれ抽出する。特徴断面の探索および抽出の方法としては、例えば、公知の機械学習の方法であるＡｄａｂｏｏｓｔ法を用いることができる。

そして、ステップＳ２０９においては、抽出された２つの特徴断面の画像を一致させるように、それぞれの位置情報を用いて、ＣＴ血管データを回転させるべき回転角度を算出する。算出した回転角度で、ＣＴ血管データを回転させる（初期回転）。

初期回転後のＣＴ血管データを超音波血管データと一致させるように位置合わせを行う（ステップＳ２０６）。その後、ステップＳ２１０において、ステップＳ２０９，２０６でＣＴ血管データに施された回転移動および平行移動を、ＣＴボリュームデータ全体に施し、位置合わせ済みのＣＴボリュームデータを生成する。

実施形態２の構成によれば、初期回転角を計算により求めることができるため、実際の超音波ボリュームデータおよびＣＴボリュームデータに対応した初期回転角で、初期回転させることができるというメリットがある。また、初期回転後には、自動位置合わせを行うため、実施形態１と同様の効果が得られる。

（実施形態３）
実施形態３について説明する。

＜概要＞
実施形態３は、実施形態１または実施形態２で位置合わせを行った超音波ボリュームデータと、位置合わせ済みＣＴボリュームデータに対して、さらに剛体位置合わせを行うことにより、位置合わせ精度を向上させる。

＜構成及び動作＞
実施形態３の超音波撮像装置は、画像処理装置１０８内に、図３に示した機能ブロックに加えて、さらに、図１２の画像ベース剛体位置合わせ部３００を備える。画像ベース剛体位置合わせ部３００は、実施形態１の図６のステップＳ２１０もしくは実施形態２の図６のステップＳ２１０において生成した、位置合わせ済みのＣＴボリュームデータを浮動画像３２とし、超音波ボリュームデータを参照画像３１として、互いに位置合わせするデバイスである。

画像ベース剛体位置合わせ部３００は、特徴領域サンプリング部３４と、位置合わせ部３７とを備える。

図１３は、剛体位置合わせ部３００の全体動作を説明するフローチャートである。以下、図１３の各ステップについて説明する。

参照画像３１である超音波ボリュームデータと、浮動画像である実施形態１または２のステップＳ２１０の位置合わせ済みＣＴボリュームデータは、剛体位置合わせ部３００に入力される（Ｓ３０１）。また、特徴領域サンプリング部３５は、実施形態１、２のステップＳ２０４で抽出した超音波ボリュームデータの特徴データ（超音波血管データ）３３を受け取る（Ｓ３０２）。特徴領域サンプリング部３５は、参照画像３１と参照画像３１の特徴データが所有する座標において、画像サンプリング点を抽出し、位置合わせ部３７に出力する（Ｓ３０３）。これらの画像サンプルリング点は、位置合わせ部３７において参照画像３１と浮動画像３２の画像類似度を計算するために用いられる。

画像サンプリング点の抽出は、位置合わせ処理の対象となる参照画像３１と参照画像３１の特徴データの画像領域のすべての画素をサンプリング点として抽出してもよいが、位置合わせ処理の速度を向上させるために、画像上にグリッドを置いて、グリッドのノッドにおける画素だけをサンプリング点として用いてもよい。また、サンプリング対象領域、例えば、参照画像３１の特徴データが所有する座標において、ランダムに所定数の座標を選定して、得られた座標における輝度値を、サンプリング点の輝度値として用いてもよい。

位置合わせ部３７は、幾何変換情報３００５、座標幾何変換部３００１、画像類似度算出部３００２、画像類似度最大化部３００３、浮動画像幾何変換部３００４、を備える。

幾何変換情報３００５は、超音波血管データとＣＴ血管データの位置合わせ結果を表す情報である。すなわち、位置合わせ部３７で行われる画像ベースの剛体位置合わせの初期値は、超音波血管データとＣＴ血管データの位置合わせ結果を用いる。

座標幾何変換部３００１は、参照画像３１から抽出されたサンプリング点の座標を、浮動画像３２において対応する点の座標へ、幾何変換する（Ｓ３０４）。画像類似度算出部３００２は、参照画像３１のサンプリング点における輝度データと、浮動画像３２の対応サンプリング点における輝度データを取得する。画像類似度算出部３００２は、これらのサンプリング点における輝度データに対して、所定の評価関数を適用して、参照画像３１と浮動画像３２との間の画像類似度を演算する（Ｓ３０５）。画像類似度としては、公知の相互情報量を使用することができる。

画像類似度最大化部３００３は、画像類似度算出部３００２が算出した参照画像３１と浮動画像３２との間の画像類似度を取得する。ここでは、参照画像３１と浮動画像３２の間の画像類似度が最大（あるいは極大）となるような幾何変換情報を求めるため、収束計算を実施する（Ｓ３０６）。ステップＳ３０６において画像類似度が収束していない場合は、より高い画像類似度を得るために、画像類似度最大化部３００３は、幾何変換情報３００５を更新する（Ｓ３０７）。そして、更新された幾何変換情報３００５を用い、ステップＳ３０４〜Ｓ３０６を改めて実施する。

一方、ステップＳ３０６において画像類似度が収束している場合は、位置合わせ部３７は、求められた幾何変換情報３００５を用いて、浮動画像３２に対し幾何変換をさせ、位置合わせ済浮動画像３６を生成する（Ｓ３０８）。以上の処理によって、位置合わせ部３７の処理が完了する。

以上のように、本実施形態３では、剛体位置合わせ部３００が、参照画像３１（超音波ボリュームデータ）と浮動画像３２（ＣＴボリュームデータ）の画像ベース剛体位置合わせを実施する。剛体位置合わせ部３００は、参照画像３１から、参照画像の特徴データ３３を用いてサンプリング点を抽出する。剛体位置合わせ部３００は、超音波血管データとＣＴ血管データの位置合わせ結果を、幾何変換の初期値として用いて、浮動画像３２において、抽出された参照画像３１のサンプリング点と対応する座標を計算する。剛体位置合わせ部３００は、参照画像３１のサンプリング点と浮動画像３２の対応するサンプリング点を用いて画像類似度を算出する。算出された画像類似度を最大化となるように浮動画像３２の幾何変換情報を更新計算する。これにより、適切な幾何変換の初期値を用いられ、尚且つ対象臓器について精度よく画像類似度を計算することができるため、安定的かつ高精度な位置合わせ処理が実現できる。

このように、実施形態１または２の位置合わせ後の超音波ボリュームデータとＣＴボリュームデータに、さらに剛体位置合わせを行うことにより、位置合わせ精度が向上させることができる。よって、本実施形態３で位置合わせした超音波ボリュームデータとＣＴボリュームデータを用いて、図１０のフローを行って、ＣＴ画像を切り出すことにより、リアルタイムの超音波画像とＣＴ画像とをより高精度に一致させることができる。よって、両画像で高精細な対応づけが可能であり、小さな腫瘍等をより精度よく確認できる。

（実施形態４）
実施形態４について説明する。

＜概要＞
実施形態４は、実施形態１または実施形態２で位置合わせを行った超音波ボリュームデータと、位置合わせ済みＣＴボリュームデータに対して、さらに非剛体位置合わせを行うことにより、位置合わせ精度を向上させる。すなわち、画像処理装置１０８内に、図３に示した機能ブロックに加えて、さらに、図１４の画像ベース非剛体位置合わせ部４００を備える。画像ベース非剛体位置合わせ部４００は、実施形態１の図６のステップＳ２１０もしくは実施形態２の図１２１のステップＳ２１０において生成した、位置合わせ済みのＣＴボリュームデータを浮動画像４２とし、超音波ボリュームデータを参照画像４１として、互いに位置合わせするデバイスである。

画像ベース非剛体位置合わせ部４００は、位置合わせ済みのＣＴボリュームデータを浮動画像４２とし、超音波ボリュームデータを参照画像４１として、浮動画像４２を変形させる。浮動画像４２を変形するために、浮動画像４２に制御格子が設置され、この制御格子における制御点を移動させることで、浮動画像を変形させる。変形された浮動画像と参照画像との間で、画像類似度が求められ、求めた画像類似度に基づいた最適化計算が行われ、制御格子における制御点の移動量（変形量）が求められる。この場合、制御格子における制御点間の画素の移動量は、その画素の周囲に配置されている制御点の移動量の補間によって計算される。得られた各画素の移動量を用いて、浮動画像の座標変換が行われ、画像を局所的に変形させる様な位置合わせが実施される。これにより、臓器の変形などを補正し、位置合わせの精度とロバスト性をさらに向上させることができる。

また、浮動画像４２を変形する前に、制御点をより正確な位置に配置するため、非剛体位置合わせの初期値として、制御格子における制御点を幾何変換させる。この制御点の幾何変換には、実施形態１または２の超音波血管データの点群とＣＴ血管データの点群の位置合わせ結果を用いても良い、あるいは、実施形態３の超音波ボリュームデータとＣＴボリュームデータの剛体位置合わせ結果を用いても良い。

超音波血管データの点群とＣＴ血管データの点群の位置合わせ、または、超音波ボリュームデータとＣＴボリュームデータの剛体位置合わせの構成については、実施例１、２と同様であるため、以下では差異点を中心に説明する。

＜構成及び動作＞
図１４は、本実施形態に係る超音波装置の画像ベース非剛体位置合わせ部４００の機能ブロック図である。画像ベース非剛体位置合わせ部４００は、参照画像４１に合わせて、浮動画像４２を変形し、位置合わせ済み浮動画像４８を生成するデバイスであり、特徴領域サンプリング部４４、制御点幾何変換部４６、位置合わせ部４０および浮動画像変形部４７を備える。

ここで、参照画像４１、浮動画像４２、参照画像の特徴データ４３は、それぞれ実施形態３の参照画像３１、浮動画像３２、参照画像の特徴データ３３と同様なものである。特徴領域サンプリング部４４は、参照画像４１と参照画像の特徴データ４３を受け取り、実施形態３の特徴領域サンプリング部３４と同様な処理を実施し、得られた参照画像４１のサンプリング点を位置合わせ部４０へ出力する。

また、幾何変換情報４５は、非剛体位置合わせの初期値として位置合わせ部４０へ出力される情報である。幾何変換情報４５としては、超音波血管データとＣＴ血管データの位置合わせ結果を用いても良いし、あるいは、超音波ボリュームデータとＣＴボリュームデータの剛体位置合わせ結果を用いても良い。

位置合わせ部４０は、制御点幾何変換部４００１、座標幾何変換部４００３、画像類似度算出部４００４、画像類似度最大化部４００５を備える。

図１５は、位置合わせ部４０の全体動作を説明するフローチャートである。以下、図１５の各ステップについて説明する。

制御点幾何変換部４００１は、幾何変換情報４５を受け取り（Ｓ４０１）、制御点の位置を幾何変換させ、制御点移動量情報４００２を座標幾何変換部４００３へ出力する（Ｓ４０２）。

座標幾何変換部４００３は、参照画像４１のサンプリングデータと、浮動画像４２を取得する（Ｓ４０３およびＳ４０４）。さらに、座標幾何変換部４００３は、取得した浮動画像４２上に制御格子を配置し、制御点幾何変換部４００１から制御点移動量情報４００２を取得し、この制御点移動量情報４００２に基づいて、上記した制御格子における制御点の位置を設定する。また、座標幾何変換部４００３は、参照画像４１のサンプリング点の座標に対して、制御点移動量情報４００２を用いて、座標変換を実施する（Ｓ４０５）。このステップは、参照画像４１のサンプリング点の座標に対応するところの、浮動画像４２における画像データの座標を計算するためのものである。ここでは、あるサンプリング点の座標に対して、その周囲の制御点の位置に基づいて、例えば、公知のＢ−ｓｐｌｉｎｅ関数を用いて、座標の補間を行って、浮動画像４２における対応サンプリング点の座標を計算する。

次に、座標幾何変換部４００３は、浮動画像４２の各対応サンプリング点（参照画像４１の各サンプリング点に対応したサンプリング点）に対し、例えば、線形補間演算により、その対応サンプリング点の輝度値を算出する（Ｓ４０６）。これにより、制御点の移動に伴って変化した浮動画像の座標（サンプリング点）と、その座標（サンプリング点）における輝度値が求まる。すなわち、制御点の移動に伴う浮動画像の変形が、この変換部４００３において行われる。

画像類似度算出部４００４は、参照画像４１のサンプリング点における輝度データと、幾何変換後の浮動画像４２の対応サンプリング点における輝度データ（Ｓ４０５において生成されたデータ）を取得する。画像類似度算出部４００４は、これらのサンプリング点におけるデータに対して、所定の評価関数を適用して、参照画像４１と浮動画像４２との間の画像類似度を演算する（Ｓ４０７）。画像類似度としては、剛体位置合わせと同様に、公知の相互情報量を使用することができる。

画像類似度最大化部４００５は、画像類似度算出部４００４が算出したところの、参照画像４１と浮動画像４２との間の画像類似度を取得する。ここでは、参照画像４１と浮動画像４２の間の画像類似度が最大（あるいは極大）となる様な各制御点の移動量を求めるため、収束計算を実施する（Ｓ４０８）。ステップＳ４０８において画像類似度が収束していない場合は、より高い画像類似度を得るために、画像類似度最大化部４００５は、制御点移動量情報４００２を更新する（Ｓ４０９）。そして、更新された制御点移動量情報４００２を用い、ステップＳ４０５〜Ｓ４０９を改めて実施する。

一方、ステップＳ４０８において画像類似度が収束している場合は、位置合わせ部４０は、求められた制御点移動量情報４００２を浮動画像変形部４７に出力する（Ｓ４１０）。以上の処理によって、位置合わせ部４０の処理が完了する。

浮動画像変形部４７は、浮動画像４２と制御点移動量情報４００２を取得する。浮動画像変形部４７は、浮動画像４２のすべての画素に対して、制御点移動量情報４００２に基づいて、前記ステップＳ２０４と同様の補間演算により各画素の座標を算出する。次に、浮動画像変形部１７は、前記ステップＳ４０６と同様の補間演算により、前記求められた座標における輝度を算出し、位置合わせ済浮動画像４８を生成する。

実施形態４によれば、超音波血管データとＣＴ血管データの位置合わせ結果、あるいは、超音波ボリュームデータとＣＴボリュームデータの剛体位置合わせ結果を用いて、参照画像と浮動画像との間の位置合わせを行う際に用いられる制御点の初期値（位置）が設定される。これにより、制御格子の初期値をより適切な値に設定することが可能となり、位置合わせにおける精度の向上を図ることが可能となる。また、位置合わせに要する時間の短縮化を図ることも可能である。

本実施形態４で位置合わせした超音波ボリュームデータとＣＴボリュームデータを用いて、図１０のフローを行って、ＣＴ画像を切り出すことにより、リアルタイムの超音波画像とＣＴ画像とをより高精度に一致させることができる。よって、両画像で高精細な対応づけが可能であり、小さな腫瘍等をより精度よく確認できる。

２１超音波ボリュームデータ取得部
２２ＣＴボリュームデータ受け付け部
２３超音波ボリュームデータの特徴データ抽出部
２４ＣＴボリュームデータの特徴データ抽出部
２５ＣＴ特徴データ初期回転部
２６特徴データ位置合わせ部
２７画像表示部
２８位置合わせ結果の確認・初期回転やり直し部

ＲＯＭ２およびＲＡＭ３の少なくとも一方には、ＣＰＵ１の演算処理で画像処理装置１０８の動作を実現するために必要とされるプログラムとデータが予め格納されている。ＣＰＵ１が、このＲＯＭ２およびＲＡＭ３の少なくとも一方に予め格納されたプログラムを実行することによって、画像処理装置１０８の各種処理が実現される。なお、ＣＰＵ１が実行するプログラムは、記憶媒体（例えば、光ディスク）１２に格納しておき、媒体入力部１１（例えば、光ディスクドライブ）がそのプログラムを読み込んでＲＡＭ３に格納する様にしてもよい。また、記憶装置４に当該プログラムを格納しておき、記憶装置４からそのプログラムをＲＡＭ３にロードしてもよい。また、ＲＯＭ２にあらかじめ当該プログラムを記憶させておいてもよい。

ステップＳ２０５において、ＣＴ特徴データ初期回転部２５は、ステップＳ２０４で抽出したＣＴ血管データを、ステップＳ２０２で指定された臓器区域に応じて回転させる。すなわち、ＣＴ特徴データ初期回転部２５は、図５に示す臓器区域と回転角度のテーブル３０を参照し、ステップＳ２０２で指定された臓器区域に対応する回転角度を読み出し、読み出した回転角度だけ、ＣＴ血管データを回転させる（初期回転）。また、テーブル３０に平行移動距離が含まれている場合には、臓器区域に対応する平行移動距離を読み出し、ＣＴ血管データをその距離だけ平行移動させる。これにより、ＣＴ血管データは、臓器区域に応じた超音波画像の傾斜に相当する角度に回転するように、幾何変換されるため、超音波血管データとＣＴ血管データは、初期位置が大まかに一致するようになる。図７（Ｃ）は、回転後のＣＴ血管データを示している。図７（Ｃ）より、回転後のＣＴ血管データは、その向きが超音波血管データの向きとほぼ一致しており、両者を重ね合わせることが可能な形状になっている。

実施形態２の超音波撮像装置は、図５の撮像部位ごとに回転角度を対応づけるテーブル３０は備えていない。図１１のフローに示したように、画像処理装置１０８は、ステップＳ２０１〜２０４において、実施形態１と同様に行って、超音波血管データと、ＣＴ血管データを抽出する。そして、ＣＴ血管データを初期回転させる角度を、実施形態１のステップＳ２０８，２０９を行って計算により求め、求めた回転角度だけＣＴ血管データを回転させる。

参照画像３１である超音波ボリュームデータと、浮動画像である実施形態１または２のステップＳ２１０の位置合わせ済みＣＴボリュームデータは、剛体位置合わせ部３００に入力される（Ｓ３０１）。また、特徴領域サンプリング部４４は、実施形態１、２のステップＳ２０４で抽出した超音波ボリュームデータの特徴データ（超音波血管データ）３３を受け取る（Ｓ３０２）。特徴領域サンプリング部４４は、参照画像３１と参照画像３１の特徴データが所有する座標において、画像サンプリング点を抽出し、位置合わせ部３７に出力する（Ｓ３０３）。これらの画像サンプルリング点は、位置合わせ部３７において参照画像３１と浮動画像３２の画像類似度を計算するために用いられる。

＜概要＞
実施形態４は、実施形態１または実施形態２で位置合わせを行った超音波ボリュームデータと、位置合わせ済みＣＴボリュームデータに対して、さらに非剛体位置合わせを行うことにより、位置合わせ精度を向上させる。すなわち、画像処理装置１０８内に、図３に示した機能ブロックに加えて、さらに、図１４の画像ベース非剛体位置合わせ部４００を備える。画像ベース非剛体位置合わせ部４００は、実施形態１の図６のステップＳ２１０もしくは実施形態２の図１１のステップＳ２１０において生成した、位置合わせ済みのＣＴボリュームデータを浮動画像４２とし、超音波ボリュームデータを参照画像４１として、互いに位置合わせするデバイスである。

Claims

被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、
前記超音波探触子に取り付けられた位置センサと、
前記超音波探触子の受信信号から超音波画像を生成するとともに、前記超音波画像と位置センサから得た前記超音波探触子の位置情報から第１ボリュームデータを生成する画像生成部と、
外部の別の画像撮像装置が前記被検体について得た第２ボリュームデータを受け取って処理する画像処理部とを有し、
前記画像処理部は、前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせする位置合わせ部を備え、
前記位置合わせ部は、被検体の複数の撮像部位のうち所定の撮像部位の選択をユーザから受け付ける受け付け部と、回転処理部とを含み、前記回転処理部は、前記受け付け部が受け付けた前記撮像部位に応じた回転角度だけ、前記第２ボリュームデータを初期回転させ、初期回転後の前記第２ボリュームデータと前記第１ボリュームデータとをさらに位置合わせすることを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置であって、前記回転処理部は、前記受け付け部が受け付けた前記撮像部位に応じた回転角度を、予め定めておいた前記複数の撮像部位と回転角度との関係から求めることを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置であって、前記回転処理部は、前記受け付け部が受け付けた前記撮像部位に含まれる特徴断面の画像を前記第１ボリュームデータおよび第２ボリュームデータから生成し、生成した２つの前記特徴断面の画像を一致させるための前記第２ボリュームデータの回転角度を算出し、求めた前記回転角度だけ前記第２ボリュームデータを初期回転させることを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置であって、前記画像処理部は、前記位置センサから前記超音波探触子の位置情報を受け取って、前記位置合わせ後の前記第２のボリュームデータから、前記位置センサの検出位置の前記超音波探触子から得られる前記超音波画像と同じ位置の画像を生成することを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置であって、前記位置合わせ部は、前記第１ボリュームデータと前記第２ボリュームデータにそれぞれ含まれる所定の特徴部のデータを抽出する特徴データ抽出部をさらに有し、
前記回転処理部は、前記特徴データ抽出部が前記第２ボリュームデータから抽出した第２特徴データを前記回転角度だけ初期回転させ、
前記位置合わせ部は、前記回転後の前記２特徴データと、前記第１ボリュームデータから抽出した第１特徴データとを位置合わせすることにより、前記第１ボリュームデータと第２ボリュームデータとを位置合わせすることを特徴とする超音波撮像装置。
請求項５に記載の超音波撮像装置であって、前記特徴部は、血管であることを特徴とする超音波撮像装置。
請求項２に記載の超音波撮像装置であって、前記位置合わせ部は、前記複数の撮像部位ごとに前記回転角度の値を格納した記憶部をさらに有し、前記記憶部から前記受け付け部が受け付けた前記撮像部位に対応する回転角度を読み出すことを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置において、前記位置合わせ部は、位置合わせした前記第１ボリュームデータと第２ボリュームデータとを重畳した画像を表示装置に表示させることを特徴とする超音波撮像装置。
請求項５に記載の超音波撮像装置において、前記位置合わせ部は、位置合わせした前記第１特徴データと第２特徴データとを重畳した画像を表示装置に表示させることを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置において、前記撮像部位は、臓器の解剖学的に定められた区域であり、前記位置合わせ部は、前記臓器の前記区域の選択をユーザから受け付けるために、前記臓器の複数の区域を表示装置に表示させることを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置において、前記位置合わせ部は、前記第１ボリュームデータと前記第２ボリュームデータに対し、画像ベースの剛体位置合わせを実施することを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置において、前記位置合わせ部は、前記第１ボリュームデータと前記第２ボリュームデータに対し、画像ベースの非剛体位置合わせを実施することを特徴とする超音波撮像装置。
被検体についての超音波画像の第１ボリュームデータと、同じ被検体についての超音波画像とは異なる画像の第２ボリュームデータとを受け取って処理する画像処理装置であって、
前記第１ボリュームデータと前記第２ボリュームデータとを位置合わせする位置合わせ部を備え、
前記位置合わせ部は、被検体の複数の撮像部位のうち所定の撮像部位の選択を受け付ける受け付け部と、回転処理部とを含み、前記回転処理部は、前記受け付け部が受け付けた前記撮像部位に応じた回転角度だけ、前記第２ボリュームデータを初期回転させ、初期回転後の前記第２ボリュームデータと前記第１ボリュームデータとをさらに位置合わせし、位置合わせ後の第２ボリュームデータを出力することを特徴とする画像処理装置。