JP6188874B2 - 情報処理装置、方法及びプログラム - Google Patents

Description

本発明は、モダリティ、撮影体位、撮影日時等の撮影条件が異なる画像間の注目領域に対応する領域を効率良く探索するための情報処理装置に関する。

医療の分野において、医師は被検体を撮像した医用画像（被検体内部の三次元的な情報を表す断層画像群からなる三次元画像データ）をモニタに表示し、表示された画像を読影して病変部の診断を行う。医用画像を撮像する医用画像収集装置（以下、モダリティと呼ぶ）としては、超音波画像診断装置、磁気共鳴映像装置（以下、ＭＲＩ装置と呼ぶ）、Ｘ線コンピュータ断層撮影装置（以下、Ｘ線ＣＴ装置と呼ぶ）などが挙げられる。

これらの個々のモダリティで撮像された医用画像を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮像された夫々の医用画像や、異なる日時に撮像された夫々の医用画像中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。

複数種類の医用画像を診断に利用するためには、夫々の医用画像における病変部等を同定する（対応付ける）ことが重要である。モダリティの違いや被検体の変形等の影響で画像処理による同定の自動化が困難であるため、医師等の作業者は画像を見ながら同定の作業を手動で行うことが一般的である。作業者は、一方の医用画像（以下、参照画像）で指摘されている注目する注目病変部の画像を見ながら、病変部の形状やその周辺部の見え方等の類似性を手がかりにして、その病変部に対応する対応病変部を他方の医用画像（以下、対象画像）から探索し同定している。ここで、医用画像を提示する装置が、参照画像の座標系における注目病変部の位置から対象画像の座標系における対応病変部の位置を推定して提示する機能を備えているならば、作業者はその推定位置を手掛かりにして対応病変部の探索を行うことができる。

そこで、超音波探触子の位置と姿勢を計測することで、対象画像である超音波断層画像と参照画像との座標系の関係を求め、超音波断層画像の座標系（超音波座標系）における対応病変部の位置を推定して探触子の操作を誘導する試みがなされている。例えば、現在の超音波断層画像に対して、リファレンス像（Ｘ線ＣＴ装置やＭＲＩ装置等の三次元画像の断面画像）で設定したターゲット（注目病変部）の中心までの距離と方向を計算し、該距離と方向に基づく三次元の矢印像と数値を表示することが、特許文献１に開示されている。これにより、操作者は、現在の超音波断層画像からターゲットまでの距離を視覚的に把握できるので、リファレンス像と超音波断層画像との対応（位置関係）を把握することが容易になる。

また、過去の超音波断層画像（ボリューム又はスライス）から選択した画像追跡点（注目病変部）が与えられた場合に、現在の超音波断層画像からの距離と方向に基づく大きさや色の正方形を平面内指示子として該現在の超音波断層画像に重ねて表示することが、特許文献２に開示されている。これにより、甲状腺中の小結節の数や肝臓中の転移の数等を計数する場合に、プローブの角度や位置を変えても、現在視覚化されている構造が新しく識別されたものか、あるいは既に識別されて計数済のものかを判別することができる。

特開２００８−２４６２６４号公報 特開２００８−２１２６８０号公報

ところで、超音波探触子の位置と姿勢の計測精度は完全ではなく、また、参照画像撮影時と超音波断層画像撮影時の被検体の形状は必ずしも一致していない。そのため、超音波断層画像の座標系における対応病変部の推定位置には誤差が含まれており、実際の対応病変部の位置とは位置ずれしたものとなる。

しかしながら、上記特許文献１及び２で開示されている距離と方向に基づく指示には上記位置ずれは考慮されていない。このため、上記指示を考慮しても位置ずれの程度によっては、ユーザは実際の対応病変部を同定できない（見つけられない）可能性がある。この場合、結局、ユーザが超音波断層画像全体から実際の対応病変部を探索することになり、探索の効率が悪い。

本発明に係る装置は、第１の座標系における、被検体の二次元画像を取得する二次元画像取得手段と、第１の座標系とは異なる第２の座標系における、被検体の三次元画像を取得する三次元画像取得手段と、第２の座標系における三次元画像の特定領域に対応する第１の座標系における対応領域に、第２の座標系から第１の座標系への座標変換の際の誤差を加えた誤差範囲を示す画像と、二次元画像とを表示手段に表示させる表示制御手段と、を有する。

本発明によれば、被検体の二次元画像（例えば、超音波画像。）を含む平面上に三次元画像（例えば、ＭＲＩ画像やＸ線ＣＴ画像。）の所定の領域（例えば、注目領域や注目病変部。）を投影することができ、該投影した投影領域を含む該投影による誤差範囲（注目領域に対応する二次元画像上の対応領域の存在し得る範囲、探索範囲とも呼ぶ。）を該二次元画像上に重ねて表示手段に表示させることができる。これにより、ユーザは、二次元画像上の実際の対応領域を探索する探索範囲が分かるので、実際の対応領域を効率良く探索して同定することができる。

第１の実施形態に係る情報処理装置の処理手順を示すフロー図である。 第２の実施形態に係る情報処理装置の機器構成を示す図である。 第２の実施形態に係る情報処理装置の処理手順を示すフロー図である。 第２の実施形態に係る情報処理装置の探索モードにおける画像合成の処理手順を示すフロー図である。 第１及び第２の実施形態に係る情報処理装置の断層画像と存在範囲とを表示する表示方法を説明するための図である。 第一の領域と第二の領域の例を示す図である。 第３の実施形態に係る情報処理装置の機器構成を示す図である。 第４の実施形態に係る情報処理装置の機器構成を示す図である。 第３の実施形態に係る情報処理装置の処理手順を示すフロー図である。 第４の実施形態に係る情報処理装置の処理手順を示すフロー図である。 第５の実施形態に係る情報処理装置の機器構成を示す図である。 第５の実施形態に係る情報処理装置の処理手順を示すフロー図である。 ３次元存在範囲における超音波断層画像の位置情報を示す図である。 相対的位置情報のカラーテーブルへの対応付けを示す図である。 存在範囲表示情報を示す図である。 存在範囲表示情報が重畳表示された超音波断層画像を示す図である。 本実施形態に係る情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図である。

以下、添付図面に従って本発明に係る情報処理システム（情報処理装置）の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。
（第１の実施形態：誤差）
本実施形態に係る情報処理装置は、被検体の二次元画像（例えば、超音波画像。）を含む平面上に三次元画像（例えば、ＭＲＩ画像やＸ線ＣＴ画像。）の所定の領域（例えば、注目領域や注目病変部。）を投影することができ、該投影した投影領域を含む該投影による誤差範囲（注目領域に対応する二次元画像上の対応領域の存在し得る範囲、探索範囲とも呼ぶ。）を該二次元画像上に重ねて表示手段に表示させることができる。これにより、ユーザは、二次元画像上の実際の対応領域を探索する探索範囲が分かるので、実際の対応領域を効率良く探索して同定することができる。

なお、本実施形態は、上記投影を前提にしている技術である。すなわち、上記投影した場合、上記投影による誤差がなければ、被検体の二次元画像上には所定の領域に対応する領域が表示され続けることになる。ただし、例えば後述する座標変換による誤差等により、被検体の二次元画像上に所定の領域に対応する領域が表示されない場合がある。このため、この誤差範囲を二次元画像上に表示することにより、ユーザが所定の領域に対応する領域を探索し易くすることができる。

ここで、所定の領域の位置を三次元画像の三次元座標系から二次元画像の三次元座標系（例えば、位置姿勢センサの基準座標系）に座標変換（対応付け、位置合わせ）することが好ましい。これにより、座標変換による誤差に基づいて上記投影による誤差範囲を算出することができる。また、所定の領域（第一の領域）よりも大きく且つ該所定の領域を含む領域（第二の領域）を三次元画像に設定してから、この領域（第二の領域）の位置を上記座標変換することにより、上記投影による誤差範囲を算出することができる。このとき、第二の領域の大きさは、座標変換の誤差に基づいて設定されることが好ましい。例えば、図６（ａ）に示すように、第一の領域７０１が大きさを持たない点として定義されている場合には、第一の領域７０１が中心で座標変換の誤差が半径となる球を第二の領域７０２とすることができる。また、図６（ｂ）に示すように、第一の領域７０３が大きさを持つ閉領域として定義されている場合には、座標変換の誤差が第一の領域７０３の最近傍点までの距離となるような閉曲面を求め、その内部を第二の領域７０４としてもよい。

次に、本実施形態に係る情報処理システムについて図１を用いて説明する。図１は、本実施形態に係る情報処理装置の処理手順を示すフロー図である。

まず、Ｓ１において、誤差取得部１２３が誤差要因情報を情報処理装置１００に入力する。例えば、誤差要因情報として、超音波探触子と位置姿勢センサとの距離を入力する。一般的に、該距離が長くなると、上記投影（例えば、座標変換）による誤差が大きくなる。

次に、Ｓ２において、断層画像取得部１１０が断層画像（例えば、超音波断層画像）を取得する。

また、Ｓ３において、誤差取得部１２３が誤差（上記投影による誤差）を取得する。例えば、Ｓ１で取得した誤差要因情報が、超音波探触子と位置姿勢センサとの距離である場合、予め記憶されているテーブル（以下、誤差を算出するための情報とも呼ぶ。）により、Ｓ該距離を用いて誤差を求めることができる。

また、Ｓ４において、注目領域（注目病変部）の存在し得る範囲（上記誤差による誤差範囲、探索範囲）を取得する。具体的には、超音波断層画像を含む平面上に三次元画像の所定の領域を投影した投影領域を含む該投影による誤差範囲を取得する。このとき、例えば、投影領域が中心で、誤差として求めた上記距離が半径となる円を描き、該円が超音波断層画像と重複する領域を取得する。

また、Ｓ５において、上記重複する領域を該超音波断層画像上に重ねて表示手段に表示する。例えば、図５（ａ）のような画像を表示手段に表示する。このとき、対応病変部の存在し得る範囲を円で表示し、その円の外側に半透明のマスクをかけ、内側の超音波断層画像を通常通りに表示させることが好ましい。これにより、実際の注目領域を探索する探索領域が明確になる。また、ユーザが実際の対応領域を探索し易いので、効率良く探索できる。また、対応領域の存在し得る範囲を円のラインのみで描画しても良い。また、対応領域の存在し得る範囲の内側に色を付ける場合には、探索できる程度に透明な色を付けることが好ましい。

なお、図５（ａ）において、ユーザが超音波断層画像上の上記投影による誤差範囲内で所定の箇所の位置を対応領域の位置として指定することができる。これにより、例えば、二次元画像上の所定の箇所に対応領域（所定の領域に対応する二次元画像上の領域）であることを示すマーク（例えば、円やバツ印）を重ねて表示手段に表示させることができる。このため、二次元画像上の対応領域の位置が分かり易くなるので、診断効率が向上する。また、上記指定された所定の箇所と投影領域との差分に基づいて該二次元画像における投影による誤差を補正することが好ましい。これにより、再度取得した二次元画像上の上記所定の箇所に対応する箇所に、上記マークを表示させ続けることができる。

また、図５（ａ）において、ユーザが所定の箇所の位置を指定しない場合には、超音波断層画像を繰り返し取得する。このとき、超音波断層画像の位置や姿勢に応じて上記投影による誤差範囲の大きさが変わることになる。このとき、上記所定の領域（第一の領域）と上記投影領域（第一の領域に対応する超音波断層画像上の領域）とが同一の位置にあるとき（超音波断層画像のスキャン面が所定の領域を通るとき）、上記投影による誤差範囲の大きさが最大になる。図５（ｂ）に示すように、この最大の大きさになる誤差範囲８０４を実際の誤差範囲５０２と区別できるように超音波画像５０３上に常に表示させても良い。
（第２の実施形態：探索モードと連動モード）
本実施形態に係る情報処理システムは、三次元画像データ中の注目領域（例えば、注目病変部）が存在し得る領域を、実時間で撮影している超音波断層画像中に表示する。そうすることで、三次元画像データ中の注目領域に対応する対応領域（対応病変部）を、操作者（医師や技師）が超音波断層画像上で容易に描出できるようにする。なお、本実施形態では、被検体内部の三次元的な情報を表す断層画像群を三次元画像データとして取り扱う場合について説明する。以下、本実施形態に係る情報処理システムについて説明する。

図２は、本実施形態に係る情報処理システムの構成を示す。同図に示すように、本実施形態における情報処理装置１００は、断層画像取得部（二次元画像取得部とも呼ぶ。）１１０、位置姿勢取得部１１２、三次元画像データ取得部（三次元画像取得部とも呼ぶ。）１２０、注目領域取得部１２２、誤差取得部１２３、断面画像生成部（断面画像取得部とも呼ぶ。）１３０、存在範囲算出部１３５、画像合成部１４０、表示制御部１５０によって構成される。そして、三次元画像データや後に記述する誤差要因情報等を保持するデータサーバ１９０に接続されている。また、情報処理装置１００は、被検体の超音波断層画像を撮像する第２医用画像収集装置１８０としての超音波画像診断装置にも接続されている。
（三次元画像データの入力）
データサーバ１９０が保持する三次元画像データは、第１医用画像収集装置１７０としてのＭＲＩ装置やＸ線ＣＴ装置などによって被検体を予め撮像して得られた参照断層画像群である。なお、以下では第１医用画像収集装置１７０としてＭＲＩ装置を用いる場合を例とし、被検体としては人体の乳房を撮影対象として説明する。

ＭＲＩ装置で撮像された参照断層画像群を三次元画像データとして構成する各断層画像の位置姿勢は、ＭＲＩ装置座標系における位置姿勢で表されている。ここでＭＲＩ装置座標系とは、ＭＲＩ装置を基準とした空間中の１点を原点として定義した座標系のことを表す。ＭＲＩ装置座標系で表現された三次元画像データは、三次元画像データ取得部１２０により取得され、情報処理装置１００に入力される。なお、三次元画像データ取得部１２０は、三次元のボクセルに輝度値を格納した三次元ボリュームデータを参照断層画像群から生成して、これを保持する。そして、断面画像生成部１３０からの要求にしたがって、保持している三次元ボリュームデータを断面画像生成部１３０へと出力する。

さらに、データサーバ１９０は、三次元画像データ中の注目領域として、予め指定された病変部（注目病変部）の位置を保持している。注目病変部の位置は、例えば、操作者が不図示の画像ビューア上に参照断層画像群を順次表示して、注目病変部が写っている断層画像を選び出し、不図示のマウスで注目病変部をクリックすることによって指定することができる。データサーバ１９０が保持する注目病変部の位置は、注目領域取得部１２２により取得され、情報処理装置１００に入力される。また、注目領域取得部１２２は、保持している注目病変部の位置を誤差取得部１２３及び存在範囲算出部１３５及び画像合成部１４０へと出力する。なお、以下の説明では、注目病変部の位置も、三次元画像データと同様にＭＲＩ装置座標系で表されているものとする。

（誤差推定値の取得）
また、データサーバ１９０は、三次元画像データ中の病変部の位置の誤差を算出するための情報を保持している。ここで、誤差を算出するための情報とは、三次元画像データ中の注目病変部に対応する対応領域（対応病変部）の位置が、超音波断層画像上においてどの程度の誤差を含んで射影されるかを算出するための情報である。言い換えれば、三次元画像データと超音波断層画像の間の位置合わせの誤差（対応病変部の存在範囲）を算出するための情報である。なお、本実施形態では、ＭＲＩ装置座標系における超音波断層画像の位置姿勢を位置姿勢取得部１１２が算出することで、三次元画像データと超音波断層画像の間の位置合わせが実施される。以下の説明では、この誤差推定値を算出するための情報を誤差要因情報（詳細は後述する）と呼ぶ。データサーバ１９０が保持する誤差要因情報は、誤差取得部１２３を介して情報処理装置１００に入力される。また、誤差取得部１２３は、誤差要因情報に基づいて三次元画像データと超音波断層画像との間の位置合わせの誤差推定値（対応病変部の存在範囲）を算出する。そして、算出した誤差推定値を存在範囲算出部１３５へと出力する。このとき、存在範囲算出部１３５は、注目病変部の位置を中心として半径が誤差である球を超音波断面で切り取ることによって得られる円を算出して、対応病変部の存在範囲を示す情報として画像合成部１４０へと出力する。

（断層画像の取得）
第２医用画像収集装置１８０としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。超音波断層画像は、断層画像取得部１１０により取得され、情報処理装置１００に逐次入力される。また、断層画像取得部１１０は、取得された超音波断層画像を必要に応じてデジタルデータに変換して、位置姿勢取得部１１２から取得した位置姿勢に対応付けて保持する。そして、画像合成部１４０からの要求にしたがって、保持している超音波断層画像を画像合成部１４０へと出力する。

通常、操作者は、超音波画像診断装置の撮像部（不図示）としての超音波探触子を手に持って、これを自由に動かしながら被検体の撮像を行う。超音波探触子により超音波を検出して超音波断層画像を取得することができる。このとき、超音波断層画像が被検体を基準とした空間中のどの位置姿勢を撮像したものなのかが明らかではない。そこで、本実施形態では、不図示の位置姿勢センサを超音波画像診断装置に装着して、超音波探触子の位置姿勢を計測する。位置姿勢センサは、例えば、米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成される。なお、位置姿勢センサは、超音波探触子の位置姿勢が計測できるのであれば、どのように構成されていてもよい。

以上のようにして得られた超音波探触子の位置姿勢は、位置姿勢取得部１１２により取得され、情報処理装置１００に入力される。ここで、超音波探触子の位置姿勢は、例えば基準座標系における位置姿勢で表されている。ここで、基準座標系とは、被検体を基準とした空間中の１点を原点として定義した座標系のことを表す。また、位置姿勢取得部１１２は、基準座標系における超音波探触子の位置姿勢を取得して、これに基づいてＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。そして、断面画像生成部１３０からの要求にしたがって、算出した位置姿勢を断面画像生成部１３０へと出力する。なお、この算出の処理は、超音波探触子と超音波断層画像との間の相対位置関係と、基準座標系とＭＲＩ装置座標系との間の相対位置関係に基づいて、公知の座標変換演算によって実行される。本実施形態では、これらの相対位置関係の情報（以後、校正データ）は、公知の校正手法によって予め導出されていて、位置姿勢取得部１１２内のメモリに既知の値として保持されているものとする。

（断面画像の生成）
断面画像生成部１３０は、三次元画像データ取得部１２０の出力である三次元ボリュームデータと、位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢と、注目領域取得部１２２の出力である注目病変部の位置を入力する。そして、これらのデータに基づいて、断面画像（第二の二次元断面画像）を三次元ボリュームデータから生成して、画像合成部１４０へと出力する。なお、断面画像生成部１３０は、後述する二つの操作モードに応じて異なる処理を行う。このとき、画像合成部１４０は、対応病変部の存在範囲（第二の領域）を示す情報を存在範囲算出部１３５から取得して、断層画像取得部１１０から取得した超音波断層画像上に重畳して描画する。さらに、その画像と、断面画像生成部１３０から取得した断面画像とを合成した合成画像を表示制御部１５０あるいは外部へと出力する。なお、対応病変部の存在範囲を超音波断層画像上に重ねた画像と、断面画像上に所定の領域（第一の領域）を重ねた画像とを並べて表示手段に表示させても良い。また、表示制御部１５０は、画像合成部１４０の出力である合成画像を取得し、これを表示部１６０に表示する。

なお、図２に示した各部（断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、誤差取得部１２３、断面画像生成部１３０、存在範囲算出部１３５、画像合成部１４０、表示制御部１５０）の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。
（コンピュータの基本構成）
図１７は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、誤差取得部１２３、断面画像生成部１３０、存在範囲算出部１３５、画像合成部１４０、表示制御部１５０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、誤差取得部１２３、断面画像生成部１３０、存在範囲算出部１３５、画像合成部１４０、表示制御部１５０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、表示部１６０がこれに相当する。表示部１００６は、画像合成部１４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、および誤差取得部１２３の機能の一部は、Ｉ／Ｆ１００９によって実現される。

上述した各構成要素は、バス１０１０によって相互に接続される。

（探索モードと連動モード）
上述の情報処理システムは、操作モードとして探索モード（対応病変部を探索するモード）と連動モード（対応付けた病変部を観察して確認するモード）の二つのモードを有する。超音波断層画像の位置姿勢と注目病変部の位置が与えられると、これらの情報に基づいてＭＲＩの三次元画像データからモードに応じた断面画像が生成（取得）される。探索モードで生成される断面画像は、先述の超音波断層画像を含む平面と平行な断面画像であって、かつ、注目病変部を通る断面画像である。このような断面画像を生成することで、超音波探触子がどのような姿勢であっても、二つの断面画像（超音波断層画像とＭＲＩの断面画像）の被検体に対する傾き（姿勢）を常に揃えて表示できる。その結果、操作者は超音波探触子を押し当てる位置のみをＭＲＩデータと合わせればよい。傾きを揃える手間を省くことができるため、操作者による位置合わせを容易にさせることができる。探索モードと連動モードの切り替えは、超音波断層画像中で対応病変部を特定し、その位置を指摘することで行われる。連動モードでは、超音波断層画像と同じ断面をＭＲＩの三次元画像データから切り出した画像が、ＭＲＩの断面画像として表示される。このモードでは、超音波探触子の位置姿勢に連動した注目病変周辺のＭＲＩ断面画像と、超音波断層画像とを同時に見ながら、病変の拡がりなどを観察することが可能となる。

超音波断層画像と、ＭＲＩの断面画像はそれぞれ表示部１６０に表示される。操作者は探索モードでは、超音波探触子を押し当てる位置を変えながら夫々の画像に映った内容が一致するか否かを見比べて、位置合わせを行うことができる。連動モードでは、位置合わせが行われた夫々の画像を見ながら、病変の周囲を観察することができる。

図３は、情報処理装置１００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。
（Ｓ３０００：データの入力）
ステップＳ３０００において、情報処理装置１００は、三次元画像データ取得部１２０の処理として、データサーバ１９０から三次元画像データとして参照断層画像群を取得する。そして、参照断層画像群から、各断層画像の各画素を三次元的に配置・補間することで、三次元のボクセルに輝度値を格納した三次元ボリュームデータを生成する。また、注目領域取得部１２２の処理として、データサーバ１９０から注目病変部の位置を取得する。

（Ｓ３００５：誤差要因情報の入力）
ステップＳ３００５において、情報処理装置１００は、誤差取得部１２３の処理として、誤差推定値の算出に用いる各種の誤差要因情報（後述）をデータサーバ１９０から取得する。

（Ｓ３０１０：断層画像の取得）
ステップＳ３０１０において、情報処理装置１００は、断層画像取得部１１０の処理として、第２医用画像収集装置１８０から超音波断層画像を取得する。また、位置姿勢取得部１１２の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第２医用画像収集装置１８０から取得する。そして、既知の値として予め記憶している前述の校正データを利用して、基準座標系における超音波探触子の位置姿勢から、ＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。さらに、位置合わせの補正パラメータを保持している場合には、超音波断層画像の位置の算出値を補正パラメータ分だけ補正することによって、注目病変部と対応病変部を正確に位置合わせする。なお、ステップＳ３０００における注目病変部の位置の取得と、本ステップにおける超音波断層画像の位置姿勢の算出によって、注目病変部（注目領域）と断層画像との相対関係の推定が実現される。

（Ｓ３０１５：誤差推定値の取得）
ステップＳ３０１５において、情報処理装置１００は、誤差取得部１２３の処理として、ステップＳ３００５で取得した誤差の算出に用いる各種データに基づいて、誤差推定値を算出する。

本実施形態において、ＭＲＩ装置座標系と基準座標系との間の関係は剛体変換により表すものとしている。しかし、ＭＲＩ画像を撮影した際のＭＲＩ装置座標系に対する被検体の位置姿勢と、超音波撮影を行う際の基準座標系に対する被検体の位置姿勢は、必ずしも正しく剛体変換の関係にあるとは限らない。そのため、前記座標系の間の関係を剛体変換により表す場合には、誤差が混入する場合がある。また、仮に前記両座標系における被検体の位置姿勢の違いが、正に剛体変換の関係にあったとしても、現実的にはその剛体変換を正しく求めることは困難であり、やはり誤差が混入する場合がある。また、誤差には、位置姿勢取得部１１２が取得する位置姿勢計測値に混入する誤差（位置姿勢計測誤差）も含まれている。

誤差推定値を算出する処理は、例えば第２医用画像収集装置１８０の超音波探触子の位置姿勢を計測する位置姿勢センサの特性等に基づいて実行することができる。例えば位置姿勢センサの計測方式毎に予め誤差の基準値を定めておき、使用するセンサの計測方式に応じて値を選択するようにできる。例えば、光学式センサに対して磁気式センサは一般に計測精度が低いため、光学式センサを使用しているという情報を誤差要因情報としてデータサーバ１９０から取得し、それに基づいて磁気式センサを使用している場合にくらべて小さい値として誤差推定値を算出するようにできる。また誤差推定値は、位置姿勢センサの計測方式の違いに限らず、位置姿勢センサの計測基準に対する空間的な位置や姿勢の関係に基づいて算出するようにできる。例えば、位置姿勢センサが磁気式のセンサにより構成される場合には、計測の基準となる磁気発生装置と超音波探触子との距離の関数として誤差の推定値を定義し、その距離が大きい場合には前記誤差として大きな値を算出するようにできる。また位置姿勢センサが光学式センサにより構成される場合にも、計測の基準に対する超音波探触子の距離や姿勢などに基づいて前記誤差を算出するようにできる。

また誤差推定値は、注目病変部が存在する被検体における部位等に基づいて算出するようにできる。例えば、注目病変部が被検体の乳房などの軟組織に存在する場合には、ＭＲＩ画像の撮影時点と、超音波画像の撮影時点とで被検体の当該部位に変形が生じることが想定される。したがって、そのような部位に注目病変部が存在する場合には、誤差推定値を大きく算出するようにできる。同様に心拍による位置の変動が大きい心臓および心臓近傍の領域、または呼吸による位置の変動が大きい、肺および肺近傍の領域では、誤差推定値を大きく算出するようにできる。具体的には、注目病変部が存在する被検体内における部位（臓器名や臓器内における位置）を表す情報と、前記部位と誤差の大きさとの対応を記したデータ（テーブル）を誤差要因情報として取得し、これらの情報に基づいて誤差推定値を算出することができる。

また、ＭＲＩ装置座標系と基準座標系との校正を行う際に指標として用いた部位の位置等に関する情報を誤差要因情報として取得し、これらの部位と注目病変部との位置の関係に基づいて誤差推定値を算出するようにできる。例えば、前記校正に用いた指標が被検体の剣状突起である場合には、ＭＲＩ画像中における剣状突起の位置と、注目病変部との距離の関数として、誤差推定値を算出するようにできる。同様に、乳頭の位置を指標として用いる場合には、ＭＲＩ画像中における乳頭と注目病変部との距離の関数として、誤差推定値を算出するようにできる。また、以上に例示した方法等を複数用いて複合的に誤差の推定を行い、誤差推定値を取得するようにしても良い。

（Ｓ３０２０：探索モードであるか否かの判定）
ステップＳ３０２０において、情報処理装置１００は現在の操作モードが探索モードであるか、連動モードであるかの判定を行う。操作モードが探索モードの場合はステップＳ３０３０へと処理が進み、連動モードの場合はステップＳ３０７０へと処理が進む。なお、本実施形態の初期状態における操作モードは、探索モードであるものとする。

（Ｓ３０３０：探索モードにおける画像の生成及び表示）
ステップＳ３０３０において、情報処理装置１００は、探索モードにおける画像の生成及び表示を行う。本ステップの処理の詳細は、図４に示すフローチャートを用いて後に詳しく説明する。

次に、情報処理装置１００は、以下の処理（ステップＳ３０４０及びＳ３０５０）によって、超音波断層画像上における対応病変部の位置を操作者が指定した場合に、注目病変部の位置と対応病変部が実際に存在する位置との間のずれの補正を行う。

（Ｓ３０４０：断層画像上の対応病変部の位置の指定）
ステップＳ３０４０において、情報処理装置１００は、位置姿勢取得部１１２の処理として、超音波断層画像上の対応病変部の位置が指定されたか否かの判定を行う。対応病変部の位置は、例えば、表示部１６０に表示された超音波断層画像上の対応病変部の位置を、操作者がマウス１００５でクリックすることによって指定する。対応病変部の位置が指定された場合には、超音波断層画像上における対応病変部の位置と、超音波断層画像の位置姿勢に基づいて、ＭＲＩ装置座標系における対応病変部の位置を算出する。そして、ステップＳ３０５０へと処理を進める。一方、位置が指定されていない場合には、ステップＳ３１００へと処理を進める。例えば、超音波断層画像上に対応病変部が表示されていない場合には、ユーザは位置を指定せずに、Ｓ３０１０で再度超音波断層画像を取得する。

（Ｓ３０５０：補正値の算出）
ステップＳ３０５０において、情報処理装置１００は、位置姿勢取得部１１２の処理として、ステップＳ３０４０で取得した対応病変部の位置と、ステップＳ３０００で取得した注目病変部の位置との間のオフセット（補正値）を算出する。そして、この値を位置合わせの補正パラメータとしてメモリに保持する。なお、位置姿勢取得部１１２は、補正パラメータを保持している場合には、Ｓ３０１０で新たに取得した超音波断層画像をＭＲＩ装置座標系に変換し、該変換した座標系における超音波断層画像の位置を補正パラメータ（オフセット）分だけ補正する（差し引く）。これにより、位置姿勢センサの計測誤差や被検体の変形などの影響を補正することができる。

（Ｓ３０６０：探索モードから連動モードへの切り替え）
ステップＳ３０６０において、情報処理装置１００は、システムの操作モードを探索モードから連動モードに切り替え、ステップＳ３１００へと処理を進める。このモードの場合、超音波断層画像から位置を指定する工程を経ずに、上記補正された超音波断層画像を取得し続けることができる。例えば、ユーザが手術で切除する病変の大きさを知る必要がある場合に、病変の広がり具合を観察したいことがある。この場合、補正された超音波断層画像により対応病変部の周辺を観察することができるので、便利である。

（Ｓ３０７０：連動モードにおける画像の生成及び表示）
ステップＳ３０７０において、情報処理装置１００は、連動モードにおける画像の生成及び表示を行う。具体的には、断面画像生成部１３０の処理として、ステップＳ３０１０で得た超音波断層画像の位置姿勢に基づき、当該断層画像と同じ断面を三次元ボリュームデータから切り出した断面画像を生成する。そして、画像合成部１４０の処理として、ステップＳ３０１０で得た超音波断層画像と、ステップＳ６０３０で得た断面画像とを合成する。例えば、これらの画像を左右に並べた画像を生成する。このとき、断面画像の平面内に注目病変部の位置が含まれる場合には、超音波断層画像と断面画像の夫々の対応する位置に、注目病変部を表す矩形マーク等を重畳して描画する。また、表示制御部１５０の処理として、合成した画像を表示部１６０に表示する。

（Ｓ３０８０：連動モードから探索モードに切り替えるか否かの判定）
ステップＳ３０８０において、情報処理装置１００は、システムの操作モードを連動モードから探索モードに切り替えるか否かの判定を行う。例えば、操作者がキーボード１００４の所定のキー（操作モード切替キー）を押すなどして入力した切り替えの指示を取得する。そして、操作モードを切り替えると判定した場合にはステップＳ３０９０へと処理を進め、切り替えないと判定した場合にはＳ３１００へと処理を進める。例えば、対応病変部の画像と類似する画像が表示されている場合、ユーザがＳ３０４０で実際の対応病変部とは異なる領域を指定している可能性がある。このような場合、ユーザは、連動モードで再度取得した超音波断層画像により対応病変部の周辺を観察して、もし実際の対応病変部に気がついた場合には、Ｓ３０８０で探索モードに切り替えて、対応病変部の位置を取得し直すことができる。

（Ｓ３０９０：連動モードから探索モードへの切り替え）
ステップＳ３０９０において、情報処理装置１００は、システムの操作モードを連動モードから探索モードに切り替え、ステップＳ３１００へと処理を進める。

（Ｓ３１００：全体の処理を終了するか否かの判定）
ステップＳ３１００において、情報処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、キーボード１００４の所定のキー（終了キー）を操作者が押すなどして入力した終了の指示を取得する。終了すると判定した場合には、情報処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ３０１０へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ３０１０以降の処理を再度実行する。

以上によって、情報処理装置１００の処理が実行される。

（探索モードにおける画像の生成及び表示）
次に、ステップＳ３０３０において情報処理装置１００が行う、探索モードにおける表示画像の生成処理の詳細を、図４のフローチャートを用いて説明する。

（Ｓ４０００：断面画像の取得）
ステップＳ４０００において、情報処理装置１００は、断面画像生成部１３０の処理として、ステップＳ３０００で得た三次元ボリュームデータおよび注目病変部の位置と、ステップＳ３０１０で得た超音波断層画像の位置姿勢とに基づき、探索モードにおける断面画像を生成する。

はじめに、断面画像生成部１３０は、注目病変部の位置と超音波断層画像の姿勢に基づく断面（平面）を算出する。具体的には、まず、断面座標系（断面の位置姿勢を表す座標系）の位置姿勢を初期化する。次に、断面の姿勢が超音波断層画像の姿勢と一致するように、断面を回転させる。そして、注目病変部が断面上に位置するように、断面を並行移動させる。以上によって算出された断面は、注目病変部を面内に含んで（すなわち、断面を表す平面が注目病変部を通って）、かつ、超音波断層画像と同一の姿勢を有する（超音波断層画像と平行な）断面となる。最後に、断面上において断面画像を生成する範囲を算出する。例えば、超音波断層画像の位置姿勢に基づいて超音波断層画像の４隅の点の位置を算出し、夫々の点から上記断面に下ろした垂線の足からなる４点によって、生成する断面画像の範囲を決定する。これにより、超音波断層画像の姿勢を動かしても、断面画像の姿勢も連動して動くため、ユーザは観察し易い。

最後に、断面画像生成部１３０は、上記で求めた断面に対応する画像を、三次元ボリュームデータから切り出して生成する。なお、指定した断面の画像を三次元ボリュームデータから切り出して生成する方法については周知であるので、その詳細に関する説明は省略する。
（Ｓ４０１０：注目病変部の存在範囲の取得）
ステップＳ４０１０において、情報処理装置１００は、存在範囲算出部１３５の処理として、ステップＳ３０１０で得た超音波断層画像上における対応病変部の存在範囲を算出する。本実施形態において、３次元空間中における対応病変部の存在範囲は、ステップＳ３０００で得た注目病変の位置が中心で、Ｓ３０１５で得た誤差推定値が半径である球として定義される。また、超音波断層画像上における対応病変部の存在範囲は、３次元空間中における対応病変部の存在範囲を表わす球と当該断層画像とが交差する領域（球の断面）である円として定義される。したがって、画像合成部１４０は、超音波断層画像上におけるこの円の中心位置と半径を算出する。なお、３次元空間中で定義される球と平面との交差領域の算出方法は周知のものであるので、その説明は省略する。なお、存在範囲を表す球と超音波断層画像が交差しない場合には、「断面上に存在範囲はない」という情報が保存される。
（Ｓ４０２０：断層画像に注目病変部の存在範囲を描画）
ステップＳ４０２０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ４０１０で算出した超音波断層画像上における対応病変部の存在範囲を表す情報を、当該超音波画像上に重畳して描画する。このとき、対応病変部の存在し得る範囲を円で表示し、その円の外側に半透明のマスクをかけ、内側の超音波断層画像を通常通りに表示させることが好ましい。これにより、実際の対応病変部を探索する探索領域が明確になる。また、ユーザが実際の対応病変部を探索し易いので、効率良く探索できる。また、対応病変部の存在し得る範囲を円のラインのみで描画しても良い。また、対応病変部の存在し得る範囲の内側に色を付ける場合には、探索できる程度に透明な色を付けることが好ましい。本ステップの処理の結果として、図５（ａ）に示すような、対応病変部５０１の存在範囲５０２が断層画像上に重畳された超音波断層画像５０３が生成される。なお、ステップＳ４０１０において「断面上に存在範囲はない」と判定され場合には、本ステップの処理は実行されない。
（Ｓ４０３０：断層画像と断面画像を合成）
ステップＳ４０３０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ４０００で得た断面画像と、ステップＳ４０２０で得た超音波断層画像（正確には、対応病変部の存在範囲が断層画像上に重畳された画像）を合成した画像を生成する。例えば、これらの画像を左右に並べた画像を生成する。そして、表示制御部１５０の処理として、合成した画像を表示部１６０に表示する。また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。

以上によって、超音波断層画像と同じ姿勢で注目病変部を含む断面画像と、対応病変部の存在範囲が描画された超音波断層画像との合成画像が、操作者に提示される。

以上のように、本実施形態に係る情報処理装置によると、操作者が対応病変部を探索する際の目安として、位置合わせの誤差を考慮した対応病変部の存在範囲が超音波断層画像上に提示される。その結果、必要以上に広い範囲を探してしまうという操作者の不要な作業を減らし、探索の作業負荷を軽減することができる。また、探索の範囲を限定できるので、操作者が誤った対応付けを行ってしまう危険性を軽減することができる。

なお、上記の実施形態では、対応病変部の存在範囲を超音波断層画像上に重畳して提示する際に、ＭＲＩの断面画像として超音波断層画像と同じ姿勢で注目病変部を含む断面画像を提示していた。しかし、提示するＭＲＩの断面画像はその他の形態であってもよい。例えば、本実施形態の連動モードと同様に、超音波断層画像の位置と姿勢の両方と連動した（超音波断層画像と同一の断面を切り出した）断面画像を表示してもよい。また、医師が指定したＭＲＩの断面画像を静止画像として（姿勢を連動させずに）表示してもよい。例えば、医師が注目病変部を指摘した際のＭＲＩの断面画像を表示してもよい。また、ＭＲＩの断面画像は必ずしも表示しなくてもよい。

また、超音波断層画像の位置と姿勢の両方と連動した断面画像を表示する場合、注目病変部の数は複数であってもよい。この場合、夫々の注目病変部に関して３次元空間中における対応病変部の存在範囲が球として定義されるので、夫々の球と超音波断層画像の交差領域を求め、当該断層画像上での対応病変部の存在範囲として表示してもよい。

（第３の実施形態）
本実施形態に係る情報処理システムは、三次元画像データ（参照画像）中の注目領域（例えば、注目病変部）に対応する対応領域（対応病変部）が存在し得る領域を、実時間で撮影している超音波断層画像（対象画像）中に表示する。そうすることで、操作者（医師や技師）が超音波断層画像上で対応領域を容易に探索して同定できるようにする。以下、本実施形態に係る情報処理システムについて説明する。

図７は、本実施形態に係る情報処理システムの構成を示す。同図に示すように、本実施形態における情報処理装置９００は、断層画像取得部（二次元画像取得部とも呼ぶ。）９１０、位置姿勢取得部９１２、三次元画像データ取得部（三次元画像取得部とも呼ぶ。）９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部（断面画像取得部とも呼ぶ。）９３０、存在範囲算出部９３５、画像合成部９４０、表示制御部９５０によって構成される。そして、三次元画像データや後に記述する誤差要因情報等を保持するデータサーバ９９０に接続されている。また、情報処理装置９００は、被検体の超音波断層画像を撮像する第２医用画像収集装置９８０としての超音波画像診断装置にも接続されている。
（三次元画像データの取得）
データサーバ９９０が保持する三次元画像データは、第１医用画像収集装置９７０としてのＭＲＩ装置やＸ線ＣＴ装置などによって被検体を予め撮像して得られた画像である。なお、以下では第１医用画像収集装置９７０としてＭＲＩ装置を用いる場合を例として説明する。本実施例では、三次元画像データは、三次元のボクセルに輝度値を格納した三次元ボリュームデータとして表現されているものとする。また、各ボクセルの座標はＭＲＩ装置座標系で表現されているものとする。データサーバ９９０が保持する三次元画像データは、三次元画像データ取得部９２０により取得され、情報処理装置９００に入力される。
（注目領域の取得）
さらに、データサーバ９９０は、三次元画像データ中の注目領域を表す情報（詳細は後述する）を保持している。データサーバ９９０が保持する注目領域を表す情報は、注目領域取得部９２２により取得され、情報処理装置９００に入力される。なお、以下の説明では、注目領域を表す情報も、三次元画像データと同様にＭＲＩ装置座標系で表されているものとする。
（断層画像の取得）
第２医用画像収集装置９８０としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。超音波断層画像は、断層画像取得部９１０により取得され、情報処理装置９００に逐次入力される。また、超音波探触子の位置姿勢は不図示の位置姿勢センサで計測され、位置姿勢取得部９１２により取得されて、情報処理装置９００に入力される。ここで、超音波探触子の位置姿勢は、例えば被検体を基準とした基準座標系における位置姿勢で表されている。また、位置姿勢取得部９１２は、基準座標系における超音波探触子の位置姿勢を取得して、これに基づいてＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

（存在範囲の算出）
存在範囲算出部９３５は、注目領域取得部９２２が取得した注目領域を表す情報と、位置姿勢取得部９１２が取得した超音波断層画像の位置姿勢とに基づいて、注目領域に対応する領域（対応領域）を超音波座標系上で推定する。ここで超音波座標系とは、超音波断層画像を基準とした３次元座標系であり、例えば、該断層画像上の１点を原点として、該断層画像の平面上にｘ軸とｙ軸を設定し、該平面に直交する方向にｚ軸を設定した座標系として定義できる。そして、この推定した対応領域と、後述する誤差取得部９２３で取得する誤差推定値とに基づいて、超音波断層画像上における対応領域の存在範囲（第二の領域）を算出する。

（誤差推定値の取得）
データサーバ９９０は、前述した情報に加えて、対応領域の誤差推定値を算出するための情報（誤差要因情報。詳細は後述する。）を保持している。ここで、誤差要因情報とは、言い換えれば、超音波断層画像上における対応領域の存在範囲を算出するための情報である。データサーバ９９０が保持する誤差要因情報は、誤差取得部９２３を介して情報処理装置９００に入力される。誤差取得部９２３は、取得した誤差要因情報に基づいて対応領域の誤差推定値を算出する。そして、算出した誤差推定値を存在範囲算出部９３５へと出力する。

（断面画像の生成）
断面画像生成部９３０は、三次元画像データ取得部９２０の出力である三次元ボリュームデータと、位置姿勢取得部９１２の出力である超音波断層画像の位置姿勢を入力する。そして、これらのデータに基づいて、超音波断層画像に対応する断面画像を三次元ボリュームデータから生成して、画像合成部９４０へと出力する。画像合成部９４０は、対応病変部の存在範囲（第二の領域）を示す情報を存在範囲算出部９３５から取得して、断層画像取得部９１０から取得した超音波断層画像上に重畳して描画する。さらに、その画像と、断面画像生成部９３０から取得した断面画像とを合成した（例えば左右に並べた）合成画像を生成して、これを表示制御部９５０あるいは外部へと出力する。表示制御部９５０は、画像合成部９４０の出力である合成画像を取得し、これを表示部９６０に表示する。

なお、図７に示した各部（断層画像取得部９１０、位置姿勢取得部９１２、三次元画像データ取得部９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、存在範囲算出部９３５、画像合成部９４０、表示制御部９５０）の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

（コンピュータの基本構成）
図１７は、断層画像取得部９１０、位置姿勢取得部９１２、三次元画像データ取得部９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、存在範囲算出部９３５、画像合成部９４０、表示制御部９５０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部９１０、位置姿勢取得部９１２、三次元画像データ取得部９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、存在範囲算出部９３５、画像合成部９４０、表示制御部９５０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、表示部９６０がこれに相当する。表示部１００６は、画像合成部９４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部９１０、位置姿勢取得部９１２、三次元画像データ取得部９２０、注目領域取得部９２２、および誤差取得部９２３の機能の一部は、Ｉ／Ｆ１００９によって実現される。

上述した各構成要素は、バス１０１０によって相互に接続される。

図９は、情報処理装置９００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

（Ｓ１１０００：データの入力）
ステップＳ１１０００において、情報処理装置９００は、三次元画像データ取得部９２０の処理として、データサーバ９９０から三次元画像データを取得する。また、注目領域取得部９２２の処理として、データサーバ９９０から注目領域を表す情報を取得する。ここで、注目領域を表す情報とは、例えば、注目病変部の位置（領域の重心位置）や、注目病変部の領域境界に位置する点群の座標である。

（Ｓ１１０１０：誤差要因情報の入力）
ステップＳ１１０１０において、情報処理装置９００は、誤差取得部９２３の処理として、誤差推定値の算出に用いる各種の誤差要因情報（後述）をデータサーバ９９０から取得する。

（Ｓ１１０２０：断層画像の取得）
ステップＳ１１０２０において、情報処理装置９００は、断層画像取得部９１０の処理として、第２医用画像収集装置９８０から超音波断層画像を取得する。また、位置姿勢取得部９１２の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第２医用画像収集装置９８０から取得する。そして、既知の値として予め記憶している校正データを利用して、基準座標系における超音波探触子の位置姿勢から、ＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

（Ｓ１１０３０：誤差推定値の取得）
ステップＳ１１０３０において、情報処理装置９００は、誤差取得部９２３の処理として、ステップＳ１１０１０で取得した各種の誤差要因情報（誤差の算出に用いる各種データ）に基づいて、誤差推定値を算出する。

本実施形態において、ＭＲＩ装置座標系と基準座標系との間の関係は剛体変換により表すものとしている。しかし、ＭＲＩ画像を撮影した際のＭＲＩ装置座標系に対する被検体の位置姿勢と、超音波撮影を行う際の基準座標系に対する被検体の位置姿勢は、必ずしも正しく剛体変換の関係にあるとは限らない。そのため、前記座標系の間の関係を剛体変換により表す場合には、誤差が混入する場合がある。また、仮に前記両座標系における被検体の位置姿勢の違いが、正に剛体変換の関係にあったとしても、現実的にはその剛体変換を正しく求めることは困難であり、やはり誤差が混入する場合がある。また、誤差には、位置姿勢取得部９１２が取得する位置姿勢計測値に混入する誤差（位置姿勢計測誤差）も含まれている。

誤差推定値を算出する処理は、例えば第２医用画像収集装置９８０の超音波探触子の位置姿勢を計測する位置姿勢センサの特性等に基づいて実行することができる。例えば位置姿勢センサの計測方式毎に予め誤差の基準値を定めておき、使用するセンサの計測方式に応じて値を選択するようにできる。例えば、光学式センサに対して磁気式センサは一般に計測精度が低いため、光学式センサを使用しているという情報を誤差要因情報としてデータサーバ９９０から取得し、それに基づいて磁気式センサを使用している場合にくらべて小さい値として誤差推定値を算出するようにできる。また誤差推定値は、位置姿勢センサの計測方式の違いに限らず、位置姿勢センサの計測基準に対する空間的な位置や姿勢の関係に基づいて算出するようにできる。例えば、位置姿勢センサが磁気式のセンサにより構成される場合には、計測の基準となる磁気発生装置と超音波探触子との距離の関数として誤差の推定値を定義し、その距離が大きい場合には前記誤差推定値として大きな値を算出するようにできる。

また位置姿勢センサが光学式センサにより構成される場合には、超音波探触子に配置された複数の指標（マーカ）の位置を光学式センサで計測し、それらの位置に基づいて超音波探触子の位置姿勢を算出している。ここで、計測の基準となる光学式センサから見た複数の指標の分布が偏っている場合には、位置姿勢の誤差が大きくなる。そこで、光学式センサと超音波探触子との距離の関数として誤差の推定値を定義し、その値が大きい場合には、前記誤差推定値として大きな値を算出するようにできる。また、光学式センサから超音波探触子に向かうベクトルと複数の指標が配置された面の法線方向とのなす角度の関数として誤算推定値を定義し、その値が大きい場合には、前記誤差推定値として大きな値を算出するようにできる。

また誤差推定値は、注目病変部が存在する被検体における部位等に基づいて算出するようにできる。例えば、注目病変部が被検体の乳房などの軟組織に存在する場合には、ＭＲＩ画像の撮影時点と、超音波画像の撮影時点とで被検体の当該部位に変形が生じることが想定される。したがって、そのような部位に注目病変部が存在する場合には、誤差推定値を大きく算出するようにできる。同様に心拍による位置の変動が大きい心臓および心臓近傍の領域、または呼吸による位置の変動が大きい、肺および肺近傍の領域では、誤差推定値を大きく算出するようにできる。具体的には、注目病変部が存在する被検体内における部位（臓器名や臓器内における位置）を表す情報と、前記部位と誤差の大きさとの対応を記したデータ（テーブル）を誤差要因情報として取得し、これらの情報に基づいて誤差推定値を算出することができる。

また誤差推定値は、軸方向ごとに異なる値を算出するようにもできる。例えば、注目病変部が被検体の乳房などの軟組織に存在する場合、超音波探触子の操作方向には押しやりによる変形が生じやすいため、操作方向の誤差推定値を（操作方向と直交する２方向と比べて）大きく算出するようにできる。なお、超音波探触子の操作方向は、超音波探触子の現在と過去（例えば１００ミリ秒前）の位置姿勢に基づいて、公知の方法で算出することができる。この場合、誤差推定値は、方向と大きさを表す３本の直交するベクトルとして表現される。

また、ＭＲＩ装置座標系と基準座標系との校正を行う際に指標として用いた部位の位置等に関する情報を誤差要因情報として取得し、これらの部位と注目病変部との位置の関係に基づいて誤差推定値を算出するようにできる。例えば、前記校正に用いた指標が被検体の剣状突起である場合には、ＭＲＩ画像中における剣状突起の位置と、注目病変部との距離の関数として、誤差推定値を算出するようにできる。同様に、乳頭の位置を校正の指標として用いた場合には、ＭＲＩ画像中における乳頭と注目病変部との距離の関数として、誤差推定値を算出するようにできる。また、以上に例示した方法等を複数用いて複合的に誤差の推定を行い、誤差推定値を取得するようにしても良い。

（Ｓ１１０４０：断面画像の取得）
ステップＳ１１０４０において、情報処理装置９００は、断面画像生成部９３０の処理として、ステップＳ１１０２０で得た超音波断層画像に対応する参照画像の断面画像を生成する。具体的には、ステップＳ１１０２０で得た超音波断層画像の位置姿勢に基づき、ステップＳ１１０００で得た三次元ボリュームデータから該超音波断層画像と同じ断面を切り出した断面画像を生成する。

（Ｓ１１０５０：存在範囲の取得）
ステップＳ１１０５０において、情報処理装置９００は、存在範囲算出部９３５の処理として、ステップＳ１１０２０で得た超音波断層画像上における対応領域の存在範囲を算出する。

具体的には、存在範囲算出部９３５は、まず、超音波座標系における注目領域に対する対応領域を推定する。例えば、注目領域を表す情報として注目病変部の位置が与えられている場合には、対応領域を表す情報として、超音波座標系上における対応病変部の位置を推定する。また、注目領域を表す情報として注目病変部の領域境界に位置する点群の座標が与えられている場合には、対応領域を表す情報として、対応病変部の境界領域に位置する点群の座標を超音波座標系上で推定する。これらの推定は、位置姿勢取得部９１２が取得した超音波断層画像の位置姿勢に基づいて行うことができる。

次に、存在範囲算出部１３５は、上記で推定した対応領域とステップＳ１１０３０で取得した誤差推定値とに基づいて、超音波断層画像上における対応領域の存在範囲を算出する。

対応領域を表す情報が対応病変部の位置であって、かつ、誤差推定値が軸方向に依存していない場合には、超音波座標系における対応病変部の三次元の存在範囲は、推定した対応病変部の位置が中心で、誤差推定値が半径である球として定義される。また、超音波断層画像上における対応病変部の存在範囲は、当該球と当該断層画像とが交差する領域（球の断面）である円として定義される。したがって、存在範囲算出部９３５は、対応病変部の存在範囲として、超音波断層画像上におけるこの円の中心位置と半径を算出する。なお、３次元空間中で定義される球と平面との交差領域の算出方法は周知のものであるので、その説明は省略する。なお、当該球と当該断層画像が交差しない場合には、「断面上に存在範囲はない」という情報が保存される。

また、対応領域を表す情報が対応病変部の位置であって、かつ、誤差推定値が軸方向ごとに与えられる場合には、超音波座標系における対応病変部の三次元の存在範囲は、推定した対応病変部の位置を中心として、各軸方向の誤差推定値を夫々の軸方向の半径とした楕円体として定義される。したがって、存在範囲算出部９３５は、該楕円体と当該断層画像との交差領域（楕円体の断面）を、超音波断層画像上における対応病変部の存在範囲として算出する。

一方、対応領域を表す情報が対応病変部の領域境界に位置する点群の座標である場合には、該点群の夫々について上記と同様に誤差推定値を半径とする球または楕円体を求め、その和集合として定義される領域が対応領域の三次元の存在範囲として定義できる。したがって、存在範囲算出部９３５は、該領域と超音波断層画像との交差領域を、該断層画像上における対応領域の存在範囲として算出する。

（Ｓ１１０６０：断層画像に存在範囲を描画）
ステップＳ１１０６０において、情報処理装置９００は、画像合成部９４０の処理として、ステップＳ１１０５０で算出した超音波断層画像上における対応病変部の存在範囲を表す情報を、当該超音波画像上に重畳して描画する。このとき、対応病変部の存在し得る範囲を閉曲線で表示し、その閉曲線の外側に半透明のマスクをかけ、内側の超音波断層画像を通常通りに表示させることが好ましい。これにより、実際の対応病変部を探索する探索領域が明確になる。また、ユーザが実際の対応病変部を探索し易いので、効率良く探索できる。また、対応病変部の存在し得る範囲を閉曲線のラインのみで描画しても良い。また、対応病変部の存在し得る範囲の内側に色を付ける場合には、探索できる程度に透明な色を付けることが好ましい。本ステップの処理の結果として、図５（ａ）に示すような、対応病変部５０１の存在範囲５０２が断層画像上に重畳された超音波断層画像５０３が生成される。なお、ステップＳ１１０５０において「断面上に存在範囲はない」と判定され場合には、本ステップの処理は実行されない。

なお、該断層画像がステップＳ１１０５０で求めた対応領域自身と交差しているか否かを判定して、交差している場合には該断層画像上における交差領域を該断層画像上に重畳して表示するようにしてよい。
（Ｓ１１０７０：断層画像と断面画像を合成）
ステップＳ１１０７０において、情報処理装置９００は、画像合成部９４０の処理として、ステップＳ１１０４０で得た断面画像と、ステップＳ１１０６０で得た超音波断層画像に対応病変部の存在範囲を重畳した画像を生成する。例えば、これらの画像を左右に並べた画像を生成する。そして、表示制御部９５０の処理として、合成した画像を表示部９６０に表示する。また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。

（Ｓ１１０８０：全体の処理を終了するか否かの判定）
ステップＳ１１０８０において、情報処理装置９００は、全体の処理を終了するか否かの判定を行う。例えば、キーボード１００４の所定のキー（終了キー）を操作者が押すなどして入力した終了の指示を取得する。終了すると判定した場合には、情報処理装置９００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ１１０１０へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ１１０１０以降の処理を再度実行する。

以上によって、情報処理装置９００の処理が実行される。

以上のように、本実施形態に係る情報処理装置によると、操作者が対応病変部を探索する際の目安として、位置推定の誤差を考慮した対応病変部の存在範囲が超音波断層画像上に提示される。その結果、必要以上に広い範囲を探してしまうという操作者の不要な作業を減らし、探索の作業負荷を軽減することができる。また、探索の範囲を限定できるので、操作者が誤った対応付けを行ってしまう危険性を軽減することができる。

なお、上記の実施形態では、超音波断層画像と同一となる断面を参照画像である三次元画像データから切り出した断面画像を超音波断層画像と並べて提示していたが、この断面画像は必ずしも表示しなくてよい。この場合、参照画像である三次元画像データの取得や、断面画像の生成処理は行わなくてもよい。

（第４の実施形態：変形推定を含む）
第３の実施形態に係る情報処理システムは、三次元画像データ撮影時の被検体の形状と、超音波撮影時の被検体の形状は変化していない（剛体である）と仮定していた。そして、被検体に対する超音波探触子の位置姿勢を計測することで、超音波座標系における注目領域の対応領域（及びその存在範囲）を推定していた。これに対し、本実施形態では、三次元画像データ撮影時の被検体の形状から超音波撮影時の被検体の形状への変形を推定して対応領域を求める場合に、その変形推定の曖昧さを考慮することによって、対応領域の存在範囲を推定する場合について説明する。以下、本実施形態に係る情報処理システムについて、第３の実施形態との相違部分についてのみ説明する。

図８は、本実施形態に係る情報処理システムの構成を示す。なお、図７と同じ部分については同じ番号、記号を付けており、その説明を省略する。図８に示すように、本実施形態における情報処理装置１０００は、形状計測装置１０８５に接続されている。

形状計測装置１０８５としてのレンジセンサは、超音波撮影時の被検体の表面形状を計測して表面形状データを得る。なお、形状計測装置１０８５は、対象物体の形状を計測できるのであればどのように構成されていてもよく、例えばステレオ画像計測装置などであってもよい。

形状取得部１０２７は、情報処理装置１０００へと入力される被検体の表面形状データを取得し、変形推定部１０２８へと出力する。

変形推定部１０２８は、形状取得部１０２７が取得した表面形状データに基づいて被検体の変形状態を推定する。そして、変形パラメータの変動範囲（詳細は後述する）を算出して、これを存在範囲算出部１０３５へと出力する。また、三次元画像データを超音波撮影時の被検体の形状へと変形させた変形三次元画像を生成し、これを断面画像生成部１０３０へと出力する。

存在範囲算出部１０３５は、注目領域取得部１２２が取得した注目領域を表す情報と、変形推定部１０２８が推定した変形パラメータの変動範囲とに基づいて、超音波断層画像上における対応領域の存在範囲を算出する。

断面画像生成部１０３０は、変形推定部１０２８の出力である変形三次元画像と、位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢に基づいて、該超音波断層画像に対応する断面画像を変形三次元画像から生成して、画像合成部１４０へと出力する。

図１０は、本実施例に係る情報処理装置１０００が行う全体の処理手順を示すフローチャートである。

（Ｓ１２０００：データの入力）
ステップＳ１２０００において、情報処理装置１０００は、第３の実施形態におけるステップＳ１１０００と同様の処理を行い、三次元画像データと注目領域を表す情報を取得する。また、形状取得部１０２７の処理として、形状計測装置１０８５から被検体の表面形状データを取得する。

（Ｓ１２００５：変形推定）
ステップＳ１２００５において、情報処理装置１０００は、変形推定部１０２８の処理として、ステップＳ１２０００で取得した表面形状データに基づいて被検体の変形状態を推定する。例えば、特開２０１１−０９２２６３に記載の変形推定方法を用いて、三次元画像データから被検体の変形モデルを生成し、これを該形状データにあてはめることでその変形パラメータを推定する。また、推定した変形パラメータに基づいて、三次元画像データを超音波撮影時の被検体の形状へと変形させた変形三次元画像を生成する。

（Ｓ１２０１０：変形パラメータの変動範囲の算出）
ステップＳ１２０１０において、情報処理装置１０００は、変形推定部１０２８の処理として、変形パラメータの変動範囲を算出する。ここで、変形パラメータの変動範囲とは、変形パラメータの値を推定値の近傍で変動させた場合に、形状データと変形形状との一致度の評価値が一定の範囲内におさまるようなパラメータの範囲である。この変動範囲は、変形パラメータの推定値の曖昧さを表している。

（Ｓ１２０１５：３次元空間中の存在範囲の算出）
ステップＳ１２０１５において、情報処理装置１０００は、存在範囲算出部１０３５の処理として、変形推定における解の曖昧さに基づいて、３次元空間中における対応領域の存在範囲を算出する。具体的には、ステップＳ１２０１０で求めた変動範囲で変形パラメータを変動させ、夫々の変形パラメータによる対応領域の変位を算出する。そして、その変位後の全ての領域を内包する領域を３次元空間中における対応領域の存在範囲とする。例えば、変位後の全ての領域を内包する最小の楕円体を導出して、これを対応領域の存在範囲とする。

（Ｓ１２０２０：断層画像の取得）
ステップＳ１２０２０において、情報処理装置１０００は、第３の実施形態におけるステップＳ１１０２０と同様の処理を行い、超音波断層画像とその位置姿勢を取得する。

（Ｓ１２０４０：断面画像の取得）
ステップＳ１２０４０において、情報処理装置１０００は、断面画像生成部１０３０の処理として、ステップＳ１２０２０で得た超音波断層画像に対応する変形三次元画像の断面画像を生成する。

（Ｓ１２０５０：断面画像上の存在範囲の取得）
ステップＳ１２０５０において、情報処理装置１０００は、存在範囲算出部１０３５の処理として、超音波断層画像上における対応領域の存在範囲を算出する。具体的には、ステップＳ１２０１５で算出した３次元空間中における対応領域の存在範囲を超音波断面で切り取ることによって、２次元平面上における対応領域の存在範囲を算出する。

なお、ステップＳ１２０６０，Ｓ１２０７０，Ｓ１２０８０の処理は、第３の実施形態におけるステップＳ１１０６０，Ｓ１１０７０，Ｓ１１０８０と同様であるので説明を省略する。

以上のように、本実施例に係る情報処理装置は、三次元画像データ撮影時の被検体の形状から超音波撮影時の被検体の形状への変形を推定して対応領域を求める場合に、その変形推定の曖昧さを考慮することによって、対応領域の存在範囲を算出する。そうすることで、注目病変部が被検体の乳房などの軟組織に存在する場合にも、ユーザは二次元画像上の実際の対応領域の探索範囲がより正確に分かるので、実際の対応領域をさらに効率良く探索することができる。
（第４の実施形態の変形例１：事前の変形シミュレーション群から算出）
本実施形態では、変形推定の曖昧さを考慮することで対応領域の存在範囲を算出する方法の一例として、変形パラメータ推定時の解周辺のパラメータの変動範囲に基づく方法を説明したが、本発明の実施はこれに限らない。

例えば、複数の変形シミュレーションによって変位した注目領域のばらつきに基づいて、対応領域の存在範囲を算出してもよい。例えば、注目病変部の重心位置を様々な変形シミュレーションによって変位させた後に、その変位後の全ての位置を内包する多面体（例えば全ての位置の凸包）や閉曲面（例えば楕円体）を算出して、それを対応病変部の存在範囲とすることができる。
（第４の実施形態の変形例２：変形に関する誤差推定値を用いる）
また、第４の実施形態のように変形を考慮する場合においても、第３の実施形態と同様に、誤差推定値を取得してそれに基づいて対応領域の存在範囲を算出しても良い。

例えば、過去の症例における変形推定の誤差分布に基づいて、対応領域の存在範囲を算出してもよい。例えば、乳房の大きさや病変の存在部位毎に誤差の統計値がデータサーバに保持されている場合を考える。このとき、被検体に関する乳房の大きさや病変の存在部位の情報を画像から取得し、それに基づき対応する統計値を取得して、これを誤差推定値として存在範囲を算出することもできる。

また、変形推定部が変形パラメータを推定する際の残差（超音波撮影時の被検体の形状と変形三次元画像の形状との乖離量）に基づいて誤差推定値を算出してもよい。例えば、残差が大きい場合には、誤差推定値を大きく算出するようにできる。

また、使用する変形推定方法に応じて誤差推定値を切り替えてもよい。例えば、高精度な変形推定方法を用いる場合には誤差推定値を小さく算出し、簡易な変形推定方法を用いる場合には誤差推定値を小さく算出するようにできる。

また、超音波探触子の表面位置と、断面画像中の体表位置との差異を算出し、これに基づいて誤差推定値を算出してもよい。例えば、差異が大きい場合には誤差推定値を大きく算出するようにできる。

また、誤差推定値は、変形推定の前処理として実施される体表検出など画像解析の信頼度に基づいて算出してもよい。例えば、画像解析の信頼度が低い場合には誤差推定値を大きく算出するようにできる。

なお、本変形例において、誤差推定値を一つの値として算出する場合には、対応病変部の存在範囲は、第３の実施形態と同様に、注目病変位置が中心で誤差推定値が半径である球として定義すればよい。
（第５の実施形態）
上述した実施形態によれば、三次元画像（参照画像）データ中の所定の箇所（注目領域、注目病変部）に対応する箇所（対応領域、対応病変部）を含む三次元存在範囲のうち、超音波断層画像における対応病変部が存在し得る範囲（二次元領域）を、位置推定の誤差を考慮することで算出することができる。ここで、３次元存在範囲とは、対応病変部が存在し得る三次元領域のことであり、超音波断層画像（対象画像）と同じ空間（座標系）で表したものである。そして、ユーザが対応病変部を探索する際の目安として、該存在範囲が超音波断層画像上に提示される。これにより、ユーザは、対応病変部の探索を行うべき範囲（探索範囲）が分かるので、対応病変部を効率良く探索して同定することができる。

しかしながら、上述した実施形態では、対応病変部の三次元存在範囲の一断面を表示しているだけなので、三次元の存在範囲のどの場所を切り出したものなのかを容易に把握することが出来なかった。例えば、三次元の存在範囲が球形状で与えられる場合には、超音波断層画像が三次元の存在範囲のどの部分と交差していても、断層画像上における２次元存在範囲は常に円形状で表示される。従って、球の大きさを知らないユーザにとっては、現在の交差位置が球の中心に近い部分なのか、球の端に近い部分なのかを把握することが容易ではない。

そこで、本実施形態の画像処理システムは、三次元存在範囲のうち、超音波断層画像として、どの位置が切り出されているのかを示す情報（例えば、断層画像の位置情報に対応付けられた色情報）を、二次元領域（交差領域）を示す情報（表示形態）に付加して表示する。このとき、表示形態変更部（表示情報生成部９３７の一例）が、断層画像の位置情報に応じて、該位置情報に対応付けられた上記２次元領域を示す表示形態に変更する。これにより、ユーザは、三次元存在範囲（三次元領域）の全体像を容易に把握でき、対応病変部を効率良く探索して同定することができる。なお、三次元画像の注目領域を手動あるいは自動に指定する指定部（不図示）を有することが望ましい。また、注目領域に対応する対応領域が存在する存在範囲を所定の領域として決定する決定部（表示情報生成部９３７の一例）を有することが望ましい。

まず、図１１は、本実施形態に係る情報処理システムの構成を示す。本実施形態における情報処理装置９００は、断層画像取得部９１０、位置姿勢取得部９１２、３次元画像データ取得部９２０（三次元画像取得部とも呼ぶ）、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、三次元存在範囲算出部（三次元領域取得部とも呼ぶ）９３５、２次元存在範囲取得部（二次元領域取得部、交差領域取得部とも呼ぶ）９３４、位置情報算出部９３６、画像合成部９４０、表示制御部９５０によって構成される。そして、３次元画像データや後に記述する誤差要因情報等を保持するデータサーバ９９０に接続されている。また、情報処理装置９００は、被検体の超音波断層画像を撮像する第２医用画像収集装置９８０としての超音波画像診断装置にも接続されている。

（三次元画像データの取得）
データサーバ９９０が保持する３次元画像データは、第１医用画像収集装置９７０としてのＭＲＩ装置やＸ線ＣＴ装置などによって被検体を予め撮像して得られた画像である。なお、以下では第１医用画像収集装置９７０としてＭＲＩ装置を用いる場合を例として説明する。本実施例では、３次元画像データは、３次元のボクセルに輝度値を格納した三次元ボリュームデータとして表現されているものとする。また、各ボクセルの座標はＭＲＩ装置座標系で表現されているものとする。データサーバ９９０が保持する３次元画像データは、三次元画像データ取得部９２０により取得され、情報処理装置９００に入力される。

（注目領域の取得）
さらに、データサーバ９９０は、３次元画像データ中の注目領域を表す情報（詳細は後述する）を保持している。データサーバ９９０が保持する注目領域を表す情報は、注目領域取得部９２２により取得され、情報処理装置９００に入力される。なお、以下の説明では、注目領域を表す情報も、３次元画像データと同様にＭＲＩ装置座標系で表されているものとする。

（断層画像の取得）
第２医用画像収集装置９８０としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。超音波断層画像は、断層画像取得部９１０により取得され、情報処理装置９００に逐次入力される。また、超音波探触子の位置姿勢は不図示の位置姿勢センサで計測され、位置姿勢取得部９１２により取得されて、情報処理装置９００に入力される。ここで、超音波探触子の位置姿勢は、例えば被検体を基準とした基準座標系における位置姿勢で表されている。また、位置姿勢取得部９１２は、基準座標系における超音波探触子の位置姿勢を取得して、これに基づいてＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

（三次元存在範囲の算出）
三次元存在範囲算出部９３５は、注目領域取得部９２２が取得した注目領域を表す情報と、位置姿勢取得部９１２が取得した超音波断層画像の位置姿勢とに基づいて、注目領域に対応する領域（対応領域）を超音波座標系上で推定する。ここで超音波座標系とは、超音波断層画像を基準とした三次元座標系であり、例えば、該断層画像上の１点を原点として、該断層画像の平面上にｘ軸とｙ軸を設定し、該平面に直交する方向にｚ軸を設定した座標系として定義できる。そして、この推定した対応領域と、後述する誤差取得部９２３で取得する誤差推定値とに基づいて、超音波座標系における対応領域の三次元存在範囲（本実施形態における３次元領域）を算出する。

（二次元存在範囲の取得）
二次元存在範囲取得部９３４は、三次元存在範囲算出部９３５が算出した三次元存在範囲に基づいて、超音波断層画像と三次元存在範囲との交差領域を求め、これを超音波断層画像上における対応領域の二次元存在範囲として表示情報生成部９３７へと出力する。

（位置情報の算出）
位置情報算出部９３６は、三次元存在範囲算出部９３５から取得した超音波座標系における対応領域の３次元存在範囲を表す情報と、超音波断層画像の位置姿勢の情報とに基づいて、三次元存在範囲に対する超音波断層画像の相対的な位置情報を算出する。そして、算出した相対的な位置情報を表示情報生成部９３７へと出力する。

（存在範囲の表示情報生成）
表示情報生成部９３７は、二次元存在範囲取得部９３４から取得した二次元存在範囲の情報と、位置情報算出部９３６から取得した超音波断層画像の相対的な位置情報とに基づいて、相対的な位置情報を付加した二次元存在範囲の表示情報を生成する。

（誤差推定値の取得）
データサーバ９９０は、前述した情報に加えて、対応領域の誤差推定値を算出するための情報（誤差要因情報。詳細は後述する。）を保持している。ここで、誤差要因情報とは、言い換えれば、超音波断層画像上における対応領域の三次元存在範囲を算出するための情報である。データサーバ９９０が保持する誤差要因情報は、誤差取得部９２３を介して情報処理装置９００に入力される。誤差取得部９２３は、取得した誤差要因情報に基づいて対応領域の誤差推定値を算出する。そして、算出した誤差推定値を３次元存在範囲算出部９３５へと出力する。

（断面画像の生成）
断面画像生成部９３０は、三次元画像データ取得部９２０の出力である三次元ボリュームデータと、位置姿勢取得部９１２の出力である超音波断層画像の位置姿勢を入力する。そして、これらのデータに基づいて、超音波断層画像に対応する断面画像を三次元ボリュームデータから生成して、画像合成部９４０へと出力する。画像合成部９４０は、二次元存在範囲の表示情報を表示情報生成部９３６から取得して、断層画像取得部９１０から取得した超音波断層画像上に重畳して描画する。さらに、その画像と、断面画像生成部９３０から取得した断面画像とを合成した（例えば左右に並べた）合成画像を生成して、これを表示制御部９５０あるいは外部へと出力する。表示制御部９５０は、画像合成部９４０の出力である合成画像を取得し、これを表示部９６０に表示する。

なお、図１１に示した各部（断層画像取得部９１０、位置姿勢取得部９１２、三次元画像データ取得部９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、三次元存在範囲算出部９３５、二次元存在範囲取得部９３４、位置情報算出部９３６、表示情報生成部９３７、画像合成部９４０、表示制御部９５０）の少なくとも一部は、独立した装置として実現しても良い。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現しても良い。本実施形態では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

（コンピュータの基本構成）
図１７は、断層画像取得部９１０、位置姿勢取得部９１２、三次元画像データ取得部９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、三次元存在範囲算出部９３５、二次元存在範囲取得部９３４、位置情報算出部９３６、表示情報生成部９３７、画像合成部９４０、表示制御部９５０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部９１０、位置姿勢取得部９１２、３次元画像データ取得部９２０、注目領域取得部９２２、誤差取得部９２３、断面画像生成部９３０、３次元存在範囲算出部９３５、２次元存在範囲取得部９３４、位置情報算出部９３６、表示情報生成部９３７、画像合成部９４０、表示制御部９５０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、ユーザはこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、表示部９６０がこれに相当する。表示部１００６は、画像合成部９４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部９１０、位置姿勢取得部９１２、３次元画像データ取得部９２０、注目領域取得部９２２、および誤差取得部９２３の機能の一部は、Ｉ／Ｆ１００９によって実現される。

上述した各構成要素は、バス１０１０によって相互に接続される。

図１２は、情報処理装置９００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

（Ｓ１１０００：データの入力）
ステップＳ１１０００において、情報処理装置９００は、三次元画像データ取得部９２０の処理として、データサーバ９９０から３次元画像データを取得する。また、注目領域取得部９２２の処理として、データサーバ９９０から注目領域を表す情報を取得する。ここで、注目領域を表す情報とは、例えば、注目病変部の位置（領域の重心位置）や、注目病変部の領域境界に位置する点群の座標である。

（Ｓ１１０１０：誤差要因情報の入力）
ステップＳ１１０１０において、情報処理装置９００は、誤差取得部９２３の処理として、誤差推定値の算出に用いる各種の誤差要因情報をデータサーバ９９０から取得する。ここで、誤差要因情報とは、超音波断層画像上における対応領域の存在領域を算出するための情報である。例えば、超音波探触子の位置姿勢を計測する位置姿勢センサの種別（例えば、センサＡ，センサＢなど）を表す情報を、誤差要因情報としてデータサーバ９９０から取得する。

（Ｓ１１０２０：断層画像の取得）
ステップＳ１１０２０において、情報処理装置９００は、断層画像取得部９１０の処理として、第２医用画像収集装置９８０から超音波断層画像を取得する。また、位置姿勢取得部９１２の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第２医用画像収集装置９８０から取得する。そして、既知の値として予め記憶している校正データを利用して、基準座標系における超音波探触子の位置姿勢から、ＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

（Ｓ１１０３０：誤差推定値の取得）
ステップＳ１１０３０において、情報処理装置９００は、誤差取得部９２３の処理として、ステップＳ１１０１０で取得した各種の誤差要因情報（誤差の算出に用いる各種データ）に基づいて、誤差推定値を算出し、三次元存在領域算出部９３５に出力する。

誤差推定値を算出する処理は、例えば超音波探触子の位置姿勢を計測する位置姿勢センサの特性等に基づいて実行することができる。位置姿勢センサの種別毎に予め誤差の基準値を定めておき、使用するセンサの種別に応じて値を選択するようにできる。例えば、ステップＳ１１０１０で入力した誤差要因情報が、光学式センサであるセンサＡを使用しているという情報の場合、磁気式センサであるセンサＢを使用している場合に比べて小さい値として誤差推定値を算出するようにできる。誤差を推定する処理は、他の処理であっても良い。

（Ｓ１１０４０：断面画像の取得）
ステップＳ１１０４０において、情報処理装置９００は、断面画像生成部９３０の処理として、ステップＳ１１０２０で得た超音波断層画像に対応する参照画像の断面画像を生成する。具体的には、ステップＳ１１０２０で得た超音波断層画像の位置姿勢に基づき、ステップＳ１１０００で得た３次元ボリュームデータから該超音波断層画像と同じ断面を切り出した断面画像を生成する。

（Ｓ１１０５０：３次元存在範囲の取得）
ステップＳ１１０５０において、情報処理装置９００は、三次元存在範囲算出部９３５の処理として、ステップＳ１１０２０で得た超音波断層画像の超音波座標系における対応領域の三次元存在範囲（３次元領域）を算出する。

具体的には、三次元存在範囲算出部９３５は、まず、超音波座標系における注目領域に対する対応領域を推定する。例えば、注目領域を表す情報として注目病変部の位置が与えられている場合には、対応領域を表す情報として、超音波座標系における対応病変部の位置を推定する。

次に、三次元存在範囲算出部９３５は、上記で推定した対応領域とステップＳ１１０３０で取得した誤差推定値とに基づいて、超音波座標系における対応領域の三次元存在範囲を算出する。例えば、対応領域を表す情報が対応病変部の位置であって、かつ、誤差推定値が軸方向に依存していない場合には、超音波座標系における対応病変部の３次元存在範囲は、推定した対応病変部の位置が中心で、誤差推定値が半径である球として算出される。

（Ｓ１１０５１：２次元存在範囲の取得）
ステップＳ１１０５１において、情報処理装置９００は、２次元存在範囲取得部９３４の処理として、３次元存在範囲算出部９３５が算出した３次元存在範囲に基づいて、超音波断層画像と３次元存在範囲との交差領域（２次元存在範囲）を求め、これを表示情報生成部９３７へと出力する。３次元存在範囲が球の場合、２次元存在範囲は当該球と当該断層画像とが交差する領域（球の断面）である円として定義される。したがって、２次元存在範囲取得部９３４は、超音波断層画像上におけるこの円の中心位置と半径を２次元存在範囲として算出する。なお、３次元空間中で定義される球と平面との交差領域の算出方法は周知のものであるので、その説明は省略する。なお、当該球と当該断層画像が交差しない場合には、「断面上に存在範囲はない」という情報が保存される。

（Ｓ１１０５２：断層画像の位置情報を算出）
ステップＳ１１０５２において、情報処理装置９００は、位置情報算出部９３６の処理として、３次元存在範囲算出部９３５から３次元存在範囲と超音波断層画像の位置情報を取得し、３次元存在範囲における超音波断層画像の相対的位置情報を算出する。ただし、ステップＳ１１０５１において「断面上に存在範囲はない」と判定された場合には、本ステップの処理は実行されない。以下に、具体的な算出方法を示す。

図１３は、３次元存在範囲における超音波断層画像の位置情報を示す図である。３０１は３次元存在範囲、３０２は超音波断層画像、３０３はステップＳ１１０５０で算出した、３次元存在範囲３０１を超音波断面３０２によって切り取ることで得られた２次元存在範囲を表している。

このとき、情報処理装置９００は、超音波断層画像３０２と平行な平面（以降、平行平面と呼ぶ）を３次元空間中に設定し、設定した平行平面を超音波断層画像３０２に直交する軸に沿って平行移動させたときに、平行平面が３次元存在範囲３０１と交差し始める位置と交差し終える位置をそれぞれ算出する。ここで、交差し始める位置を開始位置（所定の位置の一例）、交差し終える位置を終了位置（所定の位置の一例）と定義する。３０４は開始位置、３０５は終了位置を表す。

次に、情報処理装置９００は、超音波断層画像３０２と直交する軸上に、超音波断層画像３０２の対応する位置、開始位置の対応する位置、終了位置の対応する位置をプロットし、それぞれ、断層画像対応位置、開始対応位置、終了対応位置と定義する。Ａｘは超音波断層画像３０２に直交する直交軸、Ｐｓは断層画像対応位置、Ｐ０は開始対応位置、Ｐ１は終了対応位置を表す。そして、断層画像対応位置Ｐｓの、開始対応位置Ｐ０及び終了対応位置Ｐ１の間における相対位置（位置関係）を、相対的位置情報として算出する。本実施形態では、例えば、軸Ａｘ上のＰ０の座標が０、Ｐ１の座標が１となるように正規化したときの、その間のＰｓの座標（例：０．３）を相対的位置情報とする。

このように、超音波断層画像３０２に直交する軸に沿って３次元存在範囲３０１の開始位置３０４と終了位置３０５を求め、その間での超音波断層画像３０２の相対的位置情報を算出している。これは、ユーザが表示中の超音波断層画像３０２の姿勢を固定したまま超音波プローブを平行移動させたときに、３次元存在範囲と交わり始める位置と交わり終える位置に対する現在の超音波断層画像３０２の相対的位置情報を求めることを意味する。これにより、ユーザが超音波断層画像３０２の姿勢を固定したまま超音波プローブを平行移動させる時、どの方向にどの程度平行移動させれば、３次元存在範囲のどちら側の端部に到達できるかを容易に把握できる。

ただし、開始位置及び終了位置の算出方法は、超音波断層画像と直交する軸に沿って平行平面を平行移動させる方法に限られるものではない。例えば、平行平面を任意の軸に沿って平行移動させ、３次元存在範囲３０１と交差し始める位置と交差し終える位置をそれぞれ算出することで求めても良い。

そして、算出した相対的位置情報を表示情報生成部９３７へと送信する。
（Ｓ１１０５４：位置情報を付与した存在範囲の表示情報を生成）
ステップＳ１１０５４において、情報処理装置９００は、表示情報生成部９３７の処理として、２次元存在範囲取得部９３４から取得した２次元存在範囲の輪郭を表す形状情報と、位置情報算出部９３６から取得した超音波断層画像の相対的位置情報とに基づいて、２次元存在範囲に相対的位置情報を付与した表示情報を生成する。ただし、ステップＳ１１０５１において「断面上に存在範囲はない」と判定され場合には、本ステップの処理は実行されない。以下に、具体的な生成方法を示す。

最初に、情報処理装置９００は、超音波断層画像の相対的位置情報を、カラーテーブルに対応付けることで、３次元存在範囲における超音波断層画像の位置に対応する色情報を得る。

図１４（ａ）は、相対的位置情報のカラーテーブルへの対応付けを示す図である。Ａｘ、Ｐｓ、Ｐ１、Ｐ２は、図１３と同様のものを表す。このとき、軸Ａｘに沿って、位置Ｐ０とＰ１の間で、その位置に応じて色が変化（変更）するカラーテーブルを設定する。本実施形態では、例えば、Ｐ０に近いほど色が薄くなり、Ｐ１に近いほど色が濃くなるような、特定色の強度が連続的に変化するカラーテーブルを設定する。そして、ステップＳ１００５２でＰ０とＰ１の間で正規化された超音波断層画像の相対的位置情報に対応する、カラーテーブル上の色情報を取得する。Ｔ１はカラーテーブル、Ｃ１は相対的位置情報に対応する色情報を表す。例えば、カラーテーブルＴ１が、青色の強度が変化するカラーテーブルを表し（Ｐ０からＰ１の方向に、薄い青色→濃い青色）、Ｐｓの相対的位置情報が０．３である場合、ＰｓはＰ０に近いカラーテーブル上の位置にマッピングされるため、色情報Ｃ１は、やや薄い青色で表される。この色情報を参照することで断層像対応位置Ｐｓが、比較的位置Ｐ０に近いことが直観的に分かる。

ただし、カラーテーブルの設定方法は上述の方法に限られるものではない。例えば、特定色の強度が連続的ではなく、段階的に変化するような（例：１０段階）カラーテーブルを用いても良い。或いは、単色ではなく、複数の典型的な色をＰ０とＰ１の間に所定の間隔で配置し、隣り合う色の間で連続的に色が変化するような（例：Ｐ０からＰ１の方向に、黒→青→緑→黄→赤→白）カラーテーブルを用いても良い。無論、Ｐ０とＰ１の間を複数の段階に分けて、段階ごとに異なる色を割り当てたカラーテーブルを用いても良い。

次に、情報処理装置９００は、取得した超音波断層画像の相対的位置情報に対応する色情報をもとに、２次元存在範囲の形状情報に関連付けた表示情報を生成する。これを、存在範囲表示情報と呼ぶこととする。本実施形態では、取得した色情報を２次元存在範囲の輪郭形状に付加した表示情報を得る。

図１５は、存在範囲表示情報を示す図である。図１５（ａ）は、存在範囲の輪郭形状（輪郭線）に色情報を付加した表示情報を表す。図１５（ａ）において、Ｓ１は色情報が付加された存在範囲の輪郭形状（輪郭線）を表す。例えば、相対的位置情報が０．３であり上述のようにやや薄い青色にマッピングされている場合は、Ｓ１はやや薄い青色で色付けられた輪郭形状（輪郭線）となる。

ただし、存在範囲表示情報の生成方法は上述の方法に限られるものではない。例えば、２次元存在範囲の形状情報に、超音波断層画像の相対的位置情報を色情報として付加するのではなく、形状を示す曲線を点線で表し、その点線の密度によって表現しても良い。この場合、事前にカラーテーブルの代わりに位置Ｐ０とＰ１の間で、その位置に応じて点線の密度が変化するテーブルを設定し（例：Ｐ０からＰ１の方向に、粗い点線→密な点線）、位置Ｐｓをテーブル上にマッピングしておく必要がある。図１５（ｂ）は、存在範囲の輪郭形状に点線の密度情報を付加した表示情報を表す。図１５（ｂ）において、Ｓ２は点線の密度情報が付加された存在範囲の形状を表す。例えば、相対的位置情報が上述と同様０．３であり、やや粗い点線にマッピングされている場合は、Ｓ２はやや粗い点線で描かれた輪郭形状となる。

また、超音波断層画像の相対的位置情報を付与する対象は、２次元存在範囲の輪郭形状に限られるものではない。例えば、２次元存在範囲の内部領域に着色しても良い。図１５（ｃ）は、存在範囲の内部領域に色情報を付加した表示情報を表す。図１５（ｃ）において、Ｒ１は色情報が付加された存在範囲の内部領域を表す。例えば相対位置情報が上述のようにやや薄い青色にマッピングされている場合は、Ｒ１はやや薄い青色で色付けされた領域となる。或いは、逆に２次元存在範囲の外部領域に着色しても良い。図１５（ｄ）は、存在範囲の外部領域に色情報を付加した表示情報を表す。図１５（ｄ）において、Ｒ２は色情報が付加された存在範囲の外部領域を表す。上述と同様の色のマッピングが行われた場合、Ｒ２はやや薄い青色で色付けされた領域となる。そして、生成した存在範囲表示情報を画像合成部９４０へと送信する。

（Ｓ１１０６０：断層画像に存在範囲を描画）
ステップＳ１１０６０において、情報処理装置９００は、画像合成部９４０の処理として、表示情報生成部９３７から取得した、対応病変部の２次元存在範囲に超音波断層画像の相対的位置情報を付加させた存在範囲表示情報を、当該超音波画像上に重畳して描画する。ただし、ステップＳ１１０５１において「断面上に存在範囲はない」と判定され場合には、本ステップの処理は実行されない。

図１６は、存在範囲表示情報が重畳表示された超音波断層画像を示す図である。図１６（ａ）は、相対的位置情報を色情報として２次元存在範囲の輪郭形状に付加した表示情報を重畳表示した超音波断層画像を表す。図１６（ａ）において、６０１は超音波断層画像、６０２は対応病変部、Ｓ１は図１５（ａ）と同様の存在範囲表示情報を表す。このとき、超音波断層画像６０１上に存在範囲表示情報Ｓ１が重畳されることにより、実際の対応病変部を探索する探索領域が明確になる。また、ユーザが実際の対応病変部を探索し易いので、効率良く探索できる。

そして、ユーザは存在範囲の輪郭形状に付加された色情報を参照することで、３次元存在範囲における超音波断層画像６０１の相対的位置情報を直観的に把握できる。図１５（ａ）のように色情報がやや薄い青色で表される場合は、超音波断層画像６０１は３次元存在範囲に対して、図１３の開始位置３０４に近い場所に位置することが容易に分かる。

ここで、超音波断層画像上に描画される存在範囲表示情報は、上述の図１６（ａ）の表示情報に限らない。例えば、相対的位置情報が２次元存在範囲の輪郭形状を描画する曲線の密度によって表現された表示情報を超音波断層画像上に描画しても良い。図１６（ｂ）は、相対的位置情報が輪郭形状の密度によって表現された２次元存在範囲が重畳された超音波断層画像を表す。図１６（ｂ）において、６０１及び６０２は図１６（ａ）と同様のもの、Ｓ２は図１５（ｂ）と同様のものを表す。

図１６（ｂ）より、ユーザは存在範囲の輪郭形状に付加された点線の密度情報を参照することで、３次元存在範囲における超音波断層画像６０１の相対的位置情報を直観的に把握できる。さらに、輪郭形状に着色する場合は色が薄くなると輪郭形状が視認しづらくなる可能性があるが、この場合は、輪郭形状を表す色を視認し易い色に設定しておけば、点線の密度が変化しても点線は容易に視認することができる。図１５（ｂ）のように点線がやや粗い密度で表される場合は、超音波断層画像６０１は３次元存在範囲に対して、図１３の開始位置３０４に近い場所に位置することが容易に分かる。

また、相対的位置情報を表す色情報が、２次元存在範囲の内部領域に着色された表示情報を超音波断層画像上に描画しても良い。図１６（ｃ）は、相対的位置情報が内部領域に描画された２次元存在範囲が重畳された超音波断層画像を表す。図１６（ｃ）において、６０１及び６０２は図１６（ａ）と同様のもの、Ｒ１は図１５（ｃ）と同様のものを表す。

図１６（ｃ）より、ユーザは存在範囲の内部領域に着色された色情報を参照することで、超音波断層画像６０１の相対的位置情報を直観的に把握できる。さらに、領域内部に着色することで、輪郭形状に着色する場合に比べて、色情報をより視認し易くなる。このとき、内部領域にはユーザが対応病変部６０２を探索できる程度に透明な色を付けることが好ましい。

また、図１６（ｃ）の場合とは逆に、相対的位置情報を表す色情報が、２次元存在範囲の外部領域に着色された表示情報を超音波断層画像上に描画しても良い。図１６（ｄ）は、相対的位置情報が外部領域に描画された２次元存在範囲が重畳された超音波断層画像を表す。図１６（ｄ）において、６０１及び６０２は図１６（ａ）と同様のもの、Ｒ２は図１６（ｄ）と同様のものを表す。

図１６（ｄ）より、ユーザは存在範囲の外部領域に着色された色情報を参照することで、超音波断層画像６０１の相対的位置情報を直観的に把握できる。さらに、この場合、領域内部には着色されないため、領域内部に着色する場合に比べ、領域内部が観察し易くなり、対応病変部の探索が容易になる。このとき、外部領域には、２次元存在範囲の外側の超音波断層画像の様子が観察できる程度に透明な色を付けることが好ましい。

なお、該断層画像がステップＳ１１０５０で求めた対応領域自身と交差しているか否かを判定して、交差している場合には該断層画像上における交差領域を該断層画像上に重畳して表示するようにして良い。
（Ｓ１１０７０：断層画像と断面画像を合成）
ステップＳ１１０７０において、情報処理装置９００は、画像合成部９４０の処理として、ステップＳ１１０４０で得た断面画像と、ステップＳ１１０６０で得た超音波断層画像に対応病変部の存在範囲を重畳した画像を合成する。例えば、これらの画像を左右に並べた画像を生成する。そして、表示制御部９５０の処理として、合成した画像を表示部９６０に表示する。また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。

（Ｓ１１０８０：全体の処理を終了するか否かの判定）
ステップＳ１１０８０において、情報処理装置９００は、全体の処理を終了するか否かの判定を行う。例えば、キーボード１００４の所定のキー（終了キー）をユーザが押すなどして入力した終了の指示を取得する。終了すると判定した場合には、情報処理装置９００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ１１０２０へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ１１０２０以降の処理を再度実行する。以上によって、情報処理装置９００の処理が実行される。

以上のように、本実施例に係る情報処理装置は、表示中の超音波断層画像の相対的位置情報を付加した２次元存在範囲を、超音波断層画像上に表示することにより、ユーザは超音波断層画像上の２次元存在範囲に注目した状態で、３次元存在範囲に対する超音波断層画像の現在位置を容易に把握することができる。従って、ユーザは探索すべき存在範囲が後どの程度残されているかを容易に把握でき、対応病変部を効率良く探索して同定することができる。

（第６の実施形態）
第５の実施形態に係る情報処理システムでは、超音波断層画像の位置情報のカラーテーブルへのマッピングは、３次元存在範囲の開始位置と終了位置とに基づいて行っていた。これに対し、本実施形態では、上記開始位置や終了位置の他に、３次元存在範囲を代表する位置情報（代表位置とも言う、所定の位置の一例）に基づいてカラーテーブルへのマッピングを行う。本実施形態に係る情報処理システムの構成は図１１と同様であるが、表示情報生成部９３７の処理の一部のみが第５の実施形態とは異なっている。また、本実施形態に係る情報処理システムの処理のフローは図１２と同様であるが、ステップＳ１１０５４の処理の一部のみが第５の実施形態とは異なっている。以下、本実施形態に係る情報処理システムについて、第５の実施形態との相違部分についてのみ説明する。

ステップＳ１１０５４において、情報処理装置１０００は、表示情報生成部９３７の処理として、３次元存在範囲算出部９３５から取得した２次元存在範囲の輪郭を表す形状情報と、位置情報算出部９３６から取得した超音波断層画像の位置情報と、３次元存在範囲を代表する位置情報とに基づいて、２次元存在範囲に相対的位置情報を付与した表示情報を生成する。以下に、具体的な生成方法を示す。なお、本実施形態では、３次元存在範囲を代表する位置情報として、３次元存在範囲の重心対応位置を用いた場合につて説明する。

まず、表示情報生成部９３７は、３次元存在範囲の重心位置を反映させたカラーテーブルを設定し、超音波断層画像の相対的位置情報をカラーテーブルに対応付ける。

図１４（ｂ）は、重心対応位置を反映させたカラーテーブルへの相対的位置情報の対応付けを示す図である。Ａｘ、Ｐ０、Ｐ１、Ｐｓは図１３と同様のものを表す。また、Ｐｇは上述の重心対応位置を表す。このとき、軸Ａｘに沿って、位置Ｐ０とＰ１の間でカラーテーブルを設定する際、Ｐ０とＰｇ、ＰｇとＰ１のそれぞれの間で、その位置に応じて色が連続的に変化するカラーテーブルを設定する。具体的には、Ｐｇの位置で色の強度が最大になり、ＰｇからＰ０、Ｐ１それぞれの方向に近づくにつれ色の強度が下がるようなカラーテーブルを設定する。そして、ステップＳ１００５２でＰ０とＰ１の間で正規化された断層画像対応位置Ｐｓの相対的位置情報に対応する、カラーテーブル上の色情報を取得する。

Ｔ２は重心対応位置Ｐｇの位置を反映したカラーテーブル、Ｃ２は相対的位置情報に対応する色情報を表す。例えば、カラーテーブルＴ２が、青色の強度が変化するカラーテーブルを表し、Ｐｓの相対的位置情報が０．３である場合、ＰｓはＰｇの位置０．５に近いカラーテーブル上の位置にマッピングされるため、色情報Ｃ２は、やや濃い青色で表される。この色情報を参照することで超音波断層画像が、比較的３次元存在範囲の重心位置に近いことが直観的に分かる。

また、Ｐ０、Ｐｇ、Ｐ１の位置に異なる典型的な色を設定し、それらの間で位置に応じて色が連続的に変化するカラーテーブルを設定しても良い。例えば、Ｐ０に赤色、Ｐｇに緑色、Ｐ１に青色を設定し、Ｐ０とＰｇの間では赤色から緑色、ＰｇとＰ１の間では緑色から青色に変化するカラーテーブルを設定する。これにより、超音波断層画像が、Ｐ０、Ｐｇ、Ｐ１のどの位置に近いのかが直観的に分かる。また、Ｐ０とＰｇの間、ＰｇとＰ１の間では配色が異なるため、超音波断層画像が３次元存在範囲の重心位置に対してＰ０、Ｐ１のどちら側に位置しているのかが容易に分かる。Ｐｓの相対的位置情報が０．３のときは、赤色と緑色の間で緑色に近い色で表される。無論、Ｐ０とＰｇとＰ１の間を複数の段階に分けて、段階ごとに異なる色を割り当てたカラーテーブルを用いても良い。

次に、情報処理装置１０００は、第５の実施形態と同様に、取得した超音波断層画像の相対的位置情報に対応する色情報をもとに、２次元存在範囲の形状情報に関連付けた存在範囲表示情報を生成する。

なお、３次元存在範囲を代表する位置情報は、重心位置に限られるものではない。例えば、超音波断層画像３０２に平行な平面を直交軸Ａｘに沿って平行移動させたときに、３次元存在範囲３０１と超音波断層画像３０２が交差する領域（２次元存在範囲３０３）の面積が最大になるときの平面の位置を求め、これを直交軸Ａｘにプロットした位置を、３次元存在範囲を代表する位置情報としても良い。

これにより、３次元存在範囲における超音波断層画像の位置が、３次元存在範囲の重心位置にどの程度近いかを読み取ることができ、位置の把握をより直観的に行うことができる。

（変形例）
上記第５の実施形態および第６の実施形態では、対応病変部が存在しうる３次元存在範囲を３次元領域とする例を説明したが、実施形態はこれに限られるものではない。例えば、Ｘ線ＣＴ画像やＭＲＩ画像における病変部や臓器などの注目部位を表す領域を３次元領域としても良い。これは、上記実施形態におけるステップＳ１１０２０で取得される超音波断層画像を、現在表示しているスライス画像に置き換え、さらに、ステップＳ１１０５０で取得される３次元存在範囲を、注目部位の３次元領域に置き換えることにより、実現することができる。

これにより、医師がＸ線ＣＴ画像やＭＲＩ画像を読影する際に、現在表示中のスライス画像に写る注目部位が、スライス画像の直交方向における注目部位の３次元領域のどの場所に位置するのかが直観的に把握できる。従って、読影すべき注目部位の３次元領域が後どの程度残されているのかが容易に分かるため、効率的に読影することが可能になる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 情報処理装置
１１０ 断層画像取得部
１１２ 位置姿勢取得部
１２０ 三次元画像データ取得部
１２２ 注目領域取得部
１２３ 誤差取得部
１３０ 断面画像生成部
１３５ 存在範囲算出部
１４０ 画像合成部
１５０ 表示制御部

Claims (19)

1. 第１の座標系における、被検体の二次元画像を取得する二次元画像取得手段と、
   前記第１の座標系とは異なる第２の座標系における、前記被検体の三次元画像を取得する三次元画像取得手段と、
   前記第２の座標系における前記三次元画像の特定領域に対応する前記第１の座標系における対応領域に、前記第２の座標系から前記第１の座標系への座標変換の際の誤差を加えた誤差範囲を示す画像と、前記二次元画像とを表示手段に表示させる表示制御手段と、
   を有することを特徴とする装置。
2. 前記二次元画像は超音波画像である
   ことを特徴とする請求項１に記載の装置。
3. 前記三次元画像はＭＲＩ画像またはＸ線ＣＴ画像である
   ことを特徴とする請求項１または２に記載の装置。
4. 前記表示制御手段は、超音波探触子の位置及び姿勢に応じて前記誤差範囲の大きさを変えて前記誤差範囲を示す画像を前記表示手段に表示させる
   ことを特徴とする請求項１から３のいずれか一項に記載の装置。
5. 前記表示制御手段は、前記特定領域に存在する部位に応じて前記誤差範囲の大きさを変えて前記誤差範囲を示す画像を前記表示手段に表示させる
   ことを特徴とする請求項１から４のいずれか一項に記載の装置。
6. 前記誤差範囲を示す画像は、前記誤差範囲と前記二次元画像とが交差する領域を示す画像である
   ことを特徴とする請求項１から５のいずれか一項に記載の装置。
7. 前記表示制御手段は、前記二次元画像に対応する前記三次元画像中の断面画像を前記表示手段に表示させる
   ことを特徴とする請求項１から６のいずれか一項に記載の装置。
8. 第１の座標系における、被検体の二次元画像を取得する二次元画像取得手段と、
   前記第１の座標系とは異なる第２の座標系における、前記被検体の三次元画像を取得する三次元画像取得手段と、
   前記二次元画像を表示手段に表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、
   前記第２の座標系における前記三次元画像の特定領域に対応する前記第１の座標系における対応領域に、前記第２の座標系から前記第１の座標系への座標変換の際の誤差を加えた誤差範囲の内部領域の前記二次元画像に色情報を付加せず、かつ、前記誤差範囲の外部領域の前記二次元画像に色情報を付加して前記表示手段に表示させる
   ことを特徴とする装置。
9. 前記表示制御手段は、前記誤差範囲の外部領域の前記二次元画像に半透明の色情報を付加して前記表示手段に表示させる
   ことを特徴とする請求項８に記載の装置。
10. 第１の座標系における、被検体の二次元画像を取得する工程と、
    前記第１の座標系とは異なる第２の座標系における、前記被検体の三次元画像を取得する工程と、
    前記第２の座標系における前記三次元画像の特定領域に対応する前記第１の座標系における対応領域に、前記第２の座標系から前記第１の座標系への座標変換の際の誤差を加えた誤差範囲を示す画像と、前記二次元画像とを表示手段に表示させる工程と、
    を有することを特徴とする画像表示方法。
11. 前記二次元画像は超音波画像である
    ことを特徴とする請求項１０に記載の画像表示方法。
12. 前記三次元画像はＭＲＩ画像またはＸ線ＣＴ画像である
    ことを特徴とする請求項１０または１１に記載の画像表示方法。
13. 前記表示手段に表示させる工程は、超音波探触子の位置及び姿勢に応じて前記誤差範囲の大きさを変えて前記誤差範囲を示す画像を前記表示手段に表示させる工程を含む
    ことを特徴とする請求項１０から１２のいずれか一項に記載の画像表示方法。
14. 前記表示手段に表示させる工程は、前記特定領域に存在する部位に応じて前記誤差範囲の大きさを変えて前記誤差範囲を示す画像を前記表示手段に表示させる工程を含む
    を有することを特徴とする請求項１０から１３のいずれか一項に記載の画像表示方法。
15. 前記誤差範囲を示す画像は、前記誤差範囲と前記二次元画像とが交差する領域を示す画像である
    ことを特徴とする請求項１０から１４のいずれか一項に記載の画像表示方法。
16. 前記二次元画像に対応する前記三次元画像中の断面画像を前記表示手段に表示させる工程を有する
    ことを特徴とする請求項１０から１５のいずれか一項に記載の画像表示方法。
17. 第１の座標系における、被検体の二次元画像を取得する工程と、
    前記第１の座標系とは異なる第２の座標系における、前記被検体の三次元画像を取得する工程と、
    前記二次元画像を表示手段に表示させる工程と、
    を有し、
    前記二次元画像を前記表示手段に表示させる工程は、前記第２の座標系における前記三次元画像の特定領域に対応する前記第１の座標系における対応領域に、前記第２の座標系から前記第１の座標系への座標変換の際の誤差を加えた誤差範囲の内部領域の前記二次元画像に色情報を付加せず、かつ、前記誤差範囲の外部領域の前記二次元画像に色情報を付加して前記表示手段に表示させる工程を含む
    ことを特徴とする画像表示方法。
18. 前記二次元画像を前記表示手段に表示させる工程は、前記誤差範囲の外部領域の前記二次元画像に半透明の色情報を付加して前記表示手段に表示させる工程を含む
    ことを特徴とする請求項１７に記載の画像表示方法。
19. 請求項１０から１８のいずれか一項に記載の画像表示方法をコンピュータに実行させることを特徴とするプログラム。

Images