JP6312898B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像を処理する情報処理装置及び情報処理方法、並びに、当該情報処理方法をコンピュータに実行させるためのプログラムに関する。

医療の分野において、医師は、被検体を撮影した医用画像（被検体内部の三次元的な情報を表す断層画像群からなる三次元画像）をモニタに表示し、表示された医用画像を読影して病変部の診断を行う。断層画像群を撮影する医用画像収集装置（以下、「モダリティ」と称する）としては、超音波画像診断装置（超音波画像撮影装置）や、磁気共鳴画像装置（以下、「ＭＲＩ装置」と称する）、Ｘ線コンピュータ断層撮影装置（以下、「Ｘ線ＣＴ装置」と称する）などが挙げられる。

これらのモダリティで撮影された個々の断層画像群を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮影されたそれぞれの断層画像群や、異なる日時に撮影されたそれぞれの断層画像群中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。

複数種類の断層画像群を診断に利用するためには、それぞれの断層画像群において注目病変部等の対応付けを図ることが重要である。モダリティの違いや被検体の変形等の影響で画像処理による対応付けの自動化が困難であるため、医師等の操作者は、画像を見ながら手動で対応付けの作業を行うことが一般的である。この場合、操作者は、一方の画像群で指摘されている注目病変部を見ながら、その病変部の形状やその周辺部の見え方等の類似性を手がかりにして、他方の画像群からその病変部に対応する部位（対応病変部）を探索している。

現在、この対応付けの作業を補助する試みがなされている。
例えば、下記の特許文献１では、Ｘ線ＣＴ等の三次元画像上で指摘した病変部の位置に関する情報を超音波断層画像上に重畳表示することで、超音波断層画像上における対応病変部の探索を支援している。具体的に、特許文献１では、三次元画像と超音波断層画像との位置合わせを行うことで三次元画像の空間における超音波断層画像の位置を得て、注目病変部が超音波断面に交わる場合にその境界線からなる領域を超音波断層画像上に描画する。これにより、注目病変部に対応する超音波断層画像中の対応病変部の探索が容易になる。

また、下記の特許文献２には、三次元画像と超音波断層画像との位置合わせを行った上で、注目病変部と超音波断層画像との間の距離を表す情報を超音波断層画像上に描画する技術が示されている。

特開２００８−２４６２６４号公報 特開２００８−２１２６８０号公報

Yipeng Hu, et al., "A Statistical motion model based on biomechanical simulations for data fusion during image-guided prostate interventions," MICCAI 2008, Part I, LNCS 5241, pp.737-744, 2008.

しかしながら、超音波探触子の位置及び姿勢の計測精度には少なからず誤差が含まれ、また、参照画像の撮影時と超音波断層画像の撮影時とでは、被検体の形状は必ずしも一致していない。そのため、超音波断層画像の座標系における対応病変部の推定位置には誤差が含まれており、実際の対応病変部の位置とはずれる場合がある。このため、上記位置ずれの程度によっては、ユーザは対応病変部を同定できない、つまり見つけられない可能性がある。この場合、結局、ユーザが超音波断層画像全体から対応病変部を探索することになり、探索の効率が低い。

そこで、本発明は、探索対象とする領域の特定を容易にすることを第１の目的とする。
また、本発明は、上述の誤差が正確に予測できない場合でも、ユーザが効率的に対応病変部を同定できるようにすることを第２の目的とする。

本発明の情報処理装置は、被検体の第１画像を取得する第１画像取得手段と、前記被検体の第２画像を取得する第２画像取得手段と、前記第１画像の注目領域を示す情報を取得する注目領域取得手段と、前記第１画像と前記第２画像との間の変形の変動範囲を示す情報を取得する変動範囲取得手段と、前記注目領域を示す情報と、前記変形の変動範囲を示す情報とに基づいて、当該注目領域の変動範囲を示す情報を取得する注目領域変動取得手段と、前記注目領域の変動範囲を示す情報に基づいて、前記第２画像上に前記注目領域の変動範囲を表示させる表示制御手段と、を有する。
また、本発明は、上述した情報処理装置による情報処理方法、及び、当該情報処理方法をコンピュータに実行させるためのプログラムを含む。

本発明によれば、ユーザが対応病変部を探索する際の目安として、位置推定の誤差を考慮した対応病変部の存在確率が断層画像上に提示される。その結果、必要以上に広い範囲を探してしまうというユーザの不要な作業を減らし、探索の作業負荷を軽減することができる。

第１の実施形態に係る情報処理システムの機器構成を示す図である。 コンピュータの基本構成を示す図である。 情報処理装置１００の処理手順を示すフローチャートである。 情報処理装置１００による表示形態の一例を示す図である。 第２の実施形態に係る情報処理システムの機器構成を示す図である。 情報処理装置５００の処理手順を示すフローチャートである。 第４の実施形態に係る情報処理システムの機能構成の一例を示す模式図である。 第４の実施形態に係る情報処理システムのハードウェア構成の一例を示す模式図である。 第４の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。 第４の実施形態を示し、図９のステップＳ３７０の処理を説明する模式図である。 第４の実施形態を示し、図９のステップＳ４００の処理を説明する模式図である。 第５の実施形態に係る情報処理システムの機能構成の一例を示す模式図である。 第５の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。 第５の実施形態を示し、図１３のステップＳ６７０の処理を説明する模式図である。 第６の実施形態に係る情報処理システムの機能構成の一例を示す模式図である。 第６の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。 第６の実施形態を示し、図１６のステップＳ８９０の処理を説明する模式図である。

以下、添付図面を参照しながら本発明の好ましい実施形態に係る情報処理システム（情報処理装置）について詳細に説明する。ただし、発明の範囲はこれらの実施形態に限定されるものではない。

（第１の実施形態）
第１の実施形態に係る情報処理システムは、三次元画像データ等の参照画像中の注目領域に対応する領域が存在する確率の分布（以下、「存在確率分布」と称する）を、実時間で撮影している超音波断層画像等の対象画像中に表示する。注目領域が注目病変部である場合、これに対応する領域は対応病変部である。そうすることで、医師及び技師等の操作者が超音波断層画像上で対応領域を容易に探索して同定できるようにする。

図１は、第１の実施形態に係る情報処理システムの構成を示す図である。
図１に示すように、本実施形態における情報処理装置１００には、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、断面画像生成部１３０、分布取得部１３５、画像合成部１４０及び表示制御部１５０が含まれる。また、情報処理装置１００は、データサーバ１９０及び第２医用画像収集装置１８０に接続されている。データサーバ１９０は、三次元画像データ及び後に記述する誤差要因情報等を保持する。また、第２医用画像収集装置１８０は、例えば超音波画像診断装置であり、被検体の超音波断層画像を撮像する。

次に、情報処理装置１００の動作の概要について説明する。

＜三次元画像データの取得＞
データサーバ１９０が保持する三次元画像データは、第１医用画像収集装置１７０によって被検体を予め撮像して得られた画像である。以下の説明では、第１医用画像収集装置１７０としてＭＲＩ装置が用いられることとするが、第１医用画像収集装置１７０としては、他にＸ線ＣＴ装置等が用いられてもよい。本実施形態では、三次元画像データは、三次元のボクセルに輝度値を格納した三次元ボリュームデータとして表現されているものとする。また、各ボクセルの座標はＭＲＩ装置座標系で表現されているものとする。データサーバ１９０が保持する三次元画像データは、三次元画像データ取得部１２０により取得され、情報処理装置１００に入力される。

＜注目領域の取得＞
更に、データサーバ１９０は、三次元画像データ中の注目領域を表す情報を保持している。この注目領域を表す情報の詳細については後述する。データサーバ１９０が保持する注目領域を表す情報は、注目領域取得部１２２により取得され、情報処理装置１００に入力される。なお、以下の説明では、注目領域を表す情報も、三次元画像データと同様にＭＲＩ装置座標系で表されているものとする。また、データサーバ１９０は、対応領域の存在確率分布を算出するための情報を保持している。この対応領域の存在確率分布を算出するための情報は誤差要因情報であり、その詳細については後述する。データサーバ１９０が保持する誤差要因情報は、分布取得部１３５を介して情報処理装置１００に入力される。

＜断層画像の取得＞
超音波画像診断装置等の第２医用画像収集装置１８０は、被検体の超音波断層画像を実時間で撮像する。超音波断層画像は、断層画像取得部１１０により取得され、情報処理装置１００に逐次入力される。また、超音波探触子の位置姿勢は不図示の位置姿勢センサで計測され、位置姿勢取得部１１２により取得されて、情報処理装置１００に入力される。ここで、超音波探触子の位置姿勢は、例えば被検体を基準とした基準座標系における位置姿勢で表されている。また、位置姿勢取得部１１２は、基準座標系における超音波探触子の位置姿勢を取得して、これに基づいてＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

＜存在確率分布の取得＞
分布取得部１３５は、注目領域取得部１２２が取得した注目領域を表す情報と、位置姿勢取得部１１２が取得した超音波断層画像の位置姿勢とに基づいて、注目領域に対応する領域、即ち対応領域を超音波座標系上で推定する。ここで、超音波座標系とは、超音波断層画像を基準とした三次元座標系であり、例えば、該断層画像上の１点を原点として、該断層画像の平面上にｘ軸及びｙ軸を設定し、該平面に直交する方向にｚ軸を設定した座標系として定義できる。そして、分布取得部１３５は、この推定した対応領域と、データサーバ１９０から取得する誤差要因情報とに基づいて、超音波断層画像上における対応領域の存在確率分布を算出する。

＜断面画像の生成＞
断面画像生成部１３０は、三次元画像データ取得部１２０の出力である三次元ボリュームデータ、及び位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢を入力する。そして、断面画像生成部１３０は、これらのデータに基づいて、超音波断層画像に対応する断面画像を三次元ボリュームデータから生成して、画像合成部１４０へと出力する。画像合成部１４０は、対応病変部の存在確率分布示す情報を分布取得部１３５から取得して、断層画像取得部１１０から取得した超音波断層画像上に重畳して描画する。更に、画像合成部１４０は、その画像と断面画像生成部１３０から取得した断面画像とを合成した合成画像、例えば、これらを左右に並べた合成画像を生成して、これを表示制御部１５０又は外部へと出力する。表示制御部１５０は、画像合成部１４０の出力である合成画像を取得し、これを表示部１６０に表示する。

なお、図１に示した各部（断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、断面画像生成部１３０、分布取得部１３５、画像合成部１４０、表示制御部１５０）の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

＜コンピュータの基本構成＞
図２は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、断面画像生成部１３０、分布取得部１３５、画像合成部１４０、表示制御部１５０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、ＣＰＵ１００１は、断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、断面画像生成部１３０、分布取得部１３５、画像合成部１４０、表示制御部１５０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、表示部１６０がこれに相当する。表示部１００６は、画像合成部１４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また、本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部１１０、位置姿勢取得部１１２、三次元画像データ取得部１２０、注目領域取得部１２２、および分布取得部１３５の機能の一部は、Ｉ／Ｆ１００９によって実現される。

上述した各構成要素は、バス１０１０によって相互に接続される。

図３は、第１の実施形態における情報処理装置１００が行う全体の処理手順を示すフローチャートである。
このフローチャートに示す処理は、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、図３に示すフローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

＜Ｓ１０００：データの入力＞
ステップＳ１０００において、情報処理装置１００は、三次元画像データ取得部１２０の処理として、データサーバ１９０から三次元画像データを取得する。また、情報処理装置１００は、注目領域取得部１２２の処理として、データサーバ１９０から注目領域を表す情報を取得する。ここで、注目領域を表す情報とは、例えば、注目病変部の位置や、注目病変部の領域境界に位置する点群の座標である。注目病変部の位置としては、例えば領域の重心位置が用いられる。

＜Ｓ１０１０：誤差要因情報の入力＞
ステップＳ１０１０において、情報処理装置１００は、分布取得部１３５の処理として、存在確率分布の算出に用いる各種の誤差要因情報をデータサーバ１９０から取得する。例えば、情報処理装置１００は、超音波探触子の位置姿勢を計測する位置姿勢センサの種別（例えば、センサＡ，センサＢなど）を表す情報を、誤差要因情報としてデータサーバ１９０から取得する。

＜Ｓ１０２０：断層画像の取得＞
ステップＳ１０２０において、情報処理装置１００は、断層画像取得部１１０の処理として、第２医用画像収集装置１８０から超音波断層画像を取得する。また、情報処理装置１００は、位置姿勢取得部１１２の処理として、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢を第２医用画像収集装置１８０から取得する。そして、情報処理装置１００は、既知の値として予め記憶している校正データを利用して、基準座標系における超音波探触子の位置姿勢から、ＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

＜Ｓ１０４０：断面画像の取得＞
ステップＳ１０４０において、情報処理装置１００は、断面画像生成部１３０の処理として、ステップＳ１０２０で得た超音波断層画像に対応する参照画像の断面画像を生成する。具体的には、情報処理装置１００は、ステップＳ１０２０で得た超音波断層画像の位置姿勢に基づき、ステップＳ１０００で得た三次元ボリュームデータから該超音波断層画像と同じ断面を切り出した断面画像を生成する。

＜Ｓ１０５０：存在確率分布の取得＞
ステップＳ１０５０において、情報処理装置１００は、分布取得部１３５の処理として、ステップＳ１０２０で得た超音波断層画像上における対応領域の存在確率分布を算出する。

具体的には、先ず、分布取得部１３５が超音波座標系における注目領域に対する対応領域を推定する。例えば、注目領域を表す情報として注目病変部の位置が与えられている場合には、分布取得部１３５が、対応領域を表す情報として超音波座標系上における対応病変部の位置を推定する。また、注目領域を表す情報として注目病変部の領域境界に位置する点群の座標が与えられている場合には、分布取得部１３５が、対応領域を表す情報として対応病変部の境界領域に位置する点群の座標を超音波座標系上で推定する。これらの推定は、位置姿勢取得部１１２が取得した超音波断層画像の位置姿勢に基づいて行うことができる。

次に、分布取得部１３５は、上記で推定した対応領域とステップＳ１０１０で取得した誤差要因情報とに基づいて、超音波断層画像上における対応領域の存在確率分布を算出する。

対応領域を表す情報が対応病変部の位置である場合、例えば、対応領域の存在確率分布が正規分布に従うと仮定してもよい。このとき、位置姿勢センサの種別毎に予め分布の標準偏差を定めておき、誤差要因情報として与えられるセンサの種別に応じて分布の標準偏差を選択するようにできる。なお、分布の標準偏差を与える処理は、他の誤差要因情報に基づくものであってもよい。

対応領域の存在確率分布が正規分布に従うと仮定すると、超音波座標系における対応病変部の三次元の存在確率分布は、対応病変部の推定位置からの距離の関数で定義できる。このとき、対応病変部の推定位置を中心とし、そこからの距離を半径とする球の内部に実際の対応病変部が存在する確率は、球内の正規分布関数の積分値として算出できる。分布取得部１３５は、この確率を所定の閾値（例えば、９０％、９５％、９８％、９９．５％）で区切ることで、推定された対応病変部の位置を中心とした同心球を導出する。この、所定の閾値それぞれで区切られた同心球は、注目領域に対応する領域が内部に存在する確率が特定の値となる三次元領域を示している。また、超音波断層画像上における対応病変部の存在確率分布は、当該同心球と当該断層画像を含む平面とが交差する領域（同心球の断面）である同心円として定義される。分布取得部１３５は、対応病変部の存在確率分布として、超音波断層画像上におけるこの同心円の中心位置と夫々の円の半径を算出する。なお、三次元空間中で定義される球と平面との交差領域の算出方法は周知のものであるので、その説明は省略する。

＜Ｓ１０６０：断層画像への存在確率分布の描画＞
ステップＳ１０６０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ１０５０で算出した超音波断層画像上における対応病変部の存在確率分布を表す情報を、当該超音波断層画像上に重畳して描画する。例えば、情報処理装置１００は、ステップＳ１０５０で算出した同心円のラインを超音波断層画像上に描画する。このとき、夫々の円のラインの線種を、円が表す確率に応じて変更するようにすることが好ましい。例えば、線の太さ、色、濃度、実線か点線か（点の間隔）を変更してもよい。また、それぞれの円の近傍に、対応する球の内部に対応病変部が存在する確率（前述の例では９０％、９５％、９８％、９９．５％）を表示するようにしてもよい。また、球と球との間の領域に対応病変部が存在する確率（すなわち、内側の球との確率の差分）を求めて表示するようにしてもよい。この場合、それぞれの円に表示される値は、前述の例では９０％、５％、３％、１．５％となる。本ステップの処理の結果として、図４に示すような、対応病変部４０１の存在確率分布４０２を超音波断層画像４０３上に重畳した画像が生成される。なお、ステップＳ１０５０における所定の閾値を、分布の標準偏差に基づく値（例えば、σ、１．５σ、２σ、２．５σ、３σなど）に設定しておいて、夫々を表す文字情報（すなわち、「σ」、「２σ」など）を夫々の円の近傍に表示するようにしてもよい。図４の例では複数の確率を表わす複数の円が描かれているが、これに限らず、ある特定の確率、例えば９０％の確率を示す円のみを超音波断層画像４０３に重畳して表示させることとしてもよい。

＜Ｓ１０７０：断層画像と断面画像との合成＞
ステップＳ１０７０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ１０４０で得た断面画像と、ステップＳ１０６０で得た画像とを合成する。例えば、情報処理装置１００は、これらの画像を左右に並べた画像を生成する。そして、情報処理装置１００は、表示制御部１５０の処理として、合成した画像を表示部１６０に表示する。また、必要に応じて、情報処理装置１００は、Ｉ／Ｆ１００９を介してこれを外部へと出力し、更に、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。

＜Ｓ１０８０：全体の処理を終了するか否かの判定＞
ステップＳ１０８０において、情報処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、情報処理装置１００は、キーボード１００４の所定のキー（終了キー）を操作者が押すなどして入力した終了の指示を取得する。終了すると判定した場合には、情報処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ１０１０へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ１０１０以降の処理を再度実行する。

以上によって、情報処理装置１００の処理が実行される。

以上のように、第１の実施形態に係る情報処理システムによると、操作者が対応病変部を探索する際の目安として、位置推定の誤差を考慮した対応病変部の存在確率分布が超音波断層画像上に提示される。その結果、必要以上に広い範囲を探してしまうという操作者の不要な作業を減らし、探索の作業負荷を軽減することができる。また、実際の誤差が大きい場合であっても、表示に惑わされることなく対応領域を探索することができる。

［第１の実施形態の変形例］
次に、第１の実施形態の変形例について説明する。上記の第１の実施形態の説明では、対応領域の推定位置を中心として正規分布に従って存在確率が分布すると仮定しているが、この存在確率は正規分布に従っていなくてもよい。例えば、対応病変部の存在確率が空間中の任意の分布として与えられている場合でも、同様の表示を行うことができる。この場合、例えば、分布取得部１３５が領域内の存在確率の積分値が所定の値となるような領域の中から、体積が最小となる領域を選択するようにすればよい。これにより、存在確率の分布に偏りがある場合であっても、分布の偏りを断層画像に重畳して表示させるため、病変の位置をより効率的に特定することができる。

なお、第１の実施形態では、超音波断層画像と同一となる断面を参照画像である三次元画像データから切り出した断面画像を超音波断層画像と並べて表示しているが、この断面画像は必ずしも表示しなくてよい。この場合、参照画像である三次元画像データの取得や、断面画像の生成処理は行わなくてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態に係る情報処理システムは、三次元画像データ撮影時の被検体の形状と、超音波撮影時の被検体の形状とは変化していない（剛体である）と仮定して処理を行う。そして、被検体に対する超音波探触子の位置姿勢を計測することで、超音波座標系における注目領域の対応領域の存在確率分布を推定する。これに対し、第２の実施形態に係る情報処理システムは、三次元画像データ撮影時の被検体の形状から超音波撮影時の被検体の形状への変形を推定して対応領域を求める場合に、その変形推定の曖昧さを考慮することによって、対応領域の存在確率分布を推定する。以下、第２の実施形態に係る情報処理システムについて、第１の実施形態と相違する部分を中心にして説明する。

図５は、第２の実施形態に係る情報処理システムの構成を示す図である。なお、図１と同じ部分については同じ符号を付けており、その説明を省略する。図５に示すように、本実施形態における情報処理装置５００には、第１の実施形態における断面画像生成部１３０に代えて断面画像生成部５３０が含まれ、分布取得部１３５に代えて分布取得部５３５が含まれる。更に、情報処理装置５００には、第１の実施形態における各部の他に、形状取得部５２７及び変形推定部５２８が含まれる。また、情報処理装置５００は、データサーバ１９０及び第２医用画像収集装置１８０だけでなく、形状計測装置５８５にも接続されている。形状計測装置５８５としては、例えばレンジセンサが用いられ、形状計測装置５８５は、超音波撮影時の被検体の表面形状を計測して表面形状データを得る。なお、形状計測装置５８５は、対象物体の形状を計測できるのであればどのように構成されていてもよく、例えばステレオ画像計測装置などであってもよい。

形状取得部５２７は、情報処理装置５００へと入力される被検体の表面形状データを取得し、変形推定部５２８へと出力する。

変形推定部５２８は、形状取得部５２７が取得した表面形状データに基づいて被検体の変形状態を推定する。そして、変形推定部５２８は、変形パラメータの変動範囲（詳細は後述する）を算出して、これを分布取得部５３５へと出力する。また、変形推定部５２８は、三次元画像データを超音波撮影時の被検体の形状へと変形させた変形三次元画像を生成し、これを断面画像生成部５３０へと出力する。

分布取得部５３５は、注目領域取得部１２２が取得した注目領域を表す情報と、変形推定部５２８が推定した変形パラメータの変動範囲とに基づいて、超音波断層画像上における対応領域の存在確率分布を算出する。

断面画像生成部５３０は、変形推定部５２８の出力である変形三次元画像と、位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢とに基づいて、該超音波断層画像に対応する断面画像を変形三次元画像から生成して、画像合成部１４０へと出力する。

そして、第２の実施形態における情報処理装置５００も、第１の実施形態と同様に、図２に示す基本構成のコンピュータを用いて実現することができる。

図６は、第２の実施形態における情報処理装置５００が行う全体の処理手順を示すフローチャートである。このフローチャートに示す処理も、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、図６に示すフローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

＜Ｓ６０００：データの入力＞
ステップＳ６０００において、情報処理装置５００は、第１の実施形態におけるステップＳ１０００と同様の処理を行い、三次元画像データと注目領域を表す情報を取得する。また、情報処理装置５００は、形状取得部５２７の処理として、形状計測装置５８５から被検体の表面形状データを取得する。

＜Ｓ６００５：変形推定＞
ステップＳ６００５において、情報処理装置５００は、変形推定部５２８の処理として、ステップＳ６０００で取得した表面形状データに基づいて被検体の変形状態を推定する。例えば、情報処理装置５００は、特開２０１１−０９２２６３号公報に記載の変形推定方法を用いて、三次元画像データから被検体の変形モデルを生成し、これを該形状データにあてはめることでその変形パラメータを推定する。また、情報処理装置５００は、この推定の工程で生成される異なるパラメータによる変形シミュレーション結果の夫々を、分布取得部５３５へと出力する。更に、情報処理装置５００は、推定した変形パラメータに基づいて、三次元画像データを超音波撮影時の被検体の形状へと変形させた変形三次元画像を生成する。

＜Ｓ６０１５：三次元空間中の存在確率分布の算出＞
ステップＳ６０１５において、情報処理装置５００は、分布取得部５３５の処理として、複数の変形シミュレーションによって変位した対応領域のばらつきに基づいて、三次元空間中における対応領域の存在確率分布を算出する。具体的には、情報処理装置５００は、先ず、ステップＳ６００５で求めた変形シミュレーション結果の夫々における変形後の対応領域を算出する。そして、情報処理装置５００は、夫々の対応領域に、ステップＳ６００５で推定した対応領域からの距離に応じた重み、例えば近いほど大きくなるような重みを、総計が１となるように付与する。そして、推定した対応領域からの距離が近いものを順に選び、その重みの和が所定の値（例えば、０．９，０．９５，０．９８，０．９９５）となるような領域を導出する。

＜Ｓ６０２０：断層画像の取得＞
ステップＳ６０２０において、情報処理装置５００は、第１の実施形態におけるステップＳ１０２０と同様の処理を行い、超音波断層画像及びその位置姿勢を取得する。

＜Ｓ６０４０：断面画像の取得＞
ステップＳ６０４０において、情報処理装置５００は、断面画像生成部５３０の処理として、ステップＳ６０２０で得た超音波断層画像に対応する変形三次元画像の断面画像を生成する。

＜Ｓ６０５０：断面画像上の存在確率分布の取得＞
ステップＳ６０５０において、情報処理装置５００は、分布取得部５３５の処理として、超音波断層画像上における対応領域の存在確率分布を算出する。具体的には、情報処理装置５００は、ステップＳ６０１５で算出した三次元空間中における対応領域の存在確率分布を超音波断面で切り取ることによって、二次元平面上における対応領域の存在確率分布を算出する。

なお、ステップＳ６０６０、Ｓ６０７０及びＳ６０８０の処理は、第１の実施形態におけるステップＳ１０６０、Ｓ１０７０及びＳ１０８０と同様である。

以上によって、情報処理装置５００の処理が実行される。

以上のように、第２の実施形態に係る情報処理システムは、三次元画像データ撮影時の被検体の形状から超音波撮影時の被検体の形状への変形を推定して対応領域を求める場合に、その変形推定の曖昧さを考慮することによって、対応領域の存在確率分布を算出する。そうすることで、注目病変部が被検体の乳房等の軟組織に存在する場合にも、ユーザは二次元画像上の実際の対応領域の探索範囲がより正確に分かるので、実際の対応領域を更に効率良く探索することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態に係る情報処理システムは、対応病変部の存在確率分布を表示する方法として、存在確率分布の積分値が所定の値となるような同心球を表示する。これに対し、第３の実施形態では、断層画像上の各画素における対応病変部の存在確率をそのまま重畳表示する。以下、第３の実施形態に係る情報処理システムについて、第１の実施形態と相違する部分を中心にして説明する。

本実施形態に係る情報処理システムの構成は第１の実施形態と同様に図１のようなものであるが、分布取得部１３５の処理の一部、及び画像合成部１４０の処理の一部が第１の実施形態とは異なっている。また、本実施形態に係る情報処理システムの処理のフローは第１の実施形態と同様に図３のようなものであるが、ステップＳ１０５０及びステップＳ１０６０の処理の一部が第１の実施形態とは異なっている。

＜Ｓ１０５０：存在確率分布の取得＞
ステップＳ１０５０において、情報処理装置１００は、分布取得部１３５の処理として、第１の実施形態と同様な処理を行い、対応病変の存在確率分布を得る。ここで、分布を表わす関数を得る処理までは第１の実施形態と同様であるが、本実施形態では、第１の実施形態で求めたような同心球やその断面としての同心円の算出は実行しない。その代わりに、情報処理装置１００は、超音波断層画像上の夫々の画素の位置における対応病変の存在確率を計算する。なお、第１の実施形態と同様な同心円を求める処理を、更に実行するようにしてもよい。

＜Ｓ１０６０：断層画像に存在確率分布を描画＞
ステップＳ１０６０において、情報処理装置１００は、画像合成部１４０の処理として、ステップＳ１０５０で算出した対応病変部の存在確率分布を表す情報を、超音波断層画像の夫々の画素上に重畳して描画する。例えば、情報処理装置１００は、存在確率の値の変化に従って、画素に重畳する色を変化させる。より具体的には、情報処理装置１００は、存在確率の値が大きくなるに従って、画素に重畳する色を薄くする。また、存在確率の等高線（等確率線）を所定の値について求め、これを断層画像上に重畳表示するようにしてもよい。なお、ステップＳ１０５０の処理において第１の実施形態と同様な同心円を求める処理を実行している場合には、第１の実施形態におけるステップＳ１０６０と同様な表示をあわせて行ってもよい。

以上によって、情報処理装置１００の処理が実行される。

このような第３の実施形態によれば、誤解の原因となりうるような明確な境界を示すことなく、対応領域が存在しうる位置をユーザに提示することができる。

（第４の実施形態）
本実施形態に係る情報処理装置は、うつ伏せの状態で被検体の乳房を撮影したＭＲＩ画像（ＭＲＩ装置で撮影した画像）と、仰向けの状態で被検体の乳房を撮影した超音波画像（超音波画像撮影装置で撮影した画像）とを対応付けて観察できるようにする。そして、本実施形態に係る情報処理装置では、ＭＲＩ画像中に描出される病変部などの注目領域と対応する超音波画像中における領域を超音波画像中に表示する。ここで、超音波画像中における領域は、上述した対応付けの誤差に起因する曖昧さを含む領域である。本実施形態に係る情報処理装置では、上述した対応付けの際に生じる誤差の範囲を推定し、当該誤差により超音波画像中における領域の変動範囲（注目領域が存在するであろう範囲）を算出する。これにより、本実施形態では、ＭＲＩ画像中の注目領域に対応する部位の超音波画像中における存在範囲を提示できるようにする。

なお、本実施形態では、医用画像である三次元画像の一例として、ＭＲＩ画像を用いる場合を例として説明するが、本発明においてはこれに限定されるものではない。例えば、三次元画像として、Ｘ線ＣＴ画像（Ｘ線ＣＴ装置で撮影された画像）やＰＥＴ画像などを用いてもよい。

図７は、第４の実施形態に係る情報処理システムの機能構成の一例を示す模式図である。
本実施形態に係る情報処理システムは、図７に示すように、情報処理装置１１００−１、ＭＲＩ画像撮影装置１１１０、データサーバ１１２０、形状計測装置１１３０、位置姿勢計測装置１１４０、超音波画像撮影装置１１５０、及び、モニタ１１６０を備えている。

また、情報処理装置１１００−１は、図７に示すように、ＭＲＩ画像取得部２００１、注目領域取得部２００２、変形シミュレーション部２００３、変形モデル生成部２００４、形状計測値取得部２００５、変形パラメータ算出部２００６、パラメータ変動範囲算出部２００７、注目領域変動算出部２００８、超音波画像取得部２００９、位置姿勢計測値取得部２０１０、及び、観察画像生成部２０１１の機能構成を備えている。
この情報処理装置１１００−１は、図７に示すように、データサーバ１１２０、形状計測装置１１３０、位置姿勢計測装置１１４０、超音波画像撮影装置１１５０、及び、モニタ１１６０に接続されている。

ＭＲＩ画像撮影装置１１１０は、人体である被検体の内部の３次元領域に関する情報を核磁気共鳴法により取得した画像、即ちＭＲＩ画像を撮影する装置である。このＭＲＩ画像撮影装置１１１０は、データサーバ１１２０に接続され、撮影により得られたＭＲＩ画像をデータサーバ１１２０へ送信する。

データサーバ１１２０は、ＭＲＩ画像撮影装置１１１０が撮影したＭＲＩ画像や、ＭＲＩ画像中に描出される病変などの注目領域の位置に関する情報（座標値）を保持する装置である。

超音波画像撮影装置１１５０は、超音波を送受信する不図示の超音波プローブを被検体に接触させることで、被検体の内部を超音波撮影する。本実施形態においては、超音波画像撮影装置１１５０は、仰向け状態の被検体の断面領域を撮影した２次元のＢモード超音波画像を撮影する。

位置姿勢計測装置１１４０は、３次元空間における前記超音波プローブの位置と姿勢を計測する装置である。この位置姿勢計測装置１１４０は、例えば、磁気式や光学式の６自由度計測装置を前記超音波プローブに装着することで構成される。

形状計測装置１１３０は、被検体の体表の形状を計測する装置である。この形状計測装置１１３０は、例えば、被検体の体表に接触させて形状を計測するスタイラスや、被検体に対して光学的に非接触に形状を計測するレンジセンサなど、周知の部材により構成される。本実施形態においては、形状計測装置１１３０は、超音波画像撮影装置１１５０や位置姿勢計測装置１１４０と隣接して設置され、超音波画像撮影装置１１５０で超音波撮影される仰向け状態の被検体の体表の形状を計測する。

モニタ１１６０は、画像や情報を表示するものである。

次に、図７に示す情報処理装置１１００−１の各機能構成について説明する。

ＭＲＩ画像取得部２００１は、ＭＲＩ画像撮影装置１１１０が撮影した、うつ伏せ状態の被検体のＭＲＩ画像を、データサーバ１１２０を介して取得する。

注目領域取得部２００２は、被検体の病変などの注目領域の位置に関する情報（座標値）をデータサーバ１１２０から取得する。

変形シミュレーション部２００３は、ＭＲＩ画像取得部２００１で取得されたＭＲＩ画像に基づいて、うつ伏せ状態における被検体の形状を算出する。そして、変形シミュレーション部２００３は、被検体が仰向け状態になった場合に被検体に生じる変形をシミュレーションにより算出する。ここで、変形シミュレーション部２００３は、後述する処理方法により、条件の異なる複数の変形を算出する。

変形モデル生成部２００４は、変形シミュレーション部２００３で算出された被検体に生じる複数の変形の結果に基づいて、被検体の変形を複数のパラメータの組によって表現する変形モデルを生成する。本実施形態では、前記複数のパラメータの組を「パラメータベクトル」と称する。

形状計測値取得部２００５は、形状計測装置１１３０が計測した被検体の体表の形状に係る形状計測値を取得する。

変形パラメータ算出部２００６は、変形モデル生成部２００４で生成された変形モデルと、形状計測値取得部２００５で取得された仰向け状態の被検体の体表の形状に係る形状計測値とに基づいて、前記変形モデルで前記体表の形状を近似する場合にその近似誤差が最小となるパラメータベクトルを算出する。

パラメータ変動範囲算出部２００７は、変形モデル生成部２００４で生成された変形モデルと、変形パラメータ算出部２００６で算出されたパラメータベクトルとに基づいて、前記パラメータベクトルの変動範囲を算出する。このパラメータベクトルの変動範囲の算出は、変形パラメータ算出部２００６が行うパラメータベクトルの算出に関する曖昧さに基づいて実行される。この具体的な処理の内容については後で詳述する。

注目領域変動算出部２００８は、注目領域取得部２００２で取得された注目領域の位置に関する情報（座標値）と、変形モデル生成部２００４で生成された変形モデルと、パラメータ変動範囲算出部２００７で算出された前記パラメータベクトルの変動範囲（誤差の変動範囲）とに基づいて、前記注目領域の変動範囲を算出する。この具体的な処理の内容については後で詳述する。

超音波画像取得部２００９は、超音波画像撮影装置１１５０が被検体の内部を超音波撮影することで得られた超音波画像を取得する。

位置姿勢計測値取得部２０１０は、位置姿勢計測装置１１４０が計測した前記超音波プローブの位置と姿勢に係る位置姿勢計測値を取得する。

観察画像生成部２０１１は、位置姿勢計測値取得部２０１０で取得された超音波プローブの位置姿勢計測値と、注目領域変動算出部２００８で算出された注目領域の変動範囲と、超音波画像取得部２００９で取得された超音波画像とに基づいて、観察画像を生成する。本実施形態においては、観察画像生成部２０１１で生成された観察画像は、モニタ１１６０に表示される。

図８は、第４の実施形態に係る情報処理システムのハードウェア構成の一例を示す模式図である。図８において、図７に示す構成と同様の構成については同じ符号を付している。
図８に示す情報処理システムでは、図７に示す処理システムに対して、マウス１１７０、及び、キーボード１１８０が追加されている。

また、情報処理装置１１００は、ＣＰＵ（中央演算処理装置）１２１１、主メモリ１２１２、磁気ディスク１２１３、表示メモリ１２１４、及び、共通バス１２１５のハードウェア構成を備えている。この情報処理装置１１００は、例えば、パーソナルコンピュータ（ＰＣ）などで実現することができる。

ＣＰＵ１２１１は、主として情報処理装置１１００の各ハードウェア構成の動作を制御して、情報処理装置１１００における動作を統括的に制御する。

主メモリ１２１２は、ＣＰＵ１２１１が実行する制御プログラムを格納したり、ＣＰＵ１２１１によるプログラム実行時の作業領域を提供したりする。

磁気ディスク１２１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、各種のアプリケーションソフト等を格納する。

表示メモリ１２１４は、モニタ１１６０に表示するための表示用データを一時記憶する。

共通バス１２１５は、ＣＰＵ１２１１、主メモリ１２１２、磁気ディスク１２１３、表示メモリ１２１４、データサーバ１１２０、形状計測装置１１３０、位置姿勢計測装置１１４０、超音波画像撮影装置１１５０、マウス１１７０、及び、キーボード１１８０を通信可能に接続する。

モニタ１１６０は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１２１４からの表示用データに基づいて画像や情報を表示する。

マウス１１７０及びキーボード１１８０は、ユーザ（操作者）によるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。

なお、図７に示す情報処理装置１１００−１の各機能構成（２００１〜２０１１）は、例えば、図８に示すＣＰＵ１２１１及び主メモリ１２１２に格納されている制御プログラムから構成される。

次に、本実施形態に係る情報処理装置１１００−１が行う全体の動作に関して、図９のフローチャートを用いて詳しく説明する。

図９は、第４の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。ここで、本実施形態では、図９に示す情報処理方法は、図８のＣＰＵ１２１１が図８の主メモリ１２１２に格納されている制御プログラムを実行することによりなされるものとする。また、以下に説明する情報処理装置が行う各処理の結果は、図８の主メモリ１２１２に格納されて記録されるものとする。

＜Ｓ３００：ＭＲＩ画像の取得＞
ステップＳ３００において、図７のＭＲＩ画像取得部２００１は、ＭＲＩ画像撮影装置１１１０が被検体を撮影した３次元のＭＲＩ画像をデータサーバ１１２０から取得する。本実施形態におけるＭＲＩ画像は、うつ伏せの状態の被検体の乳房を撮影した画像である場合を例として説明する。

＜Ｓ３１０：注目領域の取得＞
ステップＳ３１０において、図７の注目領域取得部２００２は、被検体内部における病変などの注目領域の位置に関する情報（座標値）をデータサーバ１１２０から取得する。本実施形態では、注目領域は、被検体内部の病変の中心の位置を表す点である場合を例として説明する。以下では、前記病変の中心の位置を表す点のＭＲＩ画像座標系を基準とした位置座標値をｐと表記する。つまり、本処理ステップは、データサーバ１１２０が保持する被検体内部の病変の中心位置の座標値ｐを注目領域取得部２００２が取得する処理である。

＜Ｓ３２０：変形シミュレーション＞
ステップＳ３２０において、図７の変形シミュレーション部２００３は、ＭＲＩ画像を撮影した際のうつ伏せの状態の被検体が、超音波撮影を行う姿勢である仰向けの状態に姿勢を変えた際に、被検体の乳房に生じる変形を物理シミュレーションにより算出する。この算出処理は、例えば、有限要素法などの公知の方法により実行できる。この場合の算出処理方法について、具体的な方法を以下に例示する。

まず、図７の変形シミュレーション部２００３は、ステップＳ３００で取得されたＭＲＩ画像からシミュレーションの対象とする被検体の領域を抽出する。被検体の乳房を対象部位とする本実施形態では、図７の変形シミュレーション部２００３は、乳房付近の体表面と、大胸筋面で囲まれた領域を抽出し、その領域をシミュレーション対象の領域とする。この処理は、ＭＲＩ画像の画像処理等によって自動的に実行できるようにしても良いし、マウス１１７０やキーボード１１８０などを介してユーザ（操作者）が手動で指定した領域を抽出することで実行できるようにしても良い。

次いで、図７の変形シミュレーション部２００３は、抽出したシミュレーション対象領域を複数の頂点で構成されるメッシュに分割する。この処理は、公知の手法で自動的に実行できる。ここで、領域を分割する各メッシュの頂点の位置座標をベクトルｓ＝（ｘ₁，ｙ₁，ｚ₁，…，ｘ_k，ｙ_k，ｚ_k，…，ｘ_N，ｙ_N，ｚ_N）^tと表記する。ただし、ｋはメッシュの頂点毎に割振られる添え字であり、１≦ｋ≦Ｎである。また、Ｎは頂点の総数である。ここで、Ｎ個の頂点のうち、被検体の体表に位置する頂点はＱ個であるものとする。したがって Ｑ≦Ｎである。そして、ベクトルｓの１番目の要素から３×Ｑ番目の要素には、前記被検体の体表に位置するＱ個の頂点の位置座標を格納するものとする。また、ベクトルｓの各要素の値は、ＭＲＩ画像座標系を基準とした位置座標値である。

次いで、図７の変形シミュレーション部２００３は、シミュレーション対象領域を構成する材料の機械的な特性や変形の原因となる重力方向の変動などのシミュレーション条件を設定し、それに基づいて剛性行列を生成する。例えば、前記材料の機械的な特性として線形弾性体を仮定する場合には、ヤング率、ポアソン比などをシミュレーション条件として設定する。本実施形態では、被検体を構成する材料の機械的な特性として線形弾性体を仮定する。ただし、ヤング率、ポアソン比は未知であるものとし、ヤング率、ポアソン比を複数の組み合わせで設定した場合の複数の異なる条件毎に後述の処理を実行する場合を例として説明する。具体的には、ヤング率として、５００［Ｐａ］、１０００［Ｐａ］、２０００［Ｐａ］及び４０００［Ｐａ］の４種類、ポアソン比として、０．３、０．４及び０．４９の３種類を考え、これらの全組み合わせである１２通りのシミュレーション条件を設定し、後の処理を実行する。

次いで、図７の変形シミュレーション部２００３は、対象領域を構成するメッシュの頂点に作用させる荷重を設定する。うつ伏せの状態から仰向けの状態へと姿勢を変えた際に生じる変形をシミュレーションする本実施形態では、その間の重力方向の違いによる荷重を算出して設定する。

次いで、図７の変形シミュレーション部２００３は、上述した方法で算出した剛性行列と荷重とに基づき、シミュレーション領域を分割した各メッシュの頂点の変位を算出する。これは、被検体の変形状態を算出することに相当する。ここで、変形状態とは、変形後のメッシュの各頂点の位置に関する数値情報を意味する。本実施形態では、１２通りの異なるシミュレーション条件毎に算出した被検体の変形状態を、変形後の頂点の位置座標を縦に並べたベクトルｄ_i＝（ｘ_1i，ｙ_1i，ｚ_1i，…，ｘ_Ni，ｙ_Ni，ｚ_Ni）^tで表わす。ただし、ｉはシミュレーション条件毎の添え字であり、本実施形態では、１≦ｉ≦１２である。またベクトルｄ_iの各要素の値は、ＭＲＩ画像座標系を基準とした位置座標値である。

上述した例では、被検体の変形状態を有限要素法によるシミュレーションを用いて求める場合を例として説明したが、本発明の実施はこれに限定されるものではなく、他の方法を用いても良い。例えば、差分法や粒子法などを用いて被検体の変形状態をシミュレーションするようにした形態も適用可能である。また、上述した例では、被検体の乳房をシミュレーションの対象領域とする場合を例として説明したが、本発明の実施はこれに限定されるものではなく、例えば、人体の他の部位や人体以外の工業部品等であっても良い。この場合も、上述した方法と同様の処理を行うことができる。

＜Ｓ３３０：変形モデルの生成＞
ステップＳ３３０において、図７の変形モデル生成部２００４は、ステップＳ３２０で算出された被検体の変形に関するシミュレーション結果ｄ_iに基づいて、その変形をパラメトリックに表現する変形モデルを生成する。この変形モデルの生成方法としては、例えば、上記の非特許文献１に記載の方法で実行することができる。

非特許文献１に記載の方法によれば、まず、図７の変形モデル生成部２００４は、シミュレーション結果ｄ_iに基づいて、下記の（１）式に示す正規化ベクトルｄ~_iを生成する。

ただし、ｉはシミュレーション結果毎の添え字であり、本実施形態では１≦ｉ≦Ｍである。ここで、Ｍはシミュレーション結果の総数であり、本実施例ではＭ＝１２である。また、ｄ_aveはシミュレーション結果の平均ベクトルであり、下記の（２）式により算出する。

そして、図７の変形モデル生成部２００４は、正規化ベクトルｄ~_iの主成分分析を行い、第１主成分ベクトルｅ₁から第Ｍ−１主成分ベクトルｅ_M-1までのＭ−１個の主成分ベクトルを算出する。

本処理ステップで図７の変形モデル生成部２００４が実行する変形モデルの生成は、平均ベクトルｄ_aveと主成分ベクトルｅ_iの情報の算出により実行される。本実施形態では、これらの情報をもって変形モデルと称する。

なお、上述した例では、条件の異なる複数のシミュレーション結果を用いて算出しうる、シミュレーション結果の総数Ｍより１小さいＭ−１個の主成分ベクトルの全てを算出し、それらにより変形モデルを構成する場合を例として説明したが、本発明の実施はこれに限定されない。例えば、変形モデルを構成する主成分ベクトルとして、上述した方法で算出した主成分ベクトルの一部だけを用いるようにすることもできる。この場合、変形モデルに用いる主成分ベクトルは上述した方法で算出した主成分ベクトルのうち、主成分スコア（寄与率）の高い主成分ベクトルを用いることが望ましい。また、累積寄与率によって変形モデルの構成に用いる主成分ベクトルの数を決めるようにしても良い。この方法によれば、より効率的に変形モデルを構築することができる。

以下、変形モデルについて説明を加える。
上述した処理により算出し主成分ベクトルを、下記の（３）式に示すように、主成分ベクトルの数と同数のパラメータｃ₁〜ｃ_M-1で重み付けした線形和を計算すると、シミュレーション結果ｄ_iを含む様々な変形状態ｒを生成することができる。

ここで、（３）式は、下記の（４）式のように行列、ベクトル表記に書き換えることができる。

ただし、Ｅは主成分ベクトルｅ₁〜ｅ_M-1を横に並べた行列、ｃはｃ₁〜ｃ_M-1を縦に並べたベクトルである。本実施形態では、ベクトルｃをパラメータベクトルと称する。ステップＳ３３０で生成した変形モデルは、このパラメータベクトルの各要素を様々に変更することにより、（４）式の計算処理を経て、様々な変形状態を表現するものである。

本実施形態では、変形モデルが表現する変形状態であるメッシュの各頂点の位置座標値をｒ_kと表記する。メッシュの各頂点の位置座標値ｒ_kは、パラメータベクトルｃによって変化する関数として捉えることもでき、その場合にはｒ_k（ｃ）と関数表記する。

＜Ｓ３４０：形状計測値の取得＞
ステップＳ３４０において、図７の形状計測値取得部２００５は、形状計測装置１１３０が計測した被検体の体表形状に係る形状計測値を取得する処理を実行する。本実施形態では、被検体の体表形状に係る形状計測値は、ＭＲＩ画像座標系における位置座標値の群として取得されるものとする。本実施形態では、被検体の体表形状に係る形状計測値を三次元ベクトルの群ｑ_jと表記する。ただし、ｊは複数の位置座標値毎に振られる添え字であり、１≦ｊ≦Ｋである。ここで、Ｋは形状計測値の数を意味する。

＜Ｓ３５０：変形パラメータの算出＞
ステップＳ３５０において、図７の変形パラメータ算出部２００６は、ステップＳ３３０で生成された変形モデルが表す変形状態が、ステップＳ３４０で取得された被検体の体表形状に係る形状計測値と略一致する変形モデルの変形パラメータを算出する。具体的には、図７の変形パラメータ算出部２００６は、下記の（５）式に示す距離関数Ｌ_dist（ｃ）が最小となる最適変形パラメータベクトルｃ_optを求める処理を実行する。

即ち、計測した体表位置のそれぞれに最も近いメッシュ表面の頂点を得て、その距離の総和を最小とするような変形を推定する。この処理は、非線形最適化問題の解法を用いて解くことができ、例えば、最急降下法や準ニュートン法などの公知の手法を用いることができる。

＜Ｓ３６０：変形パラメータの変動範囲の算出＞
ステップＳ３６０において、図７のパラメータ変動範囲算出部２００７は、（５）式で示した距離関数が所定の値以下となる変形パラメータベクトルの変動範囲を算出する処理を実行する。具体的に、図７のパラメータ変動範囲算出部２００７は、ステップＳ３５０で算出された最適変形パラメータベクトルｃ_optを含み、（５）式で示した距離関数の値が、Ｌ_dist（ｃ_opt）と所定の範囲内となる変形パラメータベクトルの変動の範囲を算出する。この変動範囲の算出方法について、具体的な方法を以下に例示する。

まず、図７のパラメータ変動範囲算出部２００７は、下記の（６）式に示すように、ｃ_optの１番目の要素値を微小量δだけ増加させた変動パラメータベクトルｃ'を生成する。

そして、図７のパラメータ変動範囲算出部２００７は、その変動パラメータベクトルｃ'を用いて（５）式の計算を実行し、変動パラメータベクトルｃ'に対する距離関数の値Ｌ_dist（ｃ'）を算出する。そして、図７のパラメータ変動範囲算出部２００７は、この距離関数の値Ｌ_dist（ｃ'）とＬ_dist（ｃ_opt）との差が所定の範囲内である限り、前記微小量δの増加を繰り返す。

最後に、図７のパラメータ変動範囲算出部２００７は、Ｌ_dist（ｃ'）とＬ_dist（ｃ_opt）とが所定の差以上となる時の前記変動パラメータベクトルｃ' の１番目の要素値に加えられた増加量を、変形パラメータベクトルの１番目の要素の上限幅（δ_UPPER_₁）として記録する。また、図７のパラメータ変動範囲算出部２００７は、上述した処理と同様の処理を、微小量δを減少させる方向に作用させて実行し、変形パラメータベクトルの１番目の要素の下限幅（δ_LOWER_₁）として記録する。以下、パラメータベクトルの２番目以降の要素に関しても同様の処理を実行し、それぞれの上限幅と下限幅を算出して記録する。

本実施形態では、上述の処理によって算出した変形パラメータベクトルの各要素に関する上限幅をδ_UPPER_₁，…，δ_UPPER__M-1、下限幅をδ_LOWER_₁，…，δ_LOWER__M-1と表記する。

＜Ｓ３７０：注目領域の変動範囲の算出＞
ステップＳ３７０において、図７の注目領域変動算出部２００８は、ステップＳ３１０で取得された注目領域の位置に関する情報（座標値）と、ステップＳ３３０で生成された変形モデルと、ステップＳ３６０で算出されたパラメータベクトルの変動範囲に基づいて、ステップＳ３１０で取得した注目領域の変動範囲を算出する処理を実行する。この注目領域の変動範囲の算出方法について、具体的な方法を以下に例示する。

まず、図７の注目領域変動算出部２００８は、ステップＳ３６０で算出された変形パラメータベクトルの各要素に関する上限値及び下限値に基づいて、変形パラメータベクトルの群を生成する。例えば、図７の注目領域変動算出部２００８は、下記の（７）式〜（１０）式に示す計算により、１番目と２番目の要素に関する変形パラメータベクトルの群を生成する。

同様にして、図７の注目領域変動算出部２００８は、３番目以降の要素に関する変形パラメータベクトルの群（ｃ_UPPER_₃〜ｃ_UPPER__M-1、ｃ_LOWER_₃〜ｃ_LOWER__M-1）も生成する。

そして、図７の注目領域変動算出部２００８は、これらの変形パラメータベクトルの群のそれぞれについて、被検体の変形状態を（４）式を用いて算出する。ここで、この際の算出結果をｒ_UPPER_₁〜ｒ_UPPER__M-1、ｒ_LOWER_₁〜ｒ_LOWER__M-1とする。さらに、図７の注目領域変動算出部２００８は、これらの各変形状態を用いて、ステップＳ３１０で取得された注目領域をワーピング処理し、変形後の注目領域の群ｐ_UPPER_₁〜ｐ_UPPER__M-1、ｐ_LOWER_₁〜ｐ_LOWER__M-1を算出する。この処理は、シミュレーション対象領域の変形前のメッシュの頂点の位置座標ｓ、及び、変形後のメッシュの頂点の位置座標であるｒ_UPPER_₁〜ｒ_UPPER__M-1、ｒ_LOWER_₁〜ｒ_LOWER__M-1を用いて、公知の方法で実行できる。そして、図７の注目領域変動算出部２００８は、前記変形後注目領域の群を内包する最小の楕円体を算出し、この楕円体の内部の領域を注目領域の変動範囲とする。

図１０は、第４の実施形態を示し、図９のステップＳ３７０の処理を説明する模式図である。
図１０において、変形後の注目領域の群５５０は、ＭＲＩ画像座標系５１０における、前記ｐ_UPPER_₁〜ｐ_UPPER__M-1、ｐ_LOWER_₁〜ｐ_LOWER__M-1の位置座標の群である。そして、図７の注目領域変動算出部２００８は、変形後の注目領域の群５５０を包含し、かつ最小の大きさの楕円体の内部の領域を注目領域の変動範囲５２０として算出する。なお、楕円体で表現する注目領域の変動範囲は、ＭＲＩ画像座標系５１０における前記楕円体を表す数式や当該数式を構成する係数などでも良いし、ＭＲＩ画像座標系５１０における二値ボリュームであっても良い。いずれにしても、ＭＲＩ画像座標系５１０における任意の位置座標が前記注目領域の変動範囲の内部か外部かが判別できる情報であればよい。
なお、上述した例では、注目領域の変動範囲を楕円体とする場合を例として説明したが、本発明の実施はこれに限定されるものではなく、例えば、球体や直方体など任意の形状で表すようにしても良い。

＜Ｓ３８０：超音波画像の取得＞
ステップＳ３８０において、図７の超音波画像取得部２００９は、仰向け状態の被検体の乳房を超音波画像撮影装置１１５０が撮影した超音波画像を取得する。

＜Ｓ３９０：位置姿勢計測値の取得＞
ステップＳ３９０において、図７の位置姿勢計測値取得部２０１０は、位置姿勢計測装置１１４０が計測した超音波プローブの位置と姿勢に係る位置姿勢計測値を取得する。ここで、本実施形態では、図７の位置姿勢計測値取得部２０１０は、位置姿勢計測装置１１４０の計測値に公知の校正処理を施すことで、ＭＲＩ画像座標系におけるプローブ座標系の位置と姿勢の関係を取得する。ここで、プローブ座標系は、超音波プローブの撮影面（被検体と接する面）の中心を原点とし、超音波ビームの放射方向をＹ軸とする。また、超音波画像撮影装置１１５０が撮影する超音波画像の撮影面に含まれ、前記Ｙ軸と直交する方向をＸ軸とする。そして、Ｘ軸とＹ軸の外積の方向をＺ軸とする。プローブ座標系は、上記のようにして定める直交座標系である。なお、本実施形態において、ステップＳ３８０で取得した超音波画像の画像座標系は、前記プローブ座標系（のＺ＝０平面）と一致するものとして定義されているものとする。

＜Ｓ４００：観察画像の表示＞
ステップＳ４００において、図７の観察画像生成部２０１１は、ステップＳ３９０で取得された位置姿勢計測値に基づいて、ステップＳ３８０で取得された超音波画像に、ステップＳ３７０で算出した注目領域の変動範囲を重畳した観察画像を生成する。そして、図７の観察画像生成部２０１１は、生成した観察画像を図７のモニタ１１６０に表示する処理を実行する。本ステップの処理方法について、具体的な方法を以下に例示する。

まず、図７の観察画像生成部２０１１は、ステップＳ３９０で取得した超音波プローブの位置姿勢計測値を利用して、前記超音波画像の撮影平面のＭＲＩ画像座標系における位置と姿勢を算出する。そして、図７の観察画像生成部２０１１は、前記撮影平面の位置と姿勢との関係に基づいて、前記算出した注目領域の変動範囲である楕円体の領域を超音波画像上に重畳して表示する。この処理について、図１１を用いてより詳しく説明する。

図１１は、第４の実施形態を示し、図９のステップＳ４００の処理を説明する模式図である。
図１１（ａ）において、超音波画像６００は、ステップＳ３８０で取得された超音波画像である。また、超音波画像６００は、プローブ座標系６１０における所定の平面領域を超音波撮影した画像である。このプローブ座標系６１０は、ステップＳ３９０で取得された位置姿勢計測値により、ＭＲＩ画像座標系５１０との位置と姿勢の関係が定められる。また、ステップＳ３７０で算出された注目領域の変動範囲５２０は、ＭＲＩ画像座標系５１０における楕円体領域であるので、この楕円体領域と超音波画像６００との交差領域６３０は、ＭＲＩ画像座標系５１０における楕円領域として一意に定めることができる。
図１１（ｂ）は、超音波画像６００及び当該超音波画像の平面上に位置する交差領域６３０を、プローブ座標系６１０を基準として表示した観察画像の例である。この図１１（ｂ）に示すように、本実施形態における観察画像の一例としては、超音波画像６００上に交差領域６３０を重畳して描画した画像とすることができる。本実施形態に係る処理装置は、以上の処理により生成した観察画像を、表示メモリ１２１４への送信を介してモニタ１１６０に表示する。

＜Ｓ４１０：処理終了の判定＞
ステップＳ４１０において、本実施形態に係る情報処理装置は、処理を終了するか否かを判定する。この判定は、ユーザ（操作者）によるマウス１１７０やキーボード１１８０を介した入力操作に基づいて行うことができる。
そして、ステップＳ４１０の判定の結果、処理を終了しない場合には、ステップＳ３８０の処理に戻る。
一方、ステップＳ４１０の判定の結果、処理を終了する場合には、図９に示すフローチャートの処理を終了する。
以上の処理によって、本実施形態に係る情報処理装置１１００−１の処理が実施される。

上述したように、本実施形態に係る情報処理装置１１００−１は、姿勢がうつ伏せの状態（第１状態）の被検体をＭＲＩ画像撮影装置（第１撮影装置）１１１０を用いて撮影したＭＲＩ画像（第１画像）を取得するＭＲＩ画像取得部（第１画像取得手段）２００１を備える。
また、本実施形態に係る情報処理装置１１００−１は、姿勢が仰向けの状態（第２状態）の前記被検体を超音波画像撮影装置（第２撮影装置）１１５０を用いて撮影した超音波画像（第２画像）を取得する超音波画像取得部（第２画像取得手段）２００９を備える。
また、本実施形態に係る情報処理装置１１００−１は、ＭＲＩ画像（第１画像）の注目領域を取得する注目領域取得部２００２を備える。
また、本実施形態に係る情報処理装置１１００−１は、被検体をうつ伏せの状態（第１状態）から仰向けの状態（第２状態）にした際の当該被検体の変形状態をパラメータにより表現する変形モデルを生成する変形モデル生成部２００４を備える。
また、本実施形態に係る情報処理装置１１００−１は、被検体が仰向けの状態（第２状態）のときの当該被検体の形状計測値を取得する形状計測値取得部２００５を備える。
また、本実施形態に係る情報処理装置１１００−１は、前記変形モデルと前記形状計測値とに基づいて前記変形モデルによる変形パラメータを算出する変形パラメータ算出部２００６を備える。
また、本実施形態に係る情報処理装置１１００−１は、前記変形モデルと前記変形パラメータとに基づいて当該変形パラメータの変動範囲を算出するパラメータ変動範囲算出部２００７を備える。
また、本実施形態に係る情報処理装置１１００−１は、注目領域取得部２００２で取得した注目領域と前記変形モデルと前記変形パラメータの変動範囲とに基づいて当該注目領域の変動範囲を算出する注目領域変動算出部２００８を備える。
また、本実施形態に係る情報処理装置１１００−１は、超音波画像（第２画像）に前記注目領域の変動範囲を示した観察画像を生成する観察画像生成部２０１１を備える。

本実施形態に係る情報処理システムによれば、ＭＲＩ画像中の注目領域に対応する部位の超音波画像中における存在範囲を提示可能な仕組みを提供することができる。

次に、第４の実施形態における変形例について説明する。

［第４の実施形態の変形例１］
上述した第４の実施形態では、図９のステップＳ３６０において変形パラメータベクトルの各要素毎に上限幅と下限幅を算出し、図９のステップＳ３７０においてその上限幅と下限幅に基づいて注目領域の変動範囲を算出する場合を例として説明した。しかしながら、本発明の実施においては、これに限定されるものではない。例えば、ステップＳ３６０の処理で算出する変形パラメータベクトルの変動範囲は、変形パラメータベクトルが取りうる値が張る空間、即ち本実施形態ではＭ−１次元（１１次元）のパラメータ空間の任意の領域として算出しても良い。この場合、例えば、図９のステップＳ３５０で算出された最適変形パラメータベクトルｃ_optを起点とし、前記Ｍ−１次元のパラメータ空間において（５）式に示した距離関数が所定の値以内となる領域を探索的に求めるようにしても良い。そして、前記処理で求めたＭ−１次元のパラメータ空間における領域の境界位置を変形パラメータベクトルの変動範囲としても良い。この場合、図９のステップＳ３７０の処理としては、前記処理で求めたパラメータ空間の領域の境界の位置における変形パラメータベクトルの群を用いて注目領域の変動範囲を算出することになる。この方法によれば、注目領域の変動範囲をより正確に算出することができるという作用・効果がある。

［第４の実施形態の変形例２］
上述した第４の実施形態における図９のステップＳ３６０の処理では、最適変形パラメータベクトルｃ_optを起点として前記ベクトルを微小変動させ、（５）式に示した距離関数が所定の値以内となる範囲として変形パラメータベクトルの変動範囲を算出する場合を例として説明した。しかしながら、本発明の実施においては、これに限定されるものではない。例えば、（５）式に示した距離関数の最適変形パラメータベクトルｃ_optにおける、パラメータベクトルの各要素に関する微分を算出し、これに基づいて変形パラメータベクトルの変動範囲を算出するようにしても良い。この場合、前記算出した変形パラメータベクトルの各要素に関する微分値の逆数に比例する量を変形パラメータベクトルの変動範囲とすることになる。この方法によれば、探索的な方法によらずに変形パラメータベクトルの変動範囲を定めることができるため、処理を効率的に行うことができるという作用・効果がある。

［第４の実施形態の変形例３］
上述した第４の実施形態における図９のステップＳ３３０の処理では、図９のステップＳ３２０の処理で得た複数の変形シミュレーションの結果を主成分分析することで主成分ベクトルを算出し、これらの線形和で被検体の変形状態を表現する変形モデルを生成する場合を例として説明した。しかしながら、本発明の実施においては、これに限定されるものではない。例えば、図９のステップＳ３２０で得た複数の変形シミュレーション結果と、これらを算出する際に設定した変形シミュレーションの条件とを関連付けて保持し、変形シミュレーションの条件に関する値をパラメータとした変形モデルとするようにすることもできる。ヤング率とポアソン比をシミュレーション条件とする本実施形態の場合には、ヤング率とポアソン比の２つの要素を持つ２次元の変形パラメータベクトルにより変形状態を表現する変形モデルとすることができる。この場合、前記複数の変形シミュレーションの結果を補間、外挿することで、連続量としての任意の２次元パラメータに対する被検体の変形状態を表現する変形モデルとすることができる。つまり、本実施形態で説明したＭ−１次元の変形パラメータベクトルに変えて、ヤング率とポアソン比で構成される２次元の変形パラメータベクトルを使う。そして、図９のステップＳ３５０、Ｓ３６０、Ｓ３７０における処理として、変形パラメータベクトルから変形状態を算出する場合には、上述したように変形シミュレーション結果の補間、外挿により変形状態を算出する。それ以外の処理は、第４の実施形態で説明した方法と同様の処理を実行することができる。

（第５の実施形態）
本実施形態に係る情報処理装置は、第４の実施形態に係る情報処理装置の仕組みに加えて、被検体の変形の推定の誤差範囲に基づいて、変形推定によって求めた体表形状の変動範囲を提示する。この情報は、推定によって求めた体表形状の曖昧さを示す情報であり、即ち推定した変形状態の曖昧さを示す情報である。これにより、被検体の体表形状の計測の追加の必要性を判断する情報が、ユーザに提示される。これにより、被検体の変形をユーザが所望する精度で算出するのに必要な被検体の体表形状の計測を行えるようにする。

図１２は、第５の実施形態に係る情報処理システムの機能構成の一例を示す模式図である。
図１２において、図７に示す第４の実施形態に係る情報処理システムの機能構成と同様の構成については同じ符号を付しており、その説明は省略する。

図１２に示すように、本実施形態に係る情報処理装置１１００−２は、図７に示す第４の実施形態に係る情報処理装置１１００−１の構成に加えて、形状変動算出部２０２０及び形状変動画像生成部２０２１を備えている。

形状変動算出部２０２０は、変形モデル生成部２００４で生成された変形モデルと、パラメータ変動範囲算出部２００７で算出された変形パラメータベクトルの変動範囲に基づいて、推定によって求めた被検体の体表形状の変動範囲を算出する。

形状変動画像生成部２０２１は、形状変動算出部２０２０で算出された体表形状の変動範囲に基づいて、それを視認できる形状変動画像を生成する。

また、本実施形態に係る情報処理システムのハードウェア構成は、図８に示す第４の実施形態に係る情報処理システムのハードウェア構成と同様であるため、説明は省略する。

次に、本実施形態に係る情報処理装置１１００−２が行う全体の動作に関して、図１３のフローチャートを用いて詳しく説明する。

図１３は、第５の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。ここで、本実施形態では、図１３に示す情報処理方法は、図８のＣＰＵ１２１１が図８の主メモリ１２１２に格納されている制御プログラムを実行することによりなされるものとする。また、以下に説明する情報処理装置が行う各処理の結果は、図８の主メモリ１２１２に格納されて記録されるものとする。

図１３のステップＳ６００〜Ｓ６６０の処理は、それぞれ、第４の実施形態で説明した図３のステップＳ３００〜Ｓ３６０の処理と同様であるため、その説明は省略する。

＜Ｓ６７０：体表形状の変動範囲の算出＞
ステップＳ６７０において、図１２の形状変動算出部２０２０は、ステップＳ６３０で生成された変形モデルと、ステップＳ６６０で算出された変形パラメータベクトルの変動範囲に基づいて、推定した体表形状の変動範囲を算出する処理を実行する。この体表形状の変動範囲の算出方法について、具体的な方法を以下に例示する。

まず、第４の実施形態において図９のステップＳ３７０の処理の一部として説明した方法と同様にして、図１２の形状変動算出部２０２０は、被検体の変形状態の群ｒ_UPPER_₁〜ｒ_UPPER__M-1、ｒ_LOWER_₁〜ｒ_LOWER__M-1を算出する。次いで、図１２の形状変動算出部２０２０は、これらの変形状態の群のそれぞれについて、被検体の体表に相当する面を生成する。この処理は、ステップＳ６２０の処理の一部として抽出した被検体の体表面の位置を、第４の実施形態において図９のステップＳ３７０で説明した注目領域のワーピング処理と同様にしてワーピング処理することで実行できる。この処理の結果の例を図１４に示す。

図１４は、第５の実施形態を示し、図１３のステップＳ６７０の処理を説明する模式図である。
図１４において、体表面の形状９００は、例えば、被検体の変形状態ｒ_UPPER_₁に基づいて生成した被検体の体表面の形状である。同様に、体表面の形状９１０は、例えば、被検体の変形状態ｒ_UPPER_₂に基づいて生成した被検体の体表面の形状である。このように、図１２の形状変動算出部２０２０は、被検体の変形状態の群のそれぞれについて体表面の形状を算出する。また、ｃ_optに基づいて生成した体表面の形状９２０に示すように、ステップＳ６５０で算出した最適変形パラメータベクトルｃ_optに基づいて、被検体の変形状態を算出し、それに基づいて被検体の体表面を算出してもよい。本実施形態では、上述した方法で算出した複数の体表面を体表面の形状の群と称し、これを体表形状の変動範囲とする。

＜Ｓ６８０：体表形状の表示＞
ステップＳ６８０において、図１２の形状変動画像生成部２０２１は、ステップＳ６７０で算出された体表形状の変動範囲を視認できる形状変動画像を生成し、これをモニタ１１６０に表示する処理を実行する。この体表形状の表示処理方法について、具体的な方法を以下に例示する。

具体的に、本ステップでは、ステップＳ６７０で算出された体表面の形状の群を重ねて描画した画像を生成し、これを表示する。その際、例えば、３次元の座標系であるＭＲＩ画像座標系５１０における体表面の形状を、任意の視点位置から観察した場合の仮想的な画像をコンピュータグラフィックスのレンダリング技術を用いて生成する。なお、画像の生成方法はこれに限らず、例えばＭＲＩ画像座標系５１０において、任意に断面を仮想的に設定し、その断面と前記形状の群のそれぞれとが交差する位置である曲線群を算出し、それらを上述したレンダリング技術によって描画するようにしても良い。また、より簡便な方法としては、前記設定した断面と生成する画像平面とを一致させて、前記断面上の曲線群を描画した画像を生成するようにしても良い。この場合、ステップＳ６７０の処理の説明として用いた図１４と同様な画像が生成される。

以上の処理により、本実施形態に係る情報処理装置１１００−２が被検体の変形状態をどの程度正確に推定しているのかを、ユーザに提示することができる。例えば、図１２の形状変動画像生成部２０２１で生成した形状変動画像に描画されている体表形状の群が互いにばらついているような場合には、ユーザは、被検体の変形状態が正確に推定されていないと認識することができる。逆に、形状変動画像に描画されている体表形状の群が互いにほぼ一致しているような場合には、ユーザは、被検体の変形状態が正確に推定されていると認識することができる。
なお、本発明の実施は上述した例に限られない。例えば、形状変動画像は、上述した処理により算出した被検体の体表面の形状の群に基づいて、体表面上の変動の大きい位置を強調した画像であっても良い。これによれば、被検体の体表形状の計測が不足している位置をユーザにより分かり易く提示することができる。

＜Ｓ６９０：形状計測値追加の判定＞
ステップＳ６９０において、本実施形態に係る情報処理装置は、被検体の体表形状に係る形状計測値を追加するか否かを判定する。
そして、ステップＳ６９０の判定の結果、形状計測値を追加する場合には、ステップＳ６４０の処理に戻る。
一方、ステップＳ６９０の判定の結果、形状計測値を追加しない場合には、ステップＳ７００に進む。
このステップＳ６９０の判定は、ユーザ（操作者）によるマウス１１７０やキーボード１１８０を介した入力操作に基づいて行うことができる。つまり、ユーザは、ステップＳ６８０の処理で表示された形状変動画像を視認し、被検体の変形状態が正確に推定されていないと知った場合に、処理をステップＳ６４０に戻して被検体の体表形状を追加して取得するように処理を切り替えることができる。
なお、ステップＳ６９０の判定によってステップＳ６４０に処理を戻した場合に、ステップＳ６４０の処理では、既に取得した被検体の体表形状に係る形状測定値に加えて、新たに計測した体表形状の係る形状測定値を追加して取得し、以降の処理を実行する。

図１３のステップＳ７００〜Ｓ７４０の処理は、それぞれ、第４の実施形態で説明した図９のステップＳ３７０〜Ｓ４１０の処理と同様であるため、その説明は省略する。
以上の処理によって、本実施形態に係る情報処理装置１１００−２の処理が実施される。

上述した本実施形態に係る情報処理システムによれば、第４の実施形態に係る情報処理システムにおける効果に加えて、さらに、被検体の変形をユーザが所望する精度で算出するために必要な被検体の体表形状の計測を行える仕組みを提供することができる。

（第６の実施形態）
本実施形態に係る情報処理装置は、第５の実施形態に係る情報処理装置の仕組みに加えて、仰向け状態における被検体の注目領域の位置をより正確に推定するために必要な、被検体の体表形状の計測に関する誘導情報を提示する仕組みを備える。これにより、より効率的に被検体の体表形状の計測を行うための情報をユーザに提示できるようにする。

図１５は、第６の実施形態に係る情報処理システムの機能構成の一例を示す模式図である。
図１５において、図１２に示す第５の実施形態に係る情報処理システムの機能構成と同様の構成については同じ符号を付しており、その説明は省略する。

図１５に示すように、本実施形態に係る情報処理装置１１００−３は、図１２に示す第５の実施形態に係る情報処理装置１１００−２の構成に対して、形状変動画像生成部２０２１に替えて誘導情報生成部２０３０を備えている。

誘導情報生成部２０３０は、形状変動算出部２０２０で算出された体表形状の変動範囲と、注目領域変動算出部２００８で算出された注目領域の変動範囲とに基づいて、被検体の体表形状の計測に関する誘導情報を生成する。具体的に、この誘導情報は、被検体の体表形状の計測を促すための情報である。

また、本実施形態に係る情報処理システムのハードウェア構成は、図８に示す第４の実施形態に係る情報処理システムのハードウェア構成と同様であるため、説明は省略する。

次に、本実施形態に係る情報処理装置１１００−３が行う全体の動作に関して、図１６のフローチャートを用いて詳しく説明する。

図１６は、第６の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。ここで、本実施形態では、図１６に示す情報処理方法は、図８のＣＰＵ１２１１が図８の主メモリ１２１２に格納されている制御プログラムを実行することによりなされるものとする。また、以下に説明する情報処理装置が行う各処理の結果は、図８の主メモリ１２１２に格納されて記録されるものとする。

図１６のステップＳ８００〜Ｓ８７０の処理は、それぞれ、第５の実施形態で説明した図１３のステップＳ６００〜Ｓ６７０の処理と同様であるため、その説明は省略する。また、図１６のステップＳ８８０の処理は、第４の実施形態で説明した図９のステップＳ３７０の処理と同様であるため、その説明は省略する。

＜Ｓ８９０：誘導情報の表示＞
ステップＳ８９０において、図１５の誘導情報生成部２０３０は、ステップＳ８７０で算出された体表形状の変動範囲と、ステップＳ８８０で算出された注目領域の変動範囲に基づいて、被検体の体表形状の計測に関する誘導情報を生成し、これをモニタ１１６０に表示する処理を実行する。この誘導情報は、具体的には、被検体の体表形状を追加して計測するための候補となる位置を提示する情報である。この誘導情報の表示処理方法について、具体的な方法を以下に例示する。

まず、図１５の誘導情報生成部２０３０は、ステップＳ８８０で算出された注目領域の変動範囲を用いて、変形パラメータベクトルの要素毎に、注目領域の変動量ｇ_iを下記の（１１）式の計算により算出する。

ここでｉは、変形パラメータベクトルの要素毎に振られる添え字であり、１≦ｉ≦Ｍである。注目領域の変動量ｇ_iは、変形パラメータベクトルの各要素の推定の曖昧さが、注目領域の変動に与える影響の大きさを表す。図１７にその例を示す。

図１７は、第６の実施形態を示し、図１６のステップＳ８９０の処理を説明する模式図である。
図１７（ａ）において、変動量９３０は、例えば、変形パラメータベクトルの１番目の要素の変動に関する注目領域の位置の変動量ｇ₁である。同様に、変動量９４０は、例えば、変形パラメータベクトルの２番目の要素の変動に関する注目領域の位置の変動量ｇ₂である。以後、図面上での説明においては、図面の記載を簡略化するために、変形パラメータベクトルが２つの場合について例示する。

次いで、図１５の誘導情報生成部２０３０は、算出したＭ個のｇ_iの中で最も値が大きいものを選択する。図１７（ａ）に示した例の場合には、変動量９３０として示すｇ₁よりも変動量９４０として示すｇ₂の方が大きいため、変形パラメータベクトルの２番目の要素が選択される。これにより、注目領域の変動に最も影響の大きい変形パラメータベクトルの要素が特定される。

次いで、図１５の誘導情報生成部２０３０は、ステップＳ８７０で生成された被検体の体表面の形状の群の中から、上述した処理で選択した変形パラメータベクトルの要素値の変動に基づく被検体の体表面の形状を選択する。

図１７（ａ）の例において、体表面の形状９００は変形パラメータベクトルの１番目の要素の変動に基づき算出した被検体の体表面の形状、体表面の形状９１０は変形パラメータベクトルの２番目の要素の変動に基づき算出した被検体の体表面の形状であるとする。図１７（ａ）の例では、前の処理で変形パラメータベクトルの２番目の要素が選択されているので、この場合、それに対応する体表面の形状９１０が選択される。
本処理ステップでは、例えば、上述した処理によって選択した体表面の形状９１０と、ｃ_optに基づいて生成した体表面の形状９２０とを重ねて描画した画像を生成し、これを誘導情報とすることができる。この重ねて描画した画像を生成する方法としては、例えば、第５実施形態における図１３のステップＳ６８０と同様の処理で実現できる。そして、図１５の誘導情報生成部２０３０は、以上の処理で生成した誘導情報をモニタ１１６０に表示する。

誘導情報の生成の例を図１７（ｂ）に示す。この図１７（ｂ）において、体表面の形状９１０の中で追加計測の候補点９５０の位置において、ｃ_optに基づいて生成した体表面の形状９２０との差異が大きいことが容易に視認できる。つまり、ステップＳ８４０で取得された被検体の体表形状に係る形状計測値として、追加計測の候補点９５０の付近における計測値が仮に追加された場合には、変形パラメータベクトルのうち、上述した処理で選択した要素の変動量を減少させられることが分かる。そして、変形パラメータベクトルの選択した要素の変動量が減少した場合には、注目領域の変動量も減少することは自明である。つまり、誘導情報を表示することにより、被検体の体表形状で追加して計測するのが望ましい位置をユーザに提示することができる。

図１６のステップＳ９００〜Ｓ９４０の処理は、それぞれ、第５の実施形態で説明した図１３のステップＳ６９０、第４の実施形態で説明した図９のステップＳ３８０〜Ｓ４１０と同様の処理であるため、その説明は省略する。
以上の処理によって、本実施形態に係る情報処理装置１１００−３の処理が実施される。

上述した本実施形態に係る情報処理システムによれば、第５の実施形態（或いは第４の実施形態）に係る情報処理システムにおける効果に加えて、さらに、注目領域の位置の推定をより正確に行うことを目的とした場合に、より効率的に被検体の体表形状の計測を行うための情報をユーザに提示することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明によれば、注目領域の対応領域を断層画像中で探索する際に、対応領域が存在する確率の分布が断層画像上に表示される。従って、ユーザは、探索範囲を絞りこみつつ、実際の誤差が大きい場合であっても表示に惑わされることなく対応領域を探索することができる。
また、本発明によれば、異なるモダリティで撮影された第１画像と第２画像との対応付けを行う際に、第１画像中の注目領域に対応する部位の第２画像中における存在範囲を提示することができる。

１００：情報処理装置、１１０：断層画像取得部、１１２：位置姿勢取得部、１２０：三次元画像データ取得部、１２２：注目領域取得部、１３０：断面画像生成部、１３５：分布取得部、１４０：画像合成部、１５０：表示制御部、１６０：表示部、１７０：第１医用画像収集装置、１８０：第２医用画像収集装置、１９０：データサーバ

Claims (9)

1. 被検体の第１画像を取得する第１画像取得手段と、
   前記被検体の第２画像を取得する第２画像取得手段と、
   前記第１画像の注目領域を示す情報を取得する注目領域取得手段と、
   前記第１画像と前記第２画像との間の変形の変動範囲を示す情報を取得する変動範囲取得手段と、
   前記注目領域を示す情報と、前記変形の変動範囲を示す情報とに基づいて、当該注目領域の変動範囲を示す情報を取得する注目領域変動取得手段と、
   前記注目領域の変動範囲を示す情報に基づいて、前記第２画像上に前記注目領域の変動範囲を表示させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記第１画像取得手段は、姿勢が第１状態の前記被検体を第１撮影装置を用いて撮影した前記第１画像を取得し、
   前記第２画像取得手段は、姿勢が前記１状態とは異なる第２状態の前記被検体を、前記第１撮影装置とは異なる第２撮影装置を用いて撮影した前記第２画像を取得し、
   前記第１状態から他の状態へ変化した場合の当該被検体の変形をパラメータにより表現する変形モデルを取得する変形モデル取得手段と、
   前記被検体が前記第２状態のときの当該被検体の形状を示す情報を取得する形状取得手段と、
   前記変形モデルと前記形状を示す情報とに基づいて、前記変形モデルによる前記第１状態と前記２状態との間の変形を表す変形パラメータを算出する変形パラメータ算出手段と、
   を更に有し、
   前記変動範囲取得手段は、前記変形モデル及び前記変形パラメータに基づいて、前記変形の変動範囲を示す情報を取得する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１撮影装置は、超音波画像撮影装置、ＭＲＩ画像撮影装置、Ｘ線ＣＴ画像撮影装置、ＰＥＴ画像撮影装置のいずれかであり、
   前記第２撮影装置は、超音波画像撮影装置、ＭＲＩ画像撮影装置、Ｘ線ＣＴ画像撮影装置、ＰＥＴ画像撮影装置のいずれかである
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記変動範囲取得手段は、前記変形パラメータによる前記変形モデルの変形に関して、前記被検体の形状における変位が所定の範囲に収まる前記変形パラメータの変動範囲を取得し、前記変形パラメータを当該変形パラメータの変動範囲で変動させた場合に前記変形モデルが表す変形の変動範囲を示す情報を取得する
   ことを特徴とする請求項２または３に記載の情報処理装置。
5. 前記注目領域変動取得手段は、前記変形の変動範囲で前記変形モデルの変形を変動させた場合に、当該変形の変動によって前記注目領域の位置が前記第２画像上で変動する位置の範囲に基づいて前記注目領域の変動範囲を示す情報を取得する
   ことを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。
6. 前記変形モデルと前記変形の変動範囲を示す情報とに基づいて、前記被検体の形状の変動範囲を示す情報を取得する形状変動取得手段を更に有し、
   前記表示制御手段は、前記被検体の形状の変動範囲を示す情報に基づいて、形状変動画像を表示させる
   ことを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
7. 前記変形モデルと前記変形の変動範囲を示す情報とに基づいて、前記被検体の形状の変動範囲を示す情報を取得する形状変動取得手段と、
   前記被検体の形状の変動範囲を示す情報と前記注目領域の変動範囲を示す情報とに基づいて、前記被検体の形状の計測に関する誘導情報を取得する誘導情報取得手段と、
   を更に有することを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。
8. 被検体の第１画像を取得する第１画像取得ステップと、
   前記被検体の第２画像を取得する第２画像取得ステップと、
   前記第１画像の注目領域を示す情報を取得する注目領域取得ステップと、
   前記第１画像と前記第２画像との間の変形の変動範囲を示す情報を取得する変動範囲取得ステップと、
   前記注目領域を示す情報と、前記変形の変動範囲を示す情報とに基づいて、当該注目領域の変動範囲を示す情報を取得する注目領域変動取得ステップと、
   前記注目領域の変動範囲を示す情報に基づいて、前記第２画像上に前記注目領域の変動範囲を表示させる表示ステップと、
   を有することを特徴とする情報処理方法。
9. コンピュータに、
   被検体の第１画像を取得する第１画像取得ステップと、
   前記被検体の第２画像を取得する第２画像取得ステップと、
   前記第１画像の注目領域を示す情報を取得する注目領域取得ステップと、
   前記第１画像と前記第２画像との間の変形の変動範囲を示す情報を取得する変動範囲取得ステップと、
   前記注目領域を示す情報と、前記変形の変動範囲を示す情報とに基づいて、当該注目領域の変動範囲を示す情報を取得する注目領域変動取得ステップと、
   前記注目領域の変動範囲を示す情報に基づいて、前記第２画像上に前記注目領域の変動範囲を表示させる表示ステップと、
   を実行させるためのプログラム。

Images