JP6342128B2

JP6342128B2 - 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Info

Publication number: JP6342128B2
Application number: JP2013173883A
Authority: JP
Inventors: 由紀岩中; 三田　雄志; 雄志三田; 快行爰島
Original assignee: Canon Medical Systems Corp
Current assignee: Canon Medical Systems Corp
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2018-06-13
Anticipated expiration: 2033-08-23
Also published as: US20160078620A1; WO2015025955A1; JP2015041370A; US10304187B2

Description

本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。

従来、複数の異なる位置に設けられた撮像装置を用いて同一の対象物を撮影し、取得した複数の画像に基づいて各々の画像における対象物の対応点を探索する手法（ステレオマッチング）が提案されている。基準となる一の撮像装置により撮影された画像を基準画像、その他の撮像装置で撮影された画像を参照画像と称すると、ステレオマッチングは、基準画像の注目領域（少なくとも１つの画素を含む領域）に対応する参照画像の領域を探索することを意味する。

一般的なステレオマッチングでは、画像特徴の類似度と視差の連続性を画像全体で最適化して注目領域に対応する参照画像の領域を探索する。すなわち、参照画像において注目領域と画像特徴が似ている領域を候補領域として探索し（類似度の最適化）、候補領域のうち、基準画像における注目領域と隣接する画素（隣接画素）との視差が連続になるような候補領域を、注目領域に対応する領域として選択する（連続性の最適化）。画像特徴としては、一般的に画素値、ＳＳＤ（Some Of Square Distance）、ＳＡＤ（Some Of Absolute Distance）などが用いられる。

従来技術として、基準画像における１つの画素（注目画素）に対して複数の対応点が探索された場合、注目画素とそれぞれの対応点に基づく距離値（注目距離値）を算出し、注目距離値と注目画素の周囲にある複数画素の距離値（隣接距離値）の差が最小となる対応点を選択する方法が知られている（従来技術１）。また、対象物の境界をまたいで視差の連続性が評価されないように、エッジ強度が高い領域では視差の連続性を評価しない方法が知られている（従来技術２）。さらに、画像のセグメンテーションにより対象物の領域を検出し、その検出領域内で対応点探索を行なう方法も考えられる（従来技術３）。

特開２００９−２０５１９３号公報

Jaesik Park, Hyeongwoo Kim, Yu-Wing Tai， Michael S. Brown and Inso Kweon："High Quality Depth Map Upsampling for 3D TOF Cameras", Computer Vision(ICCV), 2011 IEEE International Conference, page.1623-1630, 2011.

しかしながら、上記従来技術１および２は、画像全体で対応点位置を最適化する方法であるため、画像中の対象物の領域（対象物領域）が小さい場合には、対象物領域よりも大きな面積を占める背景領域に生じた誤差（ノイズ等による誤差）の影響を受け易い。これにより、対象物領域の対応点位置が正しく求められない場合がある。

また、上記従来技術３のようにセグメンテーションにより対象物領域を検出する方法では、基準画像と参照画像の両方で対象物領域を高精度に抽出することが難しいため、対応点位置が正しく求められない場合がある。

本発明が解決しようとする課題は、一の視差画像の対象物領域に対応する他の視差画像の領域を高精度に探索可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。

実施形態の画像処理装置は、第１取得部と第１算出部と第２算出部と選択部とを備える。第１取得部は、第１撮影方向で対象物を撮影した第１画像、および、第１撮影方向とは異なる第２撮影方向で対象物を撮影した第２画像を取得する。第１算出部は、画像の特徴を表す特徴情報に基づいて、第１画像および第２画像の各々に含まれる複数の画素ごとに、当該画素が対象物の領域に含まれるかどうかの尤度を算出する。第２算出部は、尤度に基づいて、第１画像における注目領域と、第２画像のうち注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する。選択部は、類似の程度に基づいて、対応領域となる候補領域を選択する。

実施形態のＸ線診断装置の構成例を示す図。実施形態の第１撮影位置及び第２撮影位置を説明するための図。実施形態の基準画像の一例を示す図。実施形態の参照画像の一例を示す図。実施形態の画像処理部の構成例を示す図。実施形態の第１算出部の詳細な構成の一例を示す図。実施形態の画素値と尤度との関係の一例を示す図。実施形態の第２算出部の詳細な構成の一例を示す図。実施形態の注目領域と候補領域との関係を示す図。実施形態の非類似度に関する重みを説明するための図。実施形態の非連続性に関する重みを説明するための図。実施形態のレンダリング血管画像の一例を示す図。実施形態の第１合成画像の一例を示す図。実施形態の画像処理部の動作例を示すフローチャート。変形例の第２算出部の詳細な構成の一例を示す図。

以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施形態を詳細に説明する。以下の実施形態では、冠動脈など血管のＸ線撮影を行うＸ線診断装置に本発明を適用した場合について説明するが、これに限られるものではない。

図１は、本実施形態に係るＸ線診断装置１００の構成の一例を示す図である。図１の示すように、本実施形態に係るＸ線診断装置１００は、高電圧発生器１１と、Ｘ線管１２と、Ｘ線絞り装置１３と、天板１４と、Ｃアーム１５と、Ｘ線検出器１６とを備える。また、Ｘ線診断装置１００は、Ｃアーム回転・移動機構１７と、天板移動機構１８と、Ｃアーム・天板機構制御部１９と、絞り制御部２０と、システム制御部２１と、入力部２２と、表示部２３とを備える。また、Ｘ線診断装置１００は、画像データ生成部２４と、記憶部２５と、マスク画像生成部２６と、差分画像生成部２７と、画像処理部２８とを備える。また、Ｘ線診断装置１００は、インジェクター３０をさらに備える。

インジェクター３０は、被検体Ｐに挿入されたカテーテル（血管に挿入される器具の一例）から造影剤を注入するための装置である。ここで、インジェクター３０からの造影剤注入は、後述するシステム制御部２１を介して受信した注入指示に従って実行される。具体的には、インジェクター３０は、後述するシステム制御部２１から受信する造影剤の注入開始指示や、注入停止指示、さらに、注入速度などを含む造影剤注入条件に応じた造影剤注入を実行する。なお、インジェクター３０は、操作者が直接インジェクター３０に対して入力した注入指示に従って注入開始や、注入停止を実行することも可能である。

高電圧発生器１１は、システム制御部２１による制御の下、高電圧を発生し、発生した高電圧をＸ線管１２に供給する。Ｘ線管１２は、高電圧発生器１１から供給される高電圧を用いて、Ｘ線を発生する。

Ｘ線絞り装置１３は、絞り制御部２０による制御の下、Ｘ線管１２が発生したＸ線を、被検体Ｐの関心領域に対して選択的に照射されるように絞り込む。例えば、Ｘ線絞り装置１３は、スライド可能な４枚の絞り羽根を有する。Ｘ線絞り装置１３は、絞り制御部２０による制御の下、これらの絞り羽根をスライドさせることで、Ｘ線管１２が発生したＸ線を絞り込んで被検体Ｐに照射させる。なお、Ｘ線管１２と、Ｘ線絞り装置１３とをまとめてＸ線管装置とも呼ぶ。天板１４は、被検体Ｐを載せるベッドであり、図示しない寝台の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１００に含まれない。

Ｘ線検出器１６は、被検体Ｐを透過したＸ線を検出する。例えば、Ｘ線検出器１６は、マトリックス状に配列された検出素子を有する。各検出素子は、被検体Ｐを透過したＸ線を電気信号に変換して蓄積し、蓄積した電気信号に基づいて生成した投影データを画像データ生成部２４に送信する。例えばＸ線検出器１６は、蓄積した電気信号に対して、電流・電圧変換やＡ（Analog）／Ｄ（Digital）変換、パラレル・シリアル変換を行い、投影データを生成する。

ここでは、Ｘ線管１２、Ｘ線絞り装置１３、および、Ｘ線検出器１６は、被検体Ｐに対するＸ線透視によって投影データを生成する「Ｘ線透視撮影部」に対応していると考えることもできる。

Ｃアーム１５は、Ｘ線管１２、Ｘ線絞り装置１３及びＸ線検出器１６を保持する。Ｘ線管１２及びＸ線絞り装置１３とＸ線検出器１６とは、Ｃアーム１５により被検体Ｐを挟んで対向するように配置される。

Ｃアーム回転・移動機構１７は、Ｃアーム１５を回転及び移動させるための機構であり、天板移動機構１８は、天板１４を移動させるための機構である。Ｃアーム・天板機構制御部１９は、システム制御部２１による制御の下、Ｃアーム回転・移動機構１７及び天板移動機構１８を制御することで、Ｃアーム１５の回転や移動、天板１４の移動を調整する。絞り制御部２０は、システム制御部２１による制御の下、Ｘ線絞り装置１３が有する絞り羽根の開度を調整することで、被検体Ｐに対して照射されるＸ線の照射範囲を制御する。

ここで、Ｃアーム・天板機構制御部１９は、システム制御部２１による制御の下、Ｃアーム回転・移動機構１７を駆動して撮像系（Ｘ線管１２、Ｘ線絞り装置１３、Ｘ線検出器１６）が装着されたＣアーム１５を所定の角度範囲内で往復スライド移動させることにより、両眼立体視に好適な２つの撮影位置（第１撮影位置、第２撮影位置）を設定することができる。

図２（ａ）は、上端部近傍にＸ線検出器１６が取り付けられる一方、下端部近傍にＸ線管１２およびＸ線絞り装置１３（以下、「Ｘ線発生器」と称する場合がある）が取り付けられたＣアーム１５の往復スライド移動の方向（矢印）を示したものであり、図２（ｂ）は、このとき設定される両眼立体視に好適な第１撮影位置Ｒａ（以下の説明では「第１視点」と称する場合がある）および第２撮影位置Ｒｂ（以下の説明では「第２視点」と称する場合がある）を示している。以下の説明では、第１撮影位置Ｒａの撮影方向を「第１撮影方向」と称し、第２撮影位置Ｒｂの撮影方向を「第２撮影方向」と称する場合がある。

すなわち、Ｃアーム・天板機構制御部１９が、システム制御部２１による制御の下、Ｃアーム回転・移動機構１７を駆動して、Δθの角度範囲内におけるＣアーム１５の往復スライド運動を高速で行うことにより、Ｘ線発生器およびＸ線検出器１６（撮像系）は被検体Ｐの周囲でＣアーム１５と共に高速往復移動し、例えば、所定の撮影間隔Δｄだけ離れた高速往復の折り返し点において第１撮影位置Ｒａ（第１視点）および第２撮影位置Ｒｂ（第２視点）が設定される。なお、第１視点および第２視点の設定はこれに限られるものではない。

図１に戻って説明を続ける。画像データ生成部２４は、Ｘ線検出器１６から供給される投影データに基づいて画像データを生成する。本実施形態における画像データ生成部２４は、第１視点（第１撮影位置Ｒａ）におけるＸ線透視時（第１撮影方向のＸ線透視時）にＸ線検出器１６から供給される投影データに基づいて、第１視点に対応する画像データ（以下、「第１の画像データ」と称する場合がある）を生成し、生成した第１の画像データを、後述の記憶部２５が有する画像データ保存部５１に格納する。また、画像データ生成部２４は、第２視点（第２撮影位置Ｒｂ）におけるＸ線透視時（第２撮影方向のＸ線透視時）にＸ線検出器１６から供給される投影データに基づいて、第２視点に対応する画像データ（以下、「第２の画像データ」と称する場合がある）を生成し、生成した第２の画像データを、後述の記憶部２５が有する画像データ保存部５２に格納する。

記憶部２５は、各種のデータを記憶する。本発明に関するものとしては、記憶部２５は、３次元ボリュームデータ保存部４０、画像データ保存部５１および５２を有する。

３次元ボリュームデータ保存部４０は、例えば心臓の冠動脈にガイドワイヤやカテーテルなどの器具を挿入して、冠動脈の狭くなった部分、または、つまっている部分を広げるＰＣＩ治療の前（術前）に、予め生成された３次元血管画像（血管のボリュームデータ）を記憶する。例えばＸ線診断装置１００は、ＤＡ（ＤｉｇｉｔａｌＡｎｇｉｏｇｒａｐｈｙ）撮影やＤＳＡ（ＤｉｇｉｔａｌＳｕｂｔｒａｃｔｉｏｎＡｎｇｉｏｇｒａｐｈｙ）撮影などによって、３次元血管画像を再構成するための複数の２次元投影データを収集し、収集した２次元投影データを再構成して３次元血管画像を生成することもできる。そして、生成した３次元血管画像を３次元ボリュームデータ保存部４０に格納することもできる。なお、これに限らず、例えば外部装置（例えばＸ線ＣＴ装置）から取得した３次元血管画像を３次元ボリュームデータ保存部４０に格納する形態であってもよい。

なお、ＤＡ（ＤｉｇｉｔａｌＡｎｇｉｏｇｒａｐｈｙ）撮影とは、Ｘ線検出器が検出したＸ線の情報に基づいて、造影剤により血管および臓器が強調された血管造影画像をデジタル処理により生成する撮影方法を指す。また、ＤＳＡ（ＤｉｇｉｔａｌＳｕｂｔｒａｃｔｉｏｎＡｎｇｉｏｇｒａｐｈｙ）撮影とは、Ｘ線検出器が造影剤注入前に検出したＸ線の情報および造影剤注入後に検出したＸ線の情報に基づいて、造影剤注入前後それぞれの画像を作成し、造影剤注入後の血管造影画像からの注入前の画像を差し引くことで、造影剤がいきわたった対象物（この例では血管）のみの画像をデジタル処理により生成する撮影方法を指す。

画像データ保存部５１は、画像データ生成部２４によって生成された第１の画像データを記憶する。この画像データ保存部５１には、第１の画像データが一定の時間間隔で収集されて、時系列に保存されることとする。

画像データ保存部５２は、画像データ生成部２４によって生成された第２の画像データを記憶する。この画像データ保存部５２には、第２の画像データが一定の時間間隔で収集されて、時系列に保存されることとする。

マスク画像生成部２６は、画像データ保存部５１に格納された第１の画像データを元に、ＰＣＩ治療前における第１の画像データ（カテーテルなどの器具が被検体Ｐに挿入される前の状態における第１の画像データ）を、第１視点に対応するマスク画像として生成する。また、マスク画像生成部２６は、画像データ保存部５２に格納された第２の画像データを元に、ＰＣＩ治療前における第２の画像データを、第２視点に対応するマスク画像として生成する。

差分画像生成部２７は、ＰＣＩ治療時に、マスク画像生成部２６により生成された第１視点に対応するマスク画像と、画像データ保存部５１に格納された最新の第１の画像データとをサブストラクションすることにより、図３のようにカテーテルなどの器具（対象物）のみが映り込んだ第１視点に対応する画像（以下の説明では、「基準画像」と称する場合がある）を生成する。この基準画像は、第１撮影方向で対象物を撮影した画像であると捉えることができ、請求項の「第１画像」に対応している。本実施形態における基準画像は、対象物が血管に挿入されていない状態の被検体Ｐに対する第１撮影方向のＸ線透視により生成された投影データに基づく画像と、対象物が血管に挿入された状態の被検体Ｐに対する第１撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像であると考えることができる。

また、差分画像生成部２７は、マスク画像生成部２６により生成された第２視点に対応するマスク画像と、画像データ保存部５２に格納された最新の第２の画像データとをサブストラクションすることにより、図４のようにカテーテルなどの器具のみが映り込んだ第２視点に対応する画像（以下の説明では、「参照画像」と称する場合がある）を生成する。この参照画像は、第２撮影方向で対象物を撮影した画像であると捉えることができ、請求項の「第２画像」に対応している。本実施形態における参照画像は、対象物が血管に挿入されていない状態の被検体Ｐに対する第２撮影方向のＸ線透視により生成された投影データに基づく画像と、対象物が血管に挿入された状態の被検体Ｐに対する第２撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像であると考えることができる。以上のようにして差分画像生成部２７によって生成された基準画像および参照画像は、後述の画像処理部２８に供給される。

画像処理部２８は、差分画像生成部２７から供給された画像に基づく画像処理を行う。例えば、画像処理部２８は、基準画像の注目領域（少なくとも１つの画素を含む領域）に対応する参照画像の領域（対応領域）を探索し、その探索結果を利用して、新たな視点（以下の説明では、「中間視点」と称する場合がある）に対応する差分画像（この例ではカテーテルなどの器具のみが映り込んだ画像、以下の説明では「中間画像」と称する場合がある）を生成することもできる。画像処理部２８の詳細な内容については後述する。

入力部２２は、Ｘ線診断装置１００を操作する医師や技師などの操作者から各種指示を受け付ける。例えば、入力部２２は、マウス、キーボード、ボタン、トラックボール、ジョイスティックなどを有する。入力部２２は、操作者から受け付けた指示を、システム制御部２１に転送する。例えば、入力部２２は、Ｘ線画像における任意の領域を指定するための指定指示を受け付ける。

表示部２３は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、画像処理部２８により生成された画像などを表示する。例えば、表示部２３は、モニタを有する。なお、表示部２３は、複数のモニタを有してもよい。

システム制御部２１は、操作者の操作に基づいてＸ線診断装置１００全体を制御する装置である。

次に、本実施形態に係る画像処理部２８について説明する。本実施形態に係る画像処理部２８は、上述の基準画像および参照画像において、基準画像の注目領域に対応する参照画像の領域（対応領域）を探索する装置である。注目領域とは、少なくとも１つの画素を含む領域である。

まず、エネルギー最小化による一般的な対応点探索について説明する。対応点探索の方針としては、注目領域と画像特徴が類似しており、かつ注目領域の視差と注目領域に隣接する領域（隣接領域）の視差が近くなるような領域を対応点位置として求める。すなわち、画像特徴が類似している領域を候補領域とし、候補領域のうち、注目領域の視差と隣接領域の視差とが滑らかになるような候補領域を、対応点位置（対応領域）として選択する。一般的な対応点探索手法としては注目領域と候補領域との類似の程度と、注目領域の視差と隣接領域の視差との連続の程度との加算によるエネルギーを定義し、画像全体でこのエネルギーが最小となるように各注目領域の対応点位置を探索する。類似の程度とは画像特徴の差で定義され、画像特徴としては画素値などが用いられる。以下の説明では、この類似の程度を「非類似度」と称して説明するが、例えば「類似度」と称しても構わない。また、注目領域の位置とその対応点位置との差は視差と呼ばれ、視差の連続の程度は、注目領域の視差とその隣接領域の視差との差で定義される。以下の説明では、この連続の程度を「非連続性」と称して説明するが、例えば「連続性」と称しても構わない。したがって、エネルギーＥは、以下の式１のように定義される。

上記式１において、ｐは基準画像における注目領域、ｐ’は、参照画像のうち注目領域に対応する領域（対応領域）の候補を示す候補領域、Ｐは、基準画像中の注目領域の全体集合、Ｎ（ｐ）は注目領域に隣接する領域の全体集合、Ｔ_Ｂ（ｐ）は注目領域の画素値、Ｔ_Ｒ（ｐ’）は候補領域の画素値、Ｄ（ｐ）は注目領域の視差、Ｄ（ｑ）は注目領域に隣接する領域の視差をそれぞれ示している。上記式１の右辺における第１項は、各注目領域に対応する非類似度の総和（第１コスト）、第２項は、各注目領域に対応する非連続性の総和（第２コスト）を表す。

上記式１によって表されるエネルギー関数では、各注目領域の非類似度と非連続性がすべて等しく評価されている。よって、画像に含まれる対象物の領域（以下の説明では、「対象物領域」と称する場合がある）が小さい場合には、対象物領域よりも大きな面積を示す背景領域に生じた誤差の影響を受けやすく、対象物領域の対応点位置が正確に求まらない場合がある。そこで、本実施形態に係る画像処理部２８では、第１コストと第２コストの計算において、後述の尤度に基づく重み付けを行うことで、対象物領域に含まれる可能性が高い注目領域に対応する非類似度と非連続性の影響度（エネルギー関数に対する影響度）を高めて、対象物領域が小さい場合でも対応点探索を高精度に行うことを実現している。以下、具体的な内容を説明する。

図５は、本実施形態に係る画像処理部２８の構成の一例を示すブロック図である。図５に示すように、画像処理部２８は、第１取得部１０１と、第１算出部１０２と、第２算出部１０３と、選択部１０４と、第３算出部１０５と、設定部１０６と、第１生成部１０７と、第２取得部１０８と、第２生成部１０９と、合成部１１０と、表示制御部１１１とを備える。

第１取得部１０１は、差分画像生成部２７により生成された基準画像と参照画像とを取得する。また、第１取得部１０１は、後述のエピポーラ線を特定するための情報（例えば上述の第１視点（第１撮影位置Ｒａ）や第２視点（第２撮影位置Ｒｂ）を示す情報）を、例えばシステム制御部２１から取得することもできる。

第１算出部１０２は、画像の特徴を表す特徴情報に基づいて、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素が対象物領域に含まれるかどうかの尤度（当該画素が対象物領域に含まれる可能性の度合い）を算出する。そして、第１算出部１０２は、すべての画素の尤度を特定した尤度マップを作成する。より具体的には以下のとおりである。

図６は、第１算出部１０２の詳細な構成の一例を示す図である。図６に示すように、第１算出部１０２は、尤度算出部２０１と記憶部２０２とを有する。尤度算出部２０１は、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素の画素値（請求項の「特徴情報」の一例）に基づいて、当該画素の尤度を算出する。

記憶部２０２は、画素値に対する尤度を予め記憶している。この例では、尤度は、０から１の範囲の連続的な値であり、対象物領域に含まれる確率が高い画素値に対して大きな値の尤度が設定される。

図７は、画素値と尤度との関係の一例を説明するための図である。図７（ａ）は、画素値の頻度を示す図である。実線４０１は、対象物領域に含まれる画素の画素値の頻度を示し、破線４０２は、背景領域に含まれる画素の画素値の頻度を示す。図７（ｂ）は、画素値と尤度との関係を示す尤度関数４０３の一例を示す図であり、対象物領域の画素値の頻度が最大となる画素値（ｐｅａｋ）以上で尤度が１になるように設定されている。また、対象物領域の画素値分布の標準偏差をσとすると、ｐｅａｋ−３σ以下となる画素値では尤度が０になるように設定され、ｐｅａｋ−３σとｐｅａｋの間の画素値に対する尤度は、以下の式２に示すｐｅａｋ−３σとｐｅａｋとを結ぶ１次関数により求めることができる。

この例では、記憶部２０２には、上記尤度関数４０３が予め記憶されており、第１算出部１０２は、上記尤度関数４０３に基づいて、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素の画素値に対応する尤度を求める。このようにして、第１算出部１０２は、基準画像および参照画像の各々に含まれる各画素の尤度を算出し、基準画像を構成する複数の画素の各々の尤度を特定可能な基準画像の尤度マップと、参照画像を構成する複数の画素の各々の尤度を特定可能な参照画像の尤度マップとを作成する。

なお、以上においては、尤度算出部２０１は、画素値に基づいて尤度を算出すると述べたが、これに限らず、例えば階調値や輝度値などの画像の特徴を表す特徴情報に基づいて尤度を算出してもよい。また、本実施形態のように、カテーテルやガイドワイヤなどの血管に挿入される器具が対象物である場合は、画像中の血管が含まれる領域が対象物領域である可能性が高いと考えることができるので、例えば画像中の各画素が属するオブジェクトを特定する情報（例えば血管情報など）に基づいて尤度を算出することもできる。この場合、血管情報などの情報が請求項の「特徴情報」に対応すると捉えることができる。また、例えば「人物」が対象物である場合は、画像に含まれる顔特徴情報（例えば顔に含まれる眼や鼻などの各特徴点を示す情報、顔の輪郭を示す情報、肌色を示す情報など）などに基づいて尤度を算出することもできる。この場合、例えば顔特徴情報が請求項の「特徴情報」に対応すると捉えることができる。さらに、例えば画像のうち、ユーザが対象物領域として指定した領域を示すユーザ情報に基づいて尤度を算出することもできる。この場合、上記ユーザ情報が請求項の「特徴情報」に対応すると捉えることができる。

図５に戻って説明を続ける。第２算出部１０３に対しては、第１取得部１０１より基準画像と参照画像が入力され、第１算出部１０２より上述の尤度マップが入力される。また、この例では、第２算出部１０３に対しては、第１取得部１０１より後述のエピポーラ線を特定するための情報（例えば第１視点や第２視点を示す情報）も入力される。第２算出部１０３は、基準画像と参照画像の尤度に基づいて、基準画像における注目領域と、参照画像のうち、注目領域に対応する領域を示す対応領域の候補である候補領域との非類似度を算出する。より具体的には、第２算出部１０３は、注目領域と候補領域との画素値の差分に対して、基準画像と参照画像の尤度に基づく重み付けを行って注目領域と候補領域との非類似度を算出する。以下、詳細な内容について説明する。

図８は、第２算出部１０３の詳細な構成の一例を示す図である。図８に示すように、第２算出部１０３は、第１指定部３０１と、第２指定部３０２と、第１コスト算出部３０３と、第２コスト算出部３０４と、記憶部３０５と、第３コスト算出部３０６とを備える。

第１指定部３０１は、第１取得部１０１より入力された基準画像において、少なくとも１つの画素からなる注目領域を指定（設定）する。より具体的には、第１指定部３０１は、基準画像に含まれる複数の注目領域を指定する。この例では、基準画像を構成する複数の画素の各々が注目領域に相当し、第１指定部３０１は、基準画像を構成する複数の画素の各々を、注目領域として順番に（例えば左上の画素からラスタースキャンの順番に）指定する。

第２指定部３０２は、参照画像のうち、基準画像における注目領域の位置に基づいて決まるエピポーラ線上に存在する複数の領域を、当該注目領域に対応する複数の前記候補領域として指定する。より具体的には、上記エピポーラ線は、第１視点と第２視点との位置関係、および、基準画像における注目領域の位置に基づいて決定される。以上のようにして、第２指定部３０２は、第１指定部３０１により指定された注目領域ごとに、当該注目領域に対応する複数の候補領域を指定する。以下、一の注目領域に対応する複数の候補領域の求め方について具体的に説明する。

図９は、注目領域と候補領域の関係を示した図である。第１指定部３０１により画素ｐが注目領域として指定されると、画素ｐに対応する候補領域ｐ’は破線５０１に示すようなエピポーラ線上に求まる。このエピポーラ線５０１は、第１視点と第２視点との位置関係、および、画素ｐの位置に基づいて算出される。図９の例では、第２指定部３０２は、エピポーラ線５０１上のすべての画素を、画素ｐに対応する候補領域として指定することもできる。

図８に戻って説明を続ける。第１コスト算出部３０３に対しては、第１算出部１０２より基準画像と参照画像の尤度マップが入力され、第２指定部３０２より注目領域と候補領域が入力される。第１コスト算出部３０３は、注目領域と候補領域との画素値の差分に対して、尤度に基づく重み付けを行って非類似度（類似度であると捉えてもよい）を算出し、各注目領域に対応する非類似度の総和を示す第１コストを算出する。第１コストは、例えば以下の式３により算出することができる。ここでは、注目領域と候補領域との組み合わせに応じた数の第１コストが算出されることになる。

上記式３において、ｐは注目領域、ｐ’は候補領域、Ｔ_Ｂ（ｐ）は注目領域の画素値、Ｔ_Ｒ（ｐ’）は候補領域の画素値、α_ｐｐ’は非類似度に関する重みをそれぞれ示す。ここで、例えば対象物領域に含まれる確率が高い（尤度が高い）注目領域に関しては、当該注目領域と候補領域との画素値の差分に乗算する重みα_ｐｐ’の値を大きくすることで、当該注目領域に対応する非類似度を後述のエネルギー（第３コスト）へ大きく反映させることもできる。つまり、第１コスト算出部３０３（第２算出部１０３）は、注目領域が対象物領域に含まれる確率が高いほど、上記画素値の差分に乗算される重みが大きくなるように重み付けを行う（重みα_ｐｐ’を設定する）こともできる。この場合、重みα_ｐｐ’は、例えば以下の式４により算出することもできる。

上記式４において、Ｌ_Ｂ（ｐ）は注目領域の尤度を示す。上記式４で表される重みα_ｐｐ’は、注目領域が対象物領域に含まれる確率が高い（尤度が高い）場合に大きな値を示す。つまり、注目領域が対象領域に含まれる確率が高い場合は、候補領域の尤度に関わらず、重みα_ｐｐ’は大きくなる。一方、注目領域が背景領域に含まれる確率が高い場合（注目領域が対象領域に含まれる確率が低い場合）は、候補領域の尤度に関わらず、重みα_ｐｐ’は小さくなる。

しかしながら、例えば画像に発生したノイズによって、対象物領域に含まれる確率が高い注目領域と、対応領域とすべき候補領域（対象物領域に含まれる確率が高く、かつ、当該注目領域の画素値に近い画素値を有する候補領域）との画素値が大きく異なる場合もあり得る。このような場合、当該注目領域と、対応領域とすべき候補領域との非類似度が大きくなるために、当該候補領域では後述のエネルギー（第３コスト）を最小にしない場合が発生する。これにより、対応領域とすべき候補領域の代わりに、背景領域に含まれる確率が高く、かつ、当該注目領域の画素値に近い画素値を有する候補領域が、対応領域として選ばれてしまうおそれがある。

そこで、本実施形態では、注目領域および候補領域の各々が対象物領域に含まれる確率が高い場合には、重みα_ｐｐ’の値を小さく設定することで、上記問題を解決している。つまり、第１コスト算出部３０３（第２算出部１０３）は、注目領域および候補領域の各々が対象物領域に含まれる確率が高いほど、上記画素値の差分に乗算される重みが小さくなるように重み付けを行う（重みα_ｐｐ’を設定する）こともできる。本実施形態における重みα_ｐｐ’は、例えば以下の式５により算出することもできる。なお、これに限らず、例えば上記式４で表される重みα_ｐｐ’を採用して第１コストを算出することもできる。

上記式５において、Ｌ_Ｒ（ｐ’）は候補領域の尤度を示す。図１０は、上記式５により表される重みα_ｐｐ’を説明するための図である。図１０において、ｐ_１，ｐ_２はそれぞれ注目領域を示し、ｐ_１’，ｐ_２’はそれぞれ候補領域を示す。破線６０１は、ｐ_１の位置に基づいて決まるエピポーラ線を表し、破線６０２は、ｐ_２の位置に基づいて決まるエピポーラ線を表している。図１０の例では、注目領域ｐ_１は対象物領域に含まれるので、候補領域が対象領域に含まれる場合に重みα_ｐｐ’は小さくなる。一方、注目領域ｐ_２は背景領域に含まれるので、候補領域が対象物領域に含まれる場合であっても、背景領域に含まれる場合であっても、重みα_ｐｐ’は小さくなる。

以上のように、対象物領域に含まれる確率が高い注目領域の非類似度を、優先的に後述のエネルギー（第３コスト）に加味させることによって、対象物領域の対応点探索を高精度に行うことができる。前述したように、尤度は、０から１の連続的な値であるため、上述の重みα_ｐｐ’も０から１の連続的な値となる。ここでは、非類似度とは、注目領域の画素値と、当該注目領域に対応する複数の候補領域のうちの何れか１つの候補領域の画素値との差分に対して、上述の重みα_ｐｐ’を乗算した結果であると定義される。そして、注目領域に対応する複数の候補領域のうち、当該注目領域との画素値差が同じであっても重みα_ｐｐ’が大きくなる候補領域ほど、非類似度は大きくなる。

図８に戻って説明を続ける。第２コスト算出部３０４に対しては、第１指定部３０１より注目領域、第１算出部１０２より基準画像の尤度マップ、記憶部３０５より隣接領域（基準画像のうち注目領域に隣接する領域）の視差が入力される。ここで、記憶部３０５は、隣接領域の視差を予め保持しており、注目領域の位置に応じて隣接領域の視差を出力する。

第２コスト算出部３０４は、注目領域と隣接領域との視差の差分に対して、尤度に基づく重み付けを行って視差の非連続性（連続性であると捉えてもよい）を算出し、各注目領域に対応する視差の非連続性の総和を示す第２コストを算出する。第２コストは、例えば以下の式６により算出することができる。ここでは、注目領域と候補領域との組み合わせに応じた数の第２コストが算出されることになる。

上記式６において、ｐは注目領域、ｑは隣接領域、Ｐは基準画像中の注目領域の全体集合、Ｎ（ｐ）は隣接領域の全体集合、Ｄ（ｐ）は注目領域の視差、Ｄ（ｑ）は隣接領域の視差、β_ｐｑは非連続性に関する重みをそれぞれ示す。本実施形態では、注目領域および隣接領域の各々が共に対象物領域に含まれる確率が高い場合に、当該注目領域の視差と隣接領域の視差との差分に対して乗算する重みβ_ｐｑの値を大きくする。これにより、対象物領域の視差の非連続性を後述のエネルギー（第３コスト）へ大きく反映させることができる。つまり、第２コスト算出部３０４（第２算出部１０３）は、注目領域および隣接領域の各々が対象物領域に含まれる確率が高いほど、上記視差の差分に乗算される重みが大きくなるように重み付けを行う（重みβ_ｐｑを設定する）こともできる。本実施形態におけるβ_ｐｑは、例えば以下の式７により算出することもできる。

上記式７において、Ｌ_Ｂ（ｐ）は注目領域の尤度、Ｌ_Ｂ（ｑ）は隣接領域の尤度をそれぞれ示す。上記式７からも理解されるように、非連続性に関する重みβ_ｐｑは、注目領域および隣接領域の各々が共に対象物領域に含まれる確率が高い場合に大きな値を示す。
図１１は、非連続性に関する重みβ_ｐｑを説明するための図である。図１１において、ｐは注目領域、ｑは隣接領域をそれぞれ示す。図１１の例では、注目領域ｐは対象物領域に含まれ、かつ、注目領域ｐの上下に隣接する画素は、対象物領域に含まれる隣接領域なので、重みβ_ｐｑは大きくなる一方、その他の隣接領域では重みβ_ｐｑは小さくなる。

以上のように、対象物領域の視差の非連続性を、優先的に後述のエネルギー（第３コスト）に加味させることによって、対象物領域の対応点探索を高精度に行うことができる。前述したように、尤度は、０から１の連続的な値であるため、上述のβ_ｐｑも０から１の連続的な値となる。ここでは、視差の非連続性とは、注目領域の視差と、当該注目領域に隣接する複数の領域（隣接領域）の各々の視差との差分ごとに、対応する重みβ_ｐｑとの乗算結果を求め、その乗算結果を合計したものであると定義することができる。そして、注目領域が対象物領域に含まれ、かつ、対象物領域に含まれる隣接領域の視差との差が大きいほど上述の第２コストは大きくなる。

図８に戻って説明を続ける。第３コスト算出部３０６に対しては、第１コスト算出部３０３より第１コスト、第２コスト算出部３０４より第２コストが入力される。第３コスト算出部３０６は、第１コストと第２コストに基づいて第３コストを算出する。本実施形態における第３コストは、第１コストと第２コストとの重み付き加算により求められ、例えば以下の式８により算出することもできる。

上記式８において、ωは第１コストの重みを示しており、ωを大きく設定すると第３コストにおける第１コストの割合が大きくなる。例えば、背景領域の画素値と対象物領域の画素値との差が大きい場合には、ωを小さく設定することで、第１コストと第２コストとの割合を均等に評価することができる。

以上のように、第２算出部１０３は、各々の注目領域に対応する非類似度の総和を示す第１コストと、各々の注目領域に対応する視差の非連続性の総和を示す第２コストとに基づく第３コスト（エネルギー）を算出する。ここでは、注目領域と候補領域との組み合わせに応じた数の第３コストが算出されることになる。

図５に戻って説明を続ける。選択部１０４は、上述の第３コスト（エネルギー）が最小になるように、複数の注目領域ごとに一の候補領域を選択する。このとき、注目領域ごとに選択された候補領域が当該注目領域の対応領域として決定される。本実施形態における選択部１０４は、第２算出部１０３により最小の第３コストが算出されたときの各注目領域に対応する候補領域を、当該注目領域の対応領域として選択する。

第３算出部１０５は、注目領域の位置と対応領域の位置との差に基づいて、注目領域の３次元位置（空間位置）を算出する。一般的なテレビジョンによって、視点の異なる画像から３次元情報を復元することができる。

設定部１０６は、所望の視点位置（第１視点および第２視点とは異なる視点、以下の説明では「中間視点」と称する場合がある）の撮影情報を取得する。ここでの撮影情報とは、上述のＸ線透視撮影部の撮影角度（アーム角）などを含み、例えば設定部１０６は、システム制御部２１から、中間視点に対応する撮影情報を取得することもできる。そして、設定部１０６は、上述のＸ線透視撮影部の撮影角度を少なくとも含むパラメータを設定する。所望の視点位置の数（中間視点の数）は任意に変更可能であり、例えば１つでもよいし、複数でもよい。例えば複数の中間視点を設定する場合においては、設定部１０６は、中間視点ごとに、当該中間視点に対応する撮影情報を取得してパラメータを設定することになる。以下の説明では、中間視点の撮影方向を、「中間撮影方向」と称する場合がある。

第１生成部１０７は、第３算出部１０５で求めた注目領域の空間位置と、設定部１０６で設定したパラメータとに基づいて、全ての注目領域に関して、中間視点から観察した画像（中間視点に対応する画像）における画像座標を算出し、中間視点に対応する画像（以下の説明では、「中間画像」と称する場合がある）を生成する。本実施形態における第１生成部１０７は、ガイドワイヤやカテーテルなどの器具（対象物の一例）のみが映り込んだ中間画像を生成することになる。この中間画像は、中間撮影方向で対象物を撮影した画像であると捉えることができ、請求項の「中間画像」に対応している。

第２取得部１０８は、上述の３次元ボリュームデータ保存部４０に格納された３次元血管画像を取得する。

第２生成部１０９に対しては、第２取得部１０８より３次元血管画像が入力され、第１取得部１０１より第１視点および第２視点を示す情報が入力され、設定部１０６より中間視点を示す情報が入力される。第２生成部１０９は、上述の第１視点（第１撮影方向）、第２視点（第２撮影方向）、および、中間視点（中間撮影方向）の各々から、３次元血管画像をレンダリング（ボリュームレンダリング）して、第１視点（第１撮影方向）に対応する第１レンダリング血管画像、第２視点（第２撮影方向）に対応する第２レンダリング血管画像、および、中間視点（中間撮影方向）に対応する第３レンダリング血管画像を生成する。なお、ボリュームデータ（この例では３次元血管画像）をレンダリングする際には、公知の様々なボリュームレンダリング技術を利用することができる。図１２は、第１視点に対応する第１レンダリング血管画像の一例を示す模式図である。

合成部１１０は、上述の基準画像と、第２生成部１０９により生成された第１レンダリング血管画像とを合成して第１合成画像を生成する。図１３は、第１合成画像の一例を示す模式図である。同様に、合成部１１０は、上述の参照画像と、第２生成部１０９により生成された第２レンダリング血管画像とを合成して第２合成画像を生成する。さらに、合成部１１０は、上述の中間画像と、第２生成部１０９により生成された第３レンダリング血管画像とを合成して第３合成画像を生成する。

表示制御部１１１は、第１合成画像と第２合成画像と第３合成画像とを含む立体画像を表示部２３に表示する制御を行う。ここでは、「立体画像」とは、互いに視差を有する複数の視差画像を含む画像であり、視差とは、異なる方向から見ることによる見え方の差をいう。

なお、本実施形態の画像処理部２８は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した画像処理部２８の各部の機能（第１取得部１０１、第１算出部１０２、第２算出部１０３、選択部１０４、第３算出部１０５、設定部１０６、第１生成部１０７、第２取得部１０８、第２生成部１０９、合成部１１０、および、表示制御部１１１）は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、上述の各部の機能のうちの少なくとも一部を専用のハードウェア回路（例えば半導体集積回路等）で実現することもできる。

図１４は、本実施形態の画像処理部２８の動作例を示すフローチャートである。図１４に示すように、まず第１取得部１０１は、差分画像生成部２７から基準画像および参照画像を取得する（ステップＳ１０１）。次に、第１算出部１０２は、基準画像および参照画像の各々に含まれる複数の画素ごとに、当該画素の画素値に基づいて尤度を算出し（ステップＳ１０２）、上述の尤度マップを作成する。次に、第２算出部１０３は、ステップＳ１０１で取得した基準画像および参照画像と、ステップＳ１０２で作成した尤度マップとに基づいて、上述の第３コスト（エネルギー）を算出する（ステップＳ１０３）。次に、選択部１０４は、第３コストが最小になるように、複数の注目領域の各々に対応する候補領域を選択し、各注目領域の対応領域を決定する（ステップＳ１０４）。

次に、第３算出部１０５は、注目領域の位置と対応領域の位置との差に基づいて、注目領域の３次元位置（空間位置）を算出する（ステップＳ１０５）。次に、設定部１０６は、所望の視点位置（中間視点）のパラメータ（少なくとも撮影角度を含む）を設定する（ステップＳ１０６）。次に、第１生成部１０７は、ステップＳ１０５で求めた注目領域の空間位置と、ステップＳ１０６で設定したパラメータとに基づいて、中間画像を生成する（ステップＳ１０７）。次に、第２生成部１０９は、各視点（上述の第１視点、第２視点、および、中間視点）から、３次元血管画像をレンダリングして、各視点に対応するレンダリング血管画像（この例では、第１レンダリング血管画像、第２レンダリング血管画像、および、第３レンダリング血管画像）を生成する（ステップＳ１０８）。次に、合成部１１０は、合成処理を行う（ステップＳ１０９）。前述したように、本実施形態における合成部１１０は、上述の基準画像と、第１レンダリング血管画像とを合成して第１合成画像を生成する。また、合成部１１０は、上述の参照画像と、第２レンダリング血管画像とを合成して第２合成画像を生成する。さらに、合成部１１０は、上述の中間画像と、第３レンダリング血管画像とを合成して第３合成画像を生成する。

次に、表示制御部１１１は、ステップＳ１０９の合成処理で得られた合成画像（視差画像）を含む立体画像を表示部２３に表示する制御を行う（ステップＳ１１０）。

以上に説明したように、本実施形態では、対象物領域に含まれる確率が高い注目領域の非類似度を優先的に上述の第３コストに反映させるとともに、対象物領域の視差の非連続性を優先的に上述の第３コストに反映させることによって、対象物領域の対応点探索を高精度に行うことができる。そして、対象物領域の対応点が精度良く求まることにより、他の視点（第１視点および第２視点とは異なる所望の視点）に対応する対象物の視差画像を精度良く作ることができる。したがって、例えばＰＣＩ治療時にカテーテルなどの器具を対象物として立体視したい場合において、本実施形態の構成は格別に有効である。

なお、本実施形態の構成は、例えば心臓の冠動脈にガイドワイヤやカテーテルなどの器具を挿入して、冠動脈の狭くなった部分、または、つまっている部分を広げるＰＣＩ治療時にカテーテルなどの器具を対象物として立体視する場合の他、例えば脳などの動かない臓器の血管にガイドワイヤやカテーテルなどの器具を挿入して、血管の狭くなった部分、または、つまっている部分を広げるＰＣＩ治療時にカテーテルなどの器具を対象物として立体視する場合においても適用可能である。また、本実施形態の構成は、例えば収集角度の違う複数の血管造影像から３次元血管像を再構成し、これに基づき血管計測結果（例えば血管長、血管径、血管狭窄率、分岐角度）を提供するＣＶ−３Ｄ（ＴＭ）に対しても適用可能である。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（変形例）
以下、変形例を記載する。以下の変形例同士は任意に組み合わせることが可能である。

（１）変形例１
例えば上述の第３コストの算出において、視差の非連続性が考慮されない形態であってもよい。例えば図１５に示すように、第２算出部８０１は、第１指定部３０１と、第２指定部３０２と、第１コスト算出部３０３と、第３コスト算出部８０２とを備え、上述の第２コスト算出部３０４および記憶部３０５を含まない形態であってもよい。第３コスト算出部８０２に対しては、第１コスト算出部３０３より第１コストが入力され、第３コスト算出部８０２は、第１コストに基づいて第３コストを算出する。例えば第３コスト算出部８０２は、入力された第１コストを、第３コストとして算出することもできる。

（２）変形例２
上述の実施形態では、本発明が適用される立体画像表示装置として、３Ｄロードマップ画像を表示する機能を有するＸ線診断装置を例に挙げて説明したが、本発明が適用される立体画像表示装置はこれに限られるものではない。

例えば画像中に含まれた特定の色（例えば青色等）の部分を、他の画像に置換するクロマキー技術を利用する立体画像表示装置に対して本発明を適用することもできる。例えば人物などの対象物を撮影する際に、青色の布などを用いた青い背景（ブルーバック）を用いて、複数の視点から撮影を行って得られた複数の画像のうちの何れかを上記基準画像とし、基準画像以外の他の画像を参照画像とすることもできる（さらに別の視点に対応する画像を用意することもできる）。この場合でも、上述の実施形態と同様に、対象物領域に含まれる確率が高い注目領域の非類似度を優先的に上述の第３コストに反映させるとともに、対象物領域の視差の非連続性を優先的に上述の第３コストに反映させることによって、対象物領域の対応点探索を高精度に行うことができる。そして、対象物領域の対応点が精度良く求まることにより、他の視点に対応する対象物（例えばブルーバックの手前に存在する人物等）の視差画像を精度良く作ることができる。これにより、この立体画像表示装置を観察する観察者は、背景以外の領域に存在する人物等の対象物の立体視を好適に行うことが可能になる。

（プログラム）
上述の画像処理部２８で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理部２８で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の画像処理部２８で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

２８画像処理部
１００Ｘ線診断装置
１０１第１取得部
１０２第１算出部
１０３第２算出部
１０４選択部
１０５第３算出部
１０６設定部
１０７第１生成部
１０８第２取得部
１０９第２生成部
１１０合成部
１１１表示制御部
２０１尤度算出部
２０２記憶部
３０１第１指定部
３０２第２指定部
３０３第１コスト算出部
３０４第２コスト算出部
３０５記憶部
３０６第３コスト算出部

Claims

第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得する第１取得部と、
画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出する第１算出部と、
前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する第２算出部と、
前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する選択部と、を備える、
画像処理装置。
前記第２算出部は、前記注目領域と前記候補領域との画素値の差分に対して、前記尤度に基づく重み付けを行って前記類似の程度を算出する、
請求項１に記載の画像処理装置。
前記第１画像に含まれる複数の前記注目領域を指定する第１指定部と、
前記第２画像のうち、前記第１画像における前記注目領域の位置に基づいて決まるエピポーラ線上に存在する複数の領域を、当該注目領域に対応する複数の前記候補領域として指定する第２指定部と、をさらに備え、
前記第２算出部は、各々の前記注目領域に対応する前記類似の程度の総和を示す第１コストに基づく第３コストを算出し、
前記選択部は、前記第３コストが最小となるように、複数の前記注目領域ごとに一の前記候補領域を選択する、
請求項２に記載の画像処理装置。
前記第２算出部は、前記注目領域が前記対象物の領域に含まれる確率が高いほど、前記画素値の差分に乗算される重みが大きくなるように重み付けを行う、
請求項２に記載の画像処理装置。
前記第２算出部は、前記注目領域および前記候補領域の各々が前記対象物の領域に含まれる確率が高いほど、前記画素値の差分に乗算される重みが小さくなるように重み付けを行う、
請求項２に記載の画像処理装置。
前記第２算出部は、前記注目領域と、前記注目領域に隣接する領域を示す隣接領域との視差の差分に対して、前記尤度に基づく重み付けを行って視差の連続の程度を算出し、
前記選択部は、前記類似の程度と前記連続の程度とに基づいて、前記対応領域となる前記候補領域を選択する、
請求項１に記載の画像処理装置。
前記第１画像に含まれる複数の前記注目領域を指定する第１指定部と、
前記第２画像のうち、前記第１画像における前記注目領域の位置に基づいて決まるエピポーラ線上に存在する複数の領域を、当該注目領域に対応する複数の前記候補領域として指定する第２指定部と、をさらに備え、
前記第２算出部は、各々の前記注目領域に対応する前記類似の程度の総和を示す第１コストと、各々の前記注目領域に対応する前記連続の程度の総和を示す第２コストとに基づく第３コストを算出し、
前記選択部は、前記第３コストが最小となるように、複数の前記注目領域ごとに一の前記候補領域を選択する、
請求項６に記載の画像処理装置。
前記第２算出部は、前記注目領域および前記候補領域の各々が前記対象物の領域に含まれる確率が高いほど、前記視差の差分に乗算される重みが大きくなるように重み付けを行う、
請求項６に記載の画像処理装置。
前記対象物は、血管に挿入する器具であり、
前記第１画像は、前記対象物が血管に挿入されていない状態の被検体に対する前記第１撮影方向のＸ線透視により生成された投影データに基づく画像と、前記対象物が血管に挿入された状態の前記被検体に対する前記第１撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像であり、
前記第２画像は、前記対象物が血管に挿入されていない状態の前記被検体に対する前記第２撮影方向のＸ線透視により生成された投影データに基づく画像と、前記対象物が血管に挿入された状態の前記被検体に対する前記第２撮影方向のＸ線透視により生成された投影データに基づく画像との差分画像である、
請求項１に記載の画像処理装置。
前記注目領域と前記対応領域との位置の差に基づいて、前記注目領域の３次元位置を算出する第３算出部と、
前記被検体に対するＸ線透視によって投影データを生成するＸ線透視撮影部の少なくとも撮影角度を含むパラメータを設定する設定部と、
前記３次元位置と前記パラメータとに基づいて、前記第１撮影方向および前記第２撮影方向とは異なる中間撮影方向に対応する前記差分画像を示す中間画像を生成する第１生成部と、
前記対象物が血管に挿入されていない状態における血管のボリュームデータを示す３次元血管画像を取得する第２取得部と、
前記第１撮影方向、前記第２撮影方向、前記中間撮影方向の各々から、前記３次元血管画像をレンダリングして、前記第１撮影方向に対応する第１レンダリング血管画像、前記第２撮影方向に対応する第２レンダリング血管画像、および、前記中間撮影方向に対応する第３レンダリング血管画像を生成する第２生成部と、
前記第１画像と前記第１レンダリング血管画像とを合成した第１合成画像、前記第２画像と前記第２レンダリング血管画像とを合成した第２合成画像、および、前記中間画像と前記第３レンダリング血管画像とを合成した第３合成画像を生成する合成部と、
前記第１合成画像と前記第２合成画像と前記第３合成画像とを含む立体画像を表示部に表示する制御を行う表示制御部と、を備える、
請求項９に記載の画像処理装置。
画像の特徴を表す特徴情報に基づいて、第１撮影方向において対象物が描出された第１画像および前記第１撮影方向とは異なる第２撮影方向において前記対象物が描出された第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出し、
前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出し、
前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する、
画像処理方法。
コンピュータを、
第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得する取得手段と、
画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出する第１算出手段と、
前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する第２算出手段と、
前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する選択手段として機能させる、
画像処理プログラム。
複数の視差画像を含む立体画像を表示する表示部と、
第１撮影方向で対象物を撮影した第１画像、および、前記第１撮影方向とは異なる第２撮影方向で前記対象物を撮影した第２画像を取得する第１取得部と、
画像の特徴を表す特徴情報に基づいて、前記第１画像および前記第２画像の各々に含まれる複数の画素ごとに、当該画素が前記対象物の領域に含まれるかどうかの尤度を算出する第１算出部と、
前記尤度に基づいて、前記第１画像における注目領域と、前記第２画像のうち前記注目領域に対応する対応領域の候補である候補領域と、の類似の程度を算出する第２算出部と、
前記類似の程度に基づいて、前記対応領域となる前記候補領域を選択する選択部と、
前記注目領域と前記対応領域との位置の差に基づいて、前記注目領域の３次元位置を算出する第３算出部と、
前記対象物を撮影する撮影部の少なくとも撮影角度を含むパラメータを設定する設定部と、
前記３次元位置と前記パラメータとに基づいて、前記第１撮影方向および前記第２撮影方向とは異なる中間撮影方向で前記対象物を撮影した中間画像を生成する生成部と、
前記第１画像と前記第２画像と前記中間画像とを含む前記立体画像を前記表示部に表示する制御を行う表示制御部と、を備える、
立体画像表示装置。