JPWO2015186439A1

JPWO2015186439A1 - 画像処理装置及び立体視表示方法

Info

Publication number: JPWO2015186439A1
Application number: JP2016525731A
Authority: JP
Inventors: 拡樹谷口; 詩乃田中
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2014-06-03
Filing date: 2015-04-17
Publication date: 2017-04-20
Also published as: CN106463002A; US20170272733A1; WO2015186439A1

Abstract

本発明の画像処理装置は、立体視画像の生成に用いる注目領域、視点位置、立体視空間の範囲、レンダリング関数を含む条件の設定と、該条件に基づく第1注目領域の設定と、該第1注目領域とは異なる領域に第2注目領域の設定を行うための入力値を受け付ける入力ユニットと、前記条件に基づいて前記第1注目領域内の第1視差画像群の第1焦点位置を算出し、画像撮影装置から得られるボリュームデータを用いて該第1焦点位置からの第1視差画像群を生成し、該第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置の第2焦点位置を算出し、該第2焦点位置からの第2視差画像群を生成し、前記第1視差画像群と前記第2視差画像群を用いて立体視画像を生成する処理ユニットと、を備えたことを特徴とする。

Description

本発明は、画像処理装置の機械の制御のカテゴリに属するものである。また、本発明は、コンピュータシステムにおける立体視表示方法のカテゴリに属するものである。詳細には、医用画像データに基づく立体視画像の生成技術の改善に関するものである。

従来の立体視表示装置は、医用画像のボリュームデータを用いて立体視画像を生成し、表示するものである。一般に立体視表示には、大別して2視差方式のものと3以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数に応じた数の視差画像をレンダリング処理により生成する。

ところで、従来の立体視表示装置では、立体視画像のフォーカス位置がボリュームデータの中心に配置されるように設定される。一方、読影医等の医師が医用画像を診断する際は、多くの場合関心領域を画像の中央に配置して描画することが望まれる。そのため、医師と医師の傍らで操作を補助する医療従事者(以下、「操作者」という)が設定した関心領域が立体視画像の視点から見て焦点(原点)よりも奥行方向手前もしくは奥側にある場合は、関心領域にフォーカスが合わない。

このような問題を解消するために特許文献1には、ユーザがフォーカス位置を指定すると、フォーカス位置が原点(中心)となるように視点またはボリュームデータを移動または回転させて立体視画像(視差画像)を生成することが記載されている。

特開2013-39351号公報

しかしながら、特許文献1の画像処理システムは、ユーザがフォーカス位置を指定すると、ボリュームデータと視点との相対位置を移動または回転して立体視画像を生成する。

そのため、フォーカス位置変更後に得られる立体視画像は、フォーカス位置変更前の画像とは視点や視角、投影方向が異なり、表示範囲が変わってしまうことがある。ユーザが表示範囲や視点や方向等は変えずに単に関心領域にフォーカスを合わせることを望んでいても、ユーザが望む見え方(表示範囲、視点、視角、及び投影方向)で関心領域を観察できないことがある。

本発明は、以上の問題点に鑑みてなされたものであり、立体視画像における注目領域を変更しても、元の立体視画像の表示範囲や視点、投影方向を変えずに変更後の注目領域の奥行方向位置にフォーカスを合わせて立体視表示を行うことが可能な画像処理装置等を提供することを目的とする。

前述した目的を達成するために第1の発明は、立体視画像の生成に用いる注目領域、視点位置、立体視空間の範囲、レンダリング関数を含む条件の設定と、該条件に基づく第1注目領域の設定と、該第1注目領域とは異なる領域に第2注目領域の設定を行うための入力値を受け付ける入力ユニットと、前記条件に基づいて前記第1注目領域内の第1視差画像群の第1焦点位置を算出し、画像撮影装置から得られるボリュームデータを用いて該第1焦点位置からの第1視差画像群を生成し、該第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置の第2焦点位置を算出し、該第2焦点位置からの第2視差画像群を生成し、前記第1視差画像群と前記第2視差画像群を用いて立体視画像を生成する処理ユニットと、を備えたことを特徴とする画像処理装置である。

第2の発明は、コンピュータを用いて、立体視画像を生成する立体視表示方法であって、処理ユニットによって画像撮影装置から得られるボリュームデータを取得するステップと、入力ユニットによって立体視画像を生成するための条件を設定するステップと、前記処理ユニットによって設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とするステップと、前記処理ユニットによって前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成するステップと、前記入力ユニットによって前記注目領域とは異なる領域に第2注目領域を設定するステップと、前記処理ユニットによって前記第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とするステップと、前記処理ユニットによって前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成するステップと、前記処理ユニットによって前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行うステップと、を含むことを特徴とする立体視表示方法である。

本発明により、立体視画像における注目領域を変更しても、元の立体視画像の表示範囲や視点、投影方向を変えずに変更後の注目領域の奥行方向位置にフォーカスを合わせて立体視表示を行うことが可能な画像処理装置等を提供できる。

画像処理装置100の全体構成を示す図立体視表示及び視差画像群g1(g1-1、g1-2)について説明する図視点、投影面、立体視空間、ボリュームデータ、及び注目領域等について説明する図。(a)は平行投影、(b)は中心投影。画像処理装置100の機能構成を示す図 (a)元の焦点(第1焦点位置F1)、(b)注目領域変更後に設定される第2焦点位置F2について説明する図注目領域変更前と後で、視角を固定して視差画像群を生成する例について説明する図立体視画像表示処理の全体の流れを説明するフローチャート視差画像g1-1、g1-2を生成する際の視点、投影面、立体視空間、ボリュームデータ、及び注目領域等について説明する図。(a)は平行投影、(b)は中心投影。第2の実施の形態の立体視画像表示処理の手順を示すフローチャート図10のステップS204の視差画像原点算出処理の手順を示すフローチャートボリュームデータのボクセル値(CT値)ヒストグラムに対するレンダリング関数の適用例 2つの領域間を横断する直線上のCT値分布を示すグラフ注目領域c1内の関心領域ROIのエッジ部に設定される焦点の候補点f11〜f16を示す図図10のステップS210の焦点位置算出処理の手順を示すフローチャート第3の実施の形態の立体視画像表示処理の手順を示すフローチャート第3の実施の形態の立体視画像表示処理の手順を示すフローチャート

以下図面に基づいて、本発明の実施形態を詳細に説明する。

［第1の実施の形態］
まず、図1を参照して、本発明の画像処理装置100を適用した画像処理システム1の構成について説明する。

図1に示すように、画像処理システム1は、表示装置107、入力装置109を有する画像処理装置100と、画像処理装置100にネットワーク110を介して接続される画像データベース111と、画像撮影装置112とを備える。

画像処理装置100は、画像生成、画像解析等の処理を行うコンピュータである。画像処理装置100は、図1に示すように、CPU(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106a、106bを備え、各部はバス113を介して接続されている。

CPU101は、主メモリ102または記憶装置103等に格納されるプログラムを主メモリ102のRAM上のワークメモリ領域に呼び出して実行し、バス113を介して接続された各部を駆動制御し、画像処理装置100が行う各種処理を実現する。

CPU101は、複数スライスの医用画像を積み上げてなるボリュームデータから立体視画像を生成し表示する立体視画像表示処理(図7参照)を実行する。立体視画像表示処理の詳細については後述する。

主メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。ROMはコンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。また、RAMは、ROM、記憶装置103等からロードしたプログラム、データ等を一時的に保持するとともに、CPU101が各種処理を行う為に使用するワークエリアを備える。

記憶装置103は、HDD(ハードディスクドライブ)や他の記録媒体へのデータの読み書きを行う記憶装置であり、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、CPU101により必要に応じて読み出されて主メモリ102のRAMに移され、各種の手段として実行される。

通信I/F104は、通信制御装置、通信ポート等を有し、画像処理装置100とネットワーク110との通信を媒介する。また通信I/F104は、ネットワーク110を介して、画像データベース111や、他のコンピュータ、或いは、X線CT装置、MRI装置等の画像撮影装置112との通信制御を行う。

I/F(106a、106b)は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106aを介して接続させるようにしてもよい。第1の実施の形態では、I/F106bには、シャッターメガネ115に対して動作制御信号を送信する赤外線エミッタ114等を接続する。

表示メモリ105は、CPU101から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置107に出力される。

表示装置107は、液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ105を介してCPU101に接続される。表示装置107はCPU101の制御により表示メモリ105に蓄積された表示データを表示する。

入力装置109は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報を含む入力値を受け付けて、その入力値をCPU101に出力する。操作者は、表示装置107、入力装置109、及びマウス108等の外部機器を使用して対話的に画像処理装置100を操作する。

ネットワーク110は、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、インターネット等の各種通信網を含み、画像データベース111やサーバ、他の情報機器等と画像処理装置100との通信接続を媒介する。

画像データベース111は、画像撮影装置112によって撮影された画像データを蓄積して記憶するものである。図1に示す画像処理システム1では、画像データベース111はネットワーク110を介して画像処理装置100に接続される構成であるが、画像処理装置100内の例えば記憶装置103に画像データベース111を設けるようにしてもよい。

赤外線エミッタ114及びシャッターメガネ115は、表示装置107に表示される視差画像を立体視するための装置である。立体視を実現するための装置構成は、例えばアクティブシャッターメガネ方式や偏光方式、分光方式、アナグリフ等があり、いずれの方式のものを使用してもよい。図1の装置構成例(赤外線エミッタ114及びシャッターメガネ115)は、アクティブシャッターメガネ方式の装置構成例を示している。

表示装置107を立体視モニタとして使用する際、右目用の視差画像と左目用の視差画像とを交互に切り替えて表示する。シャッターメガネ115は、立体視モニタに表示される視差画像の切り替えタイミングと同期して右目と左目の視界を交互に遮るものである。赤外線エミッタ114は、立体視モニタ及びシャッターメガネ115を同期させるための制御信号をシャッターメガネ115に送信する。立体視モニタに左目用の視差画像と右目用の視差画像とを交互に表示し、立体視モニタに左目用の視差画像が表示される間にシャッターメガネ115が右目の視界を遮り、立体視モニタに右目用の視差画像が表示される間にシャッターメガネ115が左目の視界を遮る。このように立体視モニタに表示される画像とシャッターメガネ115の状態とを連動させて切り替えることで、観察者の両目にはそれぞれ残像が残り、立体視画像として映ることとなる。

なお、立体視モニタとしては、レンチキュラレンズ等の光線制御子を用いることにより例えば3視差以上の多視差画像を観察者が裸眼で立体視可能とするものがある。本発明の画像処理装置100の表示装置として、この種の立体視モニタを利用してもよい。

ここで、図2及び図3を参照して立体視表示及び視差画像について説明する。

視差画像とは、処理対象とするボリュームデータに対して所定の視角(視差角ともいう)ずつ視点位置を移動させてレンダリング処理を行うことで生成される画像である。立体視表示を行うためには、視差数分の視差画像が必要である。両眼の視差を利用して立体視表示を行う場合は、図2に示すように視差数を2とする。視差数が2の場合、右目(視点P1)用の視差画像g1-1と左目(視点P2)用の視差画像g1-2とが生成される。
視角とは、隣接する視点P1，P2の位置と焦点位置(例えば、図2の原点O1)から定まる角度である。

なお、視差数は2に限定されず、3以上としてもよい。

図3は、視点P、投影面S、ボリュームデータ3、立体視空間4、及び注目領域c1等について説明する図であり、(a)は平行投影の場合、(b)は中心投影の場合を示している。図3中、矢印はレンダリング投影線を示している。

ボリュームデータ3内の所定の注目領域c1をレンダリング処理により描画する場合、注目領域c1を含み視点Pから見て奥行方向に広がりのある立体視空間4を設定する。平行投影法で視差画像を生成する場合は、図3(a)に示すように無限遠に視点Pがあるものと仮定し、視点Pから立体視空間4に対する各投影線は平行とする。一方、中心投影法では、図3(b)に示すように、所定の視点Pから放射状に投影線が設定される。

なお、図3の例は平行投影法及び中心投影法のいずれの場合においても、注目領域c1が立体視空間の中央となるように、視点P、投影面S、立体視空間4が設定された状態を示している。操作者は、ボリュームデータ3内の注目領域c1と、注目領域c1内に存在する単数または複数の関心領域(不図示)を観察可能な視点P(どの方向から観察するか)を任意に設定可能とする。

次に、図4を参照して画像処理装置100の機能構成について説明する。

図4に示すように、画像処理装置100は、ボリュームデータ取得部21、条件設定部22、視差画像群生成部23、注目領域変更部26、及び立体視表示制御部29を備える。

ボリュームデータ取得部21は、記憶装置103または画像データベース112等から処理対象とする医用画像のボリュームデータ3を取得する。ボリュームデータ3とは、被検体をX線CT装置やMR装置等の医用画像撮影装置を用いて撮影した複数の断層像を積み上げた画像データである。ボリュームデータ3の各ボクセルはCT画像等の濃度値(CT値)データを有する。

条件設定部22は、視差画像群を生成するための条件を設定する。条件は、注目領域c1、投影方法(平行投影または中心投影)、視点P、投影面S、投影方向、立体視空間4の範囲、レンダリング関数等である。条件設定部22は、上述の各条件を入力及び表示し、編集するためのユーザインターフェースを備えることが望ましい。

視差画像群生成部23は、条件設定部22において設定された注目領域c1がフォーカスされるような第1視差画像群g1を生成するための第1焦点位置算出部24及び第1視差画像群生成部25と、注目領域の変更に応じて設定される第2焦点位置を算出する第2焦点位置算出部27と、第2焦点位置算出部27により算出された第2焦点位置がフォーカスされるような視差画像群g2を生成する第2視差画像群生成部28とを備える。

第1焦点位置算出部24は、条件設定部22により設定された条件に基づいてボリュームデータ3の注目領域c1を立体視空間4の中央部4Aに配置し、注目領域c1内のある点を原点O1とする。また、原点O1を注目領域c1を観察する場合の焦点(第1の焦点位置F1)とする。

第1視差画像群生成部25は、第1焦点位置算出部24により算出された第1焦点位置にフォーカスが合うように第1視差画像群g1を生成する。第1視差画像群g1は、視点数が2つの場合は、図2に示すように2つの視差画像g1-1、g1-2を生成する。視差画像g1-1は、第1の焦点位置F1を画像の中央(原点O1)とし、視点P1からボリュームデータ3をレンダリング処理し、投影面S1に投影することにより得た画像である。また、視差画像g1-2は第1の焦点位置F1を画像の中央(原点O1)とし、視点P2から注目領域c1を含むボリュームデータをレンダリング処理し、投影面S1に投影することにより得た画像である。

なお、視点数を2点以上(視差数を2以上)とする場合も視点数が2点の場合と同様に、原点O1に焦点が合うように生成した視差画像を視差数分生成する。以下の説明では、注目領域c1内に焦点F1を設定して生成された各視差画像g1-1、g1-2、・・・を総称して視差画像群g1と呼ぶ。

注目領域変更部26は、第1視差画像群g1を生成した際の注目領域c1と異なる領域に第2注目領域c2を設定する(図5(a)参照)。注目領域変更部26は、注目領域を変更する際に使用するユーザインターフェースを備えることが望ましい。

注目領域変更部26のユーザインターフェースは、例えば、ボリュームデータ3を関心領域が表示されるようにボリュームレンダリング処理し陰影付けした3次元画像等を生成して表示し、操作者の入力装置109又はマウス108の操作により3次元画像を回転したり平行移動したりすることでボリュームデータ3内の所望の3次元位置をポインティングデバイス等により指示可能なものとすることが望ましい。

第2焦点位置算出部27は、注目領域変更後の焦点位置である第2焦点位置F2を算出する。第2焦点位置F2は、第1視差画像群g1を生成した際の立体視中心線L上の点であって奥行方向位置が変更後の注目領域c2の奥行方向位置と一致する点とする。立体視中心線Lとは、投影面Sから第1焦点位置F1へ伸ばした垂線である。

図5(a)に示すように、注目領域c1とは異なる位置に第2注目領域c2が設定されると、第2焦点位置算出部27は、図5(b)に示すように第2注目領域c2と同じ奥行方向位置であって立体視中心線L上の点に第2焦点F2を設定する。注目領域c2が広い場合は、第2注目領域c2内に存在する代表点を決定し、この代表点と同じ奥行方向位置であって立体視中心線L上の点に第2焦点F2を設定する。代表点は注目領域内に存在する関心領域のエッジ部等、抽出が容易で、かつ医用画像の診断に好適な点とすることが望ましい。

第2視差画像群生成部28は、第2焦点位置算出部27により算出された第2焦点位置F2にフォーカスが合うように第2視差画像群g2を生成する。第2視差画像群g2の視角θ2-1、θ2-2は、第1視差画像群g1と同じ視角としてもよいし(視角固定；図6参照)、第2焦点位置F2と各視点P1，P2との距離によって決定してもよい(視角変更；図5(b)参照)。

視角固定の場合は、焦点位置と予め設定されている視角に基づいて視点位置が微調整される。視角固定の例については後述する(第3の実施の形態)。視角変更の場合は、第2視差画像群g2の視角θ2-1、θ2-2は、第1視差画像群g1の視角θ1-1、θ1-2と異なる視角となる。第2視差画像群生成部28は生成した第2視差画像群g2を主メモリ102または記憶装置103に記憶する。

なお、視角を変更するか固定とするかは、条件設定時に操作者が任意に選択できるものとすることが望ましい。また、立体視画像を確認しながら視角設定を行ってもよい。視角設定に関しては第3の実施の形態で説明する。

立体視表示制御部29は、第1視差画像群g1または第2視差画像群g2を主メモリ102または記憶装置103から読出し、立体視画像の表示制御を行う。立体画像の表示制御において、立体視表示制御部29は、表示装置107に読み出した視差画像の右目用視差画像g1-1と左目用視差画像g1-2とを交互に切り替えながら表示する。また表示装置107の表示切替タイミングと同期してシャッターメガネ115の偏光動作を切り替える信号をエミッタ114に送る。シャッターメガネ115を介して視差画像をみることにより、視差画像群g1またはg2が立体視可能となる。

次に、第1の実施の形態の画像処理装置100が実行する立体視画像表示処理の流れを図7のフローチャートを参照して説明する。

CPU101は、記憶装置103または通信I/F104を介して接続される画像データベース111から処理対象とする医用画像のボリュームデータを取得する(ステップS101)。CPU101は、条件設定用の3次元画像を生成し、表示装置107に表示する(ステップS102)。例えば血管を観察部位とする場合は、ステップS101で取得したボリュームデータから血管領域を抽出して描画したボリュームレンダリング画像を生成し、条件設定用3次元画像として表示装置107に表示する。

次にCPU101は、視差画像を生成するための条件設定処理を行う(ステップS103)。ステップS103の条件設定処理では、注目領域c1をどの位置からどのように観察するか(視点P1，P2、投影方法(平行投影/中心投影)、投影方向、投影面S1、注目領域c1等)、レンダリング関数、及び立体視空間4の範囲等を設定する。条件設定処理では、例えばステップS102で表示された条件設定用3次元画像を回転させたり、平行移動させたりしながらポインティングデバイス等によって注目領域c1や関心領域の位置を操作者が指示可能な操作画面を(ユーザインターフェース)を生成し、表示することが望ましい。

CPU101は、ステップS102で設定された条件に基づいて第1の視差画像群g1の原点O1を算出する(ステップS104)。CPU101は、投影方法(平行投影/中心投影)に関わらず注目領域c1内の点が立体視空間4の中央部4Aに位置するように第1の視差画像群g1の原点O1を算出する。

なお、原点をO1とする注目領域c1内の点は、操作者がポインティングデバイス等によって指定した3次元位置としてもよいし、CPU101が所定の条件に基づいて自動で算出したものとしてもよい。原点O1を自動で算出する場合は、CPU101は注目領域c1内に存在する点であって所定のレンダリング条件を満たす点を原点O1とする。

例えば、血管領域を描画する場合であれば、ボリュームデータの濃度値に関するプロファイル(ヒストグラム)を用いて血管領域の画素値を有する座標を求め、これらを原点O1の候補点とする。原点O1の候補点が複数ある場合は、複数の候補点の中から最適な点を原点O1として操作者が選択する。或いは、複数の候補点の中から所定の条件を満たす点を最適な点として原点O1を設定するようにしてもよい。原点O1を自動で算出する方法の詳細は、第2の実施の形態で説明する。

CPU101は、ステップS104で算出した原点O1を第1の焦点位置F1として第1の視差画像群g1を生成する(ステップS105)。

第1の視差画像群g1の生成処理において、CPU101はまず予め設定された関心領域を描画可能なレンダリング関数を記憶装置103から取得する。そして、取得したレンダリング関数を用い、図6のステップS102で設定された条件(投影方法、視点、投影方向、投影面、及び立体視空間(投影範囲)等)に従ってレンダリング処理を行う。

図8(a)は平行投影法で視差画像g1-1、g1-2を生成する場合、図8b)は中心投影法で視差画像g1-1、g1-2を生成する場合を示している。

平行投影法では、図8(a)に示すようにボリュームデータ3に対して複数の平行な投影線を設定し、所定のレンダリング関数を用いてレンダリング処理を行う。各投影線のレンダリング処理結果を投影面S1に投影して視差画像g1-1とする。視差画像g1-2は、視差画像g1-1の投影線から視角θだけ傾いた投影線を設定し、視差画像g1-1と同一の原点O1となるように原点O1を設定し、ボリュームデータ3に対して上述のレンダリング関数を用いてレンダリング処理を行う。各投影線のレンダリング処理結果を投影面S1に投影して視差画像g1-2とする。

中心投影法では、図8(b)に示すように、視点P1からボリュームデータに対して放射状に複数の投影線を設定し、所定のレンダリング関数を用いてレンダリング処理を行う。各投影線のレンダリング処理結果を投影面S1の各画素値として視差画像g1-1を生成する。視差画像g1-2は、2つの視点P1，P2と焦点位置F1との位置関係から定められる視角θだけ視差画像g1-1の投影線から傾いた投影線を設定し、上述のレンダリング関数を用いてレンダリング処理を行う。各投影線のレンダリング処理結果を投影面S2の各画素値として視差画像g1-2を生成する。

図7のステップS105で第1の視差画像群g1(視差画像g1-1、g1-2)を生成すると、CPU101は、生成した視差画像g1-1、g1-2を用いて立体視表示を行う(ステップS106)。ステップS106の立体視表示において、CPU101は、表示装置107に視差画像g1-1とg1-2とを交互に表示するとともに、表示切替タイミングと同期した制御信号をエミッタ114を介してシャッターメガネ115へ送る。
シャッターメガネ115はエミッタ114から送信される制御信号に従って左目と右目の遮光タイミングを切り替える。これにより、一方の視差画像を表示中に他方の視差画像の残像が残り、立体視が実現する。

その後、例えばポインティングデバイス等によりボリュームデータの3次元位置が指示され、新たな注目領域c2が設定されると(ステップS107；Yes)、CPU101は操作者による指示位置の奥行位置を固定し立体視中心線L上に移動した点を第2焦点位置F2とする(ステップS108)。また、CPU101は視角を設定する。例えば、予め視角を焦点位置に応じて変更するよう設定されている場合は、CPU101は第2焦点位置F2と各視点P1、P2との位置関係から新たな視角を求め(ステップS109)、投影方法、投影範囲、及び投影方向は変えずに第2視差画像群g2を生成する(ステップS110)。CPU101は、生成した第2視差画像群g2を用いて立体視表示を行う(ステップS111)。

注目領域変更後の焦点位置(第2の焦点位置F2)は、指定した注目領域c2ではなく立体視中心線L上の注目領域c2と同じ奥行方向位置に移動されるが、第1視差画像群g1による立体視画像と同じ範囲及び同じ方向からの立体視画像が表示されることとなる。

従来の手法では、変更後の注目領域に焦点が合うように視差画像の原点を移動するため、画像の観察範囲や投影方向も前の画像から変更されてしまうが、本発明によれば、注目領域を変更後も、観察者が観察したい範囲及び方向を固定したまま、焦点の奥行方向位置だけ変更する。その結果、変更後の注目領域に近い箇所をフォーカスした画像を表示できる。例えば血管領域のある点を関心領域とする場合、投影方向や投影範囲を変更すると関心領域が血管の蛇行により隠れることがあるが、本発明によれば、投影方向や投影範囲は元の状態のままであるので元の関心領域も観察可能としつつ、別の注目領域の奥行方向位置に焦点が移動した立体視画像を観察できる。

注目領域の変更指示が入力される都度(ステップS107；Yes)、ステップS108〜ステップS111の処理を繰り返す。注目領域が変更されない場合は(ステップS107；No)、一連の立体視画像表示処理を終了する。

以上説明したように、第1の実施の形態の画像処理装置100は、立体視画像の生成に用いる注目領域、視点位置、立体視空間の範囲、レンダリング関数を含む条件の設定と、該条件に基づく第1注目領域の設定と、該第1注目領域とは異なる領域に第2注目領域の設定を行うための入力値を受け付ける入力ユニット(入力装置)109と、前記条件に基づいて前記第1注目領域内の第1視差画像群の第1焦点位置を算出し、画像撮影装置112から得られるボリュームデータを用いて該第1焦点位置からの第1視差画像群を生成し、該第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置の第2焦点位置を算出し、該第2焦点位置からの第2視差画像群を生成し、前記第1視差画像群と前記第2視差画像群を用いて立体視画像を生成する処理ユニット(CPU)101と、を備えている。

また、換言すれば、第1の実施の形態の画像処理装置100は、画像撮影装置112から得られるボリュームデータから立体視画像を生成するための条件を設定する条件設定部22と、前記条件設定部22により設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とする第1焦点位置算出部24と、前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成する第1視差画像群生成部25と、前記注目領域とは異なる領域に第2注目領域を設定する注目領域変更部26と、前記第1視差画像群生成時に設定した立体視中心線上であって、前記注目領域変更部26により設定された第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とする第2焦点位置算出部27と、前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成する第2視差画像群生成部28と、前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行う立体視表示制御部29と、を備えている。

さらに、一例として第1の実施の形態の画像処理装置100を作動させる立体視表示方法は、コンピュータ等を用いて、立体視画像を生成する立体視表示方法であって、CPU101によって画像撮影装置112から得られるボリュームデータを取得するステップと、入力ユニットによって立体視画像を生成するための条件を設定するステップと、前記処理ユニットによって設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とするステップと、前記処理ユニットによって前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成するステップと、前記入力ユニットによって前記注目領域とは異なる領域に第2注目領域を設定するステップと、前記処理ユニットによって前記第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とするステップと、前記処理ユニットによって前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成するステップと、前記処理ユニットによって前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行うステップと、を含んでいる。

上記第1の実施の形態の画像処理装置100によれば、一度ある注目領域(第1注目領域)c1に焦点が合うように立体視画像(視差画像)を生成した後に第1注目領域を変更すると、変更後の第2注目領域c2そのものを焦点とするのではなく、変更後の第2注目領域c2と同じ奥行方向位置であって、第1視差画像群g1の立体視中心線L上に移動した点(第2焦点位置)がフォーカスされるように第2視差画像g2が生成される。第2視差画像g2は、投影方向や投影範囲等が元の画像(第1視差画像群)と同様となる。したがって元の第1注目領域c1も視野にいれつつ、別の第2注目領域c2の奥行方向位置に焦点が移動した立体視画像を観察できる。

また、上記第1の実施の形態の画像処理装置100において、前記入力装置109又はマウス108は、前記ボリュームデータの3次元位置をさらに指定し、前記CPU101は、前記3次元位置を用いて前記第2注目領域内の点を指定することを特徴としてもよい。

このように、3次元位置で第2注目領域内の点を指定すれば、第1注目領域及び第2注目領域の変更点指定の場合に比べて視差画像の移動方向の選択肢を増やすことができる。

また、上記第1の実施の形態の画像処理装置100において、前記CPU101は、前記第2注目領域から関心領域を抽出し、抽出した関心領域の少なくとも一つの代表点を算出し、前記第1視差画像群生成時に設定した立体視中心線上であって前記各代表点と同一の奥行方向位置にある各点をそれぞれ第2焦点位置の候補点とすることを特徴としてもよい。

このように、第2注目領域c2内に存在する代表点を決定すれば、この代表点と同じ奥行方向位置であって立体視中心線L上の点に第2焦点F2を設定するので、第2注目領域c2が広くても焦点位置を迅速に設定することができる。

また、上記第1の実施の形態の画像処理装置100において、前記CPU101は、前記ボリュームデータのボクセル値に関するプロファイルとレンダリング条件に基づいて前記関心領域を抽出することを特徴としてもよい。

このように、CPU101は注目領域c1内に存在する点であって所定のレンダリング条件を満たす点を原点O1とするので、操作者による煩雑な操作を省略できる。

また、上記第1の実施の形態の画像処理装置100において、前記CPU101は、前記関心領域のエッジ部を前記代表点とすることを特徴としてもよい。

このように、前記関心領域のエッジ部を前記代表点とすることで、例えば前記関心領域の中心部でないので、画像診断に影響を与えない。

また、上記第1の実施の形態の画像処理装置100において、前記第2焦点位置の候補点についてそれぞれ視差画像群を生成して記憶する主メモリ102または記憶装置103を更に備え、前記入力装置109又はマウス108は、前記候補点を切り替える指示を入力し、前記CPU101は、前記指示に応じて前記主メモリ102または前記記憶装置103から異なる候補点についての視差画像群を読出し、順次切り替えて立体視表示することを特徴としてもよい。

このように、操作者の指示に応じて焦点位置を順次切り替えて表示することで、操作者は見え方の違いを確認しながら、焦点位置を決定できる。

上記第1の実施の形態の画像処理装置100において、前記CPU101は、第1視差画像群生成時に設定された視角と同じ視角で前記第2視差画像群を生成することを特徴としてもよい。

上記第1の実施の形態の画像処理装置100において、前記CPU101は、前記第2焦点位置と各視点位置との位置関係に応じた視角で第2視差画像群を生成することを特徴としてもよい。

このように、前記第2視差画像群の生成において第1視差画像群生成時に設定された視角と同じ視角とすることにより、あるいは前記第2視差画像群の生成において前記第2焦点位置と各視点位置との位置関係に応じた視角とすることにより、前記第2視差画像群の生成における視角の設定が省略できるため、操作者の入力装置109又はマウス108の操作回数を減らすことができ、操作性向上に寄与する。

［第2の実施の形態］
次に、本発明の第2の実施の形態について図9〜図14を参照して説明する。

第2の実施の形態の画像処理装置100は、視差画像群の焦点位置をCPU101が自動で算出する。

条件設定ステップまたは注目領域を変更するステップにおいて、条件設定用の3次元画像を操作画面上で指示するといった操作方法で注目領域を指定する場合には、画面上の縦横の位置(2次元位置)は指示できるが、奥行方向位置は一意に特定できない。例えば、血管領域を観察する場合、操作者が指示した2次元位置の奥行方向に血管が重なって存在する場合は、どの血管を注目領域とするかを特定できない。そこで、第2の実施の形態では、焦点位置の好適な決定方法について説明する。

なお、第2の実施の形態の画像処理装置100のハードウエア構成及び視差画像群生成部23以外の機能構成は第1の実施の形態の画像処理装置100(図1、図4参照)と同様であるため、重複する説明を省略する。

図9は、立体視画像表示処理(2)の全体の流れを示すフローチャートである。

ステップS201〜ステップS203は第1の実施の形態と同様である。CPU101は、画像データベース111から処理対象とする医用画像のボリュームデータ3を取得し(ステップS201)、条件設定用の3次元画像を生成し、表示装置107に表示する(ステップS202)。操作者はこの条件設定用3次元画像を回転させたり平行移動させたりしながら、視差画像を生成するための条件設定を行う(ステップS203)。条件は、注目領域、視点位置、立体視空間の範囲、レンダリング関数等を含む。

次に、CPU101はステップS202で設定された条件に基づいて第1の視差画像群g1の原点の候補点を算出する(ステップS204)。ステップS204において、CPU101は注目領域c1内から第1の視差画像群g1の原点O1とする複数の候補点を算出する。ステップS204の視差画像原点算出処理の詳細については後述する。

CPU101は、ステップS204で算出した原点O1の各候補点をそれぞれ焦点位置f11，f12，f13，・・・として、各焦点位置f11，f12，f13，・・・がそれぞれフォーカスされるような視差画像群g11，g12，g13，・・・を生成する(ステップS205)。視差画像群g11は候補点f11を焦点とする視差画像g11-1、視差画像g11-2、・・・を含む。同様に、視差画像群g12は候補点f12を焦点とする視差画像g12-1、視差画像g12-2、・・・を含み、視差画像群g13は候補点f13を焦点とする視差画像g13-1、視差画像g13-2、・・・を含む。CPU101は生成した視差画像群g11，g12，g13，・・・を主メモリ102または記憶装置103に記憶する。

CPU101は、生成した複数の視差画像群g11，g12，g13，・・・のうち1つの視差画像群を読出し(ステップS206)、立体視表示を行う(ステップS207)。例えば、複数の視差画像群のうち視点から一番手前にある焦点位置の視差画像群を取得して立体視表示を行う。

候補点切替操作が入力されると(ステップS208；Yes)、CPU101は別の視差画像群を取得して(ステップS206)、立体視表示を行う(ステップS207)。ステップS208では、例えば視点からみて手前から2番目の焦点位置の視差画像群を取得して立体視表示を行う。このように、候補点切替操作が入力される都度(ステップS208；Yes)、CPU101は次の奥行方向位置の視差画像群を主メモリ102または記憶装置103から読み出して立体視表示を行う。操作者の指示に応じて焦点位置を切り替えて表示することで、操作者は見え方の違いを確認しながら、焦点位置を決定できる。

注目領域の変更指示が入力された場合は(ステップS209；Yes)、CPU101は、変更後の注目領域内から新たな焦点位置の候補点を算出する(ステップS210)。
焦点位置の候補点算出処理については後述する(図14参照)。

CPU101は、注目領域変更後の視角を設定する(ステップS211)。視角の設定は、第1の実施の形態と同様に、視角固定(ステップS205の視差画像生成時の視角と同一の視角を用いる)としてもよいし、視角変更(視点位置が元の立体視画像と同一で視点と焦点との距離に応じて視角が算出される)としてもよい。ステップS211において、視角を変更する場合は、CPU101は第2焦点位置の各候補点についてそれぞれ視角を算出する。一方、視角固定の場合はステップS205の視差画像群生成時の視角と同じ視角を設定する。

CPU101は、ステップS210で算出した第2焦点位置の各候補点について、ステップS211で設定した視角を用いて、それぞれ視差画像群g21，g22，g23，・・・を生成する(ステップS212)。CPU101は生成した視差画像群g21，g22，g23，・・・を主メモリ102または記憶装置103に記憶する。

CPU101は、変更後の注目領域について生成した複数の視差画像群g21，g22，g23，・・・のうち1つの視差画像群を取得し(ステップS213)、立体視表示を行う(ステップS214)。例えば、注目領域変更後の複数の視差画像群g21，g22，g23，・・・のうち、視点から一番手前にある焦点位置の視差画像群を取得して立体視表示を行う。

候補点切替操作が入力されると(ステップS215；Yes)、CPU101はステップS212で生成した視差画像群g21，g22，g23，・・・から別の視差画像群を取得して(ステップS213)、立体視表示を行う(ステップS214)。例えば、視点からみて注目領域c2内の手前から2番目の焦点位置の視差画像群を取得して立体視表示を行う。このように、候補点切替操作が入力される都度(ステップS215；Yes)、CPU101は次の奥行方向位置を焦点位置とする視差画像群を主メモリ102または記憶装置103から読み出して立体視表示を行う。

候補点切替操作及び注目領域の変更指示が入力されない場合は(ステップS215；No、ステップS209；No)、一連の立体視画像生成・表示処理を終了する。

次に、ステップS204の視差画像原点算出処理について、図10を参照して説明する。

視差画像原点算出処理の開始に際して、注目領域をどの位置から観察するか(視点)が設定され、注目領域は平行投影または中心投影のいずれの場合であっても投影面の中央に位置するように設定される。また、関心領域を描画するためのレンダリング関数が選択され、記憶装置103から取得されているものとする。

CPU101は、まず、処理対象とするボリュームデータ3のボクセル値(CT値)に関するプロファイルを求める(ステップS301)。ステップS301で算出するプロファイルとは、CT値に関するヒストグラムである。

次に、CPU101は、ステップS301で生成したヒストグラムに上述のレンダリング関数を適用し(ステップS302)、レンダリング関数の出力結果を関心領域の閾値を用いて閾値処理する(ステップS303)。ステップS303において閾値を超えるCT値を有する点であって注目領域内にある点を視差画像群の原点の候補点とする(ステップS304)。

図11は、ステップS302、ステップS303におけるレンダリング関数の適用例及び閾値処理を説明する図である。

図11(a)はあるCT値以上の部位の不透明度を設定するレンダリング関数r1をヒストグラムHに適用する例である。図11(a)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r1を適用すると、図11(a)の破線で示す曲線h1となる。その出力結果h1に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。CPU101は、閾値を超えるCT値を有する点を注目領域内から選択し、原点の候補点とする。

図11(b)は、特定の値付近のCT値を有する部位の不透明度を設定するためのレンダリング関数r2をヒストグラムHに適用する例である。図11(b)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r2を適用すると、図11(b)の破線で示す曲線h2となる。その出力結果h2に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。CPU101は、閾値を超えるCT値を有する点を注目領域内から選択し、原点の候補点とする。

図11(c)は、あるCT値以上の部位を描画するためのレンダリング関数r3をヒストグラムHに適用する例である。図11(c)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r3を適用すると、図11(c)の破線で示す曲線h3となる。その出力結果h3に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。CPU101は、閾値を超えるCT値を有する点を注目領域内から選択し、原点の候補点とする。

図11(d)は、ある2つのCT値範囲に属する部位を描画するためのレンダリング関数r4をヒストグラムHに適用する例である。図11(d)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r4を適用すると、図11(d)の破線で示す曲線h4となる。その出力結果h4に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。図11(d)の例では、閾値を超える点がないため原点が算出されない。

ところで、視差画像群の原点は、関心領域のエッジ位置とすることが望ましい。CPU101は図10の処理に加え、更に関心領域のエッジ位置を特定し、エッジ位置を原点としてもよい。

以下、説明するエッジ位置算出処理では、あるモデルを想定して関心領域のエッジ部分を判別する。モデルは、画素値がなだらかに遷移する2つの領域の境界を考える。図12において、f(x)は投影線が2つの領域を横断した時の画素値の推移を示す曲線であり、f’(x)は各位置における画素値の1階微分、f’’(x)は2階微分である。図12の横軸は2つの領域を横断する直線上の座標を表し、縦軸は画素値を表す。図12において左側領域は画素値が小さい領域、右側の領域は画素値が大きい領域、中央が2つの領域の境界に対応している。

CPU101は、画素値の1階微分f’(x)と2階微分f’’(x)の組み合わせから座標を特定し、その画素がエッジからどれだけ離れているかを判別する。座標と入出力比の関係を示す関数(以下、入力関数)を用いると、微分値に基づいて算出した座標から入力関数を介してエッジ強調フィルタに乗じる入出力比を求めることができる。

以下、上述のモデルを数式で表し、画素値の1階微分f’(x)と2階微分f’’(x)の組み合わせから座標xを導出する例を説明する。2つの領域のうち画素値が小さい領域の画素値平均をVmin、画素値が大きい領域の画素値平均をVmax、境界の幅をσとすると、境界を原点とする座標xにおける画素値Vは以下の式(1)で表すことができる。

ただし、誤差関数gは以下の式(2)で定義される。

式(1)、式(2)により、座標xにおける画素値の1階微分、2階微分が以下の式(3)、式(4)のように導出される。

この1階微分と2階微分より式(5)のように座標xが導出される。

エッジ強調フィルタでは、1つの画像内のそれぞれの画素値の1階微分の平均値と2階微分の平均値を求め、これらから式(5)を用いて各画素値の座標を求める。ある画像における画素値Vに対して求められる平均的な座標p(V)は式(6)で表される。

ここで、画素値g(V)は画素値Vにおける1階微分の平均値、h(V)は画素値Vにおける2階微分の平均値である。

式(5)で求めた座標xを、上述の入力関数を使って入出力比に変換する。座標xに対する入力関数をβ(x)とすると、画素値Vに割り当てられる入出力比α(V)は式(7)で表される。

このようにして求められたエッジ強調フィルタα(V)を操作者が用意したレンダリング関数に乗じたものをレンダリング処理で使用することで、エッジが強調されたレンダリング画像を得ることができる。CPU101はレンダリング処理の投影線上に存在する強調された画素値の座標を算出することにより、関心領域のエッジ位置を特定できる。

例えば、図13に示すように、注目領域c1内に存在する関心領域ROI_1、ROI_2、ROI_3のエッジ位置を特定し、各エッジ位置を原点の候補点f11〜f16とすることが可能となる。

上述の視差画像群原点算出処理により求められた視差画像群の原点の候補点は、第1視差画像群生成部25に通知され、図9のステップS205において各候補点を原点とする視差画像群がそれぞれ生成される。また、ステップS206〜ステップS208の処理により、候補点を切り替えて各候補点について求められた視差画像群による立体視画像を切り替え表示される。

図10の視差画像原点算出処理によれば、注目領域を所定の視点方向から描画する場合に、注目領域内に存在するいくつかの関心領域に該当する点を視差画像群の原点とすることができる。

次に、ステップS210の焦点位置候補点算出処理について、図14を参照して説明する。

焦点位置算出処理についても視差画像原点算出処理(図10)と同様に、CPU101は、まず、処理対象とするボリュームデータ3のCT値に関するプロファイル(ヒストグラム)を求め(ステップS401)、ヒストグラムに所定のレンダリング関数を適用し(ステップS402)、レンダリング関数の出力結果を関心領域の閾値を用いて閾値処理する(ステップS403)。ステップS403において閾値を超えるCT値を有する点であって注目領域内にある点(代表点)を複数抽出する。

次に、ステップS403で抽出した複数の代表点の位置を、視点から見て奥行方向の位置を固定しつつ、立体視中心線L上に移動する(ステップS404)。立体視中心線Lとは第1の視差画像群の原点O1から投影面Sに対して引いた垂線である。CPU101は、代表点を移動した各点を第2焦点位置の候補点とする(ステップS405)。

上述の焦点位置算出処理により求められた第2焦点の候補点は、第2視差画像群生成部28に通知される。図9のステップS211において視角が設定され、ステップS212において各候補点を焦点とする視差画像群がそれぞれ生成される。また、ステップS213〜ステップS215の処理により、候補点を切り替えて各候補点について求められた視差画像群による立体視画像を切り替え表示される。

図14の焦点位置算出処理によれば、注目領域を所定の視点方向から描画する場合に、注目領域内に存在するいくつかの関心領域内の代表点と奥行方向位置が一致し、元の立体視画像(第1視差画像群)の立体視中心線L上に移動した位置を焦点位置の候補点として求めることができる。

また、上述の視差画像原点算出処理(図10)と同様に、焦点位置の候補点を算出する際は、注目領域内に存在する関心領域のエッジ付近がフォーカスされるように焦点位置が算出されることが望ましい。

以上説明したように、第2の実施の形態の画像処理装置100によれば、注目領域内のどの点を原点とするか、或いは焦点位置とするかをCPU101が自動算出し、複数の候補点で各立体視画像をそれぞれ生成して、切替表示可能とする。したがって、操作者は各候補点を焦点(原点)とする場合の立体視画像の見え方の違いを確認しながら最適な立体視画像を表示させ、診断に用いることができる。また、候補点の切り替え操作を行うタイミングより前に、予め各候補点の視差画像群を生成して記憶しておくため、切り替え操作に即応して立体視画像の表示を切り替えることが可能となる。

また、第2の実施の形態の画像処理装置100において、前記CPU101は、前記ボリュームデータのボクセル値に関するプロファイルを生成し、生成したプロファイルとレンダリング条件に基づいて前記注目領域内に存在する少なくとも1つの点を前記第1視差画像群の原点の候補点として算出することを特徴としてもよい。

このように、前記ボリュームデータのボクセル値に関するプロファイルとレンダリング条件に基づいて前記注目領域内に存在する少なくとも1つの点を前記原点の候補点として算出することで、焦点位置算出処理によれば、注目領域を所定の視点方向から描画する場合に、注目領域内に存在するいくつかの関心領域内の代表点と奥行方向位置が一致し、元の立体視画像(第1視差画像群)の立体視中心線L上に移動した位置を焦点位置の候補点として求めることができる。

また、第2の実施の形態の画像処理装置100において、前記第2焦点位置の候補点についてそれぞれ視差画像群を生成して記憶する主メモリ102または記憶装置103を更に備え、前記入力装置109又はマウス108は、前記候補点を切り替える指示を入力し、前記CPU101は、前記指示に応じて前記主メモリ102または前記記憶装置103から異なる候補点についての視差画像群を読出し、順次切り替えて立体視表示することを特徴としてもよい。

上記第2の実施の形態の画像処理装置100において、前記入力装置109又はマウス108は、視角を固定して立体視表示するか、視角を変更して立体視表示するかを切り替える指示を入力し、前記CPU101は、第1視差画像生成時に設定された視角と同じ視角で前記第2の視差画像群を生成するとともに前記第2焦点位置と視点との距離に応じた視角で第2視差画像群を生成して、主メモリ102または記憶装置103に記憶し、前記入力装置109又はマウス108からの指示に応じて前記主メモリ102または記憶装置103から視角設定の異なる視差画像群を読み出して、切り替え表示することを特徴としてもよい。

このように、前記第2視差画像群の生成において第1視差画像生成時に設定された視角と同じ視角で前記第2の視差画像群を生成するとともに前記第2焦点位置と視点との距離に応じた視角で第2視差画像群を生成するので、前記第2視差画像群の生成における視角の設定が省略できるため、操作者の入力装置109又はマウス108の操作回数を減らすことができ、操作性向上に寄与する。

［第3の実施の形態］
次に、本発明の第3の実施の形態について図15、図16を参照して説明する。

第3の実施の形態の画像処理装置100は、第1または第2の実施の形態における立体視画像表示処理において、予め固定で設定された視角を利用するか、または、視点と焦点位置との距離により算出された視角を利用するかを、操作者が切り替え可能な構成とする。

そのため、CPU101(第1視差画像生成部25、第2位視差画像生成部28)は、視差画像群を生成する際に、視角固定及び視角変更の視差画像群を両方生成し、主メモリ102または記憶装置103に保持する。操作者により視角切替操作が入力されると、視角固定の立体視画像が表示されている場合は、視角変更の視差画像群を主メモリ102または記憶装置103から読み出して表示を更新する。また、視角変更の立体視画像が表示されている場合に視角切替操作が入力されると、CPU101は視角固定の視差画像群を主メモリ102または記憶装置103から読み出して表示を更新する。

なお、第3の実施の形態の画像処理装置100のハードウエア構成は第1または第2の実施の形態の画像処理装置100(図1参照)と同様であり、機能構成についても第1視差画像群生成部25及び第2視差画像群生成部28以外の構成は第1または第2の実施の形態の画像処理装置100(図4参照)と同様であるため、重複する説明を省略する。

図15及び図16は、第3の実施の形態の立体視画像表示処理(3)の流れを示すフローチャートである。

ステップS501〜ステップS504は第2の実施の形態のステップS201〜ステップS204と同様である。CPU101は、画像データベース111から処理対象とする医用画像のボリュームデータを取得し(ステップS501)、条件設定用の3次元画像を生成し、表示装置107に表示する(ステップS502)。操作者は条件設定用3次元画像を回転させたり平行移動させたりしながら、視差画像を生成するための条件設定を行う(ステップS503)。条件は、注目領域、視点位置、立体視空間の範囲、レンダリング関数等を含む。

次に、CPU101はステップS502で設定された条件に基づいて第1の視差画像群g1の原点を算出する(ステップS504)。ステップS504では、例えば、第2の実施の形態の原点算出処理(図10参照)と同様に、CPU101は注目領域c1内から視差画像群g1の原点とする複数の候補点を算出する。

次に、CPU101は、ステップS504で算出した原点の各候補点がそれぞれ焦点位置f11，f12，f13，・・・となるように、視差画像群g11，g12，g13，・・・を生成する(ステップS505)。

ステップS505の視差画像群生成処理において、CPU101は視角を固定として各視差画像群g11A，g12A，g13A，・・・を算出するとともに、視角を焦点位置に応じて変更した視差画像群g11B，g12B，g13B，・・・も算出する。視角を固定とする場合は、例えば図6に示すように、焦点位置が異なる場合でも各右目用視差画像の視角(θ1-1とθ2-1)が同一の角度となるように視点位置を微調整してレンダリング処理を行う。左目用視差画像についても同様に、焦点位置が異なる場合でも各左目用視差画像の視角(θ1-2とθ2-2)が同一の角度となるように視点位置を微調整してレンダリング処理を行う。

一方、視角を変更する場合は、各焦点f11，f12，f13，・・・と視点P1、P2との距離に基づいて各視差画像群の視角を算出し、算出した視角でそれぞれ視差画像群g11B，g12B，g13B，・・・を生成する。

視角を固定して焦点の奥行方向位置を変更する場合は、画像の形態を変えずに凹凸感の異なる立体視画像を表示できる。一方、視角を焦点の奥行方向位置に合わせて変更する場合は、視点に近い物体の方が際立って凸となり画像の形態が多少変化する。視角設定の違いにより、立体視画像の見え方は異なるものとなるが、どちらが良いかは操作者の好みによるところが大きい。

CPU101は生成した視差画像群g11A，g11B、g12A，g12B、g13A，g13B、・・・を主メモリ102または記憶装置103に記憶する。

CPU101は、生成した複数の視差画像群のうち1つの視差画像群を読出し(ステップS506)、立体視表示を行う(ステップS507)。例えば、複数の視差画像群のうち視点から一番手前にある候補点f11を焦点とする視差画像群g11であって視角固定の視差画像群g11Aを取得して立体視表示を行う。

視角切替操作が入力されると(ステップS508；Yes)、CPU101は焦点位置が元の視差画像群と同一で視角変更の視差画像群g11Bを取得し(ステップS506)、立体視表示を行う(ステップS507)。

候補点切替操作が入力されると(ステップS509；Yes)、別の焦点の視差画像群であって視角が候補点切替操作入力時における設定と同じものを取得して(ステップS506)、立体視表示を行う(ステップS507)。例えば、候補点切替操作が入力時に視角変更の視差画像群g11Bが表示されているので、CPU101は視点からみて手前から2番目の焦点位置f12の視差画像群のうち視角変更の視差画像群g12Bを取得して立体視表示を行う。このように、視角切替操作が入力される都度、CPU101は視角固定または視角変更の視差画像群を交互に切り替える。また、候補点切替操作が入力される都度、次の奥行方向位置の視差画像群を主メモリ102または記憶装置103から読み出して立体視表示を行う。

注目領域の変更指示が入力された場合は(ステップS510；Yes)、CPU101は、変更後の注目領域c2内から焦点位置の候補点を算出する(図16のステップS511)。焦点位置の候補点は、例えば、第2の実施の形態の焦点位置算出処理(図14参照)等により算出する。

次に、CPU101は、ステップS511で算出した焦点位置の各候補点f21，f22，f23，・・・を焦点として、それぞれ視差画像群g21，g22，g23，・・・を生成する(ステップS512)。

ステップS512の視差画像群生成処理において、CPU101は視角を固定として各視差画像群g21A，g22A，g23A，・・・を算出するとともに、視角を変更した視差画像群g21B，g22B，g23B，・・・を算出する。

CPU101は生成した視差画像群g21A，g21B，g22A，g22B，g23A，g23B，・・・を主メモリ102または記憶装置103に記憶する。

CPU101は、生成した複数の視差画像群のうち1つの視差画像群を読出し(ステップS513)、立体視表示を行う(ステップS514)。例えば、複数の視差画像群のうち視点から一番手前にある焦点位置の視差画像群であって視角固定の視差画像群g21Aを取得して立体視表示を行う。

視角切替操作が入力されると(ステップS515；Yes)、CPU101は焦点位置が元の視差画像群g21Aと同一で視角変更の視差画像群g21Bを取得し(ステップS513)、立体視表示を行う(ステップS514)。

候補点切替操作が入力されると(ステップS516；Yes)、別の焦点の視差画像群を取得して(ステップS513)、立体視表示を行う(ステップS514)。視角は候補点切替操作入力時の視角設定が適用される。候補点切替操作入力時に、視角変更の視差画像群g21Bが表示されているので、CPU101は視点からみて手前から2番目の焦点位置f22の視差画像群g22A，g22Bのうち視角変更の視差画像群g22Bを取得して立体視表示を行う。このように、視角切替操作が入力される都度、CPU101は視角固定または視角変更の視差画像群を交互に切り替える。また、候補点切替操作が入力される都度、次の奥行方向位置の視差画像群を主メモリ102または記憶装置103から読み出して立体視表示を行う。

注目領域の変更指示が入力された場合は(ステップS517；Yes)、ステップS511へ戻り、ステップS511〜ステップS516の処理を繰り返し行う。視角切替操作、候補点切替操作、及び注目領域の変更指示が入力されない場合は(ステップS515；No、ステップS516；No、ステップS517；Yes)、一連の立体視画像表示処理(3)を終了する。

以上説明したように、第3の実施の形態の画像処理装置100は、焦点位置の異なる視差画像群を立体視表示する際に、元の視角のまま(視角固定)とするか、或いは視点と焦点との位置に基づいて算出された視角とするか(視角変更)を操作者が自在に切り替えることができる。

視角を固定とする場合と視角を変更する場合とでどちらの立体視画像が見やすいかは、操作者により、または観察対象によって異なる。そのため、視角設定を選択可能とすることで、操作者の嗜好に応じた最適な視角で立体視表示を行うことが可能となり、より多くの操作者にとって観察しやすい立体視画像を提供できる。

なお、第3の実施の形態では、焦点位置を変更した場合に視角を固定とするか或いは変更とするかを操作者が切替可能な構成としたが、焦点位置を変更しない場合であっても視角のみ変更した視差画像群をいくつか生成し、これらを切替表示する構成としてもよい。
焦点位置を変更せずに視角を変更すると、凹凸感が異なる立体視画像を表示できるため、好みの視角(凹凸感)を操作者が選択できる構成としてもよい。

また、上記実施形態では、画像処理装置100が画像撮影装置112とネットワーク110を介して接続する例で説明しているが、画像処理装置100を画像撮影装置112の内部に設けて機能させてもよい。

以上、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

1 画像処理システム、100 画像処理装置、101 CPU、102 主メモリ、103 記憶装置、104 通信I/F、105 表示メモリ、106a、106b I/F、107 表示装置、108 マウス、109 入力装置、110 ネットワーク、111 画像データベース、112 画像撮影装置、114 赤外線エミッタ、115 シャッターメガネ、21 ボリュームデータ取得部、22 条件設定部、23 視差画像群生成部、24 第1焦点位置算出部、25 第1視差画像群生成部、26 注目領域変更部、27 第2焦点位置算出部、28 第2視差画像群生成部、29 立体視表示制御部、F1 第1焦点(視差画像原点O1)、f11、f12、原点候補点、F2 第2焦点、f21、f22、第2焦点の候補点、g1 第1視差画像群、g2 第2視差画像群、P1、P2視点、c1、c2注目領域、L 立体視中心線、θ 視角、ROI_1、ROI_2関心領域

前述した目的を達成するために本発明は、立体視画像の生成に用いる注目領域、視点位置、立体視空間の範囲、レンダリング関数を含む条件の設定と、該条件に基づく第1注目領域の設定と、該第1注目領域とは異なる領域に第2注目領域の設定を行うための入力値を受け付ける入力ユニットと、前記条件に基づいて前記第1注目領域内の第1焦点位置を算出し、画像撮影装置から得られるボリュームデータを用いて該第1焦点位置からの第1視差画像群を生成し、該第1視差画像群の生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置の第2焦点位置を算出し、該第2焦点位置からの第2視差画像群を生成し、前記第1視差画像群と前記第2視差画像群を用いて立体視画像を生成する処理ユニットと、を備えたことを特徴とする画像処理装置である。

また、立体視画像を生成する立体視表示方法であって、画像撮影装置から得られるボリュームデータを取得するステップと、立体視画像を生成するための条件を設定するステップと、設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とするステップと、前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成するステップと、前記注目領域とは異なる領域に第2注目領域を設定するステップと、前記第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とするステップと、前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成するステップと、前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行うステップと、を含むことを特徴とする立体視表示方法である。

画像処理装置100の全体構成を示す図立体視表示及び第1視差画像群(視差画像群)g1(視差画像g1-1,g1-2)について説明する図視点、投影面、立体視空間、ボリュームデータ、及び注目領域等について説明する図。(a)は平行投影、(b)は中心投影。画像処理装置100の機能構成を示す図 (a)元の焦点(第1焦点位置F1)、(b)注目領域変更後に設定される第2焦点位置F2について説明する図注目領域変更前と後で、視角を固定して視差画像群を生成する例について説明する図立体視画像表示処理の全体の流れを説明するフローチャート視差画像g1-1、g1-2を生成する際の視点、投影面、立体視空間、ボリュームデータ、及び注目領域等について説明する図。(a)は平行投影、(b)は中心投影。第2の実施の形態の立体視画像表示処理の手順を示すフローチャート図10のステップS204の視差画像原点算出処理の手順を示すフローチャートボリュームデータのボクセル値(CT値)ヒストグラムに対するレンダリング関数の適用例 2つの領域間を横断する直線上のCT値分布を示すグラフ注目領域(第1注目領域)c1内の関心領域ROIのエッジ部に設定される焦点の候補点(焦点位置)f11〜f16を示す図図10のステップS210の焦点位置算出処理の手順を示すフローチャート第3の実施の形態の立体視画像表示処理の手順を示すフローチャート第3の実施の形態の立体視画像表示処理の手順を示すフローチャート

I/F(106a、106b)は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106aを介して接続させるようにしてもよい。第1の実施の形態では、I/F106bには、シャッターメガネ115に対して動作制御信号を送信するエミッタ114等を接続する。

エミッタ114及びシャッターメガネ115は、表示装置107に表示される視差画像を立体視するための装置である。立体視を実現するための装置構成は、例えばアクティブシャッターメガネ方式や偏光方式、分光方式、アナグリフ等があり、いずれの方式のものを使用してもよい。図1の装置構成例(エミッタ114及びシャッターメガネ115)は、アクティブシャッターメガネ方式の装置構成例を示している。

表示装置107を立体視モニタとして使用する際、右目用の視差画像と左目用の視差画像とを交互に切り替えて表示する。シャッターメガネ115は、立体視モニタに表示される視差画像の切り替えタイミングと同期して右目と左目の視界を交互に遮るものである。エミッタ114は、立体視モニタ及びシャッターメガネ115を同期させるための制御信号をシャッターメガネ115に送信する。立体視モニタに左目用の視差画像と右目用の視差画像とを交互に表示し、立体視モニタに左目用の視差画像が表示される間にシャッターメガネ115が右目の視界を遮り、立体視モニタに右目用の視差画像が表示される間にシャッターメガネ115が左目の視界を遮る。このように立体視モニタに表示される画像とシャッターメガネ115の状態とを連動させて切り替えることで、観察者の両目にはそれぞれ残像が残り、立体視画像として映ることとなる。

ボリュームデータ取得部21は、記憶装置103または画像データベース111等から処理対象とする医用画像のボリュームデータ3を取得する。ボリュームデータ3とは、被検体をX線CT装置やMR装置等の医用画像撮影装置を用いて撮影した複数の断層像を積み上げた画像データである。ボリュームデータ3の各ボクセルはCT画像等の濃度値(CT値)データを有する。

視差画像群生成部23は、条件設定部22において設定された注目領域c1がフォーカスされるような第1視差画像群g1を生成するための第1焦点位置算出部24及び第1視差画像群生成部25と、注目領域の変更に応じて設定される第2焦点位置を算出する第2焦点位置算出部27と、第2焦点位置算出部27により算出された第2焦点位置がフォーカスされるような第2視差画像群(視差画像群)g2を生成する第2視差画像群生成部28とを備える。

第1焦点位置算出部24は、条件設定部22により設定された条件に基づいてボリュームデータ3の注目領域c1を立体視空間4の中央部4Aに配置し、注目領域c1内のある点を原点O1とする。また、原点O1を注目領域c1を観察する場合の焦点(第1焦点位置F1)とする。

第1視差画像群生成部25は、第1焦点位置算出部24により算出された第1焦点位置にフォーカスが合うように第1視差画像群g1を生成する。第1視差画像群g1は、視点数が2つの場合は、図2に示すように2つの視差画像g1-1、g1-2を生成する。視差画像g1-1は、第1焦点位置F1を画像の中央(原点O1)とし、視点P1からボリュームデータ3をレンダリング処理し、投影面S1に投影することにより得た画像である。また、視差画像g1-2は第1焦点位置F1を画像の中央(原点O1)とし、視点P2から注目領域c1を含むボリュームデータをレンダリング処理し、投影面S1に投影することにより得た画像である。

なお、視点数を2点以上(視差数を2以上)とする場合も視点数が2点の場合と同様に、原点O1に焦点が合うように生成した視差画像を視差数分生成する。以下の説明では、注目領域c1内に第1焦点位置F1を設定して生成された各視差画像g1-1、g1-2、・・・を総称して視差画像群g1と呼ぶ。

注目領域変更部26は、第1視差画像群g1を生成した際の注目領域c1と異なる領域に注目領域(第2注目領域)c2を設定する(図5(a)参照)。注目領域変更部26は、注目領域を変更する際に使用するユーザインターフェースを備えることが望ましい。

図5(a)に示すように、注目領域c1とは異なる位置に第2注目領域c2が設定されると、第2焦点位置算出部27は、図5(b)に示すように第2注目領域c2と同じ奥行方向位置であって立体視中心線L上の点に第2焦点位置F2を設定する。注目領域c2が広い場合は、第2注目領域c2内に存在する代表点を決定し、この代表点と同じ奥行方向位置であって立体視中心線L上の点に第2焦点位置F2を設定する。代表点は注目領域内に存在する関心領域のエッジ部等、抽出が容易で、かつ医用画像の診断に好適な点とすることが望ましい。

立体視表示制御部29は、第1視差画像群g1または第2視差画像群g2を主メモリ102または記憶装置103から読出し、立体視画像の表示制御を行う。立体画像の表示制御において、立体視表示制御部29は、表示装置107に読み出した視差画像の右目用の視差画像g1-1と左目用の視差画像g1-2とを交互に切り替えながら表示する。また表示装置107の表示切替タイミングと同期してシャッターメガネ115の偏光動作を切り替える信号をエミッタ114に送る。シャッターメガネ115を介して視差画像をみることにより、視差画像群g1またはg2が立体視可能となる。

CPU101は、ステップS102で設定された条件に基づいて第1視差画像群g1の原点O1を算出する(ステップS104)。CPU101は、投影方法(平行投影/中心投影)に関わらず注目領域c1内の点が立体視空間4の中央部4Aに位置するように第1視差画像群g1の原点O1を算出する。

なお、原点O1とする注目領域c1内の点は、操作者がポインティングデバイス等によって指定した3次元位置としてもよいし、CPU101が所定の条件に基づいて自動で算出したものとしてもよい。原点O1を自動で算出する場合は、CPU101は注目領域c1内に存在する点であって所定のレンダリング条件を満たす点を原点O1とする。

CPU101は、ステップS104で算出した原点O1を第1焦点位置F1として第1視差画像群g1を生成する(ステップS105)。

第1視差画像群g1の生成処理において、CPU101はまず予め設定された関心領域を描画可能なレンダリング関数を記憶装置103から取得する。そして、取得したレンダリング関数を用い、図6のステップS102で設定された条件(投影方法、視点、投影方向、投影面、及び立体視空間(投影範囲)等)に従ってレンダリング処理を行う。

図8(a)は平行投影法で視差画像g1-1、g1-2を生成する場合、図8(b)は中心投影法で視差画像g1-1、g1-2を生成する場合を示している。

中心投影法では、図8(b)に示すように、視点P1からボリュームデータに対して放射状に複数の投影線を設定し、所定のレンダリング関数を用いてレンダリング処理を行う。各投影線のレンダリング処理結果を投影面S1の各画素値として視差画像g1-1を生成する。視差画像g1-2は、2つの視点P1，P2と第1焦点位置F1との位置関係から定められる視角θだけ視差画像g1-1の投影線から傾いた投影線を設定し、上述のレンダリング関数を用いてレンダリング処理を行う。各投影線のレンダリング処理結果を投影面S1の各画素値として視差画像g1-2を生成する。

図7のステップS105で第1視差画像群g1(視差画像g1-1、g1-2)を生成すると、CPU101は、生成した視差画像g1-1、g1-2を用いて立体視表示を行う(ステップS106)。ステップS106の立体視表示において、CPU101は、表示装置107に視差画像g1-1とg1-2とを交互に表示するとともに、表示切替タイミングと同期した制御信号をエミッタ114を介してシャッターメガネ115へ送る。
シャッターメガネ115はエミッタ114から送信される制御信号に従って左目と右目の遮光タイミングを切り替える。これにより、一方の視差画像を表示中に他方の視差画像の残像が残り、立体視が実現する。

注目領域変更後の焦点位置(第2焦点位置F2)は、指定した注目領域c2ではなく立体視中心線L上の注目領域c2と同じ奥行方向位置に移動されるが、第1視差画像群g1による立体視画像と同じ範囲及び同じ方向からの立体視画像が表示されることとなる。

以上説明したように、第1の実施の形態の画像処理装置100は、立体視画像の生成に用いる注目領域、視点位置、立体視空間の範囲、レンダリング関数を含む条件の設定と、該条件に基づく第1注目領域の設定と、該第1注目領域とは異なる領域に第2注目領域の設定を行うための入力値を受け付ける入力ユニット(入力装置)109と、前記条件に基づいて第1視差画像群の第1焦点位置を算出し、画像撮影装置112から得られるボリュームデータを用いて該第1焦点位置からの第1視差画像群を生成し、該第1視差画像群の生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置の第2焦点位置を算出し、該第2焦点位置からの第2視差画像群を生成し、前記第1視差画像群と前記第2視差画像群を用いて立体視画像を生成する処理ユニット(CPU)101と、を備えている。

また、換言すれば、第1の実施の形態の画像処理装置100は、画像撮影装置112から得られるボリュームデータから立体視画像を生成するための条件を設定する条件設定部22と、前記条件設定部22により設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とする第1焦点位置算出部24と、前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成する第1視差画像群生成部25と、前記注目領域とは異なる領域に第2注目領域を設定する注目領域変更部26と、前記第1視差画像群の生成時に設定した立体視中心線上であって、前記注目領域変更部26により設定された第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とする第2焦点位置算出部27と、前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成する第2視差画像群生成部28と、前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行う立体視表示制御部29と、を備えている。

さらに、一例として第1の実施の形態の画像処理装置100を作動させる立体視表示方法は、立体視画像を生成する立体視表示方法であって、CPU101によって画像撮影装置112から得られるボリュームデータを取得するステップと、立体視画像を生成するための条件を設定するステップと、設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とするステップと、前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成するステップと、前記注目領域とは異なる領域に第2注目領域を設定するステップと、前記第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とするステップと、前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成するステップと、前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行うステップと、を含んでいる。

上記第1の実施の形態の画像処理装置100によれば、一度ある第1注目領域c1に焦点が合うように立体視画像(視差画像)を生成した後に第1注目領域c1を変更すると、変更後の第2注目領域c2そのものを焦点とするのではなく、変更後の第2注目領域c2と同じ奥行方向位置であって、第1視差画像群g1の立体視中心線L上に移動した点(第2焦点位置)がフォーカスされるように第2視差画像群g2が生成される。第2視差画像群g2は、投影方向や投影範囲等が元の画像(第1視差画像群)と同様となる。したがって元の第1注目領域c1も視野にいれつつ、別の第2注目領域c2の奥行方向位置に焦点が移動した立体視画像を観察できる。

このように、第2注目領域c2内に存在する代表点を決定すれば、この代表点と同じ奥行方向位置であって立体視中心線L上の点に第2焦点位置F2を設定するので、第2注目領域c2が広くても焦点位置を迅速に設定することができる。

次に、CPU101はステップS202で設定された条件に基づいて第1視差画像群g1の原点の候補点を算出する(ステップS204)。ステップS204において、CPU101は注目領域c1内から第1視差画像群g1の原点O1とする複数の候補点を算出する。ステップS204の視差画像原点算出処理の詳細については後述する。

図11(a)はあるCT値以上の部位の不透明度を設定するレンダリング関数r1をヒストグラムHに適用する例である。図11(a)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r1を適用すると、図11(a)の破線で示すレンダリング関数出力結果h1となる。そのレンダリング関数出力結果h1に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。CPU101は、閾値を超えるCT値を有する点を注目領域内から選択し、原点の候補点とする。

図11(b)は、特定の値付近のCT値を有する部位の不透明度を設定するためのレンダリング関数r2をヒストグラムHに適用する例である。図11(b)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r2を適用すると、図11(b)の破線で示すレンダリング関数出力結果h2となる。そのレンダリング関数出力結果h2に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。CPU101は、閾値を超えるCT値を有する点を注目領域内から選択し、原点の候補点とする。

図11(c)は、あるCT値以上の部位を描画するためのレンダリング関数r3をヒストグラムHに適用する例である。図11(c)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r3を適用すると、図11(c)の破線で示すレンダリング関数出力結果h3となる。そのレンダリング関数出力結果h3に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。CPU101は、閾値を超えるCT値を有する点を注目領域内から選択し、原点の候補点とする。

図11(d)は、ある2つのCT値範囲に属する部位を描画するためのレンダリング関数r4をヒストグラムHに適用する例である。図11(d)に示すように、ステップS301で算出したヒストグラムHにレンダリング関数r4を適用すると、図11(d)の破線で示すレンダリング関数出力結果h4となる。そのレンダリング関数出力結果h4に対して関心領域と関心領域でない領域を弁別するための閾値処理を行う。図11(d)の例では、閾値を超える点がないため原点が算出されない。

上述の視差画像原点算出処理（図10参照）により求められた視差画像群の原点の候補点は、第1視差画像群生成部25に通知され、図9のステップS205において各候補点を原点とする視差画像群がそれぞれ生成される。また、ステップS206〜ステップS208の処理により、候補点を切り替えて各候補点について求められた視差画像群による立体視画像を切り替え表示される。

次に、ステップS210について、図14を参照して説明する。

上述の焦点位置算出処理により求められた第2焦点位置の候補点は、第2視差画像群生成部28に通知される。図9のステップS211において視角が設定され、ステップS212において各候補点を焦点とする視差画像群がそれぞれ生成される。また、ステップS213〜ステップS215の処理により、候補点を切り替えて各候補点について求められた視差画像群による立体視画像を切り替え表示される。

そのため、CPU101(第1視差画像生成部25、第2視差画像生成部28)は、視差画像群を生成する際に、視角固定及び視角変更の視差画像群を両方生成し、主メモリ102または記憶装置103に保持する。操作者により視角切替操作が入力されると、視角固定の立体視画像が表示されている場合は、視角変更の視差画像群を主メモリ102または記憶装置103から読み出して表示を更新する。また、視角変更の立体視画像が表示されている場合に視角切替操作が入力されると、CPU101は視角固定の視差画像群を主メモリ102または記憶装置103から読み出して表示を更新する。

次に、CPU101はステップS502で設定された条件に基づいて第1視差画像群g1の原点を算出する(ステップS504)。ステップS504では、例えば、第2の実施の形態の視差画像原点算出処理(図10参照)と同様に、CPU101は注目領域c1内から視差画像群g1の原点とする複数の候補点を算出する。

一方、視角を変更する場合は、各焦点位置f11，f12，f13，・・・と視点P1、P2との距離に基づいて各視差画像群の視角を算出し、算出した視角でそれぞれ視差画像群g11B，g12B，g13B，・・・を生成する。

1 画像処理システム、100 画像処理装置、101 CPU、102 主メモリ、103 記憶装置、104 通信I/F、105 表示メモリ、106a、106b I/F、107 表示装置、108 マウス、109 入力装置、110 ネットワーク、111 画像データベース、112 画像撮影装置、114 エミッタ、115 シャッターメガネ、21 ボリュームデータ取得部、22 条件設定部、23 視差画像群生成部、24 第1焦点位置算出部、25 第1視差画像群生成部、26 注目領域変更部、27 第2焦点位置算出部、28 第2視差画像群生成部、29 立体視表示制御部、F1 第1焦点(視差画像原点O1)、f11、f12 候補点(焦点位置)、F2 第2焦点位置、f21、f22 候補点(焦点位置)、g1 第1視差画像群、g2 第2視差画像群、P1、P2 視点、c1、c2 注目領域、L 立体視中心線、θ 視角、ROI_1、ROI_2 関心領域

Claims

立体視画像の生成に用いる注目領域、視点位置、立体視空間の範囲、レンダリング関数を含む条件の設定と、該条件に基づく第1注目領域の設定と、該第1注目領域とは異なる領域に第2注目領域の設定を行うための入力値を受け付ける入力ユニットと、
前記条件に基づいて前記第1注目領域内の第1視差画像群の第1焦点位置を算出し、画像撮影装置から得られるボリュームデータを用いて該第1焦点位置からの第1視差画像群を生成し、該第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置の第2焦点位置を算出し、該第2焦点位置からの第2視差画像群を生成し、前記第1視差画像群と前記第2視差画像群を用いて立体視画像を生成する処理ユニットと、を備えたことを特徴とする画像処理装置。
前記入力ユニットは、前記ボリュームデータの3次元位置をさらに指定し、
前記処理ユニットは、前記3次元位置を用いて前記第2注目領域内の点を指定することを特徴とする請求項1に記載の画像処理装置。
前記処理ユニットは、前記第2注目領域から関心領域を抽出し、抽出した関心領域の少なくとも一つの代表点を算出し、前記第1視差画像群生成時に設定した立体視中心線上であって前記各代表点と同一の奥行方向位置にある各点をそれぞれ第2焦点位置の候補点とすることを特徴とする請求項1に記載の画像処理装置。
前記処理ユニットは、前記ボリュームデータのボクセル値に関するプロファイルとレンダリング条件に基づいて前記関心領域を抽出することを特徴とする請求項3に記載の画像処理装置。
前記処理ユニットは、前記関心領域のエッジ部を前記代表点とすることを特徴とする請求項3に記載の画像処理装置。
前記第2焦点位置の候補点についてそれぞれ視差画像群を生成して記憶する記憶ユニットを更に備え、
前記入力ユニットは、前記候補点を切り替える指示を入力し、
前記処理ユニットは、前記指示に応じて前記記憶ユニットから異なる候補点についての視差画像群を読出し、順次切り替えて立体視表示することを特徴とする請求項3に記載の画像処理装置。
前記処理ユニットは、前記ボリュームデータのボクセル値に関するプロファイルを生成し、生成したプロファイルとレンダリング条件に基づいて前記注目領域内に存在する少なくとも1つの点を第1視差画像群の原点の候補点として算出することを特徴とする請求項1に記載の画像処理装置。
前記第2焦点位置の候補点についてそれぞれ視差画像群を生成して記憶する記憶ユニットを更に備え、
前記入力ユニットは、前記候補点を切り替える指示を入力し、
前記処理ユニットは、前記指示に応じて前記記憶ユニットから異なる候補点についての視差画像群を読出し、順次切り替えて立体視表示することを特徴とする請求項7に記載の画像処理装置。
前記処理ユニットは、第1視差画像群生成時に設定された視角と同じ視角で前記第2視差画像群を生成することを特徴とする請求項1に記載の画像処理装置。
前記処理ユニットは、前記第2焦点位置と各視点位置との位置関係に応じた視角で第2視差画像群を生成することを特徴とする請求項1に記載の画像処理装置。
前記入力ユニットは、視角を固定して立体視表示するか、視角を変更して立体視表示するかを切り替える指示を入力し、
前記処理ユニットは、第1視差画像生成時に設定された視角と同じ視角で前記第2の視差画像群を生成するとともに前記第2焦点位置と視点との距離に応じた視角で第2視差画像群を生成して、記憶ユニットに記憶し、
前記入力ユニットからの指示に応じて前記記憶ユニットから視角設定の異なる視差画像群を読み出して、切り替え表示することを特徴とする請求項1に記載の画像処理装置。
画像撮影装置から得られるボリュームデータから立体視画像を生成するための条件を設定する条件設定部と、
前記条件設定部により設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とする第1焦点位置算出部と、
前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成する第1視差画像群生成部と、
前記注目領域とは異なる領域に第2注目領域を設定する注目領域変更部と、
前記第1視差画像群生成時に設定した立体視中心線上であって、前記注目領域変更部により設定された第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とする第2焦点位置算出部と、
前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成する第2視差画像群生成部と、
前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行う立体視表示制御部と、
を備えることを特徴とする画像処理装置。
コンピュータを用いて、立体視画像を生成する立体視表示方法であって、
処理ユニットによって画像撮影装置から得られるボリュームデータを取得するステップと、
入力ユニットによって立体視画像を生成するための条件を設定するステップと、
前記処理ユニットによって設定された条件に基づいて所定の注目領域内に視差画像群の原点を設定し、当該原点を第1焦点位置とするステップと、
前記処理ユニットによって前記第1焦点位置にフォーカスが合うように前記ボリュームデータから第1視差画像群を生成するステップと、
前記入力ユニットによって前記注目領域とは異なる領域に第2注目領域を設定するステップと、
前記処理ユニットによって前記第1視差画像群生成時に設定した立体視中心線上であって、前記第2注目領域内の点と同じ奥行方向位置にある点を第2焦点位置とするステップと、
前記処理ユニットによって前記第2焦点位置にフォーカスが合うように前記ボリュームデータから第2視差画像群を生成するステップと、
前記処理ユニットによって前記第1視差画像群または前記第2視差画像群を用いて立体視画像の表示制御を行うステップと、
を含むことを特徴とする立体視表示方法。