JP6103827B2 - 画像処理装置および立体画像観察システム - Google Patents

Description

本発明は、画像処理装置および立体画像観察システムに関するものである。

従来、左右両眼に対応する２つの視点から被写体を撮影した一対の視差画像を用いて観察者に被写体の立体画像を視認させる装置が知られている（例えば、特許文献１参照。）。特許文献１の装置は、立体画像に対して観察者が追加した文字、図形、記号などの描画物を、立体画像内の被写体と同一の奥行き方向の位置に重畳表示させる機能を備えている。

特開２０１１−１８０７７９号公報

観察者は、立体画像内において奥行き方向に異なる位置の間で注視点を移動させるときに、左右両眼の視線がなす輻輳角を変化させる必要がある。この輻輳角の調節は、観察者の眼に疲労を与える。特許文献１の場合、描画物と被写体との間で注視点を移動させる度に輻輳角の変化が生じる。したがって、特許文献１の装置は、描画物のような補助表示と被写体との間で注視点を頻繁に往復させてこれらを見比べながら被写体を観察する用途には不向きである。

本発明は、上述した事情に鑑みてなされたものであって、被写体と該被写体に重畳された補助表示の立体画像において、被写体を補助表示と見比べながら観察する場合であっても観察者の眼の疲労を低減することができる画像処理装置および立体画像観察システムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、被写体を撮影して取得された２つの視差画像から前記被写体の立体画像を再現して表示する表示部と、該表示部に表示されている立体画像を観察する観察者の注視点を検出する注視点検出手段と、該注視点検出手段によって検出された注視点における前記２つの視差画像間の視差を計算する視差計算部と、前記被写体に関する情報を含む補助表示を作成し、作成された補助表示を前記立体画像に重畳して前記表示部に表示させる補助表示作成部とを備え、該補助表示作成部が、前記視差計算部によって算出された視差に基づき、該視差と同一の視差を与えた前記補助表示を作成するとともに、前記表示部による前記立体画像の表示領域に対して前記補助表示を表示させる複数の所定の領域が候補として設定され、該複数の候補のうち前記注視点における前記視差よりも小さい視差を有する領域を選択し、選択された領域に前記補助表示を表示させる画像処理装置を提供する。

本発明によれば、補助表示作成部によって作成された補助表示が、被写体に重畳された状態で表示部に表示されるので、観察者は同一の立体画像内において被写体を補助表示と見比べながら観察することができる。

この場合に、表示部に表示されている立体画像における観察者の注視点が注視点検出手段によって検出され、２つの視差画像間の注視点における被写体の視差が視差計算部によって計算される。そして、注視点における視差と同一の視差を有する補助表示が補助表示作成部によって作成されて、被写体の立体画像に重畳して表示される。これにより、立体画像において、補助表示は、観察者が現在見ている注視点と同一の奥行き方向の位置に表示されることとなるので、被写体を補助表示と見比べながら観察する場合であって観察者の眼の疲労を低減することができる。

本発明においては、前記注視点検出手段が、前記観察者の左右両眼の視線を検出する視線検出部と、該視線検出部によって検出された２つの視線の交点を前記注視点として計算する注視点計算部とを備えていてもよい。
このようにすることで、観察者の注視点を精度よく検出することができる。

また、本発明においては、前記注視点検出手段は、前記２つの視差画像から前記観察者が観察する対象物、例えば、前記被写体である生体を処置する処置具、または、生体に存在する病変領域を検出し、検出された対象物の位置を注視点としてもよい。
このようにすることで、画像処理のみで注視点を検出することができるので、装置構成を簡素にすることができる。

また、本発明においては、前記注視点検出手段は、前記対象物が撮影された参照画像を記憶し、該参照画像と前記視差画像とを比較することにより前記視差画像から前記対象物を検出してもよい。
このようにすることで、簡易な画像処理で視差画像内から対象物を検出することができる。

また、本発明においては、前記補助表示作成部が、前記補助表示を、前記注視点検出手段によって検出された注視点とは前記視差画像の平面に沿う方向に重ならない位置に表示させてもよい。
このようにすることで、観察者が観察している領域に補助表示が干渉することを防止することができる。

また、本発明においては、前記補助表示作成部は、前記表示部による前記立体画像の表示領域に対して前記補助表示を表示させる複数の所定の領域が候補として設定され、該複数の候補のうち前記注視点における前記視差よりも小さい視差を有する領域を選択し、選択された領域に前記補助表示を表示させる。
このようにすることで、予め設定された領域の候補のうち、補助表示が被写体よりも手前に表示されるような候補が選択されるので、補助表示が被写体よりも奥に表示される、いわゆる埋め込みが発生することを防止することができる。

また、本発明においては、前記補助表示作成部は、前記複数の候補に優先順位が付されており、前記注視点における前記視差よりも小さい視差を有する領域のうち優先順位が最高位である領域を選択してもよい。
このようにすることで、補助表示をより好適な領域に表示させることができる。

また、本発明においては、前記補助表示作成部は、前記補助表示として前記被写体である生体の生体情報の測定値を示す表示を作成するとともに、前記生体情報の測定値の大きさに応じて少なくとも２つの緊急度を設定し、前記測定値が低い緊急度に該当する場合は通常の表示態様で前記補助表示を作成し、前記測定値が高い緊急度に該当する場合は前記通常の表示態様よりも強調された表示態様で前記補助表示を作成してもよい。
このようにすることで、観察者にとって重要な情報である生体情報の測定値の異常を、観察者により確実に認識させることができる。

また、本発明においては、前記補助表示作成部は、前記強調された表示態様で作成した補助表示について、該補助表示に前記注視点検出手段によって検出された注視点が一致した場合に、表示態様を前記通常の表示態様に変更してもよい。
このようにすることで、観察者が緊急度が高いことを補助表示において確認した後も強調された表示が続くことにより観察者に煩わしさを与えることを防止することができる。

また、本発明においては、前記補助表示作成部は、前記補助表示として前記被写体の特定位置に関する情報を含む局所情報表示を作成して前記表示部に表示させるとともに、前記注視点検出手段によって取得された前記注視点の軌跡に基づいて前記補助表示を平面方向に移動させてもよい。
このようにすることで、視差画像の視野が変化して立体画像内において対象物が移動したときに補助表示も対象物に追従して移動するので、いずれの補助表示が対象物と補助表示との対応関係を観察者に容易に認識させることができる。

また、本発明においては、前記補助表示作成部は、前記補助表示として、前記被写体の特定位置に関する情報を含む局所情報表示および該局所情報表示から前記特定位置へ向かう矢印を作成し、前記局所情報表示および前記矢印の基端に前記注視点における視差と同一の視差を与え、前記矢印の先端に前記特定位置における視差と同一の視差を与えてもよい。

このようにすることで、観察者が特定位置とは奥行き方向に異なる位置を観察しているときには、局所情報表示が特定位置とは奥行き方向に異なる位置に表示されることとなるが、このような状況においても奥行き方向にも延びる矢印によって局所情報表示と特定位置との対応関係を容易に観察者に認識させることができる。

また、本発明は、前記被写体を撮影して２つの視差画像を取得する撮影装置と、上記いずれかに記載の画像処理装置とを備える立体画像観察システムを提供する。

また、本発明は、前記被写体を撮影して２つの視差画像を取得する撮影装置と、上記に記載の画像処理装置とを備え、前記撮影装置が、前記視差画像として、前記被写体に照明光を照射して撮影した通常画像と、前記被写体に励起光を照射して前記対象物に設けられた蛍光体からの蛍光を撮影した蛍光画像とを取得し、前記注視点検出手段が、前記蛍光画像内の蛍光領域を前記対象物として検出する立体画像観察システムを提供する。
このようにすることで、簡易な画像処理で視差画像である蛍光画像内から対象物を検出することができる。

本発明によれば、被写体と該被写体に重畳された補助表示の立体画像において、被写体を補助表示と見比べながら観察する場合であっても観察者の眼の疲労を低減することができるという効果を奏する。

本発明の一実施形態に係る立体画像観察システムの全体構成図である。 図１の立体画像観察システムによって再現された立体画像を表示部の上方から見た図である。 第１の変形例に係る立体画像観察システムの全体構成図である。 第２の変形例に係る立体画像観察システムの全体構成図である 第３の変形例に係る立体画像観察システムによる補助表示の表示領域の候補を示す図である。 第３の変形例に係る立体画像観察システムにより再現された立体画像を表示部の上方から見た図である。 第３の変形例に係る立体画像観察システムにより再現されたもう１つの立体画像を表示部の上方から見た図である。 第４の変形例に係る立体画像観察システムにより再現された立体画像を表示部の上方から見た図である。 第５の変形例に係る立体画像観察システムにより再現された立体画像を表示部の（ａ）正面および（ｂ）上方からそれぞれ見た図である。

以下に、本発明の一実施形態に係る立体画像観察システム１００について図面を参照して説明する。
本実施形態に係る立体画像観察システム１００は、図１に示されるように、被写体を撮影する撮影装置１と、該撮影装置１により取得された被写体の２つの２次元画像から被写体の立体画像を再現して表示する画像処理装置２とを備えている。

撮影装置１は、例えば、被写体として被験者の体内の組織を観察する内視鏡（以下、内視鏡１ともいう。）であり、観察者の右眼と左眼とに対応した２つの対物レンズ（図示略）を有している。撮影装置１により２つの対物レンズを用いて撮影された２つの２次元画像は、被写体を異なる視点から観察した視差画像である。これら一対の視差画像から被写体の立体画像の再現に必要な視差画像が構成される。

なお、撮影装置１は、２つの対物レンズを用いて一対の視差画像を作成することに代えて、瞳分割方式を用いて一対の視差画像を作成してもよい。すなわち、撮影装置１は、被写体の光学像を結像する単一の対物レンズと、該対物レンズによって結像された被写体の光学像を光軸を中心にして左右に分割するプリズムなどの瞳分割手段とを備え、該瞳分割手段により分割された２つの光学像をそれぞれ撮影することにより一対の視差画像を取得してもよい。

画像処理装置２は、撮影装置１から視差画像を受け取り該視差画像を立体画像として表示する表示部３と、該表示部３を観察する観察者の左右両眼の視線を検出する視線検出部（注視点検出手段）４と、該視線検出部４によって検出された左右の視線が交差する注視点を計算する注視点計算部（注視点検出手段）５と、該注視点計算部５によって検出された注視点における視差画像の視差を計算する視差計算部６と、被写体に関する情報から補助表示を作成し該補助表示を被写体の立体画像に重畳させて表示部３に表示させる補助表示作成部７とを備えている。

視線検出部４は、表示部３と正対している観察者の左右両方の眼球の位置を検出し、検出された眼球の位置に基づいて観察者の左右の視線を算出する。眼球の位置を検出する手段としては、例えば、表示部３に設けられ観察者の左右の眼球を撮影するカメラが用いられる。カメラ以外の他の手段を用いて眼球の位置を検出してもよい。

注視点計算部５は、視線検出部４によって検出された観察者の左右の視線が交差する位置を、現在観察者が注目している注視点として計算する。
視差計算部６は、左右の視差画像間の、注視点計算部５によって算出された注視点における視差を計算する。

補助表示作成部７は、被験者の生体情報（例えば、心拍数、血圧、体温）を測定する生体情報測定装置８から測定値を受け取り、受け取った測定値を示す補助表示を作成する。そして、補助表示作成部７は、補助表示を表示した左右の補助表示用の視差画像を作成する。このときに、補助表示作成部７は、右の補助表示用の視差画像における補助表示と、左の補助表示用の視差画像における補助表示との間の視差が、視差計算部６によって算出された視差となるようにする。補助表示作成部７は、作成した左右の補助表示用の視差画像を表示部３に出力する。

なお、補助表示作成部７は、補助表示９として、被検者の生体情報の測定値を示す表示の他に、他の内容を示す表示を作成してよい。例えば、画像処理装置２は、補助表示９として、観察者によって入力される任意の文字列や、グリッド、被写体の寸法を示すスケール、他の撮影装置１によって別の角度から被写体を撮影した画像、診断の参考となる画像などを作成して表示部３に表示させてもよい。

表示部３は、撮影装置１から受け取った左右の視差画像に、補助表示作成部７から受け取った左右の補助表示用の視差画像をそれぞれ重畳し、重畳された視差画像を用いて立体画像を構築する。

次に、このように構成された立体画像観察システム１００の作用について説明する。
本実施形態に係る立体画像観察システム１００は、撮影装置としての内視鏡１によって被験者の体内の組織を観察し、取得された画像を立体画像として観察者に対して表示するものである。
まず、内視鏡１は、左右の対物レンズを用いて被験者の体内の組織を同時に撮影することにより視点の異なる一対の視差画像を取得する。取得された一対の視差画像は画像処理装置２に逐次送られ、立体画像に変換されて表示部３に表示される。

一方、被験者の生体情報が生体情報測定装置８によって測定され、その測定値が画像処理装置２に送られる。画像処理装置２は、生体情報測定装置８から受け取った各生体情報の測定値を示す補助表示を作成し、当該補助表示を体内の組織の立体画像に重畳して表示する。これにより、観察者は、被験者の体内の組織と生体情報の測定値とを同一の立体画像から確認することができる。

ここで、画像処理装置２は、図２に示されるように、現在観察者が注目している立体画像上の注視点Ｏに基づき、注視点Ｏにおける視差と同一の視差となる位置に補助表示９を表示させる。すなわち、表示部３に表示されている立体画像を観察している観察者の視線Ｌ１，Ｌ２が視線検出部４によって検出され、検出された視線Ｌ１，Ｌ２に基づいて観察者が現在注目している注視点Ｏの位置が注視点計算部５によって計算される。そして、注視点Ｏにおける左右の視差画像間の視差が視差計算部６によって計算され、算出された視差と同一の視差となる位置に補助表示９が表示された補助表示用の視差画像が補助表示作成部７によって作成される。

表示部３は、右の視差画像に右の補助表示用の視差画像を重畳し、左の視差画像に左の補助表示用の視差画像を重畳し、重畳後の左右の視差画像から立体画像を構築する。これにより、補助表示９は、現在観察者が注目している注視点Ｏと同じ奥行き方向の位置に表示されることとなる。図中の符号Ａ，Ｂは、観察者によって操作される処置具を示し、符号Ｘは体内の組織を示し、符号Ｙは病変領域を示している。

このように、本実施形態によれば、観察者の視線Ｌ１，Ｌ２から注視点Ｏが検出され、その注視点Ｏと同じ奥行き方向の位置に補助表示９が表示される。したがって、観察者は注視点Ｏから輻輳角を変化させずに視線Ｌ１，Ｌ２をずらして補助表示９を観察することができ、補助表示９を頻繁に視認しながら組織Ｘや病変領域Ｙを観察する場合であっても眼への疲労を低減することができるという利点がある。

ここで、観察者の視線Ｌ１，Ｌ２の細かな移動に対して補助表示９が逐次追従して奥行き方向に移動すると、この補助表示９の頻繁な移動が観察者に煩わしさを与え得る。そこで、観察者の注視点Ｏが一定時間にわたって略同一の位置に留まったときのみ補助表示９を注視点Ｏの移動に追従して移動させることで、補助表示９が必要以上に移動することを防ぎ、観察者に与える煩わしさが低減されるようにしてもよい。

すなわち、視差計算部６は、計算した注視点Ｏにおける視差を経時的に記憶し、注視点Ｏの移動によって視差が変化したときに計時を開始し、所定の時間が計時された場合に、移動後の注視点Ｏにおける視差を補助表示作成部７に新たに出力する。補助表示作成部７は、視差計算部６から受け取った視差を記憶し、記憶されている視差を用いて補助表示用の視差画像の作成を続ける。そして、補助表示作成部７は、視差計算部６から新たな視差を受け取った場合に、記憶している視差を新たな視差に更新し、当該新たな視差を用いて補助表示用の視差画像を作成する。これにより、観察者の注視点Ｏが一定時間にわたって略同一の位置に留まったときに、立体画像に表示される補助表示９の奥行き方向の位置が変更されるようになっている。

なお、視差計算部６は、注視点Ｏの移動後の時間を計測することに代えて、注視点Ｏにおける視差の、所定の時間窓内の平均値を計算し、算出された視差の平均値を補助表示作成部７に出力してもよい。
このようにすることで、観察者の細かな注視点Ｏの移動に対しては補助表示９の追従が鈍くなり、観察者の大まかな注視点Ｏの移動に対しては補助表示９が十分に追従する。このようにしても、補助表示９が必要以上に移動することを防ぎ、観察者に与える煩わしさを解消することができる。

次に、上述した立体画像観察システム１００の変形例について説明する。
（第１の変形例）
第１の変形例に係る立体画像観察システム２００は、画像処理装置２０１が、撮影装置１によって取得される画像内の処置具（対象物）Ａ，Ｂを観察者の注視点Ｏとして決定するように構成されている。

本変形例において画像処理装置２０１は、図３に示されるように、観察者によって操作される処置具Ａ，Ｂを視差画像内から検出し、検出した処置具Ａ，Ｂを追跡する処置具検出部（注視点検出手段）１０を備えている。処置具検出部１０は、操作者によって使用される処置具Ａ，Ｂの画像を参照画像として記憶しており、参照画像と一致または類似する領域を視差画像内から検索する。そして、処置具検出部１０は、該当した領域の重心を観察者の注視点Ｏとして計算する。注視点Ｏが検出された後の視差計算部６および補助表示作成部７による処理は、上述した通りである。

このように構成された本変形例に係る立体画像観察システム２００によれば、操作者は、処置具Ａ，Ｂを用いて病変領域Ｙを処置する際に処置具Ａ，Ｂまたは処置具Ａ，Ｂ近傍を注視するので、処置具Ａ，Ｂを注視点Ｏとして検出することによっても、観察者の注視点Ｏを十分な精度で検出することができる。また、画像処理のみで注視点Ｏが検出されるので、観察者の視線Ｌ１，Ｌ２を検出して注視点Ｏを計算する構成と比べて、装置構成を簡素にすることができる。

本変形例において、処置具検出部１０は、内視鏡１から受け取った視差画像から処置具Ａ，Ｂに設けられた識別用の物質を検出することにより、処置具Ａ，Ｂを検出しもよい。
例えば、処置具Ａ，Ｂの少なくとも一部に蛍光塗料が塗布されており、該蛍光塗料から発せられた蛍光を撮影した蛍光画像から処置具Ａ，Ｂを検出してもよい。蛍光塗料としては、組織Ｘの白色光画像に蛍光が含まれないようにするため、紫外光または赤外光によって励起されるものが好ましい。

内視鏡１は、白色光画像（通常画像）を取得するための白色光（照明光）と、蛍光画像を取得するための紫外光または赤外光とを時分割で体内の組織Ｘに照射することにより、白色光画像と蛍光画像とを時分割で取得する。または、内視鏡１は、白色光と赤外光または紫外光とを同時に体内の組織Ｘに照射し、白色光と蛍光とを波長分離フィルタなどによって分離し、白色光と蛍光とを別々に検出することにより、白色光画像と蛍光画像とを同時に取得する。

処置具検出部１０は、内視鏡１から視差画像としての蛍光画像を受け取り、蛍光画像から所定の閾値よりも大きな輝度値を有する領域を処置具Ａ，Ｂとして抽出し、抽出した領域の重心位置を注視点Ｏとして計算する。
このようにしても、装置構成を簡素にしつつ観察者の注視点Ｏを十分な精度で検出することができる。

（第２の変形例）
第２の変形例に係る立体画像観察システム３００は、画像処理装置２０２が、撮影装置１によって取得される画像内の病変領域（対象物）Ｙを観察者の注視点Ｏとして決定するように構成されている。

本変形例において、画像処理装置２は、図４に示されるように、内視鏡１から受け取った視差画像から病変領域Ｙを抽出し、抽出した病変領域Ｙの重心を注視点Ｏとして計算する病変検出部（注視点検出手段）１１を備えている。病変検出部１１は、各種の病変領域を撮影した画像を参照画像として記憶しており、視差画像内において各参照画像と一致または類似する領域を検索し、該当した領域の重心を注視点Ｏとして計算する。

病変検出部１１は、病変領域Ｙを抽出した後、抽出した病変領域Ｙについて、合致した参照画像と病変領域Ｙとのマッチングを続けることにより病変領域Ｙを追跡し、病変領域Ｙの重心位置を経時的に記憶することにより注視点Ｏの軌跡を得る。
本変形例おいて補助表示作成部７は、補助表示９として各病変領域Ｙに関する情報を作成し、当該病変領域Ｙに関する補助表示９をその病変領域Ｙの近傍に表示させ、立体画像内において病変領域Ｙの移動に補助表示９を追従させるようになっている。

すなわち、補助表示作成部７は、病変検出部１１から病変領域Ｙが発見されたことを示す信号を受け取り、当該病変領域Ｙに関する情報としての文字列を観察者に入力させることにより補助表示（局所情報表示）９を作成し、また、作成した補助表示９の表示領域を観察者に指定させる。操作者による文字列の入力や表示領域の指定は、例えば、補助表示作成部７が備えるグラフィカルユーザインタフェイス（ＧＵＩ）を用いて行われる。そして、補助表示作成部７は、病変検出部１１から注視点Ｏの軌跡を受け取り、補助表示９を注視点Ｏと同様の軌跡に沿って移動させる。これにより、立体画像において補助表示９は、病変領域Ｙに対して一定の位置関係を保ちながら移動する。

このように構成された本変形例に係る立体画像観察システム３００によれば、操作者は、立体画像に病変領域Ｙが存在する場合に病変領域Ｙを注視するので、病変領域Ｙを注視点Ｏとして検出することによっても、観察者の注視点Ｏを十分な精度で検出することができる。また、画像処理のみで注視点Ｏが検出されるので、観察者の視線Ｌ１，Ｌ２を検出して注視点Ｏを計算する構成と比べて、装置構成を簡素にすることができる。また、内視鏡１を体内で移動させて視野が変化したときに、その視野の移動に合わせて補助表示９も対応する病変領域Ｙと共に移動するので、観察者は補助表示９と病変領域Ｙとの対応関係を容易に認識することができる。

本変形例において、画像処理装置２は、補助表示９を移動した結果、不適切な位置に補助表示９が表示された場合には、その旨を知らせる警報を出力してもよい。例えば、補助表示９が、表示部３の表示範囲の外側にはみ出した場合や、他の病変領域Ｙと重なる位置に表示された場合に、立体画像に警報を表示する。警報を出力した後、補助表示作成部７は、当該補助表示９について、表示位置を観察者に再指定させ、再指定された表示位置に表示する。

（第３の変形例）
第３の変形例に係る立体画像観察システムは、補助表示作成部７が、図５に示されるように、補助表示９を表示させる領域の候補１２ａ〜１２ｈから１つを選択し、選択した候補１２ａ〜１２ｈの領域に補助表示９を表示させるように構成されている。

本変形例において補助表示作成部７は、補助表示９を表示させる領域の候補１２ａ〜１２ｈを複数記憶している。観察者は通常、観察対象の領域を立体画像の略中央に配して関するので、候補１２ａ〜１２ｈとなる領域は、好ましくは、観察者の観察対象の領域と重ならないように視差画像の周辺部の領域に設定されている。

補助表示作成部７は、複数の候補１２ａ〜１２ｈに優先順位を付して記憶している。そして、補助表示作成部７は、最初に優先順位が最も高い候補、例えば、候補１２ａを選択し、該候補１２ａの位置における左右の視差画像間の視差を計算し、計算された視差と視差計算部６によって計算された注視点Ｏにおける視差とを比較する。そして、候補１２ａの位置における視差が注視点Ｏにおける視差より小さい場合には、補助表示作成部７は、当該候補１２ａの領域に補助表示９を表示させる。

一方、候補１２ａの位置における視差が注視点Ｏにおける視差より大きい場合には、補助表示作成部７は、次点の候補、例えば、候補１２ｂを選択し、同様にして次点の候補１２ｂの位置における視差と注視点Ｏにおける視差とを比較する。以下、候補の位置における視差が注視点Ｏにおける視差以下となるような候補が見つかるまで補助表示作成部７は同じ処理を繰り返す。これにより、組織Ｘよりも手前に補助表示９が表示されるような候補１２ａ〜１２ｈが決定される。

このように構成された本変形例に係る立体画像観察システムによれば、補助表示９は、図６に示されるように、組織Ｘよりも手前に表示されることとなる。これにより、立体画像において補助表示９が組織Ｘよりも奥に表示される、いわゆる埋め込み（同図中の破線を参照。）が発生することを防止することができる。

本変形例においては、補助表示作成部７は、複数の候補１２ａ〜１２ｈのうち補助表示９を表示させる候補が、ＧＵＩなどの手段を用いて観察者によって指定されるように構成されていてもよい。この場合、観察者が、立体画像内の組織Ｘの形状から埋め込みの発生しない候補を選定する。

また、本変形例においては、補助表示作成部７が、複数の候補１２ａ〜１２ｈに代えて、補助表示９を表示する所定の領域（例えば、視差画像の周辺部または下部など）を記憶し、記憶している領域のうち、注視点Ｏにおける視差よりも視差が小さくなる位置を選定し、選定した位置に補助表示９を表示させることとしてもよい。このようにしても、複数の候補１２ａ〜１２ｈから１つを選択する場合と同様に、補助表示９の埋め込みを防止することができる。

また、本変形例においては、補助表示９を表示する所定の領域が設定されており、表示部３が所定の領域において組織Ｘが補助表示９よりも奥側に表示されるように組織Ｘの立体画像の一部を編集することで、補助表示９の埋め込みを防止してもよい。
この場合、表示部３は、補助表示９を表示する所定の領域を記憶しており、当該領域における視差が注視点Ｏにおける視差よりも大きい場合に、視差画像内の所定の領域と一致する領域に注視点Ｏにおける視差と同一の視差を与える。これにより、立体画像の一部分は、図７に示されるように、平坦化されることとなる。

（第４の変形例）
第４の変形例に係る立体画像観察システムは、補助表示作成部７が、各生体情報について、その値の大きさよって複数の緊急度が設定され、緊急度に応じて表示態様を変えるように構成されている。

本変形例において、補助表示作成部７は、生体情報測定装置８から受け取った測定値が低い緊急度に該当する場合は通常の表示態様で補助表示９を作成する。一方、補助表示作成部７は、生体情報測定装置８から受け取った測定値が高い緊急度に該当する場合は、通常の表示態様よりも強調された表示態様で補助表示９を作成する。強調された表示態様としては、例えば、色の変更、拡大表示、点滅、回転または振動などが用いられる。また、緊急度は、任意の段階に設定可能である。

このように構成された本変形例に係る立体画像観察システムによれば、心拍や血圧などの生体情報に異常が発生して緊急度が高くなった場合に、それらの生体情報の補助表示９が立体画像において強調して表示される。これにより、観察者にとって重要な情報である被験者の異常を迅速にかつ確実に観察者に認識させることができるという利点がある。

本変形例においては、補助表示作成部７は、観察者が強調された情報表示を注視したことを確認して強調された表示態様を通常の表示態様に戻すように構成されていてもよい。すなわち、補助表示作成部７は、注視点計算部５から算出された注視点Ｏの位置を受け取り、該注視点Ｏの位置が補助表示９の表示領域と一致している場合には、当該補助表示９を通常の表示態様に戻す。このようにすることで、観察者が被験者の異常を確認した後も補助表示９が不要に強調表示され続けることにより観察者に煩わしさを与えることを防ぐことができる。

また、本変形例においては、補助表示作成部７は、生体情報測定装置８から受け取った生体情報の測定値が高い緊急度に該当する場合に、その補助表示９を観察者の注視点Ｏに追従して移動させるように構成されていてもよい。
すなわち、補助表示作成部７は、生体情報測定装置８から受け取った測定値が低い緊急度に該当する場合には、所定の表示領域に補助表示９を表示する。そして、生体情報測定装置８から受け取った測定値の緊急度が高くなった場合に、注視点計算部５から算出された注視点Ｏの位置を受け取り、該注視点Ｏの位置の近傍に補助表示９を表示させる。

これにより、補助表示９は、図８に示されるように、例えば、立体画像の周辺部から、観察者が注目している立体画像の中心部へ移動する。そして、補助表示作成部７は、注視点Ｏの移動量を計算し、算出された移動量を補助表示９にも与えることにより、注視点Ｏの移動に補助表示９を追従させる。
このように、観察者にとって重要な情報を含む補助表示９を、観察者が注視している領域に強制的に割り込ませることによっても、当該補助表示９を観察者に確実に認識させることができる。

注視点Ｏに対する補助表示９の追従は、所定時間続けた後に終了してよく、前述したように観察者が補助表示９を注視したことを確認して終了してもよい。注視点Ｏに対する補助表示９の追従を終了した後は、該補助表示９を通常の表示領域に戻してもよく、消失させてもよい。補助表示９を消失させる場合は、この補助表示９を観察者により強く認識させるために、補助表示９を徐々に消失させてもよい。

（第５の変形例）
第５の変形例に係る立体画像観察システムは、補助表示作成部７が、補助表示９として、組織Ｘの特定位置に関する局所情報表示と、該局所情報表示が示している特定位置を示す矢印とを作成するように構成されている。

本変形例において、補助表示作成部７は、視差画像内に病変領域Ｙが存在する場合、その病変領域Ｙに関する文字列（局所情報表示）と、病変領域Ｙを指す矢印とを補助表示９として作成するようになっている。例えば、病変領域Ｙが腫瘍である場合、補助表示作成部７は、図９（ａ）に示されるように、「腫瘍」という文字列９ａと、該文字列９ａが示す腫瘍Ｙの位置を指す矢印９ｂとを作成する。文字列９ａは、例えば、キーボードを用いて観察者によって入力される。矢印９ｂの始点（矢印９ｂの基端）と終点（矢印９ｂの先端）の平面方向の位置は、例えば、補助表示作成部７が備えるＧＵＩを用いて観察者によって指定される。

ここで、補助表示作成部７は、矢印９ｂの始点には文字列９ａと同一の視差を与え、矢印９ｂの終点には特定位置である腫瘍Ｙと同一の視差を与える。そして、補助表示作成部７は、図９（ｂ）に示されるように、始点から基端に向かって視差が漸次変化するような矢印９ｂを作成するようになっている。

観察者が腫瘍Ｙを注目しているときは、立体画像において文字列９ａが腫瘍Ｙと同一の奥行き方向の位置に表示されるため、文字列９ａが腫瘍Ｙと対応していることを容易に認識することができる。しかし、観察者が腫瘍Ｙ以外の位置を注目しているときは、文字列９ａが腫瘍Ｙと異なる奥行き方向の位置に表示されることもあり、文字列９ａが腫瘍Ｙと対応していることを認識し難くなる。特に、文字列９ａが立体画像内に複数存在する場合には、文字列９ａと特定位置との対応関係を一目で把握することが困難となる。

そこで、本変形例に係る立体画像観察システムによれば、文字列９ａから特定位置に向かって奥行き方向にも延びる矢印９ｂを表示することにより、観察者は文字列９ａがいずれの特定位置と対応しているかを容易に認識することができる。

本変形例においては、矢印９ｂの始点と終点とを補助表示作成部７が設定するように構成されていてもよい。
体内の組織Ｘに存在する病変領域Ｙを識別するために、内視鏡１による特殊光観察が用いられることがある。画像処理装置２は、内視鏡１から特殊光画像を受け取って特殊光画像から病変領域を抽出する病変抽出部（図示略）を備える。

内視鏡１は、体内の組織Ｘの白色光画像を取得する通常モードと、体内の組織Ｘの特殊光画像を取得する特殊モードとを有し、図示しないスイッチが観察者によって切り替えられることにより通常モードと特殊モードとを切り替えるようになっている。特殊光画像は、例えば、蛍光画像、狭帯域光画像、赤外光画像である。これらの特殊光画像において、病変領域は周辺部とは異なる輝度値や色相として観察される。

病変抽出部は、周辺部に対して高い輝度値を有する領域、または、周辺部とは異なる色相を有する領域を病変領域として抽出する。そして、補助表示作成部７は、矢印９ｂの始点を、文字列９ａが表示される領域の端部に設定し、矢印９ｂの終点を、病変抽出部によって抽出された病変領域の中心に設定する。

このように構成された立体画像観察システムによれば、観察者は、特殊モードにより病変領域の有無を確認する。病変領域が特殊光画像に確認された場合には、その病変領域が病変抽出部によって抽出され、当該病変領域を指す矢印９ｂが補助表示作成部７によって作成され、立体画像に矢印９ｂが表示される。この矢印９ｂは、観察者が通常モードに切り替えた後も、白色光画像の立体画像に表示され続ける。このようにすることで、観察者による矢印９ｂの始点および終点を指定する操作を不要とし、観察者の負担を軽減することができる。

また、本変形例においては、補助表示作成部７が、観察者の注視点Ｏに応じて補助表示９の表示と非表示とを切り替えてもよい。
この場合、補助表示作成部７は、注視点計算部５から算出された注視点Ｏの位置を受け取り、該注視点Ｏの位置が病変領域Ｙの位置と一致している場合には、当該病変領域Ｙに関する文字列９ａおよび矢印９ｂを補助表示用の視差画像に表示する。一方、注視点Ｏの位置が病変領域Ｙの位置から外れている場合には、当該病変領域Ｙに関する文字列９ａおよび矢印９ｂを補助表示用の視差画像から消去する。

このようにすることで、特定位置に関する補助表示９のうち、現在観察者が注目している特定位置に関する補助表示９は立体画像に表示され、現在観察者が必要としていない補助表示９は立体画像から消失することとなる。これにより、立体画像が不要に複雑になることを防ぐことができる。

１ 撮影装置
２ 画像処理装置
３ 表示部
４ 視線検出部（注視点検出手段）
５ 注視点計算部（注視点検出手段）
６ 視差計算部
７ 補助表示作成部
８ 生体情報測定装置
９ 補助表示
１０ 処置具検出部（注視点検出手段）
１１ 病変検出部（注視点検出手段）
１２ａ〜１２ｈ 候補
１００ 立体画像観察システム
Ａ，Ｂ 処置具
Ｌ１，Ｌ２ 視線
Ｏ 注視点
Ｘ 組織（被写体）
Ｙ 病変領域

Claims (14)

1. 被写体を撮影して取得された２つの視差画像から前記被写体の立体画像を再現して表示する表示部と、
   該表示部に表示されている立体画像を観察する観察者の注視点を検出する注視点検出手段と、
   該注視点検出手段によって検出された注視点における前記２つの視差画像間の視差を計算する視差計算部と、
   前記被写体に関する情報を含む補助表示を作成し、作成された補助表示を前記立体画像に重畳して前記表示部に表示させる補助表示作成部とを備え、
   該補助表示作成部が、前記視差計算部によって算出された視差に基づき、該視差と同一の視差を与えた前記補助表示を作成するとともに、前記表示部による前記立体画像の表示領域に対して前記補助表示を表示させる複数の所定の領域が候補として設定され、該複数の候補のうち前記注視点における前記視差よりも小さい視差を有する領域を選択し、選択された領域に前記補助表示を表示させる画像処理装置。
2. 前記注視点検出手段が、前記観察者の左右両眼の視線を検出する視線検出部と、該視線検出部によって検出された２つの視線の交点を前記注視点として計算する注視点計算部とを備える請求項１に記載の画像処理装置。
3. 前記注視点検出手段は、前記２つの視差画像から前記観察者が観察する対象物を検出し、検出された対象物の位置を注視点とする請求項１に記載の画像処理装置。
4. 前記注視点検出手段は、前記対象物が撮影された参照画像を記憶し、該参照画像と前記視差画像とを比較することにより前記視差画像から前記対象物を検出する請求項３に記載の画像処理装置。
5. 前記対象物が、前記被写体である生体を処置する処置具である請求項３または請求項４に記載の画像処理装置。
6. 前記対象物が、前記被写体である生体に存在する病変領域である請求項３または請求項４に記載の画像処理装置。
7. 前記補助表示作成部が、前記補助表示を、前記注視点検出手段によって検出された注視点とは前記視差画像の平面に沿う方向に重ならない位置に表示させる請求項１から請求項６のいずれかに記載の画像処理装置。
8. 前記補助表示作成部は、前記複数の候補に優先順位が付されており、前記注視点における前記視差よりも小さい視差を有する領域のうち優先順位が最高位である領域を選択する請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記補助表示作成部は、前記補助表示として前記被写体である生体の生体情報の測定値を示す表示を作成するとともに、前記生体情報の測定値の大きさに応じて少なくとも２つの緊急度を設定し、前記測定値が低い緊急度に該当する場合は通常の表示態様で前記補助表示を作成し、前記測定値が高い緊急度に該当する場合は前記通常の表示態様よりも強調された表示態様で前記補助表示を作成する請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記補助表示作成部は、前記強調された表示態様で作成した補助表示について、該補助表示に前記注視点検出手段によって検出された注視点が一致した場合に、表示態様を前記通常の表示態様に変更する請求項９に記載の画像処理装置。
11. 前記注視点検出手段が、検出した注視点の位置を経時的に記憶することにより前記注視点の軌跡を取得し、
    前記補助表示作成部は、前記補助表示として前記被写体の特定位置に関する情報を含む局所情報表示を作成して前記表示部に表示させるとともに、前記注視点検出手段によって取得された前記注視点の軌跡に基づいて前記補助表示を平面方向に移動させる請求項１から請求項１０のいずれかに記載の画像処理装置。
12. 前記補助表示作成部は、前記補助表示として、前記被写体の特定位置に関する情報を含む局所情報表示および該局所情報表示から前記特定位置へ向かう矢印を作成し、前記局所情報表示および前記矢印の基端に前記注視点における視差と同一の視差を与え、前記矢印の先端に前記特定位置における視差と同一の視差を与える請求項１から請求項１１のいずれかに記載の画像処理装置。
13. 前記被写体を撮影して２つの視差画像を取得する撮影装置と、
    請求項１から請求項１２のいずれかに記載の画像処理装置とを備える立体画像観察システム。
14. 前記被写体を撮影して２つの視差画像を取得する撮影装置と、
    請求項３に記載の画像処理装置とを備え、
    前記撮影装置が、前記視差画像として、前記被写体に照明光を照射して撮影した通常画像と、前記被写体に励起光を照射して前記対象物に設けられた蛍光体からの蛍光を撮影した蛍光画像とを取得し、
    前記注視点検出手段が、前記蛍光画像内の蛍光領域を前記対象物として検出する立体画像観察システム。

Images