JP4882489B2

JP4882489B2 - 立体画像表示装置

Info

Publication number: JP4882489B2
Application number: JP2006126894A
Authority: JP
Inventors: 康宏代工
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-04-28
Filing date: 2006-04-28
Publication date: 2012-02-22
Anticipated expiration: 2026-04-28
Also published as: JP2007298764A

Description

この発明は、被写体を撮像し、その立体画像を表示する表示装置に関する。

立体画像を表示する表示装置として、左眼用と右眼用の２つの撮像系を有し、被写体を、前記２つの撮像系により左右にずれた２つの方向から撮像する撮像手段と、左眼用と右眼用の画像を観察者の左眼と左眼に対して表示する表示手段とを備え、被写体を前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の画像データに対応する左眼用と右眼用の画像を前記表示手段に表示させることにより、前記観察者に前記被写体の立体画像を観察させるようにしたものがある（特許文献１参照）。
特開２００１−２９０１０３号公報

しかし、前記立体画像表示装置が表示する被写体の立体画像は、観察者の左右の眼の視差によって立体的に見える画像であるため、その立体画像の奥行き距離を感覚的にしか把握できない。

この発明は、撮像手段により撮像した被写体の立体画像を表示し、しかも、その立体画像の奥行き距離を、前記撮像手段による前記被写体の撮像距離に対応した実際値として把握することができる立体画像表示装置を提供することを目的としたものである。

この発明の立体画像表示装置は、左眼用と右眼用の２つの撮像系を有し、被写体を、前記２つの撮像系により視差を持った２つの画像を撮像する撮像手段と、観察者に立体画像を観察させるための視差を持った２つの画像を前記観察者の左眼と左眼に対して表示する表示手段と、複数の指標体を一方の方向に予め定めた間隔で並べて配置した指標体群を、前記指標体の並び方向の一端側の外方の予め定めた位置から前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の指標画像データを記憶する記憶手段を備え、被写体を前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、前記記憶手段に記憶された前記指標画像データに対応する左眼用と右眼用の指標画像とを前記表示手段に表示させる駆動手段とを備えたことを特徴とする。

この立体画像表示装置において、前記駆動手段の記憶手段に記憶された左眼用と右眼用の指標画像データは、複数の指標体を、予め定めた間隔を設けて左右２列に、各列ごとに同じ方向に予め定めた間隔で並べて配置した指標体群を、前記左右の列間の中央に対応する位置から撮像手段の２つの撮像系により撮像した画像データが好ましい。

また、前記駆動手段は、前記指標画像の表示と非表示を切替える手段を備えているのが望ましい。

この発明の立体画像表示装置は、前記駆動手段に、複数の指標体を一方の方向に予め定めた間隔で並べて配置した指標体群を、前記指標体の並び方向の一端側の外方の予め定めた位置から前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の指標画像データを予め記憶させ、被写体を前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、前記予め記憶された左眼用と右眼用の指標画像データに対応する左眼用と右眼用の指標画像とを前記表示手段に表示させるようにしたものであるため、観察者に、前記撮像手段による撮像距離に対応して奥行き距離が変化する被写体の立体画像と、前記指標体群の複数の指標体にそれぞれ対応する複数の指標体像が、前記予め定めた位置からの前記指標体群の各指標体の撮像距離にそれぞれ対応する規定された奥行き距離の位置に見える指標体群の立体画像とを観察させることができる。

そのため、この立体画像表示装置によれば、前記撮像手段により撮像した被写体の立体画像を表示し、しかも、その立体画像の奥行き距離を、前記指標体群の立体画像の各指標体像との位置関係に基づいて、前記撮像手段による前記被写体の撮像距離に対応した実際値として把握することができる。

この立体画像表示装置において、前記駆動手段の記憶手段に記憶された左眼用と右眼用の指標画像データは、複数の指標体を、予め定めた間隔を設けて左右２列に、各列ごとに同じ方向に予め定めた間隔で並べて配置した指標体群を、前記左右の列間の中央に対応する位置から撮像手段の２つの撮像系により撮像した画像データが好ましく、このようにすることにより、被写体の立体画像の左右に前記指標体群の立体画像を表示し、前記被写体の立体画像と前記指標体群の立体画像の各指標体像との位置関係を見やすくすることができる。

また、前記駆動手段は、前記指標画像の表示と非表示を切替える手段を備えているのが望ましく、このようにすることにより、前記被写体の立体画像の奥行き距離を実際値として把握する必要が無いときは、前記指標体群の立体画像を表示せず、前記被写体の立体画像だけを表示することができる。

図１はこの発明の一実施例を示す立体画像表示装置の構成図であり、この立体画像表示装置は、左眼用と右眼用の２つの撮像系を有し、被写体を、前記２つの撮像系により左右にずれた２つの方向から撮像する撮像手段１と、観察者に立体画像を観察させるための左眼用と右眼用の画像を前記観察者の左眼と左眼に対して表示する表示手段８と、被写体を前記撮像手段１の前記２つの撮像系により撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、予め記憶された左眼用と右眼用の指標画像データに対応する左眼用と右眼用の指標画像とを前記表示手段８に表示させる駆動手段９とを備えている。

この実施例の立体画像表示装置は、撮像手段１として、人体内に挿入されるフレキシブルチューブ２の先端に撮像ヘッド３を設けた内視鏡を備えたものである。以下、この撮像手段１を内視鏡という。

図２は前記内視鏡１の撮像ヘッド３の拡大斜視図であり、この撮像ヘッド３に、左眼用と右眼用の２つの撮像系４ａ，４ｂと、人体内の被写体を照明するための照明光照射部７が設けられている。

前記左眼用と右眼用の撮像系４ａ，４ｂはそれぞれ、前記撮像ヘッド３の先端面に設けられた撮像レンズ５ａ，５ｂと、前記撮像ヘッド３内に前記撮像レンズ５ａ，５ｂに対向させて配置された固体撮像素子（以下、ＣＣＤと記す）６ａ，６ｂとからなっている。

これらの撮像系４ａ，４ｂの撮像レンズ５ａ，５ｂは、同じ焦点距離を有しており、前記撮像ヘッド３の先端面の中心を挟んで隣合う部分に、それぞれの光軸を互いに平行にして設けられ、前記ＣＣＤ６ａ，６ｂは、前記撮像レンズ５ａ，５ｂを通って入射した光の結像位置に、受光面の中心を前記撮像レンズ５ａ，５ｂの光軸に一致させて設けられている。

また、前記照明光照射部７は、前記撮像ヘッド３の先端面の中心部に設けられたレンズ部材からなっている。

そして、前記フレキシブルチューブ２内には、複数本のリード線からなる電気ケーブル（いずれも図示せず）が挿通されており、前記電気ケーブルは、前記撮像ヘッド３内に導入されて前記照明光照射部７、前記ＣＣＤ６ａ，６ｂに接続されている。

また、前記電気ケーブルの各リード線の一端は、前記撮像ヘッド３内に導入されて前記ＣＣＤ６ａ，６ｂに接続され、他端は、前記駆動手段９内に導入され、この駆動手段９内に設けられた図示しないＣＣＤ駆動回路及び画像データ変換回路に接続されている。

一方、前記表示手段８は、観察者の左右の眼の視差によって立体的に見える画像を表示するものであり、その構成は図示しないが、例えば、光の透過を制御する複数の画素をマトリックス状に配列した画面領域を有する液晶表示パネルの出射側（観察側）に、前記液晶表示パネルの１列または複数列の画素からなる複数の領域のうち、１つ置きの領域からの出射光を観察者の左眼方向に出射し、他の１つ置きの領域からの出射光を前記観察者の右眼方向に出射するためのレンチキュラーレンズまたはパララックスバリアを配置するか、或いは、前記液晶表示パネルの入射側（観察側とは反対側）に、前記１つ置きの領域に向けて左眼用照明光を照射し、他の１つ置きの領域に向けて右眼用照明光を照射する面光源を配置し、前記液晶表示パネルの前記１つ置きの領域に左眼用画像を表示させ、他の１つ置きの領域に右眼用画像を表示させるようにしたモニタディスプレイ、または、前記液晶表示パネルの入射側に、前記液晶表示パネル画面領域全体に向けて左眼用照明光と右眼用照明光とを交互に照射する面光源を配置し、前記液晶表示パネルの画面全体に左眼用画像と右眼用画像とを交互に表示させるようにしたモニタディスプレイからなっている。以下、この表示手段８をモニタディスプレイという。

前記駆動手段９は、その構成は図示しないが、前記光源駆動部と、前記ＣＣＤ駆動回路及び画像データ変換回路と、前記左眼用と右眼用の指標画像データを記憶するための画像データメモリと、前記モニタディスプレイ８に、前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、前記画像データメモリに予め記憶された左眼用と右眼用の指標画像データに対応する左眼用と右眼用の指標画像とを表示させる表示駆動回路と、これらの回路の制御部とからなっている。

前記画像データ変換回路は、前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像された互い視差をもった左眼用と右眼用の画像データ、つまり左眼用撮像系４ａのＣＣＤ６ａからの左眼用画像データと、右眼用撮像系４ｂのＣＣＤ６ｂからの右眼用画像データとを、前記モニタディスプレイ８の画素数に応じた左眼用画像データと右眼用画像データとに変換する回路であり、画像データメモリには、複数の指標体を一方の方向に予め定めた間隔で並べて配置した指標体群を、前記指標体の並び方向の一端側の外方の予め定めた位置から前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像した左眼用と右眼用の指標画像データを前記画像データ変換回路により変換した画像データが記憶されている。

図３は前記指標体群の撮像例を示しており、この実施例では、矩形状のプレートからなる複数の指標体１０を、垂直に立てて、予め定めた間隔を設けて左右２列に、各列ごとに同じ方向に予め定めた間隔で並べて配置した指標体群を、前記左右の列間の中央に対応する位置から前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像し、その左眼用と右眼用の指標画像データ（変換回路により変換した画像データ）を前記画像データメモリに記憶している。

なお、図３に示した指標体群の撮像例は、左右の列にそれぞれ４つの指標体１０を同じ間隔で配置した指標体群の一端側の外方の斜め上方に、前記内視鏡１の撮像ヘッド３を、その中心線（２つの撮像系４ａ，４ｂの撮像レンズ５ａ，５ｂの光軸と平行で、これらの撮像レンズ５ａ，５ｂ間の中央を通る線）を、前記指標体群の左右の列間の中央を通り、且つ前記指標体群の一端側から他端側に向かって下向きに傾斜する方向に向けて配置し、前記指標体群をその一端側の斜め上方から撮像した例であり、この撮像例では、前記内視鏡１の撮像ヘッド３の中心線と平行な方向における前記指標体群の各列の指標体１０，１０の間隔Ｌ１と、前記指標体群の一端から前記撮像ヘッド３の先端までの距離Ｌ２とを同じに設定している。

そして、前記駆動手段９は、人体内の被写体を前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像した左眼用と右眼用の被写体画像データ（変換回路により変換した画像データ）に対応する左眼用と右眼用の被写体画像をリアルタイムで前記モニタディスプレイ８に表示させるとともに、前記予め記憶された左眼用と右眼用の指標画像データに対応する左眼用と右眼用の指標画像を前記モニタディスプレイ８に表示させるように構成されている。

なお、前記被写体画像と指標画像の表示は、交互表示でも同時表示でもよく、交互表示の場合は、前記駆動手段９を、前記モニタディスプレイ８に前記被写体画像データと指標画像データとを交互に供給するように構成し、同時表示の場合は、前記駆動手段９を、前記モニタディスプレイ８に前記被写体画像データと指標画像データとを合成した画像データを供給するように構成する。

また、前記駆動手段９は、前記指標画像の表示と非表示を切替える手段を備えており、キー操作等により指標画像表示が選択されたときに、前記左眼用と右眼用の被写体画像と前記左眼用と右眼用の指標画像とをモニタディスプレイ８に表示させ、指標画像非表示が選択されたときに、前記左眼用と右眼用の被写体画像だけを前記モニタディスプレイ８に表示させるように構成されている。

この立体画像表示装置は、前記駆動手段９に、複数の指標体１０を一方の方向に予め定めた間隔で並べて配置した指標体群を、前記指標体１０の並び方向の一端側の外方の予め定めた位置から前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像した左眼用と右眼用の指標画像データを予め記憶手段に記憶させ、人体内の被写体を前記内視鏡１の前記２つの撮像系４ａ，４ｂにより撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、前記予め記憶された左眼用と右眼用の指標画像データに対応する左眼用と右眼用の指標画像とを前記モニタディスプレイ８に表示させるようにしたものであるため、観察者に、前記内視鏡１による撮像距離に対応して奥行き距離が変化する被写体の立体画像と、前記指標体群の複数の指標体１０にそれぞれ対応する複数の指標体像が、前記予め定めた位置からの前記指標体群の各指標体１０の撮像距離にそれぞれ対応する規定された奥行き距離の位置に見える指標体群の立体画像とを観察させることができる。

すなわち、図４は、前記内視鏡１による被写体の撮像例を示し、図５は、前記モニタディスプレイ８に、前記内視鏡１により撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、前記予め記憶された左眼用と右眼用の指標画像データに対応する左眼用と右眼用の指標画像とを表示させたときに観察される前記被写体の立体画像と前記指標体群の立体画像を示している。

図４のように、例えば胃壁に生じた異常部等の被写体１１を前記内視鏡１の２つの撮像系４ａ，４ｂにより撮像すると、その撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像が前記モニタディスプレイ８にリアルタイムで表示され、図５に示したような被写体の立体画像１１ａが観察される。

この被写体の立体画像１１ａは、前記モニタディスプレイ８の表示面を基準として、前記内視鏡１による撮像距離（内視鏡１の撮像ヘッド３から被写体１１までの距離）Ｌｘに対応する奥行き距離の位置に見える画像であり、前記撮像距離Ｌｘが大きいときは遠くに見え、前記撮像距離Ｌｘが小さくなるのにともなって近くに見える。

一方、前記モニタディスプレイ８に前記左眼用と右眼用の指標画像を表示させることにより観察される指標体群の立体画像は、前記指標体群の複数の指標体１０にそれぞれ対応する複数の指標体像１０ａが、前記モニタディスプレイ８の表示面を基準として、前記予め定めた位置からの前記指標体群の各指標体１０の撮像距離（内視鏡１の撮像ヘッド３から各指標体１０までの距離）にそれぞれ対応する規定された奥行き距離の位置に見える画像である。

そのため、この立体画像表示装置によれば、前記内視鏡１により撮像した被写体１１の立体画像１１ａを表示し、しかも、その立体画像１１ａの奥行き距離を、前記指標体群の立体画像の各指標体像１０ａとの位置関係に基づいて、前記内視鏡１による前記被写体１１の実際の撮像距離Ｌｘに対応した実際値として把握することができる。

例えば、図３のように左右の列にそれぞれ４枚の指標体１０を配置し、各列の指標体１０，１０の間隔Ｌ１をそれぞれ１０ｍｍに設定した指標体群を、その一端側の外方の斜め上方から前記内視鏡１により、前記指標体群の一端から前記撮像ヘッド３の先端までの距離Ｌ２を前記指標体１０，１０の間隔Ｌ１と同じ１０ｍｍに設定して撮像した左眼用と右眼用の指標画像データを前記駆動手段９の記憶手段に記憶させた場合、前記指標体群の立体画像は、最も近くに見える１番目の指標体像１０ａの奥行き距離が１０ｍｍ、２番目の指標体像１０ａの奥行き距離が２０ｍｍ、３番目の指標体像１０ａの奥行き距離が３０ｍｍ、最も遠くに見える４番目の指標体像１０ａの奥行き距離が４０ｍｍの画像である。

なお、この指標体群の立体画像の各指標体像１０ａの奥行き距離は、例えば前記指標体群の各指標体１０にそれぞれの撮像距離を印刷することにより、前記各指標体像１０ａ上に表示することができる。

したがって、前記指標体群の立体画像の各指標体像１０ａのうちの例えば３番目の指標体像１０ａを横方向に延長した位置、つまり３番目の指標体像１０ａと同じ奥行き位置に被写体の立体画像１１ａが見えるときの前記被写体の立体画像１１ａの奥行き距離は約３０ｍｍであり、また、例えば２番面目と３番目の指標体像１０ａ，１０ａの間の奥行き位置に被写体の立体画像１１ａが見えるときの前記被写体の立体画像１１ａの奥行き距離は約２５ｍｍである。

このように、前記立体画像表示装置によれば、撮像した被写体の立体画像１１ａの奥行き距離を、前記内視鏡１による前記被写体１１の実際の撮像距離Ｌｘに対応した実数値として把握することができるため、内視鏡１による撮像画像を見ながら患部の試料採取や治療を行なう内視鏡治療を、精度良く、しかも能率的に行なうことができる。

さらに、前記立体画像表示装置は、複数の指標体１０を予め定めた間隔を設けて左右２列に、各列ごとに同じ方向に予め定めた間隔で並べて配置した指標体群を、前記左右の列間の中央に対応する位置から前記撮像手段の２つの撮像系により撮像した左眼用と右眼用の指標画像データを前記駆動手段９の記憶手段に記憶させているため、図５のように、被写体の立体画像１１ａの左右に前記指標体群の立体画像を表示し、前記被写体の立体画像１１ａと前記指標体群の立体画像の各指標体像１０ａとの位置関係を見やすくすることができる。

また、前記立体画像表示装置は、前記駆動手段９に、前記指標画像の表示と非表示を切替える手段を備えさせているため、前記被写体の立体画像１１ａの奥行き距離を実際値として把握する必要が無いときは、前記指標体群の立体画像を表示せず、前記被写体の立体画像９ａだけを表示することができる。

なお、上記実施例では、左右の列にそれぞれ４つの指標体１０を配置した指標体群を内視鏡１により撮像した左眼用と右眼用の指標画像データを駆動手段９の記憶手段に記憶させているが、前記指標体群の各列の指標体数及び各列の指標体の間隔は任意に設定すればよく、前記各列の指標体数を多くするほど、立体画像１１ａの奥行き距離を広範囲にわたって実際値として把握することができ、また、各列の指標体の間隔を小さくするほど、立体画像１１ａの奥行き距離を精度の高い実際値として把握することができる。

また、観察者に立体画像を観察させるための左眼用と右眼用の画像を前記観察者の左眼と左眼に対して表示する表示手段は、上記実施例のモニタディスプレイ８に限らず、液晶表示パネルから、互いに直交する直線偏光からなる左眼用の画像光と右眼用の画像光とを出射させ、互いに直交する方向に透過軸を有する左眼用と右眼用の偏光板を備えた眼鏡により観察者に立体画像を観察させるようにしたものでもよい。

さらに、この発明は、内視鏡により被写体を撮像する内視画像表示装置に限らず、例えば、工場の自動化ラインを、左眼用と右眼用の２つの撮像系を有するビデオカメラ等の撮像手段により撮像し、その立体画像を表示する表示装置等にも適用することができる。

この発明の一実施例を示す、撮像手段として内視鏡を備えた立体画像表示装置の構成図。前記内視鏡の撮像ヘッドの拡大斜視図。指標体群の撮像例を示す図。前記内視鏡による被写体の撮像例を示す図。被写体の立体画像と指標体群の立体画像を示す図。

符号の説明

１…内視鏡（撮像手段）、２…フレキシブルチューブ、３…撮像ヘッド、４ａ，４ｂ…撮像系、５ａ，５ｂ…撮像レンズ、６ａ，６ｂ…ＣＣＤ（固体撮像素子）、７…照明光照射部、８…モニタディスプレイ、９…駆動手段、１０…被写体、１０ａ…被写体の立体画像、１１…指標体、１１ａ…指標体像。

Claims

左眼用と右眼用の２つの撮像系を有し、被写体を、前記２つの撮像系により視差を持った２つの画像を撮像する撮像手段と、
観察者に立体画像を観察させるための視差を持った２つの画像を前記観察者の左眼と左眼に対して表示する表示手段と、
複数の指標体を一方の方向に予め定めた間隔で並べて配置した指標体群を、前記指標体の並び方向の一端側の外方の予め定めた位置から前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の指標画像データを記憶する記憶手段を備え、被写体を前記撮像手段の前記２つの撮像系により撮像した左眼用と右眼用の被写体画像データに対応する左眼用と右眼用の被写体画像と、前記記憶手段に記憶された前記指標画像データに対応する左眼用と右眼用の指標画像とを前記表示手段に表示させる駆動手段と、
を備えたことを特徴とする立体画像表示装置。
駆動手段の記憶手段に記憶された左眼用と右眼用の指標画像データは、複数の指標体を、予め定めた間隔を設けて左右２列に、各列ごとに同じ方向に予め定めた間隔で並べて配置した指標体群を、前記左右の列間の中央に対応する位置から撮像手段の２つの撮像系により撮像した画像データであることを特徴とする請求項１に記載の立体画像表示装置。
駆動手段は、指標画像の表示と非表示を切替える手段を備えていることを特徴とする請求項１または２に記載の立体画像表示装置。