JP5549566B2

JP5549566B2 - ステレオ撮影装置

Info

Publication number: JP5549566B2
Application number: JP2010272181A
Authority: JP
Inventors: 敏行山下
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2014-07-16
Anticipated expiration: 2030-12-07
Also published as: EP2464128A3; JP2012124625A; EP2464128A2; US20120140047A1

Description

本発明はステレオ撮影装置に関するものであり、更に詳しくは、単一の撮像素子と２つの撮影光学系を用いて被写体のステレオ撮影を行う時系列型のステレオ撮影装置に関するものである。

従来の単一の撮像素子を用いた時系列型のステレオ撮影装置は、撮像面上に左右の画像を交互に形成することによって左右の画像データを取得する構成になっている。その構成によると、左右のいずれの画像も撮像面全体で取り込むことができるため、高画質のステレオ画像を得ることが可能である。ただし、撮像面上に左右の画像を交互に形成するためには、例えば、特許文献１記載のステレオ撮影装置のように、左右の光路中に設けたシャッターで各光路の光を交互に透過・遮蔽する必要がある。

特開昭６２−２０８７８９号公報

特許文献１記載のステレオ撮影装置のようにシャッターを用いると、シャッターの開閉と撮影のタイミングの同期の技術的難易度が高くなってしまう。つまり、ステレオ視は左右の画像が同時に撮像された被写体像から成ることを前提としているため、左右の撮影間（つまり、フレーム取得のインターバル中）に手ぶれ等により撮影装置が動いた場合、画面全体が移動して左画像と右画像とで位置ズレが生じてしまう。その結果、左右の画像の位置関係が視差によるものか撮影装置の動きによるものか判別できなくなって、ステレオ撮影の精度及び画質が低下することになる。

本発明はこのような状況に鑑みてなされたものであって、その目的は、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能な時系列型のステレオ撮影装置を提供することにある。

上記目的を達成するために、第１の発明のステレオ撮影装置は、左側視点の被写体像を形成する第１撮影光学系と、右側視点の被写体像を形成する第２撮影光学系と、前記被写体像が形成される撮像面を有する単一の撮像素子と、を備えた時系列型のステレオ撮影装置であって、前記第１，第２撮影光学系の両光路を合成して前記撮像面に対する入射光の光路を構成する光路合成手段と、特定の波長域の光を通す状態とそれ以外の波長域の光を通す状態との切り替えにより前記撮像面に対する入射光の波長を切り替える波長切替手段と、前記特定の波長域の光で左側視点の被写体像を形成すると同時に前記特定の波長域以外の波長域の光で右側視点の被写体像を形成することにより、第１フレームでの第１画像の形成を行い、前記特定の波長域の光で右側視点の被写体像を形成すると同時に前記特定の波長域以外の波長域の光で左側視点の被写体像を形成することにより、第２フレームでの第２画像の形成を行うように、前記波長切替手段を制御する制御手段と、前記第１画像と前記第２画像とにおける左側視点の被写体像の位置ズレ、又は前記第１画像と前記第２画像とにおける右側視点の被写体像の位置ズレから、前記第１画像と第２画像との間の移動量を検出する移動量検出手段と、を有することを特徴とする。

第２の発明のステレオ撮影装置は、上記第１の発明において、前記移動量検出手段が、前記第１画像及び第２画像の輝度の傾向から前記移動量を検出することを特徴とする。

第３の発明のステレオ撮影装置は、上記第１又は第２の発明において、前記移動量検出手段で検出した移動量を使って、前記第１，第２画像における左側視点の被写体像の統合と右側視点の被写体像の統合とを行うことにより左右のカラー画像を生成し、左右のカラー画像間でステレオ視を行うことを特徴とする。

第１の発明によれば、特定の波長域の光で左側視点の被写体像を形成すると同時に特定の波長域以外の波長域の光で右側視点の被写体像を形成することにより、第１フレームでの第１画像の形成を行い、特定の波長域の光で右側視点の被写体像を形成すると同時に特定の波長域以外の波長域の光で左側視点の被写体像を形成することにより、第２フレームでの第２画像の形成を行う構成になっているため、第１，第２フレームのいずれについても同時刻の左右の視点の被写体像を得ることができる。したがって、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影が可能である。

さらに、第１の発明によれば、第１，第２フレーム間の波長域の異なる色画像同士の相関を利用して、第１画像と第２画像とにおける左側視点の被写体像の位置ズレ、又は第１画像と第２画像とにおける右側視点の被写体像の位置ズレから、第１画像と第２画像との間の移動量を検出する構成になっているため、フレーム取得のインターバル中に生じる手ぶれ等による装置全体の移動量を検出することができる。

第２の発明によれば、第１画像及び第２画像の輝度の傾向、つまり輝度の相関（例えば、エッジ位置の比較）を用いているため、第１画像と第２画像との間の移動量の検出を容易かつ高精度に行うことができる。

第３の発明によれば、検出した移動量を使って、第１，第２画像における左側視点の被写体像の統合と右側視点の被写体像の統合とを行うことにより左右のカラー画像を生成し、左右のカラー画像間でステレオ視を行う構成になっているため、同時刻でのフルカラー画像を得て適正にステレオ視を行うことができる。

ステレオ撮影装置の第１の実施の形態を示す模式図。第１の実施の形態において第１，第２フレームで撮像される画像を示す図。ステレオ撮影装置の第２の実施の形態を示す模式図。第２の実施の形態に用いられる波長選択素子の概略構成を示す模式図。第２の実施の形態に用いられる偏光回転素子の偏光別透過率分布を示すグラフ。第２の実施の形態における画像データ処理の概略構成例を示すブロック図。第２の実施の形態における画像データの処理制御を示すフローチャート。第２の実施の形態において第１，第２フレームで撮像される画像を示す図。第２の実施の形態における左右画像のデータ生成を説明するための図。

以下、本発明に係るステレオ撮影装置等を、図面を参照しつつ説明する。なお、各実施の形態等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。

《第１の実施の形態（図１，図２）》
図１に、被写体のステレオ撮影を行う時系列型のステレオ撮影装置１０Ａを示し、図２に、第１フレームＦ１と第２フレームＦ２で撮像されるＲ（赤）・Ｇ（緑）・Ｂ（青）の左画像及び右画像を示す。ステレオ撮影装置１０Ａは、第１，第２撮影光学系ＫＬ，ＫＲと、クロスプリズム３と、撮像素子（例えば、ＣＣＤ(Charge Coupled Device)）４と、第１，第２フィルタ５Ｌ，５Ｒと、フィルタ制御部６と、画像処理部７と、を備えている。

第１撮影光学系ＫＬは、第１撮影レンズ１Ｌ，第１光路折り曲げミラー２Ｌ等で構成されており、左側視点の被写体像を形成する。第２撮影光学系ＫＲは、第２撮影レンズ１Ｒ，第２光路折り曲げミラー２Ｒ等で構成されており、右側視点の被写体像を形成する。単一の撮像素子４は、左側視点及び右側視点の被写体像が形成される撮像面４Ｓを有しており、その撮像面４Ｓ上にベイヤー（ＢＡＹＥＲ）配列のカラーフィルタを有している。クロスプリズム３は、光量を２分割するハーフミラー面を有しており、光路合成手段として、第１，第２撮影光学系ＫＬ，ＫＲの両光路を合成して撮像面４Ｓに対する入射光の光路を構成する。

第１，第２光路折り曲げミラー２Ｌ，２Ｒとクロスプリズム３との間には、第１，第２フィルタ５Ｌ，５Ｒがそれぞれ配置されている。第１，第２フィルタ５Ｌ，５Ｒは、Ｇの光を透過させるＧ透過フィルタ部ＦＧと、Ｒ・Ｂ（Ｇの補色：マゼンタＭ）の光を透過させるＭ透過フィルタ部ＦＭと、をいずれも有しており、例えばスライドしたりカラーホイールのように回転したりすることによって、Ｇ透過フィルタ部ＦＧとＭ透過フィルタ部ＦＭとを交互に光路中に位置させることにより、透過光の波長の切替を行う。つまり、第１，第２フィルタ５Ｌ，５Ｒは、波長切替手段として、波長域Ｇの光のみを通す状態と波長域Ｒ・Ｂの光のみを通す状態との切り替えにより、撮像面４Ｓに対する入射光の波長を切り替える。

ただし、第１フィルタ５Ｌと第２フィルタ５Ｒとが互いに同じ波長域の光を同時に透過させないように、フィルタ制御部６によって透過光の波長が切り替えられる。つまり、波長域Ｒ・Ｂの光で左側視点の被写体像を形成すると同時に波長域Ｇの光で右側視点の被写体像を形成することにより、第１フレームＦ１での第１画像の形成を行い、波長域Ｒ・Ｂの光で右側視点の被写体像を形成すると同時に波長域Ｇの光で左側視点の被写体像を形成することにより、第２フレームＦ２での第２画像の形成を行うように、フィルタ制御部６は第１，第２フィルタ５Ｌ，５Ｒを制御する。

その結果、第１フレームＦ１では、図２に示すように、左側視点の被写体像から成るＲの左画像ＲＬ１と、右側視点の被写体像から成るＧの右画像ＧＲ１と、左側視点の被写体像から成るＢの左画像ＢＬ１と、が撮像面４Ｓ上に形成される。第２フレームＦ２では、図２に示すように、右側視点の被写体像から成るＲの右画像ＲＲ２と、左側視点の被写体像から成るＧの左画像ＧＬ２と、右側視点の被写体像から成るＢの右画像ＢＲ２と、が撮像面４Ｓ上に形成される。したがって、第１フレームＦ１での第１画像は、左画像ＲＬ１と右画像ＧＲ１と左画像ＢＬ１とから成り、第２フレームＦ２での第２画像は、右画像ＲＲ２と左画像ＧＬ２と右画像ＢＲ２とから成る。

上記のように、特定の波長域Ｇの光で右側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で左側視点の被写体像を形成することにより、第１フレームＦ１での第１画像の形成を行い、特定の波長域Ｇの光で左側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で右側視点の被写体像を形成することにより、第２フレームＦ２での第２画像の形成を行うと、第１，第２フレームＦ１，Ｆ２のいずれについても同時刻の左右の視点の被写体像を得ることができる。逆に、特定の波長域Ｇの光で左側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で右側視点の被写体像を形成することにより、第１フレームＦ１での第１画像の形成を行い、特定の波長域Ｇの光で右側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で左側視点の被写体像を形成することにより、第２フレームＦ２での第２画像の形成を行った場合でも、同様である。

ステレオ撮影装置１０Ａが動くと、被写体像から成る画像は画面全体で動くことになるが、第１，第２フレームＦ１，Ｆ２のいずれについても、上記のように同時刻の左右の視点の被写体像を得ることができるので、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影を行うことが可能となる。したがって、フレーム取得のインターバル中に起こる画像の位置ズレがステレオ撮影の精度及び画質の低下を招くことは回避可能である。なお、撮像面４Ｓ上での左右の画像情報が光利用効率について同じになるようにするため、この実施の形態のように、一方でＧの光を射出し他方でその補色Ｍを射出するようにするのが好ましく、また、Ｇ透過フィルタ部ＦＧとＭ透過フィルタ部ＦＭとの２状態（ＧとＭ）の切替に対応する面積比（Ｒ：Ｇ：Ｂ＝１：２：１）のカラーフィルタ（ベイヤー配列等）を撮像面４Ｓ上に用いることが好ましい。

上記のように、第１，第２フレームＦ１，Ｆ２のいずれについても同時刻の左右の視点の被写体像が得られることから、移動量検出手段としての画像処理部７で、第１画像と第２画像とにおける左側視点の被写体像の位置ズレ、又は第１画像と第２画像とにおける右側視点の被写体像の位置ズレから、第１画像と第２画像との間の移動量δを検出する。その移動量δは、第１画像及び第２画像の輝度の傾向から検出可能である。撮影により得られたあるカラー画像には、その画像のＲＧＢ成分の輝度分布に相関がある。このため、第１，第２フレームＦ１，Ｆ２間で色が異なっていても、輝度分布の相関（例えば、エッジ位置の比較）を調べることにより、第１，第２フレームＦ１，Ｆ２間にステレオ撮影装置１０Ａが移動した量δを検出することができる。

例えば、図２に示すようにＲＧＢの左右の画像を第１，第２フレームＦ１，Ｆ２で取得する場合、第１フレームＦ１でのＲ・Ｂの左画像ＲＬ１，ＢＬ１と、第２フレームＦ２でのＧの左画像ＧＬ２と、で画像エッジを比較し、その差分がゼロとなる位置から移動量δを算出する。あるいは、第１フレームＦ１でのＧの右画像ＧＲ１と、第２フレームＦ２でのＲ・Ｂの右画像ＲＲ２，ＢＲ２と、で画像エッジを比較し、その差分がゼロとなる位置から移動量δを算出する。前者の場合、第２フレームＦ２のＧの左画像ＧＬ２を移動量δで補正することにより、第１フレームＦ１でのＧの左画像ＧＬ１を得ることが可能である。後者の場合、第２フレームＦ２のＲ・Ｂの右画像ＲＲ２，ＢＲ２を移動量δで補正することにより、第１フレームＦ１でのＲ・Ｂの右画像ＲＲ１，ＢＲ１を得ることが可能である。なお、画像全体の輝度の差分が最小となる位置を最小自乗法で求めることにより、移動量δを算出してもよい。また、ここでは画像処理部７での画像処理により移動量δを算出しているが、移動量検出用センサ（手ぶれ検出センサ等）を用いて移動量δを検出してもよい。

上記のように、第１，第２フレームＦ１，Ｆ２間の波長域の異なる色画像同士の相関を利用して、第１画像と第２画像とにおける左側視点の被写体像の位置ズレ、又は第１画像と第２画像とにおける右側視点の被写体像の位置ズレから、第１画像と第２画像との間の移動量δを検出すると、フレーム取得のインターバル中に生じる手ぶれ等による装置全体の移動量を検出することができる。また、第１画像及び第２画像の輝度の傾向、つまり輝度の相関を用いることによって、第１画像と第２画像との間の移動量δの検出を容易かつ高精度に行うことができる。

次に、画像処理部７で検出した移動量δを使って、第１，第２画像における左側視点の被写体像の統合と右側視点の被写体像の統合とを行うことにより左右のカラー画像を生成し、左右のカラー画像間でステレオ視（対応点探索を行って距離画像を求めること等）を行う。例えば、第２フレームＦ２のＧの左画像ＧＬ２を移動量δで補正することにより、第１フレームＦ１でのＧの左画像ＧＬ１を生成すれば、その左画像ＧＬ１と、第１フレームＦ１でのＲ・Ｂの左画像ＲＬ１，ＢＬ１と、でカラーの左画像を得ることが可能である。同様に、第２フレームＦ２のＲ・Ｂの右画像ＲＲ２，ＢＲ２を移動量δで補正することにより、第１フレームＦ１でのＲ・Ｂの右画像ＲＲ１，ＢＲ１を生成すれば、その右画像ＲＲ１，ＢＲ１と、第１フレームＦ１でのＧの右画像ＧＲ１と、でカラーの右画像を得ることが可能である。このようにして得られた同時刻でのフルカラー画像により、適正にステレオ視を行うことが可能となる。

《第２の実施の形態（図３〜図９）》
図３に、被写体のステレオ撮影を行う時系列型のステレオ撮影装置１０Ｂを示し、図６に、ステレオ撮影装置１０Ｂの画像データ処理の概略構成例を示す。ステレオ撮影装置１０Ｂは、第１，第２撮影光学系ＫＬ，ＫＲと、クロスプリズム３と、撮像素子（例えば、ＣＣＤ）４と、波長選択素子９と、波長選択素子制御部１１と、画像処理部１２と、画像保存部１３と、左画像表示部１４Ｌと、右画像表示部１４Ｒと、を備えている。

第１撮影光学系ＫＬは、第１偏光板８Ｌ，第１撮影レンズ１Ｌ，第１光路折り曲げミラー２Ｌ等で構成されており、左側視点の被写体像を形成する。第２撮影光学系ＫＲは、第２偏光板８Ｒ，第２撮影レンズ１Ｒ，第２光路折り曲げミラー２Ｒ等で構成されており、右側視点の被写体像を形成する。第１偏光板８ＬはＸ軸に対して平行な偏光のみを通すように配置されており、第２偏光板８ＲはＹ軸に対して平行な偏光のみを通すように配置されている。単一の撮像素子４は、左側視点及び右側視点の被写体像が形成される撮像面４Ｓを有しており、その撮像面４Ｓ上にベイヤー（ＢＡＹＥＲ）配列のカラーフィルタを有している。クロスプリズム３は、光量を２分割するハーフミラー面を有しており、光路合成手段として、第１，第２撮影光学系ＫＬ，ＫＲの両光路を合成して撮像面４Ｓに対する入射光の光路を構成する。

クロスプリズム３と撮像素子４との間には、波長選択素子９が配置されている。波長選択素子９は、波長選択型の偏光回転素子９Ａと液晶素子９Ｂとで構成されている。波長選択素子９の概略構成を図４に示し、偏光回転素子９Ａの偏光別透過率分布を図５に示す。図５のグラフは、Ｓ偏光のみが入力されたときに出力されるＰ偏光・Ｓ偏光の光量比（％）を示している。偏光回転素子９Ａは、図５のグラフに示すように、特定の波長域のみ偏光を回転させる素子であり、液晶素子９Ｂは、偏光選択スイッチ９Ｓ（図４）をＯＮすることにより加えられた電圧によって、Ｐ偏光・Ｓ偏光のいずれかを選択して通過させる。したがって、波長選択素子９は波長切替手段として、波長域Ｇの光のみを通す状態と波長域Ｒ・Ｂの光のみを通す状態との切り替えにより、撮像面４Ｓに対する入射光の波長を切り替えることができる。そして、この波長選択素子９を用いると、フィルタを用いたときのような光量の低下が抑えられるため、光利用効率を向上させることが可能となる。

ここで、Ｓ偏光のみを射出する第２撮影光学系ＫＲに注目する。第２撮影光学系ＫＲから射出したＳ偏光は、波長選択素子９の偏光回転素子９Ａにより、Ｇ（波長５００〜６００ｎｍ）の波長域のみ偏光方向が９０度回転してＰ偏光となる（図５）。波長域ごとに偏光方向の異なる光は、液晶素子９ＢのＯＮ又はＯＦＦの状態により、波長域Ｇの光のみが撮像素子４に到達するか、あるいは波長域Ｒ・Ｂの光のみが撮像素子４に到達することになる。同様に考えると、もう一方の第１撮影光学系ＫＬから射出したＰ偏光は、偏光方向がＳ偏光に対して９０度回転しているため、偏光方向と波長域との対応関係が上記とは逆転することが分かる。したがって、第１，第２撮影光学系ＫＬ，ＫＲからそれぞれ射出するＰ偏光・Ｓ偏光と、波長域Ｇの光，それ以外の波長域Ｒ・Ｂの光と、の関係から、結果として、第１，第２撮影光学系ＫＬ，ＫＲのうち、いずれか一方から射出した波長域Ｇの光と他方から射出した波長域Ｒ・Ｂの光とが撮像面４Ｓ上に同時に到達して結像することになる。

図８に、第１フレームＦ１と第２フレームＦ２で撮像されるＲ・Ｇ・Ｂの左画像及び右画像を示す。例えば、波長域Ｒ・Ｂの光で右側視点の被写体像を形成すると同時に波長域Ｇの光で左側視点の被写体像を形成することにより、第１フレームＦ１での第１画像の形成を行い、波長域Ｒ・Ｂの光で左側視点の被写体像を形成すると同時に波長域Ｇの光で右側視点の被写体像を形成することにより、第２フレームＦ２での第２画像の形成を行うように、波長選択素子制御部１１は波長選択素子９を制御する。

その結果、第１フレームＦ１では、図８に示すように、右側視点の被写体像から成るＲの右画像ＲＲ１と、左側視点の被写体像から成るＧの左画像ＧＬ１と、右側視点の被写体像から成るＢの右画像ＢＲ１と、が撮像面４Ｓ上に形成される。第２フレームＦ２では、図８に示すように、左側視点の被写体像から成るＲの左画像ＲＬ２と、右側視点の被写体像から成るＧの右画像ＧＲ２と、左側視点の被写体像から成るＢの左画像ＢＬ２と、が撮像面４Ｓ上に形成される。したがって、第１フレームＦ１での第１画像は、右画像ＲＲ１と左画像ＧＬ１と右画像ＢＲ１とから成り、第２フレームＦ２での第２画像は、左画像ＲＬ２と右画像ＧＲ２と左画像ＢＬ２とから成る。

図７に画像データの処理制御フローを示し、図９に左右画像のデータ生成の様子を模式的に示す。被写体２０のステレオ撮影が開始されて（図９（Ａ））、撮像素子４から波長選択素子制御部１１（図６）にフレーム撮影タイミング通知が送られると、左画像のＧ成分と右画像のＲ・Ｇ成分が撮像面４Ｓに到達するように、波長選択素子制御部１１で波長選択素子９を制御する（図７の＃１０）。図９（Ｂ）に示すように、右画像ＲＲ１と左画像ＧＬ１と右画像ＢＲ１とから成る第１画像を第１フレームＦ１で撮影して、画像処理部１２から画像保存部１３に保持する（図７の＃２０）。次に、左画像のＲ・Ｇ成分と右画像のＧ成分が撮像面４Ｓに到達するように、波長選択素子制御部１１で波長選択素子９を制御する（図７の＃３０）。そして、図９（Ｃ）に示すように、左画像ＲＬ２と右画像ＧＲ２と左画像ＢＬ２とから成る第２画像を第２フレームＦ２で撮影して、画像処理部１２から画像保存部１３に保持する（図７の＃４０）。

上記のように、特定の波長域Ｇの光で左側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で右側視点の被写体像を形成することにより、第１フレームＦ１での第１画像の形成を行い、特定の波長域Ｇの光で右側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で左側視点の被写体像を形成することにより、第２フレームＦ２での第２画像の形成を行うと、第１，第２フレームＦ１，Ｆ２のいずれについても同時刻の左右の視点の被写体像を得ることができる。逆に、特定の波長域Ｇの光で右側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で左側視点の被写体像を形成することにより、第１フレームＦ１での第１画像の形成を行い、特定の波長域Ｇの光で左側視点の被写体像を形成すると同時に特定の波長域Ｇ以外の波長域Ｒ・Ｂの光で右側視点の被写体像を形成することにより、第２フレームＦ２での第２画像の形成を行った場合でも、同様である。

ステレオ撮影装置１０Ｂが動くと、被写体像から成る画像は画面全体で動くことになるが、第１，第２フレームＦ１，Ｆ２のいずれについても、上記のように同時刻の左右の視点の被写体像を得ることができるので、フレーム取得のインターバル中に装置全体が動いても、簡単な構成で高精度・高画質のステレオ撮影を行うことが可能となる。したがって、フレーム取得のインターバル中に起こる画像の位置ズレがステレオ撮影の精度及び画質の低下を招くことは回避可能である。なお、撮像面４Ｓ上での左右の画像情報が光利用効率について同じになるようにするため、この実施の形態のように、一方でＧの光を射出し他方でその補色Ｍを射出するようにするのが好ましく、また、波長選択素子９の２状態（ＧとＭ）の切替に対応する面積比（Ｒ：Ｇ：Ｂ＝１：２：１）のカラーフィルタ（ベイヤー配列等）を撮像面４Ｓ上に用いることが好ましい。

第１画像の左画像ＧＬ１からＧ成分のエッジを取得して、図９（Ｄ）に示すように、第１エッジ画像とする（図７の＃５０）。第２画像の左画像ＲＬ２と左画像ＢＬ２からＲ・Ｂ成分のエッジを取得して、図９（Ｅ）に示すように、それぞれのエッジ画像を重ね合わせて第２エッジ画像とする（図７の＃６０）。次に、対応点探索により第１エッジ画像と第２エッジ画像がなるべく合致する第２エッジ画像の移動量δを求める（図７の＃７０）。第１，第２エッジ画像が合致したときの第１，第２フレーム間の移動量δは、図９（Ｆ）から分かるように、第１，第２フレームＦ１，Ｆ２間でのステレオ撮影装置１０Ｂの移動により生じる画面全体の移動量である。

第１，第２フレームＦ１，Ｆ２のいずれについても同時刻の左右の視点の被写体像が得られるので、上記のように、移動量検出手段としての画像処理部１２で、第１画像と第２画像とにおける左側視点の被写体像の位置ズレ（又は、第１画像と第２画像とにおける右側視点の被写体像の位置ズレ）から、第１画像と第２画像との間の移動量δを検出することができる。その移動量δは、第１画像及び第２画像の輝度の傾向から検出可能である。撮影により得られたあるカラー画像には、その画像のＲＧＢ成分の輝度分布に相関がある。このため、第１，第２フレームＦ１，Ｆ２間で色が異なっていても、輝度分布の相関（この実施の形態では、エッジ位置の比較）を調べることにより、第１，第２フレームＦ１，Ｆ２間にステレオ撮影装置１０Ｂが移動した量δを検出することができる。

例えば、図８に示すようにＲＧＢの左右の画像を第１，第２フレームＦ１，Ｆ２で取得する場合、第１フレームＦ１でのＧの左画像ＧＬ１と、第２フレームＦ２でのＲ・Ｂの左画像ＲＬ２，ＢＬ２と、で画像エッジを比較し、その差分がゼロとなる位置から移動量δを算出する。あるいは、第１フレームＦ１でのＲ・Ｂの右画像ＲＲ１，ＢＲ１と、第２フレームＦ２でのＧの右画像ＧＲ２と、で画像エッジを比較し、その差分がゼロとなる位置から移動量δを算出してもよい。前者の場合、第２フレームＦ２のＲ・Ｂの左画像ＲＬ２，ＢＬ２を移動量δで補正することにより、第１フレームＦ１でのＲ・Ｂの左画像ＲＬ１，ＢＬ１を得ることが可能である。後者の場合、第２フレームＦ２のＧの右画像ＧＲ２を移動量δで補正することにより、第１フレームＦ１でのＧの右画像ＧＲ１を得ることが可能である。なお、画像全体の輝度の差分が最小となる位置を最小自乗法で求めることにより、移動量δを算出してもよい。また、ここでは画像処理部１２での画像処理により移動量δを算出しているが、移動量検出用センサ（手ぶれ検出センサ等）を用いて移動量δを検出してもよい。

第２画像のＲ・Ｂ成分である左画像ＲＬ２，ＢＬ２（図８）を移動量δ分だけ移動させて、第１画像のＧ成分である左画像ＧＬ１（図８）と統合し、図９（Ｇ）に示すように原画像Ｇ１Ｍ２Ｌを作成する（図７の＃８０）。同様に、第２画像のＧ成分である右画像ＧＲ２（図８）を移動量δ分だけ移動させて、第１画像のＲ・Ｂ成分である右画像ＲＲ１，ＢＲ１（図８）と統合し、図９（Ｈ）に示すように原画像Ｇ２Ｍ１Ｒを作成する（図７の＃９０）。画像処理部１２（図６）は、原画像Ｇ１Ｍ２Ｌを左画像として左画像表示部１４Ｌに送り、原画像Ｇ２Ｍ１Ｒを右画像として右画像表示部１４Ｒに送って（図７の＃１００）、処理を終了する。

上記のように、画像処理部１２で検出した移動量δを使って、第１，第２画像における左側視点の被写体像の統合と右側視点の被写体像の統合とを行うことにより左右のカラー画像を生成し、左右のカラー画像間でステレオ視（対応点探索を行って距離画像を求めること等）を行うことができる。例えば、第２フレームＦ２のＲ・Ｂの左画像ＲＬ２，ＢＬ２を移動量δで補正することにより、第１フレームＦ１でのＲ・Ｂの左画像ＲＬ１，ＢＬ１を生成すれば、その左画像ＲＬ１，ＢＬ１と、第１フレームＦ１でのＧの左画像ＧＬ１と、でカラーの右画像を得ることが可能である。同様に、第２フレームＦ２のＧの右画像ＧＲ２を移動量δで補正することにより、第１フレームＦ１でのＧの右画像ＧＲ１を生成すれば、その右画像ＧＲ１と、第１フレームＦ１でのＲ・Ｂの右画像ＲＲ１，ＢＲ１と、でカラーの左画像を得ることが可能である。このようにして得られた同時刻でのフルカラー画像により、適正にステレオ視を行うことが可能となる。

ＫＬ第１撮影光学系
ＫＲ第２撮影光学系
１Ｌ第１撮影レンズ
１Ｒ第２撮影レンズ
２Ｌ第１光路折り曲げミラー
２Ｒ第２光路折り曲げミラー
３クロスプリズム（光路合成手段）
４撮像素子
４Ｓ撮像面
５Ｌ第１フィルタ（波長切替手段）
５Ｒ第２フィルタ（波長切替手段）
ＦＧＧ透過フィルタ部
ＦＭＭ透過フィルタ部
６フィルタ制御部（制御手段）
７画像処理部（移動量検出手段）
８Ｌ第１偏光板
８Ｒ第２偏光板
９波長選択素子（波長切替手段）
９Ａ波長選択型の偏光回転素子
９Ｂ液晶素子
９Ｓ偏光選択スイッチ
１０Ａ，１０Ｂステレオ撮影装置
１１波長選択素子制御部（制御手段）
１２画像処理部（移動量検出手段）
１３画像保存部
１４Ｌ左画像表示装置
１４Ｒ右画像表示装置
２０被写体
Ｆ１第１フレーム
Ｆ２第２フレーム

Claims

左側視点の被写体像を形成する第１撮影光学系と、右側視点の被写体像を形成する第２撮影光学系と、前記被写体像が形成される撮像面を有する単一の撮像素子と、を備えた時系列型のステレオ撮影装置であって、
前記第１，第２撮影光学系の両光路を合成して前記撮像面に対する入射光の光路を構成する光路合成手段と、
特定の波長域の光を通す状態とそれ以外の波長域の光を通す状態との切り替えにより前記撮像面に対する入射光の波長を切り替える波長切替手段と、
前記特定の波長域の光で左側視点の被写体像を形成すると同時に前記特定の波長域以外の波長域の光で右側視点の被写体像を形成することにより、第１フレームでの第１画像の形成を行い、前記特定の波長域の光で右側視点の被写体像を形成すると同時に前記特定の波長域以外の波長域の光で左側視点の被写体像を形成することにより、第２フレームでの第２画像の形成を行うように、前記波長切替手段を制御する制御手段と、
前記第１画像と前記第２画像とにおける左側視点の被写体像の位置ズレ、又は前記第１画像と前記第２画像とにおける右側視点の被写体像の位置ズレから、前記第１画像と第２画像との間の移動量を検出する移動量検出手段と、
を有することを特徴とするステレオ撮影装置。
前記移動量検出手段が、前記第１画像及び第２画像の輝度の傾向から前記移動量を検出することを特徴とする請求項１記載のステレオ撮影装置。
前記移動量検出手段で検出した移動量を使って、前記第１，第２画像における左側視点の被写体像の統合と右側視点の被写体像の統合とを行うことにより左右のカラー画像を生成し、左右のカラー画像間でステレオ視を行うことを特徴とする請求項１又は２記載のステレオ撮影装置。