以下、添付図面に従って本発明に係る撮像素子一体型レンズ交換式デジタルカメラを実施するための最良の形態について詳細に説明する。
図1は、複眼デジタルカメラ1の電気的構成を示すブロック図である。複眼デジタルカメラ1は、単視点画像(2次元画像)と、多視点画像(3次元画像)とが撮影可能であり、また、動画、静止画、音声の記録再生が可能である。また、動画、静止画どちらにおいても、単視点画像のみでなく、多視点画像の撮影も可能である。
複眼デジタルカメラ1には、主として、第1撮像系2aおよび第2撮像系2bの2個の撮像系と、ユーザーがこの複眼デジタルカメラ1を使用するときに種々の操作を行うための操作部3と、操作の手助けを行うための操作表示LCD4と、レリーズスイッチ5a、5bと、画像表示LCD6a、6bとが設けられている。
第1撮像系2aおよび第2撮像系2bは、そのレンズ光軸L1、L2が平行となるように、あるいは所定角度をなすように並設されている。
第1撮像系2aは、レンズ光軸L1に沿って配列された第1ズームレンズ11a、第1絞り12a、第1フォーカスレンズ13a、および第1イメージセンサ14aによって構成されている。第1絞り12aには絞り制御部16aが接続されており、また、第1イメージセンサ14aにはタイミングジェネレータ(TG)18aが接続されている。第1絞り12a、第1フォーカスレンズ13aの動作は測光・測距CPU19aによって制御される。TG18aの動作はメインCPU10によって制御される。
第1ズームレンズ11aは、操作部3からのズーム操作に応じて、レンズ光軸L1に沿ってNEAR側(繰り出し側)、あるいはINF側(繰り込み側)に移動し、ズーム倍率を変化させる。この移動は図示しないモータで駆動される。
第1絞り12aは、AE(Auto Exposure)動作時に開口値(絞り値)を変化させて光束を制限し、露出調整を行う。
第1フォーカスレンズ13aは、AF(Auto Focus)動作時にレンズ光軸L1に沿ってNEAR側、あるいはINF側に移動されて合焦位置を変え、ピント調整を行う。この移動は図示しないモータで駆動される。静止画用レリーズスイッチ5aの半押し状態が検出されたとき、メインCPU10は第1イメージセンサ14aから測距データを得る。メインCPU10は得られた測距データに基づいて、ピント、絞りなどの調整を行う。
第1イメージセンサ14aは、CCD型やCMOS型のイメージセンサであり、第1ズームレンズ11a、第1絞り12a、および第1フォーカスレンズ13aによって結像された被写体光を受光し、受光素子に受光量に応じた光電荷を蓄積する。第1イメージセンサ14aの光電荷蓄積・転送動作は、TG18aによって制御され、TG18aから入力されるタイミング信号(クロックパルス)により、電子シャッター速度(光電荷蓄積時間)が決定される。第1イメージセンサ14aは、撮影モード時には、1画面分の画像信号を所定周期ごとに取得する。
第2撮像系2bは、第1撮像系2aと同一の構成であり、第2ズームレンズ11b、第2絞り12b、第2フォーカスレンズ13b、およびタイミングジェネレータ(TG)18bが接続された第2イメージセンサ14bによって構成されている。
第1撮像系2aと第2撮像系2bの動作はメインCPU10によって制御される。第1撮像系2aと第2撮像系2bとは、基本的に連動して動作を行うが、各々個別に動作させることも可能となっている。
第1撮像系2aと第2撮像系2bの第1イメージセンサ14aおよび第2イメージセンサ14bから出力された撮像信号は、それぞれA/D変換器30a、30bに入力される。
A/D変換器30a、30bは、入力された画像データをアナログからデジタルに変換する。A/D変換器30a、30bを通して、第1イメージセンサ14aの撮像信号は第1画像データ(右眼用画像データ)として、第2イメージセンサ14bの撮像信号は第2画像データ(左眼用画像データ)として出力される。
画像信号処理回路31a、31bは、それぞれ、階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を、A/D変換器30a、30bから入力された第1画像データおよび第2画像データに施す。
バッファメモリ32a、32bは、画像信号処理回路31a、31bで各種画像処理が施された第1画像データおよび第2画像データを一時的に格納する。バッファメモリ32a、32bに格納された第1画像データおよび第2画像データは、システムバスを介して出力される。
システムバスには、メインCPU10、EEPROM21、ワークメモリ24a、24b、バッファメモリ32a、32b、コントローラ34、YC処理部35a、35b、圧縮伸張処理回路36a、36b、メディアコントローラ37、2D/3Dモード切替フラグ設定回路50、基線長/輻輳角記憶手段51、利用者/人数検出手段52、撮影者情報登録メモリ53などが接続される。
メインCPU10は、複眼デジタルカメラ1の全体の動作を統括的に制御する。メインCPU10には、操作部3、レリーズスイッチ5a、5b、利き目設定スイッチ7、2D/3D設定スイッチ8、撮影者設定スイッチ9、基線長/輻輳角制御手段55が接続されている。
操作部3は、複眼デジタルカメラ1を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーなどで構成される。操作部3への適宜操作により、電源のオン/オフ、各種モード(撮影モード、再生モード、消去モード、編集モード等)の切り替え、ズーミングなどが行われる。
レリーズスイッチ5a、5bは2段押しのスイッチ構造となっている。撮影モード中に、レリーズスイッチ5a、5bが軽く押圧(半押し)されると、AF動作およびAE動作が行われ撮影準備処理がなされる。この状態でさらにレリーズスイッチ5a、5bが強く押圧(全押し)されると、撮影処理が行われ、1画面分の第1画像データおよび第2画像データがフレームメモリ32からメモリカード38に転送されて記録される。なお、レリーズスイッチ5aは静止画用のレリーズスイッチであり、レリーズスイッチ5bは動画用のレリーズスイッチである。
画像表示LCD6a、6bは、パララックスバリア式、あるいはレンチキュラーレンズ式の3Dモニタであり、画像撮影時には電子ビューファインダとして使用され、画像再生時には撮影によって得られた画像データの立体表示を行う。画像表示LCD6aは第1撮像系2aの出力結果を表示し、画像表示LCD6bは第2撮像系2bの出力結果を表示する。画像表示LCD6a、6bの詳細な構造は図示しないが、画像表示LCD6a、6bは、その表面にパララックスバリア表示層を備えている。画像表示LCD6a、6bは、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。
利き目設定スイッチ7は、撮影者の利き目を判定するためのスイッチである。利き目設定スイッチ7を押すと、あらかじめ設定された時間間隔で画像表示LCD6a又は画像表示LCD6bの画像出力を黒一色の画像に切り替える。所定の被写体を指標として画像表示LCD6a、6bを用いて観察すると、利き目の画像が黒一色の画像に切り替えられた場合の指標の位置は、両目で見たときの指標の位置と異なって見える。逆に、利き目でない側の画像が黒一色の画像に切り替えられた場合には、両目で見たときの指標の位置と一致して見える。両目で見たときの指標の位置と異なって見えた場合、すなわち利き目の画像が黒一色の画像に切り替えられた場合に、利き目設定スイッチ7が押されることにより、出力画像が黒一色の画像に切り替えられた側が、撮影者の利き目であると判定することができる。
2D/3D設定スイッチ8は、単視点画像を撮影する2Dモードと、多視点画像を撮影する3Dモードの切り替えを指示するためのスイッチである。
撮影者設定スイッチ9は、撮影者や、撮影者の利き目、目の間隔などの撮影者の各種情報の登録を行うためのスイッチである。撮影者の登録については、後で詳述する。
基線長/輻輳角制御手段55は、基線長/輻輳角記憶手段51に記憶された基線長及び輻輳角に基づいて、基線長/輻輳角駆動手段56a、56b及び基線長/輻輳角検出手段57a、57bを制御して、第1撮像系2a及び第2撮像系2bの基線長(第1撮像系2aと第2撮像系2bとの間隔)及び輻輳角(第1撮像系2aのレンズ光軸L1と、第2撮像系2bのレンズ光軸L2との成す角度)を調整するものである。
基線長/輻輳角駆動手段56a、56bは、基線長/輻輳角制御手段55に接続されており、基線長/輻輳角制御手段55からの指示に従って、第1撮像系2a及び第2撮像系2bを駆動するものである。
基線長/輻輳角検出手段57a、57bは、基線長/輻輳角制御手段55及び基線長/輻輳角駆動手段56a、56bに接続されており、基線長/輻輳角駆動手段56a、56bによってそれぞれ駆動された第1撮像系2a及び第2撮像系2bの基線長及び輻輳角を検出するものである。基線長/輻輳角制御手段55は、基線長/輻輳角検出手段57a、57bにおいて検出された基線長及び輻輳角に基づいて、基線長/輻輳角駆動手段56a、56bへ指示を出力する。
EEPROM21は、不揮発性メモリであり、各種制御用のプログラムや設定情報などを格納している。メインCPU10は、このプログラムや設定情報に基づいて各種処理を実行する。
ワークメモリ24a、24bは、YC処理部35a、35bで処理されたYC信号をそれぞれ格納する。
コントローラ34は、ワークメモリ24a、24bに記憶された第1画像データおよび第2画像データのYC信号をYC/RGB処理部22に読み出す。
YC/RGB処理部22は、第1画像データおよび第2画像データのYC信号を、所定方式の映像信号(例えば、NTSC方式のカラー複合映像信号)に変換した上で、画像表示LCD6a、6bでの立体表示を行うための立体画像データに合成し、表示用のLCDドライバ23に出力する。撮影モード時に電子ビューファインダとして使用される際には、YC/RGB処理部22によって合成された立体画像データが、LCDドライバ23を介して画像表示LCD6a、6bにスルー画として表示される。また、撮影によって得られた画像データの立体表示を行う場合には、YC/RGB処理部22は、メモリカード38に記録された各画像データがメディアコントローラ37によって読み出されて、圧縮伸張処理回路36a、36bによって伸張処理が行われたデータを立体画像データに変換し、その立体画像データがLCDドライバ23を介して再生画像として画像表示LCD6a、6bに表示される。
LCDドライバ23は、YC/RGB処理部22から出力されたRGB信号を画像表示LCD6a、6bに出力する。
YC処理部35a、35bは、バッファメモリ32a、32bに記憶された画像データを輝度信号(Y信号)及び色差信号(Cr,Cb 信号)に変換するとともに、ガンマ調整等の所定の処理を施す。
圧縮伸張処理回路36a、36bは、それぞれワークメモリ24a、24bに記憶された第1画像データおよび第2画像データに対して、静止画ではJPEG、動画ではMPEG2、MPEG4、H.264方式等の所定の圧縮形式に従って圧縮処理を施す。
メディアコントローラ37は、圧縮伸張処理回路36a、36bによって圧縮処理された各画像データを、I/F39経由で接続されたメモリカード38やその他の記録メディアに記録させる。
メモリカード38は、複眼デジタルカメラ1に着脱自在なxDピクチャカード(登録商標)、スマートメディア(登録商標)に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。
2D/3Dモード切替フラグ設定回路50には、2Dモードであることまたは3Dモードであることを表すフラグが設定される。
基線長/輻輳角記憶手段51は、撮影者設定スイッチ9を用いて登録された撮影者の目の間隔と等しい間隔を基線長として記憶し、また測光・測距CPU19a、19bと、基線長とに基づいて、その撮影者に適した輻輳角を算出して記憶するものである。
利用者/人数検出手段52は、第1撮像系2a又は第2撮像系2bで取得された画像に利用者が撮影されているか、また何人の利用者が撮影されているかを検出するものである。利用者やその人数の検出は、顔検出など様々な公知の技術を用いて行うことができる。
撮影者情報登録メモリ53は、撮影者設定スイッチ9を用いて登録された撮影者の各種の情報を関連付けて記憶するものである。また、撮影者の顔を撮影し、撮影者の顔と、撮影者の各種情報とを関連付けて記憶させてもよい。
また、複眼デジタルカメラ1には、電源電池68が着脱可能に設けられている。
電源電池68は、充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。電源電池68は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。電源電池68は、図示しない電池収納室に装填することにより、複眼デジタルカメラ1の各回路と電気的に接続される。
充電・発光制御部43a、43bは、電源電池68からの電力の供給を受けて、それぞれストロボ44a、44bを発光させるために、図示しない閃光発光用のコンデンサを充電し、ストロボ44a、44bの発光を制御する。
充電・発光制御部43a、43bは、レリーズスイッチ5a、5bの半押し・全押し操作信号等の各種の信号や、発光量、発光タイミングを示す信号を、メインCPU10や測光・測距CPU19a、19bから取り込んだことに応じて、ストロボ44a、44bへの電流供給制御を行い、所望の発光量が所望のタイミングで得られるように制御する。
なお、図1の複眼デジタルカメラ1においては、2系統の撮像系(第1撮像系2aおよび第2撮像系2b)を有する例を示すが、撮像系が3個以上あってもよい。また、撮像系の配置は、横一列でなくても二次元で配置されていてもよい。
また、図1の複眼デジタルカメラ1は、立体撮影のみでなく、マルチ視点や全方向の撮影も可能である。
上記のように構成された複眼デジタルカメラ1の撮影、記録動作及び再生動作について説明する。
この複眼デジタルカメラ1において、電源ボタン(図示せず)がON操作されると、メインCPU10はこれを検出し、カメラ内電源をONにし、撮影モードで撮影スタンバイ状態にする。また、2D/3D設定スイッチ8で2Dモードか3Dモードのどちらかに設定する。
この撮影スタンバイ状態では、メインCPU10は、通常、以下のようにして画像表示LCD6a、6bに動画(スルー画)を表示させる。
まず、メインCPU10は、2D/3Dモード切替フラグ設定回路50を参照し、単視点画像(2次元画像)を取得する2Dモードか、多視点画像(3次元画像)を取得する3Dモードかを検出する。2Dモードの場合は第1撮像系2aのみを駆動し、3Dモードの場合は第1撮像系2a及び第2撮像系2bを駆動する。以下、3Dモードを例に説明する。3Dモードの場合には、撮影者の各種情報が登録された撮影者の中から、撮影者の選択が行われる。
ここで、撮影者の各種情報の登録について説明する。撮影者設定スイッチ9が押されることにより、撮影者情報登録モードへ動作モードが移行される。撮影者情報登録モードにおいて、まず撮影者の名称の入力が行われる。入力は、画像表示LCD6a、6bに文字等が表示された登録画面を表示させ、十字キー等の操作部を用いて名称の入力を行うこと等によって行われる。名称入力後、利き目設定スイッチ7を用いて、撮影者の利き目が判定される。その後、画像表示LCD6a、6bに表示された登録画面等を用いて、撮影者の目の間隔が入力される。入力が終了したら、撮影者の名称、利き目、目の間隔などの情報が関連付けられて登録される。
第1ズームレンズ11a、第2ズームレンズ11b、第1フォーカスレンズ13a、第2フォーカスレンズ13bが所定位置まで繰り出され、その後第1イメージセンサ14a、第2イメージセンサ14bによってスルー画像用の撮影が行われ、画像表示LCD6a、6bにスルー画像が表示される。すなわち、第1イメージセンサ14a、第2イメージセンサ14bで連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次コントローラ34に加えられ、表示用の信号形式に変換されて、画像表示LCD6a、6bに出力される。これにより、第1イメージセンサ14a、第2イメージセンサ14bで捉えた画像が画像表示LCD6a、6bにスルー表示される。
ユーザ(撮影者)は、画像表示LCD6a、6bに表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
上記撮影スタンバイ状態時にレリーズスイッチ5a、5bが半押しされると、メインCPU10にS1ON信号が入力される。メインCPU10はこれを検知し、AE測光、AF制御を行う。AE測光時には、第1イメージセンサ14a、第2イメージセンサ14bを介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値(測光値)は、本撮影時における第1絞り12a、第2絞り12bの絞り値、及びシャッター速度の決定に使用される。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。同時に、検出された被写体輝度より、ストロボの発光が必要かどうかを判断する。ストロボ44a、44bの発光が必要と判断された場合には、ストロボ44a、44bをプリ発光させ、その反射光に基づいて本撮影時のストロボ44a、44bの発光量を決定する。3Dモードの場合には、上記以外に、基線長/輻輳角記憶手段51に記憶された撮影者毎の基線長、輻輳角の情報に基づいて、第1撮像系2aおよび第2撮像系2bの基線長及び輻輳角を調整する。なお、3Dモードでの撮影については後に詳述する。
レリーズスイッチ5a、5bが全押しされると、メインCPU10にS2ON信号が入力される。メインCPU10は、このS2ON信号に応動して、撮影、記録処理を実行する。
まず、メインCPU10は、前記測光値に基づいて決定した絞り値に基づいて絞り制御部16a、16bを介して第1絞り12a、第2絞り12bを駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように第1イメージセンサ14a、第2イメージセンサ14bでの電荷蓄積時間(いわゆる電子シャッター)を制御する。
また、メインCPU10は、バッファメモリ32a、32bに格納される第1画像データおよび第2画像データの各々からAF評価値およびAE評価値を算出する。AF評価値は、各画像データの全領域または所定領域(例えば中央部)について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差(コントラスト)を所定領域内について足し合わせたものである。AE評価値は、各画像データの全領域または所定領域(例えば中央部)について輝度値を積算することにより算出され、画像の明るさを表す。AF評価値およびAE評価値は、後述する撮影準備処理時に実行されるAF動作およびAE動作においてそれぞれ使用される。
メインCPU10は、メインCPU10が第1フォーカスレンズ13aおよび第2フォーカスレンズ13bを制御してそれぞれ所定方向に移動させながら、順次に得られる第1画像データおよび第2画像データの各々から算出されたAF評価値の最大値を求めることにより、AF動作(コントラストAF)を行う。
この際、ストロボ44a、44bを発光させる場合は、プリ発光の結果から求めたストロボ44a、44bの発光量に基づいてストロボ44a、44bを発光させる。
被写体光は、第1ズームレンズ11a、第1絞り12a、および第1フォーカスレンズ13aを介して第1イメージセンサ14aの受光面に入射する。また、第2ズームレンズ11b、第2絞り12b、および第2フォーカスレンズ13bを介して第2イメージセンサ14bの受光面に入射する。
第1イメージセンサ14a、第2イメージセンサ14bは、所定のカラーフィルタ配列(例えば、ハニカム配列、ベイヤ配列)のR、G、Bのカラーフィルタが設けられたカラーCCDで構成されており、第1イメージセンサ14a、第2イメージセンサ14bの受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、タイミングジェネレータ(TG)18aから加えられるタイミング信号に従って読み出され、電圧信号(画像信号)として第1イメージセンサ14a、第2イメージセンサ14bから順次出力され、A/D変換器30a、30bに入力される。
A/D変換器30a、30bは、CDS回路及びアナログアンプを含み、CDS回路は、CDSパルスに基づいてCCD出力信号を相関二重サンプリング処理し、アナログアンプは、メインCPU10から加えられる撮影感度設定用ゲインによってCDS回路から出力される画像信号を増幅する。A/D変換器30a、30bにおいて、それぞれアナログの画像信号からデジタルの画像信号に変換される。
A/D変換器30a、30bから出力された第1画像データおよび第2画像データは、それぞれ画像信号処理回路31a、31bで階調変換、ホワイトバランス調整、γ調整処理などの各種画像処理を施され、バッファメモリ32a、32bに一旦蓄えられる。
バッファメモリ32a、32bから読み出されたR、G、Bの画像信号は、YC処理部35a、35bにより輝度信号Yと色差信号Cr、Cb(YC信号)に変換され、Y信号は、輪郭調整回路により輪郭強調処理される。YC処理部35a、35bで処理されたYC信号は、それぞれワークメモリ24a、24bに蓄えられる。
上記のようにしてバッファメモリ32a、32bに蓄えられたYC信号は、圧縮伸張処理回路36a、36bによって圧縮され、所定のフォーマットの画像ファイルとして、I/F39を介してメモリカード38に記録される。本例の複眼デジタルカメラ1の場合、静止画の2次元画像のデータは、Exif規格に従った画像ファイルとしてメモリカード38に格納される。Exifファイルは、主画像のデータを格納する領域と、縮小画像(サムネイル画像)のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ(例えば、160×120又は80×60ピクセルなど)のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにExifファイル内に書き込まれる。また、Exifファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。動画のデータは、MPEG2、MPEG4、H.264方式等の所定の圧縮形式に従って圧縮処理が施されてメモリカード38に格納される。
メモリカード38に3次元画像の画像データを記録するときには、登録された撮影者の各種情報が画像データに添付されたタグ情報又はメモリカード38の媒体ヘッダに書き込まれる。図2は、画像データや撮影者の各種情報をメモリカード38に記録する場合のデータ構成を示す図であり、(a)は撮影者の各種情報が画像データのタグに書き込まれた場合であり、(b)は撮影者の各種情報が媒体ヘッダに書き込まれた場合である。
図2(a)に示すように、画像データは、メモリカード38の媒体ヘッダの下に、撮影された順番に従って記録される。その画像データは、最初に画像情報タグがあり、その下にサムネイルのデータがあり、最後に撮影された2枚の画像のデータが記録される。画像情報タグには、ID、ファイル名、撮影年月日時刻、2D/3D、用いられた撮像系、撮影者の各種情報などの情報が書き込まれる。なお、図2(a)において、3枚のサムネイル、すなわち第1撮像系2aで撮影された画像と、第2撮像系2bで撮影された画像と、上記2枚の画像から画像処理により作成された第1撮像系2a及び第2撮像系2bの中央から見た画像と、のサムネイルが記録されているが、サムネイルは3枚以上でもよいし、2枚以下でもよい。2枚の場合は、第1撮像系2aで撮影された画像及び第2撮像系2bで撮影された画像のサムネイルを記録するようにすればよいし、1枚の場合は利き目側の撮像系(「父」の場合は第1撮像系2a)で撮影された画像のサムネイルを記録すればよい。
画像情報タグに利き目などの撮影者の各種情報を直接書き込む場合、すなわち画像毎に撮影者の各種情報をもたせる場合には、図2(a)に示すように、画像情報タグに撮影者の名称、利き目情報が書き込まれる。媒体ヘッダに撮影者の各種情報を書き込む場合、すなわち画像全体に撮影者の各種情報をもたせる場合には、図2(b)に示すように、媒体ヘッダに撮影者の各種情報(ID、撮影者の名称、利き目、目の間隔など)が書き込まれ、更に画像情報タグに撮影者のIDが書き込まれる(図2(a)参照)。なお、画像全体に撮影者の各種情報をもたせる場合において、媒体ヘッダに撮影者の各種情報を書き込む方法を例に説明したが、これに限らず、画像データが含まれるファイルとは別に、撮影者の各種情報が書き込まれたファイルをメモリカード38に記録するようにしてもよい。
このようにしてメモリカード38に記録された画像データは、複眼デジタルカメラ1のモードを再生モードに設定することにより、画像表示LCD6a、6bに再生表示される。再生モードへの移行は、再生ボタン(図示せず)を押下することにより行われる。
再生モードが選択されると、メモリカード38に記録されている最終コマの画像ファイルがI/F39を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張処理回路36a、36bを介して非圧縮のYC信号に伸長される。
伸長されたYC信号は、バッファメモリ32a、32b(又は図示しないVRAM)に保持され、コントローラ34によって表示用の信号形式に変換されて画像表示LCD6a、6bに出力される。これにより、画像表示LCD6a、6bにはメモリカード38に記録されている最終コマの画像が表示される。
その後、順コマ送りスイッチ(十字キーの右キー)が押されると、順方向にコマ送りされ、逆コマ送りスイッチ(十字キーの左キー)が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード38から読み出され、上記と同様にして画像が画像表示LCD6a、6bに再生される。なお、3次元画像の再生については、後で詳述する。
画像表示LCD6a、6bに再生表示された画像を確認しながら、必要に応じて、メモリカード38に記録された画像を消去することができる。画像の消去は、画像が画像表示LCD6a、6bに再生表示された状態でフォトモードボタンが押下されることによって行われる。
以上のように、複眼デジタルカメラ1は画像の撮影、記録及び再生を行う。上記説明は、静止画を撮影する場合について説明したが、動画の場合も同様である。動画、静止画の撮影は、個々のレリーズボタンにより制御される。また、動画、静止画のモードセレクトSWやメニューにより、動画、静止画の切り替えを行うようにしてもよい。
<3次元画像の取得、記録>
3Dモードで3次元画像を取得、記録する処理について、図3を用いて説明する。以下の処理は、メインCPU10によって制御される。
まず、撮影モードが2Dモードか3Dモードかのどちらに設定されているかが検出され(ステップS10)、検出された撮影モードが3Dモードであるかどうかが判断される(ステップS11)。
3Dモードで無い場合(ステップS11でNO)には、2Dモードに切り替えられ(ステップS12)、撮影者の利き目側の駆動系が駆動される(ステップS13)。撮影者が「父」の場合には、利き目が右目であるため(図2(b)参照)、第1撮像系2aのみが駆動される。
3Dモードである場合(ステップS11でYES)には、3Dモードに切り替えられ(ステップS14)、撮影者の情報が取得される(ステップS15)。撮影者情報登録メモリ53に登録されている撮影者の名称の一覧を画像表示LCD6a、6bに出力し、操作部3を用いて、その名称の一覧の中から撮影者を選択すること等により、撮影者の情報を取得することができる。
ステップS15で取得された撮影者の各種情報が、撮影者情報登録メモリ53から取得され(ステップS16)、その中から利き目情報と目の間隔の情報とが取得される(ステップS17)。
そして、取得された利き目情報及び目の間隔の情報と、被写体距離とに基づいて、基線長/輻輳角記憶手段51において撮影者に適した基線長及び輻輳角が算出され(ステップS18)、基線長/輻輳角制御手段55によって、ステップS16で算出された基線長及び輻輳角となるように第1撮像系2a及び第2撮像系2bの基線長及び輻輳角が制御される(ステップS19)。なお、被写体距離は、AFの技術などの様々な公知技術を用いて測定可能なため、説明は省略する。
これにより、撮影の準備が終了され、その後、ファイルの初期化が行われ(ステップS20)、3次元画像の撮影及び記録が行われる(ステップS21)。
撮影が終了したかが判断され(ステップS22)、撮影が終了していない場合(ステップS22でNO)は、撮影後所定時間が経過したがどうかが判断される(ステップS23)。撮影後所定時間が経過していない場合(ステップS23でNO)は、再度ステップS23が行われ、撮影後所定時間が経過した場合(ステップS23でYES)は、3次元画像の撮影及び記録処理(ステップS21)へ戻る。
撮影が終了した場合(ステップS22でYES)は、ヘッダの情報が更新される(ステップS24)。ここで、ヘッダに画像データのタグ又はメモリカード38のヘッダに撮影者の各種情報が書きこまれる。
これにより、撮影者の各種情報と関連付けられた3次元画像が取得及び記録される。
このように、撮影者の各種情報を取得し、撮影者の利き目及び目の間隔の情報を取得し、撮影者に応じた基準長及び輻輳角を調整することで、利き目や目の間隔に応じて、基準点からの右用撮像系と左用撮像系の位置が調整され、利き目等に合わせた、再生時に見易い3次元画像の撮影が可能となる。
また、撮影者の利き目等の情報を、画像毎のタグのヘッダに記録するようにすれば、画像が他にコピーされても、画像再生時にその情報を使うことができる。
なお、ステップS16において、基線長及び輻輳角が、利き目情報及び目の間隔の情報と、被写体距離に基づいて算出されたが、あらかじめ基準となる被写体距離を設定しておき、利き目情報及び目の間隔のみで基線長及び輻輳角が算出されるようにしてもよい。
<3次元画像の再生の第1の実施の形態>
本発明は、2枚の2次元画像(以下、利き目で見る画像を利き目画像、利き目でない眼で見る画像を反利き目画像という)で構成された3次元画像をただ再生するだけでなく、視聴者に応じた見易い3次元画像再生を行うものである。
同じ3次元画像を再生した場合においても、画像の種類、撮影者の利き目や表示部の大きさ等により、見易さが異なる。そこで、撮影者の利き目や、表示部の種類(レンチキュラー、デュアルディスプレイ、ヘッドマウントディスプレイなど)、大きさ等の情報を用いて、3次元画像を表示部に最適な形で表示するための画像調整パラメータを算出し、算出された画像調整パラメータに基づいて、利き目画像を基準にして反利き目画像を適切な位置に移動させる調整が行われた3次元画像を再生することで、視聴者に応じた見易い3次元画像再生を行う。
以下、見やすいように調整された3次元画像を再生する処理について、図4を用いて説明する。以下の処理は、メインCPU10によって制御される。
メモリカード38に記録された画像の中から、再生したい画像が選択され(ステップS30)、その画像が3次元画像か2次元画像かが検出される(ステップS31)。検出された結果に基づいて、選択された画像が3次元画像であるかどうかが判断される(ステップS32)。
選択された画像が3次元画像で無い場合(ステップS32でNO)は、2次元画像を再生するモードに切り替えられ(ステップS33)、2次元画像の再生が行われる(ステップS34)。
選択された画像が3次元画像である場合(ステップS32でYES)には、3次元画像を再生するモードに切り替えられ(ステップS35)、3次元画像が複眼デジタルカメラ1aの画像表示LCD6a、6bで表示される設定であるか、又は複眼デジタルカメラ1aに接続された外部の画像再生装置で表示される設定であるかが判断される(ステップS36)。
ステップS36において、3次元画像が複眼デジタルカメラ1aに接続された外部の画像再生装置で表示される設定であると判断された場合には、接続された外部の画像再生装置の表示部の種類、大きさ等の画像再生装置情報が取得される(ステップS37)。画像再生装置情報は、複眼デジタルカメラ1aの画像表示LCD6a、6b又は画像再生装置の表示部などに表示された登録画面等を用いて、手動で登録してもよいし、画像再生装置に画像再生装置情報が記録されている場合には、画像再生装置が複眼デジタルカメラ1aに接続された場合に、画像再生装置情報を自動的に取得するようにしてもよい。
その後、画像再生装置で3次元画像を視聴する視聴者の利き目の情報が取得される(ステップS38)。視聴者の利き目の情報は、視聴者が複眼デジタルカメラ1aに登録されている撮影者であれば、撮影者情報登録メモリ53に記録されている撮影者の各種情報のなかから所望の撮影者の情報を取得すればよいし、視聴者が複眼デジタルカメラ1aに登録されていない場合には、撮影者の各種情報を登録する場合と同様の方法を用いて、視聴者の利き目などの各種情報を登録し、撮影者情報登録メモリ53に記録するようにすればよい。
ステップS36において、3次元画像が画像表示LCD6a、6bで表示される設定であると判断された場合には、視聴者の情報として3次元画像に関連付けられた撮影者の各種情報が取得される(ステップS39)。この場合には、画像表示LCD6a、6bの情報は既知であるため、外部の画像再生装置で表示する場合と異なり、改めて画像表示LCD6a、6bの情報を取得する必要はない。
視聴者情報が取得されたら、視聴者の利き目の情報が取得される(ステップS40)。これにより、利き目画像、反利き目画像が確定する。
反利き目画像が確定したら、3次元画像を最適な形で再生するために、利き目画像を基準としたときの、反利き目画像を移動させる量(表示ずれ量)が算出される(ステップS41)。表示ずれ量は、3次元画像を画像表示LCD6a、6bに表示させる場合には、画像表示LCD6a、6bの情報と、視聴者の利き目の情報とに基づいて算出され、3次元画像を複眼デジタルカメラ1aに接続された外部の画像再生装置に表示させる場合には、ステップS35で取得された画像再生装置情報と、視聴者の利き目の情報とに基づいて算出される。
表示ずれ量が算出されたら、算出された表示ずれ量に基づいて、反利き目画像のずれ量を調整する画像処置が行われる(ステップS42)。反利き目画像を移動させる画像処理は、公知の様々な画像処理技術を用いて行うことができる。
調整された3次元画像が画像表示LCD6a、6b又は複眼デジタルカメラ1aに接続された外部の画像再生装置に出力されることにより、3次元画像の再生が行われ(ステップS43)、画像再生が終了したかが判断される(ステップS44)。
画像再生が終了していない場合(ステップS44でNO)は、再生画像を選択するステップ(ステップS30)へ戻り、画像再生が終了した場合(ステップS44でYES)は、処理が終了される。すなわち、静止画を再生する場合には、1枚の画像の処理のみを行えばよいので、ステップS44では必ずYESとなるが、動画を再生する場合には、複数枚の画像を連続して再生する必要があるため、動画を構成する画像全ての処理が終わっていない場合は、ステップS44でNOとなりステップS30〜S43が繰り返し行われ、動画を構成する最後の画像の処理が終了した場合には、ステップS44でYESとなり、処理が終了される。
このように、視聴者の利き目、画像再生装置の種類、大きさなどの条件に合わせて、最適な再生を行うことにより、見易い画像の再生が可能になる。
なお、本実施の形態では、撮影者の各種情報が関連付けられた3次元画像を再生する場合を例に説明したが、3次元画像に撮影者の各種情報が関連付けられていない画像を用いて再生することもできる。この場合には、ステップS39において、撮影者の各種情報の代わりに、ステップS38のような方法で視聴者情報を取得するようにすればよい。
また、本実施の形態では、3次元画像を調製する画像表示パラメータとして表示ずれ量を算出したが、画像表示パラメータは、平行移動方向の表示ずれ量のみでなく、画像回転方向の表示ずれ量を含むようにしてもよい。
また、画像再生装置は、複眼デジタルカメラ1aに接続された場合を例に説明したが、画像再生装置に画像を記録することにより、複眼デジタルカメラ1aに接続されていない場合にも適用可能である。この場合には、3次元画像が複眼デジタルカメラ1aの画像表示LCD6a、6bで表示される設定であるか、又は複眼デジタルカメラ1aに接続された外部の画像再生装置で表示される設定であるかを判断するステップ(ステップS36)は不要である。
また、画像表示LCD6a、6bで画像を再生する場合には、再生する3次元画像を撮影した撮影者と、画像を視聴する視聴者が同じ場合を例に説明したが、撮影者と視聴者が異なる場合にも適用可能である。この場合には、ステップS39において、撮影者の各種情報の代わりに、ステップS38のような方法で視聴者情報を取得するようにすればよい。
また、画像再生装置で画像を再生する場合に、視聴者情報の入力が無い場合には、視聴者と撮影者が同一であると判断して、3次元画像に関連付けられた撮影者の各種情報を用いて表示ずれ量の算出等の処理を行なうようにしてもよい。
<3次元画像の再生の第2の実施の形態>
3次元画像の再生の第2の実施の形態は、視聴者を撮影することにより、画像再生時に視聴者を入力することなくそれぞれの視聴者に応じた見易い3次元画像再生を行うものである。
以下、3次元画像の再生の第2の実施の形態について、図5を用いて説明する。以下の処理は、メインCPU10によって制御される。
画像再生装置の表示部の大きさ等の画像再生装置情報が取得される(ステップS50)。画像再生装置情報は、複眼デジタルカメラ1aの画像表示LCD6a、6b又は画像再生装置の表示部などに表示された登録画面等を用いて、手動で登録してもよいし、画像再生装置に画像再生装置情報が記録されている場合には、画像再生装置が複眼デジタルカメラ1aに接続された場合に、自動的に取得するようにしてもよい。
複数の視聴者を含む被写体像が取得され(ステップS51)、顔検出等の技術を用いてその被写体像から視聴者が検出される(ステップS52)。3Dモードであるため、2枚の被写体像が取得されるが、撮影者の利き目情報が取得できる場合には、利き目側の撮像径で取得された2次原画像を用いて顔検出等の検出処理を行なえばよい。撮影者の利き目情報が取得できない場合には、第1撮像系2aで取得された2次元画像を用いて顔検出等の検出処理を行なえばよい。
視聴者が検出されたら、検出された視聴者の利き目情報が取得される(ステップS53)。撮影者情報登録メモリ53に、撮影者の各種情報と共に撮影者の画像が登録されている場合には、ステップS52で検出された視聴者の顔と、予め登録された顔とを比較することにより、ステップS52で検出された視聴者が自動的に認識され、認識された視聴者の利き目情報が取得される。撮影者情報登録メモリ53に登録されている撮影者で無い場合には、撮影者の各種情報の登録と同様の方法を用いて視聴者情報を登録し、撮影者情報登録メモリ53に記録するようにすればよい。
その後、画像再生装置情報と、視聴者の利き目の情報とに基づいて、視聴者毎に最適な視聴位置が算出され、画像表示LCD6a、6bに表示される(ステップS54)。
これにより、再生の準備が終了され、再生画像の選択が行われる(ステップS55)。そして、視聴者の利き目の情報と、画像再生装置情報に基づいて、表示ずれ量の演算が行われ(ステップS56)、算出された表示ずれ量に基づいて、ずれ量を調整する画像処理が行われる(ステップS57)。表示ずれ量の調整は、ステップS42と同様の方法で行われる。
調整された3次元画像が画像再生装置に出力されることにより、3次元画像の再生が行われ(ステップS58)、画像再生が終了したかが判断される(ステップS59)。画像再生が終了していない場合(ステップS59でNO)は、再生画像を選択するステップ(ステップS55)へ戻り、画像再生が終了した場合(ステップS59でYES)は、処理が終了される。
静止画を再生する場合には、1枚の画像の処理のみを行えばよいので、ステップS59では必ずYESとなるが、動画を再生する場合には、複数枚の画像を連続して再生する必要があるため、動画を構成する画像全ての処理が終わっていない場合は、ステップS59でNOとなりステップS55〜S58が繰り返し行われ、動画を構成する最後の画像の処理が終了した場合には、ステップS59でYESとなり、処理が終了される。
このように、視聴環境の撮影を行い、顔検出により視聴者を判別し、登録済みの情報から判別された視聴者の利き目情報を読み出し、利き目情報や表示部の大きさ(すなわち再生画像のサイズや視聴距離)に基づいて、視聴者毎の最適な視聴位置及び最適な表示ずれ量を求めることで、複数の視聴者に応じた見易い3次元画像の再生が可能になる。
なお、本実施の形態では、視聴者が単数の場合を例に説明したが、視聴者は複数の場合においても適用可能である。
なお、3次元画像は、上述のような複眼デジタルカメラ1aで取得する必然性はなく、単眼カメラを用いたモーションステレオ法による連続撮影で取得してもよいし、撮像系が3つ以上ある複眼デジタルカメラで取得してもよい。
また、撮影者の利き目があらかじめ分かっている場合には、利き目設定スイッチ7を用いて利き目を設定せず、画像表示LCD6a、6bに表示されたGUIと操作部3とを用いて利き目を入力するようにしてもよい。
1:複眼デジタルカメラ、2a:第1撮像系、2b:第2撮像系、6a、6b:画像表示LCD、10:メインCPU、38:メモリカード、50:2D/3Dモード切替フラグ設定回路、51:基線長/輻輳角記憶手段、52:利用者/人数検出手段、53:撮影者情報登録メモリ