以下に、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
図1は、本発明の実施の形態1にかかる撮像装置の被写体に面する側(前面側)の構成を示す図である。図2は、本発明の実施の形態1にかかる撮像装置のユーザに面する側(背面側)の構成を示す図である。図3は、本発明の実施の形態1にかかる撮像装置の構成を示すブロック図である。なお、本実施の形態1においては、撮像装置としてデジタルステレオカメラを例に挙げて説明する。
図1〜図3に示すように、撮像装置1は、撮像部2と、姿勢検出部3と、タイマー4と、操作入力部5と、表示部6と、タッチパネル7と、記憶部8と、制御部9と、を備える。
撮像部2は、異なる位置から撮像し、互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成する。撮像部2は、互いに異なる光学系を有する第1撮像部21および第2撮像部22を備える。第1撮像部21および第2撮像部22は、互いの光軸L1,L2が平行または所定の角度をなすように同一平面上で並設される。
第1撮像部21は、レンズ部21aと、レンズ駆動部21bと、絞り21cと、絞り駆動部21dと、シャッタ21eと、シャッタ駆動部21fと、撮像素子21gと、信号処理部21hと、を有する。
レンズ部21aは、フォーカスレンズやズームレンズ等の複数のレンズによって構成され、所定の視野領域から光を集光する。レンズ駆動部21bは、DCモータ等を用いて構成され、レンズ部21aのレンズを光軸L1上に沿って移動させることにより、レンズ部21aのピント位置や焦点距離等の変更を行う。
絞り21cは、レンズ部21aが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部21dは、ステッピングモータ等によって構成され、絞り21cを駆動する。
シャッタ21eは、撮像素子21gの状態を露光状態または遮光状態に設定する。シャッタ駆動部21fは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ21eを駆動する。
撮像素子21gは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現される。撮像素子21gは、レンズ部21aが集光した光を受光して光電変換を行うことによって、光を電気信号(アナログ信号)に変換し、この変換した電気信号を信号処理部21hに出力する。
信号処理部21hは、撮像素子21gから出力される電気信号に増幅等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データに変換して制御部9に出力する。
第2撮像部22は、第1撮像部21と同様の構成によって実現され、レンズ部22aと、レンズ駆動部22bと、絞り22cと、絞り駆動部22dと、シャッタ22eと、シャッタ駆動部22fと、撮像素子22gと、信号処理部22hと、を有する。
姿勢検出部3は、加速度センサを用いて構成される。姿勢検出部3は、撮像装置1の加速度を検出することにより、撮像装置1の姿勢状態を検出する。具体的には、姿勢検出部3は、水平面を基準としたときの撮像装置1の姿勢を検出する。
タイマー4は、計時機能や撮影日時の判定機能を有する。タイマー4は、撮像された画像データに日時データを付加させるため、制御部9に日時データを出力する。
操作入力部5は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ51と、静止画撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ52と、撮像装置1の各種撮影モードを切換える切換スイッチ53と、撮像部2のズーム操作を行うズームスイッチ54と、撮像した3D画像の遠近感を変更する逆3D画像を表示部6に表示させる逆3Dスイッチ55と、3D画像の視差量を調整する視差量調整スイッチ56と、撮像装置1の各種設定を変更する変更スイッチ57と、を有する。
図4は、表示部6の概略構成を示す模式図である。図4に示すように、表示部6は、バックライト61と、表示パネル62と、視差バリア63と、を有する。バックライト61は、LED(Light Emitting Diode)等によって構成され、画像を表示するための光を背面から照射する。表示パネル62は、液晶または有機EL(Electro Luminescence)等の表示パネルによって構成される。視差バリア63は、液晶等によって構成され、表示パネル62の上面に積層されてなる。視差バリア63は、表示パネル62の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ERと左目ELとにそれぞれ対応した画像を分離する。このような視差バリア63として、例えばパララックバリア方式が適用される。なお、視差バリア63の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル62の上面に設けてもよい。
以上の構成を有する表示部6は、制御部9から3D画像データが入力された場合、制御部9の制御のもとで表示パネル62が左端の画素から水平方向に左目画像と右目画像とを交互に表示し、視差バリア63が表示パネル62の各画素から出た光を分離する。このため、左目画像が左目ELのみに、右目画像が右目ERのみにそれぞれ届く。これにより、ユーザは、表示部6が表示する3D画像を立体視することができる。また、表示部6が表示態様を3D画像から2D画像に切り換える際には、視差バリア63に印加される電圧がオン状態からオフ状態に変化することによって視差バリア63が遮光状態から透過状態に遷移し、左目画像または右目画像のどちらか一方が表示パネル62に出力される。
タッチパネル7は、表示部6の表示画面上に重ねて設けられる(図2を参照)。タッチパネル7は、ユーザが表示部6で表示される状態に基づいて接触(タッチ)した位置を検出し、この検出した位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学方式等がある。本実施の形態1では、いずれの方式のタッチパネルであっても適用可能である。
記憶部8は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて実現される。記憶部8は、撮像部2が撮影した画像データを記憶する画像データ記憶部81と、撮像装置1が実行する各種プログラムや撮像プログラムを記憶するプログラム記憶部82と、を有する。なお、記憶部8に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
制御部9は、CPU(Central Processing Unit)等によって実現される。制御部9は、操作入力部5およびタッチパネル7からの操作信号等に応じて記憶部8のプログラム記憶部82からプログラムを読み出して実行し、撮像装置1を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置1の動作を制御する。
制御部9の詳細な構成を説明する。制御部9は、画像処理部91と、立体画像生成部92と、顔検出部93と、一致領域検出部94と、逆転表示判定部95と、表示制御部96と、ヘッダ情報生成部97と、を有する。
画像処理部91は、信号処理部21h,22hからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施す。具体的には、画像処理部91は、信号処理部21h,22hからそれぞれ出力された左目画像データおよび右目画像データに対して、エッジ強調、色補正およびγ補正等の処理を施す。なお、画像処理部91は、画像データを所定の方式(たとえばJPEG方式やMPEG−MVC方式等)で圧縮する圧縮処理を行ってもよい。
立体画像生成部92は、画像処理部91によって画像処理された左目画像データおよび右目画像データを所定の縦横比(たとえば、アスペクト比3:4)でそれぞれ切り出すことによって3D画像を生成する。なお、立体画像生成部92が左目画像データおよび右目画像データからそれぞれ切り出す縦横比を変更スイッチ57で変更できるようにしてもよい。
顔検出部93は、左目画像データまたは右目画像データに含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部93は、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部93は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
一致領域検出部94は、左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像を重畳した際に、左目画像および右目画像において一致する一致領域を検出する。一致領域検出部94は、撮像装置1から距離が異なる一致領域を検出する。具体的には、一致領域検出部94は、撮影を行う際に撮像装置1から距離が異なる被写体を、左目画像および右目画像において一致する一致領域として少なくとも2つ以上検出する。
逆転表示判定部95は、一致領域検出部94の検出結果に応じて、3D画像を表示部6の表示画面と直交する方向へ仮想的に飛び出した位置から表示部6の表示画面を基準に引っ込んだ位置に逆転させて表示部6に表示させる逆転表示(以下、「逆3D表示」という)が可能であるか否かを判定する。逆転表示判定部95は、一致領域検出部94が一致領域を少なくとも2つ以上検出した場合、逆3D表示が可能であると判定する。さらに、逆転表示判定部95は、顔検出部93が複数の顔を検出した場合、逆3D表示が不可能であると判定する一方、顔検出部93が一つの顔を検出した場合、逆3D表示が可能であると判定する。
表示制御部96は、3D画像および/または2D画像を表示部6に表示させる制御を行う。具体的には、表示制御部96は、表示部6に3D画像を表示させる場合、立体画像生成部92によって生成された3D画像の左目画像と右目画像とをそれぞれ短冊状に分割し、この分割した画像を表示部6の表示画面における水平方向の1画素毎に交互に並べて3D画像を表示部6に表示させる制御を行う。これに対して、表示制御部96は、表示部6に2D画像を表示させる場合、表示部6の視差バリア63のスリットを遮光状態から透過状態にするため、視差バリア63に印加する電源をオン状態からオフ状態にするとともに、左目画像または右目画像どちらか一方のみを表示パネル62に表示させる制御を行う。
また、表示制御部96は、逆転表示判定部95によって逆3D表示が可能と判定された場合、表示部6の表示画面における左目画像および右目画像それぞれの画素の位置を逆に並び換えて表示部6に表示させる制御を行う。さらに、表示制御部96は、視差量調整スイッチ56から入力される指示信号に応じて、表示部6が表示する3D画像の視差量を調整する。具体的には、表示制御部96は、視差量調整スイッチ56から入力される指示信号に応じて、左目画像および右目画像の重なり具合を調整することにより左目画像および右目画像の視差量を調整することで、3D画像の飛び出し量を調整する。さらにまた、本実施の形態1においては、表示制御部96が逆転表示判定部95によって逆3D表示が不可能であると判定された場合、逆3D表示が不可能であることを示す情報を出力する出力部として機能する。
ヘッダ情報生成部97は、3D画像の視差量をヘッダ情報として生成し、このヘッダ情報を撮像部2が生成する画像データに対応付けて画像データ記憶部81に記憶させる。
以上の構成を有する撮像装置1において、音声入出力機能、フラッシュ機能およびインターネットを介して外部のパーソナルコンピュータ(図示せず)と双方向に通信を行う通信機能等を具備させてもよい。
つぎに、撮像部2が互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成する際の状況について説明する。図5は、撮像部2が、互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成する際の状況を示す模式図である。
図5に示すように、撮像部2は、撮像部2からの距離が異なる被写体A1(距離d1)および被写体A2(距離d2)に対して、距離B1だけ離れて並設された第1撮像部21および第2撮像部22で撮像することにより、左目画像データおよび右目画像データを生成する。
続いて、立体画像生成部92は、第1撮像部21および第2撮像部22によって生成された左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像100Lおよび右目画像100Rを生成する。図6は、図5に示す状況下で撮像部2が生成する2つの画像データそれぞれに対応する2つの画像の一例を示す図である。図6において、左目画像100Lは、立体画像生成部92が第2撮像部22によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図6において、右目画像100Rは、立体画像生成部92が第1撮像部21によって生成された右目画像データに対応する画像から切り出して生成した画像である。図7は、図5に示す状況下で立体画像生成部92が生成した左目画像100Lと右目画像100Rとを仮想的に重ねた画像(100LR)の一例を示す図である。なお、図6および図7に示す破線および一点鎖線は、第1撮像部21および第2撮像部22がそれぞれ生成する画像データに対応する画像領域を示す。
図8は、図5に示す状況下で撮像部2と被写体との撮影距離との関係を示す図である。図8では、横軸が左端を原点としたときの画像100LR内の横方向の被写体位置であり、縦軸が撮像部2と被写体との距離である。
図8に示すように、撮像部2と被写体A2との距離は、撮像部2と被写体A1との距離より大きい。このため、被写体A2の領域がほぼ重なる。具体的には、図7に示すように、画像100LR内では、被写体A2の領域がほぼ重なる。一方、被写体A1の領域は重ならない(対応画素の視差P1)。このように、左目画像100Lと右目画像100Rでは、撮像部2からの距離が近い被写体(被写体A1)ほど画像内での対応画素点の視差が大きく、撮像部2からの距離が遠い被写体(被写体A2)ほど対応画素点の視差が小さい。
ここで、図9〜図11を参照して、ユーザが表示部6の表示画面から仮想的に視認する3D画像の位置について説明する。図9〜図11は、ユーザが表示部6の表示画面から仮想的に視認する3D画像の位置を説明する模式図である。図9〜図11においては、左目画像および右目画像の対応画素点の視差をΔx、ユーザが表示部6の表示画面から仮想的に視認する3D画像の位置をΔzとする。また、図9〜図11において、左目ELと右目ERは同一のユーザのものである。さらに、矢印a1が左目ELに入り込む左目画像における画素の光を示し、矢印a2が右目ERに入り込む右目画像における画素の光を示す。
図9に示すように、左目ELおよび右目ERそれぞれに入る左目画像および右目画像の対応画素点が同じ位置(視差Δx=0)で表示されている場合、ユーザが仮想的に視認する3D画像の位置が表示部6の表示画面上(位置Δz=0)になる。
また、図10に示すように、左目ELおよび右目ERそれぞれに入る左目画像および右目画像の対応画素点が図9に示す位置から別の位置(視差Δx=Δx1)で表示されている場合、ユーザが仮想的に視認する3D画像の位置が表示部6の表示画面から直交する方向に飛び出した位置(位置Δz=Δz1)になる。
これに対して、図11に示すように、左目ELおよび右目ERそれぞれに入る左目画像および右目画像の対応画素点を、図9の位置から逆に配置(視差Δx=Δx2)して表示させた場合、ユーザが仮想的に視認する3D画像の位置が表示部6の表示画面から直交する方向に引っ込んだ位置(位置Δz=Δz2)になる。
このように、左目ELおよび右目ERそれぞれに入る左目画像および右目画像の対応画素点の表示位置を変更する操作を行うことで、ユーザが視認する3D画像の位置を表示部6の表示画面から直交する方向に飛び出させたり、引っ込ませたりすることができる。これにより、ユーザに対して逆3D表示を行うことで、3D画像の遠近感を反転させることができる。
つぎに、図12〜図15を参照して、逆3D表示で遠近感を反転させることが難しい画像について詳細に説明する。図12〜図14は、逆3D表示で遠近感の反転が難しい画像の一例を示す図である。図15は、逆3D表示で遠近感の反転が容易な画像の一例を示す図である。なお、図12、図13および図15において、被写体A3は、撮影時における撮像装置1からの距離が被写体A4よりも近く、かつ大きさが被写体A4と同じ大きさである。
図12に示すように、透視図のように消失点V1(Vanishing Point)が存在し、現実では平行である直線K1,K2が画像200内の消失点V1に向けて延びる場合、ユーザが直線K1,K2に基づいて、被写体A3および被写体A4の遠近関係を容易に把握することができる。このため、ユーザに対して逆3D表示で3D画像の遠近感を反転させることが難しい。
さらに、図13に示すように、被写体A3および被写体A4が画像300内において重なっている場合、ユーザが被写体A3および被写体A4の重なり具合から遠近関係を把握することができる。このため、図12と同様に、ユーザに対して逆3D表示で3D画像の遠近感を反転させることが難しい。
また、図14に示すように、画像400内の被写体A5および被写体A6が人物の場合、ユーザが被写体A5および被写体A6の大きさに基づいて遠近関係を容易に把握することができる。このため、ユーザに対して逆3D表示で3D画像の遠近感を反転させることが難しい。
これに対して、図15に示すように、被写体A3および被写体A4それぞれが画像500内において離れた位置にあり、被写体A3および被写体A4の遠近感を推測できるような情報が画像500内に含まれない場合、ユーザが被写体A3および被写体A4の遠近間係を把握することが難しい。このため、逆3D表示で3D画像の遠近感を反転させることができる。
つぎに、本発明の実施の形態1にかかる撮像装置1が行う処理について説明する。図16は、撮像装置1が行う処理の概要を示すフローチャートである。なお、本実施の形態1にかかる撮像装置1は、複数の撮影モードや画像データを再生する再生モードを設定することができる。以下においては、複数の撮影モードのうち逆3D撮影モードに設定された場合のみを説明する。
図16に示すように、まず、制御部9は、撮影部2が生成した左目画像データおよび右目画像データを取得する(ステップS101)。
その後、逆転表示判定部95は、3D画像を逆3D表示で表示部6に表示させることが可能であるか否かを判定する逆転表示判定処理を実行する(ステップS102)。
続いて、逆転表示判定部95によって3D画像を逆3D表示で表示部6に表示させることが可能と判定された場合(ステップS103:Yes)において、逆3Dスイッチ55が操作されてライブビュー画像を逆3D表示で確認する確認設定があるとき(ステップS104:Yes)、表示制御部96は、ライブビュー画像を逆3D表示で表示部6に表示させる(ステップS105)。具体的には、表示制御部96は、表示パネル62の左端の画素から横方向に沿って左目画像と右目画像の順で交互に表示させることに換えて、表示パネルの左端の画素から横方向に沿って右目画像と左目画像との順で交互に表示させる(図4を参照)。
図17は、ユーザが仮想的に視認する通常の3D画像と逆3D表示の3D画像の模式図である。図17に示すように、表示制御部96は、左目画像および右目画像それぞれの表示位置を逆にすることで、表示部6の表示画面と直交する方向に飛び出した状態の被写体A3(d1)および被写体A4(d2)(図17(a))を、表示部6の表示画面を基準として逆転して引っ込んだ状態(図17(b))に表示させることができる。これにより、ユーザは、被写体A3と被写体A4との仮想的な遠近感の関係が逆になった3D画像を視認することができる。
ステップS106において、視差量調整スイッチ56が操作されることにより3D画像の飛び出し位置または引っ込み位置を調整する視差調整があった場合(ステップS106:Yes)、表示制御部96は、視差量調整スイッチ56から出力される指示信号に応じて3D画像の視差量を変更する(ステップS107)。これにより、ユーザは、所望の立体感を有する3D画像を仮想的に視認することができる。
ステップS108において、レリーズ信号が入力された場合(ステップS108:Yes)、制御部9は、ヘッダ情報生成部97がその時点でヘッダ情報として生成した3D画像の視差量を、撮影部2から取得した最新の3D画像データに対応付けて画像データ記憶部81に記録させる(ステップS109)。
その後、表示制御部96は、撮影した3D画像データに対応する3D画像を通常または逆3D表示で表示部6に所定時間(たとえば2秒〜3秒程度)レックビュー表示させる(ステップS110)、撮像装置1の一連の処理を終了する。
ステップS108において、レリーズ信号が入力されていない場合(ステップS108:No)、撮像装置1はステップS101へ戻る。
ステップS106において、視差量調整スイッチ56が操作されることにより3D画像の飛び出し位置または引っ込み位置を調整する視差調整がない場合(ステップS106:No)、撮像装置1はステップS108へ移行する。
ステップS104において、逆3Dスイッチ55が操作されてライブビュー画像を逆3D表示で確認する確認設定がない場合(ステップS104:No)、表示制御部96は、ライブビュー画像を通常の3D表示(図17(a)を参照)で表示部6に表示させ(ステップS111)、撮像装置1はステップS106へ移行する。
ステップS103において、逆転表示判定部95によって3D画像を逆3D表示で表示部6に表示させることが可能でないと判定された場合(ステップS103:No)について説明する。この場合、表示制御部96は、ライブビュー画像を通常の3D表示で表示部6に表示させ(ステップS112)、ライブビュー画像上に逆3D表示が不可能であることを示す情報として注記、たとえば「背景を無地にして下さい。」等の文字情報を重畳して表示部6に表示させる(ステップS113)。その後、撮像装置1はステップS108へ移行する。これにより、ユーザは、逆3D撮影を行うことができないことを把握することができる。なお、表示制御部96は、逆3D表示が不可能であることを示す情報として音や光等を表示部6またはスピーカ(図示せず)等に出力させてもよい。
つぎに、図16に示したステップS102の逆転表示判定処理について説明する。図18は、図16に示す逆転表示判定処理の概要を示すフローチャートである。
図18に示すように、まず、一致領域検出部94は、左目画像および右目画像を重畳して一致領域を検出する(ステップS201)。
その後、逆転表示判定部95は、重畳画像における左側領域の全域で左目画像および右目画像がほぼ一致し(ステップS202:Yes)、重畳画像における右側領域で一致しない領域がある場合(ステップS203:Yes)、顔検出部93が左目画像または右目画像から複数の顔を検出したか否かを判定する(ステップS204)。顔検出部93が複数の顔を検出していない場合(ステップS204:No)、逆転表示判定部95は、表示部6に対して3D画像を逆3D表示で表示可能と判定し(ステップS205)、撮像装置1は図16に示したメインルーチンに戻る。一方、顔検出部93が複数の顔を検出した場合(ステップS204:Yes)、逆転表示判定部95は、表示部6に対して3D画像を逆3D表示で表示不可能と判定し(ステップS206)、撮像装置1は図16に示したメインルーチンに戻る。
図19は、図15に示す画像500を撮影した状況で撮像部2が生成する左目画像500Lと右目画像500Rそれぞれの一例を示す図である。図20は、図19に示した左目画像500Lと右目画像Rとを仮想的に重畳した重畳画像(500LR)の一例を示す図である。図19および図20に示すように、一致領域検出部94は、左目画像500Lおよび右目画像500Rを重畳しながら、重畳画像500LRの全体で左目画像500Lおよび右目画像500Rの対応画素点の差が最小になる位置を検出する。この場合、一致領域検出部94は、左目画像500Lおよび右目画像500Rの被写体A3が重なる位置を重畳画像500LRの全体で左目画像500Lおよび右目画像500Rの対応画素点の差が最小になる位置として検出する。
その後、逆転表示判定部95は、一致領域検出部94が検出した被写体A3が重なる位置で重畳画像500LRの領域を略中央から左側領域BL1と右側領域BR1とにそれぞれ分割する。続いて、逆転表示判定部95は、左側領域BL1の全域で左目画像500Lおよび右目画像500Rがほぼ一致し、右側領域BR1内の一部で左目画像500Lおよび右目画像500Rが一致しない領域がある場合、逆3D表示で3D画像を表示部6に表示させることにより、ユーザに対して遠近感を反転させて仮想的に視認させることが可能であると判定する。
ステップS203において、重畳画像における右側領域で一致しない領域がない場合(ステップS203:No)、撮像装置1はステップS206へ移行する。
ステップS202において、重畳画像における左側領域の全域で左目画像および右目画像が一致しない場合(ステップS202:No)について説明する。この場合、逆転表示判定部95は、重畳画像における右側領域で一致しない領域があるか否かを判定する(ステップS207)。重畳画像における右側領域の全域で一致しない領域がある場合(ステップS207:Yes)、撮像装置1はステップS204へ移行する。一方、重畳画像における右側領域の全域で一致しない領域がない場合(ステップS207:No)、撮像装置1はステップS206へ移行する。
図21は、図12に示す画像200を撮影した状況で撮像部2が生成する左目画像200Lおよび右目画像200Rそれぞれの一例を示す図である。図22は、図21に示した左目画像200Lと右目画像200Rとを仮想的に重畳した重畳画像(200LR)の一例を示す図である。
図21および図22に示すように、逆転表示判定部95は、左側領域BL2内の一部で左目画像200Lと右目画像200Rの対応画素が一致せず、右側領域BR1内の一部で左目画像500Lと右目画像500Rの対応画素点も一致しない場合、逆3D表示で3D画像を表示部6に表示させても、ユーザに対して遠近感を反転させて仮想的に視認させることが不可能であると判定する。なお、逆転表示判定部95は、左目画像および右目画像を重畳した際の一致度に対して閾値を設け、この閾値を超えた場合、逆3D表示で3D画像を表示部させることにより、ユーザに対して遠近感を反転させて仮想的に視認させることができるか否かを判定してもよい。さらに、逆転表示判定部95は、3D画像の視差量に応じて、逆3D表示で3D画像を表示させることができるか否かを判定してもよい。
以上説明した本実施の形態1によれば、一致領域検出部94が撮像部2によって生成された左目画像および右目画像を重畳した際に、左目画像および右目画像内において一致する一致領域を検出し、逆転表示判定部95が一致領域検出部94の検出結果に応じて、3D画像を表示部6の表示画面と直交する方向へ仮想的に飛び出した飛び出し状態から表示部6の表示画面を基準にして仮想的に引き込んだ状態に逆転して表示部6に表示させることができるか否かを判定する。これにより、撮影時における被写体の遠近感を現実と異なる位置で仮想的に視認させる3D画像を撮影することができ、ユーザに対して仮想的に遠近感を変更した3D画像を視認させることができる。
さらに、本実施の形態1によれば、表示制御部96が逆転表示判定部95によって逆3D表示が可能であると判定された場合、表示部6で表示される左目画像および右目画像を逆にして表示部6に表示させる。この結果、ユーザは、3D画像に含まれる被写体の遠近感の関係が仮想的に逆になった3D画像を視認することができる。
(実施の形態2)
つぎに、本実施の形態2について説明する。上述した実施の形態1では、撮像部2が微小な時間間隔で連続的に生成する複数の画像(ライブビュー画像)に対して逆転表示判定処理を行っていたが、本実施の形態2では、表示部6がレックビュー表示する画像のみ逆転表示判定処理を行う。なお、本発明に実施の形態2にかかる撮像装置10は、上述した実施の形態1にかかる撮像装置1と同様の構成を有し、制御部90の構成および撮像装置10の動作の処理が異なる。このため、以下においては、上述した実施の形態1と異なる構成を説明後、本実施の形態2にかかる撮像装置10の動作の処理を説明する。また、図面の記載において、同一の部分には同一の符号を付している。
図23は、本発明の実施の形態2にかかる撮像装置10の構成を示すブロック図である。図23に示すように、制御部90は、画像処理部91、立体画像生成部92と、顔検出部93と、一致領域検出部94と、逆転表示判定部95と、表示制御部96と、ヘッダ情報生成部97と、一致領域抽出部98と、画像合成部99と、を有する。
一致領域抽出部98は、一致領域検出部94が検出した一致領域を、左目画像および右目画像それぞれから抽出する。具体的には、一致領域抽出部98は、一致領域検出部94が検出した一致領域として左目画像および右目画像それぞれに含まれる被写体像を抽出する。
画像合成部99は、一致領域抽出部98が抽出した一致領域を示す画像を、別の背景画像に合成して合成画像を生成する。具体的には、画像合成部99は、一致領域検出部98が左目画像および右目画像それぞれから抽出した一致領域に対応する2つの一致領域画像それぞれを、画像データ記憶部81が記憶する別の背景画像に合成して2つの合成画像を生成する。
図24は、本実施の形態2にかかる撮像装置10の動作の概要を示すフローチャートである。なお、本実施の形態2にかかる撮像装置10は、複数の撮影モードや再生モードを設定することができる。以下においては、複数の撮影モードのうち逆3D撮影モードに設定された場合のみを説明する。
図24に示すように、まず、表示制御部96は、撮像部2が微小な時間間隔で連続的に生成する左目画像データおよび右目画像データそれぞれに対応する左目画像および右目画像を用いて3D画像のライブビュー画像を表示部6に表示させる(ステップS301)。
その後、制御部90は、レリーズスイッチ52が操作されることによりレリーズ信号が入力されたか否かを判断する(ステップS302)。レリーズ信号が入力されていない場合(ステップS302:No)、撮像装置10はステップS301に戻る。一方、レリーズ信号が入力された場合(ステップS302:Yes)、撮像部2は、制御部90の制御にもと、撮影を行う(ステップS303)。
続いて、制御部90は、撮像部2が生成した左目画像データおよび右目画像データを画像データ記憶部81に記録する(ステップS304)。
その後、逆転表示判定部95は、上述した実施の形態1と同様の3D画像を逆3D表示で表示部6に表示させることができるか否かを判定する逆転表示判定処理(図18を参照)を実行する(ステップS305)。
続いて、逆転表示判定部95によって3D画像を逆3D表示で表示部6に表示させることが可能であると判定された場合(ステップS306:Yes)、一致領域抽出部98は、被写体画像として一致領域検出部94によって検出された一致領域を抽出する(ステップS307)。
その後、表示制御部96は、一致領域抽出部98によって抽出された一致領域に対応する被写体画像を選択することができる被写体選択画面を表示部6に表示させる(ステップS308)。具体的には、図25に示すように、表示制御部96は、被写体選択画面600を表示部6に表示させる。さらに、表示制御部96は、被写体選択画面600上に選択終了アイコンC1、背景変更アイコンC2およびやり直しアイコンC3を重畳して表示部6に表示させる。選択終了アイコンC1は、被写体選択の終了を指示する指示信号の入力を受け付けるアイコンである。背景変更アイコンC2は、背景の変更を指示する指示信号の入力を受け付けるアイコンである。やり直しアイコンC3は、選択された被写体の選択の解除を指示するアイコンである。
続いて、ユーザが表示部6の被写体選択画面600上で表示される被写体の領域内でタッチパネル7をタッチして被写体が選択された場合(ステップS309:Yes)、表示制御部96は、選択された被写体の輪郭を強調して表示部6に表示させる(ステップS310)。具体的には、図26に示すように、表示制御部96は、選択された被写体A7の輪郭を強調して表示部6に表示させる。これにより、ユーザは、選択した被写体を容易に把握することができる。
その後、選択終了アイコンC1が操作され(ステップS311:Yes)、背景変更アイコンC2が操作された場合(ステップS312:Yes)、画像合成部99は、選択された被写体、たとえば被写体A7に、画像データ記憶部81が記憶する別の背景画像を合成して合成画像を生成する(ステップS313)。具体的には、画像合成部99は、左目画像および右目画像の被写体A7それぞれに別の背景画像を合成して2つの合成画像(左右)を生成する。
続いて、表示制御部96は、逆3D表示で表示部6に3D画像をレックビュー表示させる(ステップS314)。たとえば、表示制御部96は、画像合成部99が生成した2つの合成画像を用いて3D画像を逆3D表示で表示部6にレックビュー表示させる。
その後、制御部90は、表示部6に逆3D画像でレックビュー表示を行ってから所定時間(たとえば10秒)経過したか否かを判断する(ステップS315)。所定時間経過していない場合(ステップS315:No)、この判断を続ける。一方、所定時間経過している場合(ステップS315:Yes)、制御部90は、左目画像および右目画像の表示位置を入れ換えて画像データ記憶部81に記録させ(ステップS316)、撮像装置10は一連の処理を終了する。
ステップS311において、選択終了アイコンC1が操作されていない場合(ステップS311:No)について説明する。この場合において、やり直しアイコンC3が操作されたとき(ステップS317:Yes)、制御部90は、ユーザによって選択された被写体を解除し(ステップS318)、撮像装置10はステップS309へ戻る。一方、やり直しアイコンC3が操作されないとき(ステップS317:No)、撮像装置10はステップS309へ戻る。
ステップS309において、被写体が選択されていない場合(ステップS309:No)、制御部9は、被写体選択画面600を表示部6に表示させてから所定時間(たとえば10秒)経過したか否かを判断する(ステップS319)。所定時間経過していない場合(ステップS319:No)、撮像装置10はステップS309へ戻る。一方、所定時間経過している場合(ステップS319:Yes)、撮像装置10は一連の処理を終了する。
ステップS306において、逆転表示判定部95によって3D画像を逆3D表示で表示部6に表示させることが可能でないと判定された場合(ステップS306:No)について説明する。この場合、表示制御部96は、表示部6に通常の3D画像でレックビュー表示させる(ステップS320)。
その後、制御部90は、表示部6が通常の3D画像でレックビュー表示を行ってから所定時間(たとえば5秒)経過したか否かを判断する(ステップS321)。所定時間経過していない場合(ステップS321:No)、この判断を繰り返す。一方、所定時間経過している場合(ステップS321:Yes)、撮像装置10は一連の処理を終了する。
以上説明した本実施の形態2によれば、逆転表示判定部95が表示部6によってレックビュー表示される画像に対してのみ逆転表示判定処理を行うので、逆転表示判定処理にかかる処理時間を短縮することができる。この結果、撮影中に表示部6が表示するライブビュー画像の表示フレームレートや撮像部2が生成する撮像フレームレートを低下させることなく、上述した実施の形態1と同様の効果を奏する。
また、本実施の形態2では、逆転表示判定部95が3D画像を逆3D表示で表示部6に表示させることが可能であると判定した場合、表示制御部96が表示部6における左目画像および右目画像の表示位置を瞬時に変更していたが、たとえば表示部6における左目画像および右目画像の表示位置を徐々に変更してもよい。これにより、ユーザは、遠近感を有する3D画像に対して、より錯覚して3D画像を視認することができる。
(その他の実施の形態)
また、上述した実施の形態1,2では、被写体の遠近感を変更していたが、被写体の凹凸を変更することにより、よりトリックアートのようにユーザに対して仮想的に視認させることができる。具体的には、図27に示すように、表示制御部96は、表示部6に逆3D画像でレックビュー表示させた場合、被写体A7が表示部6の表示画面と直交する方向へ引っ込んだ状態(凹んだ状態)で表示部6に表示される。しかしながら、ユーザは、ホローマスク錯視の原理により、被写体A7が表示部6の表示画面と直交する方向へ飛び出した状態(凸状態)として仮想的に認識する。このように、ユーザに対してトリックアートのように、3D画像が凹んでいるにも関わらず、飛び出した状態で被写体A7を仮想的に視認させることができる。さらに、表示制御部96は、表示部6における左目画像および右目画像の表示位置を徐々に変更してもよい。これにより、ユーザは、凹凸のある3D画像に対して、より凹凸を錯覚して視認し、不思議な体験をすることができる。
また、上述した実施の形態1,2では、表示制御部96が3D画像を表示部6の表示画面と直交する方向へ仮想的に飛び出した状態から表示部6の表示画面を基準にして仮想的に引き込んだ状態に逆転して表示部6に表示させていたが、3D画像を表示部6の表示画面と直交する方向へ仮想的に引っ込んだ状態から表示部6の表示画面を基準にして仮想的に飛び出した状態に逆転して表示部6に表示させてもよい。これにより、ユーザに対して仮想的に遠近感を変更した3D画像を視認させることができる。
また、上述した実施の形態1,2では、2つの撮像部がそれぞれ画像データを生成していたが、たとえば、一つの撮像部のみを有する構成とし、この撮像部が連続的に撮影することによって2つの画像データを生成するようにしてもよい。
また、上述した実施の形態1,2では、逆転表示判定部95が静止画撮影を行う場合のみ逆転表示判定処理を行っていたが、たとえば、撮像部2が微小な時間間隔で連続的に画像データを生成する動画撮影を行う場合にも逆転表示判定処理を行ってもよい。
また、上述した実施の形態1,2では、撮像部2が互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成していたが、たとえば、1つの撮像素子のみを有する構成とし、この1つの撮像素子の撮像領域内の別の領域に2つの光学系によって集光させることにより、互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成するようにしてもよい。さらに、この場合、2つの光学系は、撮像装置1の装置本体部に対して着脱自在な構成にするようにしてもよい。
また、上述した実施の形態1,2では、撮像装置としてデジタルステレオカメラを例に説明したが、たとえば、デジタルビデオカメラ、カメラ付き携帯電話、パーソナルコンピュータ、携帯型電子タブレットおよびデジタルフォトフレーム等の撮像機能を備えた各種電子機器に適用することができる。