以下、図面を参照して本発明の好適な実施形態を説明する。
(第1の実施形態)
図1に本発明の撮像装置の実施形態の一例としてのデジタルカメラの外観図を示す。
表示部28は画像や各種情報を表示する表示部である。シャッターボタン61は撮影指示を行うための操作部である。モードダイヤル60は各種モード設定を切り替えるための操作部である。コネクタ112は接続ケーブルとデジタルカメラ100とのコネクタである。操作部70はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラーホイール73は操作部70に含まれる回転操作可能な操作部材である。72は電源スイッチであり、電源オン、電源オフを切り替える。インカメラ300は、被写体を撮影している撮影者を撮影、または、表示部28に表示されている画像を観賞している鑑賞者を撮影するための撮像部である。インカメラ300は、鑑賞者または撮影者を撮影するために、デジタルカメラの表示部28が設けられている側を撮影するように配置されている。また、図1では、表示部28が設けられているデジタルカメラ100の背面側の外観図であるが、デジタルカメラ100の表側の面には、被写体側を撮影する撮像部であるアウトカメラが設けられている。アウトカメラとインカメラの光軸(撮影方向)は互いに略平行であり、アウトカメラの光軸(撮影方向)は、インカメラの光軸(撮影方向)と逆方向に設定されている。記録媒体200はメモリカードやハードディスク等の記録媒体である。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、デジタルカメラ100との通信が可能となり、アウトカメラやインカメラで撮影した画像が記録される。蓋203は記録媒体スロット201の蓋である。
図2は、本発明の実施例であるデジタルカメラ100の構成を示す図である。
10は、デジタルカメラ100の撮影レンズ11を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである。11は撮影レンズ、12は絞り機能を備えるシャッター、13は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子、15は撮像素子13のアナログ信号出力をディジタル信号に変換するA/D変換器である。これらの、バリア10、撮影レンズ11、シャッター12、撮像素子13により、アウトカメラが構成されている。
同様に101の撮影レンズは撮影レンズ11とは別にデジタルカメラ100を使用している撮影者側を撮影可能な方向に設置されているズームレンズ、フォーカスレンズを含むレンズ群である。102は絞り機能を備えるシャッターである。103は撮影者側の光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。これらの、撮影レンズ101、シャッター102、撮像素子103により、インカメラが構成されている。
14は撮像素子13や103、A/D変換器15、D/A変換器21にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50により制御される。
20は画像処理回路であり、A/D変換器15からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。
また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御手段40、測距制御手段41に対して制御を行う。そして、露光制御手段40、測距制御手段41が、AF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。
画像処理回路20において、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB(オートホワイトバランス)処理も行っている。
さらに、画像処理回路20においては、メモリ25に格納された画像を読み込んでJPEG方式やMPEG−4 AVC/H.264方式での圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ25に書き込む。
22はメモリ制御回路であり、A/D変換器15、タイミング発生回路14、画像処理回路20、画像表示メモリ24、D/A変換器21、メモリ25を制御する。
A/D変換器15のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器15のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ25に書き込まれる。
24は画像表示メモリ、21はD/A変換器、28はTFT LCD等から成る表示部であり、画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器21を介して表示部28に表示される。
表示部28を用いてアウトカメラやインカメラで撮像した画像データを逐次表示すれば、ライブビュー画像を表示する電子ファインダ機能を実現することが可能である。
25はアウトカメラやインカメラで撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ25はシステム制御回路50の作業領域としても使用することが可能である。
40は絞り機能を備えるシャッター12、102を個別に制御する露光制御手段である。
41は撮影レンズ11、101のフォーカシングを個別に制御する測距制御手段、42は撮影レンズ11、101のズーミングを個別に制御するズーム制御手段、43はバリア10の動作を制御するバリア制御手段である。
44は、姿勢検出センサで、加速度センサにより、定期的にデジタルカメラ100の姿勢を検出する。姿勢検出センサ44が、アウトカメラの撮影方向周りの回転角度を検出すると、検出した角度を示す情報がシステム制御回路50に入力される。システム制御部50は、入力された情報を基にデジタルカメラの姿勢(回転角度)を判断し、姿勢に応じた処理を行うように制御する。本実施形態ではアウトカメラとインカメラの撮影方向は略平行で反対方向であるで、アウトカメラの撮影方向周りの回転角度とインカメラの撮影方向周りの回転角度は同じである。インカメラとアウトカメラの撮影方向が平行でない場合には、インカメラの姿勢(撮影方向周りの回転角度)も検出するようにしてもよい。
50は本デジタルカメラ全体を制御するシステム制御回路((システム制御部))である。
51は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。プログラムや各種設定情報等が記録されている。
60、61及び62は、システム制御回路50の各種の動作指示を入力するための操作部である。操作部は、電源スイッチ、モード切り替えスイッチ、メニューボタン、十字キー、さらに、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
60はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始を指示する。
61はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了(完全押下)でONとなる。シャッタースイッチSW2がONとなると、撮像素子13または撮像素子103から読み出した信号をA/D変換器15、メモリ制御回路22を介してメモリ25に画像データを書き込む露光処理を行う。そして、メモリ25書き込まれた画像データに対して画像処理回路20やメモリ制御回路22での演算を用いて現像処理を行い、現像処理された画像データをメモリ25から読み出し、画像処理回路20により圧縮を行ってメモリ25に格納する。その後、メモリ25の圧縮済みの画像データを、カードコントローラ90を介して、外部記録媒体91に画像データを書き込む記録処理を行う。このように、シャッタースイッチSW2がONになったことに応じて、露光処理や現像処理を含む撮像処理および記録処理が実行される。
62は各種ボタンやタッチパネル等からなる操作部で、電源ボタン、メニューボタン、撮影モード/再生モード/その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等ある。
81は電源制御手段である。
80はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。
90はメモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。
91はメモリカード等の外部記録媒体である。
次に、アウトカメラやインカメラで撮像したライブ画像を表示する表示部28に表示する場合の表示モードについて説明する。
アウトカメラやインカメラで撮影して取得した画像データは、表示部28での表示領域の解像度に合わせてトリミングやリサイズが行われてから画像表示メモリに格納されて表示部28に表示される。インカメラを使用して撮影を行い、インカメラで撮影した画像を記録する際には、アウトカメラで撮影した画像と共にインカメラで撮影した画像が同時に表示される。アウトカメラ画像とアウトカメラ画像とを同時に表示する同時表示モードの表示の態様は、図5(a)で示すように、アウトカメラのスルー画の上にサイズの小さいインカメラのスルー画を重畳合成して表示する。表示形態は、これに限定されず、図5(b)のようにインカメラのスルー画の上に小さいアウトカメラのスルー画像を重畳表示してもよい。或いは、図5(c)のように、双方のスルー画像を並べて表示してもよい。
図6(a)は、アウトカメラで撮影したアウトカメラのスルー画像601と、インカメラで撮影したスルー画像602を表示している。ここで、アウトカメラとインカメラは撮影方向が逆方向であり、また、インカメラは、表示部28が設けられている撮影者側を撮影するため、インカメラの画像を表示する際に以下のような状況が発生する。図6(a)においては、インカメラで撮影したスルー画像を、鏡像反転や回転等の処理を行わずに表示させているため、撮影者600がインカメラのスルー画像を視聴する視聴方向が、インカメラの撮影方向と逆方向となる。そのため、撮影者600がA方向に移動した場合、インカメラのスルー画像601中の撮影者600aは、方向Aと逆方向の方向Bへ移動することになる。このような表示方法の場合、ユーザは混乱してしまうことが考えられる。そこで、本実施形態のデジタルカメラ100では、インカメラで撮影した画像を表示部28に表示させたときに鏡像となって見えるように、インカメラで撮影した画像を鏡像反転させて表示する鏡像表示モードを備えている。
図6(b)は鏡像表示モードにおける表示の例である。鏡像表示モードでは、インカメラで撮影した画像をデジタルカメラ100本体の左右方向に反転(鏡像反転)させたインカメラの鏡像スルー画像603を表示している。左右反転させて表示しているため、撮影者600が方向Aに移動した場合、インカメラの鏡像スルー画像603の撮影者600bは、方向Aと同じ方向である方向Cに移動する。インカメラの鏡像スルー画像603は鏡を見ている時と同じように見え、撮影者600の移動方向と、インカメラの鏡像スルー画像603内の撮影者600bの移動方向が同じになるため、撮影者は混乱せずにインカメラの画像を見ることができる。
デジタルカメラ100は、鏡像表示モードだけでなくインカメラで撮影した画像を鏡像反転させずに図6(a)のように表示する正像表示モードも有している。鏡像表示モードでは、実際の撮影者の移動方向とスルー画像内の撮影者の移動方向は同じになるが、スルー画像は実際に撮影した画像を反転させたものであるため、違和感を覚える場合もあり、反転させない正しいスルー画像を表示させたいという要望もある。そのため、デジタルカメラ100は、正像表示モードと鏡像表示モードの2つの表示モードを有しており、ユーザの表示モード設定のための操作部を用いて表示モード切り替え操作を行うことにより切り替え可能としている。
このように、正像表示モードと鏡像表示モードとでは、スルー画像602とスルー画像603とで、短辺方向では、同じ方向となるが、長辺方向では方向が逆になって表示される。
図6(d)は、鏡像表示モードにおいて、デジタルカメラ100を光軸周りに90度回転させた場合の表示を示す図である。鏡像表示モードにおいては、インカメラのスルー画像603は鏡像となっているため、デジタルカメラ100を回転させたとしても、インカメラのスルー画像603の撮影者(被写体)600dの上下方向と実際の撮影者600の上下方向は同じになる。
図6(c)は、正像表示の状態で、デジタルカメラ100を光軸周りに90度回転させたとした場合の例を示す図である。ここで、デジタルカメラ100を光軸周りに90度回転させたときのインカメラのスルー画像602の撮影者600cの上下方向は、デジタルカメラ光軸周りに回転させない場合の左右方向は、表示部28に対しては同じ方向である。したがって、正像表示の状態でデジタルカメラ100を光軸周りに90度回転させたときのインカメラのスルー画像602の撮影者600cの上下方向と、実際の撮影者600の上下方向が反対方向になる。そのため、正像表示の状態でデジタルカメラを光軸周りに回転させると、上下方向が逆になったインカメラのスルー画像604が表示されてしまう。正像表示の場合のスルー画像602は、鏡像表示の場合のスルー画像603に対して、長辺方向において方向が逆となることからも、正像表示の状態で、デジタルカメラ100を光軸周りに90度回転させた場合に上下が逆になってしまう頃が分かる。そこで、本実施形態のデジタルカメラ100は、正像表示モードにおいては、デジタルカメラ100を光軸周りに90度させた場合には、図7のように、インカメラのスルー画像604を180度回転して表示している。この構成により、スルー画像の撮影者(被写体)600eの上下方向を実際の撮影者(被写体)600の上下方向と一致させることができる。図7のインカメラのスルー画像604は、インカメラで撮影した画像に対して回転処理を行ってはいるが、反転はさせていないので、本来の姿である正像で表示される。
次に図3を用いて、本実施形態におけるデジタルカメラ100の撮影時の処理を説明する。この処理では、アウトカメラとインカメラのライブビュー画像を同時に表示し、一度の撮影指示により表示と同じ構成でそれらを合成した静止画動画を生成する。図3は、デジタルカメラ100の撮影時の表示、撮影記録処理を示すフローチャートである。なお、これらの処理は、システム制御部50が不揮発性メモリ51から読み出したプログラムに基づいて各部の制御や演算処理、判断等を行うことにより実現される。
デジタルカメラ100は、ステップS101にて、アウトカメラとインカメラ双方を用いて撮影した画像を同時に表示部28に表示する同時表示モードかどうかを判定する。同時表示モードの場合は、アウトカメラで撮影された画像とインカメラで撮影された画像が合成されて同時に表示部28に表示される。さらに、表示部に表示されているのと同じ構成で、アウトカメラで撮影された画像とインカメラで撮影された画像を合成して外部記録媒体91に記録する。同時表示モードであるかではなく、アウトカメラとインカメラ双方の画像を合成して記録する同時記録モードであるかを判定してもよい。ここで、同時記録モードでは、同時表示モードの時と同等の処理が行われる。これらのモードは、記録モード設定のためのユーザの操作により切り替えることができるものとする。ステップS101にて同時表示モードではないと判断した場合は、ステップS114へと進み、通常のカメラ動作を行うのみとなる。通常のカメラ動作(S114)では、アウトカメラで撮影した画像のみを表示部28に表示し、シャッターボタンが押下されて(SW2がON)、撮影指示が入力されたことに応じて、アウトカメラで撮影した画像を外部記録媒体91に記録する。ステップS101にて、同時表示モードであると判断した場合には、ステップS102に進む。ステップS102では、表示モードが正像表示モードであるか鏡像表示モードであるかを判断する。鏡像表示モードではなく正像表示モードであると判断される場合は、ステップS103へと進み、デジタルカメラ100の姿勢が縦姿勢かどうかを判断する。具体的には、姿勢検出センサ44の検出結果である回転角度情報を取得し、回転角度情報に基づいてデジタルカメラの姿勢を判断する。撮影方向周り(光軸周り)の回転角度が90度または270の場合が縦姿勢であるので、本実施形態では、取得した回転角度情報が、50〜130度、または、230〜310度の場合に、デジタルカメラ100が縦姿勢であると判断する。そして、取得した回転角度情報が50〜130度、230〜310度の範囲に含まれない場合(0〜50度、130〜230度、310〜360度の場合)は横姿勢であると判断する。ステップS103にてデジタルカメラ100が縦姿勢ではないと判断された場合には、ステップS104において、アウトカメラのスルー画像とインカメラのスルー画像とを回転や鏡像反転処理を行わずに、表示部28に表示する。ステップS103にてデジタルカメラ100が縦位置であると判断された場合には、ステップS105へと進む。ステップS105では、インカメラのスルー画像に対して180度回転する回転処理を施して、アウトカメラのスルー画像と共に表示部28に表示させる。
ステップS102において、鏡像表示モードであると判断された場合は、S106に進み、インカメラで撮影して得られた画像データに対して左右反転させる鏡像反転処理を施して表示部28に表示させる。鏡像表示モードの場合は、デジタルカメラ100を光軸周りに回転させたとしても、インカメラで撮影した画像の被写体の上下方向と天地方向が逆にならないため、デジタルカメラ100が縦姿勢になったとしてもインカメラのスルー画像を180度回転させない。S104、S105、S106において、アウトカメラのスルー画像とインカメラのスルー画像とを表示させる際には、図5(a)のようにアウトカメラで撮影して得られた画像データの上に、インカメラで撮影して得られた画像データをアウトカメラの画像よりも小さいサイズで合成して表示する。ここで、アウトカメラから得られた画像データについては、鏡像反転や回転の処理は施さずに表示される。
続いてデジタルカメラ100はステップS107にて、シャッターボタンが押下されたかどうかを判断する。デジタルカメラ100はステップS107にて、シャッターボタンが押下されたと判断した場合には、ステップS108へと進む。ステップS108では、アウトカメラとインカメラにより静止画像を撮影し、スルー画像の表示状態と同様の構成で、アウトカメラとインカメラの静止画像を合成して外部記録媒体91に静止画像ファイルとして記録する。その後、ステップS101へと戻り、本処理を繰り返す。なお、本処理は、デジタルカメラの電源が切られるまで、撮影モードから他のモードに変更されるまで繰り返し実行される。ステップS107にて、シャッターボタンが押下されていないと判断した場合には、ステップS109へ進み、動画記録ボタンが押下されたかどうかを判断する。ステップS109にて動画記録ボタンが押下されないと判断した場合には、ステップS101へと戻り、本処理を繰り返す。ステップS109にて、動画ボタンが押下されたと判断した場合には、ステップS110へ進み、動画の記録を開始する。動画の記録を開始されると、ステップS111にて動画の撮影および記録処理が行われる。動画の撮影および記録は、表示されているレイアウトでアウトカメラで撮影した動画とインカメラで撮影した動画を合成し、合成して得られた合成動画を外部記録媒体91に記録していく。ステップS112では、動画の撮影および記録を継続しながら再度動画ボタンが押下されたかどうかを判断する。ステップS112にて再度動画ボタンが押下されるまでは、ステップS111に戻り動画の記録を継続する。ステップS112にて、動画ボタンが押下されたと判断した場合には、ステップS113にて動画記録を停止しこれまで記録した合成動画を1つの動画ファイルとして記録する。そして、ステップS101へ戻り処理を繰り返す。
なお、S108および、S111において静止画像または動画を撮影して記録する際には、表示部28への表示と同等のレイアウトで、アウトカメラで撮影した画像とインカメラで撮影した画像が合成される。つまり、S108、S111においても、S102、S103と同様の判断を行い、判断結果に応じて、S104、S105、S106と同様にインカメラで撮影した画像に対する反転、回転処理を行って、アウトカメラで撮影した画像と合成することになる。画像を記録する際(S108、S111)にインカメラで撮影した画像を反転、回転させるかの判断については、表示の場合(S102〜S106)と同じであるため、説明は省略する。
以上の処理を行うことにより、アウトカメラとインカメラの画像を合成した表示や記録を行う場合、デジタルカメラの姿勢(縦姿勢・横姿勢)、及びインカメラ画像の正像・鏡像表示モードによらず、正しい天地状態でインカメラの画像を表示、記録することができる。
なお、上述の実施形態では、インカメラの表示モードが鏡像表示モードである場合には、記録する静止画・動画も鏡像のまま記録するとしたが、インカメラのスルー画像のみを鏡像で表示し、記録は正像で行う、としても良い。その場合、ステップS108、ステップS111において、鏡像表示モードであっても、インカメラで撮影した画像は鏡像反転させずにアウトカメラで撮影した画像と合成して記録する。また、デジタルカメラの姿勢が縦姿勢であると判断される場合には、表示モードが鏡像表示モードであってもインカメラで撮影した画像を180度回転させてアウトカメラで撮影した画像と合成して記録するとよい。
また、上述の実施形態では、アウトカメラで撮影した画像とインカメラで撮影した画像とを合成して表示する場合について説明したが、インカメラで撮影した画像のみを表示する場合にも適応することができる。この場合、インカメラの画像の表示モードが、鏡像表示モードの場合は、インカメラで撮影した画像を左右反転(鏡像反転)させて表示部28に表示させる。そして、正像表示モードの場合は、デジタルカメラ100の姿勢を判断し、横姿勢と判断される場合は、インカメラで撮影した画像を回転、反転させずに表示部28に表示させる。そして、縦姿勢と判断される場合には、インカメラで撮影した画像を反転はさせずに180度回転させて表示部28に表示させるようにする。
(第2の実施形態)
次に、図4を用いて本実施形態におけるデジタルカメラ100の好適な実施例の別な一例を示す。本実施形態は、第1の実施形態と同じ構成を有しており、1回の撮影指示に対して、アウトカメラとインカメラの映像を同時に撮影・記録する。しかし、第2の実施形態では、アウトカメラとインカメラで撮影した画像を合成して一つの静止画、または、動画ファイルとはせず、アウトカメラとインカメラで撮影した画像各々で別の静止画、または、動画ファイルとして記録する。その際、各々の静止画、または、動画ファイルに対し、角度情報を付加する。
図4は本実施形態におけるデジタルカメラ100の撮影時の画像の撮影、記録処理を示すフロー、チャートである。なお、これらの処理についても、システム制御部50が不揮発性メモリ51から読み出したプログラムに基づいて各部の制御や演算処理、判断等を行うことにより実現される。また、撮影時の表示処理については説明は省略するが、第1の実施形態と同様の表示処理を行うとよい。
まず、ステップS201にて、撮影指示に応じてアウトカメラとインカメラの両方で画像を撮影して記録を行う同時記録モードかどうかを判定する。ステップS201において同時記録モードではないと判断した場合には、ステップS202へと進み、ステップS114と同様の通常カメラ動作を行う。通常カメラ動作を行った後はステップS201の処理へと戻る。ステップS201にて同時記録モードだと判断した場合には、ステップS203へと進み、S103と同様に、デジタルカメラ100が縦姿勢かどうかを判断する。ステップS203にてデジタルカメラ100が縦姿勢ではなく横姿勢であると判断した場合には、ステップS205にてアウトカメラの角度情報として0度または180度をメモリ25に記録して保持する。ステップS203にてデジタルカメラ100が縦位置だと判断した場合には、ステップS204にて、アウトカメラ角度情報として90度または270度をメモリ25に記録して保持する。つまり、姿勢検出センサ44から取得したデジタルカメラの回転角度が、0〜50度または310〜360度(−50〜50度)の場合はアウトカメラ角度情報を0度、回転角度が130〜230度の場合はアウトカメラ角度情報を180度とする。そして、回転角度が50〜130度の場合は、アウトカメラ角度情報を90度、回転角度が230〜310度の場合は、アウトカメラ角度情報を、270度とする。
ステップS203で、横姿勢であると判断した場合には、ステップS205にてアウトカメラの角度情報を保持し、その後、ステップS208にて、インカメラの角度情報も、アウトカメラの角度情報と同じものをメモリ25に保持する。ステップS203で縦姿勢であると判断した場合には、ステップS205にて、インカメラで撮影した画像をそのまま正像で記録する正像記録モードか、左右を反転(鏡像反転)した鏡像を記録する鏡像記録モードかを判定する。ここで、記録モードではなく正像表示モードであるか鏡像表示モードであるかを判定してもよい。正像表示モードの場合は、正像が記録され、鏡像表示モードの場合は鏡像が記録されるものとする。ステップS206にて鏡像記録モードであると判断した場合には、ステップS208へ進み、インカメラの角度情報はアウトカメラの角度情報と同じものを保持する。ステップS206にて鏡像記録モードではなく正像記録モードであると判断した場合には、インカメラの角度情報はアウトカメラの角度情報に対して180度位相差を持たせて保持する。つまり、インカメラの角度情報=アウトカメラの角度情報+180、まては、インカメラの角度情報=アウトカメラの角度情報−180となり、アウトカメラの角度情報が90度の場合はインカメラの角度情報は270度、アウトカメラの角度情報が270度の場合はインカメラの角度情報は90度になる。このように、S203〜S208の処理により、デジタルカメラ100の姿勢と正像・鏡像記録モードに依ってアウトカメラとインカメラ各々の角度情報を決定する。アウトカメラとインカメラの角度情報を決定する処理は、ステップS209でシャッターボタンが押下されるか、または、ステップS212で動画記録ボタンが押下されるまで繰り返され、メモリ25には、最新の角度情報に更新される。
ステップS209にてシャッターボタンが押下されたかどうかを判定する。デジタルカメラ100は、ステップS209にてシャッターボタンが押下されたと判断した場合、ステップS210にて、アウトカメラとインカメラでそれぞれ静止画を撮影する。ステップS211へ進み、メモリ25に保持してあるアウトカメラの角度情報とインカメラの角度情報を読み出す。そして、アウトカメラで撮影した静止画にはアウトカメラの角度情報を付加して1つの静止画ファイルとして記録する。さらに、インカメラで撮影した静止画にはインカメラの角度情報を付加して1つの静止画ファイルとして記録する、その後、ステップS201へと戻り、処理を繰り返す。ステップS210にてシャッターボタンが押下されないと判断した場合、ステップS212へ進み動画記録ボタンが押下されたかどうかを判定する。ステップS212にて、動画記録ボタンが押下されないと判断した場合には、ステップS201へ戻り処理を繰り返す。ステップS212にて動画記録ボタンが押下されたと判断した場合、ステップS213へ進み、アウトカメラとインカメラ各々で動画記録を開始する。デジタルカメラ100はステップS214にてアウトカメラとインカメラ各々の動画記録を継続し、ステップS215にて再度動画記録ボタンが押下されたかを判定する。ステップS215にて動画記録ボタンが押下されていないと判断した場合、ステップS214に戻り動画の記録を継続する。ステップS215にて動画記録ボタンが押下されたと判断した場合、ステップS216にて動画の記録を停止する。デジタルカメラ100はステップS217へ進み、メモリ25に保持しているアウトカメラとインカメラの角度情報を読み出す。そして、アウトカメラで撮影した動画にはアウトカメラの角度情報を付加して1つの動画ファイルとして記録し、インカメラで撮影した動画にはインカメラの角度情報を付加して1つの動画ファイルとして記録する、その後、ステップS201へ戻り処理を繰り返す。
以上のような記録処理を行うことにより、アウトカメラとインカメラで撮影した画像を記録する場合、デジタルカメラの姿勢(縦姿勢・横姿勢)、インカメラ画像の正像・鏡像記録モードに関わらず、正しい角度情報を付加した画像を記録することができる。
(第3の実施形態)
次に、図8、図9を用いて本実施形態におけるデジタルカメラ100の好適な実施例の別な一例を示す。本実施形態は、第1の実施形態および第2の実施形態と同じ構成を有しており、アウトカメラとインカメラの映像を同時に表示、記録する。しかし、第3の実施形態では、インカメラの画像を鏡像反転させずに正像表示する際に、インカメラの画像を、デジタルカメラの回転角度の−2倍の角度分回転させてアウトカメラの画像と合成して表示する。
図8(a)〜(h)は、インカメラを鏡像反転表示せずに正像表示する表示モードにおいて、本発明を実施しない場合のデジタルカメラ100の状態、および表示部28の表示画面を示している。
図8(a)は、デジタルカメラ100がアウトカメラの撮影方向周りに回転していない、横位置の場合のデジタルカメラの状態を示しており、図8(e)は、図8(a)の場合に、表示部28に表示される表示画面を示している。
図8(b)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)を中心に反時計周りに30度回転した場合のデジタルカメラの状態を示しており、図8(f)は、図8(b)の場合に、表示部28に表示される表示画面を示している。
図8(c)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)を中心に反時計周りに60度回転した場合のデジタルカメラの状態を示しており、図8(g)は、図8(c)の場合に、表示部28に表示される表示画面を示している。
図8(d)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)周りに90度回転した場合のデジタルカメラの状態を示しており、図8(h)は、図8(d)の場合に、表示部28に表示される表示画面を示している。
図8において、811、812、813、814は、それぞれ、インカメラで撮影された画像であり、821、822、823、824は、それぞれ、アウトカメラで撮影された画像である。831、832、833、834は、それぞれ、アウトカメラの画像における水平方向を示す線で、841、842、843、844は、それぞれ、インカメラの画像における水平方向を示す線である。なお、これらの水平方向を示す線は、表示部には表示されない。なお、図8(a)〜(h)においては、インカメラの被写体とアウトカメラの被写体の位置は変化しておらず、デジタルカメラ100が光軸(アウトカメラの撮影方向)周りに回転することにより、表示部28に表示される画像が変化しているものとする。
ここで、図8(e)〜(h)において、アウトカメラ画像の水平方向831、832、833、834と、インカメラ画像の水平方向841、842、843、844とは、表示部28において、左右対称となっている。これは、アウトカメラの撮影方向とインカメラの撮影方向は逆向きであるため、デジタルカメラ100を回転させた際に、アウトカメラ画像の水平方向と、インカメラ画像の水平方向は逆方向に回転する。
図8(b)のように、デジタルカメラ100を反時計回りに30度回転させた場合には、アウトカメラ画像822の水平方向832は、図8(f)のように、反時計回りに−30度回転した状態になる。それに対し、デジタルカメラ100を反時計回りに30度回転させた場合、インカメラ画像812の水平方向842は、図8(f)のように、反時計回りに30度回転した状態になる。
また、図8(c)のように、デジタルカメラ100を反時計回りに60度回転させた場合には、アウトカメラ画像823の水平方向833は、図8(g)のように、反時計回りに−60度回転した状態になる。それに対し、デジタルカメラ100を反時計回りに60度回転させた場合、インカメラ画像813の水平方向843は、図8(g)のように、反時計回りに60度回転した状態になる。
さらに、図8(d)のように、デジタルカメラ100を反時計回りに90度回転させた場合には、アウトカメラ画像824の水平方向834は、図8(h)のように、反時計回りに−90度回転した状態になる。それに対し、デジタルカメラ100を反時計回りに90度回転させた場合、インカメラ画像814の水平方向844は、図8(h)のように、反時計回りに90度回転した状態になる。
このように、インカメラを正像表示する表示モードにした場合には、インカメラ画像とアウトカメラ画像とでは、水平方向の回転方向が異なるため、インカメラ画像の水平方向と、アウトカメラの水平方向との差は、デジタルカメラの回転角度の2倍となる。
そこで、本実施形態では、インカメラを正像表示する表示モードにおいては、インカメラ画像をデジタルカメラ100の回転角度の2倍回転させて表示することにより、インカメラ画像の水平方向と、アウトカメラの水平方向とをそろえて表示させるようにする。
本実施形態について、図9を参照して説明する。図9は、インカメラ画像を正像表示しながらアウトカメラ画像と共に表示モードにおいて、本実施形態を実施した場合の、デジタルカメラ100の状態、および、表示部28の表示画面を示している。
図9(a)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)周りに回転していない、横位置の場合のデジタルカメラの状態を示しており、図9(e)は、図9(a)の場合に、表示部28に表示される表示画面を示している。
図9(b)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)を中心に反時計周りに30度回転した場合のデジタルカメラの状態を示しており、図9(f)は、図9(b)の場合に、表示部28に表示される表示画面を示している。
図9(c)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)を中心に反時計周りに60度回転した場合のデジタルカメラの状態を示しており、図9(g)は、図9(c)の場合に、表示部28に表示される表示画面を示している。
図9(d)は、デジタルカメラ100が光軸(アウトカメラの撮影方向)周りに90度回転した場合のデジタルカメラの状態を示しており、図9(h)は、図9(d)の場合に、表示部28に表示される表示画面を示している。
また、図9の911、912、913、914はインカメラ画像を示しており、921、922、923、924は、インカメラ画像の水平方向を示している。図8と同様のものについては、図8と同じ番号を付している。
なお、図9(a)〜(h)は、インカメラの被写体とアウトカメラの被写体の位置は変化しておらず、図8と同じであり、デジタルカメラ100が光軸(アウトカメラの撮影方向)周りに回転することにより、表示部28に表示される画像が変化しているものとする。
図9(b)、(f)では、デジタルカメラ100が、反時計回りに30度回転しているが、この時、インカメラ画像912を反時計周りに−60度(時計周りに60度)、つまり、(デジタルカメラの回転角度)×(−2)[度]回転させている。そのため、アウトカメラ画像の水平方向832と、インカメラ画像の水平方向922とが同じ方向になり、アウトカメラ画像とインカメラ画像とで、水平方向および天地状態がそろった状態で、アウトカメラ画像とインカメラ画像が合成表示されている。
図9(c)、(g)では、デジタルカメラ100が、反時計回りに60度回転しているが、この時、インカメラ画像913を反時計周りに−120度(時計周りに120度)、つまり、(デジタルカメラの回転角度)×(−2)[度]回転させている。そのため、アウトカメラ画像の水平方向833と、インカメラ画像の水平方向923とが同じ方向になり、アウトカメラ画像とインカメラ画像とで、水平方向および天地状態がそろった状態で、アウトカメラ画像とインカメラ画像が合成表示されている。
図9(d)、(h)では、デジタルカメラ100が、反時計回りに90度回転しているが、この時、インカメラ画像913を反時計周りに−180度(時計周りに180度)、つまり、(デジタルカメラの回転角度)×(−2)[度]回転させている。そのため、アウトカメラ画像の水平方向834と、インカメラ画像の水平方向924とが同じ方向になり、アウトカメラ画像とインカメラ画像とで、水平方向および天地状態がそろった状態で、アウトカメラ画像とインカメラ画像が合成表示されている。
このように本実施形態では、インカメラ画像を鏡像反転せずに正像でアウトカメラ画像と共に(合成して)表示する場合に、インカメラ画像を、(デジタルカメラの回転角度)の−2倍回転させる。これにより、インカメラ画像とアウトカメラ画像とで水平方向および天地方向をそろえて表示することができる。
また、図9(a)〜(d)のように、撮影者がデジタルカメラを使用しているときに、デジタルカメラの回転に関係なくインカメラ画像が水平状態を保って表示されるようになる。次に、図11を参照して、本実施形態で行う処理について説明する。
図11は、アウトカメラ画像とインカメラ画像を合成する処理のフローチャートである。このフローは、システム制御部50が不揮発性メモリ51から読み出したプログラムに基づいて各部の制御や演算処理、判断等を行うことにより実現される。
まず、ステップS1101において、姿勢検出センサ44により、デジタルカメラ100の光軸(アウトカメラの撮影方向)周りの回転角度を検出する。
次に、ステップS1102において、ステップS1101で検出したデジタルカメラの回転角度αを使用し、画像処理部20において、インカメラ画像を−2α回転させる処理を行う。本実施形態では、インカメラ画像を(デジタルカメラの回転角度)×(−2)回転するようにした。しかし、インカメラ画像を<(デジタルカメラの回転角度)×2>分だけ、デジタルカメラの回転方向とは逆方向に回転させるような処理を行っても、同様の結果が得られる。
そして、ステップS1103において、ステップS1102で回転処理を施したインカメラ画像を、回転していないアウトカメラ画像の上に重畳合成(PinP合成)して合成画像を生成する。合成する位置については、インカメラ画像の中心が、アウトカメラ画像の所定の位置となるように合成する。
このようにして、アウトカメラ画像とインカメラ画像を合成した合成画像を用いて、第1の実施形態や第2の実施形態と同様に、合成画像の表示や記録を行う。
本実施形態では、アウトカメラ画像(アウトカメラのライブビュー画像)にインカメラ画像(インカメラのライブビュー画像)をPinP合成してライブビュー表示する場合について説明した。表示だけでなく、画像を記録する際に同様の処理(インカメラ画像の回転)を行ってもよい。本実施形態では、インカメラ画像を回転することにより、アウトカメラ画像に対するインカメラ画像の合成領域が変化してしまうため、表示の時のみ本実施形態を使用し、記録の際には、第1の実施形態または第2の実施形態の処理を行うようにしてもよい。
また、インカメラ画像を回転させた場合であってもアウトカメラ画像に対するインカメラ画像の合成領域が変化しないように、図10のようにインカメラ画像を円形に切り出して合成するようにしてもより。ことのき切り出した円形のインカメラ画像に対して、デジタルカメラ100の回転角度の−2倍回転し、回転したインカメラ画像を、アウトカメラの特定の領域に合成するようにする。
(その他の実施形態)
以上、本発明の実施形態としてデジタルカメラを例に説明したが、本発明はこれに限定されない。撮像部を有する携帯電話やPC等で実現してもよい。また、撮像部、制御部、表示部、記録部等別装置で構成し、これらの装置を接続したシステムにより本発明を実現してもよい。また、上記の実施形態を組み合わせて本発明を実施してもよい。つまり、画像を撮影する撮像装置だけでなく、撮影した画像を表示するための表示制御装置。撮影した画像を記録するための記録装置も本発明に含まれる。
上述の実施形態では、アウトカメラとインカメラを用いて撮影を行う際、アウトカメラで静止画を撮影する際にはインカメラでも静止画を撮影し、アウトカメラで動画を撮影する際にはインカメラでも動画を撮影した。しかし、必ずしもアウトカメラとインカメラにおいて、静止画同士、または、動画同士を撮影して記録する必要は無い。例えば1回の撮影指示(シャッターボタンの押下)により、アウトカメラでは静止画、インカメラでは数秒の比較的短い動画を撮影する、としてもよい。その場合、デジタルカメラ100はS209でシャッターボタンが押下されたと判断した場合、アウトカメラでは静止画を撮影し、インカメラでは予め決められた時間の動画を撮影した後、S217にて撮影した静止画と動画に角度情報を付加して記録してもよい。
また、上述の実施形態では、正像表示(記録)モードと鏡像表示(記録)モードの両方を有する場合について説明したが、正像表示(記録)モードのみを有する場合に、縦姿勢の場合は180度回転して表示(記録)するようにしてもよい。また、上述の実施形態では、姿勢検出センサ44で検出した回転角度が、50〜130度、または、230〜310度の場合に、デジタルカメラ100が縦姿勢であると判断した。しかし、デジタルカメラ100が、縦姿勢であるか横姿勢であるかの判断が切り替わる閾値(50度、130度、230度、310度)近傍の回転角度の状態である場合には、手ぶれや微小な回転動作により、縦姿勢と横姿勢が頻繁に切り替わってしまう。特に、インカメラのスルー画像を表示している場合は、縦横の姿勢の判断が頻繁に切り替わってしまうと、切り替わる度にスルー画像の回転角度が変わって表示されるため、ユーザはスルー画像を確認し難くなってしまう。そのため、縦横姿勢の判断はあまり頻繁に変化しない方が望ましい。そこで、デジタルカメラ100が横姿勢から縦姿勢に向かって変化する際に縦姿勢であると判断する角度と、デジタルカメラ100が縦姿勢から横姿勢へ戻る際に横姿勢に戻ったと判断する角度を異ならせてもよい。例えば、横姿勢から縦姿勢に向かって変化する際には、50〜130度、230〜310度になったことに応じて縦姿勢になったと判断する。そして、一度、縦姿勢になると、デジタルカメラ100の回転角度が40〜140度、220〜320度である場合に縦姿勢であると判断し、それ以外の角度になった場合に横姿勢になったと判断するようにしてもよい。この場合、横姿勢から縦姿勢に変わるときには、回転角度が50度以上になったことに応じて縦姿勢になったと判断されるが、横姿勢に戻るときは、回転角度が50度以下(未満)になっても横姿勢とは判断されず、40度以下にならないと横姿勢と判断されない。そのため多少デジタルカメラを回転させたとしても、縦横姿勢の判断は変化しないようになる。
また、上記の実施形態では、デジタルカメラ100の姿勢に応じた回転角度の情報を画像に付加して記録した。しかし、角度ではなく、例えば、回転角度が0度のときは0、90度のときは1、180度のときは2、270度のときは3というように、それぞれの角度を示す識別子を回転情報として記録するようにしてもよい。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。