以下、図面を参照して本発明の好適な実施形態を説明する。
(第1の実施形態)
本実施形態では、本発明に係る撮像装置の一例として、デジタルカメラ100を説明する。
<デジタルカメラ100の外観について>
図1は、本発明に係る撮像装置の一例としてのデジタルカメラ100の背面図を示している。
表示部28は画像や各種情報を表示する表示部である。シャッターボタン60は、静止画撮影指示を行うための操作部である。動画撮影ボタン70は、動画撮影指示を行うための操作部材である。操作部62はユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材より成る操作部である。操作部62は、デジタルカメラ100の電源ON、OFFを切り替える電源スイッチ、デジタルカメラ100の動作モードを切り替えるモード切り替えスイッチ、メニュー設定を行うメニューボタン、メニューや設定を指示する十字キーボタンなどが含まれている。記録媒体91はメモリカードやハードディスク等の記録媒体である。蓋93は記録媒体91を収納するための蓋である。
104は、被写体を撮影している撮影者を撮影、または、表示部28に表示されている画像を観賞している鑑賞者を撮影するための、カメラモジュールであり、撮影可能なレンズ、撮像素子等からなる。以後、このカメラをインカメラと呼ぶことする。
インカメラ104は、鑑賞者または撮影者を撮影するために、デジタルカメラ100の表示部28が設けられている側を撮影するように配置されている。また、図1では、表示部28が設けられているデジタルカメラの背面側の外観図であるが、デジタルカメラ100の表側の面には、被写体側を撮影する撮像部であるアウトカメラが設けられている。アウトカメラとサブカメラの光軸(撮影方向)は互いに略平行であり、アウトカメラの光軸(撮影方向)は、サブカメラの光軸(撮影方向)と逆方向に設定されている。
<デジタルカメラ100の構成について>
図2は、本発明の実施例であるデジタルカメラ100の構成を示すブロック図である。
10は、デジタルカメラ100の撮影レンズ11を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。11は撮影レンズ、12は絞り機能を備えるシャッター、13は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子、15は撮像素子13のアナログ信号出力をディジタル信号に変換して画像データを取得するためのA/D変換器である。これらの、バリア10、撮影レンズ11、シャッター12、撮像素子13により、アウトカメラが構成されている。
同様に101の撮影レンズは撮影レンズ11とは別にデジタルカメラ100を使用している撮影者を撮影可能な方向に設置されているズームレンズ、フォーカスレンズを含むレンズ群である。102は絞り機能を備えるシャッターである。103は撮影者側の光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。これらの、撮影レンズ101、シャッター102、撮像素子103により、インカメラが構成されている。
14は撮像素子13や103、A/D変換器15、D/A変換器21にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御部50により制御される。
インカメラについては、インカメラ撮影機能の有効、無効を設定可能である。インカメラ撮影機能を有効に設定されている場合は、撮像素子103から読み出したデータに基づいて生成された画像、つまりインカメラで撮影した画像が外部記録媒体91に記録されることになる。そして、インカメラ撮影機能を無効にしている場合は、撮像素子103を駆動させない、つまり、インカメラでの撮影を行わない。または、撮像素子103を駆動させ、撮影は行ったとしても、撮像素子103からデータを読み出さずに、外部記録媒体91への撮像素子103の出力に基づく画像の記録は行わないようにする。
20は画像処理回路であり、A/D変換器15からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。
また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部50が露光制御部40、測距制御部41に対して制御を行い、AF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。
画像処理回路20において、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB(オートホワイトバランス)処理も行っている。
さらに、画像処理回路20においては、メモリ25に格納された画像を読み込んでJPEG方式やMPEG−4 AVC/H.264方式での圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ25に書き込む。
22はメモリ制御回路であり、A/D変換器15、タイミング発生回路14、画像処理回路20、画像表示メモリ24、D/A変換器21、メモリ25を制御する。
A/D変換器15のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器15のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ25に書き込まれる。
24は画像表示メモリ、21はD/A変換器である。23はTFT、LCD等から成る表示部であり、D/A変換器21を介して画像表示メモリ24に書き込まれた表示用の画像データに基づいて表示を行う。表示部28を用いて撮像した画像データを逐次表示すれば、ライブ映像を表示する電子ファインダ機能を実現することが可能である。このように、表示部28は、撮影した画像やさらに、メニューや設定の変更を行うためのグラフィックユーザインタフェースを表示するためにも用いられる。また、表示部28は、TV等の外部表示装置に映像信号を出力する端子も備えている。システム制御部50は、表示部28に対する表示制御を行うだけでなく、外部表示装置に撮影した画像やグラフィックユーザインタフェースを表示させるように表示制御を行ってもよい。
25は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ25はシステム制御部50の作業領域としても使用することが可能である。
40は絞り機能を備えるシャッター12、102を個別に制御する露光制御手段である。
41は撮影レンズ11、101のフォーカシングを個別に制御する測距制御手段、42は撮影レンズ11、101のズーミングを個別に制御するズーム制御手段、43はバリア10の動作を制御するバリア制御手段である。
50は本デジタルカメラ全体を制御するシステム制御回路である。
51は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。不揮発性メモリ51には、プログラムや各種設定情報等が記録されている。
60はシャッターボタンで、シャッターボタン60の操作途中(半押し状態)でシャッタースイッチSW1がONとなり、SW1信号がシステム制御部50に入力される。SW1信号が入力されると、システム制御部50は、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作開始を指示する。そして、シャッターボタン60の操作完了(全押し)するとシャッタースイッチSW2がONとなり、SW2信号がシステム制御部50に入力される。SW2信号が入力されると、システム制御部50は、アウトカメラによる静止画の撮影、記録動作の開始を指示する。静止画の撮影、記録動作の開始が指示されると、まず、撮像素子13から読み出した信号をA/D変換器15、メモリ制御回路22を介してメモリ25に画像データを書き込む露光処理が行われる。そして、メモリ25に書き込まれた画像データに対して画像処理回路20やメモリ制御回路22での演算を用いた現像処理が行われ、現像処理が施された画像データに対し、画像処理回路20により圧縮を行ってメモリ25に格納する。その後、圧縮された画像データをメモリ25から読み出して、カードコントローラ90を介して、外部記録媒体91に画像データを書き込む。このようにして、SW2信号の入力に応じて、静止画像データの撮影および記録という一連の静止画撮影、静止画記録動作が行われる。
62は、システム制御部50の各種の動作指示を入力するための各種ボタンやタッチパネル等からなる操作部である。電源ボタン、メニューボタン、撮影モード/再生モード/その他特殊撮影モードの切替えを行うモード切替スイッチ、十字キー、セットボタン等である。また、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等も含まれる。さらに、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等も含まれる。さらに、音声認識装置等を用いてもよく、上記のボタンやタッチパネルを単数あるいは複数の組み合わせで構成される。
70は動画撮影ボタンであり、動画撮影ボタンが操作(押下)されたことに応じて、システム制御部は、アウトカメラによる動画の撮影を開始するように指示する。動画撮影開始が指示されると、撮像素子13から信号を読み出し、その信号をA/D変換器15で変換して画像データ取得し、画像処理回路20により動画圧縮処理を行なって外部記録媒体91に記憶する。この、動画圧縮処理および記録処理を、周期的に行うことで、動画を外部記録媒体91に記録する。この動画圧縮処理および記録処理は、再び動画撮影ボタン70が押下されるまで実行される。再び動画撮影ボタン70が押下されると、動画圧縮処理を終了し、それまで記録した動画を1つの動画ファイルとして外部記録媒体91に記録する。
81は電源制御手段である。
80はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。
90はメモリカード等の外部記録媒体とデータの送受信を行うカードコントローラである。91はメモリカード等の外部記録媒体である。
<静止画・動画撮影同時記録モードについて>
デジタルカメラ100は、静止画撮影モードとして、静止画・動画撮影同時記録モードを有している。静止画・動画撮影同時記録モードでは、シャッターボタン60を全押ししたことに応じて、アウトカメラで静止画を撮影して記録すると共に、静止画撮影前にアウトカメラて撮影した動画も外部記録媒体91に記録する。静止画・動画撮影同時記録モードにおいては、静止画の撮影毎に裏で動画(ショートムービー)を自動的に記録し、静止画・動画撮影同時記録モードで記録した動画(ショートムービー)は、毎回同じ動画ファイルに記録される。そのため、ユーザ何も操作しなくても、静止画撮影時の状況をおさめた動画を自動で作成することができ、さらに、複数回の静止画撮影で得られた動画(ショートムービー)を連続的に観賞することができる1つのダイジェスト動画を得ることができる。以降、静止画・動画撮影同時記録モードにおいて動画(ショートムービー)が記録される動画ファイルをダイジェスト用動画ファイルと呼ぶこととする。静止画・動画撮影同時記録モードは、ユーザが操作部62に含まれるモード切り替えスイッチにより静止画の撮影モード設定を切り替えることにより、設定可能である。
静止画・動画撮影同時記録モードにおいて、前述したようにインカメラ撮影機能を有効または無効に設定することができる。インカメラ撮影機能を有効に設定することで、インカメラで撮影した画像を、アウトカメラに撮影した画像に重畳合成して記録することが可能である。インカメラ撮影機能の設定は、ユーザが操作部を操作することにより有効または無効に設定可能である。インカメラ撮影機能の設定ではなく、インカメラで撮影した画像の表示の入/切をユーザの操作により設定可能とし、インカメラ画像の表示が入に設定されている場合にインカメラ撮影機能を有効にし、表示が切の場合にインカメラ撮影機能を無効にしてもよい。
また、静止画・動画撮影同時記録モードにおいては、さらに、ユーザが操作部を操作することによりストップモーションの入/切を設定可能である。ストップモーション設定が入に設定されている場合は、撮影した静止画を動画に変換したストップモーションが作成され、作成されたストップモーションが、静止画・動画撮影同時記録モード用の動画ファイルに記録される。つまり、静止画撮影前の動画(ショートムービー)に続いて、ストップモーションが記録される。ストップモーションの設定が切に設定されている場合は、ストップモーションの生成および記録は行われない。また、ストップモーションの設定が入に設定され、かつ、インカメラ撮影機能を有効に設定されている場合には、撮影した静止画のストップモーションに、インカメラで撮影された動画が合成された合成動画が記録される。
なお、静止画・動画撮影同時記録モードが設定されているときに、動画撮影ボタンで70が押下された場合には、アウトカメラによる動画の撮影および記録処理が開始され、静止画の撮影は行われない。この時記録される動画には、インカメラ撮影機能の設定が有効に設定されている場合は、インカメラで撮影した動画合成されて記録され、インカメラ撮影機能の設定が無効の場合は、アウトカメラで撮影した動画のみが記録される。
つまり、静止画・動画撮影同時記録モードが設定されている場合、シャッターボタン60により静止画の撮影指示があった時には、静止画と動画が記録されるが、動画撮影ボタン70により動画撮影の指示があっても、動画は記録されるが静止画は記録されない。
<静止画・動画撮影同時記録モードでの撮影処理について>
図3、図4は、デジタルカメラ100の静止画・動画撮影同時記録モード時の撮影動作について説明する。なお、これらの処理は、システム制御部50が不揮発性メモリ51から読み出したプログラムに基づいて各部の制御や演算処理、判断等を行うことにより実現される。
まず、デジタルカメラ100において、静止画・動画撮影同時記録モードが選択されると、ステップS301において、露出制御40によって制御された適正露出の撮像素子13の出力を基に表示用画像を生成する。つまり、アウトカメラで撮影したメイン画像に基づいて表示用画像が生成される。以後、アウトカメラの撮像素子13の出力から作成された画像をメイン画像と呼ぶこととする。生成した表示用画像は、メモリ25に一時的に格納する。
ステップS302では、アウトカメラの撮像素子13の出力であるメイン画像を基に動画記録用画像(メイン動画)を生成する。以後、アウトカメラの撮像素子13の出力から作成された動画をメイン動画と呼ぶこととする。生成した動画記録用画像は、メモリ25に一時的に格納する。
ステップS303では、デジタルカメラ100に設定されているインカメラに関する設定を確認する。インカメラ撮影機能が有効となるように設定されていた場合、ステップS304に進み、ステップS304〜S308の処理が行われる。インカメラ撮影機能が無効となるように設定されていた場合には、ステップS304〜S308処理は行わずに、ステップS309に進む。
ステップS304では、デジタルカメラ100に設定されているインカメラの表示位置、表示サイズに関する設定を不揮発性メモリ51から取得する。本実施形態では、インカメラの表示位置、表示サイズをユーザがメニュー等で指示することができ、設定された表示位置、表示サイズの情報が不揮発性メモリ51に格納されている。
ステップS305にでは、露出制御40によって制御された適正露出の撮像素子103の出力を基に、表示用のインカメラ画像を生成する。生成される画像のサイズは、ステップS304で取得したサイズを基に生成される。
ステップS306において、ステップS301で作成したメイン画像の表示用画像とステップS305で作成された表示用インカメラ画像とを合成して、表示用合成画像を生成する。このとき作成される画像は、例えば図5(b)のように、メイン画像の上にインカメラ画像が重畳合成された画像になる。図5のように、表示用のメイン画像500に重畳して表示用インカメラ画像501を配置する場合、表示用インカメラ画像501を重畳する位置は、ステップS304で取得したインカメラ表示位置情報に従う。ステップ306で生成さした表示用合成画像は、ステップS301でメモリ25に格納した表示用画像を上書きする形でメモリ25に一時的に格納する。つまり、メモリ25に格納される表示用画像が、ステップS301で生成したメイン画像から、ステップS306で生成した合成画像に置き換えられる。なお、本実施形態では、図5(b)のように、メイン画像の上にインカメラ画像を重畳合成したが、インカメラ画の上に、小さなメイン画像を重畳合成するようにしてもよい。
ステップS307では、、露出制御40によって制御された適正露出の撮像素子103の出力を基に動画記録用のインカメラ動画を生成する。以後、インカメラの撮像素子103の出力から作成された動画をインカメラ動画と呼ぶこととする。生成されるインカメラ動画のサイズは、ステップS304で取得したサイズを基に生成される。
ステップS308では、、ステップS302で作成した動画記録用のメイン動画とステップS307で作成された動画記録用のインカメラ動画を合成して動画記録用の動画として合成動画を生成する。インカメラ動画の合成位置は、表示用画像と同様の位置に合成されるようにするため、ステップS306と同様にインカメラ表示位置情報に従って、動画記録用メイン動画に動画記録用インカメラ動画を重畳して合成動画を作成する。つまり、S301またはS306で生成される表示用画像とS302またはS308で生成される動画記録用の画像サイズは、メイン画像、インカメラ画像ともにそれぞれ異なっている。しかし、表示用画像と動画記録用画像とで、メイン画像、インカメラ画像のサイズの比率が同じになるように作成され、表示されている画像と記録される画像が同じとなるようにそれぞれ表示用画像、動画用画像を作成する。308で生成した動画記録用の合成動画は、動画記録用画像としてメモリ25に一時的に記録する。つまり、メモリ25に記録される動画記録用画像が、ステップS302で生成したメイン動画から、ステップS308で生成した合成動画に書き換えられる。
ステップS309では、メモリ25に一時的に格納されている表示用画像を表示部28に表示する。つまり、インカメラ撮影機能が有効に設定されている場合は、ステップS306で生成した、例えば図5(b)のような合成画像が表示され、インカメラ撮影機能が無効の場合は、ステップS301で生成した図5(a)のようなメイン画像が表示される。
次に、ステップS310において、メモリ25から動画記録用画像を読み出して画像処理回路20により動画圧縮処理を行い、動画データへと圧縮し、メモリ25に格納する動画記録用画像の動画圧縮処理を開始する。インカメラ撮影機能が有効の場合は、ステップS308で生成した合成画像に基づいて動画データを生成し、インカメラ撮影機能が無効の場合は、ステップS302で生成したメイン画像に基づいて動画データを生成して、メモリ25に格納する。また、動画データの圧縮とともに不図示のマイク等で入力された音声データについてもシステム制御部50に含まれる音声圧縮処理を用いて、圧縮し、メモリ25に格納する。ステップS301〜S310の処理は、基本的には、静止画・動画撮影同時記録モードの間繰り返し実行されることになる。そこで、ここでは、リングバッファ形式で最大4秒間分の圧縮された動画データをメモリ25に保持しておく。
このように、ステップS301〜S310においては、表示用画像の生成および表示処理と、動画記録用画像の生成および動画圧縮処理(メモリ25への一時記録)が行われる。これらの処理は、上記の順番に限定されない。表示用画像の生成および表示処理と、動画記録用画像の生成および一時記録を並行して実行してもよい。
次に、ステップS311において、静止画、動画同時記録モードからのモード変更が行われたか判定する。モード切り替えスイッチによるほかの撮影モードの変更や再生モードへの移行、メニューボタンによる設定メニューへの移行、電源スイッチによる電源OFFなどがモード変更に含まれる。ステップS311においてモード変更が行われたと判断された場合は、ステップS312に進み、動画圧縮処理を終了し、メモリ25に格納していた動画データ、音声データを破棄して、静止画、動画同時記録モードを終了する。ステップS311においてモード変更が行われていないと判断された場合は、ステップS313に進む。
ステップS313では、撮影設定の変更が行われたか確認する。変更されたかを確認する撮影設定項目としては、ホワイトバランス、露出補正値、MF・マクロ撮影などのフォーカス方法切り替え、静止画の画像サイズや圧縮率など撮影時に被写体や状況に応じて、即座に切り替えが必要となる撮影条件が含まれる。これらの撮影設定は、操作部62に含まれる割り当てられた撮影設定変更ボタンや表示部28に併設されたタッチパネルへのユーザ操作に応じて、ユーザが撮影設定を変更するためのGUI画面を表示中の画面に一時的に重畳して提供する。このGUI画面において操作部62またはタッチパネルを操作することより撮影設定を変更することができる。ステップS313において撮影設定が変更されたと判断された場合は、ステップS314に進み、ユーザの変更に応じて撮影設定を変更し、撮影設定が変更されていない場合は、ステップS315に進む。
ステップS315では、インカメラの設定が変更が行われたか確認する。インカメラの設定に関してもユーザの操作に応じて設定可能な項目がある。設定可能な項目としては、表示位置、表示サイズ、また、インカメラの撮影機能の有効・無効の切り替えがある。これらのインカメラに関する設定項目についても操作部62や表示部28に併設されたタッチパネルへのユーザ操作に応じてユーザが設定を変更できる。
ステップS315でインカメラの設定が変更がされたと判定された場合は、ステップS316に進み、動画圧縮処理を停止し、メモリ25に格納していた動画データ、音声データを破棄する。これは、インカメラ表示の設定を変更するとそれまでに記録された動画データとこれから撮影される動画データでインカメラ表示の切り替わりが記録され、動画データの品位が低下することを防ぐ目的がある。次に、ステップS317において、変更されたインカメラの設定が、インカメラ撮影機能の有効・無効設定であるかを確認する。ステップS317においてインカメラ撮影機能の有効・無効が切り替えられたと判定された場合は、ステップS318でインカメラ設定の有効・無効をユーザの指示に従って変更する。そして、ステップS301に戻り、変更された設定に基づいて、ステップS301からの処理を再度行う。ステップS317において変更されたインカメラの設定がインカメラ撮影機能の有効・無効ではなくインカメラ表示の位置、サイズであると判定された場合は、ステップS319において、ユーザの指示に従ってインカメラ表示の位置、サイズをそれぞれ変更する。その後、ステップS301に進み、新たに設定された内容に応じて再度ステップS301からの処理を行う。
インカメラの設定が変更がされていない場合は、ステップS315からステップS320に進む。ステップS320では、シャッターボタン60が半押しされ、SW1信号が入力されたか確認する。SW1信号が入力されていなければ、ステップS321にの処理を行わずにステップS322へ進む。SW1が入力された場合は、ステップS321に進み、デジタルカメラ100に設定されているフォーカスモードや露出モードに応じた合焦・露出処理、つまり前述の撮影準備動作を行う。
ステップS322において、シャッターボタン60が全押しされ、SW2信号が入力されたか確認する。SW2信号が入力されていなければ、ステップS01に戻り、処理を繰り返す。ステップS322において、SW2信号が入力されたと判定した場合、ステップS323において、表示部28の画像表示を一時停止すると共に、ステップS310で開始した動画圧縮処理を一時停止させる。ここでは、すでにメモリ25に格納されている動画データおよび音声データは保持しておく。
次に、ステップS324において、アウトカメラの撮像素子13の出力を基に記録用の静止画データ(メイン静止画)を撮影する。そして、ステップS325において、ステップS324で撮影した静止画データ(メイン静止画)から、画像確認用のレビュー用画像を生成する。そして、ステップS326において、画像処理回路20によりステップS324で撮影した静止画データ(メイン静止画)に対して静止画圧縮処理を行い、記録用の静止画データ(JPEGデータ)を生成し、メモリ25に格納する。ここで、静止画・動画撮影同時記録モードにおいては、インカメラの撮影機能の有効無効の設定に関わらず、インカメラ画像が合成されていないメイン画像のみが静止画として外部記録媒体91に記録されるため、メイン静止画に対して静止画圧縮処理を行っている。
その後、図4に示すステップS401へ進む。
ステップS401では、ステップS326でメモリ25に格納された静止画データ(JPEGデータ)を1つの静止画ファイル(JPEGファイル)として外部記録媒体91に記録する。
次に、ステップS402において、メモリ25に格納されている動画記録用の動画データの動画記録時間(撮影時間)が、所定の時間()t0より長いか否かの判定を行う。本実施形態では、t0=2秒とする。ステップS402において、動画記録時間が2秒以上であると判定した場合はステップS403へ進み、2秒よりも短いと判定した場合はステップS404へ進む。
ステップS403において、メモリ25に格納されている動画データ、音声データを外部記録媒体91に記録する。ここで、動画データおよび音声データは、外部記録媒体91に記録されているダイジェスト用動画ファイルの動画データおよび音声データに追加するようにして記録する。静止画撮影に対応する動画が区別可能となるように、静止画撮影毎に動画をチャプタ分けしてダイジェスト用動画ファイルに記録する。そして、それぞれのチャプタに対応する静止画ファイルを特定できるような静止画特定情報をチャプタ情報として記録し、静止画と動画の関連付けをする。静止画特定情報は、対応する静止画ファイルのファイル名または撮影日時を用いるとよい。チャプタ情報には、このような静止画特定情報や、動画データにおけるそれぞれのチャプタの開始位置(開始フレーム)および時間(フレーム数)または終了位置(終了フレーム)を記載し、ダイジェスト用動画ファイルのヘッダ部に記録するとよい。これにより、動画データ全体を解析しなくても、そのダイジェスト用動画ファイルに含まれている静止画ファイルに対応する動画を判断することが可能となる。また、外部記録媒体91にダイジェスト用動画ファイルがない場合は、新しくダイジェスト用動画ファイルを作成して、メモリ25から読み出した動画データおよび音声データを記録する。また、撮影日が切り替わった場合や、動画データのサイズが所定のサイズよりも大きくなった場合には、新しいダイジェスト用動画ファイルを作成して記録するようにしてもよい。ステップS404では、メモリ25に格納していた動画データ、音声データを破棄する。つまり、動画記録時間(撮影時間)が2秒よりも短い場合は、ステップS325において静止画を撮影する前に撮影して、メモリ25に一時保存していた動画データおよび音声データは外部記録媒体91に記録されず保存されない。これは、あまりに短い動画だと、撮影時の状況を確認することができないため、本実施形態では、2秒よりも短い場合は外部記録媒体91に記録しないようにしている。
次にステップS405において、ステップS325で作成したレビュー用画像を、表示部28に表示する。この表示により、ユーザは、撮影した静止画を確認することができる。
ステップS406において、インカメラの撮影機能が有効か無効かの判定を行う。インカメラ撮影機能が有効であると判定した場合はステップS407へ進み、ステップS407〜S414のインカメラ画像を合成した静止画撮影後動画の生成処理を行う。インカメラ設定が無効の場合はステップS418へ進む。
ステップS407では、ステップS324でアウトカメラで撮影したメイン静止画から動画記録用のストップモーション画像を生成する。つまり、メイン静止画を動画データに変換する。ここで、外部記録媒体91に記録する静止画と動画のアスペクト比が異なる場合は、ストップモーション画像にメイン静止画全体が含まれるようにメイン静止画のリサイズ処理をおこない、メイン静止画領域以外は黒塗りにてストップモーション画像を生成する。例えば、静止画のアスペクトが4:3で動画のアスペクトが16:9の場合、左右の領域を黒塗りしたストップモーション画像が生成される。
次に、ステップS408では、ステップS305と同様に、撮像素子103の出力を基に表示用のインカメラ画像を生成する。
そして、ステップS409では、ステップS306と同様に、表示用合成画像を生成する。ただし、ステップS409では、ステップS324でアウトカメラで撮影したメイン静止画の上に、ステップS408で生成したインカメラ画像を合成して表示用合成画像を生成する。
次に、ステップS410では、ステップS307と同様に、撮像素子103の出力を基に動画記録用のインカメラ動画を生成する。
そして、ステップS411では、ステップS409で生成した表示用合成画像を表示部28に表示する。ここでは、アウトカメラで撮影し外部記録媒体91に記録される静止画の上にインカメラで撮影した画像が動画として表示される。
次に、ステップS412において、ステップS308と同様に、動画記録用画像として、インカメラ動画を合成した合成動画を生成する。ただし、ステップS412では、ステップS407で生成したストップモーション画像の上に、ステップS410で生成したインカメラ動画を合成して動画記録用合成画像を生成する。
そして、ステップS413では、ステップS310と同様に、ステップS412んもおいて生成した合成動画に対して動画圧縮処理を行って動画データを生成し、静止画撮影後動画データとしてメモリ25に格納する。また、動画データの圧縮とともに、不揮発性メモリ51にあらかじめ記憶してあるシャッター音データおよび、不図示のマイク等で入力された音声データについてもシステム制御部50に含まれる音声圧縮処理を用いて、圧縮し、メモリ25に格納する。
ステップS414では、ステップS413にて生成しメモリ25に格納されている静止画撮影後動画データの動画記録時間(撮影時間)が所定の時間t1以上であるかの判定を行う。本実施形態では、t1=2秒とする。動画データの動画記録時間が2秒以上であると判定した場合はステップS420へ進む。動画データの動画記録時間が2秒よりも短いと判定した場合は、ステップS408へ進み、ステップS408〜S414の処理を繰り返す。つまり、インカメラ撮影機能が有効に設定されている場合、静止画のレビュー表示を開始した後に、静止画撮影後動画データの動画記録時間が2秒になるまで、インカメラにより動画が撮影される。そして、静止画撮影後動画データの動画記録時間が2秒になるまで、ストップモーション画像とインカメラ動画を合成した画像の表示と、合成画像の動画圧縮処理が繰り返される。
また、ステップS411において、アウトカメラ撮影して外部記録媒体91に記録した静止画を表示している間に、インカメラにより動画を撮影している。そのため、表示部28により撮影した静止画を確認しているユーザ(撮影者)の表情をインカメラで撮影して、静止画と共に記録することができる。
ステップS415において、静止画撮影前に撮影した動画記録用の動画データの動画記録時間(撮影時間)がt0以上であるか否か判定を行う。動画記録時間の判定の代わりに、ステップS404において動画データのキャンセル処理が行われたか否かを判定してもよい。静止画撮影前動画の動画記録時願がt0より短いためキャンセル処理が行われた場合は、ステップS301へ戻り、最初から処理を繰り返す。静止画撮影前動画の動画記録時願がt0以上でありキャンセル処理が行われなかったと判定した場合はステップS416へと進む。
ステップS416では、ストップモーション設定が入か切かの判定を行う。ストップモーション設定が入の場合はステップS417へ進み、ストップモーション設定が切の場合は、ステップS301へ戻る。
ステップS417では、ステップS407と同様にストップモーション画像を生成する。
次に、ステップS418において、ステップS417で生成したストップモーション画像に対して動画圧縮処理を行い、静止画撮影後動画データとしてメモリ25に格納する。ここで圧縮する音声データは不揮発性メモリ51にあらかじめ記憶してあるシャッター音データおよび無音データである。
ステップS419において、ステップS418にて動画圧縮処理を行い、メモリ25に一時保存されている静止画撮影後動画データの動画記録時間(撮影時間)が、所定の時間t2以上であるかの判定を行う。本実施形ではt2=1秒とする。ステップS419において静止画撮影後動画データの動画記録時間が1秒以上であると判断されるまで、S418のストップモーション画像の動画圧縮処理が繰り返される。
ステップS420において、ステップS413またはステップS419にて動画圧縮処理により作成した静止画撮影後動画データを外部記録媒体91に記録する。記録する際は、ステップS403と同様にダイジェスト用動画ファイルの動画データおよび音声データに追加するようにして記録する。つまり、ステップS403で静止画撮影前の動画データを記録している場合には、静止画撮影前動画データに続いて静止画撮影後動画データが記録されることになる。
ステップS421において、ステップS420の静止画撮影後動画データの記録が完了したか否かの判定を行う。静止画撮影後動画データの記録が完了したと判定した場合は、メモリ25に一時保存している動画データを消去し、S301に戻る。
<各種設定と記録される動画の動画記録パターンについて>
次に、静止画・動画撮影同時記録モードで上記の撮影処理を行った場合に外部記録媒体91に記録される動画データについて、図6、図7を参照して説明する。
図6は、動画記録パターンを説明するための図である。図7は、インカメラの撮影機能設定、静止画撮影前動画データの記録時間(撮影時間)、ストップモーション設定と、静止画・動画撮影同時記録モードで外部記録媒体91に記録される動画のパターンの関係を示す図である。ここで、静止画撮影前動画データの記録時間とは、静止画撮影前にメモリ25に一時記録されている動画データの動画記録時間(撮影時間)のことを示している。
図6を参照して各動画記録パターンについて説明する。
動画記録パターン1では、2〜4秒の静止画撮影前動画と2秒の静止画撮影後動画が記録される。動画記録パターン1では、アウトカメラで撮影したメイン動画にインカメラで撮影したインカメラ動画が合成された合成動画が静止画撮影前動画として記録される。そして、アウトカメラで撮影した静止画から生成したストップモーションにインカメラで撮影したインカメラ動画が合成された合成動画が静止画撮影後動画として記録される。また、静止画撮影前動画の音声データとしては、マイク等で入力された環境音が記録され、静止画撮影後動画の音声データは、まずはシャッター音データが記録され、それに続いて環境音が記録される。
動画記録パターン2では、静止画撮影前動画は記録されず、2秒の静止画撮影後動画のみが記録される。動画記録パターン2では、アウトカメラで撮影した静止画から生成したストップモーションにインカメラで撮影したインカメラ動画が合成された合成動画が静止画撮影後動画として記録される。また、静止画撮影後動画の音声データは、まずはシャッター音データが記録され、それに続いて環境音が記録される。つまり、動画記録パターン2では、動画記録パターン1で記録される静止画撮影後動画と同様の形式で静止画撮影後動画の動画データおよび音声データが記録される。
動画記録パターン3では、2〜4秒の静止画撮影前動画と1秒の静止画撮影後動画が記録される。動画記録パターン3では、インカメラ動画が合成されていないアウトカメラで撮影したメイン動画が静止画撮影前動画として記録される。そして、アウトカメラで撮影した静止画から生成したストップモーションが静止画撮影後動画として記録される。
また、静止画撮影前動画の音声データとしては、マイク等で入力された環境音が記録され、静止画撮影後動画の音声データは、シャッター音データのみが記録され、その後、無音となって記録される。
動画記録パターン4では、2〜4秒の静止画撮影前動画のみが記録され、の静止画撮影後動画は記録されない。動画記録パターン4では、インカメラ動画が合成されていないアウトカメラで撮影したメイン動画が静止画撮影前動画として記録される。また、静止画撮影前動画の音声データとしては、マイク等で入力された環境音が記録される。つまり、つまり、動画記録パターン4では、動画記録パターン3で記録される静止画撮影前動画と同様の形式で、記録される静止画撮影後動画の動画データおよび音声データが記録される。
ここで、ステップS301〜S310の処理においてメモリ25に一時する動画データを、最大4秒間分と設定しているため、静止画撮影前動画は4秒以下になる。さらに、ステップS402〜S404において、メモリ25に格納されている静止画撮影前動画データの記録時間が2秒以上である場合にしか、静止画撮影前動画は外部記録媒体91記録されないため、静止画撮影前動画は2〜4秒となる。
また、動画記録パターン1および2の場合は、静止画撮影後動画として2秒の動画を記録するのに対し、動画記録パターン3では、静止画撮影後動画として1秒の動画を記録する。これは、動画記録パターン1および2の場合はストップモーションにインカメラ動画を合成して、動きのある合成動画が記録されるのに対し、動画記録パターン3では動きのないストップモーションを記録するため、記録時間を短くしている。本実施形態では、動画記録パターン1および2のように、動きのある合成動画が記録される場合に記録する動画を2秒(t1)とし、動画記録パターン3のように動きのない動画を記録する場合は、1秒(t2)と設定している。
次に、図7を参照して、各設定と動画記録パターンの関係について説明する。
まず、インカメラ撮影機能が有効に設定されている場合は、動画記録パターン1または2となる。つまり、インカメラ撮影機能が有効の場合、静止画撮影前動画データの記録時間およびストップモーションの設定に関わらず、必ず静止画撮影後動画としてストップモーションにインカメラ動画が合成された合成動画が記録される。そのため、静止画を観賞中の撮影者の表情や反応を記録することができる。そして、インカメラ撮影機能が有効である場合、静止画撮影前動画データの記録時間が2秒以上であるかに応じて、静止画撮影前動画としてメイン動画にインカメラ動画が合成された合成画像を記録するかが変わる。つまり、予め決められているt0時間以上であるかに応じて合成画像を記録するかが変わる。静止画撮影前動画データの記録時間が2秒(t0)以上の場合は、静止画撮影前動画を記録する。そのため、静止画撮影直前の被写体や撮影者の状況や表情を記録することができる。静止画撮影前動画データの記録時間が2秒(t0)未満の場合は、静止画撮影前動画は記録しない。
インカメラ撮影機能が無効に設定されており、静止画撮影前動画データの記録時間が2秒(t0)未満の場合については、ストップモーションの設定に関わらず動画(静止画撮影前動画および静止画撮影後動画)を記録しない。この場合、静止画撮影前動画データの記録時間が2秒未満なため、ステップS402〜S404で説明したように静止画撮影前動画は記録されない。静止画撮影後動画については、ストップモーションの設定に応じてストップモーションを静止画撮影後動画として記録することもできるが、インカメラ撮影機能が無効に設定されている場合は、インカメラ動画が合成されないストップモーションとなる。インカメラ動画が合成されないと、動きのない動画になってしまう。そのため、インカメラ撮影機能が無効に設定されており、静止画撮影前動画データの記録時間が2秒未満の場合については、ストップモーションの設定に関わらず静止画撮影後動画も記録しないようにしている。
インカメラ撮影機能が無効に設定されており、静止画撮影前動画データの記録時間が2秒(t0)以上の場合については、動画記録パターン3または4となり、静止画撮影前動画が記録される。そのため、静止画撮影直前の状況や被写体の表情の変化等を記録することができる。そして、ストップモーションの設定に応じて、記録するかが決定される。ストップモーションの設定が入の場合は、動画記録パターン3となり、インカメラ動画が合成されないストップモーションが静止画撮影後動画として記録される。ストップモーションの設定が切の場合は、動画記録パターン4となり静止画撮影後動画は記録されない。動画記録パターン3については、動きのないストップモーションを静止画撮影後動画として記録している。これは、撮影前動画と共にストップモーションを記録することで、静止画撮影前と撮影時の画像を両方確認することができるようになるため、動きのないストップモーションを記録するようにしている。
静止画撮影前動画データの記録時間が2秒(t0)以上の場合は、動画記録パターン1または、3または4となり、他の設定に関わらず必ず静止画撮影前動画が記録される。また、静止画撮影前動画データの記録時間が2秒(t0)未満の場合は、動画記録パターン2または動画を記録しないとなる。通常は、静止画撮影前動画データの記録時間が2秒未満の場合は、動画(静止画撮影前動画および静止画撮影後動画)を記録しないのだが、インカメラ撮影設定が有効の場合は、静止画撮影後にインカメラ動画を取得可能である。そのため、動画記録パターン2のように、ストップモーション画像にインカメラ動画を合成した合成動画を静止画撮影後動画として記録するようにしている。
このように、静止画・動画撮影同時記録モードにおいて、上記のように撮影処理を行うことで、図7で示した設定に応じて、適した動画記録パターンで動画を記録することができる。なお、静止画・動画撮影同時記録モードにおいて、動画については図7で示した設定に応じて動画記録パターンや記録するか否かが変化するが、静止画については図7で示した設定に関わらず、記録サイズや圧縮率に応じて記録される。
(その他の実施形態)
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態では、本発明を適応した撮像装置を例に説明したが、カメラ付き携帯電話や携帯ゲーム機等の電子機器で本発明を実施してもよい。また、1つの装置で上述の実施形態の機能を実現せずに、複数の装置、例えば、複数の撮像部を有する撮像装置、表示部を有する表示装置、システム制御部を有する制御装置を接続したシステムで実施してもよい。また、上述の実施形態の一部を適宜組み合わせて実施してもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。