≪第1の実施形態≫
次に、本発明の第1の実施形態について図面を参照して詳細に説明する。
図1には、本第1の実施形態に係る撮像装置としてのデジタルカメラ1の機能ブロック図が示されている。図1に示されるように、本実施形態に係るデジタルカメラ1は、撮像手段としての撮像部10と、モニタ表示用画像処理部11と、LCD制御部12と、LCD13と、静止画処理部20と、第1の動画データ生成手段としての通常動画処理部30と、FIFO(ファースト・イン・ファースト・アウト)メモリ31と、第2の動画データ生成手段としてのダイジェスト動画処理部32と、記録手段としての記録メディア制御部40と、トリガ信号発生手段としての操作部50と、CPU60とを備えている。
撮像部10は、撮像レンズなどの光学系と、例えばCCD(電荷結合素子)やCMOSなどの撮像素子(イメージセンサ)と、それらの駆動回路、信号処理回路(いずれも不図示)を備えている。光学系は、撮像レンズや絞り機構等を備えている。駆動回路の駆動により、合焦や絞りの調整が行われ、光学系を介して入力された光束が撮像素子上に到達すると、撮像素子上に被写体像が結像する。光学系を介して入力された光束は、撮像素子の撮像面(受光面)に入射する。撮像素子は、この被写体像を撮像し、その撮像結果としての画像信号(ベイヤデータ)を生成する。信号処理回路は、撮像素子との通信制御を行い、ベイヤデータの読み出し、読み出されたベイヤデータに対する現像処理などを行なう。ここで、現像処理とは、ベイヤデータの読み出しされた画素ごとにR、G、Bの輝度データを作成する処理のことである。撮像部10は、信号処理回路で処理された画像データ信号を出力している。
モニタ表示用画像処理部11は、撮像部10から出力される画像データ信号を入力し、入力された画像データ信号に対して、リサイズや色変換などの画像処理を行ない、その画像データ信号をモニタ表示に適した形式に変換して出力する。
LCD制御部12は、モニタ表示用画像処理部11から出力された画像データ信号を入力する。LCD制御部12は、入力された画像データ信号に基づく画像がLCD13に表示されるようにLCD13を制御する。この制御により、撮像部10により撮像された画像は、LCD13によって、いわゆるモニタスルー表示される。
静止画処理部20は、モニタ表示用画像処理部11と同様に、撮像部10から出力される画像データ信号を入力している。静止画処理部20は、CPU60からの指示に従い、撮像部10から出力される画像データ信号を入力し、入力された画像データ信号に対して、リサイズ、色変換、圧縮処理(例えばJPEG(Joint Photographic Experts Group))などの画像処理を行ない、1枚分の静止画データを生成して出力する。
通常動画処理部30は、静止画処理部20と同様に、撮像部10から出力される画像データ信号を入力している。すなわち、静止画処理部20と通常動画処理部30とには、撮像部10から出力される画像データ信号が同時に入力されている。通常動画処理部30は、CPU60からの指示に従い、撮像部10から出力される画像データ信号を入力し、入力された画像データ信号に対して、リサイズ、色変換、圧縮処理(例えば、H.264規格に基づく処理)などの画像処理を行ない、動画ストリームを生成して出力する。
FIFOメモリ31は、通常動画処理部30と同様に、撮像部10から出力される画像データ信号を入力している。すなわち、静止画処理部20、通常動画処理部30及びFIFOメモリ31には、撮像部10から出力される画像データ信号が同時に入力されている。FIFOメモリ31は、先入れ先出し型のメモリである。FIFOメモリ31は、撮像部10からの動画像データを所定時間分保持できるだけの容量がある。このFIFOメモリ31は、入力された画像データ信号を所定時間保持し、所定時間経過後に、その画像データ信号を出力するようになる。この所定時間は、任意に設定することができる。本実施形態では、所定時間を、例えば3秒であるものとして説明する。
言い換えると、このFIFOメモリ40は、所定時間前に撮像部10から入力された画像データ信号を出力するものであり、その画像データ信号を所定時間遅延させる遅延手段であるとみなすことができる。
ダイジェスト動画処理部32は、CPU60からの指示に従い、FIFOメモリ31を経由して入力された撮像部10からの画像データに対して、リサイズ、色変換、圧縮処理(例えば、H.264)などの画像処理を行なって、ダイジェスト動画の動画ストリームを生成して出力する。ダイジェスト動画処理部32は、ダイジェスト動画の動画ストリームの生成の開始後、その一旦停止及び再開が可能である。
記録メディア制御部40は、静止画処理部20からの静止画データ、通常動画処理部30からの動画ストリーム、ダイジェスト動画処理部32からの動画ストリームを入力し、それらのデータを、デジタルカメラ1に接続された記録メディアに書き込む。このような記録メディアには、例えば、DVD(デジタル多用途ディスク)などの光ディスク、SD(Secure Digital)メモリーカード、スマートメディア、フラッシュメモリ、メモリースティックがある。記録メディア制御部40には、静止画処理部20からの静止画データ、通常動画処理部30からの動画ストリーム、ダイジェスト動画処理部32からの動画ストリームが同時に送られてくるが、記録メディア制御部40は、これらを同時に入力することが可能である。記録メディア制御部40には、複数の記録メディアが接続できるようになっている。記録メディア制御部40は、静止画処理部20からの静止画データ、通常動画処理部30からの動画ストリーム、ダイジェスト動画処理部32からの動画ストリームを、それぞれ別々の記録メディアに記録することが可能である。このようにすれば、それぞれの動画ストリームを異なる記録メディアに記録するようになるので、それらの動画の管理が容易となる。
操作部50は、デジタルカメラ1本体の外面に設けられた各種ボタンを有している。このようなボタンには、例えばシャッタキー、録画ボタン及び停止ボタンがある。操作部50は、ユーザの操作入力に応じた操作信号をCPU60に送る。
CPU60は、操作部50からの操作信号などに応じて、デジタルカメラ1の各部を統括制御する。例えば、操作部50においてシャッタキーが押下されると、操作部50からCPU60に対してシャッタキーの操作信号が送られる。この操作信号が入力されると、CPU60は、静止画処理部20にシャッタキー押下通知(動作開始命令)を送る。これにより、静止画処理部20は、1枚の静止画データを生成する。
また、操作部50の録画ボタンが押下されると、操作部50からCPU60に対して録画ボタンの操作信号が送られる。この操作信号が入力されると、CPU60は、通常動画処理部30に動作開始命令を送る。これにより、通常動画処理部30は、動画ストリームの生成を開始する。
また、通常動画処理部30による動画ストリームの生成中に、操作部50においてシャッタキーが押下された場合にも、操作部50からCPU60に対してシャッタキーの操作信号が送られる。この操作信号が入力されると、CPU60は、静止画処理部20にシャッタキー押下通知を送るとともに、ダイジェスト動画処理部32にもシャッタキー押下通知(動作開始指令)を送る。これにより、静止画処理部20は1枚の静止画データを生成し、ダイジェスト動画処理部32は、ダイジェスト動画の動画ストリームの生成を開始する。
また、CPU60は、内部にタイマ(不図示)を備えている。このタイマは、ダイジェスト動画処理部32におけるダイジェスト動画の動画ストリームの生成時間を管理するための管理タイマである。この管理タイマでは、通常動画処理部30による動画ストリームの生成中にシャッタキーが押された時点で、時間計測が開始され、この管理タイマの時間計測値が、設定値に達すると、CPU60は、ダイジェスト動画の動画ストリームの生成を一時停止する命令を、ダイジェスト動画処理部32に送る。これにより、ダイジェスト動画処理部32は、ダイジェスト動画の動画ストリームの生成を一旦停止する。再び、CPU60から、動作開始命令が入力されると、ダイジェスト動画処理部32は、ダイジェスト動画の動画ストリームの生成を再開する。このような管理タイマとしては、CPU60が内蔵するカウンタであって、経過時間をカウンタできる一般的なカウンタを用いることができる。
また、操作部50の停止ボタンが押下されると、操作部50からCPU60に対して停止ボタンの操作信号が送られる。この操作信号が入力されると、CPU60は、通常動画処理部30及びダイジェスト動画処理部32に停止命令を送る。これにより、通常動画処理部30及びダイジェスト動画処理部32は、動画ストリームの生成を停止する。
次に、本実施形態に係るデジタルカメラ1の動作について説明する。図2には、ユーザが動画撮影を開始した場合に、CPU60によって実行される処理(動画撮影中の処理)のフローチャートが示されている。この処理は、ユーザが、操作部50の録画ボタンを押下することにより、実行が開始される。
図2に示されるように、ユーザが操作部50の録画ボタンを押下すると、その操作信号を受けて、CPU60は、まず、ステップ201において、通常動画処理部30に動作開始命令を送る。これにより、通常動画処理部30における動画ストリームの生成が開始される。通常動画処理部30で生成された動画ストリームは、記録メディア制御部40に送られ、記録メディア(第1の記録媒体)に記録される。
次のステップ203では、CPU60は、動画撮影を終了するか否かを判断する。この判断は、操作部50で停止ボタンが押下され、停止ボタンの操作信号に基づいて判断される。ここで、まだ、停止ボタンが押下されていなければ、判定は否定され、CPU60は、ステップ205に進む。
ステップ205では、CPU60は、シャッタキーが押下されているかを判断する。まだ、シャッタキーが押されていなければ、判断は否定され、CPU60は、ステップ207に進む。ステップ207では、CPU60は、管理タイマがスタートしてから予め設定された所定期間が経過したか否かを判断する。ここでは、まだ管理タイマがスタートしていないので、判断は否定され、CPU60は、ステップ203に戻る。こうして、操作部50においてシャッタキーが押下されるか、停止ボタンが押下されるか、管理タイマスタート後所定期間が経過するまで、ステップ203→205→207の処理が繰り返される。
この間にも、撮像部10で撮像された画像に基づく動画ストリームが、通常動画処理部30で生成され、記録メディア制御部40を介して、記録メディアに保存されている。また、撮像部10で撮像された画像は、モニタ表示用画像処理部11、LCD制御部12を介して、LCD13でモニタスルー表示されるとともに、ユーザは、LCD13に表示された画像を見ることができるようになっている。ユーザは、LCD13に表示される画像を見て、静止画撮影のための構図決めを行うことができるようになっている。
ステップ203→205→207の処理が繰り返される状態で、操作部50のシャッタキーが押下され、その旨の操作信号が入力されると、ステップ205における判断が肯定され、CPU60は、ステップ209に進む。ステップ209では、CPU60は、静止画処理部30及びダイジェスト動画処理部32にシャッタキー押下通知(動作開始指令)を同時に通知する。シャッタキー押下通知を受信すると、静止画処理部30は、1枚分の静止画生成を行い、ダイジェスト動画処理部32は、ダイジェスト動画の動画ストリームの生成を開始する。静止画処理部20で生成された静止画データは、記録メディア制御部40へ送られる。記録メディア制御部40は、通常動画処理部30で生成される動画ストリームを、記録メディアに記録するのに並行して、この静止画データを、別の記録メディアに記録する。これと同時に、ダイジェスト動画処理部32に生成された動画ストリームも、記録メディア制御部40へ送られる。記録メディア制御部40は、動画ストリームを記録メディアに記録するのに並行して、このダイジェスト動画の動画ストリームを、また別の記録メディア(第2の記録媒体)に記録する。
次のステップ211では、CPU60は、管理タイマを0秒にリセットして、時間計測をスタートさせる。FIFOメモリ31は、撮像部10からの画像データ信号に相当する画像データを3秒分保持し、ダイジェスト動画処理部32には、動作開始指令が入力された時点では3秒前の画像データ信号が入力されるようになっている。したがって、ダイジェスト動画処理部32では、シャッタキー押下時点の3秒前からの動画ストリームの生成が行われることになる。
ステップ211終了後は、CPU60は、ステップ203に戻る。この後、シャッタキーが押下されるか、動画撮影が終了するか、管理タイマがスタートしてから所定期間(例えば6秒)が経過するまで、ステップ203→205→207の処理が繰り返される。この間、通常動画処理部30及びダイジェスト動画処理部32は、動画ストリームを生成し、記録メディア制御部40は、それらの動画ストリームを、同時に別々の記録メディアに記録している。
ここで、管理タイマがスタートしてから所定期間(例えば6秒)経過し、ステップ207の判断が肯定されたものとする。この場合には、ステップ207の判断が肯定され、ステップ213に進む。ステップ213では、管理タイマを停止させる。次のステップ215では、ダイジェスト動画処理部32に一時停止を命令する。これにより、ダイジェスト動画処理部32は、ダイジェスト動画の動画ストリームの生成及び出力を一旦停止する。
なお、ダイジェスト動画処理部32では、シャッタキー押下の3秒前の画像データ信号から動画ストリームの生成を開始しているので、ダイジェスト動画処理部32の動作開始から6秒が経過したときには、シャッタキー押下時の前後3秒ずつの動画ストリームが生成されていることになる。
ステップ215終了後は、ステップ203に戻る。この後、シャッタキーが押下されるか、停止ボタンが押下され動画撮影が終了するか、再び管理タイマがスタートしてから所定期間が経過するまで、ステップ203→205→207の処理が繰り返される。
この後、再びシャッタキーが押されると、ステップ205における判断が肯定され、CPU60は、ステップ209において、静止画処理部20及びダイジェスト動画処理部32にシャッタキー押下通知を同時に通知し、ステップ211において、管理タイマをリセットし、スタートさせる。これにより、静止画処理部20は、1枚の静止画を生成し、ダイジェスト動画処理部32は、動画ストリームの生成及び出力を再開する。これにより、静止画処理部20から静止画データが記録メディア制御部40に送られ、記録メディアに記録されるとともに、ダイジェスト動画処理部32から、記録メディア制御部40に対し、ダイジェスト動画の動画ストリームの入力が再開され、記録メディア制御部40は、一旦停止されたときの動画データと連続した状態で、その動画ストリームを、記録メディアに記録していく。
この後、シャッタキーが押下されるか、停止ボタンが押下され、動画撮影が終了するまで、ステップ203→205→207の処理が繰り返される。そして、所定期間経過すると、ステップ207における判断が否定され、管理タイマの停止(ステップ213)と、ダイジェスト動画処理部32への動画生成の一時停止命令の送信(ステップ215)が行われる。これにより、ダイジェスト動画処理部32での動画ストリームの生成及び出力が一旦停止する。
このように、通常動画処理部30による動画ストリームの生成中に、シャッタキーが押下される度に、CPU60は、静止画処理部20に1枚の静止画を生成させ、ダイジェスト動画処理部32に動画生成を開始させ、管理タイマをスタートさせる。そして、所定期間経過すると、CPU60は、管理タイマを停止させ、ダイジェスト動画処理部32による動画生成を一時停止させる。この間も、通常動画処理部30は、動画ストリームの生成及び出力を中断することなく継続している。
一方、動画撮影が終了され、ステップ203における判断が肯定されると、ステップ217に進む。ステップ217では、通常動画処理部30とダイジェスト動画処理部32に停止命令を送る。この停止命令を受けて、通常動画処理部30及びダイジェスト動画処理部32は、ともに動画ストリームの生成を停止する。記録メディア制御部40は、通常動画処理部30及びダイジェスト動画処理部32から送られた動画ストリームの記録を完了する。次のステップ219では、管理タイマを停止させる。ステップ219を実行した後は、CPU60は、処理を終了する。
以上のような処理を行なうことで、通常動画処理部30による動画ストリームの生成と並行して、ダイジェスト動画処理部32によって、ダイジェスト動画の動画ストリームを別途生成することができるようになる。図3には、ダイジェスト動画が生成される様子の一例が示されている。
図3では、上段に、通常動画処理部30による動画ストリームが示されている。この動画ストリームの各フレームには、それぞれ番号が付与されている。図3では、説明を簡単にするために、この動画ストリームのフレームレートを1fps(フレーム・パー・秒)としているが、実際には、フレームレートは、例えば、30fpsというように、かなり高く設定されている。
ここで、通常動画処理部30において4番フレームの動画ストリームが生成された直後、(すなわち、5番フレームの動画ストリームの生成直前)に操作部50でシャッタキーが押下されたとする。この場合には、ダイジェスト動画処理部32において、その前後6秒間の動画ストリーム、すなわち2番〜7番フレームの動画ストリームがダイジェスト動画処理部32で生成されるようになる。ダイジェスト動画処理部32は、7番フレームの動画ストリームを生成した後に、動画ストリームの生成を一旦停止させた状態となる。
そして、通常動画処理部30において54番フレームの動画ストリームが生成された直後、(すなわち、55番フレームの動画ストリームの生成直前)に操作部50でシャッタキーが押下されたとする。この場合には、ダイジェスト動画処理部32において、動画ストリームの生成が再開され、シャッタキーの押下時点の前後6秒間の動画ストリーム、すなわち52番〜57番フレームの動画ストリームが生成されるようになる。記録メディア制御部40によって、52番〜57番フレームの動画ストリームは、2番〜7番フレームの動画ストリームに続けて記録メディアに記録される。
なお、これまでの説明から明らかなように、本実施形態では、ステップ303が第1の工程(第1の手順)に対応し、ステップ205、209、211、207、213が第2の工程(第2の手順)に対応し、記録メディア制御部40で、第3の工程(第3の手順)が行われる。
≪第2の実施形態≫
次に、本発明の第2の実施形態について説明する。図4には、本実施形態に係るデジタルカメラ2の機能ブロック図が示されている。図4に示されるように、デジタルカメラ2では、通常動画処理部30が、撮像部10からの画像データ信号をそのまま入力するのではなく、FIFOメモリ31を介して入力している点が、図1のデジタルカメラ1の構成と異なっている。なお、本実施形態では、上記実施形態と同一の部材については同一の符号を付し、その説明を省略する。
FIFOメモリ31には、上述のように、撮像部10からの画像データ信号が所定時間保持され、ダイジェスト動画処理部32へ入力される画像データ信号と同様に、通常動画処理部30に入力される画像データ信号を所定時間遅延させる。
このようにすれば、通常動画処理部30においても、ユーザが、録画ボタンを押下する前からの動画ストリームを生成することができるようになる。これにより、録画ボタンを押下する前の映像を録画しておくことが可能となる。このようにすれば、例えば、子供が突然走りだし、録画ボタンを押すのが間に合わなかった場合でも、その瞬間の動画データを録画して残しておくことができるようになる。
なお、ダイジェスト動画処理部32の前段には、FIFOメモリ31を設けずに、通常動画処理部30の前段だけにFIFOメモリ31を設け、入力させる画像データ信号を遅延させるようにしてもよい。
≪第3の実施形態≫
次に、本発明の第3の実施形態について説明する。図5には、本実施形態に係るデジタルカメラ3の機能ブロック図が示されている。図5に示されるように、デジタルカメラ3は、動画ストリームを生成する動画処理部が動画処理部33の1つである点と、第2の動画データ生成手段としてのストリーム制御部34をさらに備えている点とが、上記各実施形態に係るデジタルカメラ1、2と異なっている。なお、本実施形態では、上記各実施形態と同一の部材については同一の符号を付し、その説明を省略する。
動画処理部33は、CPU60からの指示に従い、FIFOメモリ31から出力される画像データ信号を入力し、入力された画像データ信号に対して、リサイズ、色変換、圧縮処理(例えば、H.264)などの画像処理を行ない、動画ストリームを生成して出力する。すなわち、動画処理部33は、上記第2の実施形態に係る通常動画処理部30と、同じ動作を行う。動画処理部33は、生成された動画ストリームを、記録メディア制御部40及びストリーム制御部34の両方へ同時に出力している。
ストリーム制御部34は、動画処理部33の後段に設けられている。ストリーム制御部34は、CPU60からの指示に従い、動画処理部33から入力される動画ストリームから、所定期間の動画ストリームを抽出する。ストリーム制御部34で抽出された動画ストリームは、記録メディア制御部40に送られる。記録メディア制御部40は、この動画ストリームを、記録メディアに記録する。動画処理部33から記録メディア制御部40に直接送られた動画ストリームは、通常動画として記録され、ストリーム制御部34に送られた動画ストリームは、ダイジェスト動画として通常動画が記録される記録メディアとは別の記録メディアに記録されるようになる。
図6には、本実施形態に係るCPU60の動画撮影中の処理のフローチャートが示されている。この処理では、ダイジェスト動画処理部32への命令を送る代わりに、ストリーム制御部33への命令を送る点が、図2のデジタルカメラ1のCPU60の動画撮影中の処理と異なっている。
ステップ301→303→305→307→303…の処理の流れは、図2のステップ201→203→205→207→201…の処理の流れと同じであるので、詳細な説明を省略する。
操作部10のシャッタキーが押下され、ステップ305での判断が肯定されると、CPU60は、ステップ309に進む。ステップ309では、CPU60は、静止画処理部20及びストリーム制御部34にシャッタキー押下通知(動作開始指令)を送り、次のステップ311では、管理タイマをリセットしてスタートさせる。ステップ311終了後は、CPU60は、再び、ステップ303→305→307→303…の処理の流れに戻る。
その後、管理タイマの計測値が所定期間を経過したら、ステップ307の判断が肯定され、CPU60は、ステップ313で、管理タイマを停止し、ステップ315において、ストリーム制御部34に一時停止命令を送る。そして、再び、CPU60は、ステップ303→305→307→303の処理の流れに戻る。
操作部50の停止ボタンが押下され、ステップ303の判断が肯定されると、CPU60は、ステップ317において、動画処理部33、ストリーム制御部34に停止命令を送り、ステップ319において、管理タイマを停止させる。ステップ319終了後は、CPU60は、処理を終了する。
一方、ストリーム制御部34は、図7に示されるように、ステップ401→403を繰り返し、ストリーム出力開始命令か、ストリーム出力一時停止命令がCPU60から入力されるまで待っている。
CPU60からストリーム出力開始命令が入力されると、ステップ401の判断が肯定され、ストリーム制御部34は、ステップ405に進む。ステップ405では、ストリーム制御部34は、動画処理部33から送られてくる動画ストリームから、GOPの先頭を検出する。GOPとは、Group of Pictureの略であり、MPEG(Moving Picture Experts Group)で定められた動画を構成する最小単位のことである。1GOPは、1〜18フレーム、例えば15フレームで構成されている。そして、ステップ407では、検索開始後に最初に検出されたGOPの先頭(通常は、Iフレームの先頭)から動画ストリームの記録メディア制御部40への転送を開始する。記録メディア制御部40では、ストリーム制御部34から送られた動画ストリームを記録メディアに記録する。その後、ストリーム制御部34は、ステップ401→403を再び繰り返す。
この後、CPU60からストリーム出力一時停止命令が入力されると、ステップ403の判断が肯定され、ストリーム制御部34は、ステップ409に進む。ステップ409では、ストリーム制御部34は、再びGOPの先頭を検出し、ステップ411において、検出されたGOPの直前、すなわち、一つ前のGOPの最後までの動画ストリームを記録メディア制御部40に送り、それ以降の動画ストリームの転送を一時停止する。これにより、記録メディア制御部40では、ストリーム制御部34から送られた動画ストリームの記録が一旦停止する。
このように、ストリーム制御部34は、GOP単位で動画ストリームを抽出することができる。このように、動画ストリームをGOP単位で抽出するようにすることで、例えば、再生の際に、Bフレームの再生のためのIフレームやPフレームが存在しないというような不整合の発生が防止され、不都合なく再生可能なダイジェスト動画を生成することができる。
本実施形態に係るデジタルカメラ3では、画像データ信号を動画ストリームに変換する動画処理部を1つにまとめることで、装置全体を小型化し、装置の製造コストを削減することができるようになる。また、上記第2の実施形態に係る撮像装置と同様に、通常の動画ストリームの生成においても、ダイジェスト動画の生成においても、シャッタキーが押下される前の時間の録画を実現することができるようになる。
≪第4の実施形態≫
次に、本発明の第4の実施形態について説明する。図8には、本実施形態に係るデジタルカメラ4の機能ブロック図が示されている。図8に示されるように、このデジタルカメラ4では、動画処理部の前段にFIFOメモリが置かれているのではなく、動画処理部33の後にFIFOメモリ35が置かれている点が、図4のデジタルカメラ3の構成と異なっている。デジタルカメラ4では、データ圧縮された動画ストリームを、FIFOメモリ35に保持するようにしている。この動画ストリームは、画像データ信号よりもデータサイズが小さいため、FIFIメモリ35は、同じ時間のデータを保持するための容量を、デジタルカメラ3のFIFOメモリ31よりも小さくすることができる。この結果、装置全体の製造コストを削減することができるようになる。
≪第5の実施形態≫
次に、本発明の第5の実施形態について説明する。図9には、本実施形態に係るデジタルカメラ5の機能ブロック図が示されている。図9に示されるように、デジタルカメラ5は、検出手段としてのセンサ部51及びトリガ信号発生手段としてのトリガ生成部52がさらに設けられている点が、図8のデジタルカメラ4の構成と異なっている。
なお、センサ部51は、ジャイロセンサや加速度センサなどの各種センサや、各種センサを制御する制御回路などを備えている。センサ部51は、ジェイロセンサや加速度センサによって検出されたデジタルカメラ5の姿勢情報及び変位情報に相当する検出信号を出力している。
トリガ生成部52には、撮像部10からの画像データ信号やセンサ部51からの検出信号が入力されている。トリガ生成部52には、これらの信号を解析して、所定のトリガ条件が満たされたか否かを検出し、トリガ条件が満たされたときに、トリガ信号を発生させる。
CPU60では、操作部50でのシャッタキーの押下とともに、トリガ生成部52からのトリガ信号も入力し、このトリガ信号の入力を、静止画の撮影及びダイジェスト動画の生成開始の条件とする。例えば、図10のフローチャートに示されるように、ステップ305で判断が否定された後、CPU60は、ステップ306において、トリガ処理部52からトリガ信号が入力されたか否かを判定する。この判定が肯定されれば、ステップ309に進み、静止画処理部20やストリーム制御部34への動作開始命令を送り、ステップ311で、管理タイマを、リセット及びスタートさせるようにすればよい。なお、図10のフローチャートの処理は、このトリガ信号の判定処理以外は、図6のフローチャートと同じであるので、この他の処理についての詳細な説明を省略する。
トリガ生成部52において設定できるトリガ条件には、様々なものがある。
例えば、センサ部51の加速度センサから出力される加速度が所定値以上となることをトリガ条件とすることができる。決定的瞬間が到来すると、デジタルカメラ5の撮像視野を撮像対象の方に向けるべく、ユーザがデジタルカメラ5を動かすようになる。そこで、トリガ生成部52は、その動きに応じて生じる加速度を検出し、その加速度が所定のしきい値以上となったときに、トリガ信号を発生させる。CPU60は、そのトリガ信号を入力したときに、ストリーム制御部34に、動作開始指令を送る。このようにすれば、ユーザが決定的瞬間を逃すことなくダイジェスト動画を生成することができるようになる。
例えば、デジタルカメラ5が静止したことをトリガ条件として設定することができる。トリガ生成部52は、センサ部51からの検出信号(加速度センサやジャイロセンサの信号)に基づいて、デジタルカメラ5の姿勢変化や加速度を求め、デジタルカメラ5がパン/チルト中又は大きな手振れの最中でないのか、言い換えると、デジタルカメラ5が静止しているか否かを判定し、デジタルカメラ5が静止したことを検出した場合には、CPU60にトリガ信号を出力することができる。例えば、センサ部51の加速度センサから出力される加速度が所定値以下となったときに、トリガ生成部52はデジタルカメラ5が静止したと判定し、CPU60にトリガ信号を出力することができる。
また、特定の被写体が撮像視野内に入ったことをトリガ条件として設定することができる。この場合、トリガ生成部52は、特定の被写体のテンプレート画像などを予め保持しておき、撮像部10からの画像データ信号に基づく画像データとテンプレート画像との相関性を演算し、このテンプレート画像と相関性の高い(一致度の高い)領域があった場合には、特定の被写体が撮像視野内に入ったとして、トリガ信号をCPU60に出力することができる。
また、止まっていた特定の被写体が動いたことをトリガ条件とすることができる。例えば、トリガ生成部52は、撮像部10からの画像データ信号に基づいて、フレーム間の画像データの各画素の輝度値の差分を求め、フレーム間で、その差分の大きさを示す値(例えば、差分絶対値和や差分二乗和)が所定値を超えた場合には、被写体が移動したと判定し、CPU60にトリガ信号を出力することができる。または、動画処理部33に動きベクトルを出力させ、トリガ生成部52は、特定の領域内の動きベクトルが所定値を超えていることを検出した場合には、被写体が移動したと判定し、CPU60にトリガ信号を出力することができる。
同様に、動いていた特定の被写体が止まったことをトリガ条件とすることができる。例えば、トリガ生成部52は、フレーム間で、上記差分の大きさを示す値が所定値を下回ったことを判定条件とすればよい。または、トリガ生成部52は、フレーム内の全ての動きベクトルが所定値以下であることを判定条件としても良い。なお、このトリガ条件は、撮像したいものをカメラが捉えたことと言い換えることもできる。
さらに、暗い部屋から明るい室外に出たことをトリガ条件とすることができる。この場合には、トリガ生成部52は、撮像部10からの画像データ信号に基づいて、その画像データの全体の輝度値の変化を求めればトリガ条件が満たされたか否かを、検出することができる。また、ろうそくが消されたり、蛍光灯がついたりしたことをトリガ条件とすることができる。このような場合には、例えば、トリガ生成部52は、撮像部10からの画像データ信号に基づいて、その画像データの色合いの変化を求めれば、トリガ条件が満たされたか否かを検出することができる。
なお、デジタルカメラ5では、不図示の音声入力部が設けられており、録画とともに音声も記録されるようになっているが、録画とともに記録される音声の変化もトリガ条件として加えることができる。例えば、「スタート」などの掛け声を、トリガ条件として設定することもできる。その他、センサ部16に、温度センサ、湿度センサ、ユーザの生体情報を検出する生体センサなどを設けておき、気温や湿度の変化、ユーザの緊張度などを検出し、それらをトリガ条件とするようにしてもよい。赤外線センサなどを設けておき、デジタルカメラ5の撮像視野内を何かが横切ったことをトリガ条件とするようにしてもよい。
このように、本実施形態によれば、シャッタキー押下以外の条件をトリガ条件として、ダイジェスト動画の生成が出来るようになる。様々なトリガ条件を設定し、トリガ生成部52からのトリガ信号の発生により、ダイジェスト動画を生成するようにすれば、ユーザが頻繁にシャッタキーを押下しなくてもダイジェスト動画の生成を行うことができるようになるため、録画時のユーザの負担が軽減されるうえ、ダイジェスト動画をより面白みのあるものとすることができるようになる。
以上詳細に説明したように、上記各実施形態によれば、撮像部10からの画像データ信号に基づく動画ストリームの生成中に、操作部50のシャッタキーの押下を含む、何らかのトリガ条件が満たされる度に、ダイジェスト動画の動画ストリームの生成開始と、その開始後から所定期間経過後のダイジェスト動画の動画ストリームの生成の一旦停止とが繰り返される。これにより、長時間の動画ストリームの生成と同時に、短時間の動画ストリームが生成される。生成された短時間の動画ストリームは、長時間の動画ストリームに対するダイジェスト動画となる。このように、長時間録画と同時にダイジェスト動画データが生成されるので、ユーザは、動画データの編集を行う必要がなくなる。また、この動画は、すでにダイジェスト動画として完成されたものであり、単独で再生可能なものであるので、ダイジェスト動画を再生するのに、特別なアプリケーションソフトウエアを有する再生装置で再生する必要がなくなる。この結果、ダイジェスト動画を生成及び再生する際のユーザの利便性を向上させることができる。
≪第6の実施形態≫
次に、本発明の第6の実施形態について説明する。上記各実施形態では、撮像装置によって録画と同時にダイジェスト動画が生成される場合について説明したが、本実施形態では、すでに録画された動画データのダイジェスト動画を生成する画像生成装置について説明する。
図11には、本実施形態に係る画像生成装置6の機能ブロック図が示されている。図11に示されるように、画像生成装置6は、記録メディア制御部41と、デコーダ70と、静止画処理部20と、FIFOメモリ31と、ダイジェスト動画処理部32と、トリガ生成部53と、CPU60と、操作部50と、を備えている。なお、本実施形態では、上記各実施形態と同一の部材については同一の符号を付し、その説明を省略する。
記録メディア制御部41は、静止画処理部20からの静止画データ、ダイジェスト動画処理部32からの動画ストリームを入力し、それらのデータを、デジタルカメラ1に接続された記録メディアに書き込むのは、上記各実施形態における記録メディア制御部40と同様である。さらに、記録メディア制御部41は、CPU60からの指示により、記録メディアから動画ストリームを読み出して出力するようになっている。
デコーダ70は、記録メディア制御部41から読み出された動画ストリームを復号化して画像データ信号や音声信号を生成し、静止画処理部20、FIFOメモリ31、トリガ生成部53に出力している。
トリガ生成部53は、デコーダ70から出力される画像データ信号や音声信号を解析し、その解析の結果、所定のトリガ条件が満たされた場合には、CPU60にトリガ信号を出力する。所定のトリガ条件としては、上記第5の実施形態のトリガ生成部52において、画像データ信号や音声信号を基に検出可能なトリガ条件と同じ条件を設定することができる。
操作部50におけるユーザの操作により、ダイジェスト動画の生成が指示されると、CPU60は、記録メディア制御部41に記録メディアからの動画ストリームの読み出しを開始させる。これにより、記録メディア制御部41は、記録メディアから動画ストリームの読み出しを開始する。読み出された動画ストリームは、デコーダ70により復号化され、デコーダ70から出力された画像データ信号は、トリガ生成部53に入力される。所定のトリガ条件が満たされると、トリガ生成部53からトリガ信号がCPU60に出力される。CPU60は、ダイジェスト動画処理部32にダイジェスト動画を生成させる。生成されたダイジェスト動画は、記録メディア制御部41によって記録メディアに記録される。この際にCPU60で実行される処理の流れは、第1の実施形態でのCPU60の動画撮影中の処理と同様の流れであるので、詳細な説明を省略する。
以上詳細に説明したように、本実施形態に係る画像生成装置によれば、すでに記録された動画からも、ユーザが動画データの編集を行うことなく、特別なアプリケーションソフトウエアを用いずに単独で再生可能なダイジェスト動画を生成できるようになる。
なお、ダイジェスト動画の動画ストリームは、上記第1、第2、第6の実施形態のように、撮像部10からの画像データ信号から生成することもできるし、上記第3〜第5の実施形態のように、長時間録画により生成される動画ストリームから抽出することにより、生成することもできる。なお、長時間録画により生成される動画ストリームから抽出する場合には、必ず、GOPの先頭で動画ストリームを切り出すようにし、ダイジェスト動画の再生に不都合が生じないようにした。
また、上記各実施形態では、FIFOメモリ31、35により、トリガ条件が満たされる前の動画ストリームを生成できるようにした。これにより、トリガ信号が発生する直前の動画もダイジェスト動画に含めるようにすることができる。この結果、ユーザが決定的瞬間を捉える可能性を高めることができるようになる。
上記各実施形態では、FIFOメモリ31、35の容量を、3秒の動画ストリームを記憶できる容量とし、管理タイマの設定時間を6秒としたが、本発明がこれに限られないのは勿論である。例えば、FIFOメモリ31、35の容量を、5秒の動画ストリームを記憶できる容量とし、管理タイマの設定時間を10秒とするようにしてもよく、それ以外の設定も可能である。また、これらの設定をユーザ操作により、可変としてもよい。
なお、FIFOメモリ31、35はなくてもよいのは勿論である。この場合には、トリガ信号が発生した時点から動画ストリームが生成されるようになる。
また、上記第5の実施形態では、センサ部51及びトリガ生成部52を備え、シャッタキーの押下の他、様々なトリガ条件を設定できるようにしたが、このようなセンサ部51及びトリガ生成部52は、上記第1、第2、第3、第4の実施形態に係るデジタルカメラ1、2、3、4にも設けることができるのは勿論である。
なお、上記各実施形態では、記録メディア制御部40を1つとしたが、記録されるデータ毎に記録メディア制御部を備え、それぞれが独立して、記録メディアに各データを記憶できるようにしてもよい。
また、上記各実施形態では、通常動画処理部30で生成される動画ストリームと、静止画データと、ダイジェスト動画の動画ストリームとを、別々の3つの記録メディアに記録するとしたが、1つの共通の記録メディアに記録しても良い。または、例えば静止画データとダイジェスト動画の動画ストリームを共通の記録メディアに記録し、通常動画処理部30で生成される動画ストリームだけを異なる記録メディアに記録しても良い。