以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
図1および図2は、本実施の形態におけるデジタルカメラ(撮像装置)100の前面および背面の構成をそれぞれ示す模式図である。図3は、デジタルカメラ100の内部構成の概略を示すブロック図である。
本実施の形態におけるデジタルカメラ100は、撮影モード、再生モード、設定モードといった複数のモードを有している。撮影モードには、通常撮影モードとダイジェスト動画記録モードとが含まれる。ダイジェスト動画記録モードにおいて、デジタルビデオカメラ100は、動画像のデータをバッファメモリ205に常時記録する。その上で、ユーザからの指示(例えば、レリーズ釦110の押下による静止画の撮影指示、またはダイジェスト動画記録指示)をトリガーとして、バッファメモリ205に記録された動画像データの中から、指示のタイミング付近の所定期間の動画像のデータを、ダイジェスト動画ファイルとして記録する。静止画の撮影指示をトリガーとする場合、静止画の撮影の直前の数秒間の動画像データ、静止画の撮影の直後の数秒間の動画像データ、または静止画の撮影の直前および直後の数秒間の動画像データをメモリカード221等の記録媒体に記録する。あるいは、静止画の撮影を行うことなく、ダイジェスト動画の記録が指示されたタイミングの直前、直後、またはその両方における数秒間の動画像のデータをメモリカード221等の記録媒体に記録してもよい。
本明細書において、上記の所定期間(例えば、静止画撮影タイミングの直前および直後の数秒間)の動画像データの単体を「チャプター」と称する。チャプターは、新しく記録される度に所定の条件を満たすか否かが判定され、条件を満たす場合、これまでに記録されたチャプターに結合され、ひとまとまりの動画像ファイルとして記録される。このようにして作成された動画像ファイルを、「ダイジェスト動画ファイル」と称する。このように、既に記録されたダイジェスト動画ファイルに新たなチャプターの内容を取り込んでそのファイルを更新することを、そのチャプターをダイジェスト動画ファイルに「追記する」と表現する。デジタルカメラ100のコントローラ210は、チャプターが新しく生成される度に、このチャプターを既存のダイジェスト動画ファイルに追記するか、新規のダイジェスト動画ファイルに分割して記録するかを判定する。コントローラ210は、例えば所定期間(例えば1日)に作成されたチャプターをまとめて単一のダイジェスト動画ファイルに記録する。このような動画像データの記録モードを、「ダイジェスト動画記録モード」と呼ぶ。
特に、静止画撮影指示をチャプター生成のトリガーにする場合、デジタルカメラ100は、生成されたチャプターおよび同時に生成された静止画像に関する管理情報を生成する。この管理情報に基づいて、生成されたチャプターが示す動画像区間の一部(例えば、フラッシュ発光区間)を除いた動画像区間によるダイジェスト動画ファイルを生成する。静止画像撮影指示を伴わずにチャプターを生成する場合も同様に、デジタルカメラ100は、チャプターに関連付けられた管理情報に基づいて、チャプターの一部を削除した動画像データを含むダイジェスト動画ファイルを生成することができる。これにより、ユーザにとってより好適なダイジェスト動画を生成できる。
以下、本実施の形態によるデジタルカメラ100の構成および動作をより具体的に説明する。
[1−1.構成]
まずは、図1〜3を参照しながら、本実施の形態によるデジタルカメラ100の構成を説明する。
図1に示すように、デジタルカメラ100は、前面に光学系200を納める鏡筒、フラッシュ113、AF(Auto Focus)補助光源114を備える。また、デジタルカメラ100は、上面にレリーズ釦110、ズームレバー111、電源釦112などを備える。また、図2に示すように、デジタルカメラ100は、背面に液晶ディスプレイ204、およびメニュー釦120や十字釦121などを備える。本明細書では、レリーズ釦110、ズームレバー111、電源釦112、メニュー釦120、十字釦121といったユーザの操作を受け付けるための要素をまとめて「操作部」と呼ぶ。
図3は、デジタルカメラ100の電気的な接続関係を示している。デジタルカメラ100は、撮像部264、画像処理部203、液晶ディスプレイ204、バッファメモリ205、コントローラ210、フラッシュ(ストロボ)113、AF補助光源114、操作部223、フラッシュメモリ222、カードスロット220、通信インターフェース(IF)250、およびGPSユニット270を備えている。撮像部264は、光学系200、CCDイメージセンサ201、およびアナログ・フロント・エンド(AFE)202を有している。画像処理部203は、スルー画像生成部260、静止画像生成部261、および動画像生成部262を有している。図3には、メモリカード221も記載されているが、メモリカード221はデジタルカメラ100構成要素ではなく、カードスロット220に接続可能な外部記録媒体である。
デジタルカメラ100は、光学系200を介して形成された被写体像をCCDイメージセンサ201によって電気信号に変換する(撮像する)。これにより、CCDイメージセンサ201は、撮像面に形成された被写体像に基づく撮像データを生成する。撮像によって生成された撮像データは、AFE202および画像処理部203によって各種の処理を施され、画像データとなる。生成された画像データは、フラッシュメモリ222やメモリカード221といった記録媒体に記録される。フラッシュメモリ222やメモリカード221等に記録された画像データが示す画像は、使用者による操作部223での操作により、液晶ディスプレイ204上に表示される。
以下、図1から図3に示す各構成要素の詳細を説明する。
光学系200は、フォーカスレンズやズームレンズ、絞り、シャッタ等を含む。光学系200は、光学式手ぶれ補正のためのOIS(Optical Image Stabilizer)を含んでいてもよい。光学系200を構成する各種のレンズは何枚から構成されるものでも、何群から構成されるものでもよい。フォーカスレンズ、ズームレンズ、絞り、シャッタは、それぞれに対応するDCモータやステッピングモータ等の駆動機構により、コントローラ210から通知された制御信号に従って駆動される。
CCDイメージセンサ201は、光学系200によって形成された被写体像に基づいて撮像データを生成する撮像素子である。CCDイメージセンサ201は、一定時間ごとに新しいフレームの画像データを生成する。また、CCDイメージセンサ201は、電子シャッタ動作により露出光量を調節する。なお、CCDイメージセンサ201に代えて、例えばCMOSイメージセンサやNMOSイメージセンサなどの他の種類の撮像素子を用いても良い。
AFE202は、CCDイメージセンサ201に接続され、CCDイメージセンサ201で生成された撮像データに対して、相関二重サンプリング、ゲイン調整等の処理を実行する回路である。AFE202は、アナログ形式の撮像データからデジタル形式の撮像データへの変換を施す。その後、AFE202は変換後の撮像データを画像処理部203に出力する。
画像処理部203は、AFE202に接続され、AFE202から出力された撮像データに対して各種処理を施し画像データを生成する回路である。各種処理の例としては、ガンマ補正、ホワイトバランス補正、輝度・色差(YC)変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部203は、AFE202から出力された撮像データに基づいて、その撮像データが示す画像領域の中から特定の被写体の特徴点を抽出することにより、被写体の識別を行うことができる。例えば、予め人物の顔の特徴点を登録しておけば、その人物の顔の認証を行うことができる。
画像処理部203は、例えばデジタルシグナルプロセッサ(DSP)やマイクロコントローラ(マイコン)といった集積回路によって好適に実現され得る。画像処理部203は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェア(コンピュータプログラム)との組み合わせによって構成してもよい。画像処理部203は、スルー画像生成部260、静止画像生成部261、動画像生成部262などの画像生成回路を含んでいる。
スルー画像生成部260は、AFE202から順次出力される撮像データ(例えば、毎秒60フレーム)に基づいて、液晶ディスプレイ204に表示するための画像データを生成する回路である。液晶ディスプレイ204に表示されるリアルタイム映像を見ることにより、ユーザは、撮影画角等を容易に決定することができる。
静止画像生成部261は、レリーズ釦110が押下されたタイミングに取得された撮像データに基づいて、記録用の静止画像を生成する回路である。静止画像生成部261は、例えばJPEG規格に準拠した静止画像ファイルを生成する。静止画像生成部261は、静止画像ファイルの生成の際、ファイル内に当該静止画像に関する管理情報を格納する。管理情報は、絞り値、シャッタースピード、感度、GPS情報、撮影モードに関する情報、フラッシュ発光を用いて撮影されたか否かに関する情報、AF補助光源が使用されたか否かに関する情報などを含む。静止画像生成部261によって生成された静止画像ファイルは、コントローラ210により、メモリカード221に記録される。コントローラ210は、静止画像ファイルをメモリカード221に記録するとき、当該静止画像ファイルに関する管理情報を管理データベースに追記する。
動画像生成部262は、撮像部264から出力された撮像データに基づいて動画像データを生成する回路である。動画像生成部262は、操作部223に含まれる不図示の動画記録釦が押下されたタイミングから、再び動画記録釦が押下(記録停止)されたタイミングまでの間に取得された撮像データに基づいて、記録用の動画像ファイルを生成する。動画像生成部262は、例えば、AVCHD(登録商標)規格や、MP4規格等に準拠した動画像ファイルを生成する。また、ダイジェスト動画記録モードでは、動画像生成部262は、撮像データに基づいて動画像データを常時生成してバッファメモリ205に記録する。そして、レリーズ釦110が押下されたタイミング(以下、「レリーズタイミング」と呼ぶことがある。)付近の所定期間(例えば、レリーズタイミングの直前および直後の数秒間)に取得された撮像データに基づいて、動画像データ(チャプター)を生成する。生成した動画像ファイルおよびチャプターのデータは、コントローラ210により、メモリカード221に記録される。コントローラ210は、チャプターをメモリカード221内のダイジェスト動画ファイルに追記するとき、そのチャプターに関する管理情報を管理データベースに追記する。
ダイジェスト動画記録モードにおいては、レリーズ釦110が押下されたタイミングに取得された撮像データに基づいて、静止画像生成部261は静止画像ファイルを生成する。コントローラ210は、生成された静止画像ファイルを、メモリカード221に記録する。一方、動画像生成部262は、レリーズ釦110が押下されたタイミングの付近の所定期間(例えば、直前および直後の数秒間)に取得された撮像データに基づいて、動画像データ(チャプター)を生成する。コントローラ210は、生成されたチャプターを、ダイジェスト動画ファイルに追記して、メモリカード221に記録する。コントローラ210は、これらのほぼ同じタイミングで生成された静止画像ファイルと、チャプターと、当該チャプターを追記したダイジェスト動画ファイルとを、互いに関連付けてメモリカード221に記録する。具体的には、コントローラ210は、管理データベースを用いて、ほぼ同じタイミングで生成された静止画像ファイルと、チャプターと、当該チャプターを追記したダイジェスト動画ファイルとを互いに関連付ける。管理データベースの詳細は図7を参照しながら後述する。
液晶ディスプレイ204は、デジタルカメラ100の背面に設けられている。液晶ディスプレイ204は、画像処理部203によって処理された画像データに基づく画像を表示する。液晶ディスプレイ204は、画像の他、デジタルカメラ100の設定条件等を表示することも可能である。液晶ディスプレイ204の代わりに、有機EL等の他の種類のディスプレイが設けられていてもよい。
コントローラ210は、デジタルカメラ100全体の動作を統括制御するプロセッサである。コントローラ210は、例えば、プログラム等の情報を格納するROM(Read Only Memory)、およびプログラム等の情報を処理するCPU(Central Processing Unit)の組み合わせによって好適に実現され得る。ROMは、オートフォーカス(AF)制御や自動露出(AE)制御、デジタルカメラ100全体の動作を制御するためのプログラム等を格納する。
コントローラ210は、ハードワイヤードな電子回路で構成してもよいし、マイクロコントローラなどで構成してもよい。また、画像処理部203などと共に1つの半導体チップで構成してもよい。ROMはコントローラ210の内部の構成要素である必要はなく、コントローラ210の外部に設けられていてもよい。コントローラ210は、図3に示すように、他の各部に電気的に接続され、制御信号によって各部を制御する。
コントローラ210は、AF制御を実行することができる。まず、コントローラ210は、画像処理部203から画像データの特定の被写体領域におけるコントラスト値を取得する。コントローラ210は、連続して取得されるコントラスト値に基づき、特定の被写体領域のフォーカス状態を判断して、当該被写体領域に合焦するようにフォーカスレンズを駆動させる。コントローラ210がAF制御を実行するタイミングは、使用者によるレリーズ釦110の半押し操作を受け付けたときでもよいし、撮影モード中は常にAF制御を行うように構成されていてもよい。静止画撮影のときのピント状態に関する情報は、後述する管理データベースにより管理される。
コントローラ210は、また、AE制御を実行することができる。まず、コントローラ210は、画像処理部203から画像データの特定の被写体領域における輝度情報を取得する。コントローラ210は、連続して取得される輝度情報から、被写体の適正露出を得るため露出値を算出する。コントローラ210は、算出された露出値と所定のプログラム線図に従って、絞り値とシャッタースピードを決定する。プログラム線図は、露出値と、絞り値およびシャッタースピードとの関係を規定する情報であり、予めROM等の記録媒体に記録されている。コントローラ210は、画像データから取得される輝度情報を監視しており、AE制御を常時実行する。撮影する際の露出値は、使用者によるレリーズ釦110の半押し操作を受け付けたタイミングで固定してもよいし、全押し操作を受け付けたタイミングで固定してもよい。静止画撮影のときの絞り値、シャッタースピード、感度等の情報は、後述する管理データベースにより管理される。
バッファメモリ205は、画像処理部203およびコントローラ210のワークメモリとして機能する記録媒体である。バッファメモリ205はDRAM(Dynamic Random AccessMemory)などで実現できる。フラッシュメモリ222は、画像データ等を記録するための内部メモリとして機能する。
カードスロット220は、メモリカード221を着脱可能なインターフェースである。カードスロット220は、メモリカード221を電気的および機械的に接続可能である。また、カードスロット220は、メモリカード221を制御する機能を備えていてもよい。
メモリカード221は、内部にフラッシュメモリ等の記録媒体を備えた外部メモリである。メモリカード221は、画像処理部203で処理される画像データなどのデータを記録可能である。本実施形態では、外部メモリの一例としてメモリカード221を示すが、外部メモリはこれには限らない。例えば、ハードディスクや光ディスク等の記録媒体を外部メモリとしてもよい。
操作部223は、デジタルカメラ100の外装に設けられている操作釦や操作ダイヤル等の総称であり、使用者による操作を受け付けるユーザインターフェースとして機能する。操作部223は、例えば図1や図2に示したレリーズ釦110、ズームレバー111、電源釦112、メニュー釦120、十字釦121などを含む。操作部223は、使用者による操作を受け付けると、コントローラ210に種々の動作を指示する信号を送る。
レリーズ釦110は、半押し状態と全押し状態の二段階押下式釦である。ユーザによってレリーズ釦110が半押しされると、コントローラ210は、上述したAF制御およびAE制御を実行して撮影条件を決定する。続いて、ユーザによってレリーズ釦110が全押しされると、コントローラ210は、全押しのタイミングに撮像され生成された画像データ(静止画像およびチャプター)をメモリカード221に記録する。
メニュー釦120は、押下式の釦である。メニュー釦120が使用者によって押下されると、コントローラ210は、液晶ディスプレイ204にメニュー画面を表示させる。メニュー画面は、撮影および再生のための各種条件を設定するための画面である。各種条件の設定項目が選択されているときに押下されるとその項目が決定されるように、メニュー釦120は決定釦として機能するようにしてもよい。
十字釦121は、メニュー釦120の上下左右方向に設けられた押下式釦である。使用者は、十字釦121のいずれかの方向を押下することにより、液晶ディスプレイ204に表示される各種条件項目を選択することができる。
フラッシュ113は、キセノン管、コンデンサ、昇圧回路、発光トリガー回路などを含む。昇圧回路は、コントローラ210からの制御信号に従って、コンデンサに高電圧を印加する。発光トリガー回路は、コントローラ210からの制御信号に従って、印加充電されたコンデンサの高電圧を放電させて、キセノン管内のキセノンガスを瞬間的に発光させる。発光トリガー回路は、コンデンサの高電圧を静止画撮影と同期して放電させる。これにより、デジタルカメラ100は、光が照射された被写体を静止画撮影することができる。フラッシュ113は、被写体に対して撮像時に瞬間的に発光することによって、被写体の明るさを補うことができる。静止画撮影のときにフラッシュ発光がなされたか否かに関する情報は、後述する管理データベースによって管理される。
AF補助光源114は、上述したコントローラ210によるAF制御のときに、被写体の照度を補って、被写体のコントラスト値を取得するために発光させる光源である。被写体の照度が低い場合、被写体からAF制御可能なコントラスト値が得られにくい。AF補助光を発光させることによって、コントローラ210がAF制御可能なコントラスト値が得られるシーンを増やすことができる。AF制御のときにAF補助光の発光がなされたか否かに関する情報は、後述する管理データベースによって管理される。
通信インターフェース250は、無線または有線の通信インターフェースである。コントローラ210は、この通信インターフェース250を介して、例えば、アクセスポイント経由で他の通信機器に接続することができる。通信インターフェース250は、無線LAN、有線LAN等により実現可能である。
GPSユニット270は、人工衛星による測位システムを利用して、デジタルカメラ100の現在位置を検出するGPS受信機である。コントローラ210は、GPSユニット270を介して、現在位置に関する情報(緯度、経度など)を取得することができる。デジタルカメラ100は、GPSユニット270から取得した現在位置に関する情報と、撮影画像(静止画像、チャプター等の動画像)とを関連付けることができる。静止画を撮影したときの現在位置に関する情報は、後述する管理データベースによって管理される。
なお、上記の構成はあくまでも一例であり、コントローラ210が後述する動作を実行する限り、その構成はどのようなものであってもよい。例えば、図3に示す構成要素以外の要素を含んでいてもよいし、一部の構成要素を省略してもよい。
[1−2.動作]
以下、図4〜17を参照しながら、デジタルカメラ100の動作を説明する。
まず、ダイジェスト動画の記録の概要を説明する。以下の説明では、静止画像撮影指示をトリガーとして、当該指示のタイミングの前後の数秒間の動画像をチャプターとして記録する場合を想定する。
図4は、静止画像撮影指示をトリガーとして記録された静止画像と、静止画像撮影指示に伴って記録されたチャプターを撮影時間に沿って、時系列に並べたイメージを示している。図4に示すように、チャプターは、静止画像の直前のものと直後のものとに分類される。ここで、N番目(Nは自然数)のダイジェスト動画をDNと表す。このとき、N番目の静止画撮影直前のチャプターをDN−CNb、N番目の静止画撮影直後のチャプターをDN−CNaと表す。更に、このときの静止画像をDN−PNと表す。したがって、例えば1番目のダイジェスト動画はD1と表される。このとき、1番目の静止画撮影直前のチャプターはD1−C1b、1番目の静止画像撮影直後のチャプターはD1−C1a、静止画像はD1−P1と表される。
このように、ダイジェスト動画記録モードでは、デジタルカメラ100は、静止画像とその前後のチャプターとを、順次メモリカード221に記録していく。
[1−2−1.ダイジェスト動画のメニュー画面構成]
図5は、ダイジェスト動画のメニュー設定画面のイメージを示す図である。本実施の形態におけるデジタルカメラ100は、ユーザによる操作部223からの操作を受け付けて、図5に示すような、ダイジェスト動画のためのメニュー設定画面を液晶ディスプレイ204に表示させることができる。
図5に示すように、ダイジェスト動画のメニュー画面は、メニュー項目として、ダイジェスト動画を記録するか否か(ON/OFF)の設定項目、生成されるチャプターの長さ(例えば、5秒or10秒)の設定項目、静止画記録指示の直後の動画像をチャプターとして生成する(残す)か否か(残す/残さない)の設定項目を有する。これらの設定項目の他、例えば静止画記録指示の直前の動画像をチャプターとして生成するか否か(残す/残さない)の設定項目が設けられていてもよい。ユーザは、操作部223を操作することにより、各設定項目の選択枝のいずれかを選択することができる。
以下の説明では、ダイジェスト動画を記録するか否かの設定項目が「ON」に設定されており、チャプターの長さの設定項目が「5秒」に設定されており、静止画記録指示の直後の動画像をチャプターとして生成する(残す)か否かの設定項目が「残す」に設定されているものとする。
[1−2−2.ダイジェスト動画の管理構成]
次に、図6を参照しながら、ダイジェスト動画記録モードにおいてメモリカード221に記録されるデータの構成を説明する。図6は、メモリカード221に記録されるデータ構成のイメージを示す図である。
メモリカード221には、静止画像と、ダイジェスト動画と、管理データベースとが記録される。管理データベースには、静止画像およびチャプターの撮影に関する情報(「撮影情報」と呼ぶ。)が管理されている。コントローラ210は、管理データベースを参照することにより、メモリカード221に記録された静止画像およびチャプターの撮影情報を把握することができる。管理データベースには、静止画像と、当該静止画像の直前および直後に生成されたチャプターとの対応関係を示す情報(「関係情報」と呼ぶ。)も管理されている。コントローラ210は、管理データベースを参照することにより、メモリカード221に記録された静止画像と、当該静止画像に対応付けられたチャプターを把握することができる。
続いて、管理データベースが管理する管理情報(撮影情報および関係情報)について、図7を用いて説明する。図7は、管理データベースに管理された情報一覧のイメージを示す図である。
図7に示すように、管理データベースには、コンテンツID、コンテンツ種別、ダイジェスト動画ID、実ファイル名称、チャプター情報(開始時刻、終了時刻、チャプタータイトル)、関係情報(対応コンテンツID、静止画前後情報)、撮影情報(撮影日時、シーンモード情報、地理的な位置情報(GPS情報)、縦横情報、フラッシュ情報、手ぶれ情報など)が管理されている。図示される情報の他、例えば地名情報や画角情報を含んでいてもよい。本実施の形態においては、このような管理データベースを用いて各情報を管理する場合を説明するが、各コンテンツデータのヘッダー部(Exifやユーザーデータ領域など)において管理してもよい。
コンテンツIDは、各コンテンツ(静止画像または動画像(チャプター))に固有に付与される番号である。コンテンツ種別は、各コンテンツが、静止画像(Picture)なのか動画像(Video)なのかを示す情報である。ダイジェスト動画IDは、各チャプターを含むダイジェスト動画のIDである。実ファイル名称は、各コンテンツが含まれる実際のファイル名称である。チャプター情報は、各チャプターのタイトル、ダイジェスト動画内の開始時刻および終了時刻を含む。関係情報は、静止画像と、当該静止画像とともに生成されたチャプターとの対応関係を示す情報である。関係情報は、対応コンテンツIDと、静止画像に対する前後情報とを含む。対応コンテンツIDは、静止画像の場合は対応する動画像(チャプター)のコンテンツID、動画像(チャプター)の場合は対応する静止画像のコンテンツIDである。前後情報は、レリーズタイミングの直前のチャプターであるか、直後のチャプターであるかを示す情報である。撮影情報は、上記以外の動画像の規格情報等を含んでいてもよい。
[1−2−3.ダイジェスト動画の記録動作]
次に、ダイジェスト動画の記録動作を説明する。
まず、図8を参照しながら、デジタルカメラ100による動画バッファリング処理を説明する。図8は、動画バッファリング処理を示すフローチャートである。画像処理部203における動画像生成部262は、チャプターを生成するとき、図8に示すフローチャートに従って動画バッファリングを行う。
デジタルカメラ100が撮影モードに設定されているとき、CCDイメージセンサ201は、光学系200を介して形成された被写体像に基づく撮像データを順次生成している。上述したように、CCDイメージセンサ201が生成した撮像データは、AFE202での処理を経た後、画像処理部203に入力される。画像処理部203は、入力された撮像データに対してYC変換処理を施し、YCデータを生成する。一般に、CCDイメージセンサ201が生成する撮像データはRGBデータであるため、RGBデータを輝度成分Yを示すデータと色差成分Cを示すデータとに変換するYC変換処理が行われる。
コントローラ210は、画像処理部203によってYCデータが生成されているか否かを常時監視している(ステップS300)。YCデータが生成されていない場合、コントローラ210は、YCデータの生成の監視を継続する(ステップS300におけるNo)。一方、YCデータが生成されている場合、コントローラ210は、生成されたYCデータに対し、所定の符号化方式に従ってエンコード処理を施すように画像処理部203に指示する。画像処理部203は、コントローラ210からの指示に従って、生成されたYCデータに対し、所定の符号化方式に従ってエンコード処理を施してエンコードデータを生成する(ステップS301)。これにより、動画像(チャプター)のエンコードデータが生成される。
次に、コントローラ210は、バッファメモリ205をリングバッファ状にしてエンコードデータを記録する。すなわち、バッファメモリ205に所定量以上の残記録容量があるか否かを判断する(ステップS302)。バッファメモリ205の残記録容量が所定量よりも小さい場合(ステップS302におけるNo)、コントローラ210は、バッファメモリ205に記録されている一番古いエンコードデータを削除する(ステップS303)。この際、エンコードデータが例えばMPEGのファイルフォーマットに準拠して生成されている場合、GOP(Group Of Picture)単位で削除する。続いて、コントローラ210は、ステップS301において生成したエンコードデータを、記録容量に余裕の出来たバッファメモリ205に記録する(ステップS304)。一方、バッファメモリ205の残記録容量が所定量以上である場合(ステップS302におけるYes)、コントローラ210は、ステップS301において生成したエンコードデータをそのままバッファメモリ205に記録する(ステップS304)。コントローラ210は、ステップS300からステップS304の動作を繰り返す。
次に、図9を参照しながら、静止画像撮影指示をトリガーとする動画像(チャプター)の生成処理を説明する。図9は、ダイジェスト動画の1チャプターを作成する処理を示すフローチャートである。
まず、コントローラ210は、静止画像撮影指示をトリガーとする動画像(チャプター)を作成する命令があったか否かを監視している(ステップS310)。静止画像撮影指示をトリガーとするチャプターを作成する命令があった場合、コントローラ210は、既存のダイジェスト動画ファイルにそのチャプターを追記するか、新規のダイジェスト動画ファイルにそのチャプターを記録するかを決定する(ステップS311)。この判定処理を、「分割判定」と呼ぶ。分割判定は、これから記録しようとするチャプタに関連するダイジェスト動画がメモリカード221に既に記録されているか否かに基づいて行われる。例えば、新たに作成するチャプターと同日に作成したチャプターを含むダイジェスト動画ファイルが既にメモリカード221に記録されている場合、コントローラ210は、既存のダイジェスト動画ファイルに新しく作成するチャプターを追記する。一方、新たに作成するチャプターと同日に作成したチャプターを含むダイジェスト動画がメモリカード221に記録されていない場合、コントローラ210は、既存のダイジェスト動画ファイルとは別の新規ダイジェスト動画ファイルに当該チャプターを記録する。ステップS311では、日付に限らず、他の情報に基づいて関連する既存のダイジェスト動画ファイルを特定してもよい。例えば、撮影場所、写っている被写体、撮影モード等が共通または類似する既存のダイジェスト動画ファイルがあれば、そのファイルに新規に作成したチャプターを追記するようにしてもよい。また、チャプターを作成する際にそのチャプターを既存の特定のダイジェスト動画ファイルに追記するか否かをユーザに選択させてもよい。
次に、コントローラ210は、保存判定処理を行う(ステップS312)。保存判定処理は、バッファメモリ205に蓄積されたエンコードデータをチャプターとして保存するか否かを決定する処理と、チャプターとして保存する動画区間を決定する処理とを含む。ステップS312の保存判定処理の詳細は後述する。ステップS312において、エンコードデータをチャプターとして保存しないことを決定した場合、コントローラ210は、処理を終了する。
ステップS312において、エンコードデータをチャプターとして保存することが決定した場合、コントローラ210は、ステップS312において決定された動画区間に従って、バッファメモリ205に蓄積されたエンコードデータを切り出し、メモリカード221に既に記録されているダイジェスト動画ファイルまたは新規に作成したダイジェスト動画ファイルに記録する(ステップS313)。
次に、コントローラ210は、今回新しく記録したチャプターの情報を管理データベースに追記して、管理データベースを更新する(ステップS314)。管理データベースに追記する管理情報は、図7に示すように、コンテンツID、コンテンツ種別、ダイジェスト動画ID、実ファイル名称、チャプター情報、関係情報、撮影情報などを含む。
[1−2−4.ダイジェスト動画の記録動作(保存判定処理の詳細)]
続いて、図10および図11を参照しながら、ステップS312における保存判定処理の詳細を説明する。
図10は、1チャプターの保存判定処理を説明するための図である。図10は、バッファメモリ205にバッファリングされているエンコードデータ(以下、「バッファリングエンコードデータ」とも呼ぶ。)の時間関係を示している。バッファリングエンコードデータのうち、最も古いバッファリング時刻をT0、動画像(チャプター)作成命令が出された時刻をTrec、バッファリングエンコードデータの総時間をRbufとする。また、保存判定処理に基づいて抽出されるエンコードデータの開始時刻をTsta、終了時刻をTend、その時間をRchapとする。さらに、図5に示した設定画面において設定されたチャプターの長さをRdef、保存判定処理が行われたバッファリングエンコードデータの終端から削除される部分の時間をRdelとする。バッファリングエンコードデータの終端から削除される部分は、そのチャプターの管理情報に基づいて決定される。また、チャプターの最小動画時間をRminとする。最小動画時間とは、チャプターに要求される最小の時間であり、この時間に満たないチャプターは保存されない。
図11は、1チャプターの保存判定処理の詳細を示すフローチャートである。
まず、コントローラ210は、バッファメモリ205に格納されたエンコードデータの総時間Rbufの情報を取得する(ステップS320)。次に、コントローラ210は、バッファメモリ205がバッファリングしているエンコードデータが、最小動画時間を満たしているか否かを判定する(ステップS321)。すなわち、RbufとRminとの大小関係を比較し、Rbuf>Rminであるか否かを判定する。ステップS321においてNoと判定した場合、チャプターの長さが最小動画時間に満たないため、コントローラ210は、チャプターを保存せずに終了する(ステップS322)。
一方、ステップS321においてYesと判定した場合、コントローラ210は、管理データベースから、保存判定処理の対象のチャプターに対応する静止画像の管理情報を取得する(ステップS323)。次に、コントローラ210は、取得した管理情報に基づいて、削除される動画像部分の時間Rdelを算出する(ステップS324)。
ここで、Rdelの算出方法を説明する。管理データベースで管理されている管理情報の中には、Rdelが設定されている項目とされていない項目とが存在する。例えば、管理データベースで管理されているフラッシュ情報には、Rdelが設定されている。これは、静止画撮影のときにフラッシュ撮影されると、静止画撮影の直前の動画像にフラッシュのシーンが含まれることになるので、これを防ぐためである。フラッシュ撮影が行われたことを考慮せずにチャプターを生成してしまうと、フラッシュのシーン(真っ白なシーン)が含まれた鑑賞しにくいチャプターが出来てしまう。そのような事態を防ぐため、本実施の形態のデジタルカメラ100は、フラッシュに関して設定されたRdelの値に基づき、フラッシュ撮影時にはフラッシュのシーン(動画区間)を除くようにチャプターを作成する。これにより、より鑑賞しやすいチャプターを生成することができる。
本実施の形態においては、フラッシュ撮影が行われた静止画像に関連する動画像からフラッシュのシーンを除く場合を例に説明するが、このような例に限定されない。他にも、例えばフラッシュ撮影の際にストロボユニットがポップアップする音が含まれるシーンを除くようにRdelを設定してもよいし、AF補助光の発光が含まれるシーンが除かれるようにRdelを設定してもよい。
これらの特定の撮影条件に該当する場合にチャプタのどの部分をどれだけ削除するかは、例えば管理データベースとは異なる他のデータベース(テーブル)によって管理され得る。図12は、そのようなテーブルに記録される情報の一例を示している。この例では、フラッシュがONに設定されている場合に、チャプター作成命令の直前および直後の0.5秒の動画区間が削除される。また、AF補助光がONに設定されている場合に、チャプター作成命令の直前の0.3秒の動画区間が削除される。図12に示すテーブルには、他の撮影条件に関する情報も記録され得る。このようなテーブルがデジタルカメラ100の記録媒体(例えばフラッシュメモリ222)に記録されていれば、コントローラ210は、管理データベースとともにこのテーブルを参照することによって削除箇所および削除時間Rdelを決定することができる。なお、管理データベース自体に撮影情報の特定の項目に対応する削除箇所および削除時間を示す情報が記録されていてもよい。
次に、コントローラ210は、バッファメモリ205にバッファリングされているエンコードデータから、チャプターとして切り出す保存区間(TstaからTendまでの区間)を算出する(ステップS325)。この際、コントローラ210は、以下の式に従って保存区間を算出する。
Tsta = Trec − Rdef ・・・(式1)
Tend = Trec − Rdel = Tsta + (Rdef − Rdel) ・・・(式2)
Rchap = Tend − Tsta = Rdef − Rdel ・・・(式3)
次に、コントローラ210は、Rdelの値に基づいてエンコードデータの終端部分を削除した後のチャプターの時間Rchapが、最小動画時間Rminよりも長いか否かを判定する(ステップS326)。長いと判定した場合(ステップS326におけるYes)、コントローラ210は、式1、式2に基づいて算出したTsta、Tendに基づき、保存区間を決定する(ステップS328)。一方、短いと判定した場合(ステップS326におけるNo)、コントローラ210は、TendをTrecに置き換える(ステップS327)。そして、コントローラ210は、式1に基づいて算出したTstaとTrecに置き換えたTendとによって保存区間を決定する(ステップS328)。これは、Rdelの値に基づいてエンコードデータの終端部分を削除した場合に最小動画時間を下回ってすぐに終わるシーンが生成されるのを回避するためである。
上記の例では、チャプター作成命令の直前のチャプターの部分が削除されるが、このような例に限定されない。コントローラ210は、チャプター作成命令が出された後のチャプターの部分についても、上記と同様の処理を行ってもよい。以下、チャプター作成命令が出された直後の動画像の部分を削除する処理の例を説明する。
図13は、チャプター作成命令が出された直後のチャプターの保存判定処理を説明するための図である。チャプター作成命令が出された時刻をTrec、保存判定処理に基づいて抽出されるエンコードデータの開始時刻をTsta、終了時刻をTend、その時間をRchap、図5に示した設定画面において設定されたチャプターの長さをRdef、削除される部分の時間をRdelとする。削除される部分は、そのチャプターの管理情報に基づいて決定され得る。ここでも、チャプターの最小動画時間をRminとする。
図14は、この例における1チャプターの保存判定処理の詳細を示すフローチャートである。まず、コントローラ210は、管理データベースから、保存判定処理の対象のチャプターに対応する静止画像の管理情報を取得する(ステップS423)。次に、コントローラ210は、取得した管理情報に基づいて、削除される動画像部分の時間Rdelを算出する(ステップS424)。Rdelの算出方法は、上記の算出方法と同様である。
次に、コントローラ210は、バッファメモリ205にバッファリングされているエンコードデータから、チャプターとして切り出す保存区間(TstaからTendまでの区間)を算出する(ステップS425)。この際、コントローラ210は、以下の式に従って保存区間を算出する。
Tsta = Trec + Rdel ・・・(式4)
Tend = Trec + Rdef = Tsta + (Rdef − Rdel) ・・・(式5)
Rchap = Tend − Tsta = Rdef − Rdel ・・・(式6)
次に、コントローラ210は、Rdelの長さのエンコードデータの先端部分を削除した後のチャプターの時間Rchapが、最小動画時間Rminよりも長いか否かを判定する(ステップS426)。長いと判定した場合(ステップS426におけるYes)、コントローラ210は、式4、式5に基づいて算出したTsta、Tendに基づき、保存区間を決定する(ステップS428)。一方、短いと判定した場合(ステップS426におけるNo)、コントローラ210は、TstaをTrecに置き換える(ステップS427)。そして、コントローラ210は、式1に基づいて算出したTstaとTrecに置き換えたTendとによって保存区間を決定する(ステップS428)。
以上のような処理により、チャプターの不要な部分が削除された鑑賞し易いダイジェスト動画を生成することができる。
なお、上記の説明では、TstaおよびTendによって保存区間を決定するために、保存判定の対象のチャプターに対応する静止画像の管理情報に基づいてRdelの値を取得する例を示したが、このような例に限定されない。例えば、バッファリングされているエンコードデータに関する管理情報を随時内部メモリに保存しておき、ステップS324において、この内部メモリに保存された管理情報に基づいて、不要なシーンを除いたシーン(保存区間)を決定してもよい。より具体的には、動画像の縦撮りか横撮りかを示す情報(縦横情報)を管理情報として逐次記録しておき、カメラが横撮りの状態のシーンのみをチャプターとして切り出すようにしてもよい。バッファリングされているエンコードデータについて、随時内部メモリに保存されている管理情報を活用することにより、チャプターとして切り出す箇所をより柔軟に決定することが可能となる。
[1−3.効果等]
以上のように、本実施形態におけるデジタルカメラ(撮像装置)100は、撮影指示に応答して撮像データを生成して出力するように構成された撮像部264と、撮像部264から出力された撮像データに基づいて、動画像データ(チャプター)を生成するように構成された画像処理部203と、動画像データに関連付けられた管理情報および動画像データの内容の少なくとも一方に基づいて、予め定められた条件に該当する場合に、当該動画像データが示す動画像の一部を削除した編集後の動画像データを含むダイジェスト動画ファイルを生成するように構成されたコントローラ210とを備えている。これにより、不要な部分が削除された鑑賞しやすいダイジェスト動画を生成することが可能となる。
また、本実施形態のある例では、上記撮影指示は静止画像の撮影指示であり、画像処理部203は、当該静止画像の撮影指示に応答して動画像データおよび静止画像データを生成するように構成されている。これにより、静止画像の撮影タイミングに合わせて動画像を記録することができるため、ユーザの希望に沿ったダイジェスト動画ファイルを生成することができる。
また、コントローラ210は、編集後のチャプターのデータおよび静止画像データを統合したダイジェスト動画ファイルを生成することができる。このため、視聴者は、ダイジェスト動画の各シーンがどの静止画像に対応するものかを容易に把握することができる。
また、管理情報は、静止画像の撮影時にフラッシュ113が用いられたか否かを示す情報を含み得る。そして、コントローラ210は、フラッシュ113が用いられたか否かを示す情報に基づいて、画像処理部203によって生成されたチャプターが示す動画像のうち、フラッシュ113の影響が及ぶ部分を削除することによって編集した動画像データを生成するように構成され得る。これにより、フラッシュ113の発光によって真っ白になったシーンを除くことができるため、鑑賞しやすいダイジェスト動画を生成することができる。
また、管理情報は、静止画像の撮影時にオートフォーカス動作のためのAF補助光源114が用いられたか否かを示す情報を含み得る。そしてコントローラ210は、AF補助光源114が用いられたか否かを示す情報に基づいて、画像処理部203によって生成されたチャプターが示す動画像のうち、補助光源114の影響が及ぶ部分を削除することによって編集した動画像データを生成するように構成され得る。これにより、AF補助光源114の影響が及ぶシーンを除くことができるため、鑑賞しやすいダイジェスト動画を生成することができる。
また、コントローラ210は、画像処理部203によって生成されたチャプターに関連するダイジェスト画像ファイルが既に記録媒体(例えばメモリカード221)に記録されているとき、編集後のチャプターを、既存のダイジェスト動画ファイルに追記する。これにより、関連するチャプターは1つのダイジェスト動画ファイルに記録されるため、視聴者は関連性のあるシーンだけをまとめたダイジェスト動画を視聴することができる。
また、画像処理部203は、撮影指示に応答して、撮影指示の時点を含む予め設定された時間に取得された撮像信号に基づいて、チャプターを生成するように構成されている。これにより、生成されるダイジェスト動画ファイルは、撮影指示の前後の動画像を含むことになるため、撮影者の意図に沿ったものになる。
(実施の形態2)
次に、第2の実施の形態を説明する。上記の実施の形態1にかかるデジタルカメラ100は、撮影時に不要なシーンを除いたチャプターを生成するが、本実施の形態にかかるデジタルカメラ100は、撮影時には不要なシーンを除くことなくチャプターを生成する。そして、再生時、編集時、またはアップロード時に不要なシーンを除いたチャプターを生成する。以下、実施形態1と異なる点を中心に説明する。
[2−1.構成]
本実施の形態のデジタルカメラの電気的構成は、図1から図3を参照して説明した実施の形態1にかかるデジタルカメラ100の電気的構成と同様であるため、説明を省略する。また、構成が同様であるため、同じ構成要素には同じ符号を付して説明する。
[2−2.動作]
[2−2−1.ダイジェスト動画の記録動作]
本実施の形態におけるダイジェスト動画の記録動作は、撮影時には不要なシーンを除かずにチャプターを生成する点を除いて、実施の形態1にかかるダイジェスト動画の記録動作と同様である。このため、重複する動作についての説明は省略する。
[2−2−2.ダイジェスト動画の再生動作]
ダイジェスト動画の再生動作を説明する。本実施形態におけるダイジェスト動画の再生動作には、ダイジェスト動画を単体で(チャプターのみを)再生する単体再生動作と、ダイジェスト動画と関連する静止画を混在させて再生する混在再生動作とが含まれる。以下の説明では、図9を参照して説明した動作により、メモリカード221にダイジェスト動画とこれに関連する静止画像とが記録されているものとする。
図15Aは、ダイジェスト動画の単体再生の概要を示す図である。ダイジェスト動画の単体再生動作においては、メモリカード221に記録されたダイジェスト動画のうち、ユーザから再生指示を受けたダイジェスト動画について、単体で再生動作を行う。このとき、コントローラ210は、図15Aに示すように、再生指示を受けたダイジェスト動画について、このダイジェスト動画を構成する各チャプターの間に特殊効果(フェードイン、フェードアウトなど)を挿入して、一連のチャプターを連続再生する。これにより、各チャプターを印象的に再生させることができる。
図15Bは、ダイジェスト動画の混在再生動作の概要を示す図である。ダイジェスト動画の混在再生動作においては、メモリカード221に記録されたダイジェスト動画のうち、ユーザから再生指示を受けたダイジェスト動画について、関連する静止画像と混在させて再生動作を行う。このとき、コントローラ210は、図15Bに示すように、再生指示を受けたダイジェスト動画について、このダイジェスト動画を構成する各チャプターの間に関連する静止画像を特殊効果(フェードイン、フェードアウトなど)とともに挿入して、一連のチャプターを連続再生する。一連のチャプターの連続再生において、静止画像を挿入することにより、各チャプターがどのような静止画像の撮影に伴って記録されたものなのかを容易に把握することが可能になる。また、これにより、静止画像と動画像とを混在させた効果的な演出を伴ったダイジェスト動画の再生を実現することができる。
本実施形態における特殊効果は、特定の態様に限定されない。上記のフェードイン、フェードアウトの他、例えば回転、スライドイン(上/下/左/右)といった特殊効果を挿入してもよい。また、特殊効果の時間は、各チャプターの時間を5秒として、例えば2秒程度の長さに設定され得る。但し、この長さに限定されず、特殊効果の時間は任意に設定してよい。なお、特殊効果を挿入することは必須ではなく、1つのコンテンツが終わった後すぐに次のコンテンツに切り換えてもよい。
次に、図16を参照しながら、具体的なダイジェスト動画の再生動作を説明する。
図16は、ダイジェスト動画の再生動作の一例を示すフローチャートである。コントローラ210は、管理データベースを参照して、再生が指示されたダイジェスト動画に関連するコンテンツを特定する。具体的には、再生が指示されたダイジェスト動画を示すダイジェスト動画IDが設定されたコンテンツ(チャプターおよび静止画像)の中から、初めに再生したいコンテンツを決定してそのコンテンツIDを取得する(ステップS330)。初めに再生したいコンテンツの一例として、撮影時刻が最も古いチャプターなどが挙げられる。
次に、コントローラ210は、管理データベースを参照して、ステップS330で取得したコンテンツIDに関連付けられた管理情報を管理データベースから取得する(ステップS331)。
続いて、コントローラ210は、取得した管理情報に含まれるコンテンツ種別情報を参照し、次に再生するコンテンツが静止画像か動画像かを判定する(ステップS332)。次に再生するコンテンツが静止画像の場合、コントローラ210は、管理情報に含まれる実ファイル名称を取得し、該当する静止画像を再生して液晶ディスプレイ204に表示させる(ステップS333)。次に再生するコンテンツが動画像の場合、コントローラ210は、管理情報に含まれる実ファイル名称およびチャプター情報等を取得し、該当するチャプターを再生して液晶ディスプレイ204に表示させる(ステップS334)。ステップS334におけるチャプターの再生動作の詳細については後述する。
次に、コントローラ210は、ステップS333またはステップS334におけるコンテンツの再生が完了すると、特殊効果を挿入する(ステップS335)。
次に、コントローラ210は、再生が指示されたダイジェスト動画を構成するコンテンツによる一連の再生動作が終了したか否かを判定する(ステップS336)。終了したと判定された場合、コントローラ210は、再生動作を終了する。
一方、再生が指示されたダイジェスト動画を構成するコンテンツによる一連の再生動作が終了していない場合(ステップS336におけるNo)、コントローラ210は、管理データベースを参照して、次に再生するコンテンツのIDを取得する(ステップS337)。次に、ステップS331に戻り、コントローラ210は、管理データベースを参照して、次に再生するコンテンツの管理情報を取得する。以下、ステップS336でダイジェスト動画の終了判定がなされるまで、コントローラ210は、ステップS331からステップS337の動作を繰り返す。これにより、一連のコンテンツの再生を行うことができる。
再生するコンテンツの順番は、例えば以下のように決定され得る。まず初めに静止画撮影前のチャプターを再生し、次に静止画像を再生し、静止画撮影後のチャプターを再生する、というように、時系列順に再生することができる。時系列順に再生することにより、ユーザは、思い出を時間軸に沿って振り返ることができる。ただし、この例に限定されず、コンテンツの再生順序は任意に決定してよい。
図16に示すフローチャートでは、静止画像とチャプターとを混在させて再生する場合を想定したが、チャプターを単体で再生する場合は、ステップS330において、チャプターを示すコンテンツIDのみを選択するようにすればよい。
続いて、図17および図18を参照しながら、ステップS334におけるチャプターの再生動作の詳細を説明する。図17および図18では、説明の便宜上、N番目のチャプターを次に再生するものとして説明する。
図17は、チャプターの再生区間を説明するための図である。図17は、ダイジェスト動画内に含まれているチャプターの時間関係を示している。ここで、N番目のチャプターの開始時刻をTNstaとする。N番目のチャプターの終了時刻は、N+1番目のチャプターの開始時刻と一致するため、TN+1staとする。液晶ディスプレイ204に表示するときのN番目のチャプターの終了時刻をTNendとする。液晶ディスプレイ204に表示させないチャプターの終端からの時間をRdelとする。
図18は、チャプターの再生区間決定処理の詳細を示すフローチャートである。
まず、コントローラ210は、管理データベースを参照して、次に再生するチャプターに関する管理情報を取得する(ステップS340)。次に、コントローラ210は、取得した管理情報に基づいて、Rdelを算出する(ステップS341)。
Rdelは、実施形態1におけるRdelの算出方法と同様の方法によって決定される。管理データベースで管理されている管理情報の中には、Rdelが設定されている項目とされていない項目とが存在する。例えば、管理データベースで管理されているフラッシュ情報には、Rdelが設定され得る。これは、静止画撮影のときにフラッシュ撮影されると、静止画撮影の直前の動画像にフラッシュのシーンが含まれることになるので、そのようなシーンが再生されないようにするためである。フラッシュ撮影が行われたことを考慮せずにチャプターを再生してしまうと、フラッシュのシーン(真っ白なシーン)が含まれた鑑賞しにくい動画像(チャプター)を再生してしまうことになる。そのような事態を防ぐため、本実施の形態のデジタルカメラ100は、フラッシュに関して設定されたRdelの値に基づき、フラッシュのシーンを除くようにチャプターの終了時刻を変更する。これにより、より鑑賞しやすいチャプターの再生を実現することができる。
本実施の形態においても、フラッシュのシーンを除いて再生する場合を例示するが、このような例に限定されない。他にも、例えばストロボユニットがポップアップする音が含まれるシーンをチャプターから除いて再生するようにRdelを設定してもよいし、AF補助光の発光が含まれるシーンが再生されないようにRdelを設定してもよい。
次に、コントローラ210は、N番目のチャプターのうち、再生する区間(再生区間)を算出する(ステップS342)。すなわち、以下の式に従って、コントローラ210は、再生区間(TNsta、TNend)を算出する。
TNsta = TNsta ・・・(式7)
TNend = TN+1sta − Rdel ・・・(式8)
次に、コントローラ210は、ステップS342にて算出した再生区間(TNsta、TNend)のチャプターを再生して液晶ディスプレイ204に表示させる。
以上のように、本実施の形態におけるダイジェスト動画の再生動作によれば、不要なシーンを避けてチャプターを再生することができる。これにより、鑑賞しやすいダイジェスト動画の再生を実現することができる。
なお、この例でも、図11のステップS326と同様の判定処理を行ってもよい。これにより、再生区間の長さRchap=TNend−TNstaが最小動画時間Rminよりも長い場合のみ、部分削除処理が行われるため、短すぎるチャプターの生成を回避することができる。また、本実施形態でも、図13および図14を参照して説明したように、チャプター作成命令の直後の動画像の部分を削除してもよい。
[2−2−3.ダイジェスト動画の編集動作]
次に、図19を参照しながら、ダイジェスト動画の編集動作を説明する。
本実施の形態におけるダイジェスト動画の編集動作によれば、管理データベースに含まれる管理情報に基づいて、チャプターから良好なシーンのみを抽出した良好なダイジェスト動画を作成することができる。良好なシーンをチャプターから抽出する動作は、図18の再生動作において、チャプターから不要なシーンを除いて良好なシーンのみを再生する場合と同様の技術によって実現可能である。
本実施形態では、図19に示すように、一括操作により、ダイジェスト動画から良好なシーンのみを抽出することによって良好なダイジェスト動画を作成するように各チャプターを編集してもよい。また、作成した良好なダイジェスト動画を、新たなダイジェスト動画ファイルとして出力するようにしてもよい。
なお、ダイジェスト動画を編集する主体は、デジタルカメラ100に限らず、パーソナルコンピュータ、携帯情報端末、サーバーコンピュータ等の外部装置(画像処理装置)であってもよい。これらの外部装置によって編集する場合、例えば図6を用いて説明したメモリカード221内のデータをコピーして利用するようにすればよい。
[2−2−4.ダイジェスト動画のアップロード動作]
次に、ダイジェスト動画のアップロード動作を説明する。
本実施の形態におけるコントローラ210は、ダイジェスト動画のアップロードを行うことができる。コントローラ210は、通信インターフェース250を介して、他の通信機器にダイジェスト動画をアップロードする。このとき、コントローラ210は、管理データベースに含まれる管理情報に基づいて、チャプターから良好なシーンのみを抽出した良好なダイジェスト動画をアップロードする。良好なシーンをチャプターから抽出する動作は、図18の再生動作において、チャプターから不要なシーンを除いて良好なシーンのみを再生する場合と同様の技術によって実現可能である。なお、良好なシーンを抽出したダイジェスト動画をアップロードする前に、コントローラ210は、液晶ディスプレイ204にプレビュー画面を表示するようにしてもよい。そして、ユーザが「送信OK」の旨を示す操作を行なった後に、良好なシーンを抽出したダイジェスト動画をアップロードするようにしてもよい。
なお、ダイジェスト動画をアップロードする相手側の装置は、他のデジタルカメラであってもよいし、スマートフォン等の通信機器でもよいし、クラウドサービス上のサーバであってもよい。要するに通信機器であれば何でもよい。
[2−3.効果等]
以上のように、本実施形態の画像処理装置(例えばデジタルカメラ100)によれば、撮影によって生成された複数の動画像データ(チャプター)を含むダイジェスト動画ファイルを取得するように構成されたインターフェース(例えば通信インターフェース250)と、各動画像データについて、当該動画像データに関連付けられた管理情報および当該動画像データの少なくとも一方の内容が、予め定められた条件に該当する場合に、当該動画像データが示す動画像の一部を削除した編集後の動画像データを生成するように構成されたコントローラ210とを備えている。これにより、既に生成されたダイジェスト動画ファイルから、視聴しにくい不要な部分を除いた良好なダイジェスト動画を生成することが可能となる。
また、不要な部分を除いたダイジェスト動画を、別のファイルとして記録媒体に記録することができる。また、不要な部分を除いたダイジェスト動画をディスプレイに表示させたり、他の情報機器にアップロードすることもできる。これにより、視聴者は、撮影を行ったデジタルカメラ100以外の機器で編集された良好なダイジェスト動画を視聴することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1、2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1、2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
上記の実施の形態では、ユーザからの指示(例えば、レリーズ釦110の押下による静止画の撮影指示、またはダイジェスト動画記録指示)をトリガーとして、バッファメモリ205に記録された動画像データの中から、指示のタイミング付近の所定期間の動画像のデータを、ダイジェスト動画ファイルとして記録するようにした。しかし、本開示の技術はこのような形態に限定されない。例えば、コントローラ210は、デジタルカメラ100が管理する時刻を監視しておき、所定の時刻になったことをトリガーとしてもよい。或いは、コントローラ210は、GPSユニット270が出力する地理的座標情報を監視しておき、所定の地理的座標範囲内にデジタルカメラ100が入ったことをトリガーとしてもよい。或いは、ユーザーからの明示的な指示だけをトリガーにするのではなく、カメラ内の記録媒体に格納されたプログラムによって、自動的にトリガーを与えても良い。
上記の実施の形態では、ダイジェスト動画を作成するために、図8で示したように、バッファメモリ205を用いてエンコードデータをバッファリングするようにした。しかし、本開示の技術はこのような形態に限定されない。例えば、連写撮影時のように、バッファメモリ205の容量を大量に使用するような場合は、バッファメモリ205に記録されているエンコードデータを破棄することによってバッファメモリ205を開放するようにしてもよい。これにより、ダイジェスト動画記録によって、連写撮影などの他の撮影操作を妨害してしまう事態を回避することができ、利便性が向上する。
上記の実施の形態では、ダイジェスト動画を構成するチャプターから除かれるシーンとして、主にフラッシュの発光が行われたシーン、AF補助光の発光が行われたシーンを例示したが、これらのシーンに限定されない。例えば、静止画撮影のための絞り動作量が所定量以上のシーンや、静止画撮影のためのズームレンズの移動速度が所定速度以上のシーンを除くようにしてもよいし、高速AF動作を行うために画質を落として高フレームレートに変更しているシーンを除くようにしてもよい。これにより、動画像として鑑賞しにくいシーンを除くことができ、ユーザはダイジェスト動画を快適に楽しむことができる。
また、コントローラ210は、チャプター作成命令が出された時刻の直前または直後に限らず、保存しようとしている動画像のうち、チャプターとして保存することが適当でない任意のシーンを削除してもよい。チャプターとして保存することが適当でないシーンの上記以外の例としては、カメラの動き(手振れ)もしくは傾きの程度が大きいシーン、輝度レベルが高すぎるもしくは低すぎるシーン、焦点が合っていないシーン、音声レベルが高すぎるもしくは低すぎるシーン、等が挙げられる。不適切なシーンであるか否かの判定、および不適切なシーンをどの程度削除するかは、管理情報だけでなく、動画像の内容を解析してその解析結果に基づいて判定してもよい。言い換えれば、コントローラ210は、チャプターに関連付けられた管理情報およびチャプター自身のデータの少なくとも一方の内容が、予め定められた条件に該当する場合に、チャプターが示す動画像の一部を削除した編集後の動画像データを含む動画像ファイルを生成するように構成されていればよい。
上記の実施の形態では、例えば、フラッシュがONに設定されている場合に、チャプター作成命令の直前および直後の0.5秒の動画区間が削除されるようにした。しかし、本開示の技術はこのような形態に限定されない。すなわち、フラッシュがONに設定されている場合に、フラッシュの区間であるとするチャプター作成命令の直前および直後の0.5秒の動画区間をチャプターとして採用しないようにすればよい。このとき、チャプター作成命令の直前および直後の0.5秒の動画区間を採用しない代わりに、チャプターとして採用する動画区間を時間的に前に或いは、時間的に後に伸長させるようにしてもよい。具体的には、チャプターの長さの設定項目が「5秒」に設定されているとき、フラッシュの動画区間である「0.5秒」を除いて「4.5秒」とするのではなく、あくまでも「5秒」を維持するように、チャプターとして採用する動画区間を時間的に前に或いは、時間的に後に伸長させるようにしてもよい。
本開示の技術は、上記のように、撮像装置に限らず、上記のコントローラ210の機能を有する他のコンピュータ(画像処理装置)に適用することもできる。そのような画像処理装置の構成は、例えば図3に示すコントローラ210の構成と同様であり、その動作は、例えば図8、9、11、14、16、18に示す動作と同様である。すなわち、当該画像処理装置は、撮影によって生成された動画像データを他の装置から取得するように構成されたインターフェースと、当該動画像データに関連付けられた管理情報および当該動画像データの少なくとも一方の内容が、予め定められた条件に該当する場合に、当該動画像データが示す動画像の一部を削除した編集後の動画像データを含む動画像ファイルを生成するように構成されたコントローラを備える。
そのような画像処理装置は、デジタルカメラによって生成され、記録媒体に記録された動画像のデータや、電気通信回線によって送信される動画像のデータを事後的に取得し、上述の処理によってダイジェスト動画ファイルを生成することができる。画像処理装置は、例えばパーソナルコンピュータやクラウドサービス上のサーバであってもよい。
また、本開示の技術はさらに、上述の処理を規定するソフトウェア(プログラム)にも適用され得る。そのようなプログラムに規定される動作は、例えば図8、9、11、14、16、18に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施形態で説明した各種動作を実現することができる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。