JP5990903B2 - Image generation device - Google Patents
Image generation device Download PDFInfo
- Publication number
- JP5990903B2 JP5990903B2 JP2011274894A JP2011274894A JP5990903B2 JP 5990903 B2 JP5990903 B2 JP 5990903B2 JP 2011274894 A JP2011274894 A JP 2011274894A JP 2011274894 A JP2011274894 A JP 2011274894A JP 5990903 B2 JP5990903 B2 JP 5990903B2
- Authority
- JP
- Japan
- Prior art keywords
- control unit
- frame
- system control
- moving image
- flag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、画像記録装置、画像生成装置、画像記録装置の制御プログラムおよび画像生成装置の制御プログラムに関する。 The present invention relates to an image recording apparatus, an image generation apparatus, a control program for the image recording apparatus, and a control program for the image generation apparatus.
動画撮影中において、レリーズボタンが押されるごとにダイジェスト動画データを生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−１５８０４６号公報
2. Description of the Related Art An imaging device that generates digest movie data every time a release button is pressed during movie shooting is known.
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2010-158046
しかしながら、動画撮影後に視聴者ごとの要望に沿ったダイジェスト動画を作成することは困難であった。 However, it has been difficult to create a digest video that meets the demands of each viewer after video shooting.
本発明の第１の態様における画像記録装置は、動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群を生成するフラグ生成部と、フラグ群を動画データに関連付けて記録部に記録する記録制御部とを備える。 An image recording apparatus according to a first aspect of the present invention includes: a flag generation unit that generates a flag group including an end flag that defines the end of a digest video for generating digest video data from the video data; A recording control unit that records the information in the recording unit in association with the data.
また、本発明の第２の態様における画像生成装置は、動画データと、動画データからダイジェスト動画データを生成するための、ダイジェスト動画の終了を規定する終了フラグを含むフラグ群とを取得する取得部と、動画データおよびフラグ群に基づいてダイジェスト動画データを生成する動画生成部とを備える。 In addition, the image generation device according to the second aspect of the present invention acquires the moving image data and a flag group including an end flag that defines the end of the digest moving image for generating the digest moving image data from the moving image data. And a moving image generating unit that generates digest moving image data based on the moving image data and the flag group.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、本実施形態に係るカメラ１０のシステム構成図である。カメラ１０は、システム制御部１１を備え、カメラ１０を構成する各要素を直接的または間接的に制御する。システム制御部１１は、システムメモリ１２と通信する。システムメモリ１２は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ（登録商標）等により構成される。システムメモリ１２は、カメラ１０の動作時に必要な定数、変数、設定値、プログラム等を、カメラ１０の非動作時にも失われないように記憶している。
FIG. 1 is a system configuration diagram of a
カメラ１０は、光学系２０を備える。光学系２０は、カメラ本体に対して着脱可能に構成されてもよい。光学系２０は、主にズームレンズ、フォーカスレンズ等を含むレンズ群２１、および、レンズシャッタ２２により構成される。被写体像は光軸に沿って光学系２０に入射し、撮像素子３１の結像面に結像する。撮像部の少なくとも一部である撮像素子３１は、光学系２０を透過して入射する被写体像である光学像を光電変換する素子である。撮像素子３１として、ＣＣＤ、ＣＭＯＳセンサ等が用いられる。撮像素子３１で光電変換された被写体像は、Ａ／Ｄ変換器３２でアナログ信号からデジタル信号に変換される。
The
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器３２によりデジタル信号に変換された画像データは、メモリ制御部３３の制御に従い、一旦内部メモリ３４に記憶される。内部メモリ３４は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ３４は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。
The subject image converted into the digital signal is sequentially processed as image data. The image data converted into a digital signal by the A /
また、内部メモリ３４は、画像処理部３５が行う画像処理、圧縮処理において、ワークメモリとしての役割も担うと共に、加工処理された画像データを一時的に保管する役割も担う。更に、システムメモリ１２に記憶されている定数、変数、設定値、プログラム等が適宜展開されて、カメラ１０の制御に利用される。したがって、内部メモリ３４は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部３３は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
The
画像処理部３５は、設定されている撮影モード、ユーザからの指示に則して、画像データを規定の画像フォーマットに従った画像ファイルに変換する。例えば、画像処理部３５は、静止画としてＪＰＥＧファイルを生成する場合、色変換処理、ガンマ処理、ホワイトバランス処理等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、画像処理部３５は、動画としてＭＰＥＧファイルを生成する場合、所定の画素数に縮小されて生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。また、画像処理部３５は、画像データの画像内における人物の顔部を認識する顔認識機能を実行する。
The
画像処理部３５によって処理された静止画ファイル、動画ファイルは、メモリ制御部３３の制御により、内部メモリ３４から記録媒体ＩＦ３８を介して、記録部５０に記録される。記録部５０は、フラッシュメモリ等により構成される、カメラ１０に対して着脱可能な不揮発性メモリである。ただし、記録部５０は、着脱式に限らず、カメラ１０に内蔵される例えばＳＳＤなどの記録媒体であっても良い。このとき、記録部５０に記録された静止画ファイル、動画ファイルは、有線によるＵＳＢ、無線によるＬＡＮ等により外部へ出力される。また、記録部５０には、焦点距離、フォーカス位置、絞り等の撮影に関連する関連情報が画像データに関連付けて記録される。なお、関連情報は、例えばＥｘｉｆ情報に含まれていてもよい。
The still image file and the moving image file processed by the
画像処理部３５は、記録用に処理される画像データに並行して、表示用画像データを生成する。通常の表示用画像データは、記録用に処理される画像データをコピーして間引き処理された、画素数の少ない画像データである。つまり、記録用に処理される画像データに従って生成される通常の表示用画像データは、記録用の画像データと同様のカラー情報であるＲＧＢ情報を有する。このように生成された表示用画像データは、表示制御部３６により、赤色信号であるＲ信号、緑色信号であるＧ信号および青色信号であるＢ信号に変換されて表示部３７へ出力される。また、同時に、表示制御部３６は、表示部３７のバックライトの輝度を調整する輝度調整信号を出力する。
The
表示部３７は、ＬＣＤパネルとバックライトを備える液晶ディスプレイユニットである。表示部３７は、表示制御部３６が出力するＲＧＢ信号および輝度調整信号を受け取り、ＬＣＤパネルの各画素でＲＧＢ信号の階調を生成しつつ、バックライトの輝度を調整することにより、表示用画像データをユーザに視認されるように表示する。
The
記録の有無に関わらず、画像処理部３５が撮像素子３１の出力に従って逐次表示用画像データを生成して表示部３７へ出力すれば、電子ビューファインダーとしてのライブビュー表示を実現することができる。表示制御部３６は、静止画および動画撮影後の再生表示、撮影前および動画撮影中のライブビュー表示を表示部３７に実行させる。また、表示制御部３６は、メニュー画面等を表示部３７に表示させる。
Regardless of the presence or absence of recording, if the
カメラ１０は、ユーザの入力を受け付ける受付部としての操作部材３９を複数備えている。操作部材３９は、静止画撮影を指示するレリーズボタン、動画撮影を指示する録画ボタン、ズームを指示するシーソースイッチ、メニュー項目等を選択する十字キー、選択した項目を確定させる確定ボタン等で構成される。システム制御部１１は、操作部材３９で受け付けたユーザの入力に応じて各種処理を実行する。
The
レンズ制御部４０は、レンズ群２１を制御して、被写体像の画角を変更し、被写体像の特定領域を撮像素子３１の受光面上で合焦させる。露光制御部４１は、レンズシャッタ２２を制御して、設定された絞り値およびシャッタ速度を実現する。
The
まず、本実施形態に係る画像記録装置として機能するカメラ１０の動作について説明する。カメラ１０は、動画データからダイジェスト動画データを生成するためのフラグ群を生成し、フラグ群を動画データに関連付けて記録部５０に記録する。本実施形態において、システム制御部１１および画像処理部３５は、フラグ群を生成するフラグ生成部として機能する。また、システム制御部１１およびメモリ制御部３３は、フラグ群を動画データに関連付けて記録部５０に記録する記録制御部として機能する。
First, the operation of the
図２は、ダイジェスト動画データを生成するためのフラグ群の生成処理を説明する図である。カメラ１０が動画撮影を実行して図２に示すフレーム画像データが取得された場合を想定する。図２の例において、ユーザは、設定画面において、人物Ａ、人物Ｂを対象被写体として予め指定している。そして、人物Ａ、人物Ｂを顔認識するためのパターンマッチング用データは、システムメモリ１２に予め記録されている。
FIG. 2 is a diagram illustrating a flag group generation process for generating digest video data. Assume that the
本実施形態において、システム制御部１１は、画像処理部３５と協働して、動画データからダイジェスト動画データを生成するためのフラグ群を生成する。フラグ群には、ダイジェスト動画の開始を規定する開始フラグおよびダイジェスト動画の終了を規定する終了フラグが含まれる。なお、開始フラグおよび終了フラグは、ユーザが予め指定した対象被写体ごとに生成される。
In the present embodiment, the
具体的には、画像処理部３５は、システムメモリ１２内のパターンマッチング用データを参照して、対象被写体について顔認識機能を実行する。そして、システム制御部１１は、対象被写体がフレームに入ったときに、当該フレームに対して当該対象被写体の開始フラグを生成する。また、システム制御部１１は、対象被写体がフレームの外に出たときに、当該フレームに対して当該対象被写体の終了フラグを生成する。図２の例において、システム制御部１１は、第ｍフレーム、第ｎ＋２フレームに対して人物Ａの開始フラグを、第ｍ＋４フレーム、第ｎ＋４フレームに対して人物Ａの終了フラグを生成する。同様に、システム制御部１１は、第ｎフレームに対して人物Ｂの開始フラグ、第ｎ＋３フレームに対して人物Ｂの終了フラグを生成する。
Specifically, the
また、画像処理部３５は、フレーム内での対象被写体の移動量を算出し、対象被写体の移動量を４段階のレベルに分類する。そして、システム制御部１１は、対象被写体の移動量の変化が予め定められたレベル以上、例えば２レベル以上増加したフレームに対して、当該対象被写体の開始フラグを生成する。また、システム制御部１１は、対象被写体の移動量の変化が予め定められたレベル以上、例えば２レベル以上減少したフレームに対して、当該対象被写体の終了フラグを生成する。図２の例において、システム制御部１１は、第ｍ＋２フレームに対して人物Ａの開始フラグを、第ｍ＋３フレームに対して人物Ａの終了フラグを生成する。
The
また、システム制御部１１は、レリーズボタンの押下を検知した時点のフレーム、すなわち静止画撮影時のフレームに対して、当該フレームに登場する対象被写体の開始フラグを生成する。図２の例において、システム制御部１１は、第ｍ＋１フレームに対して人物Ａの開始フラグを生成する。
In addition, the
システム制御部１１は、メモリ制御部３３と協働して、上述のように生成したフラグ群を動画データに関連付けて記録部５０に記録する。このように、本実施形態におけるシステム制御部１１は、ダイジェスト動画の１カットの開始、終了の候補となる時点のフレームにフラグを関連付ける。したがって、動画撮影後にユーザの要望に沿ったダイジェスト動画を、フラグ群を参照して自動でかつ容易に作成することができる。フラグ群を用いたダイジェスト動画の作成の詳細については後述する。
The
ここで、動画ファイルの構成について説明する。図３は、動画ファイルの一例であるＭＰ４ファイルの構成を示す図である。デジタルビデオカメラ、デジタルスチルカメラ等で撮影されたＭＰＥＧ４の画像データを記録する汎用フォーマットとしてＭＰ４ファイルフォーマットが用いられている。動画データをＭＰ４ファイルとして記録することにより、他のデジタル機器で再生できるなどの互換性が保証されている。 Here, the structure of the moving image file will be described. FIG. 3 is a diagram illustrating a configuration of an MP4 file that is an example of a moving image file. The MP4 file format is used as a general-purpose format for recording MPEG4 image data shot by a digital video camera, a digital still camera, or the like. By recording moving image data as an MP4 file, compatibility is guaranteed such that it can be played back by other digital devices.
ＭＰ４ファイルは、（ａ）図に示すように、符号化されたストリーム画像データが格納されるｍｄａｔボックスと、ストリーム画像データに関連する情報が格納されるＭｏｏｖボックスとから構成されている。ｍｄａｔボックスは、（ｃ）図に示すように複数のチャンク（ｃｈｕｎｋ＿ｃ１〜ｃｈｕｎｋ＿ｃＮ）で構成され、それぞれのチャンクは、（ｄ）図に示すように複数のサンプル（ｓａｍｐｌｅ＿ｓ１〜ｓａｍｐｌｅ＿ｓＭ）で構成される。各サンプルは、例えば（ｅ）図に示すように、ｓａｍｐｌｅ＿ｓ１、ｓａｍｐｌｅ＿ｓ２、ｓａｍｐｌｅ＿ｓ３、ｓａｍｐｌｅ＿ｓ４、…のそれぞれに対して、Ｉ０、Ｂ０、Ｂ１、Ｐ０、…の符号化されたＭＰＥＧ画像データが対応する。すなわち、チャンクは、フレーム画像データを実質的に包含するＭＰ４ファイルの部分データを構成する。 The MP4 file is composed of an mdat box in which encoded stream image data is stored and a Moov box in which information related to the stream image data is stored, as shown in FIG. The mdat box is composed of a plurality of chunks (chunk_c1 to chunk_cN) as shown in (c), and each chunk is composed of a plurality of samples (sample_s1 to sample_sM) as shown in (d). For example, as shown in FIG. 5E, each sample corresponds to each of sample_s1, sample_s2, sample_s3, sample_s4,... Encoded MPEG image data of I0, B0, B1, P0,. That is, the chunk constitutes partial data of the MP4 file that substantially includes the frame image data.
Ｉ０、Ｉ１、Ｉ２、…、Ｉｍはイントラ符号化（フレーム内符号化）されたフレーム画像データであり、Ｂ０、Ｂ１、Ｂ２、…、Ｂｍは双方向から参照して符号化（フレーム間符号化）されるフレーム画像データである。また、Ｐ０、Ｐ１、Ｐ２、…、Ｐｍは一方向（順方向）から参照して符号化（フレーム間符号化）されるフレーム画像データであり、いずれも可変長符号データである。
I 0, I 1, I 2,..., Im are frame image data that has been intra-encoded (intra-frame encoding), and
ｍｏｏｖボックスは（ｂ）図に示すように、作成日時等が記録されるヘッダ情報から成るｍｖｈｄボックスと、ｍｄａｔボックスに格納されたストリーム画像データに関する情報を格納するｔｒａｋボックスから構成される。ｔｒａｋボックスに格納される情報としては、（ｆ）図に示すように、ｍｄａｔボックスの各チャンクへのオフセット値の情報を格納するｓｔｃｏボックス、（ｇ）図に示すように、各チャンク内のサンプル数の情報を格納するｓｔｓｃボックス、および（ｆ）図に示すように、各チャンクにおける各サンプルのサイズ情報を格納するｓｔｓｚボックスが存在する。 As shown in FIG. 5B, the moov box is composed of an mvhd box composed of header information in which the creation date and time are recorded, and a trak box storing information relating to stream image data stored in the mdat box. The information stored in the trak box includes (f) a stco box that stores information on the offset value for each chunk of the mdat box, as shown in the figure, and (g) a sample in each chunk as shown in the figure. There is a stsc box that stores information on the number and a stsz box that stores size information of each sample in each chunk, as shown in FIG.
このＭＰ４ファイルを再生する場合、ＭＰ４ファイルのｍｏｏｖボックスを読み込み、そのｍｏｏｖボックスからｓｔｃｏボックス、ｓｔｓｃボックス、およびｓｔｓｚボックスを解析することにより、ｍｄａｔボックス内の各チャンクへアクセスができるようになる。 When playing back this MP4 file, it is possible to access each chunk in the mdat box by reading the moov box of the MP4 file and analyzing the stco box, stsc box, and stsz box from the moov box.
本実施形態において、システム制御部１１は、画像処理部３５と協働して、ｍｖｈｄボックスにフラグ群を記述する。具体的には、システム制御部１１は、対象被写体のＩＤ等の被写体識別情報、フラグの種別を示すコード、対応するフレームのチャンクおよびサンプルの情報をｍｖｈｄボックスに記述する。本実施形態において、フラグの種別を示すコードとして、開始フラグを示すコードおよび終了フラグを示すコードのいずれかが記述される。このように動画データのヘッダ情報にフラグ群を記述することにより、フラグ群と動画データとが関連付けられる。
In the present embodiment, the
図４は、フラグ群の生成処理のフロー図である。本フローは、システム制御部１１が録画ボタンのオン操作を検知した時点から開始される。なお、本実施形態において、システム制御部１１は、画像処理部３５と協働し、動画撮影処理と並行して本フローを実行する。ステップＳ１０１では、システム制御部１１は、初期設定を行う。具体的には、システム制御部１１は、ユーザが予め指定した対象被写体の数Ｎを設定し、各対象被写体に対して、１からＮまでの番号を付与する。そして、システム制御部１１は、Ｎ個の被写体フラグｆ１〜ｆＮおよびｉをそれぞれ０に設定する。図２の例において、システム制御部１１は、Ｎを２に設定し、人物Ａに番号１を、人物Ｂに番号２を付与する。そして、システム制御部１１は、２個の被写体フラグｆ１、ｆ２およびｉをそれぞれ０に設定する。
FIG. 4 is a flowchart of flag group generation processing. This flow is started when the
ステップＳ１０２では、システム制御部１１は、撮影中の動画のフレームを１つ取得する。なお、システム制御部１１は、ステップＳ１０２へ移行するごとに、開始フレームから順にフレームを１つ取得する。ステップＳ１０３では、システム制御部１１は、ｉをｉ＋１に設定する。ステップＳ１０４では、システム制御部１１は、番号ｉに対応する対象被写体がステップＳ１０２で取得したフレーム内に存在するか否かを判定する。システム制御部１１は、対象被写体がフレーム内に存在する場合にはステップＳ１０５へ移行し、対象被写体がフレーム内に存在しない場合にはステップＳ１０８へ移行する。ステップＳ１０５では、システム制御部１１は、ｆｉ＝０であるか否かを判定する。
In step S102, the
本実施形態において、ｆｉは０または１の値をとる。そして、ｆｉの値は、番号ｉに対応する対象被写体が前フレーム内に存在していたか否かを示す。ｆｉの値０は、番号ｉに対応する対象被写体が前フレームまで存在していなかったことを示し、ｆｉの値１は、番号ｉに対応する対象被写体が前フレームに既に存在していたことを示す。システム制御部１１は、ステップＳ１０５において、ｆｉ＝０である場合にはステップＳ１０６へ移行し、ｆｉ＝１の場合にはステップＳ１１１へ移行する。ステップＳ１０６への移行は、これまではフレーム内に存在しなかった対象被写体が、フレーム内に入ってきたことを意味する。そこで、ステップＳ１０６では、システム制御部１１は、番号ｉに対応する対象被写体の開始フラグを生成する。この時点で番号ｉに対応する対象被写体がフレーム内に存在することになるので、ステップＳ１０７では、システム制御部１１は、ｆｉを１に設定する。
In the present embodiment, f i takes a value of 0 or 1. The value of f i indicates whether or not the target subject corresponding to the number i exists in the previous frame. A
一方、ステップＳ１０８では、システム制御部１１は、ｆｉ＝１であるか否かを判定する。システム制御部１１は、ｆｉ＝１であると判定した場合にはステップＳ１０９へ移行し、ｆｉ＝１でないと判定した場合にはステップＳ１１７へ移行する。ステップＳ１０９への移行は、これまではフレーム内に存在していた対象被写体が、フレームの外へ出たことを意味する。そこで、ステップＳ１０９では、システム制御部１１は、番号ｉに対応する対象被写体の終了フラグを生成する。この時点で番号ｉに対応する対象被写体がフレーム内に存在しないことになるので、ステップＳ１１０では、システム制御部１１は、ｆｉを０に設定する。そして、システム制御部１１は、ステップＳ１１７へ移行する。
On the other hand, in step S108, the
ステップＳ１１１では、システム制御部１１は、番号ｉに対応する対象被写体の移動量の変化量が、予め定められた閾値より大きいか否かを判定する。システム制御部１１は、移動量の変化量が閾値より大きい場合にはステップＳ１１２へ移行し、閾値より小さい場合にはステップＳ１１５へ移行する。ステップＳ１１２では、システム制御部１１は、番号ｉに対応する対象被写体の移動量の変化量が増加したか否かを判定する。システム制御部１１は、移動量の変化量が増加したと判定した場合にはステップＳ１１３へ移行し、減少したと判定した場合にはステップＳ１１４へ移行する。ステップＳ１１３では、システム制御部１１は、番号ｉに対応する対象被写体の開始フラグを生成する。一方、ステップＳ１１４では、システム制御部１１は、番号ｉに対応する対象被写体の終了フラグを生成する。
In step S111, the
ステップＳ１１５では、システム制御部１１は、レリーズボタンが押されたか否かを判断する。システム制御部１１は、レリーズボタンが押されたと判断した場合にはステップＳ１１６へ移行し、レリーズボタンが押されていないと判断した場合にはステップＳ１１７へ移行する。ステップＳ１１６では、システム制御部１１は、番号ｉに対応する対象被写体の開始フラグを生成する。
In step S115, the
ステップＳ１１７では、システム制御部１１は、ｉ＝Ｎであるか否かを判定する。システム制御部１１は、ｉ＝Ｎでない場合にはステップＳ１０３へ戻り、次の対象被写体について上述のフラグ生成処理を実行する。一方、システム制御部１１は、ｉ＝Ｎの場合にはステップＳ１１８へ移行する。ステップＳ１１８では、システム制御部１１は、レリーズボタンが押されたか否かを判断する。システム制御部１１は、レリーズボタンが押されたと判断した場合にはステップＳ１１９へ移行し、レリーズボタンが押されていないと判断した場合にはステップＳ１２０へ移行する。なお、システム制御部１１は、ステップＳ１１５で既にレリーズボタンが押されたと判断している場合には、ステップＳ１１８をスキップしてステップＳ１１９へ移行する。
In step S117, the
ステップＳ１１９では、システム制御部１１は、静止画データの取得動作を実行する。具体的には、システム制御部１１は、数フレーム分に相当する動画撮影を中断して、静止画撮影シーケンス、画像処理、記録処理を実行する。ステップＳ１２０では、システム制御部１１は、動画撮影を継続するか否かを判定する。システム制御部１１は、動画撮影が継続すると判定した場合にはステップＳ１０２へ戻り次のフレームを取得する。一方、システム制御部１１は、録画ボタンの押下、電源ボタンのオフ操作等により動画撮影の終了指示を検知した場合には、本フローを終了する。
In step S119, the
上述の実施形態では、対象被写体がフレームに入ったときに開始フラグが生成されたが、開始フラグの生成タイミングはこれに限らない。システム制御部１１は、対象被写体の画面に占める面積の割合が予め定められた値以上、例えば０．１以上になった時点のフレームに対して開始フラグを生成してもよい。また、システム制御部１１は、対象被写体がフレームに入ってから予め定められた時間、例えば３秒経過した時点のフレームに対して開始フラグを生成してもよい。
In the above-described embodiment, the start flag is generated when the target subject enters the frame, but the generation timing of the start flag is not limited to this. The
同様に、終了フラグの生成タイミングも、対象被写体がフレームの外に出たときに限らない。システム制御部１１は、対象被写体の画面に占める面積の割合が予め定められた値、例えば０．１以下になった時点のフレームに対して終了フラグを生成してもよい。また、システム制御部１１は、対象被写体がフレームから出てから予め定められた時間、例えば３秒経過した時点のフレームに対して終了フラグを生成してもよい。
Similarly, the end flag generation timing is not limited to when the target subject goes out of the frame. The
また、システム制御部１１は、対象被写体がフレームに入ってからフレームの外に出るまでの間の各フレームに対して一連の登場フラグを生成するようにしてもよい。そして、システム制御部１１は、先頭の登場フラグに対するフレームに開始フラグを生成し、最後の登場フラグに対するフレームの次のフレームに終了フラグを生成してもよい。
In addition, the
上述の実施形態では、対象被写体の移動量を対象被写体の変化を示すパラメータとして扱ったが、対象被写体の変化を示すパラメータはこれに限らない。例えば、システム制御部１１は、対象被写体の変化を示すパラメータとして音声を用いる。システム制御部１１は、対象被写体の変化を示すパラメータとして音声を用いる場合も、対象被写体の移動量の場合と同様に、フレーム内の対象被写体の音声レベルを４段階のレベルに分類する。そして、システム制御部１１は、音声レベルの変化が予め定められたレベル以上、例えば２レベル以上増加したフレームに対して、当該対象被写体の開始フラグを生成する。また、システム制御部１１は、音声の変化が予め定められたレベル以上、例えば２レベル以上減少したフレームに対して、当該対象被写体の終了フラグを生成する。また、システム制御部１１は、対象被写体の表情、対象被写体の画面における占有面積、対象被写体の向きを、対象被写体の変化を示すパラメータとして用いてもよい。
In the above-described embodiment, the movement amount of the target subject is treated as a parameter indicating the change of the target subject, but the parameter indicating the change of the target subject is not limited to this. For example, the
また、システム制御部１１は、対象被写体の変化量をレベルではなく実測値で扱ってもよい。この場合、システム制御部１１は、変化量の大小を判定する閾値を、例えば、移動量の場合には画素単位、音声の場合にはデシベル単位で予めシステムメモリ１２に記録しておく。
Further, the
上述の実施形態では、レリーズボタンが押されたときに対象被写体がフレームに入ったときに開始フラグが生成されたが、レリーズボタンに応じたフラグ生成はこれに限らない。システム制御部１１は、対象被写体の大きさがレリーズボタンの押下時点における対象被写体の大きさに対して予め定められた比率以上、例えば１．３以上になった時点のフレームに対して開始フラグを生成してもよい。また、システム制御部１１は、対象被写体の大きさがレリーズボタンの押下時点における対象被写体の大きさに対して予め定められた比率未満、例えば０．７未満になった時点のフレームに対して終了フラグを生成してもよい。
In the above-described embodiment, the start flag is generated when the target subject enters the frame when the release button is pressed. However, the flag generation according to the release button is not limited thereto. The
また、音声のレベルが測定されている場合に、システム制御部１１は、対象被写体の音声レベルがレリーズボタンの押下時点における音声レベルに対して予め定められた比率以上、例えば１．３以上になった時点のフレームに対して開始フラグを生成してもよい。また、システム制御部１１は、対象被写体の音声レベルがレリーズボタンの押下時点における音声レベルに対して予め定められた比率未満、例えば０．７未満になった時点のフレームに対して終了フラグを生成してもよい。
Further, when the sound level is measured, the
上述の実施形態では、システム制御部１１は、開始フラグおよび終了フラグを生成したが、開始フラグおよび終了フラグと異なる中立フラグを生成してもよい。具体的には、システム制御部１１は、ズームが変更された時点、フォーカスが変更された時点、絞りが変更された時点、パンニング動作を検知した時点、輝度または色が閾値以上変化した時点、動画撮影の一時停止が検知された時点等に中立フラグを生成する。ズーム、フォーカス、絞りの変更については、システム制御部１１は、これらのパラメータが閾値以上変更された場合に中立フラグを生成するようにしてもよい。中立フラグは、ダイジェスト画像を生成する場合に、状況に応じて開始フラグまたは終了フラグとして用いられる。なお、中立フラグを示すコードは、開始フラグを示すコードおよび終了フラグを示すコードと異なるコードとして、ｍｖｈｄボックスに記述される。
In the above-described embodiment, the
上述の実施形態では、システム制御部１１は、動画データのヘッダ情報にフラグ情報を記述したが、これに限らない。システム制御部１１は、フラグ群のテーブルを作成し、当該テーブルでフラグ群の各フラグと動画データのフレームとを関連付けてもよい。この場合、システム制御部１１は、当該テーブルを動画データとともに記録部５０へ記録する。
In the above-described embodiment, the
上述の実施形態では、被写体ごとに開始フラグおよび終了フラグが生成されたがこれに限らない。システム制御部１１は、被写体を区別することなく開始フラグおよび終了フラグを含むフラグ群を生成する。そして、システム制御部１１は、図２に示す顔認識による被写体の登場判定結果、被写体の移動量等の被写体の変化を示す変化情報を、フラグ群と対応付けて記録部５０に記録する。したがって、システム制御部１１は、フラグ群を生成した後に、フラグ群の各フラグが開始フラグであるか、それとも終了フラグであるか、およびどの被写体フラグであるかを、変化情報で判別できる。
In the above-described embodiment, the start flag and the end flag are generated for each subject, but the present invention is not limited to this. The
上述の実施形態において、システム制御部１１は、動画撮影後にユーザの選択を受け付け、ユーザが選択した被写体に対するフラグのみ残すようにしてもよい。具体的には、まず、システム制御部１１は、動画撮影後に、表示制御部３６を制御して、動画に登場する被写体若しくは予め登録されている被写体を表示部３７に表示させ、ユーザの選択を受け付ける。そして、システム制御部１１は、動画撮影後にユーザが選択した被写体に対するフラグ以外のフラグを記録部５０から削除する。この構成によれば、ユーザの要望に沿ったフラグ群のみを動画データと関連付けることができる。
In the above-described embodiment, the
上述の実施形態では、システム制御部１１は、動画撮影時にフラグ群を生成したが、これに限らない。システム制御部１１は、画像処理部３５と協働して、動画撮影後に動画データを解析してフラグ群を生成してもよい。具体的には、まず、システム制御部１１は、動画撮影後に、表示制御部３６を制御して、動画に登場する被写体若しくは予め登録されている被写体を表示部３７に表示させ、ユーザの選択を受け付ける。そして、システム制御部１１は、撮影開始フレームから撮影終了フレームまで順次フレーム解析を実行することにより、ユーザが選択した被写体に対するフラグ群を生成し、当該フラグ群を動画データと関連付けて記録する。また、システム制御部１１は、動画撮影時に生成されたフラグ群と動画撮影後に生成されたフラグ群とが共存する場合、動画撮影後に生成されたフラグ群を動画撮影時に生成されたフラグ群より優先度の高いフラグとして設定してもよい。
In the above-described embodiment, the
次に、本実施形態に係る画像生成装置として機能するカメラ１０の動作について説明する。カメラ１０は、動画データと、動画データからダイジェスト動画データを生成するための上述したフラグ群とを記録部５０から取得し、フラグ群を用いてダイジェスト動画データを生成する。本実施形態において、システム制御部１１は、動画データとフラグ群とを記録部５０から取得する取得部として機能する。また、システム制御部１１および画像処理部３５は、フラグ群を用いてダイジェスト動画データを生成する動画生成部として機能する。
Next, the operation of the
図５は、ダイジェスト動画の作成条件の設定画面を示す図である。ユーザがダイジェスト動画作成のメニュー項目を選択し、ダイジェスト動画を作成する動画を選択すると、表示制御部３６は、図５に示すようなダイジェスト動画の作成条件の設定画面を表示部３７に表示させる。作成条件の設定画面には、時間条件項目１０１、注目人物項目１０２、優先度項目１０３の３つの設定項目が含まれている。
FIG. 5 is a diagram showing a setting screen for a digest movie creation condition. When the user selects a digest movie creation menu item and selects a movie for creating a digest movie, the
時間条件項目１０１は、ダイジェスト動画の全体の時間を設定するための項目である。注目人物項目１０２は、ダイジェスト動画で登場させる注目人物を設定するための項目である。注目人物項目１０２で複数の注目人物が選択された場合、システム制御部１１は、優先度項目１０３をアクティブにする。優先度項目１０３は、ダイジェスト動画において選択された複数の人物の登場比率を設定するための項目である。
The
ユーザは、操作部材３９を操作してこれらの項目にダイジェスト動画の作成条件を入力する。ユーザが作成条件を入力して画面右下のＯＫボタン１０４を押すと、システム制御部１１は、画像処理部３５と協働して、ダイジェスト動画データの生成を開始する。なお、システム制御部１１は、一度設定した条件をシステムメモリ１２に記録し、別のダイジェスト動画の作成条件の設定時に、以前の設定条件の選択をユーザから受け付けてもよい。ユーザが以前の設定条件を選択した場合、システム制御部１１は、ユーザが選択した設定条件をシステムメモリ１２から読み出す。
The user operates the
ここで、ダイジェスト動画の生成処理について説明する。図６は、ダイジェスト動画データの生成処理の第１例を説明する図である。第１例におけるダイジェスト動画の生成処理は、図２で示す動画データが選択され、かつ人物Ａが注目人物として選択された場合の処理である。まず、システム制御部１１は、動画データと、当該動画データに関連付けられたフラグ群データを記録部５０から取得する。次に、システム制御部１１は、取得したフラグ群のうちから人物Ａのフラグ群を抽出する。
Here, digest video generation processing will be described. FIG. 6 is a diagram illustrating a first example of digest video data generation processing. The digest moving image generation process in the first example is a process when the moving image data shown in FIG. 2 is selected and the person A is selected as the person of interest. First, the
図６に示すとおり、人物Ａのフラグ群には、第ｍフレーム、第ｍ＋１フレーム、第ｍ＋２フレーム、第ｎ＋２フレームにそれぞれ関連付けられた開始フラグ２０１、２０２、２０３、２０６が含まれている。また、人物Ａのフラグ群には、第ｍ＋３フレーム、第ｍ＋４フレーム、第ｎ＋４フレームにそれぞれ関連付けられた終了フラグ２０４、２０５、２０７が含まれている。 As illustrated in FIG. 6, the flag group of the person A includes start flags 201, 202, 203, and 206 that are associated with the mth frame, the m + 1th frame, the m + 2 frame, and the n + 2 frame, respectively. The flag group of the person A includes end flags 204, 205, and 207 associated with the m + 3 frame, the m + 4 frame, and the n + 4 frame, respectively.
システム制御部１１は、人物Ａのフラグ群を参照して、人物Ａが登場しているフレームを用いてダイジェスト動画像データを生成する。具体的には、システム制御部１１は、開始フラグに関連付けられたフレームから、終了フラグに関連付けられたフレームの１つ前のフレームまでのフレーム画像データを１カットの画像データとして抽出する。そして、画像処理部３５は、システム制御部１１の制御に従い、抽出したカットを順に並べたダイジェスト動画データを生成する。ただし、複数の開始フラグが終了フラグを挟むことなく並んでいる場合には、システム制御部１１は、それら複数の開始フラグのうちの最初の開始フラグだけを採用する。同様に、複数の終了フラグが開始フラグを挟むことなく並んでいる場合には、システム制御部１１は、それら複数の終了フラグのうち最後の終了フラグだけを採用する。
The
図６の例において、システム制御部１１は、終了フラグを挟むことなく並んでいる３つの開始フラグ２０１、２０２、２０３のうち最初の開始フラグ２０１を採用する。また、システム制御部１１は、開始フラグを挟むことなく並んでいる２つの終了フラグのうち最後の終了フラグ２０５を採用する。そして、システム制御部１１は、開始フラグ２０１に関連付けられた第ｍフレームから、終了フラグ２０５に関連付けられた第ｍ＋４フレームの１つ前の第ｍ＋３フレームまでのフレーム画像データを１カットの画像データとして抽出する。また、システム制御部１１は、開始フラグ２０６に関連付けられた第ｎ＋２フレームから、終了フラグ２０７に関連付けられた第ｎ＋４フレームの１つ前の第ｎ＋３フレームまでのフレーム画像データを１カットの画像データとして抽出する。
In the example of FIG. 6, the
その後、画像処理部３５は、これら抽出されたカットを並べて、図６に示すように、第ｍフレーム〜第ｍ＋３フレーム、第ｎ＋２フレーム〜第ｎ＋３フレームが順に配置されたダイジェスト動画Ａのデータを生成する。この手法によれば、人物Ａが登場する全てのフレームを含むダイジェスト動画データが生成される。
Thereafter, the
ダイジェスト動画の作成条件の設定画面でユーザが時間を予め指定したときに、人物Ａが登場する全てのフレームを含むダイジェスト動画の時間がユーザによって予め指定された時間を超えてしまう場合がある。この場合に、システム制御部１１は、ダイジェスト動画で採用するフレームを絞り込んでダイジェスト動画の時間を短縮する。
When the user predesignates the time on the digest movie creation condition setting screen, the digest movie including all frames in which the person A appears may exceed the time predesignated by the user. In this case, the
具体的には、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が長くなると判断した場合に、終了フラグを挟むことなく並んでいる複数の開始フラグのうち最初の開始フラグより降順の開始フラグを採用する。図６の例において、システム制御部１１は、ダイジェスト動画Ａに対して、３つの開始フラグ２０１、２０２、２０３のうちダイジェスト動画に採用する開始フラグを開始フラグ２０２に変更する。そして、画像処理部３５は、図６に示すダイジェスト動画Ｂのデータを生成する。ダイジェスト動画Ｂには、第ｍ＋１フレーム〜第ｍ＋３フレーム、第ｎ＋２フレーム〜第ｎ＋３フレームが順に配置されている。
Specifically, when the
また、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が長くなると判断した場合に、開始フラグを挟むことなく並んでいる複数の終了フラグのうち最後の終了フラグより昇順の終了フラグを採用してもよい。図６の例において、システム制御部１１は、ダイジェスト動画Ｂに対して、２つの終了フラグ２０４、２０５のうちダイジェスト動画に採用する終了フラグを終了フラグ２０４に変更する。そして、画像処理部３５は、図６に示すダイジェスト動画Ｃのデータを生成する。ダイジェスト動画Ｃには、第ｍ＋１フレーム〜第ｍ＋２フレーム、第ｎ＋２フレーム〜第ｎ＋３フレームが順に配置されている。
In addition, when the
一方、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が短くなると判断した場合には、人物Ａが登場する全てのフレームに人物Ａが登場していないフレームを加えて全体の時間を延ばす。例えば、システム制御部１１は、開始フラグの前の一連のフレーム、終了フラグの後の一連のフレームを１カットのフレームに組み込んで１カットの時間を延ばす。
On the other hand, if the
また、システム制御部１１は、ユーザが指定した時間に対してダイジェスト動画の時間が短くなると判断した場合に、上述した中立フラグを開始フラグまたは終了フラグとして用いてもよい。具体的には、システム制御部１１は、中立フラグで形成される新たなカットを作成する。そして、システム制御部１１は、新たなカットのフレームを人物Ａが登場する全てのフレームに加えて、ダイジェスト動画の時間を延ばす。
Further, the
図７は、ダイジェスト動画データの生成処理の第２例を説明する図である。第１例におけるダイジェスト動画の生成処理は、図２で示す動画データが選択され、かつ人物Ａおよび人物Ｂが注目人物として選択された場合の処理である。まず、システム制御部１１は、動画データと、当該動画データに関連付けられたフラグ群データを記録部５０から取得する。次に、システム制御部１１は、取得したフラグ群のうちから人物Ａのフラグ群および人物Ｂのフラグ群を抽出する。
FIG. 7 is a diagram illustrating a second example of digest video data generation processing. The digest video generation process in the first example is a process when the video data shown in FIG. 2 is selected and the person A and the person B are selected as the attention person. First, the
図７に示すとおり、人物Ａのフラグ群には、図６を用いて説明したように、開始フラグ２０１、２０２、２０３、２０６および終了フラグ２０４、２０５、２０７が含まれている。また、人物Ｂのフラグ群には、第ｎフレームに関連付けられた開始フラグ３０１および第ｎ＋３フレームに関連付けられた終了フラグ３０２が含まれている。
As shown in FIG. 7, the flag group of the person A includes start flags 201, 202, 203, and 206 and end
システム制御部１１は、人物Ａのフラグ群および人物Ｂのフラグ群を参照して、人物Ａおよび人物Ｂが登場しているフレームを抽出する。そして、画像処理部３５は、システム制御部１１の制御に従い、ダイジェスト動画像データを生成する。具体的には、システム制御部１１は、上述と同様の手法で、人物Ａが登場する全てのフレームの画像データと、人物Ｂが登場する全てのフレームの画像データとを動画データから抽出する。そして、画像処理部３５は、システム制御部１１が抽出したフレーム画像データを合成して、人物Ａおよび人物Ｂが登場する全てのフレームを含むダイジェスト動画データを生成する。図７の例において、画像処理部３５は、第ｍフレーム〜第ｍ＋３フレーム、第ｎフレーム〜第ｎ＋３フレームが順に配置されたダイジェスト動画Ｄのデータを生成する。
The
ダイジェスト動画の作成条件の設定画面でユーザが優先度を予め指定したときに、人物Ａおよび人物Ｂの登場比率がユーザによって指定された比率と異なる場合がある。この場合に、システム制御部１１は、ダイジェスト動画で採用するフレームを変更してダイジェスト動画に登場する人物の登場比率を調整する。
When the user designates the priority in advance on the digest movie creation condition setting screen, the appearance ratio of the person A and the person B may be different from the ratio designated by the user. In this case, the
具体的には、まず、システム制御部１１は、登場比率が一番高く設定されている人物Ｂのフラグ群を参照して、人物Ｂが登場する全てのフレームを抽出する。次に、システム制御部１１は、人物Ａのフラグ群を参照して、人物Ｂが登場する全てのフレームにおいて人物Ａが登場するフレームを検出する。そして、システム制御部１１は、人物Ｂが登場する全てのフレームにおける人物Ａおよび人物Ｂの登場比率を算出し、予め設定された比率と比較する。
Specifically, first, the
システム制御部１１は、ユーザが指定した比率に対して人物Ｂに対する人物Ａの登場比率が高くなると判断した場合に、人物Ｂが登場する全てのフレームから、人物Ａが登場する幾らかのフレームをダイジェスト動画の対象から外して比率を調整する。この場合、システム制御部１１は、人物Ａのフラグ群を参照して、人物Ａが登場するフレームを判別する。なお、人物Ａおよび人物Ｂの登場比率が予め設定された比率に完全一致しなくても、両者の差が予め定められた範囲内、例えば０．１未満であればよい。
When the
一方、システム制御部１１は、ユーザが指定した比率に対して人物Ｂに対する人物Ａの登場比率が低くなると判断した場合に、人物Ｂが登場する全てのフレームから幾らかのフレームをダイジェスト動画の対象から外して比率を調整する。また、システム制御部１１は、人物Ａが登場する他のフレームを人物Ｂが登場する全てのフレームに追加して比率を調整してもよい。なお、人物Ａおよび人物Ｂの登場比率が予め設定された比率に完全一致しなくても、両者の差が予め定められた範囲内、例えば０．１未満であればよい。
On the other hand, when the
図７の例において、人物Ａおよび人物Ｂの登場比率が３：７に予め設定されている場合、まず、システム制御部１１は、人物Ｂのフラグ群を参照して、人物Ｂが登場する全てのフレームである第ｎフレーム〜第ｎ＋２フレームを抽出する。次に、システム制御部１１は、人物Ａのフラグ群を参照して、第ｎフレーム〜第ｎ＋２フレームのうち人物Ａが登場するフレームである第ｎ＋２を検出する。そして、システム制御部１１は、人物Ａおよび人物Ｂの登場比率１：３を算出する。人物Ｂに対する人物Ａの登場比率１／３と予め設定された比率３／７との差が０．１未満であるので、画像処理部３５は、対象フレームを変更せず、第ｎフレーム〜第ｎ＋２フレームが順に配置されたダイジェスト動画Ｅのデータを生成する。
In the example of FIG. 7, when the appearance ratio of the person A and the person B is preset to 3: 7, the
このように、本実施形態におけるシステム制御部１１は、動画データに関連付けられた開始フラグ、終了フラグを用いて、ダイジェスト動画全体の時間および注目人物の登場比率を調整する。したがって、動画撮影後にユーザの要望に沿ったダイジェスト動画を、フラグ群を参照して自動でかつ容易に作成することができる。また、注目人物の選択に応じてダイジェスト動画を作成することにより、ユーザの要望に沿ったダイジェスト動画を容易に作成することができる。例えば、新郎および新婦は、結婚式の動画データを関係者に配布する場合、新郎の関係者に対して、新郎を中心としたダイジェスト動画データが関連付けられた動画データを配布することができる。同様に、新郎および新婦は、新婦の関係者に対して、新婦を中心としたダイジェスト動画が関連付けられた動画データを配布することができる。
As described above, the
なお、本実施形態において、システム制御部１１は、少なくとも終了フラグを含むフラグ群を生成すればよい。終了フラグおよび動画データの撮影終了フレームを用いることにより、ユーザの要望に応じて終了位置の異なる様々なダイジェスト動画を作成することができる。
In the present embodiment, the
図８は、ダイジェスト動画データの生成処理のフロー図である。本フローは、ユーザによるダイジェスト動画作成のメニュー項目の選択を、検知した時点から開始される。なお、本実施形態において、システム制御部１１は、画像処理部３５と協働して本フローを実行する。ステップＳ２０１では、システム制御部１１は、図５を用いて説明したように、対象動画の選択およびダイジェスト動画の作成条件の設定を受け付ける。ステップＳ２０２では、システム制御部１１は、対象動画の動画データと、当該動画データに関連付けられたフラグ群とを記録部５０から取得する。
FIG. 8 is a flowchart of digest video data generation processing. This flow starts from the point in time when the selection of the menu item for creating a digest video by the user is detected. In the present embodiment, the
ステップＳ２０３では、システム制御部１１は、図６および図７を用いて説明したように、注目人物が登場する全てのフレームをダイジェスト動画の対象フレームとして抽出する。ステップＳ２０４では、システム制御部１１は、図７を用いて説明したように、ダイジェスト動画の対象フレームがステップＳ２０１で受け付けた優先度条件を満たしているか否かを判断する。システム制御部１１は、優先度条件を満たしていないと判断した場合にはステップＳ２０５へ移行し、優先度条件を満たしていると判断した場合にはステップＳ２０６へ移行する。なお、優先度条件が設定されていない場合、システム制御部１１は、ステップＳ２０６へ移行する。ステップＳ２０５では、システム制御部１１は、図７を用いて説明したように、ダイジェスト動画の対象フレームを変更して、ダイジェスト動画における対象被写体の登場比率を調整する。
In step S203, as described with reference to FIGS. 6 and 7, the
ステップＳ２０６では、システム制御部１１は、図６を用いて説明したように、ダイジェスト動画の対象フレームがステップＳ１０１で受け付けた時間条件を満たしているか否かを判断する。システム制御部１１は、時間条件を満たしていないと判断した場合にはステップＳ２０７へ移行し、時間条件を満たしている場合にはステップＳ２０８へ移行する。なお、次官条件が設定されていない場合、システム制御部１１は、ステップＳ２０８へ移行する。ステップＳ２０７では、システム制御部１１は、図６を用いて説明したように、ダイジェスト動画の対象フレームを変更して、ダイジェスト動画の時間を調整する。
In step S206, as described with reference to FIG. 6, the
ステップＳ２０８では、画像処理部３５は、システム制御部１１の制御に従い、ダイジェスト動画の対象フレームを並べたダイジェスト動画データを生成する。ステップＳ２０９では、システム制御部１１は、ダイジェスト動画データを記録部５０に記録して本フローを終了する。なお、システム制御部１１は、ダイジェスト動画データを元の動画データと関連付けて記録する。
In step S <b> 208, the
上述の実施形態において、システム制御部１１は、被写体の移動量、音声等の被写体の変化量を加味してダイジェスト動画データの対象フレームを抽出してもよい。例えば、システム制御部１１は、ダイジェスト動画全体の時間を短縮する場合に、被写体の移動量が閾値より大きいフレーム、音声レベルが閾値より高いフレームを抽出する。この場合、システム制御部１１は、短縮すべき時間に応じて移動量の閾値、音声レベルの閾値を変更してもよい。
In the above-described embodiment, the
上述の実施形態において、システム制御部１１は、被写体の移動量、音声レベル等の設定を設定画面で受け付けるようにしてもよい。また、システム制御部１１は、優先度の代わりに注目人物の優先順位の設定を設定画面で受け付けてもよい。優先順位が設定された場合、システム制御部１１は、優先順位の高い注目人物が登場するフレームの表示順序を、優先順位の低い注目人物が登場するフレームよりも先に設定してもよい。
In the above-described embodiment, the
上述の実施形態において、画像処理部３５は、ダイジェスト動画の対象動画データの動画撮影時に静止画が撮影されている場合に、当該静止画を組み込んだダイジェスト動画データを生成してもよい。具体的には、まず、システム制御部１１は、対象動画データを記録部５０から取得するときに、当該動画データに関連付けられた静止画データもあわせて取得する。そして、画像処理部３５は、上述のように作成したダイジェスト動画に静止画を組み込んだダイジェスト動画データを生成する。
In the above-described embodiment, the
例えば、画像処理部３５は、静止画が撮影された時点のフレームのところで静止画を予め定められた時間、例えば５秒間再生するダイジェスト動画データを生成する。また、画像処理部３５は、冒頭に静止画を再生し、その後にダイジェスト動画を再生するダイジェスト動画データを生成してもよい。また、画像処理部３５は、ダイジェスト動画を再生した後に静止画を再生するダイジェスト動画データを生成してもよい。
For example, the
上述の実施形態では、１つの動画データに対してダイジェスト動画データが生成されたが、これに限らない。画像処理部３５は、複数の動画データを跨いだダイジェスト動画データを生成してもよい。具体的には、まず、システム制御部１１は、対象となる複数の動画の選択をユーザから受け付ける。次に、システム制御部１１は、対象となる複数の動画データと、複数の動画データにそれぞれ関連付けられた複数のフラグ群とを記録部５０から取得する。
In the above-described embodiment, digest movie data is generated for one movie data, but the present invention is not limited to this. The
システム制御部１１は、上述と同様の手法で、複数の動画データの各々からフレーム画像データを抽出する。そして、画像処理部３５は、システム制御部１１が抽出したフレーム画像データを繋ぎ合せて１つのダイジェスト動画データを生成する。このように複数の動画データから１つのダイジェスト動画データを生成することにより、ユーザは、例えば、旅行のときに複数回動画撮影し、これら複数の動画データから当該旅行のダイジェスト動画データを生成することができる。
The
上述の実施形態に係る画像記録装置および画像生成装置において、ダイジェスト動画で注目する対象被写体として人物が用いられたが、これに限らない。システム制御部１１は、山、花、料理等のシーンを認識し、これらを対象被写体として上述のフラグ群を生成してもよい。そして、システム制御部１１は、当該フラグ群を参照してダイジェスト動画データの対象フレームを抽出してもよい。
In the image recording apparatus and the image generation apparatus according to the above-described embodiment, a person is used as a target subject to be noted in a digest video, but the present invention is not limited to this. The
上述の実施形態に係る画像記録装置としてカメラ１０を例に説明したが、ＰＣ等の電子機器が上述の画像記録装置として機能してもよい。例えば、ＰＣが、カメラ１０の記録部５０から動画データを取得し、当該動画データを解析して上述のフラグ群を生成し、フラグ群を動画データに関連付けてＰＣに接続されている記録媒体に記録する。そして、当該ＰＣが、画像生成装置として、当該記録媒体の動画データとフラグ群とを用いてダイジェスト動画データを生成してもよい。
Although the
また、上述の実施形態に係る画像生成装置としてカメラ１０を例に説明したが、ＰＣ等の電子機器が上述の画像生成装置として機能してもよい。例えば、ＰＣが、動画データと、フラグ群とをカメラ１０の記録部５０から取得し、動画データとフラグ群とを用いて上述のようにダイジェスト動画データを生成する。
Moreover, although the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記の実施形態に記載の範囲には限定されない。上記の実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in said embodiment. It will be apparent to those skilled in the art that various modifications and improvements can be made to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１０ カメラ、１１ システム制御部、１２ システムメモリ、２０ 光学系、２１ レンズ群、２２ レンズシャッタ、３１ 撮像素子、３２ Ａ／Ｄ変換器、３３ メモリ制御部、３４ 内部メモリ、３５ 画像処理部、３６ 表示制御部、３７ 表示部、３８ 記録媒体ＩＦ、３９ 操作部材、４０ レンズ制御部、４１ 露光制御部、５０ 記録部、１０１ 時間条件項目、１０２ 注目人物項目、１０３ 優先度項目、１０４ ＯＫボタン、２０１、２０２、２０３、２０６、３０１ 開始フラグ、２０４、２０５、２０７、３０２ 終了フラグ
DESCRIPTION OF
Claims (3)
前記第１の被写体と前記第２の被写体のうちの一方を選択する選択部と、
前記選択部により前記第１の被写体が選択された場合に、前記第１の情報に基づいて前記動画から前記第１の被写体だけが写っている複数の第１フレームを抽出し、前記第１の情報と前記第２の情報とに基づいて抽出された前記第１の被写体と前記第２の被写体との両方が写っている複数の第２のフレームから一部の第２のフレームを抽出し、前記複数の第１フレームと前記一部の第２のフレームとによりダイジェスト動画を生成する動画生成部と
を備える画像生成装置。 Image generation for generating a digest video of the video based on first information regarding a frame in which the first subject is captured in a video having a plurality of frames and second information regarding a frame in which the second subject is captured In the device
A selector for selecting one of the first subject and the second subject;
When the first subject is selected by the selection unit, a plurality of first frames in which only the first subject is shown are extracted from the video based on the first information, and the first subject is extracted. Extracting a portion of the second frame from a plurality of second frames in which both the first subject and the second subject are extracted based on the information and the second information; An image generation apparatus comprising: a moving image generation unit configured to generate a digest moving image using the plurality of first frames and the partial second frame.
前記第１の情報と前記第２の情報とに基づいて前記動画のダイジェスト動画を生成する動画生成部と、
前記生成されたダイジェスト動画の時間が設定された時間よりも長い場合に、前記第１の情報と前記第２の情報とのうちの少なくとも一方に基づいて前記生成されたダイジェスト動画の複数のフレームから一部のフレームを削除して、前記生成されたダイジェスト動画の時間を短くする処理部と
を備え、
前記処理部は、
前記複数のフレームを有する動画のうちの前記第１の情報と前記第２の情報とが設定されている第１の部分動画と、前記第１の部分動画とは異なる前記第１の情報と前記第２の情報とが設定されている第２の部分動画とから生成された第１のダイジェスト動画が前記設定された時間よりも長いと、
前記第１の部分動画のうちの前記第１の情報が関連付けられているフレームと前記第２の情報が関連付けられているフレームと、前記第２の部分動画のうちの前記第１の情報が関連付けられているフレームと前記第２の情報が関連付けられているフレームとのうちの少なくとも一部のフレームを削除して第２のダイジェスト動画を生成する画像生成装置。 In an image generation device that generates a digest video of the video based on first information about a frame in which a target subject has started to be captured in a video having a plurality of frames and second information about a frame in which the target subject has been captured ,
A moving image generating unit that generates a digest moving image of the moving image based on the first information and the second information;
When a time of the generated digest video is longer than a set time, from a plurality of frames of the generated digest video based on at least one of the first information and the second information A processing unit that deletes some frames and shortens the time of the generated digest video ,
The processor is
Of the moving image having the plurality of frames, the first partial moving image in which the first information and the second information are set, the first information different from the first partial moving image, and the When the first digest video generated from the second partial video for which the second information is set is longer than the set time,
The frame associated with the first information of the first partial moving image and the frame associated with the second information are associated with the first information of the second partial moving image. An image generation apparatus that generates a second digest video by deleting at least a part of a frame that is associated with the second information and a frame that is associated with the second information.
前記第１の部分動画のうちの前記第１の情報が関連付けられているフレームと前記第２の情報が関連付けられているフレームと、前記第２の部分動画のうちの前記第１の情報が関連付けられているフレームと前記第２の情報が関連付けられているフレームとを削除して第２のダイジェスト動画を生成する請求項２記載の画像生成装置。The frame associated with the first information of the first partial moving image and the frame associated with the second information are associated with the first information of the second partial moving image. The image generation apparatus according to claim 2, wherein a second digest moving image is generated by deleting a frame that is associated with the second information and a frame associated with the second information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274894A JP5990903B2 (en) | 2011-12-15 | 2011-12-15 | Image generation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011274894A JP5990903B2 (en) | 2011-12-15 | 2011-12-15 | Image generation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013126175A JP2013126175A (en) | 2013-06-24 |
| JP5990903B2 true JP5990903B2 (en) | 2016-09-14 |
Family
ID=48777167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011274894A Active JP5990903B2 (en) | 2011-12-15 | 2011-12-15 | Image generation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5990903B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020116960A1 (en) * | 2018-12-05 | 2020-06-11 | Samsung Electronics Co., Ltd. | Electronic device for generating video comprising character and method thereof |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019155695A1 (en) * | 2018-02-06 | 2019-08-15 | 株式会社Ｎｔｔドコモ | Information processing device and information processing method |
| JP7154024B2 (en) * | 2018-03-27 | 2022-10-17 | 東京電力ホールディングス株式会社 | Pet video analysis device, pet video analysis system, pet video analysis method, and program |
| CN115053513A (en) * | 2020-02-14 | 2022-09-13 | 索尼集团公司 | Content processing device, content processing method, and content processing program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007336086A (en) * | 2006-06-13 | 2007-12-27 | Toshiba Corp | Content recorder, content reproducing device, and content network system |
| JP2008078713A (en) * | 2006-09-19 | 2008-04-03 | Sony Corp | Recording apparatus and method, program, and reproducing apparatus and method |
| JP4999589B2 (en) * | 2007-07-25 | 2012-08-15 | キヤノン株式会社 | Image processing apparatus and method |
| JP5106271B2 (en) * | 2008-06-27 | 2012-12-26 | キヤノン株式会社 | Image processing apparatus, image processing method, and computer program |
| JP4366439B1 (en) * | 2008-12-16 | 2009-11-18 | 克己 井上 | Video content editing method, editing apparatus using the same, and remote editing apparatus |
| JP2011082915A (en) * | 2009-10-09 | 2011-04-21 | Sony Corp | Information processor, image extraction method and image extraction program |
-
2011
- 2011-12-15 JP JP2011274894A patent/JP5990903B2/en active Active
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020116960A1 (en) * | 2018-12-05 | 2020-06-11 | Samsung Electronics Co., Ltd. | Electronic device for generating video comprising character and method thereof |
| CN111276168A (en) * | 2018-12-05 | 2020-06-12 | 三星电子株式会社 | Electronic device for generating video including character and method thereof |
| KR20200068391A (en) * | 2018-12-05 | 2020-06-15 | 삼성전자주식회사 | Electronic device for generating video comprising character and method thereof |
| US11132398B2 (en) | 2018-12-05 | 2021-09-28 | Samsung Electronics Co., Ltd. | Electronic device for generating video comprising character and method thereof |
| CN111276168B (en) * | 2018-12-05 | 2021-12-21 | 三星电子株式会社 | Electronic device for generating video including character and method thereof |
| US11531702B2 (en) | 2018-12-05 | 2022-12-20 | Samsung Electronics Co., Ltd. | Electronic device for generating video comprising character and method thereof |
| KR102604937B1 (en) * | 2018-12-05 | 2023-11-23 | 삼성전자주식회사 | Electronic device for generating video comprising character and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013126175A (en) | 2013-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7483061B2 (en) | Image and audio capture with mode selection | |
| US7725015B2 (en) | Image pickup apparatus, image recording apparatus and image recording method | |
| US9124860B2 (en) | Storing a video summary as metadata | |
| US8260090B2 (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
| US8432965B2 (en) | Efficient method for assembling key video snippets to form a video summary | |
| US20110007187A1 (en) | Imaging Device And Image Playback Device | |
| US8471919B2 (en) | Image pickup apparatus, method, and program with improved moving and still image handling | |
| EP2573758B1 (en) | Method and apparatus for displaying summary video | |
| US20130236161A1 (en) | Image processing device and image processing method | |
| JP5990903B2 (en) | Image generation device | |
| JP2009194770A (en) | Imaging device, moving image reproducing apparatus, and program thereof | |
| KR101909126B1 (en) | Method and apparatus for displaying a summary video | |
| JP4683337B2 (en) | Image display device and image display method | |
| JP2007266659A (en) | Imaging reproducing apparatus | |
| US8363128B2 (en) | Image processing apparatus and image processing method | |
| US20130063621A1 (en) | Imaging device | |
| US20120093483A1 (en) | Image processing apparatus and image processing method | |
| JP2007325152A (en) | Imaging device, and program thereof | |
| KR101476650B1 (en) | Apparatus and method for processing continuously photographed image data in digital image processing device | |
| JP5369776B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP5533241B2 (en) | Movie playback device, movie playback method and program | |
| JP2010050784A (en) | Digital camera | |
| JP2008205953A (en) | Imaging device and image reproducing device | |
| JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
| JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160801 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5990903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |