JP6952584B2 - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Description

本発明は、映像合成編集が可能な撮像装置、撮像方法及び撮像プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、静止画のみならず、動画撮影機能を有するものが多い。動画撮影を行った得た動画は、鑑賞上、無駄な部分や変化の乏しい部分が比較的多く、変化が少なく見栄えが良くない場合がある。そこで、動画撮影を複数回を行い、複数の動画像を編集することで鑑賞、観察に適した動画を作成する映像編集が行われることがある。

このような動画像の映像編集装置においては、撮像装置によって撮影して得た複数の動画像を記録メディアや通信回線等を介して取り込んで編集作業を行う必要があり、比較的煩雑な作業を必要とする。そこで、特許文献１においては、先に撮影した映像に後から音声を合成するアフターレコーディング機能を有するビデオカメラが提案されている。この提案のビデオカメラにおいては、撮影した画像データの再生中に操作部の第２音声録音ボタンが押されると、再生中に取得した音声データを再生中の画像データに対応する音声記録部分に第２音声として記録するようになっている。

特開２００４−７２３０６号公報

しかしながら、特許文献１の装置においては、先に撮影して得た映像に音声を追加するアフターレコーディングは可能であるが、先に撮影して得た映像に後から追加した映像を挿入することはできない。特に、単に挿入するだけでなく、先に撮影した得た映像の所望の位置（タイミング）に後から撮影して得た映像を合成する作業を簡単に行う撮像装置は開発されていない。

本発明は、簡単な作業によって記録済みの動画像に所望の動画像を挿入することができる撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。

本発明の一態様による撮像装置は、画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御部と、被写体の動画像を撮像する撮像部と、前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示部と、前記編集前動画データの再生時に前記撮像部に前記動画像を挿入動画として撮像させる追加撮影モードを実行し、さらに、前記編集前動画データの再生によって得られる動画と前記挿入動画との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う編集制御部とを具備する。

また、本発明の一態様による撮像方法は、画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行し、さらに、前記編集前動画データの再生によって得られる動画と前記挿入動画との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う編集制御ステップとを具備する。

また、本発明の一態様による撮像プログラムは、コンピュータに、画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行し、さらに、前記編集前動画データの再生によって得られる動画と前記挿入動画との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う編集制御ステップとを実行させる。

本発明によれば、簡単な作業によって記録済みの動画像に所望の動画像を挿入することができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図。 図１の撮像装置の外観の一例を示す説明図。 図１の撮像装置の外観の一例を示す説明図。 第１の実施の形態の動作を説明するためのフローチャート。 追加撮影モードにおける撮影の様子を説明するための説明図。 追加撮影モードにおける画面表示の表示例を示す説明図。 追加撮影モードにおける画面表示の表示例を示す説明図。 追加撮影モードにおける画面表示の表示例を示す説明図。 本発明の第２の実施の形態において採用される動作フローを示すフローチャート。 画面表示を説明するための説明図。 画面表示を説明するための説明図。 画面表示を説明するための説明図。 画面表示を説明するための説明図。 複数回の挿入動画の撮影及び挿入動画の撮り直しにおける再生及び録画位置を説明するための説明図。 編集処理を説明するための説明図。 編集処理を説明するための説明図。 編集処理を説明するための説明図。 編集処理を説明するための説明図。 編集処理を説明するための説明図。 編集処理を説明するための説明図。 編集処理を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図である。また、図２Ａ及び図２Ｂは図１の撮像装置の外観の一例を示す説明図である。

本実施の形態の撮像装置は、記録済み動画データの再生時に、追加の動画撮影を可能にして、記録済み動画データ（以下、編集前動画データという）と追加撮影して得た動画（以下、挿入動画という）を含む動画データ（以下、挿入動画データという）とを映像合成編集するものである。

この場合において、動画データ再生時の再生画像及び再生音声のうち少なくとも一方をユーザが確認しながら挿入動画の撮影を行うことで、編集前動画データ中のユーザが希望する部分の動画を所望の挿入動画に置き換えた動画データ（以下、編集後動画データという）を簡単に得ることが可能である。このように、編集後動画データに基づく画像（以下、編集後動画という）には所望の挿入動画が挿入されており、編集前動画データに基づく動画（以下、編集前動画）が単調な動画であったとしても、面白味のある編集後動画データを簡単に取得することができる。

図１において、撮像装置１０は、例えばデジタルカメラ等によって構成することができる。撮像装置１０には制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。

撮像装置１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子２３を備えた撮像部２１を有している。撮像部２１は、光学系２２を介して入射した光学像を撮像素子２３によって光電変換することで、撮像信号（撮像画像）を取得する。なお、撮像素子２３としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素を有するものであってもよい。

光学系２２は、ズームやフォーカシングのための図示しないレンズ等を備えている。光学系２２は、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えており、それぞれ変倍制御部２４、ピント制御部２５及び絞り制御部２６によって駆動制御されるようになっている。なお、光学系２２のレンズとしては、撮像部２１に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。

制御部１１は、変倍制御部２４、絞り制御部２６及びピント制御部２５を制御して、光学系２２のズーム、絞り及びピントを調節することができるようになっている。撮像部２１は、制御部１１に制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を制御部１１に出力する。また、撮像装置１０にはマイクロホン２７が設けられている。マイクロホン２７は、撮像装置１０の周囲の音声を収音して、音声信号を制御部１１に供給するようになっている。

撮像装置１０には操作部３５が設けられている。操作部３５は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部３５からの操作信号に基づいて、撮像部２１を含む各部を制御するようになっている。

また、後述する表示部３１の表示画面上には、タッチパネル３２が設けられている。タッチパネル３２は、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

制御部１１は、撮像部２１に撮像素子の駆動信号を出力すると共に、撮像部２１からの撮像画像（動画像及び静止画像）を取込む。制御部１１の画像処理部１２は、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。なお、制御部１１は、マイクロホン２７からの音声信号に対しても所定の音声信号処理を行う。

制御部１１には記録再生制御部１４が設けられている。記録再生制御部１４は、信号処理後の撮像画像及び音声を圧縮処理し、圧縮後の画像及び音声を記録部３８に与えて記録させることができる。記録部３８は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を読み出して制御部１１に出力することができる。記録部３８としては、例えばカードインターフェースを採用することができ、記録部３８はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録再生制御部１４は、記録部３８に記録されている情報を読み出して利用させることができる。即ち、記録再生制御部１４は、記録部３８に記録されている動画データを再生して、再生動画や再生音声を出力する提示部として機能する。

なお、記録再生制御部１４は、記録部３８に記録する画像及び音声を関連付けて記録することができるようになっており、撮像部２１によって取得された撮像画像及びマイクロホン２７によって取得された音声は、相互に同一の時間基準を用いて録画時間と収音時間とが管理された動画データとして記録されるようになっている。なお、記録再生制御部１４は、動画像のみを含む動画データを記録することもできるようになっている。

以後説明の簡略化のために、編集前動画データには同一の時間基準を用いて記録された動画像と音声とが含まれるものとして説明する。従って、編集前動画データの再生時には、動画像とこの動画像取得時の音声とが再生されて、表示及び音声出力を行うことが可能である。

また、制御部１１には、表示制御部１３が設けられている。表示制御部１３は、撮像部２１からの撮像画像や記録再生制御部１４からの再生画像が与えられて、これらの画像表示を表示部３１に対して行うことができる。また、表示制御部１３は、撮像装置１０の操作を行うためのメニュー表示等を表示部３１に表示させることもできるようになっている。また、制御部１１は、マイクロホン２７によって取得した音声や記録再生制御部１４からの再生音声をスピーカ３３に与えて音響出力することもできるようになっている。

撮像装置１０には通信部３７が設けられている。通信部３７は、制御部１１に制御されて、図示しない外部機器との間で情報を送受することができるようになっている。通信部３７は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部３７は、ブルートゥース（登録商標）やＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信部３７は、撮像部２１によって取得された動画データを送信することができる。

また、撮像装置１０は時計部３６を有している。時計部３６は、時刻情報を発生して制御部１１に供給することができる。制御部１１は、この時刻情報を用いて、動画像同士、動画像と音声との時間情報を管理することができる。

表示部３１は、例えば撮像装置１０の筐体背面に設けられており、ＬＣＤ（液晶表示装置）等の表示面を有している。

図２Ａ及び図２Ｂは撮像装置１０の外観を背面側から見て示すものである。筐体１０ａには図１の各回路部が収納される。筐体１０ａには背面に可動部３４が取り付けられ、可動部３４に表示部３１が取り付けられている。可動部３４は、図示しない回動部材等により表示部３１の表示画面３１ａの向きを所定の向きに変更することができるようになっている。図２Ａは表示画面３１ａが撮像装置１０の背面側に向いている状態（以下、非反転状態という）を示しており、図２Ｂは表示画面３１ａが撮像装置１０の正面側に向いている状態（以下、反転状態という）を示している。なお、図２Ａ及び図２Ｂにおいては、操作部３５としてボタン３５ａ及びカーソルキー３５ｂが設けられている例を示している。

可動部３４は、例えば、バリアングル(variable angle)式やチルト（tilt）式によって構成してもよい。本実施の形態においては、制御部１１は、図示しないセンサ等により可動部３４の状態を把握することができるようになっている。例えば、制御部１１は、可動部３４が反転状態にあるか非反転状態にあるかを把握することができるようになっている。なお、制御部１１は可動部３４の非反転状態を基準として、可動部３４が筐体１０ａに対して所定の角度以上傾斜したことを傾斜状態として認識してもよく、また、筐体１０ａと可動部３４との距離が所定の距離以上離間したことを離間状態として認識するようになっていてもよい。以後の説明において、制御部１１は、反転状態、非反転状態の判定に代えて、傾斜状態や離間状態の判定を行うようになっていてもよい。

本実施の形態においては、制御部１１には、編集制御部１６が設けられている。編集制御部１６は、記録済み動画データの再生時に追加の動画撮影を可能にするモード（以下、追加撮影モードという）の制御を行う。即ち、編集制御部１６は、再生モードから追加撮影モードへの移行制御、追加撮影モードにおける挿入動画の撮影制御、編集前動画に挿入動画を挿入するタイミングの制御、編集前動画と挿入動画との合成制御等を行うようになっている。

次にこのように構成された実施の形態の動作について図３から図７を参照して説明する。図３は第１の実施の形態の動作を説明するためのフローチャートである。図４は追加撮影モードにおける撮影の様子を説明するための説明図である。図５から図７は追加撮影モードにおける画面表示の表示例を示す説明図である。

追加撮影モードは、撮像装置１０により或いは他の撮影機器により撮影されて取得された動画像を再生した状態で撮影可能なモードであり、ユーザは、再生した動画像を視聴しながら、挿入動画の撮影操作を行う。図４はこの場合の撮影の様子を示している。図４の例は、撮像装置１０の筐体１０ａの正面側をユーザ５０の方に向けた状態で、三脚４７により撮像装置１０を支持した状態を示している。撮像装置１０は筐体１０ａの正面側に光学系２２のレンズを収納した鏡筒２２ａが設けられており、筐体１０ａの上面には操作部３５を構成するシャッタボタン３５ｃが配設されている。筐体１０ａに取り付けられた可動部３４は、表示部３１の表示画面３１ａが筐体１０ａの正面側に向く状態（反転状態）となっている。従って、図４は、所謂自分撮り撮影が可能な状態を示している。なお、追加撮影モードは自分撮り撮影が可能な可動部３４の反転状態に限らず、可動部３４が非反転状態であっても設定可能である。

図４の例では、表示部３１の表示画面３１ａ上には、上方に編集前動画の再生画面４１が表示され、再生画面４１の下方には再生時間を示すプログレスバー４３が表示され、表示画面３１ａ上の下方にはスルー画４２が表示されている状態を示している。また、表示画面３１ａ上には、撮影の開始を指示するための「開始」ボタン４４も表示されている。

図４は例えば演奏会等において行われたアンサンブルのメンバーの一人であるユーザ５０が、当該演奏会を撮影して得られた動画像に、自分をクローズアップした動画像を撮影して挿入動画として挿入することを想定したものである。演奏会における撮像時には、必ずしもユーザ５０が目立つように撮影が行われる訳ではなく、ユーザ５０が満足する動画像が得られているとは限らない。ユーザ５０は、動画像を再生して自分が満足する動画像を得るために、編集前動画の一部に例えば置き換える挿入動画を撮影する。即ち、ユーザ５０は、追加撮影モードにおいて、編集前動画の再生画像及び再生音声の少なくとも一方を確認することで、編集前動画に同期させた演奏を行う。そして、後述する編集処理によって、例えば、編集前動画の一部を挿入動画に置き換える。なお、この場合には音声は挿入されず、挿入動画の挿入部分においても、編集前動画データの音声が用いられた編集後動画データが作成される。

図３から図７を参照して追加撮影モードの動作を詳細に説明する。これらの各図において、アフレコモードは、追加撮影モードを意味する。なお、図３においては、後述するように、ステップＳ２〜Ｓ４は、通常録画モードと追加撮影モードとの選択処理を示し、ステップＳ１０〜Ｓ２２は追加撮影モードの処理を示している。

ユーザ５０は、撮像装置１０の操作部３５を操作して、通常の録画モードか又は追加撮影モードを指定する。本実施の形態においては、制御部１１は、追加撮影モードへの移行は、表示画面（パネル）３１ａが反転状態になった場合に行う。

制御部１１は、図３のステップＳ１において、表示部３１の表示画面（パネル）３１ａが反転状態になったことを検出すると、ステップＳ２において、通常の録画モードが指定されているか追加撮影モード（アフレコモード）が指定されているかを判定する。制御部１１は、通常の録画モードが指定されている場合には、ステップＳ４に処理を移行してスルー画表示を行った後ステップＳ８に進む。いま、追加撮影モードが指定されているものとする。この場合には、制御部１１の表示制御部１３は、ステップＳ１でパネル反転を検出すると、ステップＳ３において追加撮影モード表示を行う。

図５はこの追加撮影モード表示の一例を示している。表示制御部１３は、図５の追加撮影モード表示を行う。図５では、表示画面３１ａの中央に機能を選択するための選択表示６０が設けられる。選択表示６０中には、再生を指示する再生ボタン６０ａ、録画を指示する録画ボタン６０ｂ及び編集を指示する編集ボタン６０ｃが表示されている。なお、図５は斜線によって再生ボタン６０ａが選択されていることを示している。また、表示画面３１ａ上の上方に編集前動画の再生画面の表示領域６１ａが設けられ、下方にスルー画の表示領域６２ａが設けられる。また、表示画面３１ａの下端には、再生時間軸を示すプログレスバー６４が表示されており、プログレスバー６４上の丸印６４ａは、現在の再生時間を示している。

また、図６は表示制御部１３による追加撮影モード表示の他の例を示している。図６においても、表示画面３１ａの中央に機能を選択するための選択表示６０が設けられる。図６においても斜線によって再生ボタン６０ａが選択されていることを示している。図６の例では、表示画面３１ａ上の中央に編集前動画の再生画面の表示領域６１ｂが設けられ、この表示領域６１ｂを親画面とし、この親画面中の一部の領域に子画面としてスルー画の表示領域６２ｂが設けられる。また、図６においては、編集前動画データの再生音声の波形を示す音声波形表示６３が表示され、表示画面３１ａの下端には、丸印６４ａによって現在の再生時間を示すプログレスバー６４も表示されている。

制御部１１は、ステップＳ５において、録画選択が行われたか否かを判定する。ユーザ５０が再生ボタン６０ａ又は編集ボタン６０ｃを操作すると、制御部１１は処理をステップＳ７に移行して再生モード又は編集モードを実行する。再生モードが指定された場合には、図５及び図６において、選択表示６０の表示が消えた後、編集前動画の再生が開始される。この場合には、例えば、表示領域６１ａ，６１ｂにおいて或いは表示画面３１ａの画面全体において、編集前動画の再生画像が表示される。

いま、ユーザ５０が追加撮影モードにおいて挿入動画の撮影を行うものとする。なお、以下の説明では、図５の追加撮影モード表示を採用するものとして説明するが、図６の追加撮影モードを採用する場合の動作も同様である。

ユーザ５０は、図５及び図６の選択表示６０中の録画ボタン６０ｂを例えばタッチ操作する。これにより、制御部１１は、ステップＳ５から処理をステップＳ６に移行して録画モードに移行する。

挿入動画の録画が開始されると、選択表示６０の表示は消え、表示画面３１ａの下方の表示領域６２ａには、録画画像が表示される。

また、図７は表示制御部１３による追加撮影モード表示の他の例を示している。図７は図５及び図６における選択表示６０の表示が消された後の表示例を示している。図７の例では、表示画面３１ａの比較的広い範囲に編集前動画の再生画面の表示領域７１が設けられ、この表示領域７１を親画面とし、この親画面中の一部の領域に子画面としてスルー画又は録画画像の表示領域７２が設けられる。表示領域７２中には録画中には録画画像が表示されていることを示すマーク７２ａが表示されるようになっている。

また、図７においては、表示領域７１の下方に編集前動画データの再生音声のレベルを示すレベル表示７３が表示される。レベル表示７３は、左右の再生音声のレベルをそれぞれ示すＬ，Ｒ用の２つのバーを有しており、各バー中において音声レベルの大きさを例えば着色や発光等（図ではハッチング）によって示している。
Ｌレベル表示７３の下方に、ハッチングで示す着色部によって現在の再生時間を示すプログレスバー７４も表示される。なお、レベル表示７３は、挿入動画の挿入位置の目安として用いることもできる。また、プログレスバー７４の左側には再生時間（ｈｈ：ｍｍ：ｓｓ）が表示され、右側にはトータル時間（ＨＨ：ＭＭ：ＳＳ）が表示されている。

次に、制御部１１は、例えばシャッタボタン３５ｃ等の録画開始ボタンの押下操作をステップＳ８において検出する。この検出により、制御部１１は、処理をステップＳ９に移行して、追加撮影モードにおける録画が指定されているか又は通常録画モードにおける録画が指定されているかを判定する。追加撮影モードが指定されている場合には、制御部１１はステップＳ９からステップＳ１０に処理を移行して、再生を開始する。

記録再生制御部１４は、記録部３８に記録されている編集前動画を読出し、表示制御部１３は、読出された編集前動画データの動画を表示画面３１ａの表示領域６１ａに表示し、音声をスピーカ３３から出力する。次に、制御部１１は、ステップＳ１１において、録画を開始する。制御部１１は撮像部２１を制御し、撮像部２１は被写体を撮像して撮像画像を制御部１１に出力する。画像処理部１２は、入力された撮像画像に所定の信号処理を施す。記録再生制御部１４は、信号処理後の撮像画像を記録部３８に順次記録する。

なお、ステップＳ１１の録画に際して、制御部１１は、スピーカ３３が収音した音声信号を取り込むようになっていてもよい。この音声信号は編集後動画データ用としては記録部３８に記録する必要はないが、編集前動画と挿入動画との同期合わせのために利用することも可能である。

次のステップＳ１２，Ｓ１３において、制御部１１は、それぞれ再生終了操作、録画終了操作の有無を判定する。再生終了操作又は録画終了操作があった場合には、制御部１１はステップＳ２１，Ｓ２２において、再生終了処理及び録画終了処理を実行する。再生終了操作及び録画終了操作のいずれも行われていない場合には、制御部１１は、次のステップＳ１４において、再生位置がカットイン等の挿入位置に到達したか否かを判定する。

本実施の形態においては、制御部１１は、ユーザ操作に基づいて、挿入動画を編集前動画のいずれの位置（挿入位置）に挿入するかを示すマーキングを設定しておくことが可能である。ステップＳ１４では、例えばこのマーキングによって挿入位置に到達したか否かが判断可能である。マーキングが設定されている場合には、ステップＳ８において録画開始ボタンが操作された場合でも、マーキングによって指定された挿入位置に到達するまでは、挿入動画の挿入が行われないようにすることができる。なお、マーキングを設定することなく、ステップＳ８の録画開始ボタンの操作直後に、挿入動画を編集前動画の再生開始位置から挿入するようになっていてもよく、また、ステップＳ８の録画開始ボタンの操作から予め設定された所定時間後に、挿入動画を編集前動画に挿入するようになっていてもよい。なお、マーキングを設定しない場合には、無条件にステップＳ１４からステップＳ１５に処理を移行する。

更に、本実施の形態においては、マーキングの設定の有無に拘わらず、編集前動画と挿入動画の同期合わせを行った後、実際の挿入位置である録画動画マーキングを設定するようになっている。編集前動画データ中の動画像と音声とは同期がとれている状態である。これに対し、編集前動画と挿入動画とは同期がとれているとは限らない。そこで、編集制御部１６は、編集前動画データと挿入動画データとについて、画像同士の特徴及び音声同士の特徴の少なくとも一方の特徴に基づいて同期合わせを行う。

編集制御部１６は、ステップＳ１４の次のステップＳ１５において、再生動画（音声）特徴を抽出し、ステップＳ１６において録画動画データ（挿入動画データ）の動画（音声）特徴を抽出する。編集制御部１６は、次のステップＳ１７において、動画特徴及び音声特徴の少なくとも一方の特徴が一致するように、編集前動画又は挿入動画を時間的にシフトさせながら特徴の比較を行う。編集制御部１６は、特徴が一致した場合には、シフトさせた時間に応じて録画動画マーキングを設定することで同期合わせを行う。

例えば、音声特徴に基づいて同期合わせを行う場合には、編集前動画データの音声波形と挿入動画データの音声波形とを比較し、波形が一致するように、例えば音声レベルに相当する振幅が十分に大きい複数のタイミングが一致するように挿入動画を時間的にシフトさせることで、同期合わせが可能である。

また、画像特徴に基づいて同期合わせを行う方法として、編集前動画中の特定部分の動きベクトルと挿入動画中の対応する特定部分の動きベクトルとを比較し、動きベクトルの変化が一致するように挿入動画を時間的にシフトさせることで、同期合わせが可能である。

編集制御部１６は、動画や音声の特徴が一致しない場合には、ステップＳ１７からステップＳ１２に処理を戻す。編集制御部１６は、動画や音声の特徴が一致した場合には、ステップＳ１７から処理をステップＳ１８に移行して、シフト量に応じて同期合わせのための録画動画マーキングを設定する。即ち、編集制御部１６は、編集前動画の挿入位置と挿入動画の対応する位置とを特定する。

本実施の形態においては、追加撮影モードの録画モードにおいて、編集前動画と挿入動画との合成画像の生成が可能である。また、追加撮影モードの編集モードにおいても、編集前動画と挿入動画との合成画像の生成が可能である。録画モードにおいて編集前動画と挿入動画との合成が指定されている場合には、編集制御部１６は、次のステップＳ１９からステップＳ２０に移行して、録画動画マーキングを用いて編集前動画と挿入動画とを同期させて合成し、処理をステップＳ１２に戻す。例えば、編集前動画の録画同期マーキングの位置で、挿入動画に置き換える。記録再生制御部１４は、合成動画は、記録再生制御部１４によって記録部３８に記録される。なお、録画モードにおける合成が指示されていない場合には、編集制御部１６は、合成を行うことなくステップＳ１９から処理をステップＳ１２に戻す。即ち、この場合には、編集前動画は編集されることなく、挿入動画はそのまま記録部３８に記録される。

なお、ステップＳ９において追加撮影モードが指定されていないと判定された場合には、制御部１１は、ステップＳ３１において、通常の録画動作を行う。制御部１１は、ステップＳ３２において録画終了操作があったか否かを判定し、録画の終了操作がなければ録画を継続し、終了操作が行われると処理をステップＳ３２からステップＳ３３に移行して、録画を終了する。

ステップＳ２２，Ｓ３３の録画終了処理では、記録再生制御部１４は、記録部３８に記録した動画のファイル化を行う。即ち、追加撮影モードにおいて、挿入動画が撮影された場合には、ステップＳ２２において、編集前動画と挿入動画との合成画像の画像ファイルが生成されるか又は、編集前動画に対応する挿入動画の画像ファイルが生成される。また、追加撮影モードでない場合には、通常の動画像の画像ファイルが生成される。この時作られる、画像ファイルには、挿入動画がある場合とない場合を示すメタデータを記録するようにしてもよく、挿入動画の範囲を時間等で表して、これをメタデータ化して記録してもよい。

ステップＳ２２，Ｓ３３の次に、制御部１１はステップＳ２３において可動部３４が反転状態であるか否かを判定する。制御部１１は、反転状態である場合には処理をステップＳ２に戻し、非反転状態になっている場合には、処理をステップＳ２４に移行して、追加撮影モードを終了して通常のカメラモードに移行する。

なお、図３の例では、同期合わせのために、編集前動画データ及び挿入動画データについて、画像特徴や音声特徴が一致するか否かを判定した。しかし、本実施の形態においては、例えば単調な編集前動画に、所望の挿入動画を挿入することで、面白味のある編集後動画を簡単に取得することを目的としており、必ずしも厳密な同期合わせを必要とするものではない。例えば、編集前動画である演奏会の再生画像を視聴しながら、編集前動画データの画像又は音声に同期して演奏を行うことで、十分に実用的な同期合わせを行った挿入画像の撮影が可能である。

なお、一般的には、人は、時間知覚に関して、視覚刺激よりも聴覚刺激の方が鋭敏である。従って、編集前動画データの画像及び音声のうち、少なくとも音声を聴きながら演奏を行うことで、十分な精度で編集前動画と挿入動画との同期合わせが可能である。

なお、一般的には、人は、空間知覚に関して、聴覚刺激よりも視覚刺激の方が鋭敏である。従って、編集前動画の画像の動きが特徴的である場合等においては、編集前動画データの画像及び音声のうち、少なくとも画像を見ながら撮影を行うことで、十分な精度で編集前動画と挿入動画との同期合わせが可能であることも考えられる。
ただし、ここでは音楽会の記録の例で説明したが、音楽のように音の連続感が必要でないシーンにおいても本願は活用でき、運動会の徒競走のゴールシーンの後で、後で撮影した選手の顔のアップ画像を挿入するような応用も可能で、音が連続することは必須ではなく、音を置き換えるような仕様であっても、音を重ねるような仕様であってもよい。画像についても置き換えでなく、合成であっても良い。つまり、元の動画を動画Ａ、アフレコ動画として、またはカットイン動画として、これらの後から追記した動画を動画Ｂとした時、動画Ａ→動画Ｂ→動画Ａという動画を編集動画として得るイメージでもっぱら説明したが、動画Ａ→動画Ａ＋Ｂ→動画Ａという編集があってもよい。動画Ａ＋Ｂの時には、メイン画像に動画ＡまたはＢ、サブ画像に動画ＢまたはＡといった表現もあり得る。サブ、メインの差異がなく並列させて鑑賞可能にしてもよい。また、再生時にこうした表現が出来るように別ファイルで動画を記録してもよい。

このように本実施の形態においては、追加撮影モードでは、既に記録されている編集前動画データを再生しながら、所望の挿入動画の撮影が可能であり、編集前動画と挿入動画とを合成した合成画像を簡単に得ることができる。これにより、１回の撮影では比較的単調になりがちな動画（編集前動画）に対して、所望の挿入動画を簡単な操作で合成して、面白味のある動画を生成することができる。また、表示画面の向きを変化させることで、追加撮影モードへの移行を可能にしており、挿入画像の撮影操作が極めて簡単である。しかも、追加撮影モードでは、編集前動画の再生が行われるので、再生画像及び再生音声を利用して、比較的容易に編集前動画に同期した挿入動画の撮影が可能である。更に、編集前動画データと挿入動画データとの画像や音声の特徴の一致を検出することで同期合わせを行うこともでき、編集前動画と挿入動画とを確実に同期合わせした状態の合成画像を得ることができる。

例えば、結婚式や演奏会等のイベントにおいて撮影された動画を登録されたＳＮＳ（ソーシャル・ネットワーキング・サービス）を送信先に設定して、アップロードすることが考えられる。このような場合においても、追加撮影モードを利用することで、自分をクローズアップした動画像等を挿入動画として撮像して合成した後アップロードすることで、面白味のある動画像の投稿が簡単に行える。

（第２の実施の形態）
図８は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同様である。第１の実施の形態においては、追加撮影モードにおいて挿入動画の１回の撮像のみを行う例を示した。本実施の形態においては、追加撮影モードにおいて複数回の挿入動画の撮像や挿入動画の撮り直しを可能にした例を示している。即ち、本実施の形態は、制御部１１の制御が第１の実施の形態と異なる。

次に、図８から図１３を参照して第２の実施の形態の動作について説明する。図９から図１２は画面表示を説明するための説明図であり、図１３は複数回の挿入動画の撮影及び挿入動画の撮り直しにおける再生及び録画位置を説明するための説明図である。

撮像装置１０の電源が投入されると、図８のステップＳ４１において、制御部１１は通常の撮影モードが設定されているか否かを判定する。通常の撮影モードが設定されている場合には、制御部１１は、ステップＳ４２においてスルー画を表示部３１に表示させた後、ステップＳ４３において撮影操作を判定するまでステップＳ４２のスルー画表示を繰り返す撮影開始操作の待機状態となる。撮影操作が行われると、制御部１１は、ステップＳ４３からステップＳ４４に処理を移行して、撮像部２１を制御して撮影を行う。撮像画像は記録再生制御部１４によって記録部３８に記録される。制御部１１は、ステップＳ４５において撮影の終了操作を判定するまで、ステップＳ４４の撮影を繰り返す。撮影終了操作があると、制御部１１は処理をステップＳ４１に戻す。制御部１１は、ステップＳ４１において撮影モードでないものと判定すると、次のステップＳ５１においてサムネイル表示を行う。

図９はこのサムネイル表示を示している。記録再生制御部１４は記録部３８に記録されている複数の動画像を読出し、表示制御部１３は、各動画像に対応するサムネイル画像を生成して表示する。図９の例では、表示画面３１ａ上に９個のサムネイル画像８１が表示されていることを示している。制御部１１は次のステップＳ５２においてサムネイル画像８１が選択操作されたか否かを判定し、選択操作が行われるまでステップＳ５１のサムネイル表示を継続する。例えば、表示制御部１３は表示画面３１ａ上にカーソル８２を表示させており、ユーザのカーソル操作によってサムネイル画像８１の選択が可能である。図９の例は太線によって左端上端のサムネイル画像８１が選択されたことを示している。

ユーザがサムネイル画像８１の１つを選択すると、制御部１１は、次のステップＳ５３において、選択されたサムネイル画像８１に対応する動画像を読出して再生する。表示制御部１３は、読出された動画像を表示画面３１ａに表示させる。

図１０はこの状態を示しており、表示画面３１ａ上には、選択された動画像の再生画像８５が表示されている。この動画再生状態において、ステップＳ５４において、所定の操作が行われたことを判定するまで、通常の動画再生を継続する。所定の操作が行われると、制御部１１は、ステップＳ５４からステップＳ５５に処理を移行して追加撮影モードに進む。図８の例では、所定の操作として、可動部３４の反転状態、即ち、表示部３１の表示画面３１ａが筐体１０ａの正面方向に面した（反転した）ことを判定するようになっており、可動部３４が反転状態（モニタが反転）になると追加撮影モードに移行する。

追加撮影モードでは、先ずステップＳ５５において、選択されている動画の再生位置を設定し、更に、挿入画像の撮影のためのスルー画を表示する。なお、この場合の再生位置は、ステップＳ５３における再生位置に継続した位置であってもよく、また、読出した動画像の先頭位置であってもよい。表示制御部１３はステップＳ５６において、動画像（編集前動画）の再生を行う。

図１１はこの状態を示しており、表示部３１の表示画面３１ａの上方には再生動画の表示領域８６が設けられ、下方にはスルー画の表示領域８７が設けられている。また、表示画面３１ａの下端には丸印８８ａで現在の再生時間を示す時間軸表示であるプログレスバー８８が表示されている。

次に、編集制御部１６は、ステップＳ５７において、挿入動画の撮影操作が行われたか否かを判定する。撮影操作が行われていない場合には、編集制御部１６は処理をステップＳ６５に移行して、戻る操作が行われたか否かを判定する。制御部１１は、追加撮影モードにおいて、挿入動画の記録が１回も行われていない場合において戻る操作が行われたものと判定した場合には、処理をステップＳ５１に戻して、サムネイル表示を行う。それ以外の場合には、制御部１１はステップＳ６５から処理をステップＳ５６に戻して、再生状態を継続しながら撮影操作の待機状態となる。

ここで、ユーザが撮影操作を行うと、編集制御部１６は、処理をステップＳ５７から次のステップＳ５８に移行して、挿入動画の撮影を行う。記録再生制御部１４は、編集制御部１６の指示に従って、挿入動画を記録部３８に記録（録画）する。なお、この場合には、表示部３１の表示画面３１ａの下方の表示領域８７は、録画画像（挿入動画）のスルー画表示用の表示領域となる。編集制御部１６は、次のステップＳ５９において、挿入動画の録画停止及び編集前動画の再生停止の少なくと一方の停止操作が行われたか否かを判定する。編集制御部１６は、これらの停止操作が行われていない場合には、ステップＳ５８において挿入動画の撮影を継続しながら停止操作の待機状態となる。ユーザが撮影の停止操作を行うと、編集制御部１６は、編集前動画の再生及び挿入動画の録画の両方を停止させ、挿入動画を編集前動画に関連づけて記録部３８に記録すると共に、処理を次のステップＳ６０に移行してモード選択表示を行う。

図１２はこのモード選択表示を示している。表示部３１の表示画面３１ａ上には、再生動画の表示領域８６及びスルー画表示用の表示領域８９が設けられている。録画や再生の停止操作が行われると、こられの領域８６，８９上にモード選択表示（アフレコ動画モード選択）９０が表示される。このモード選択表示９０中には、挿入動画の撮り直しボタン９０ａ、次の挿入動画の撮影を行うための撮影継続ボタン９０ｂ及び撮影動画の確認のための撮影動画確認ボタン９０ｃが含まれる。なお、表示画面３１ａの下端には、丸印９１ａで現在の再生時間を示す時間軸表示であるプログレスバー９１が表示されている。

編集制御部１６は、ステップＳ６１〜Ｓ６３において、それぞれこれらのボタン９０ａ〜９０ｃに対する操作が行われたか否かを判定する。ユーザが撮影継続ボタン９０ｂを例えばタッチ操作すると、編集制御部１６は、処理をステップＳ６１からステップＳ５６に戻して、再生を再開する。また、ユーザが撮り直しボタン９０ａを例えばタッチ操作すると、編集制御部１６は、処理をステップＳ６１，Ｓ６２からステップＳ６４に移行して、現在録画中の挿入動画を破棄すると共に、当該挿入動画の録画開始時における編集前動画の再生位置又はその所定時間前の位置に再生位置を戻した後、処理をステップＳ５６に戻して再生を再開する。

図１３は撮り直し及び撮影継続における再生位置を示している。図１３は上段に撮り直しの状態を示し、下段に撮影継続の状態を示している。図１３は水平方向に時間の経過を示し、斜線部は挿入動画が録画されている期間を示している。撮り直しでは、１回の挿入動画の録画開始時点まで再生位置を戻す。撮影継続では、挿入動画の録画停止位置から再生が再開される。

撮り直しボタン９０ａ及び撮影継続ボタン９０ｂが操作された場合には、ステップＳ５６〜Ｓ６２，Ｓ６４が繰り返されることになり、挿入動画の複数回の録画が行われる。即ち、ユーザが撮影継続ボタン９０ｂを操作することによって、編集前動画の各再生位置において各挿入動画を録画することができる。また、ユーザが撮り直しボタン９０ａを操作すると、このボタン操作時点に録画されている挿入動画を破棄して対応する編集前動画の再生位置において挿入動画の撮り直しが可能である。

ユーザが撮影動画確認ボタン９０ｃを例えばタッチ操作すると、編集制御部１６は、処理をステップＳ６１，Ｓ６２，Ｓ６３からステップＳ６５に移行して、記録再生制御部１４に録画されている挿入動画の再生を指示する。表示制御部１３は再生された挿入動画を表示部３１に与えて表示画面３１ａ上に表示させる。なお、この場合には、ステップＳ５８において撮影された全ての挿入動画を再生してもよく、直前に撮影された挿入動画のみを再生するようになっていてもよい。挿入動画の表示が終了すると、編集制御部１６は、表示画面３１ａ上に、録画した挿入動画を採用するか破棄するかの問い合わせのための表示を行う。

編集制御部１６は、ステップＳ６６において、この問い合わせに対するユーザ操作を判定する。ユーザが録画した挿入動画の破棄を指示する操作を行った場合には、編集制御部１６は、ステップＳ６８において録画した挿入動画を破棄した後処理を終了する。また、ユーザが録画した挿入動画を採用する操作を行った場合には、編集制御部１６は、ステップＳ６６からステップＳ６７に移行して録画した挿入動画と編集前動画の編集処理を実行した後処理を終了する。

なお、図８では撮影動画確認ボタン９０ｃの操作によって追加撮影モードを終了するようになっているが、追加撮影モードを終了させるための終了ボタンを設けてもよく、第１の実施形態と同様に、可動部３４が非反転状態になることによって、追加撮影モードを終了させてもよい。

編集制御部１６は、ステップＳ６７の編集処理として、編集制御部１６は図３のステップＳ２０における合成処理と同様の合成処理、即ち、編集前動画の各部分を録画した挿入動画で置き換える合成処理を行ってもよい。また、この場合において、図３のステップＳ１４〜Ｓ１８における同期合わせの処理を行ってもよい。更に、編集制御部１６は編集処理のためのユーザインターフェース表示を行って、録画した挿入動画を取捨選択しながら、編集前動画と挿入動画との編集を行うようになっていてもよい。

このように本実施の形態においては、第１の実施の形態と同様に、撮影した動画を再生しながら、再生画像や再生音声に合わせて挿入する動画の撮影が可能であり、簡単に、撮影済み動画の所定部分に挿入動画を挿入した合成画像を得ることができる。従って、単調になりがちな動画を元にして、簡単な操作で面白味のある動画を作成することができる。

（編集処理）
図１４から図２０は編集処理を説明するための説明図である。なお、以下の編集処理は、上記第１及び第２の実施の形態のいずれにも適用可能である。

図３のステップＳ１０及び図８のステップＳ５３の動画再生毎に挿入動画を管理することで、同一の編集前動画に対して複数のテイクを取得することができる。即ち、この場合には、同一の編集前動画の同一の編集位置において、複数の異なる挿入動画を録画することができる。図１４から図２０はこのような複数テイクに対応した編集処理を示している。

編集制御部１６は、表示制御部１３に指示を与えて、編集処理のための図１４に示す編集処理表示（アフレコ編集）１００を表示させることができる。また、編集制御部１６は、タッチパネル３２や操作部３５のユーザ操作に応じて表示制御部１３、記録再生制御部１４を制御して、編集処理表示１００の表示を変化させると共に、編集前動画及び挿入動画に対する編集処理を行うことができるようになっている。以下に示す編集処理に係る、表示を含むユーザインターフェース、画像の読出し、合成、編集、書込み処理等は、編集制御部１６によって実現されるものである。

図１４に示す編集処理表示１００は、水平方向を時間の経過に対応させて、最上段に編集前動画（オリジナル動画）の各記録時間（再生時間）における各コマを縦線で区画して表した編集前動画コマ表示Ｆｏを示している。また、編集処理表示１００には、１回目、２回目、３回目、…のテイクによる挿入動画コマ表示（ＴＡＫＥ１（アフレコ））Ｆｔ１、挿入動画コマ表示（ＴＡＫＥ２（アフレコ））Ｆｔ２、挿入動画コマ表示（ＴＡＫＥ３（アフレコ））Ｆｔ３、…も表示されている。

挿入動画コマ表示Ｆｔ１，Ｆｔ２，Ｆｔ３，…（以下、各テイクを区別する必要がない場合には挿入動画コマ表示Ｆｔという）の無効部分は、挿入画像が録画されていない期間又は録画されていても有効でない期間を示している。図３のステップＳ１４において説明したように、挿入動画の録画は継続的に行われていたとしても、マーキングによって無効部分を指定することで、録画されている挿入動画のうち編集に用いることが可能な有効期間を設定することができる。なお、図８のフローでは、ユーザの撮影操作によって、有効期間の挿入動画のみが録画される。

編集処理表示１００には、下端にタイムライン表示１０１が表示されている。タイムライン表示１０１に対する操作によって、編集前動画コマ表示Ｆｏ及び挿入動画コマ表示Ｆｔを水平方向にシフトさせて、表示する時間帯を変化させることが可能である。また、編集処理表示１００には右端にスクロールバー１０２が表示されている。挿入動画コマ表示Ｆｔの表示数が多い場合には、挿入動画コマ表示Ｆｔの一部しか表示させることができない。スクロールバー１０２に対するユーザ操作によって、表示させる挿入動画コマ表示Ｆｔをシフトさせて、全ての挿入動画コマ表示Ｆｔを編集処理表示１００において表示させることができる。

編集制御部１６は、ユーザのスライド操作やカーソル操作等によって、合成する画像の指定を受け付けることができる。図１５はハッチングによってユーザが画像編集に用いるコマ（以下、指定コマという）１０３を選択したことを示している。例えば、ユーザは、編集処理表示１００上に表示されたカーソル１０３ａを破線矢印にて示すようにカーソル１０３ｂの位置までスライドさせることで、指定コマ１０３を指定することができる。また、例えば、ユーザは、指をカーソル１０３ａの位置のコマ部分からカーソル１０３ｂのコマ部分までスライド操作することで、指定コマ１０３を指定することができる。図１５の例では、ユーザによりハッチングにて示す編集前動画コマ表示Ｆｏの３つの指定コマ１０３が指定されたことが分かる。編集制御部１６は、ユーザによる指定コマ１０３の指定操作を受け付ける。なお、編集制御部１６は、指定コマ１０３のコマ部分については他のコマ部分とは異なる表示態様で表示させる。

図１６は編集前動画だけでなく挿入動画についても指定コマ１０３の指定操作が行われたことを示している。例えば、ユーザは、指をカーソル１０３ａの位置のコマ部分から破線矢印に示す経路でカーソル１０３ｂのコマ部分までスライド操作することで、編集前動画コマ表示Ｆｏの１つの指定コマ１０３と挿入動画コマ表示Ｆｔ１の４つの指定コマ１０３とを指定することができる。

図１７はユーザによる指定コマ１０３の指定操作が終了した状態を示している。図１７に表示された期間では、挿入動画コマ表示Ｆｔ１のコマの次に挿入動画コマ表示Ｆｔ２の３つの指定コマ１０３が指定され、次に挿入動画コマ表示Ｆｔ３の２つの指定コマ１０３が指定され、次に編集前動画コマ表示Ｆｏの１つの指定コマ１０３が指定されたことを示している。指定コマ１０３の指定が終了すると、編集制御部１６は、挿入動画の表示効果を決定するための効果選択表示１０５を表示画面３１ａ上に表示させる。

図１８はこの効果選択表示１０５の表示例を示している。効果選択表示１０５中には、編集前動画コマ表示Ｆｏ、タイムライン表示１０１の他に、画面全体を示す領域表示１０６が表示されている。編集前動画コマ表示Ｆｏ中の斜線部は、表示効果を設定する対象のコマを示しており、タイムライン表示１０１中の斜線部分は、表示効果が設定されるコマのタイムライン上の位置を示している。

領域表示１０６中には、画面全体を親画面とし、子画面として表示する画像の領域表示１０７が表示されている。初期状態では、領域表示１０６は編集前動画の表示領域に相当し、領域表示１０７は挿入動画の表示領域に相当する。ユーザが例えば領域表示１０６上をタップ操作することで、領域表示１０６及び領域表示１０７に表示させる画像を編集前動画と挿入動画とで入れ替えることが可能である。

また、領域表示１０７の周囲には、領域表示１０７の領域表示１０６に対するサイズ及び位置を変更するための拡縮アイコン１０８Ｕ，１０８Ｄ，１０８Ｒ，１０８Ｌ（以下、これらを区別する必要がない場合には拡縮アイコン１０８という）が表示されている。拡縮アイコン１０８Ｕは領域表示１０７の上辺を上下方向にスライドさせ、拡縮アイコン１０８Ｄは領域表示１０７の底辺を上下方向にスライドさせ、拡縮アイコン１０８Ｒは領域表示１０７の右辺を左右方向にスライドさせ、拡縮アイコン１０８Ｌは領域表示１０７の左辺を左右方向にスライドさせる。

ユーザが拡縮アイコン１０８を例えばスライド操作させることによって、領域表示１０７の各辺をスライドさせて、領域表示１０７の領域表示１０６に対するサイズ及び位置を変更することができる。図１９は例えば拡縮アイコン１０８を操作することで、領域表示１０７が領域表示１０７’の範囲から矢印に示すように拡大された結果、画面全体に対応する領域表示１０７に変化したことを示している。即ち、図１９の表示効果が指定された対象のコマについては、編集前動画に代えて挿入動画が全画面に表示されることになる。編集制御部１６は、効果選択表示１０５に対するユーザ操作に基づいて、指定コマ１０３毎に、表示効果を設定することができる。

図２０は最終的な編集処理の結果及び当該編集処理に対するユーザへの確認のための表示を含む編集確認表示１１０を示している。編集確認表示１１０においては、挿入動画コマ表示Ｆｔ中のハッチングを含むコマは、指定コマ１０３を示している。また、図２０では、編集前動画コマ表示Ｆｏは、編集後動画の各コマを示しており、表示効果が設定された指定コマによる編集後コマ１１１〜１１３を示している。

編集後コマ１１１は、指定コマ１０３がそのまま使われたものであり、編集前動画のコマが指定コマ１０３として採用された場合と、挿入動画のコマが指定コマ１０３として採用された場合、即ちカットインの場合とがある。また、編集後コマ１１２は、挿入動画中の指定コマ１０３を子画面１１２ｂとして編集前動画の対応するコマを親画面１１２ａとする、所謂ワイプ表示を行うものである。また、編集後コマ１１３は、挿入動画中の指定コマ１０３を親画面１１３ａとして編集前動画の対応するコマを子画面１１３ｂとする、所謂逆ワイプ表示を行うものである。

編集確認表示１１０中には、確認表示１１４が表示されている。確認表示１１４中には編集内容に同意して編集後動画を生成するための「はい」表示１１４ａ及び編集内容に同意せず編集作業を継続するか又は編集作業を終了するための「いいえ」表示１１４ｂが表示されている。ユーザが「はい」表示１１４ａを例えばタップ操作することで、編集制御部１６は編集内容を確定して、編集前動画及び挿入動画に対して指定された編集を施して編集後動画を作成し、記録部３８に記録させる。また、ユーザが「いいえ」表示１１４ｂを例えばタップ操作した場合には、編集制御部１６は編集内容を確定せず、再度編集処理に戻るか又は編集を終了する。

このように図１４から図２０に示す編集インターフェース表示を採用することで、簡単な操作で、所望の編集処理を行うことができる。
主に、ここでは音楽会の記録の例で説明したが、音楽のように音の連続感が必要でないシーンにおいても本願は活用でき、運動会の徒競走のゴールシーンの後で、後で撮影した選手の顔のアップ画像を挿入するような応用も可能である。ニュースの報道などでも、試合中の様子に、試合後のインタビュー画像が挿入される表現はよく使われる。この場合、音が連続することは必須ではなく、音を置き換えるような仕様であっても、音を重ねるような仕様であってもよい。画像についても置き換えでなく、合成であっても良い。つまり、元の動画を動画Ａ、アフレコ動画として、またはカットイン動画として、これらの後から追記した動画を動画Ｂとした時、動画Ａ→動画Ｂ→動画Ａという動画を編集動画として得るイメージでもっぱら説明したが、動画Ａ→動画Ａ＋Ｂ→動画Ａという編集があってもよい。動画Ａ＋Ｂの時には、メイン画像に動画ＡまたはＢ、サブ画像に動画ＢまたはＡといった表現もあり得る。サブ、メインの差異がなく並列させて鑑賞可能にしてもよい。また、再生時にこうした表現が出来るように別ファイルで動画を記録してもよい。もちろん、動画Ａ→動画Ｂで終わっても、挿入動画という言葉で表している。よって、追記動画という言葉で、これを表してもよい。

なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを採用する例を説明したが、動画の撮影が可能なものであれば、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。

さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした装置、あるいはシステムは、ユーザに何らかの働きかけを行ったり、部品の角度を変えたりする等の機能を有しても良く、その機構は、様々なアクチュエータと、必要に応じて連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の撮像装置を実現することができる。

１０…撮像装置、１０ａ…筐体、１１…制御部、、１２…画像処理部、１３…表示制御部、１４…記録再生制御部、１６…編集制御部、２１…撮像部、２２…光学系、２３…撮像素子、２４…変倍制御部、２５…ピント制御部、２６…絞り制御部、２７…マイクロホン、３１…表示部、３１ａ…表示画面、３２…タッチパネル、３３…スピーカ、３４…可動部、３５…操作部、３５ｃ…シャッタボタン、３６…時計部、３７…通信部、３８…記録部。

Claims (8)

1. 画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御部と、
   被写体の動画像を撮像する撮像部と、
   前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示部と、
   前記編集前動画データの再生時に前記撮像部に前記動画像を挿入動画として撮像させる追加撮影モードを実行し、さらに、前記編集前動画データの再生によって得られる動画と前記挿入動画との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う編集制御部と
   を具備したことを特徴とする撮像装置。
2. 前記編集制御部は、前記編集前動画データ中の動画と前記挿入動画とを編集した編集動画を生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記挿入動画の撮像時における音声を含む挿入動画データを得るために周囲の音を収音するマイクロホンを具備し、
   前記編集制御部は、前記編集前動画データ中の音声と前記挿入動画データ中の音声との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記編集制御部は、前記追加撮影モードにおいて、前記編集前動画データの再生位置を変えながら前記挿入動画の撮像を繰り返すことで前記編集前動画データ中の動画の複数カ所で前記挿入動画の撮像を行わせる
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記編集制御部は、前記追加撮影モードにおいて、撮像して得た前記挿入動画を破棄した後、破棄した前記挿入動画に対応する前記編集前動画データの再生位置から前記編集前動画データの再生及び挿入動画の撮像を行うことで前記挿入動画の撮り直しを可能にする
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記編集前動画データの再生を行う前記提示部から出力された動画像を表示する表示部を具備し、
   前記編集制御部は、前記表示部の変位によって前記追加撮影モードに移行する
   ことを特徴とする請求項１に記載の撮像装置。
7. 画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、
   前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、
   前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行し、さらに、前記編集前動画データの再生によって得られる動画と前記挿入動画との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う編集制御ステップと
   を具備したことを特徴とする撮像方法。
8. コンピュータに、
   画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、
   前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、
   前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行し、さらに、前記編集前動画データの再生によって得られる動画と前記挿入動画との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う編集制御ステップと
   を実行させるための撮像プログラム。

Images