JP5414374B2 - 撮像記録装置及びその制御方法 - Google Patents

Description

本発明は、撮像記録装置等に関し、特に記録済み音声データに関連付けた動画像データを撮像或いは記録する撮像記録装置等に関するものである。

従来、音楽と映像を任意に組み合わせた、いわゆるミュージッククリップ作品を制作するには、パーソナルコンピュータ（ＰＣ）等での編集ソフトを用いていた。

ミュージッククリップ作品を製作する場合、映像を撮像装置を用いて撮影する時、その映像を組み合わせようとする音楽を撮影前に聞いておきたい場合がある。だが、実際に撮影を開始する時には、撮影における記録音声に再生されている音楽が混入するのを防止するため、撮影時には音楽再生を停止することが好ましい。このような再生されている音楽の記録音声への混入を防ぐ技術としては、例えば特許文献１に開示がある。

特許文献１では、音声を含む情報の再生中にレリーズスイッチから画像の記録が指示されたときに、音声を含む情報の再生の停止を指示してから、画像の記録の開始を指示する記録再生制御ユニットを備える情報処理装置が開示されている。

特開２００１−２４５１９２号公報

しかしながら、音声データの特定のタイミングに所望の動画像をあわせたミュージッククリップ作品を制作したい場合、上述の特許文献１に開示された技術であってもＰＣ等で編集ソフトを用いる必要があることに変わりは無く、手間がかかるといった問題がある。

そこで、本発明は、ＰＣ等で編集ソフトを用いずとも、容易にミュージッククリップ作品を制作することが可能な撮像記録装置等を提供することを目的とする。

本発明の撮像記録装置は、音声を再生する音声再生手段と、動画像を撮像する撮像手段と、前記撮像手段で撮像された動画像を記録する動画像記録手段と、前記動画像記録手段による動画像の記録を指示する記録指示手段と、前記音声再生手段で音声が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付ける関連付け手段と、を有し、前記関連付け手段は、前記指示により記録される動画像の開始時間を、前記指示があった時点で前記音声再生手段で再生されていた音声の経過時間と関連付けることを特徴とする。

本発明によれば、ビデオカメラ等の撮像記録装置本体が再生する音声の進行タイミングに合わせて動画像の記録指示操作をするだけで、音声に動画像を関連付けて記録することができ、ミュージッククリップ作品を容易に製作することができる。

本発明の第１の実施の形態に係る撮像記録装置のシステム構成を示すブロック図である。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像記録の動作について説明するフローチャートである。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像再生の動作について説明するフローチャートである。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像記録における音楽再生時の画面表示の一例を示した図である。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像記録時における、ダイレクトモード設定時の音声データと動画像データとの関係を模式的に示した図である。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像記録時における、クオンタイムズモード設定時の音声データと動画像データとの関係を模式的に示した図である。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像記録時における、クリップフィルモード設定時の音声データと動画像データとの関係を模式的に示した図である。 本発明の第１の実施の形態に係る撮像記録装置をミュージッククリップモードとして記録した音声データと動画像データを模式的に示した図である。 本発明の第２の実施の形態に係る撮像記録装置をミュージッククリップモードとした場合の動画像記録の動作について説明するフローチャートである。

以下、本発明の好ましい実施の形態を添付の図面に基づいて詳細に説明する。なお、以下に示す実施の形態において用いる「音声」とは、音楽又は人の声等とする。

＜第１の実施の形態＞
（システム構成）
先ず図１を参照して、本発明の第１の実施の形態に係る撮像記録装置のシステム構成について説明する。図１は、本発明の第１の実施の形態に係る撮像記録装置（以下、ビデオカメラ）のシステム構成を示すブロック図である。

図１において、１０はビデオカメラ全体を示す。ビデオカメラ１０において、１０１はレンズ、１０２は撮像素子であるＣＣＤ（ＣＭＯＳ等でも良い）である。１０３はカメラ信号処理部であり、ＣＣＤ１０２からの出力信号を記録／再生制御部１０４が処理可能な信号となるように処理し、記録／再生制御部１０４に出力する。また、１１４はカメラ周囲の音声を集音するためのマイクである。

１０４は記録／再生制御部である。記録／再生制御部１０４は、複数の構成要素を含んで構成される。すなわち、１１７はカメラ信号処理部１０３から出力された信号を動画像データとして記録するための動画像記録処理部であり、１１９はマイク１１４から出力された信号を音声データとして記録するための音声記録処理部１１９である。また、１１８は動画像データの再生処理を行う動画像再生処理部であり、１２０は音声データの再生処理を行う音声再生処理部である。また、１２１は再生する動画像データにビデオカメラ１０本体の各種制御状態を文字や図等で重畳表示するためのＯＳＤ（オンスクリーンディスプレイ）である。また、１１６はビデオカメラ１０に記録される動画像データと音声データとを関連付けして管理する動画像／音声データ管理部である。

１０５は記録媒体制御部であり、１０６はハードディスクドライブ等の記録装置である。動画像データと音声データは、記録媒体制御部１０５を通じて、記録装置１０６に符号圧縮化された状態で格納され、記録装置１０６に格納された動画像データと音声データは、記録装置１０６から取り出すことが可能である。また、動画像／音声データ管理部１１６により動画像データと音声データとが関連付けされた場合は、記録媒体制御部１０５を介して、関連付けに係る情報が記録装置１０６に記録或いは登録される。

１０８はＬＣＤ表示回路であり、１０９は表示装置であるＬＣＤである。ＬＣＤ表示回路１０８は、映像信号を記録／再生制御部１０４から出力され、ＬＣＤ１０９を駆動して表示する。１１５は本発明でいう音声再生手段の一構成に対応するスピーカであり、音声再生処理部１２０で再生された音声データを出力する。スピーカ１１５は、動画像データに対応した音声データのみならず、別途記録した音楽等の音声データの出力も可能である。

１０７はシステム制御マイコンであり、ビデオカメラ１０全体の制御を行う。１１０は本発明でいう記録指示手段の一構成に対応する記録開始／停止スイッチであり、ユーザの操作により、システム制御マイコン１０７に対して記録の開始と停止の指示を出力する。記録の開始や停止の指示があった場合、システム制御マイコン１０７は、ビデオカメラ１０内の各部の制御を行い、動画像データの記録の制御を行う。

１１１はモード設定部であり、ユーザの操作に応じて、動画像記録モード又は動画像再生モードの切り替え、通常モード又はミュージッククリップモードの切り替えの指示をシステム制御マイコン１０７に出力する。通常モードとは、記録開始／停止スイッチ１１０の操作に応じて動画像を記録又は停止するモードであり、ミュージッククリップモードとは、記録開始／停止スイッチ１１０に応じて音声データに動画像データを関連付けしつつ記録するモードである。モード設定部１１１は、ハードウェアのスイッチ等で構成しても良いし、ＬＣＤ１０９上にインタフェースを表示してここから設定を行うように構成しても良い。また、１１２は操作部であり、十字左右キー等を含み、ユーザの操作に応じて、システム制御マイコン１０７に対してビデオカメラ１０の各種設定の指示を出力する。また、不図示ではあるが、ビデオカメラ１０はＵＳＢ等の外部機器との接続部を有しており、外部機器から動画像データや音声データを取り込んで記録することも可能となっている。

＜記録時の動作＞
次に、ビデオカメラ１０における動画像記録時の動作を説明する。図２は、ビデオカメラ１０をミュージッククリップモードとした場合の動画像記録の動作について説明するフローチャートである。なお、以下で説明する動作は、システム制御マイコン１０７がビデオカメラ１０の各部を制御することで実行されるため、動作主体はシステム制御マイコン１０７となる。

先ずステップＳ２０１において処理が開始されると、ステップＳ２０２においてシステム制御マイコン１０７は、ユーザによるモード設定部１１１の操作に応じて、ビデオカメラ１０を動画像記録モードに設定する。

次にステップＳ２０３においてシステム制御マイコン１０７は、ユーザによるモード設定部１１１の操作に応じて、ビデオカメラ１０を「通常モード」から「ミュージッククリップモード」に切替設定する。この際、システム制御マイコン１０７は、音声データの選択を促すメニューリストをＬＣＤ１０９に表示する。

次にステップＳ２０４においてシステム制御マイコン１０７は、ステップＳ２０３でユーザにより選択された音声データについての情報を表示する。

より詳しく説明すると、ステップＳ２０３でＬＣＤ１０９に表示されたメニューリストでは、ユーザは予め記録されている音声データを選択することができる。ここでユーザが所望の音声データを選択すると、ステップＳ２０４においてシステム制御マイコン１０７は、選択された音声データ名と記録すべき総ショートクリップ数（＝音声データ長／ショートクリップ長）を表示する。本実施の形態では、音声データは複数の音声区間に時間的に等分されて区分けされており、この音声区間の時間的長さがショートクリップ長、つまり記録される動画像データの時間的長さとなっている。

更に、ステップＳ２０４でシステム制御マイコン１０７は、音声データの再生を開始し、これと同時にビデオカメラ１０をＲＥＣＰ状態（撮影可能状態）とする。また、ＬＣＤ１０９の画面下方にプログレスバーを表示し（タイムライン画面下段のプログレスバー表示と似た形態）、現在の音声データの再生位置（経過時間）をリアルタイムにショートクリップ長単位で分かるように表示する。

次にステップＳ２０５においてシステム制御マイコン１０７は、ユーザの操作に応じて、「ショートクリップ長」を設定変更する。ショートクリップ記録される動画像データの時間的長さであるショートクリップ長が変更されると、これに応じて、総ショートクリップ数表示、プログレスバーの表示が変更される。なお、ショートクリップ長の変更は、操作部１１２に含まれる十字左右キー等を用いて行うことができる。また、ここでの設定は必ずしも必要ではない。

次にステップＳ２０６においてシステム制御マイコン１０７は、ユーザの操作に応じて、「総ショートクリップ数」を設定変更する。総ショートクリップ数が変更されると、これに応じて、ショートクリップ記録される動画像データの長さであるショートクリップ長が変更され、プログレスバーの表示も変更される。なお、総ショートクリップ数の変更も、操作部１１２に含まれる十字左右キー等を用いて行うことができる。また、ここでの設定は必ずしも必要ではない。

次にステップＳ２０７においてシステム制御マイコン１０７は、ユーザの操作に応じて、「リピートモード」を設定する。ここでは、リピート範囲をショートクリップ長単位で、「１」から「記録すべきクリップ数」までの範囲で設定可能である。リピート範囲を総クリップ数未満とした場合は、そのリピート範囲が現在の音声データ再生位置を含む範囲で設定され、プログレスバーに表示される。なお、リピートモードの設定も、操作部１１２に含まれる十字左右キー等を用いて行うことができる。

次にステップＳ２０８においてシステム制御マイコン１０７は、ユーザの操作に応じて、音声データの再生の早送り／戻しをショートクリップ長単位で行う。ここでは、ステップＳ２０６でリピート範囲を総クリップ数未満とした場合は、そのリピート範囲で前後移動することができる。なお、音声データ再生の早送り／戻しに関しても、操作部１１２に含まれる十字左右キー等を用いて行うことができる。なお、ここでの設定は必ずしも必要ではない。

次にステップＳ２０９においてシステム制御マイコン１０７は、ユーザの操作に応じて、「ダイレクトモード」又は「クオンタイズモード」又は「クリップフィルモード」を設定する。これら各モードの詳細については後述する。また、ここでの各種設定も、操作部１１２に含まれる十字左右キー等を用いて行うことができる。

次にステップＳ２１０においてシステム制御マイコン１０７は、撮影済みクリップ数（ショートクリップの数）が０であるかどうかを確認する。ここで、撮影済みクリップ数が０であればステップＳ２１２に進み、撮影済みクリップ数が０でなければステップＳ２１１に進む。

ステップＳ２１１においては、システム制御マイコン１０７は、サブメニューに含まれる「関連付け解除メニュー」を表示し、音声データとショートクリップとの関連付けを解除する否かを選択可能とする。

ステップＳ２１１で音声データとショートクリップの関連付けを解除したい場合は、サブメニューに含まれる「関連付け解除メニュー」におけるプログレスバーにて個々の関連付け済み部分（ショートクリップ長単位で表示）を左右キーで選択する。このような関連付け済み部分は強調表示等により判別可能な態様で表示される。そして、いずれかの関連付け済み部分を選択すると、そこに関連付けされたショートクリップがリピート再生される。そこで、アイコン表示された「関連付け解除」を選択実行すると、関連付けが解除される。このようにすることで、関連付け解除した位置に対する撮影が再び可能になる。ただし、ここで解除された関連付けされたショートクリップの動画像データ自体が削除される訳ではない。後で別途再生モード等にて、関連付け再登録、関連付け位置の移動、関連付けタイミングのクオンタイズ等が可能である。また、ここで関連付けの解除を望まない場合は、アイコン表示された「撮影動作」を選択実行するとステップＳ２１２に進むようになっている。なおプログレスバーにて個々の関連付け済み部分（ショートクリップ長単位）を表示する処理は、本発明でいう関連付け範囲表示制御手段の一処理に対応する。また、ここではショートクリップ長単位で関連付け済み部分が表示されるようにしたが、通常クリップで撮影をした場合にはその通常クリップの長さ分の範囲を明示的に表示するようにしても良い。

そしてステップＳ２１２においてシステム制御マイコン１０７は、記録開始／停止スイッチ１１０の操作を待つ。ここでユーザは、現在再生されている音声を聞きながら、かつ、現在再生されている音声の位置（経過時間）をプログレスバーにより確認して、関連付けたい被写体にビデオカメラ１０を向けて、音声の所望の位置で記録開始／停止スイッチ１１０を押すようにする。

ステップＳ２１２で記録開始／停止スイッチ１１０が押されたことを確認すると、ステップＳ２１３においてシステム制御マイコン１０７は、再生されている音声を停止し、ショートクリップ撮影、撮影されるショートクリップの音声データへの関連付けを行う。ここで、ショートクリップと音声データとの関連付けは、システム制御マイコン１０７からの指示を受けた動画像／音声データ管理部１１６によりなされ、ステップＳ２０９で設定したモードに応じて、以下（ａ），（ｂ），（ｃ）のいずれかの態様でなされる。

（ａ）ダイレクトモードの場合
記録開始／停止スイッチ１１０が押された瞬間を始点（開始時間）としたショートクリップが撮影され、記録される。
記録開始／停止スイッチ１１０が押された瞬間に再生されていた音声データの位置（経過時間）にショートクリップの始点（開始時間）が関連付けされる。

（ｂ）クオンタイズモードの場合
記録開始／停止スイッチ１１０が押された瞬間を始点（開始時間）としたショートクリップが撮影され、記録される。
記録開始／停止スイッチ１１０を押した瞬間に再生されていた音声データの位置（経過時間）に対応するショートクリップ長（音声区間）の先頭位置（開始時間）にショートクリップの始点（開始時間）が関連付けされる。

（ｃ）クリップフィルモードの場合
プリＲＥＣ（プリ記録）が行われており、記録開始／停止スイッチ１１０を押した瞬間に再生されていた音声データの位置（経過時間）に対応するショートクリップ長（音声区間）の先頭位置（開始時間）よりショートクリップが撮影され、記録される。
前述ショートクリップ長の先頭位置（開始時間）に、ショートクリップの始点（開始時間）が関連付けされる。

以上のようなショートクリップ撮影及び記録と、音声データの特定位置に当該ショートクリップを関連付けする処理が終了すると、ＲＥＣＰ状態に戻り、記録すべきショートクリップ数が減算されて再表示される。なお、ショートクリップは、記録開始操作をすると所定の設定時間後に自動的に記録終了がなされる。

その後、ステップＳ２１４においてシステム制御マイコン１０７は、記録（撮影）すべきショートクリップ数が０かどうかをチェックする。ここで、０ならばステップＳ２１６に進み、処理を終了する。また、０でなければステップＳ２１５に進み、ユーザが再撮影したいかどうかを確認する。再撮影を希望しない場合は、メニュー操作等によりその旨を選択してステップＳ２１６に進み、処理を終了する。また、再撮影を希望する場合はステップＳ２１２に戻る。

そして、上述のようにしてステップＳ２１２に戻った場合は、プログレスバー上にて、そのショートクリップ関連付け済みの範囲に、「関連付け済み」である旨の表示がされる。更に再生される音声では、そのショートクリップ関連付け済み範囲を飛ばしてリピート再生される。このようにして、必要に応じて、同様に撮影を繰り返す。

なお、ここではショートクリップ撮影をした動画像データを音声データに関連付けすることを説明したが、ショートクリップのみでなく、通常クリップ（通常モードで撮影された動画像データ）を音声データの特定位置に関連付けて撮影することも可能である。この際は、動画像記録開始時と動画像記録終了時に、記録開始／停止スイッチ１１０をそれぞれ押すようにする。この場合もリピート区間は任意の区間に設定可能である。

＜再生時の動作＞
次に、ビデオカメラ１０における動画像再生時の動作を図３を用いて説明する。図３は、ビデオカメラ１０をミュージッククリップモードとした場合の動画像再生の動作について説明するフローチャートである。なお、以下で説明する動作は、システム制御マイコン１０７がビデオカメラ１０の各部を制御することで実行されるため、動作主体はシステム制御マイコン１０７となる。

先ずステップＳ３０１において処理が開始されると、ステップＳ３０２においてシステム制御マイコン１０７は、ユーザによるモード設定部１１１の操作に応じて、ビデオカメラ１０を動画像再生モードにする。

次にステップＳ３０３においてシステム制御マイコン１０７は、ユーザによるモード設定部１１１の操作に応じて、ビデオカメラ１０を「通常モード」から「ミュージッククリップモード」に切替設定する。

次にステップＳ３０４においてシステム制御マイコン１０７は、音声データの選択を促すメニューリストを表示する。ここで表示されたメニューリストでは、ユーザは予め記録されている音声データを選択することができ、音声データを選択する場合には実行キーを押すようにする。

ステップＳ３０４で音声データが選択されると、ステップＳ３０５においてシステム制御マイコン１０７は、選択された音声データの再生を開始し、これとともに当該音声データの関連付けされた位置にて、関連付けされたショートクリップを再生する。なお、再生中において、関連付けされたショートクリップが存在しない位置では、次のような態様で表示する。

・この音声データに関連付けされたショートクリップを再生する（ランダム、順次等）。
・別途登録したショートクリップ又は静止画を表示する。
・何も未登録の場合は、グレー画或いはブルー画を表示し、「未登録です」と警告表示する。

音声データの再生が完了すると、ステップＳ３０６で処理が終了する。

＜動画像記録時の画面表示＞
次に、図２のフローチャートで説明した動画像記録モードにおける音楽再生時の画面表示の一例を図４に示す。

図４において、４０１は表示画面全体を示す。表示画面４０１において、４０９はＥＥ画像（エレクトリック・アイ画像）であり、現在カメラ系で撮像している被写体が表示される。このような画像の表示により、表示画面が電子ビューファインダとして機能する。

４０２は上述したプログレスバーである。プログレスバー４０２の全長は、選択した音声データの時間的長さに対応している。プログレスバー４０２において、４０３はリピート再生対象領域であり、４０４は現在実際に再生中となっている再生中領域である。本図に示されるように、リピート再生対象領域４０３や再生中領域４０４は、プログレスバー４０２において強調表示され、視覚的に容易に判別可能な態様で表示される。なお、リピート再生対象領域４０３に含まれる領域及び再生中領域４０４は、プログレスバー４０２の全長すなわち音声データの長さをショートクリップ数で割った、ショートクリップ単位で領域が区切られている。

リピート再生対象領域４０３の長さ（範囲）は、上述したように任意に選択可能である。具体的には、音声データ全体をリピートする、又は、１クリップ分の長さをリピートする、連続した３クリップ分の長さをリピートする等、１クリップ刻みでメニュー設定可能である。

また、リピート再生対象領域４０３の長さを音声データ長未満とした場合は、左右十字キーにより、リピート再生対象領域を移動させることが可能である。例えば、図４において、再生中領域４０４はリピート再生対象領域４０３の中に入っていなくてはならないが、リピート再生対象領域４０３の紙面左端に位置する領域に十字キーを移動して再生中領域４０４をリピート再生対象領域４０３の端部とすることができる。更に、この状態で十字キー操作を継続すると、再生中領域４０４も同時に移動させることができ、すなわち音楽再生部位の早送り早戻しをショートクリップ単位で行うことも可能である。

また、表示画面４０１の紙面右上において、４０５は音声データの長さである音声データ長（本例では４分５０秒）、４０６はショートクリップの長さであるクリップ長（本例では２９秒）である。また、４０７は全クリップ数（本例では１０クリップ）、４０８は未記録クリップ数（本例では７クリップ）である。音声データ長４０５、クリップ長４０６、全クリップ数４０７の関係は次の式（１）で表される。

音声データ長＝クリップ長×全クリップ数・・・（１）

音声データ長４０５は、音声データを選択した時点で決まる値である。よって、ショートクリップモードの設定にてクリップ長が定まっていれば、音声データを選択した時点で、上記式（１）の関係により、全クリップ数を算出可能である。また、全クリップ数をメニュー設定することにより、ショートクリップ撮影機能のクリップ長を算出して変更することも可能である。

また、未記録クリップ数４０８は、次の式（２）で表される。

未記録クリップ数＝全クリップ数−記録済クリップ数・・・（２）

上記式（２）の関係により、音声データに関連付けたショートクリップを撮影する毎に、記録済みクリップ数は加算され、未記録クリップ数は減算される。このような表示処理は、本発明でいう関連付け区間表示制御手段の一処理例に対応する。

＜関連付けの詳細＞
次に、図２のフローチャートで説明した音声データとショートクリップ（動画像データ）の関連付けの方法、すなわち、ダイレクトモード、クオンタイズモード、クリップフィルモードそれぞれの詳細について説明する。

先ず図５を用いてダイレクトモード設定時の動作の詳細を説明する。図５は、ダイレクトモード設定時の音声データと動画像データとの関係を模式的に示した図である。

図５において、５０１は音声データを表す。５０２は音声データの先頭（開始時間）を表す。５０３は音声データの終わり（終了時間）を表す。５１１〜５２０は音声データをショートクリップ長で分割した音声区間（以下、区間）１〜１０であり、時系列に並んで示されている。５２１は記録時に音声データをリピート再生させるリピート再生区間である。ここでは、区間３（５１３）〜区間７（５１７）までの５区間をリピートする設定としている。

５２２は撮影された動画像データであり、５２６はユーザによる動画像データ５２２についての撮影開始操作時点を示す。動画像データ５２２は、撮影開始操作時点５２６から撮影されて記録される。また動画像データ５２２の時間的長さはショートクリップ長と同じである。

上述したように、ミュージッククリップモードで撮影操作がなされると、再生されている音声データは停止される。リピート再生区間５２１において、５２３と５２５は、非撮影時の音声データの再生が実行される区間であり、５２４は撮影実行中に音声データの再生が停止される区間である。

ダイレクトモードにおける音声データ５０１と動画像データ５２２との関連付けは、撮影開始操作時点５２６に相当する動画像データ５２２の先頭を、撮影開始操作時点５２６で音声データで再生されていた時点に「ダイレクト」に関連付ける。すなわち、５２７は撮影開始操作時点５２６があった時点の音声データ５０１の再生されていた時点を示すが、この時点５２７に動画像データ５２２の先頭が関連付けされることなる。その結果、動画像データ５２２の末尾は、５２８に示すように区間６（５１６）の途中の時点となる。これを詳しく説明すると、動画像データ５２２だけを考えた場合、これの先頭の時間は「００：００」つまり再生における開始時間である。そして、音声データ５０１だけを考えた場合、これの撮影開始操作時点５２６に対応する時点は、例えば「０３：３３」つまり再生における経過時間である。すなわち、ダイレクトモードでは、動画像データの開始時間を、音声データの撮影開始操作があった時点での経過時間に関連付けることになる。なお、図５で説明した例では、音声データ５０１が区分けされているため、この場合は、区間５（５１５）の○○秒といったかたちで、動画像データの開始時間と関連付けてもよい。

次に図６を用いてクオンタイズモード設定時の動作の詳細を説明する。図６は、クオンタイムズモード設定時の音声データと動画像データとの関係を模式的に示した図である。なお、ここでは、上述したダイレクトモード設定時の動作との差異のみ説明する。

図６において、動画像データ５２２の撮影開始操作時点５２６は、区間５（５１５）の途中に位置するが、動画像データ５２２の先頭は、区間５（５１５）の途中の時点ではなく、音声データの区間、本例では区間５（５１５）の区間の先頭に関連付けする。すなわち、６２７に示すように、区間５（５１５）の先頭、つまり開始時間に「クオンタイズ」されて、或いは補正されて関連付けされる。その結果、動画像データ５２２の末尾は、６２８に示すように区間５（５１５）の末尾と同位置となる。

次に図７を用いてクリップフィルモード設定時の動作の詳細を説明する。図７は、クリップフィルモード設定時の音声データと動画像データとの関係を模式的に示した図である。なお、ここでは、上述したダイレクトモード設定時の動作、クオンタイズモード設定時の動作との差異のみ説明する。

クリップフィルモードでの撮影待機時、すなわち撮影開始操作がなされる前までは、プリ記録が行われている。プリ記録とは、ＣＣＤ１０２、カメラ信号処理部１０３等を通じて取り込んだ動画像データを、記録装置１０６には記録せず、いわゆるリングバッファに一時的に保存する処理である。

７２２は、クリップフィルモードで記録される動画像データを示すが、動画像データ７２２は、撮影開始操作時点５２６の前後の撮像内容を含む動画像データとして記録される。つまり、撮影開始操作時点５２６が生じた際、撮影開始操作時点５２６に対応する音声データの区間、本例では区間５（５１５）の先頭から撮影開始操作時点５２６までの撮像内容が７２９で示すプリ記録で保存されたデータから動画像データ７２２に取り込まれる。また、撮影開始操作時点５２６から、音声データの区間、本例では区間５（５１５）の終了時点までの撮像内容は７３０で示す通常記録として動画像データ７２２に取り込まれる。そして、前述の通り、動画像データ７２２の始点と終点は、音声データの区間、本例では区間５（５１５）の始点と終点と同じタイミングとなり、その関係のままで関連付けがなされ、記録装置１０６内の情報管理ファイル等に登録される。つまり、クリップフィルモードでは、事前に音声データ全体を分割して定義したショートクリップの相当区間の始点から撮影開始操作が為された区間を満たす、すなわち「フィル」された動画像データの記録を行っている。

ここで、図８は、図５〜図７で説明した各モードで動画像データを撮影して音声データに関連付けした結果の音声データと動画像データを模式的に示した図である。ここでは、図５〜図７に対する差異部分のみを説明する。

８０１〜８１０は、動画像データ１〜１０であり、これらの動画像データは全て、音声データ５０１を区間分割したショートクリップ長と同じ時間長となっている。動画像データ１（８０１）の先頭は、区間１（５１１）の先頭に、８１１の矢印で示すように関連付けされている。動画像データ２（８０２）の先頭は、区間２（５１２）の先頭に、８１２の矢印で示すように関連付けされている。動画像データ３（８０３）の先頭は、区間３（５１３）の先頭に、８１３の矢印で示すように関連付けされている。

また、図８に示す例では、区間４（５１４）に関連付けされた動画像データは撮影していない状態であり、８３１に示すように区間４（５１４）は関連付け無し区間とされる。

また、動画像データ４（８０４）の先頭は、区間５（５１５）の先頭に、８１４の矢印で示すように関連付けされている。動画像データ５（８０５）の先頭は、区間５（５１５）の中間地点に、８１５の矢印で示すように関連付けされている。動画像データ６（８０６）の先頭は、区間６（５１６）の中間地点に、８１６の矢印で示すように関連付けされている。動画像データ７（８０７）の先頭は、区間７（５１７）の中間地点に、８１７の矢印で示すように関連付けされている。動画像データ８（８０８）の先頭は、区間８（５１８）の中間地点に、８１８の矢印で示すように関連付けされている。動画像データ９（８０９）の先頭は、区間９（５１９）の中間地点に、８１９の矢印で示すように関連付けされている。動画像データ１０（８１０）の先頭は、区間１０（５２０）の中間地点に、８２０の矢印で示すように関連付けされている。

図８に示すように音声データと動画像データとが関連付けされた音声データ５０１を再生すると、音楽が再生開始されると同時に、区間１（５１１）の音声データの再生が開始される。そして、これとともに区間１（５１１）の先頭に関連付けされた動画像データ１（８０１）の再生が開始される。

音声データ５０１の再生が８１２の地点に到達すると、動画像データ２（８０２）の再生が開始される。また、音声データ５０１の再生が８１３の地点に到達すると、動画像データ３（８０３）の再生が開始される。

動画像関連付け無し区間８３１では、再生すべき動画像データの関連付け登録を行っていないので、その代わりに、別途登録した静止画やバックグラウンド再生用の動画像等が再生される。

そして、音声データ５０１の再生が８１４の地点に到達すると、動画像データ４（８０４）の再生が開始される。音声データ５０１の再生が８１５の地点に到達すると、再生中の動画像データ４（８０４）における８２４で示す部分の再生は中止され、８１５にて関連付けされた動画像データ５（８２５）の再生が開始される。同様に、音声データ５０１の再生が８１６の地点に到達すると、動画像データ５（８０５）における８２５で示す部分の再生は中止され、８１６で関連付けされた動画像データ６（８０６）の再生が開始される。音声データ５０１の再生が８１７の地点に到達すると、その地点で動画像データ６（８０６）の再生は完了しており、続いて動画像データ７（８０７）の再生が開始される。

そして、音声データ５０１の再生が８１８の地点に到達すると、動画像データ７（８０７）における８２７で示す部分の再生は中止され、動画像データ８（８０８）の再生が開始される。その後、８１９の地点では動画像データ９（８０９）、８２０の地点では動画像データ１０（８１０）の再生が開始される。８３０は動画像データ１０（８１０）が音声データ５０１の音声データの終わり５０３を越えていることを示している。本例では、音声データの終わり（５０３）と共に動画像データ１０の再生も停止するが、動画像データ１０（８１０）をフェードアウトさせる、又は最後まで再生させて、その間の音声データの再生は、音声データ再生停止状態とする、等としても良い。

以上で本発明の第１の実施の形態に係る撮像記録装置であるビデオカメラ１０の説明をした。このビデオカメラ１０では、音声データを基に音声を再生し、ユーザが音声を聞きながら、任意の進行タイミングで撮影指示操作し、これを契機に再生されている音声データに撮影した動画像データを関連付けして記録できる。このような構成により、音声データと動画像データを、ユーザの意図する内容及びタイミングで組み合わせたミュージッククリップ作品を、ＰＣ等で編集ソフトを使用せずに、ビデオカメラ１０本体のみで容易に作成できる。

また、音声データと動画像データを関連付けて記録することにより、動画像データを音声データ毎にグループ分けでき、大容量記録メディアに多数記録される動画像データの管理が容易となる。音声データと動画像データの内容及びタイミングが整った作品としてのミュージッククリップ作品を制作する用途のみならず、音声データと関連付けて動画像データを記録することで、動画像データ管理用のインデックスとして、動画像データの検索が容易となる。

また、ＲＥＣＰ時、すなわち撮影開始前に音声データを再生することにより、これから記録しようとする動画像データの内容と関連付けようとする音声データの内容の把握が、容易となり、ユーザの好みに応じたミュージッククリップビデオを容易に製作できる。より詳しくは、撮影開始前（ＲＥＣＰ時）に実際に音声データの再生音声を聴きながら、ＲＥＣボタンである記録開始／停止スイッチ１１０を押すことで関連付けがされるため、音声データと動画像データのタイミング合わせが容易にできる。

また、ＲＥＣ時、すなわち撮影開始後は音声データを再生停止することにより、記録音声に再生音声が混入することを回避している。

また、ＲＥＣＰ時の音声データ再生を設定区間でリピート再生することにより、所望のタイミングが訪れるまで数分待ったり、再生再開操作や早送り戻し操作等を行う手間を省くことができる。これにより、これから記録しようとする動画像データの音声データとのタイミング合わせが容易となる。

より具体的には例えば、結婚式のミュージッククリップビデオを制作する場合、音楽の最も盛り上がる場面に、結婚式の進行で最も盛り上がるケーキ入刀の場面を関連付けたいという使い方が考えられる。その際、一般的な音楽は数分程度であることが多く、全体をリピート再生としてしまうと、一旦タイミング合わせを逃した場合に数分待つことになると、撮影の機会を逃してしまう。その場合は、本実施の形態のように、音声データリピート再生区間を短く設定することで、より容易に音声データのタイミングに合わせた動画撮影が可能となる。

また、予め音声データを所定のショートクリップ長に設定し、複数の音声区間で区分けして、各音声区間にショートクリップを関連付けるようにすることで、その音声データに必要な総クリップ数を表示でき、ユーザの製作を容易にする工夫がなされている。また、この場合に、撮影済みクリップ数を減算した、撮影が必要なクリップ数を表示することで、より容易に撮影が可能なものとなるように工夫がされている。また、総クリップ数を指定することで、ショートクリップ長を自動設定することもできる。

なお、第１の実施の形態では、記録開始操作をすると設定時間後に自動的に記録終了する、いわゆるショートクリップ撮影時に本発明を適用したが、記録終了処理を自動とせずに記録終了操作により終了させる、通常撮影時に対して適用することも可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態に係る撮像記録装置について説明する。以下では、第１の実施の形態に対する差異を中心に説明する。なお、本発明の実施の形態に係る第２の実施の形態に係る撮像記録装置（ビデオカメラ１０’とする）のシステム構成は図１と同様である。

本実施の形態に係るビデオカメラ１０’の動作を図９を用いて説明する。第１の実施の形態に係る記録時の動作と同様である部分は説明を割愛し、差異点を中心に説明する。

ステップＳ９０２においては、システム制御マイコン１０７は、ユーザによるモード設定部１１１の操作に応じて、ビデオカメラ１０’を動画像再生モードに設定する。

ステップＳ９０３においては、システム制御マイコン１０７は、ユーザによるモード設定部１１１の操作に応じて、ビデオカメラ１０’をキャプチャーモードに切り替える。

ステップＳ９０４においては、システム制御マイコン１０７は、ステップＳ２０４で選択された音声データの再生を開始するのと同時に、ビデオカメラ１０’に記録済みの動画像データを自動再生する。

そして、ステップＳ９１０においては、システム制御マイコン１０７は、再生されている動画像データを、新たな動画像データとして撮影或いは記録するとともに、関連付けを行う。

第１の実施の形態では、記録対象がＣＣＤ等の撮像系から取り込んだ動画像データであるのに対し、第２の実施の形態では、記録対象が記録装置１０６に記録済みの動画像データを再生した動画像データである。すなわち、第２の実施の形態では、記録済みの動画像データを再生して、その再生した動画像データを再撮影する、或いは、表示されている動画像を新たな動画像データとして記録する（キャプチャー）という考え方である。

なお、第２の実施の形態において記録済みの動画像データを再生する場合には、図４に示した４０９の領域に動画像データを再生するようにしても良い。また、この際に、プログレスバー４０２において、リピート再生対象領域４０３や再生中領域４０４、音声データ長４０５、クリップ長４０６、全クリップ数４０７、未記録クリップ数４０８等を表示しても良い。

また、第２の実施の形態に係るビデオカメラ１０’では、記録装置１０６に記録済みの動画像データを自動再生するにあたり、複数の動画像データが記録済みである場合は、それら複数の動画像データを、管理ファイルに登録されている順に再生しても良い。又は、ランダムに再生する等、工夫しても良い。また、再生される動画像を、再生される音声とは独立して、早送り／早戻し等を操作可能として、より積極的に再撮影対象の動画像を撮影者に選択させても良い。

また、第２の実施の形態に係るクリップフィルモードでは、撮影開始操作がなされる前までは、プリ記録が行われている。すなわち、ここでは再生された動画像データを記録装置１０６には記録せず、いわゆるリングバッファに一時的に保存するようにしている。そして、撮影開始操作が生じた際、撮影開始操作に対応する音声データの区間の先頭から、撮影開始操作までの再生内容をプリ記録で保存されたデータから動画像データに取り込むようにしている。

以上、本発明の好ましい実施の形態について説明したが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

また、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

１０，１０’ ビデオカメラ
１０１ レンズ
１０２ ＣＣＤ
１０３ カメラ信号処理部
１０４ 記録／再生制御部
１０５ 記録媒体制御部
１０６ 記録装置
１０７ システム制御マイコン
１０８ ＬＣＤ表示回路
１０９ ＬＣＤ
１１０ 記録開始／停止スイッチ
１１１ モード設定部
１１２ 操作部
１１５ スピーカ
１１６ 動画像／音声データ管理部
１１７ 動画像記録処理部
１１８ 動画像再生処理部
１１９ 音声記録処理部
１２０ 音声再生処理部
１２１ ＯＳＤ（オンスクリーンディスプレイ）

Claims (12)

1. 音声を再生する音声再生手段と、
   動画像を撮像する撮像手段と、
   前記撮像手段で撮像された動画像を記録する動画像記録手段と、
   前記動画像記録手段による動画像の記録を指示する記録指示手段と、
   前記音声再生手段で音声が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付ける関連付け手段と、を有し、
   前記関連付け手段は、前記指示により記録される動画像の開始時間を、前記指示があった時点で前記音声再生手段で再生されていた音声の経過時間と関連付けることを特徴とする撮像記録装置。
2. 音声を再生する音声再生手段と、
   動画像を撮像する撮像手段と、
   前記撮像手段で撮像された動画像を記録する動画像記録手段と、
   前記動画像記録手段による動画像の記録を指示する記録指示手段と、
   前記音声再生手段で音声が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付ける関連付け手段と、を有し、
   前記音声再生手段で再生される音声は複数の音声区間に時間的に区分けされており、
   前記関連付け手段は、前記指示により記録される動画像の開始時間を、前記指示があった時点に対応する音声区間の開始時間に関連付けることを特徴とする撮像記録装置。
3. 前記指示により記録される動画像を、前記指示があった時点に対応する音声区間の開始時間からの撮像内容を含む動画像として記録することを特徴とする請求項２に記載の撮像記録装置。
4. 前記撮像手段で撮像された動画像を一時的に保存するプリ記録手段を有し、
   前記指示があった時点に対応する音声区間の開始時間からの撮像内容を、前記プリ記録手段を用いて前記指示により記録される動画像に含めることを特徴とする請求項３に記載の撮像記録装置。
5. 音声を再生する音声再生手段と、
   動画像を再生する動画像再生手段と、
   前記動画像再生手段で再生された動画像の記録を指示する記録指示手段と、
   前記音声再生手段で音声が再生されるとともに、前記動画像再生手段で動画像が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付ける関連付け手段と、を有し、
   前記関連付け手段は、前記指示により記録される動画像の開始時間を、前記指示があった時点で前記音声再生手段で再生されている音声の経過時間と関連付けることを特徴とする撮像記録装置。
6. 音声を再生する音声再生手段と、
   動画像を再生する動画像再生手段と、
   前記動画像再生手段で再生された動画像の記録を指示する記録指示手段と、
   前記音声再生手段で音声が再生されるとともに、前記動画像再生手段で動画像が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付ける関連付け手段と、を有し、
   前記音声再生手段で再生される音声は複数の音声区間に時間的に区分けされており、
   前記関連付け手段は、前記指示により記録される動画像の開始時間を、前記指示があった時点に対応する音声区間の開始時間に関連付けることを特徴とする撮像記録装置。
7. 前記指示により記録される動画像を、前記指示があった時点に対応する音声区間の開始時間からの再生内容を含む動画像として記録することを特徴とする請求項６に記載の撮像記録装置。
8. 前記動画像再生手段で再生された動画像を一時的に保存するプリ記録手段を有し、
   前記指示があった時点に対応する音声区間の開始時間からの再生内容を、前記プリ記録手段を用いて前記指示により記録される動画像に含めることを特徴とする請求項７に記載の撮像記録装置。
9. 音声を再生する音声再生手段と、動画像を撮像する撮像手段と、前記撮像手段で撮像された動画像を記録する動画像記録手段と、前記動画像記録手段による動画像の記録を指示する記録指示手段とを有する撮像記録装置の制御方法であって、
   前記音声再生手段で音声が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付けるステップを有し、
   前記ステップでは、前記指示により記録される動画像の開始時間を、前記指示があった時点で前記音声再生手段で再生されていた音声の経過時間と関連付けることを特徴とする撮像記録装置の制御方法。
10. 音声を再生する音声再生手段と、動画像を撮像する撮像手段と、前記撮像手段で撮像された動画像を記録する動画像記録手段と、前記動画像記録手段による動画像の記録を指示する記録指示手段とを有する撮像記録装置の制御方法であって、
    前記音声再生手段で音声が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付けるステップを有し、
    前記音声再生手段で再生される音声は複数の音声区間に時間的に区分けされており、
    前記ステップでは、前記指示により記録される動画像の開始時間を、前記指示があった時点に対応する音声区間の開始時間に関連付けることを特徴とする撮像記録装置の制御方法。
11. 音声を再生する音声再生手段と、動画像を再生する動画像再生手段と、前記動画像再生手段で再生された動画像の記録を指示する記録指示手段とを有する撮像記録装置の制御方法であって、
    前記音声再生手段で音声が再生されるとともに、前記動画像再生手段で動画像が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付けるステップを有し、
    前記ステップでは、前記指示により記録される動画像の開始時間を、前記指示があった時点で前記音声再生手段で再生されている音声の経過時間と関連付けることを特徴とする撮像記録装置の制御方法。
12. 音声を再生する音声再生手段と、動画像を再生する動画像再生手段と、前記動画像再生手段で再生された動画像の記録を指示する記録指示手段とを有する撮像記録装置の制御方法であって、
    前記音声再生手段で音声が再生されるとともに、前記動画像再生手段で動画像が再生されている際に、前記記録指示手段の指示があった場合に、前記音声再生手段で再生されている音声を停止し、前記指示により記録される動画像を、前記音声再生手段で再生されていた音声と関連付けるステップを有し、
    前記音声再生手段で再生される音声は複数の音声区間に時間的に区分けされており、
    前記ステップでは、前記指示により記録される動画像の開始時間を、前記指示があった時点に対応する音声区間の開始時間に関連付けることを特徴とする撮像記録装置の制御方法。

Images