JP2024026741A - 映像生成方法、映像生成装置及び映像生成プログラム - Google Patents

Abstract

【課題】特定の音声を強調又は低減させた音声付きの映像を生成できる映像生成方法、映像生成装置及び映像生成プログラムを提供する。【解決手段】撮像部で撮像された第１映像を記録する。第１映像に同期して第１音声を記録する。第１音声と異なる第２音声を記録する。第２音声を用いて第１音声を処理し、強調又は低減させた第２音声を含む第３音声を生成する。第１映像と第３音声を関連付けて音声付きの映像を生成する。【選択図】図１

Description

本発明は、映像生成方法、映像生成装置及び映像生成プログラムに関する。

映像と音声を記録する際、メインの音声とは異なる音声（風雑音、環境音、操作音、話し声など）が一緒に記録される場合がある。

特許文献１には、風雑音の有無又は強弱を表示する手段と、風雑音対策の有無又は強弱を手動で選択できる手段と、記録後でも風雑音対策の有無を選択できる手段と、を備えたビデオカメラが記載されている。

また、特許文献２には、風雑音を自動で低減させる機能を備え、かつ、その機能の動作を任意設定可能にしたビデオカメラが記載されている。

特開２０１０－４３３９号公報 特開２００９－１２４４１４号公報

本開示の技術に係る一つの実施形態は、特定の音声を強調又は低減させた音声付きの映像を生成できる映像生成方法、映像生成装置及び映像生成プログラムを提供する。

（１）撮像部で撮像された第１映像を記録する映像記録工程と、第１映像に同期して第１音声を記録する第１音声記録工程と、第１音声と異なる第２音声を記録する第２音声記録工程と、第２音声を用いて第１音声を処理し、強調又は低減させた第２音声を含む第３音声を生成する音声生成工程と、第１映像と第３音声を関連付けて第２映像を生成する映像生成工程と、を備えた映像生成方法。

（２）音声生成工程は、強調又は低減させた第２音声を第１音声に合成して、第３音声を生成する、（１）の映像生成方法。

（３）音声生成工程の前に、第２音声の強度を設定する強度設定工程を更に備え、音声生成工程は、強度設定工程で設定された強度で第２音声を第１音声に合成する、（２）の映像生成方法。

（４）第１音声は第２音声と共通する音声成分である共通成分を含み、音声生成工程は、第２音声を用いて、共通成分を強調又は低減させる処理を第１音声に行って、第３音声を生成する、（１）の映像生成方法。

（５）音声生成工程の前に、共通成分の処理条件を設定する処理条件設定工程を更に備え、音声生成工程は、処理条件設定工程で設定された処理条件に従って、共通成分を強調又は低減させる処理を第１音声に対して行う、（４）の映像生成方法。

（６）撮像部を含む撮像装置本体の動きを検出する検出工程を更に備え、音声生成工程は、検出工程において動きの検出があった場合、第１音声又は第２音声に所定の処理を行って第３音声を生成する、（１）から（５）のいずれか一の映像生成方法。

（７）撮像部による第１映像の撮像情報を取得する第１情報取得工程と、撮像情報を表示する第１表示工程と、を更に備えた（１）から（６）のいずれか一の映像生成方法。

（８）撮像情報には、撮像部を含む撮像装置本体の動きの情報及び焦点距離の情報の少なくとも一つが含まれる、（７）の映像生成方法。

（９）第１音声及び第２音声を集音する集音部の情報を取得する第２情報取得工程を更に備え、集音部の情報を表示する第２表示工程と、を更に備えた（１）から（８）のいずれか一の映像生成方法。

（１０）第２音声記録工程は、第１映像に同期して第２音声を記録する、（１）から（９）のいずれか一の映像生成方法。

（１１）第２音声の記録されたタイミングを検出する第２音声検出工程と、第２音声検出工程で検出された情報を第１映像に関連付ける関連付け工程と、を更に備えた（１０）の映像生成方法。

（１２）第２音声記録工程は、映像記録工程の前に第２音声を記録する、（１）から（１１）のいずれか一の映像生成方法。

（１３）第１音声記録工程は、第１集音部を介して第１音声を記録し、第２音声記録工程は、第１集音部とは異なる第２集音部を介して第２音声を記録する、（１）から（１２）のいずれか一の映像生成方法。

（１４）第２集音部は、指向性の集音特性を有し、第１集音部は、第２収音部よりも低い指向性の集音特性を有する、（１３）の映像生成方法。

（１５）第２集音部は、指向性の集音特性を有し、第２音声生成工程は、第２音声の音源の位置を検出し、検出された音源の方向に第２収音部を指向する、（１３）又は（１４）の映像生成方法。

本発明に係る映像生成方法を用いて映像を生成する機能を備えた撮像装置の概略構成を示すブロック図 映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図 記録済みの映像を再生する場合にＣＰＵが実現する主な機能のブロック図 音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図 第３音声生成部が有する機能のブロック図 音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図 第３音声生成部が有する機能のブロック図 第３の実施の形態の撮像装置の概略構成を示すブロック図 映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図 第３の実施の形態の第３音声生成部が有する機能のブロック図 第３の実施の形態の第３音声生成部の変形例を示す図 撮像情報を取得して記録する場合及び撮像情報を表示する場合にＣＰＵが実現する機能のブロック図 マイクロフォンの情報を取得して記録する場合及びマイクロフォンの情報を表示する場合にＣＰＵが実現する機能のブロック図 第２音声が記録されたタイミングを検出して記録する場合及び記録された情報を表示する場合にＣＰＵが実現する機能のブロック図

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

［第１の実施の形態］
図１は、本発明に係る映像生成方法を用いて映像を生成する機能を備えた撮像装置の概略構成を示すブロック図である。

本実施の形態の撮像装置１は、撮像に同期して第１音声及び第２音声を記録する。そして、撮像後に第２音声を用いて第１音声を処理することにより、第２音声が所定の強度（音声レベル）で含まれた第３音声を生成する。そして、生成した第３音声を撮像により得られた映像（第１映像）に関連付けて音声付きの映像（第２映像）を生成する。

図１に示すように、撮像装置１は、撮像部１０、第１音声入力部１２、第２音声入力部１４、表示部１６、記憶部１８、音声出力部２０、操作部２２、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２６、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２８等を備える。撮像部１０は、映像を撮像する。撮像部１０は、撮像光学系１０Ａ、撮像素子１０Ｂ及び画像信号処理部１０Ｃ等を備える。撮像光学系１０Ａは、被写体の像を撮像素子１０Ｂの受光面上に結像させる。撮像素子１０Ｂは、撮像光学系１０Ａによってその受光面上に結像された被写体の像を電気信号に変換する。画像信号処理部１０Ｃは、撮像素子１０Ｂから出力される信号に所定の信号処理を施して、映像信号を生成する。

第１音声入力部１２は、メインとなる音声（第１音声）の入力部である。第１音声入力部１２は、第１マイクロフォン１２Ａ及び第１音声信号処理部１２Ｂを備える。第１マイクロフォン１２Ａは、メインの音声としての第１音声を集音する。この第１音声は、第２音声を含まない音声（わずかに第２音声が含まれている場合を含む）である。第１マイクロフォン１２Ａは、第１集音部の一例である。第１音声信号処理部１２Ｂは、第１マイクロフォン１２Ａからの信号に所定の信号処理を施して、第１音声の音声信号を生成する。

第２音声入力部１４は、メインの音声に合成する特定の音声の（第２音声）の入力部である。第２音声入力部１４は、第２マイクロフォン１４Ａ及び第２音声信号処理部１４Ｂを備える。第２マイクロフォン１４Ａは、特定の音声である第２音声を集音する。この第２音声は、第１音声を含まない音声（実質的に含んでいないと認められる場合を含む）である。第２マイクロフォン１４Ａは、第２集音部の一例である。第２音声信号処理部１４Ｂは、第２マイクロフォン１４Ａからの信号に所定の信号処理を施して、第２音声の音声信号を生成する。

表示部１６は、撮像部１０で撮像中の映像をリアルタイムに表示する。また、表示部１６は、再生された映像を表示する。また、表示部１６は、必要に応じて、操作画面、メニュー画面及びメッセージ等を表示する。表示部１６は、たとえば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示デバイス、及び、その駆動回路等を含んで構成される。

記憶部１８は、主として、撮像された映像及び集音された音声を記憶する。記憶部１８は、たとえば、不揮発性メモリ等の記憶媒体、及び、その制御回路等を含んで構成される。

音声出力部２０は、再生された音声を出力する。また、音声出力部２０は、必要に応じて警告音等を出力する。音声出力部２０は、スピーカ、及び、そのスピーカから出力させる音声の信号を処理する信号処理回路等を含んで構成される。

操作部２２は、ユーザからの操作の入力を受け付ける。操作部２２は、録画ボタン等の各種操作ボタン類、及び、その操作の検出回路等を含んで構成される。

ＣＰＵ２４は、所定の制御プログラムを実行することにより、装置全体の制御部として機能する。ＣＰＵ２４は、ユーザの操作に基づいて、各部の動作を制御し、装置全体の動作を統括制御する。また、ＣＰＵ２４は、所定のプログラムを実行することにより、記録済みの映像及び音声を用いて音声付きの映像を生成する映像生成装置として機能する。映像生成装置として機能するＣＰＵ２４は、ユーザの操作に基づいて、記録済みの映像及び音声を処理し、音声付きの映像を生成する。ＲＯＭ２６は、ＣＰＵ２４が実行する各種プログラム、及び、制御に必要なデータ等を記憶する。ＲＡＭ２８は、ＣＰＵ２４に作業用のメモリ空間を提供する。

図２は、映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、撮像制御部１０１、映像出力部１０２、第１映像記録部１０３、第１音声記録部１０４及び第２音声記録部１０５等として機能する。

撮像制御部１０１は、撮像部１０による撮像を制御する。撮像制御部１０１は、撮像部１０から得られる映像信号に基づいて、適正露出で映像が撮像されるように、撮像部１０を制御する。また、撮像制御部１０１は、撮像部１０から得られる映像信号に基づいて、主要被写体に焦点が合うように、撮像部１０を制御する。

映像出力部１０２は、撮像部１０で撮像された映像をリアルタイムに表示部１６に出力する。これにより、表示部１６にライブビューが表示される。

第１映像記録部１０３は、撮像部１０で撮像された映像（第１映像）を記憶部１８に記録する。第１映像記録部１０３は、ユーザからの指示に応じて、映像の記録を開始する。また、ユーザから指示に応じて、映像の記録を終了する。ユーザは、操作部２２を介して、記録の開始及び終了を指示する。映像（第１映像）は、その撮像に同期して集音された第１音声及び第２音声を関連付けて、記憶部１８に記録される。

第１音声記録部１０４は、第１音声入力部１２から入力される第１音声（メインの音声）を第１映像の撮像に同期して記憶部１８に記録する。第１音声は、第１映像に関連付けて、記憶部１８に記録される。

第２音声記録部１０５は、第２音声入力部１４から入力される第２音声（特定の音声）を第１映像の撮像に同期して記憶部１８に記録する。第２音声は、第１映像に関連付けて、記憶部１８に記録される。

図３は、記録済みの映像を再生する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、映像再生部１１１及び音声再生部１１２等として機能する。

映像再生部１１１は、ユーザからの再生指示に応じて、記憶部１８に記録された映像を表示部１６で再生する。ユーザは、表示部１６及び操作部２２を利用して、再生する映像を選択し、再生を指示する。映像再生部１１１は、選択された映像を記憶部１８から読み出して再生する。

音声再生部１１２は、映像に音声が関連付けられている場合に映像に同期させて音声を再生する。映像に第１音声及び第２音声が関連付けられている場合、音声再生部１１２は、第１音声及び第２音声を合成して再生する。再生された音声は、音声出力部２０から出力される。

図４は、音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、第１映像取得部１２１、第１音声取得部１２２、第２音声取得部１２３、第３音声生成部１２４、強度設定部１２５、映像生成部１２６及び第２映像記録部１２７等として機能する。

第１映像取得部１２１は、処理対象としてユーザに選択された映像（第１映像）を記憶部１８から読み出して取得する。ユーザは、表示部１６及び操作部２２を利用して、処理対象の映像を選択する。取得した映像のデータは、映像生成部１２６に加えられる。

第１音声取得部１２２は、処理対象として選択された映像に関連付けられた第１音声（メインの音声）のデータを記憶部１８から読み出して取得する。取得した第１音声のデータは、第３音声生成部１２４に加えられる。

第２音声取得部１２３は、処理対象として選択された映像に関連付けられた第２音声（特定の音声）を記憶部１８から読み出して取得する。取得した第２音声のデータは、第３音声生成部１２４に加えられる。なお、第１音声取得部１２２と第２音声取得部１２３は、記憶部１８を介さずに、第１音声入力部１２と第２音声入力部１４から対応する音声データを直接取得しても良い。また、撮像装置１は装置内部の記憶部１８ではなく、外部の記憶部に音声データを記録してもよい。この場合、第１音声取得部１２２と第２音声取得部１２３は外部の記憶部から音声データを取得してもよい。

第３音声生成部１２４は、第２音声を用いて第１音声を処理し、第３音声を生成する。第３音声は、第１音声中に第２音声が所定の強度（音声レベル）で含まれた音声として生成される。所定の強度は、ユーザが設定した強度である。図５は、第３音声生成部が有する機能のブロック図である。同図に示すように、第３音声生成部１２４は、強度調整部１２４Ａ及び合成部１２４Ｂの機能を有する。強度調整部１２４Ａは、強度設定部１２５の設定に従って、第２音声の強度を調整する。合成部１２４Ｂは、強度の調整後の第２音声を第１音声に合成して第３音声を生成する。これにより、第１音声中に第２音声を所定の強度で含んだ音声（第３音声）が生成される。なお、上記のように、第１音声は映像に同期して記録されているので、生成される第３音声も映像に同期する音声となる。生成された第３音声のデータは、映像生成部１２６に加えられる。

強度設定部１２５は、第１音声に合成する際の第２音声の強度（音声レベル）を設定する。強度設定部１２５は、操作部２２からの操作入力に基づいて強度を設定する。ユーザは、操作部２２を介して第２音声の強度を設定することにより、第１音声に対して第２音声を強調したり、低減したりできる。

映像生成部１２６は、第１映像取得部１２１で取得された映像（第１映像）と第３音声生成部１２４で生成された第３音声を関連付けて、音声付きの映像（第２映像）を生成する。たとえば、映像ファイル及び音声ファイルをコンテナ化し、所定の動画形式の映像ファイルを生成する。たとえば、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＭＰ４（ＭＰＥＧ－４ Ｐａｒｔ １４（ＩＳＯ／ＩＥＣ １４４９６－１４：２００３、ＩＳＯ／ＩＥＣ ＪＴＣ １））等のファイルを生成する。

第２映像記録部１２７は、映像生成部１２６で生成された音声付きの映像（第２映像）を記憶部１８に記憶する。

次に、上記構成の撮像装置１を用いて音声付きの映像を生成する場合の手順（映像生成方法）について説明する。

まず、撮像を実施し、映像、第１音声及び第２音声を記録する。具体的には、撮像部１０で撮像される映像（第１映像）を記憶部１８に記録する（映像記録工程）。また、その撮像に同期して、第１音声及び第２音声を集音し、記憶部１８に記録する（第１音声記録工程及び第２音声記録工程）。ここで、第１音声には、メインの音声を記録する。一方、第２音声には、特定の音声を記録する。ここでの「特定の音声」とは、メインの音声とは異なる音声であって、メインの音声に含ませる音声である。たとえば、風が吹いている環境で話をしている人物の映像を撮像する場合において、人物の話し声をメインの音声、風切り音（風がマイクロフォンに当たることで生じる音）を特定の音声として記録できる。あるいは、海岸で話をしている人物の映像を撮像する場合において、人物の話し声をメインの音声、波の音を特定の音声として記録できる。

次に、第１音声に対して第２音声を合成する際の第２音声の強度（音声レベル）を設定する（強度設定工程）。ユーザは、操作部２２を介して、その強度を設定する。この設定により、ユーザは、第１音声に対して第２音声を任意に強調したり、低減したりできる。

次に、第２音声を用いて第１音声を処理し、第１音声中に第２音声を所定の強度で含んだ第３音声を生成する（音声生成工程）。所定の強度は、上記強度設定工程で設定された強度である。この際、まず、第２音声をユーザによって設定された強度に調整する。これにより、第１音声に対して強調又は低減させた第２音声が生成される。そして、その強度調整後の第２音声を第１音声に合成して、第３音声を生成する。これにより、第１音声中に第２音声を所定の強度で含んだ音声（第３音声）が生成される。たとえば、風切り音を第２音声として記録した場合には、メインの音声中に風切り音が所定の強度で含まれた音声（第３音声）が生成される。また、たとえば、波の音を第２音声として記録した場合には、メインの音声中に波の音が所定の強度で含まれた音声（第３音声）が生成される。

次に、撮像により得られた映像（第１映像）に上記音声生成工程で生成された音声（第３音声）を関連付け、音声付きの映像（第２映像）を生成する（映像生成工程）。

以上一連の工程で音声付きの映像が生成される。生成された音声付きの映像は、記憶部１８に記録される。

本実施の形態の映像生成方法によれば、メインの音声（第１音声）とは別に特定の音声（第２音声）を記録しておくことにより、特定の音声を切り分けて編集できる。これにより、ユーザの意図に沿った音声付きの映像を生成できる。

［第１の実施の形態の変形例］
（１）第２音声の合成についての変形例
第２音声については、映像の特定の区間（時間軸上における区間）でのみ合成する構成とすることができる。この場合、合成する区間を指定して、第１音声に第２音声を合成する。区間の指定は、たとえば、第１映像及び第１音声を再生しながら、合成する区間を指定する。

また、合成する際の第２音声の強度の設定を時間軸に沿って部分的に変化させることもできる。これにより、たとえば、シーンに応じて、特定の音声の強度を変えた音声付きの映像を生成できる。

（２）強度の設定について変形例
上記実施の形態では、第１音声に合成する際の第２音声の強度をユーザが任意に設定できるようにしているが、あらかじめ定められた複数の強度設定（例えば、強めに低減、弱めに低減、強めに強調、弱めに強調）から選択した強度で合成する構成とすることもできる。

（３）第２音声の記録についての変形例
第２音声については、必ずしも第１映像の撮像に同期して記録する必要はない。たとえば、上記のように、特定の区間でのみ第２音声を合成する場合には、事前に又は事後的に第２音声を記録する構成としてもよい。

（４）第１音声入力部及び第２音声入力部の変形例
第１音声入力部１２及び第２音声入力部１４は、必要に応じて、集音された音声の音声信号にフィルタリング処理を施すことが好ましい。たとえば、第１音声入力部１２は、メインとする音声がクリアに記録されるように、フィルタリング処理を施すことが好ましい。同様に、第２音声入力部１４は、特定の音声がクリアに記録されるように、フィルタリング処理を施すことが好ましい。

また、第１音声入力部１２及び第２音声入力部１４は、目的に応じたマイクロフォンを使用することが好ましい。たとえば、メインの音声として、広域の音声を収集する場合には、第１マイクロフォン１２Ａに、第２マイクロフォン１４Ａよりも低い無指向性（好ましくは無指向性）の集音特性を有するマイクロフォンを使用する。また、特定の音声を集音する第２マイクロフォン１４Ａには、指向性の集音特性を有するマイクロフォン（たとえば、ガンマイク等）を使用する。これにより、第１音声及び第２音声を精度よく記録できる。

なお、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａは、撮像装置１の装置本体に内蔵された構成でもよいし、外付けされた構成でもよい。

［第２の実施の形態］
上記第１の実施の形態と同様に、撮像装置を用いて映像を生成する場合を例に説明する。

本実施の形態では、第２音声を含んだ音声を第１音声として記録する。そして、その第１音声とは別に記録した第２音声を用いて、第２音声を強調又は低減させる処理を第１音声に行い、第３音声を生成する。撮像装置の基本構成は、上記第１の実施の形態と同じであり、ＣＰＵ２４によって実現される機能が相違する。

図６は、音声付きの映像を生成する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、第１映像取得部１２１、第１音声取得部１２２、第２音声取得部１２３、第３音声生成部１２４、処理条件設定部１２８、映像生成部１２６及び第２映像記録部１２７等として機能する。第３音声生成部１２４及び処理条件設定部１２８を除く各部の機能は、上記第１の実施の形態と実質的に同じである。したがって、ここでは、第３音声生成部１２４及び処理条件設定部１２８の機能についてのみ説明する。

図７は、第３音声生成部が有する機能のブロック図である。

上記のように、本実施の形態では第２音声を含んだ音声が第１音声として記録される。第３音声生成部１２４は、第２音声と共通する音声成分（共通成分）を強調又は低減させる処理を第１音声に行って、第３音声を生成する。具体的には、第２音声と同じ周波数の音声成分を共通成分とし、その第２音声と同じ周波数の音声成分をユーザによって設定された処理条件で処理して、第３音声を生成する。このため、第３音声生成部１２４は、周波数検出部１２４Ｃ及び音声処理部１２４Ｄの機能を有する。

周波数検出部１２４Ｃは、第２音声のデータを解析して、第２音声の周波数を検出する。第２音声は、第１音声中の特定の音声であり、ユーザが強調又は低減させることを希望する音声である。上記第１の実施の形態と同様に、第２音声は第２マイクロフォン１４Ａで集音される。周波数検出部１２４Ｃで検出された情報は、音声処理部１２４Ｄに加えられる。

音声処理部１２４Ｄは、周波数検出部１２４Ｃで検出される第２音声の周波数の情報を取得し、処理条件設定部１２８で設定された処理条件で第１音声を処理して、第３音声を生成する。すなわち、第２音声と同じ周波数の音声成分（共通成分）をユーザによって設定された処理条件で処理して、第３音声を生成する。

処理条件設定部１２８は、第１音声を処理する際の処理条件を設定する。具体的には、第２音声と共通する音声成分である共通成分の処理条件（音の強調又は低減処理）を設定する。処理条件設定部１２８は、操作部２２からの操作入力に基づいて処理条件を設定する。ユーザは、操作部２２を介して第１音声を処理する際の処理条件を設定することにより、第１音声中に含まれる第２音声を強調したり、低減したり、キャンセルしたりできる。

次に、上記構成の撮像装置を用いて音声付きの映像を生成する場合の手順（映像生成方法）について説明する。

まず、撮像を実施し、映像、第１音声及び第２音声を記録する。具体的には、撮像部１０で撮像される映像（第１映像）を記憶部１８に記録する（映像記録工程）。また、その撮像に同期して、第１音声及び第２音声を集音し、記憶部１８に記録する（第１音声記録工程及び第２音声記録工程）。上記のように、第１音声には、第２音声を含んだ音声を記録する。すなわち、第２音声と共通する音声成分である共通成分を含んだ音声を記録する。一方、第２音声には、第１音声中の特定の音声を記録する。ここでの「特定の音声」とは、第１音声中に含まれる音声の中でユーザが強調させたり、低減させたりすることを希望する音声である。たとえば、風が吹いている環境で話をしている人物の映像を撮像する場合において、風切り音を第２音声として記録できる。あるいは、海岸で話をしている人物の映像を撮像する場合において、波の音を第２音声として記録できる。

次に、第１音声を処理する際の第１音声の共通成分の処理条件設定する（処理条件設定工程）。ユーザは、操作部２２を介して、その処理条件を設定する。この設定により、ユーザは、第１音声に含まれている第２音声を任意に強調したり、低減したり、キャンセルしたりできる。

次に、第２音声を用いて、共通成分を強調又は低減させる処理を第１音声に行い、第３音声を生成する（音声生成工程）。この工程では、まず、第２音声の周波数を検出する。そして、その周波数の音声成分を上記処理条件設定工程で設定された処理条件に従って強調又は低減させる処理を第１音声に行い、第３音声を生成する。これにより、第１音声に含まれる第２音声をユーザの意図した強度で含んだ、又は、キャンセルされた音声（第３音声）が生成される。たとえば、風が吹いている環境で第１音声を記録し、風切り音を第２音声として記録した場合には、風切り音を低減又はキャンセルさせた音声を生成できる。また、必要に応じて風切り音を強調した音声を生成できる。

次に、撮像により得られた映像（第１映像）に上記音声生成工程で生成された音声（第３音声）を関連付け、音声付きの映像（第２映像）を生成する（映像生成工程）。

以上一連の工程で音声付きの映像が生成される。生成された音声付きの映像は、記憶部１８に記録される。

本実施の形態の映像生成方法によれば、メインの音声（第１音声）とは別に、そのメインの音声に含まれる特定の音声（第２音声）を記録しておくことにより、特定の音声を切り分けて編集できる。これにより、ユーザの意図に沿った音声付きの映像を生成できる。

［第２の実施の形態の変形例］
（１）第３音声の生成についての変形例
共通成分を強調したり、低減したり、キャンセルしたりする処理は、映像の特定の区間でのみ実施することができる。この場合、区間を指定して処理を実施する。

また、共通成分の処理条件は、時間軸に沿って部分的に変化させることもできる。これにより、たとえば、シーンに応じて、特定の音声の強度を変えた音声付きの映像を生成できる。

（２）第２音声の記録についての変形例
第２音声については、必ずしも第１映像の撮像に同期して記録する必要はない。事前に又は事後的に第２音声を記録する構成としてもよい。たとえば、事前に編集したい環境の音声（風切り音、滝の音、工事の音など）を第２音声として記録しておくことができる。また、事前に編集をしたい環境の音声をサンプル音声として録音をしておき、映像記録工程中に、録音とサンプル音声の共通成分から第２音声を作成してもよい。

また、第２音声については、代表的なものをプリセットデータとして、あらかじめ撮像装置に保持しておくこともできる。これにより、たとえば、プリセットデータとして保持した音声を含む音声を映像と共に記録した場合に、その音声を強調したり、低減したりした音声を生成できる。たとえば、風切り音をプリセットデータとして保持している場合、そのプリセットデータが持つ風切り音の周波数データを利用して、第１音声の風切り音を強調したり、低減したりした音声付きの映像を生成できる。プリセットデータは、たとえば、ＲＯＭ２６又は記憶部１８に記録しておく。ユーザは、映像を生成する際に、編集対象の音声のデータを選択する。

（３）第１音声入力部及び第２音声入力部の変形例
上記第１の実施の形態と同様に、第１音声入力部１２及び第２音声入力部１４は、必要に応じて、集音された音声の音声信号にフィルタリング処理を施すことが好ましい。また、第１音声入力部１２及び第２音声入力部１４は、目的に応じたマイクロフォンを使用することが好ましい。

なお、第２音声を撮像に同期して記録する場合を除き、第２音声は、第１マイクロフォン１２Ａで集音する構成とすることもできる。すなわち、事前に又は事後的に第２音声を記録する場合には、第１音声入力部１２を利用して、第２音声を集音し、記録することができる。したがって、事前に又は事後的に第２音声を記録する場合、装置本体に第２音声入力部１４は不要である。

［第３の実施の形態］
本実施の形態では、映像及び音声の記録中に撮像装置本体の動きを検出し、その動きの情報を加味して、第３音声を生成する。

図８は、本実施の形態の撮像装置の概略構成を示すブロック図である。同図に示すように、本実施の形態の撮像装置１は、動き検出部３０を更に備えている点で上記第１及び第２の実施の形態の撮像装置と相違する。

動き検出部３０は、撮像部１０を含む撮像装置本体の動きを検出する。動き検出部３０は、撮像部１０による撮像に同期して撮像装置本体の動きを検出する。すなわち、撮像の開始と同時に動きの検出を開始し、撮像終了と同時に検出を終了する（動き検出工程）。動き検出部３０は、たとえば、加速度センサ等で構成される。なお、撮像装置本体が像振れ補正機能等を備えている場合には、振れ検出等に使用するセンサを動き検出用のセンサに使用することができる。

図９は、映像及び音声を記録する場合にＣＰＵが実現する主な機能のブロック図である。同図に示すように、ＣＰＵ２４は、撮像制御部１０１、映像出力部１０２、第１映像記録部１０３、第１音声記録部１０４、第２音声記録部１０５、動き記録部１０６等として機能する。動き記録部１０６を除く各部の機能は、上記第１の実施の形態と実質的に同じである。

動き記録部１０６は、動き検出部３０で検出される撮像装置本体の動きの情報を第１映像の撮像に同期して記憶部１８に記録する。動きの情報は、第１映像に関連付けて、記憶部１８に記録される。音声付きの映像（第２映像）を生成する場合は、この記憶部１８に記憶された動きの情報を利用して、映像に関連付ける音声（第３音声）を生成する。

第３音声生成部１２４は、動きの情報を加味して、第３音声を生成する。ここでは、第１音声に第２音声を合成して第３音声を生成する場合を例に説明する。上記第１の実施の形態で説明したように、第１音声は、実質的に第２音声を含まない音声であり、第２音声は、実質的に第１音声を含まない音声である。

図１０は、本実施の形態の第３音声生成部が有する機能のブロック図である。同図に示すように、本実施の形態の第３音声生成部１２４は、第２音声処理部１２４Ｅ、強度調整部１２４Ａ及び合成部１２４Ｂの機能を有する。第２音声処理部１２４Ｅを除く各部の機能は、上記第１の実施の形態と実質的に同じである。

第２音声処理部１２４Ｅは、映像及び音声を記録した際の撮像装置本体の動きの情報を取得し、その動きの情報に基づいて、第２音声を処理する。具体的には、撮像装置本体の動きに応じて、あらかじめ定められた処理条件に従って第２音声を処理する。一例として、メインの音声（第１音声）に風切り音（第２音声）を含めた音声（第３音声）を生成する場合を例に説明する。第２マイクロフォン１４Ａが左右一組のマイクロフォンで構成され、撮像装置本体に一体的に備えられているとする。したがって、この場合、第２マイクロフォン１４Ａは、撮像装置本体と一体的に動く。撮像装置本体をパンニングする動きが検出された場合、第２音声処理部１２４Ｅは、その撮像装置本体の動きに応じて、左右の音声の強度を変える処理を行う。具体的には、動かす側の音声を弱める。これにより、撮像装置本体の動きに応じて左右のマイクロフォンで変化する風切り音を適切に処理できる。すなわち、動かす側のマイクロフォンは、風切り音が強くなるので、動きに応じて弱めることにより、左右でバランスの取れた音声を合成できる。

強度調整部１２４Ａは、強度設定部１２５の設定に従って、処理後の第２音声の強度を調整する。合成部１２４Ｂは、強度の調整後の第２音声を第１音声に合成して第３音声を生成する。

このように、本実施の形態では、撮像装置本体の動きに応じて第２音声を自動で処理して、第３音声を生成する。これにより、撮像装置本体の動きの影響を自動で除去できる。

［第３の実施の形態の変形例］
以下においては、第２音声を用いて、共通成分を強調又は低減させる処理を第１音声に行って、第３音声を生成する場合において、撮像装置本体の動きの情報を加味して、第３音声を生成する場合について説明する。

図１１は、本例の第３音声生成部が有する機能のブロック図である。同図に示すように、本例の第３音声生成部１２４は、音声処理部１２４Ｄが、撮像装置本体の動きの情報に基づいて、第１音声を処理する点で上記第２の実施の形態の第３音声生成部１２４と相違する。

音声処理部１２４Ｄは、撮像装置本体の動きに応じて、あらかじめ定められた処理条件に従って第１音声を処理する。一例として、メインの音声に風切り音（第２音声）を含む音声（第１音声）を撮像に同期して記録した場合において、風切り音を強調又は低減させた音声（第３音声）を生成する場合を例に説明する。この場合、第１音声には、メインの音声の他に風切り音（第２音声）が含まれた音声が記録される。第２音声には、風切り音が記録される。

周波数検出部１２４Ｃは、第２音声のデータを解析して、第２音声の周波数を検出する。

そして、ユーザは予め定められた複数の音声の強度設定から一つ強度の設定を選択する。音声処理部１２４Ｄは、周波数検出部１２４Ｃで検出される第２音声の周波数の情報及び撮像装置本体の動きの情報を取得し、処理条件設定部１２８で設定された処理条件と動きの情報とを組み合わせて第１音声を処理して、第３音声を生成する。たとえば、メインの音声（第１音声）に風切り音（第２音声）が含まれて記録される環境において、移動しながら映像及び音声を記録する場合を考える。風切り音（第２音声）の大きさは、移動する速度に応じて変化する。よって、音声処理部１２４Ｄは、撮像装置本体の移動速度（動き）に応じて、予め設定された強度設定を補正したり、処理対象の周波数（共通成分の周波数）を変える。これにより、移動しながら映像及び音声を記録した場合であっても、対象とする音声（第２音声）を適切に処理できる。例えば、ユーザの設定が風切り音（第２音声）を少し低減させる設定だった場合に、撮像装置本体の移動速度が速いと認定されたシーンは、他のシーンと比べて風切り音を大きく低減させる補正をかけて第３音声とする。これによって、第３音声の特定のシーンだけ、特定の音（風や波等）が大きくなり過ぎることが防止できる。

［第４の実施の形態］
本実施の形態では、映像（第１映像）を撮像する際に、その映像の撮像情報を取得して、記憶部１８に記録しておく。記録した撮像情報は、音声付きの映像（第２映像）を生成する際に使用される。具体的には、音声付きの映像を生成する際に、表示部１６に表示される。ユーザは、表示部１６に表示された情報を利用して、音声の編集を行う区間（シーン）を特定する。ここで、撮像情報とは、映像の撮像に関する情報である。たとえば、映像を撮像した際の焦点距離の情報、被写体距離の情報、露出の情報等が含まれる。また、撮像装置が、撮像装置本体の動き等を検出する機能を備えている場合には、撮像中の撮像装置本体の動きの情報等も含まれる。

撮像情報の取得、記録及び表示等の処理はＣＰＵ２４が行う。図１２は、撮像情報を取得して記録する場合及び撮像情報を表示する場合にＣＰＵが実現する機能のブロック図である。同図に示すように、ＣＰＵ２４は、撮像情報取得部１３１、撮像情報記録部１３２及び撮像情報表示部１３３として機能する。

撮像情報取得部１３１は、撮像部１０による第１映像の撮像に同期して、第１映像の撮像情報を取得する。撮像情報としては、被写体距離の情報、焦点距離の情報、撮像装置の動き（たとえば、加速度センサの出力）の情報等を取得する。

撮像情報記録部１３２は、撮像情報取得部１３１で取得した撮像情報を記憶部１８に記録する。撮像情報は、映像（第１映像）に関連付けて記録される。

撮像情報表示部１３３は、操作部２２からの操作入力に基づいて、記憶部１８から撮像情報を取得し、表示部１６に表示する。たとえば、時系列に沿って撮像情報を表示する。

本実施の形態の撮像装置を用いた音節付き映像の生成は、たとえば、次のように行われる。

まず、撮像部１０によって第１映像が撮像され、記憶部１８に記録される（映像記録工程）。撮像に同期して第１映像の撮像情報が取得され（第１情報取得工程）、第１映像に関連付けて記憶部１８に記録される。また、撮像に同期して第１音声及び第２音声が集音され、第１映像に関連付けて記憶部１８に記録される（第１音声記録工程及び第２音声記録工程）。

次に、記録された第１映像、第１音声及び第２音声を用いて、音声付きの映像（第２映像）が生成される。まず、第１映像の撮像情報が記憶部１８から読み出され、表示部１６に表示される（第１表示工程）。撮像情報は、第１映像の時系列に沿って表示される。この撮像情報が表示されることにより、音声編集が必要な個所を特定しやすくできる。ユーザは、操作部２２を介して、第２音声を合成する個所、又は、第２音声を編集する個所（第２音声を強調したり、低減させたり、キャンセルしたりする個所）を特定し、音声付きの映像（第２映像）の生成を指示する。

音声付きの映像の生成が指示されると、操作部２２からの操作入力に基づき、第２音声を用いて第１音声が処理され、第３音声が生成される（音声生成工程）。そして、生成された第３音声と第１映像とが関連付けられて、音声付きの映像（第２映像）が生成される（映像生成工程）。

このように、本実施の形態によれば、第１映像の撮像情報を取得して、記録しておく。これにより、音声付きの映像を生成する際に、音声の編集が必要な個所を簡単に特定できる。

［第４の実施の形態の変形例］
取得した撮像情報の用途は、上記例に限定されない。たとえば、撮像情報を利用して、自動で音声編集が必要な個所を特定し、自動で第１音声を処理して、第３音声を生成する構成とすることもできる。たとえば、撮像装置本体の動きの大きい個所（動きが閾値以上の個所）、被写体の動きが大きい個所（被写体距離の変動が閾値以上の個所）等を撮像情報に基づいて特定し、自動で処理する構成とすることもできる。また、たとえば、撮像情報を利用して、自動で音声編集方法が変えることもできる。映像の全体を通じて第２音声を低減させる場合において、低減させる強度を撮像情報に基づいて自動で変えることができる（撮像装置本体の動きの大きい個所、被写体の動きが大きい個所に強度を変える等）。また、たとえば、撮像情報を利用して、音声編集方法が必要な個所を検出し、自動で頭出しすることもできる。

［第５の実施の形態］
本実施の形態では、第１音声を集音する第１マイクロフォン１２Ａ及び第２音声を集音する第２マイクロフォン１４Ａの情報を取得し、記憶部１８に記録しておく。記録した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、音声付きの映像（第２映像）を生成する際に使用される。具体的には、音声付きの映像を生成する際に、表示部１６に表示される。ユーザは、表示部１６に表示された情報を利用して、第２音声の強度の設定等を行う。ここで、マイクロフォンの情報とは、たとえば、風防の有無の情報、風防が備えられている場合に風防の種類（スポンジ型、ファー型、カゴ型等）の情報、指向性の有無の情報等である。この他、マイクロフォンの情報には、マイクロフォンの性能諸要素の情報（たとえば、マイクロフォンの指向特性の情報（音が到来する方向に対する感度の変化の情報）、周波数特性の情報（音の高低によって感度がどのように変わるかの情報）、最大音圧レベル（マイクロフォンが収音できる最も大きな音のレベル）の情報、等価雑音レベル（入力換算雑音レベル）の情報、出力インピーダンスの情報、開回路感度の情報等）等も含めることができる。

第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、ユーザが操作部２２を介して撮像装置１に入力する。ＣＰＵ２４は、操作部２２を介して入力された第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を記憶部１８にする。また、音付きの映像を生成する際は、記憶部１８に記録された第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を表示部１６に表示する。

図１３は、マイクロフォンの情報を取得して記録する場合及びマイクロフォンの情報を表示する場合にＣＰＵが実現する機能のブロック図である。同図に示すように、ＣＰＵ２４は、マイクロフォン情報取得部１４１、マイクロフォン情報記録部１４２及びマイクロフォン情報表示部１４３として機能する。

マイクロフォン情報取得部１４１は、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を取得する。上記のように、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、操作部２２を介して、ユーザが入力する。ユーザは、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａについて、風防の有無、風防が備えられている場合に風防の種類（スポンジ型、ファー型、カゴ型等）、指向性の有無等の情報を入力する。

マイクロフォン情報記録部１４２は、マイクロフォン情報取得部１４１で取得した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を記憶部１８に記録する。第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報は、映像（第１映像）に関連付けて記録される。

マイクロフォン情報表示部１４３は、操作部２２からの操作入力に基づいて、記憶部１８から第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を取得し、表示部１６に表示する。

本実施の形態の撮像装置を用いた音声付き映像の生成は、たとえば、次のように行われる。

まず、撮像部１０によって第１映像が撮像され、記憶部１８に記録される（映像記録工程）。また、撮像に同期して第１音声及び第２音声が集音され、第１映像に関連付けて記憶部１８に記録される（第１音声記録工程及び第２音声記録工程）。また、撮像の際に使用した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報が入力され（第２情報取得工程）、記憶部１８に記録される。

次に、記録された第１映像、第１音声及び第２音声を用いて、音声付きの映像（第２映像）が生成される。まず、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報が記憶部１８から読み出され、表示部１６に表示される（第２表示工程）。ユーザは、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を元に第２音声を合成する際の強度を設定する。また、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を元に第１音声を処理する際の処理条件を設定する。たとえば、風防の有無、種類に応じて、強度を設定する。

音声付きの映像の生成が指示されると、操作部２２からの操作入力に基づき、第２音声を用いて第１音声が処理され、第３音声が生成される（音声生成工程）。そして、生成された第３音声と第１映像とが関連付けられて、音声付きの映像（第２映像）が生成される（映像生成工程）。

このように、本実施の形態によれば、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を取得して、記録しておく。これにより、音声付きの映像を生成する際に、より適切に第３音声を生成できる。たとえば、メインの音声の損失を最小限に抑えることができる。

［第５の実施の形態の変形例］
取得した第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報の用途は、上記の例に限定されない。たとえば、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を利用して、自動で第１音声を処理して、第３音声を生成する構成とすることもできる。たとえば、第１音声に第２音声を合成して、第３音声を生成する場合において、第２音声を合成する際の強度を第２マイクロフォン１４Ａの種類に応じて自動で設定することもできる。また、たとえば、第１音声に対して第２音声と同じ周波数の音声成分を処理して第３音声を生成する場合において、第２マイクロフォン１４Ａの種類に応じて、処理対象の周波数を自動で変える構成とすることもできる。

また、上記の例では、ユーザが、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を撮像装置１に入力する構成としているが、第１マイクロフォン１２Ａ及び第２マイクロフォン１４Ａの情報を自動で収集する構成とすることもできる。

［第６の実施の形態］
本実施の形態では、第１映像の撮像中、第２音声が記録されたタイミングを検出して記録しておく。記録した情報は、音声付きの映像（第２映像）を生成する際に使用される。具体的には、音声付きの映像を生成する際に、表示部１６に表示される。ユーザは、表示部１６に表示された情報を利用して、音声の編集を行う区間（シーン）を特定する。

第２音声が記録されたタイミングの検出はＣＰＵ２４が行う。図１４は、第２音声が記録されたタイミングを検出して記録する場合及び記録された情報を表示する場合にＣＰＵが実現する機能のブロック図である。同図に示すように、ＣＰＵ２４は、第２音声検出部１５１、タイミング情報記録部１５２及びタイミング情報表示部１５３として機能する。

第２音声検出部１５１は、第２音声入力部１４から入力される第２音声の音声信号に基づいて第２音声が記録されたタイミングを検出する。すなわち、第２音声の音声信号の入力を検出して、第２音声が記録されたタイミングを検出する。

タイミング情報記録部１５２は、第２音声検出部１５１で検出された第２音声の記録タイミングの情報（タイミング情報）を記憶部１８に記録する。タイミング情報は、映像（第１映像）に関連付けて記録される。

タイミング情報表示部１５３は、操作部２２からの操作入力に基づいて、記憶部１８からタイミング情報を取得し、表示部１６に表示する。たとえば、第２音声が記録されたタイミングを時間軸上で表示する。

本実施の形態の撮像装置を用いた音節付き映像の生成は、たとえば、次のように行われる。

まず、撮像部１０によって第１映像が撮像され、記憶部１８に記録される（映像記録工程）。撮像に同期して第１映像のタイミング情報が取得され（第１情報取得工程）、第１映像に関連付けて記憶部１８に記録される。また、撮像に同期して第１音声及び第２音声が集音され、第１映像に関連付けて記憶部１８に記録される（第１音声記録工程及び第２音声記録工程）。また、第２音声の記録されたタイミングの検出が行われる（第２音声検出工程）。検出された情報は、第１映像に関連付けられて記憶部１８に記録される（関連付け工程）。

次に、記録された第１映像、第１音声及び第２音声を用いて、音声付きの映像（第２映像）が生成される。まず、タイミング情報が記憶部１８から読み出され、表示部１６に表示される。たとえば、第２音声が記録されたタイミングが時間軸上で表示される。ユーザは、操作部２２を介して、第２音声を合成する個所、又は、第２音声を編集する個所を特定し、音声付きの映像（第２映像）の生成を指示する。

音声付きの映像の生成が指示されると、操作部２２からの操作入力に基づき、第２音声を用いて第１音声が処理され、第３音声が生成される（音声生成工程）。そして、生成された第３音声と第１映像とが関連付けられて、音声付きの映像（第２映像）が生成される（映像生成工程）。

このように、本実施の形態によれば、第２音声が記録されたタイミングを検出して、記録しておく。これにより、音声付きの映像を生成する際に、音声の編集が必要な個所（シーン）を簡単に特定できる。

［第６の実施の形態の変形例］
取得したタイミング情報の用途は、上記例に限定されない。たとえば、タイミング情報に基づいて、音声編集が必要な個所を自動的に特定する構成とすることもできる。

また、第２音声が記録されたタイミングは、第１映像の撮像終了後に検出してもよい。すなわち、撮像終了後に第２音声の音声データを解析して、第２音声が記録されたタイミングを検出する構成としてもよい。

［その他の実施の形態］
上記のように、メインの音声である第１音声を集音する第１マイクロフォン１２Ａについては、無指向性の集音特性を有するマイクロフォンを使用することが好ましい。また、第２音声を集音する第２マイクロフォン１４Ａについては、指向性の集音特性を有するマイクロフォン（たとえば、ガンマイク等）を使用することが好ましい。これにより、第１音声及び第２音声の録音の精度を向上できる。また、たとえば、特定の声の音声特性を維持しながら音の調整を行うこともできる。

また、指向性の集音特性を有するマイクロフォンを使用して第２音声を集音する場合において、指向性を調整できる場合、第２音声の音源の位置の変化に応じて、マイクロフォンの指向性を変えることがより好ましい。たとえば、映像内における第２音声の音源の位置の変化に追従して、第２マイクロフォン１４Ａの向きを変える。音源の位置の変化は、たとえば、映像を解析して検出する。たとえば、第２音声の音源となる被写体を映像内で特定し、その被写体の位置を画像認識等で検出し、音源の位置を特定する。

また、上記実施の形態では、本発明を撮像装置で実施する場合を例に説明したが、本発明を実施する装置及びシステムは、これに限定されるものではない。たとえば、撮像機能及び録音機能を備えた携帯電子機器（たとえば、スマートフォン、タブレットコンピュータ、ノートパソコン等）でも実施できる。また、記録済みの第１映像、第１音声及び第２音声をコンピュータ（たとえば、パーソナルコンピュータ等）に取り込み、コンピュータで第３音声を生成し、音声付きの映像（第２映像）を生成することもできる。

第３音声を生成する機能、及び、第２映像を生成する機能等を実行する制御部は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、たとえば、ソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵが含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。

制御部は、１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（たとえば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。

上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には、たとえばＲＡＭが一時的記憶領域として用いられ、また、たとえば、不図示のＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶されたデータを参照することもできる。

１ 撮像装置
１０ 撮像部
１０Ａ 撮像光学系
１０Ｂ 撮像素子
１０Ｃ 画像信号処理部
１２ 第１音声入力部
１２Ａ 第１マイクロフォン
１２Ｂ 第１音声信号処理部
１４ 第２音声入力部
１４Ａ 第２マイクロフォン
１４Ｂ 第２音声信号処理部
１６ 表示部
１８ 記憶部
２０ 音声出力部
２２ 操作部
２４ ＣＰＵ
２６ ＲＯＭ
２８ ＲＡＭ
３０ 動き検出部
１０１ 撮像制御部
１０２ 映像出力部
１０３ 第１映像記録部
１０４ 第１音声記録部
１０５ 第２音声記録部
１０６ 動き記録部
１１１ 映像再生部
１１２ 音声再生部
１２１ 第１映像取得部
１２２ 第１音声取得部
１２３ 第２音声取得部
１２４ 第３音声生成部
１２４Ａ 強度調整部
１２４Ｂ 合成部
１２４Ｃ 周波数検出部
１２４Ｄ 音声処理部
１２４Ｅ 第２音声処理部
１２５ 強度設定部
１２６ 映像生成部
１２７ 第２映像記録部
１２８ 処理条件設定部
１３１ 撮像情報取得部
１３２ 撮像情報記録部
１３３ 撮像情報表示部
１４１ マイクロフォン情報取得部
１４２ マイクロフォン情報記録部
１４３ マイクロフォン情報表示部
１５１ 第２音声検出部
１５２ タイミング情報記録部
１５３ タイミング情報表示部

Claims (12)

1. 撮像部で撮像された第１映像を記録する映像記録工程と、
   前記第１映像に同期して第１音声を記録する第１音声記録工程と、
   前記第１映像に同期して前記第１音声と異なる第２音声を記録する第２音声記録工程と、
   前記第２音声の記録されたタイミングを検出する第２音声検出工程と、
   前記第２音声の記録されたタイミングを時間軸上で表示する工程と、
   前記第１映像及び前記第１音声を再生する工程と、
   前記第１映像及び前記第１音声に対し、前記第２音声を合成する区間の指定を受け付ける工程と、
   前記第２音声の強度の設定指示を受け付ける強度設定工程と、
   前記第１音声の指定された区間に対し、前記設定指示に基づいて強調又は低減させた前記第２音声を合成し、第３音声を生成する音声生成工程と、
   前記第１映像と前記第３音声を関連付けて第２映像を生成する映像生成工程と、
   を備えた映像生成方法。
2. 前記第１音声は前記第２音声と共通する音声成分である共通成分を含み、
   前記音声生成工程は、前記第２音声を用いて、前記共通成分を強調又は低減させる処理を前記第１音声に行って、前記第３音声を生成する、
   請求項１に記載の映像生成方法。
3. 前記音声生成工程の前に、前記共通成分の処理条件を設定する処理条件設定工程を更に備え、
   前記音声生成工程は、前記処理条件設定工程で設定された処理条件に従って、前記共通成分を強調又は低減させる処理を前記第１音声に対して行う、
   請求項２に記載の映像生成方法。
4. 前記撮像部を含む撮像装置本体の動きを検出する検出工程を更に備え、
   前記音声生成工程は、前記検出工程において前記動きの検出があった場合、前記第１音声又は前記第２音声に所定の処理を行って前記第３音声を生成する、
   請求項１から３のいずれか１項に記載の映像生成方法。
5. 前記撮像部による前記第１映像の撮像情報を取得する第１情報取得工程と、
   前記撮像情報を表示する第１表示工程と、
   を更に備えた請求項１から４のいずれか１項に記載の映像生成方法。
6. 前記撮像情報には、前記撮像部を含む撮像装置本体の動きの情報及び焦点距離の情報の少なくとも一つが含まれる、
   請求項５に記載の映像生成方法。
7. 前記第１音声及び前記第２音声を集音する集音部の情報を取得する第２情報取得工程を更に備え、
   前記集音部の情報を表示する第２表示工程と、
   を更に備えた請求項１から６のいずれか１項に記載の映像生成方法。
8. 前記第１音声記録工程は、第１集音部を介して前記第１音声を記録し、
   前記第２音声記録工程は、前記第１集音部とは異なる第２集音部を介して前記第２音声を記録する、
   請求項１から７のいずれか１項に記載の映像生成方法。
9. 前記第２集音部は、指向性の集音特性を有し、
   前記第１集音部は、前記第２集音部よりも低い指向性の集音特性を有する、
   請求項８に記載の映像生成方法。
10. 前記第２集音部は、指向性の集音特性を有し、
    前記第２音声記録工程は、前記第２音声の音源の位置を検出し、検出された前記音源の方向に前記第２集音部を指向させて、前記第２音声を記録する、
    請求項８又は９に記載の映像生成方法。
11. プロセッサを備え、
    前記プロセッサは、
    第１映像を取得し、
    前記第１映像に同期して記録された第１音声を取得し、
    前記第１映像に同期して記録された第２音声を取得し、
    前記第２音声の記録されたタイミングの情報を取得し、
    前記第２音声の記録されたタイミングを時間軸上で表示し、
    前記第１映像及び前記第１音声を再生し、
    前記第１映像及び前記第１音声に対し、前記第２音声を合成する区間の指定を受け付け、
    前記第２音声の強度の設定指示を受け付け、
    前記第１音声の指定された区間に対し、前記設定指示に基づいて強調又は低減させた前記第２音声を合成して、第３音声を生成し、
    前記第１映像と前記第３音声を関連付けて第２映像を生成する、
    映像生成装置。
12. 第１映像を取得する機能と、
    前記第１映像に同期して記録された第１音声を取得する機能と、
    前記第１映像に同期して記録された第２音声を取得する機能と、
    前記第２音声の記録されたタイミングの情報を取得する機能と、
    前記第２音声の記録されたタイミングを時間軸上で表示する機能と、
    前記第１映像及び前記第１音声を再生する機能と、
    前記第１映像及び前記第１音声に対し、前記第２音声を合成する区間の指定を受け付ける機能と、
    前記第２音声の強度の設定指示を受け付ける機能と、
    前記第１音声の指定された区間に対し、前記設定指示に基づいて強調又は低減させた前記第２音声を合成して、第３音声を生成する機能と、
    前記第１映像と前記第３音声を関連付けて第２映像を生成する機能と、
    をコンピュータに実現させる映像生成プログラム。

Images