JP5762168B2

JP5762168B2 - 撮像装置及び再生装置

Info

Publication number: JP5762168B2
Application number: JP2011138050A
Authority: JP
Inventors: 大西　慎二; 慎二大西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-06-22
Filing date: 2011-06-22
Publication date: 2015-08-12
Anticipated expiration: 2031-06-22
Also published as: JP2013005418A

Description

本発明は、撮像装置及び再生装置に関する。

従来、撮像装置には、ワイヤレスマイクを接続可能であり、動画撮像中に、ワイヤレスマイクからの音声信号を記録する機能を有するものがある。特許文献１には、人物を被写体とした撮像画像から人物の顔の特徴を抽出し、予め登録されている顔特徴データとの一致度に基づいて人物認証を行う技術が記載されている。複数のワイヤレスマイクを接続可能な場合、予め登録されている人物と個々のワイヤレスマイクとを関連付け、上記人物認証を併用することで、撮像画角内外の人物のワイヤレスマイクを特定できる。

また、特許文献２には、撮像画像（又は撮像画角）内に存在するワイヤレスマイクを識別し、そのワイヤレスマイクからの音声を記録し、他方、撮像画像外のワイヤレスマイクの音声を記録しないようにする技術が記載されている。

特開平６−２５９５３４号公報特開２００４−２２８６６７号公報

特許文献２に記載の技術では、例えば、撮像画像内に存在するワイヤレスマイクを有する被写体と撮像画像外に存在するワイヤレスマイクを有する被写体が会話中である場合、再生時に会話として成り立たない音声になってしまう。

本発明は、このような不都合を解消して、撮像画像内の被写体からの音声と、撮像画像外の被写体からの音声をより適切に記録する撮像装置、及び適切に再生する再生装置を提示することを目的とする。

本発明に係る撮像装置は、撮像手段及び１以上のワイヤレスマイクと通信を行う通信手段を有する撮像装置であって、前記ワイヤレスマイクのそれぞれが前記撮像手段の撮像画像内に存在するか否かを判定する判定手段と、前記撮像画像内に存在するワイヤレスマイクと前記撮像画像内に存在しないワイヤレスマイクの相関の有無を判定する相関判定手段と、前記撮像画像内に存在するワイヤレスマイクの音声と、前記相関判定手段により前記撮像画像内に存在するワイヤレスマイクと相関が有ると判定された、前記撮像画像内に存在しないワイヤレスマイクの音声を記録する記録手段とを有し、前記相関判定手段は、前記各ワイヤレスマイクからの音声の有無を検出する音声検出手段と、前記音声検出手段の結果により得られる音声検出履歴データを保持する音声検出履歴保持手段と、前記撮像画像内に存在すると判定されたワイヤレスマイクの前記音声検出履歴データと前記撮像画像内に存在しないと判定されたワイヤレスマイクの前記音声検出履歴データとを比較し、相関の有無を判定する比較手段であって、前記撮像画像内に存在すると判定されたワイヤレスマイクの音量と、前記撮像画像内に存在しないと判定されたワイヤレスマイクの音量と比較し、これら音量の差分が所定の量よりも小さい場合に相関が有ると判定する比較手段とを有することを特徴とする。

本発明に係る再生装置は、画像及び１以上のワイヤレスマイクの音声が記録された画像・音声データを再生する再生装置であって、前記各ワイヤレスマイクが再生画像内に存在するか否かを判定する判定手段と、前記再生画像内に存在するワイヤレスマイクと前記再生画像内に存在しないワイヤレスマイクの相関の有無を判定する相関判定手段と、前記再生画像内に存在するワイヤレスマイクの音声と、前記相関判定手段により相関があると判定された、前記再生画像内に存在しないワイヤレスマイクの音声を出力する音声出力手段とを有し、前記相関判定手段は、前記各ワイヤレスマイクからの音声の有無を検出する音声検出手段と、前記音声検出手段により得られる音声検出履歴データを保持する音声検出履歴保持手段と、前記再生画像内に存在すると判定されたワイヤレスマイクの前記音声検出履歴データと前記再生画像内に存在しないと判定されたワイヤレスマイクの前記音声検出履歴データとを比較し、相関の有無を判定する比較手段であって、前記再生画像内に存在すると判定されたワイヤレスマイクの音量と、前記再生画像内に存在しないと判定されたワイヤレスマイクの音量と比較し、これら音量の差分が所定の量よりも小さい場合に相関が有ると判定する比較手段とを有することを特徴とする。

本発明によれば、撮像画像又は再生画像内のワイヤレスマイクと撮像画像外又は再生画像外のワイヤレスマイクの相関の有無に基づき、後者の音声を記録又は出力するので、適切な音声を記録再生できる。

本発明の一実施例の概略構成ブロック図である。実施例１における音声処理を示すフローチャートである。実施例１における音声処理を示すフローチャートである。音声信号用バッファの構成例を示す模式図である。マイクｉの状態を示す変数の内容例である。音声検出履歴データの例を示す模式図である。音声ブロック検出処理を示すフローチャートである。音声ブロック検出処理を示すフローチャートである。相関判定処理を示すフローチャートである。相関判定処理を示すフローチャートである。実施例２における音声処理を示すフローチャートである。実施例２における音声処理を示すフローチャートである。マイクｉの状態を示す変数の内容例である。測位機能を有するワイヤレスマイクの概略構成ブロック図である。実施例３における音声処理を示すフローチャートである。実施例３における音声処理を示すフローチャートである。実施例３における相関判定処理を示すフローチャートである。実施例４における音声処理を示すフローチャートである。実施例４における音声処理を示すフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る撮像装置の一実施例の概略構成ブロック図を示す。図１に示す実施例は、動画及び音声を記録可能であり、記録した動画及び音声を再生可能な撮像装置、いわゆるビデオカメラ１００である。ビデオカメラ１００には、１以上のワイヤレスマイク２００（２００_１〜２００_ｎ）を接続可能である。ワイヤレスマイク２００_１〜２００_ｎは同じ構成からなる。

ビデオカメラ１００の構成を説明する。光学系１０１は撮像のためのレンズ群と、そのレンズを駆動させるアクチュエータ群とからなる。光学系１０１は、ＣＰＵ１０６からの指示に従い、ズームとフォーカスを変更可能である。撮像素子１０２は、光学系１０１が結像させた光学像を電気信号に変換し、得られた画像データをＣＰＵ１０６に供給する。

マイク部１０３は、ビデオカメラ１００の筺体に固定されたマイクまたは有線接続されたマイクとＡ／Ｄ変換回路からなる。マイク部１０３は周囲の音声を取り込み、対応する音声データをＣＰＵ１０６に供給する。

表示部１０４は、撮像した画像、及びユーザ設定のためのメニュー等を表示する。表示部１０４は、具体的には、液晶表示装置（ＬＣＤ）などの画像を表示可能なデバイスからなる。通信部１０５は、ワイヤレスマイク２００Ａ，２００Ｂと無線通信する。

ＣＰＵ１０６は、ビデオカメラ１００全体の処理を統括する中央制御ユニットであり、基本的にＲＯＭ１０８に格納されているブログラムとデータに基づいて動作する。操作部１０７は、ユーザの操作を受け付ける手段であり、具体的にはビデオカメラ１００のユーザが触れることのできる部分にあるボタン、レバー及びタッチパネルなどからなる。ＲＯＭ１０８には、ビデオカメラ１００が動作するためのプログラムとパラメータなどのデータが予め書き込まれており、ＣＰＵ１０６は基本的にＲＯＭ１０８の内容に従って動作する。ＲＡＭ１０９は、ＣＰＵ１０６上で動作するプログラムと一時データを格納するのに使用される。

記録媒体１１０は、動画データ及び音声データ等を記録するのに使用される。撮影時に記録媒体１１０に動画データ及び音声データが記録される。再生時に、記録媒体１１０から記録された動画データ及び音声データが読みだされる。記録媒体１１０は、例えば、不揮発性の半導体メモリ等からなる。

ワイヤレスマイク２００_１〜２００_ｎの内部構成を説明する。ワイヤレスマイク２００_１〜２００_ｎは、同じ構成からなる。マイク部２０１は外部の音声を取り込むマイクと、マイクの出力音声信号をデジタル信号に変換するＡ／Ｄ変換回路からなる。マイク部２０１は、取り込んだ音声データをＣＰＵ２０２に供給する。

ＣＰＵ２０２は、ワイヤレスマイク２００_１〜２００_ｎの動作を全体的に統括する中央制御ユニットであり、基本的にＲＯＭ２０３に格納されているブログラムとデータに基づいて動作する。ＲＯＭ２０３には、ワイヤレスマイク２００_１〜２００_ｎが動作するためのプログラムとパラメータなどのデータが予め書き込まれており、ＣＰＵ２０２は基本的にＲＯＭ２０３の内容に従って動作する。ＲＡＭ２０４は、ＣＰＵ２０２上で動作するプログラムと一時データを格納するのに使用される。通信部２０５はビデオカメラ１００の通信部１０５と無線通信する。

図２Ａ及び図２Ｂは、ビデオカメラ１００の記録時の音声処理の動作フローチャートである。音声処理は、動画の記録と同期して行われるので、図２Ａ及び図２Ｂに示すフローは、記録される動画のフレーム周期で繰り返し実行される。たとえば、毎秒３０フレームの動画記録を行う場合、ＣＰＵ１０６は、図２Ａ及び図２Ｂに示す処理を１／３０秒以内に実行し、１秒間に３０回、繰り返す。ビデオカメラ１００（ＣＰＵ１０６）は、撮像画像内の人物を認識する機能と、予め登録されている人物とワイヤレスマイク２００_１〜２００_ｎとを関連付けて記憶する機能を有する。記録媒体１１０には、被写体となる人物を識別するために必要な特徴データが事前に登録された被写体登録手段として機能する。ＣＰＵ１０６は、この特徴データを参照して被写体を識別する。図２Ａ及び図２Ｂに示すフローでは、ワイヤレスマイク２００_１〜２００_ｎをマイクｉ（但し、ｉ＝１〜ｎ）と表記する。

ユーザがビデオカメラ１００での記録を開始すると、ＣＰＵ１０６は、マイク部１０３から動画１フレーム時間に相当する音声信号を取得し、ＲＡＭ１０９内の音声信号用バッファに記録する（Ｓ２０１）。図３は、ＲＡＭ１０９内の音声信号用バッファの構成を示す模式図である。音声信号用バッファは、数の領域に分割されている。ミックス音声領域には、マイク部１０３及び接続されたワイヤレスマイク２００_１〜２００_ｎの音声をミックスしたデータが最終的に格納される。内蔵マイク音声領域には、内蔵のマイク部１０３からの音声データが格納される。マイク［ｉ］音声領域（但し，ｉ＝１〜ｎ）には、ワイヤレスマイク２００_１〜２００_ｎからの音声データが格納される。ＣＰＵ１０６はまず、マイク部１０３で取得した音声データをＲＡＭ１０９のミックス音声領域及び内蔵マイク音声領域に格納する。

ＣＰＵ１０６は、内部変数ｉに１をセットして初期化する（Ｓ２０２）。変数ｉは、ワイヤレスマイクｉを特定する。ＣＰＵ１０６は、予めビデオカメラ１００に登録されているワイヤレスマイクｉが通信部１０５を介して検出できるか否かを判定する（Ｓ２０３）。検出されない場合（Ｓ２０３）、ＣＰＵ１０６は、内部変数Ｍｉｃ［ｉ］に”０”をセットする（Ｓ２０４）。内部変数Ｍｉｃ［ｉ］は、マイクｉの状態を示す変数である。図４は、内部変数Ｍｉｃ［ｉ］の値と意味の対応表を示す。

マイクｉが検出される場合（Ｓ２０３）、ＣＰＵ１０６は、通信部１０５を介してマイクｉから動画１フレーム時間に相当する音声信号を取得し、ＲＡＭ１０９内のマイク［ｉ］音声領域に記録する（Ｓ２０５）。次に、ＣＰＵ１０６は、マイクｉが撮像画像内に存在するか否かを判定する（Ｓ２０６）。この判定は、マイクｉが関連付けられている人物が撮像画像内に検出されているか否かで行うことができる。

マイクｉが撮像画像内に存在する場合（Ｓ２０７）、ＣＰＵ１０６は、ミックス音声領域の音声データとマイク［ｉ］音声領域の音声データを混合し、混合結果の音声データをミックス音声領域に記録する（Ｓ２０８）。また、ＣＰＵ１０６は、内部変数Ｍｉｃ［ｉ］にワイヤレスマイクｉが検出されており、かつ撮像画像内に存在することを示す値”１”をセットする（Ｓ２０９）。

マイクｉが撮像画像内に存在しない場合（Ｓ２０７）、ＣＰＵ１０６は、内部変数Ｍｉｃ［ｉ］にマイクｉが検出されているが、撮像画像内に存在しないことを示す値”２”をセットする（Ｓ２１０）。

ステップＳ２０９又は同Ｓ２１０の後、ＣＰＵ１０６は、マイク［ｉ］音声領域に記録されている動画１フレーム時間の音声データに人物の発声による音声が含まれるかどうかを判定する（Ｓ２１１）。この判定には、例えば、特開２００１−０２２３６７号公報に記載されるような方法が利用可能である。即ち、入力音声フレームの背景雑音レベルを判定し、この雑音レベルに対応した閾値と入力音声フレームの音量を比較する。

ＣＰＵ１０６は、ステップＳ２１１の判定結果をマイクｉに対する音声検出履歴データとしてＲＡＭ１０９に格納する（Ｓ２１２）。例えば、１０秒分の音声検出履歴データを保持できるＦＩＦＯバッファに、該当フレームにおいて音声を検出した場合は音声フレームの音量値を、音声を検出していない場合はゼロをセットする。このＦＩＦＯバッファは、音声検出履歴保持手段に相当する。

ＣＰＵ１０６は、変数ｉをインクリメントする（Ｓ２１３）。ＣＰＵ１０６は、変数ｉを接続可能なワイヤレスマイク数ｎと比較し、ｉがｎ以下であれば、ステップＳ２０３に戻る（Ｓ２１４）。ｉがｎを越える場合（Ｓ２１４）、即ち、全ての接続可能なワイヤレスマイクの検出処理を終了している場合、ステップＳ２１５に進む。

図５は、ステップＳ２１２で記録した音声検出履歴データの例を模式的に示す。図５では、接続可能なワイヤレスマイクの数ｎが４である場合を示している。各ワイヤレスマイクの右の欄に、音声を検出したフレームに該当する箇所にハッチングが施されている。欄の左側が時間的に過去のフレームに該当し、右端が現在処理中のフレームに該当する。また、ハッチングを施した部分の高さは、該当するフレームで検出された音声の音量を示す。例えば、ワイヤレスマイク１に関しては、現在時刻の１０秒前から２秒間、音声を検出し、その後、３秒間の音声未検出、３秒間の音声検出及び２秒間の音声未検出になっている。

ＣＰＵ１０６は、全ワイヤレスマイクの検出を終了した後、各ワイヤレスマイクｉの出力で検出された音声をブロックとして検出する（Ｓ２１５）。図５に示す例では、マイク１に関しては、現在時刻の１０秒前から２秒間の音声ブロックと、３秒前から３秒間の音声ブロックが、検出される。

図６Ａ及び図６Ｂは、音声ブロック検出処理（Ｓ２１５）の動作フローチャートである。図６Ａ及び図６Ｂに示すフローチャートでは、音声が連続して０．５秒以上検出され、かつ、その後に音声が１秒以上未検出の場合の、検出された音声部分を音声ブロックとして検出する。

ＣＰＵ１０６は、音声ブロック検出を行うワイヤレスマイクを示す内部変数ｉに１をセットする（Ｓ６０１）。ＣＰＵ１０６は、音声フレーム位置を示す内部変数ｔに１をセットし、マイクｉの音声検出履歴データから検出される音声ブロック数を示す内部変数ｂｎ［ｉ］に０をセットする（Ｓ６０２）。音声フレーム位置は、現在時刻から１０秒前の位置のフレームに対する番号を１とし、フレーム位置が１フレーム時間分現在時刻に近付くと、番号が１増加するものとする。従って、現在時刻に対応するフレーム位置番号は秒間３０フレームであるので、３０（フレーム）×１０（秒）＝３００となる。マイクｉに対する内部変数ｔで示すフレーム位置の音声検出履歴データをｐｏｗｅｒ［ｉ］［ｔ］と表記する。ｐｏｗｅｒ［ｉ］［ｔ］は、マイクｉから取得した音声データのフレーム位置ｔにおける音量を示す。

ＣＰＵ１０６は、ステップＳ６０３以降の処理で、まず音声ブロックの先頭フレームを検出する。まず、ＣＰＵ１０６は、マイクｉに対するフレーム位置ｔの音声検出履歴データｐｏｗｅｒ［ｉ］［ｔ］から音声検出の有無を判定する（Ｓ６０３）。音声が未検出の場合は、ＣＰＵ１０６は、内部変数ｔをカウントアップし（Ｓ６０４）、現在時刻に対するフレーム位置の処理が終了したか否か判定する（Ｓ６０５）。ステップＳ６０５中のＦＲの値は秒間のフレーム数を示す。ビデオカメラ１００は毎秒３０フレームの動画記録を行うので、ＦＲの値は３０である。

現在時刻に対するフレーム位置の処理が終了していない場合（Ｓ６０５）、ＣＰＵ１０６は、ステップＳ６０３に戻り、次の音声フレーム位置に対する処理を行う。現在時刻に対するフレーム位置の処理が終了している場合（Ｓ６０５）、ＣＰＵ１０６は、変数ｉをカウントアップする（Ｓ６０６）。そして、ＣＰＵ１０６は、内部変数ｉとマイク数ｎの比較により、全ワイヤレスマイクに対する処理を終了したか否かを判定する（Ｓ６０７）。全ワイヤレスマイクに対する処理が終了していない場合（Ｓ６０７）、ＣＰＵ１０６は、ステップＳ６０２に戻って、次のワイヤレスマイクに対する処理を行う。全ワイヤレスマイクに対する処理が終了している場合（Ｓ６０７）、ＣＰＵ１０６は、音声ブロック検出処理を終了する。

変数ｔで示すフレーム位置に音声が検出されている場合（Ｓ６０３）、ＣＰＵ１０６は、内部変数ｔｓ，ｐｗ，ｐｃを対応する所定値で初期化する（Ｓ６０８）。具体的には、音声ブロックの先頭フレーム候補位置を示す変数ｔｓに変数ｔの値をセットする。音声ブロックに含まれる音量の総和を示す変数ｐｗに現在の処理フレームの音量データの音量、即ち、ｐｏｗｅｒ［ｉ］［ｔ］の値をセットする。音声が検出されたフレームの総数をカウントする内部変数ｐｃに１をセットする。変数ｐｗ，ｐｃは、検出した音声ブロックの平均音量を算出するために使用される。

ＣＰＵ１０６は、変数ｔをカウントアップし（Ｓ６０９）、ステップＳ６１０で、ＣＰＵ１０６はフレーム位置ｔで音声が検出されているか否かを判定する（Ｓ６１０）。音声が検出されていない場合（Ｓ６１０）、ＣＰＵ１０６は、フレーム位置ｔｓがブロックの先頭ではないと判断して、ステップＳ６０４に進み、再度、音声ブロックの先頭フレーム候補の検出処理を行う。

フレーム位置ｔに音声が検出されている場合（Ｓ６１０）、ＣＰＵ１０６は、変数ｐｗに現在の処理フレームの音量データ値をセットし、変数ｐｃをカウントアップする（Ｓ６１１）。ＣＰＵ１０６は、現在処理中のフレーム位置ｔが音声ブロックの先頭フレーム候補位置ｔｓの０．５秒後であるか否か、即ちフレーム位置ｔｓから連続して０．５秒間音声が検出されているか否かを判定する（Ｓ６１２）。０．５秒後ではない場合（Ｓ６１２）、ＣＰＵ１０６は、ステップＳ６０９に戻って次のフレームの処理を行う。０．５秒後である場合（Ｓ６１２）、ＣＰＵ１０６は、変数ｂｎ［ｉ］をカウントアップし、変数ｂ＿ｓｔａｒｔ［ｉ］［ｂｎ［ｉ］］に変数ｔｓの値をセットする（Ｓ６１３）。ｂ＿ｓｔａｒｔ［ｉ］［ｂｎ［ｉ］］は、マイクｉに対するｂｎ［ｉ］番目の音声ブロックの先頭フレーム位置を示す。

ステップＳ６０８〜Ｓ６１３で音声ブロックの先頭フレーム位置が検出された場合、ＣＰＵ１０６は、検出した音声ブロックの最終フレーム位置を検出する。まず、ＣＰＵ１０６は、フレーム位置Ｔで音声が検出されているか否かを判定する（Ｓ６１４）。音声が検出されている場合（Ｓ６１４）、ＣＰＵ１０６は、変数ｐｗに現在の処理フレームの音量データ値をセットし、音声が検出されたフレームの総数をカウントする変数ｐｃをカウントアップする（Ｓ６１５）。次に、ＣＰＵ１０６は、変数ｔをカウントアップし（Ｓ６１６）、現在時刻に対するフレーム位置の処理が終了したか否か判定する（Ｓ６１７）。現在時刻に対するフレーム位置の処理が終了していない場合（Ｓ６１７）、ＣＰＵ１０６は、ステップＳ６１４に戻って、次の音声フレーム位置に対する処理を行う。

現在時刻に達している場合（Ｓ６１７）、ＣＰＵ１０６は、マイクｉに対するｂｎ［ｉ］番目の音声ブロックの最終フレーム位置を示す変数ｂ＿ｅｎｄ［ｉ］［ｂｎ［ｉ］］に現在時刻を示す値をセットする（Ｓ６１８）。ＣＰＵ１０６はまた、変数ｐｗを変数ｐｃで除算した結果を変数ｐ＿ａｖｅ［ｉ］［ｂｎ［ｉ］］にセットする（Ｓ６１８）。変数ｐ＿ａｖｅ［ｉ］［ｂｎ［ｉ］］は、マイクｉに対するｂｎ［ｉ］番目の音声ブロックの平均音量を示す。ＣＰＵ１０６は、ステップＳ６１８の処理の後、ステップＳ６０６に移行する。

フレーム位置ｔに音声が検出されていない場合（Ｓ６１４）、ＣＰＵ１０６は、変数ｔｓに音声ブロックの最終フレーム候補位置として変数ｔより１フレーム前の位置を示す値をセットする（Ｓ６１９）。ＣＰＵ１０６は変数ｔをカウントアップし（Ｓ６２０）、フレーム位置ｔで音声が検出されているか否かを判定する（Ｓ６２１）。音声が検出されている場合（Ｓ６２１）、ＣＰＵ１０６は、フレーム位置ｔｓがブロックの最終フレームではないと判定してステップＳ６１５に進み、再度、音声ブロックの最終フレーム候補の検出処理を行う。フレーム位置ｔに音声が検出されていない場合（Ｓ６２１）、ＣＰＵ１０６は変数ｔが変数ｔｓの値の１秒後であるか否か、即ちフレーム位置ｔｓから連続して１秒間、音声が未検出であるか否かを判定する（Ｓ６２２）。１秒後ではない場合（Ｓ６２２）、ＣＰＵ１０６は、ステップＳ６２０に戻って次のフレームの処理を行う。１秒後である場合（Ｓ６２２）、ＣＰＵ１０６は、マイクｉに対するｂｎ［ｉ］番目の音声ブロックの最終フレーム位置を示す内部変数ｂ＿ｅｎｄ［ｉ］［ｂｎ［ｉ］］に変数ｔｓの値をセットする（Ｓ６２３）。ＣＰＵ１０６はまた、変数ｐｗを変数ｐｃで除算した結果を変数ｐ＿ａｖｅ［ｉ］［ｂｎ［ｉ］］にセットする（Ｓ６２３）。先に説明多様に、変数ｐ＿ａｖｅ［ｉ］［ｂｎ［ｉ］］は、マイクｉに対するｂｎ［ｉ］番目の音声ブロックの平均音量を示す。

ステップＳ６１９〜Ｓ６２３で音声ブロックの最終フレーム位置を検出した場合、ＣＰＵ１０６は、ステップＳ６０３に戻って次の音声ブロックの検出処理を継続する。

図６Ａ及び図６Ｂに示すフローチャートに従った処理を行うことで、ＣＰＵ１０６は、各ワイヤレスマイクで取得された音声に対して、音声ブロックを検出し、各音声ブロックの平均音量を求めることができる。

図２Ａ及び図２Ｂに戻り、ステップＳ２１６以降の処理を説明する。ＣＰＵ１０６は、内部変数ｉに１をセットして初期化する（Ｓ２１６）。変数ｉは処理中のワイヤレスマイクを指定する番号を示す。ＣＰＵ１０６は、マイクｉの状態を判定する（Ｓ２１７）。マイクｉが、ビデオカメラ１００により検出されていないか、検出され、且つ撮像画像内に存在する場合（Ｓ２１７）、ＣＰＵ１０６は、次のマイクの処理に移行するために変数ｉをカウントアップ又はインクリメントする（Ｓ２２１）。

マイクｉが、ビデオカメラ１００により検出されているが、撮像画像内に存在しない場合（Ｓ２１７）、ＣＰＵ１０６は、このマイクｉと、ビデオカメラ１００により検出され、且つ撮像画像内に存在する他のワイヤレスマイクとの相関を判定する（Ｓ２１８）。ＣＰＵ１０６は、相関がある場合にＴＲＵＥを、相関がない場合はＦＡＬＳＥを内部変数Ｒｅｓｕｌｔにセットする。ステップＳ２１８の動作の詳細は後述する。

相関がある場合（Ｓ２１９）、ＣＰＵ１０６は、音声信号用バッファのミックス音声領域の音声データとマイク［ｉ］音声領域の音声データをミックスし、ミックス処理結果の音声データをミックス音声領域に格納する（Ｓ２２０）。そして、ＣＰＵ１０６は、次のマイクの処理のために変数ｉをカウントアップする（Ｓ２２１）。

相関がないと判定された場合（Ｓ２１９）、ＣＰＵ１０６は、次のマイクの処理のために変数ｉをカウントアップする（Ｓ２２１）。

ステップＳ２２１の後、ＣＰＵ１０６は変数ｉをワイヤレスマイク数ｎと比較し、全ての接続可能なワイヤレスマイクの処理を終了したか否かを判定する（Ｓ２２２）。全ての接続可能なワイヤレスマイクの検出処理が終了していない場合、ＣＰＵ１０６は、ステップＳ２１７に戻って次のワイヤレスマイクの処理を行う。終了している場合、ＣＰＵ１０６は、音声信号用バッファのミックス音声領域の音声データを記録媒体に記録し（Ｓ２２３）、ステップＳ２０１に戻って次の記録フレームに対する処理を繰り返す。

図７Ａ及び図７Ｂは、相関判定処理（Ｓ２１８）の動作例を示すフローチャートである。図７Ａ及び図７Ｂに示すフローチャートに従い、ＣＰＵ１０６は、処理対象のマイクｉが、ビデオカメラ１００により検出され、かつ撮像画像内に存在する他のワイヤレスマイクのいずれかと相関があるか否かを判定する。図７Ａ及び図７Ｂに示すフローチャートでは、処理の途中でいずれかのワイヤレスマイクとの相関があると判定された時点で、相関判定結果ＲｅｓｕｌｔにＴＲＵＥをセットして処理を終了する。全てのワイヤレスマイクとの相関判定が終了しても、いずれのワイヤレスマイクとも相関がない場合、相関判定結果Ｒｅｓｕｌｔの値はＦＡＬＳＥのままで判定処理を終了する。

ＣＰＵ１０６は、内部変数ＲｅｓｕｌｔにＦＡＬＳＥを、内部変数ｊに１をセットして初期化する（Ｓ７０１）。内部変数ｊは、現在処理中のマイクｉとの相関の有無を判定する対象のワイヤレスマイクを特定する番号を示す。ＣＰＵ１０６は変数ｊと変数ｉの値が一致するか否かを判定する（Ｓ７０２）。変数ｉと変数ｊの値が一致する場合（Ｓ７０２）、ＣＰＵ１０６は、変数ｊをカウントアップし（Ｓ７０３）、全てのワイヤレスマイクとの相関判定を終了したか否かを判定する（Ｓ７０４）。全てのワイヤレスマイクとの相関判定が終了していない場合（Ｓ７０４）、ＣＰＵ１０６は、ステップＳ７０２に戻って、次のワイヤレスマイクとの相関判定処理を継続する。

内変数ｊと変数ｉの値が一致しない場合（Ｓ７０２）、ＣＰＵ１０６は、マイクｊがビデオカメラ１００により検出されており、かつ撮像画像内に存在するか否かを判定する（Ｓ７０５）。マイクｊがビデオカメラ１００により検出されていないか、または、検出されていても撮像画像内に存在しない場合（Ｓ７０２）、ＣＰＵ１０６は、先に説明したように、変数ｊをカウントアップして、次のワイヤレスマイクとの相関判定処理を行う（Ｓ７０３）。

マイクｊがビデオカメラ１００により検出され、かつ撮像画像内に存在する場合、ＣＰＵ１０６は、内部変数ｂｉに１をセットし（Ｓ７０６）、内部変数ｂｊに１をセットする（Ｓ７０７）。変数ｂｉはマイクｉの音声検出履歴データから検出された音声ブロックの番号を示す。変数ｂｊはマイクｊの音声検出履歴データから検出される音声ブロックの番号を示す。以下、マイクｉに対するｂｉ番目の音声ブロックを音声ブロック（ｉ，ｂｉ）”と記す。

ＣＰＵ１０６は、変数ｄｔに音声ブロック（ｉ，ｂｉ）の先頭フレーム位置と音声ブロック（ｊ、ｂｊ）の先頭フレーム位置の差分をセットし（Ｓ７０８）、内部変数ｄｔの正負を判定する（Ｓ７０９）。変数ｄｔが正値である場合（Ｓ７０９）、音声ブロック（ｊ、ｂｊ）は、音声ブロック（ｉ，ｂｉ）よりも先頭フレーム位置が時間的に過去の状態である。図５に示す例では、音声ブロック（ｉ，ｂｉ）が音声ブロック５０２であり、音声ブロック（ｊ，ｂｉ）が音声ブロック５０１である場合に対応する。他方、変数ｄｔが負値である場合（Ｓ７０９）、音声ブロック（ｉ，ｂｉ）は音声ブロック（ｊ，ｂｊ）よりも先頭フレーム位置が時間的に過去の状態である。図５に示す例では、音声ブロック（ｉ，ｂｉ）が音声ブロック５０２であり、音声ブロック（ｊ，ｂｉ）が音声ブロック５０３である場合に相当する。本実施例では、処理の簡略化のため、ｄｔ＝０の場合、即ち音声ブロック（ｉ，ｂｉ）と音声ブロック（ｊ、ｂｊ）の先頭フレーム位置が一致する場合には、ｄｔが正値の場合と同様の処理を行う。

ｄｔが正値又はゼロである場合（Ｓ７０９）、ＣＰＵ１０６は、音声ブロック（ｉ，ｂｉ）の先頭フレーム位置と音声ブロック（ｊ、ｂｊ）の最終フレーム位置の差分値を変数ｄｔにセットする（Ｓ７１０）。他方、ｄｔが負値である場合（Ｓ７０９）、ＣＰＵ１０６は、音声ブロック（ｊ，ｂｊ）の先頭フレーム位置と音声ブロック（ｉ，ｂｉ）の最終フレーム位置の差分値を変数ｄｔにセットする（Ｓ７１１）。音声ブロック（ｉ，ｂｉ）と音声ブロック（ｊ，ｂｊ）が時間的に重なっている場合、ｄｔはゼロ又は負値となり、重なっているフレーム時間数を示す。音声ブロック（ｉ，ｂｉ）と音声ブロック（ｊ，ｂｊ）が時間的に重なっていない場合、ｄｔは正の値となり、音声ブロック間の隔たりフレーム時間数を示す。

ステップＳ７１０又はＳ７１１の後、ＣＰＵ１０６は、変数ｄｔの値が所定の定数Ｔ１と定数Ｔ２の範囲内にあるか否かを判定する（Ｓ７１２）。Ｔ１は負値であり、相関がある音声ブロック間の許容可能な重なりフレーム数を示す。Ｔ２は正値であり、相関がある音声ブロック間の許容可能な隔たりフレーム数を示す。ｄｔがＴ１以下の場合、重なりフレーム数が許容可能なフレーム数を超えることになり、ｄｔがＴ２以上の場合、音声ブロック間の隔たりフレーム数が許容可能なフレーム数を超えることになる。ここでは、２つのマイクの音声が隔たる間隔が所定時間よりも短いかどうか、また、音声の重なりが所定時間より長いかどうかを見ていることになる。

ｄｔがＴ１以下であるか、Ｔ２以上である場合（Ｓ７１２）、ＣＰＵ１０６は、音声ブロック（ｉ，ｂｉ）と音声ブロック（ｊ、ｂｊ）との間に相関が無いと判定し、ステップＳ７１３に進む。ＣＰＵ１０６は、ステップＳ７１３で内部変数ｂｊをカウントアップし（Ｓ７１３）、マイクｊの全音声ブロックと音声ブロック（ｉ，ｂｉ）との相関判定を終了したか否かを判定する（Ｓ７１４）。マイクｊの全音声ブロックと音声ブロック（ｉ，ｂｉ）との相関判定を終了していない場合、ＣＰＵ１０６は、ステップＳ７０８に戻って音声ブロック（ｉ，ｂｉ）とマイクｊの次の音声ブロックとの相関判定を行う。

マイクｊの全音声ブロックと音声ブロック（ｉ，ｂｉ）との相関判定を終了すると（Ｓ７１４）、ＣＰＵ１０６は変数ｂｉをカウントアップする（Ｓ７１５）。そして、ＣＰＵ１０６は、マイクｉの全音声ブロックとマイクｊの全音声ブロックとの相関判定を終了したか否かを判定する（Ｓ７１６）。マイクｉの全音声ブロックとマイクｊの全音声ブロックとの相関判定を終了していない場合（Ｓ７１６）、ＣＰＵ１０６は、ステップＳ７０７に戻って、マイクｉの次の音声ブロックとマイクｊの音声ブロックとの相関判定を行う。マイクｉの全音声ブロックとマイクｊの全音声ブロックとの相関判定を終了している場合（Ｓ７１６）、ＣＰＵ１０６は、マイクｉと次のワイヤレスマイクとの相関判定を行うために、変数ｊをカウントアップする（Ｓ７０３）。

ｄｔがＴ１よりも大きく、且つ、Ｔ２よりも小さい場合（Ｓ７１２）、ＣＰＵ１０６は、音声ブロック（ｉ，ｂｉ）の平均音量と音声ブロック（ｊ、ｂｊ）の平均音量の差分絶対値を内部変数ｄｐにセットする（Ｓ７１７）。ＣＰＵ１０６は、変数ｄｐが所定閾値Ｐよりも小さいか否かを判定する（Ｓ７１８）。変数ｄｐが所定閾値以上である場合（Ｓ７１８）、音声ブロックの音量の差が大きいことを示しているので、音声ブロック間に相関がないと判断でき、ＣＰＵ１０６は、ステップＳ７１３に移行する。

ｄｔが所定閾値よりも小さい場合（Ｓ７１８）、音声ブロックの音量の差が小さいことを示しているので、マイクｉとマイクｊの音声に相関があると判断できる。この場合、ＣＰＵ１０６は、マイクｉがビデオカメラ１００により検出され、且つ撮像画像内の他の何れかのワイヤレスマイクと相関があることを示すＴＲＵＥ値を内部変数Ｒｅｓｕｌｔにセットして（Ｓ７１９）、処理を終了する。

図７Ａ及び図７Ｂに示すフローチャートでは、音声ブロックのタイミングの及び音量を用いて相関の判定を行っているが、ステップＳ７０８〜ステップＳ７１２の処理を行わずにステップＳ７１７以降の処理のみを行ってもよい。即ち、音声ブロックの音量のみを用いて相関の有無を判定してもよい。

このように、本実施例では、撮像画像内に検出されるワイヤレスマイクの音声を記録できるだけでなく、この音声と相関のある、撮影画像内に検出されないワイヤレスマイクの音声も記録できる。

再生時の処理で実施例１と同様の作用を実現できる。この場合、ビデオカメラ１００は、記録時には、内蔵マイクの音声及び接続する全ワイヤレスマイクの音声を記録し、再生時に、記録された画像・音声データの画像を再生しつつ、音声を選択的に再生する。記録時に各マイクで取得される音声は、１つの動画ファイルに異なるトラックとして記録してもよく、またマイク別にそれぞれ独立した音声ファイルとして記録してもよい。

図８Ａ及び図８Ｂは、再生時に、撮像画像内に検出されるワイヤレスマイクの音声と、この音声と相関のある、撮影画像内に検出されないワイヤレスマイクの音声を再生する動作のフローチャートを示す。図８Ａ及び図８Ｂにおいて、図２Ａ及び図２Ｂと同じ処理内容のステップには同じ符号を付してある。この実施例では、ビデオカメラ１００（ＣＰＵ１０６）は、再生画像内の人物を認識する機能と、予め登録されている人物とワイヤレスマイク２００_１〜２００_ｎとを関連付けて記憶する機能を有する。従って、ＣＰＵ１０６は、各ワイヤレスマイク２００_１〜２００_ｎに対応する音声トラックまたは音声ファイルがどの人物に対応する音声であるかを関連付けて記録しているとも言える。以下、音声トラック又は音声ファイルを音声トラックで代表する。

ユーザがビデオカメラ１００で再生対象の動画を選択して再生を開始すると、ＣＰＵ１０６は、記録媒体１１０の選択された動画ファイルをオープンして、再生処理を開始する。音声ファイルが動画ファイルとは別のファイルとして記録されている場合は、内蔵マイク部１０３及び各ワイヤレスマイク２００_１〜２００_ｎに対応する音声ファイルも同時にオープンして、再生処理を開始する。

ＣＰＵ１０６は、内蔵マイク部１０３に対応する音声トラックから動画１フレーム時間に相当する音声データを再生して、ＲＡＭ１０９の音声信号用バッファに格納する（Ｓ８０１）。内蔵マイク部１０３で取得された音声データは、音声信号用バッファのミックス音声領域と内蔵マイク音声領域に格納される。

ＣＰＵ１０６は内部変数ｉに１をセットして初期化する（Ｓ８０２）。ＣＰＵ１０６は、マイクｉに対応する音声トラックから動画１フレーム時間に相当する音声データを再生し、ＲＡＭ１０９のマイク［ｉ］音声領域に格納する（Ｓ８０３）。次に、ＣＰＵ１０６は、マイクｉが再生画像内に存在するか否かを判定する（Ｓ２０６）。この判定は、マイクｉが関連付けられている人物が再生画像内に検出されているか否かで行うことができる。

マイクｉが再生画像内に存在する場合（Ｓ２０５）、ＣＰＵ１０６は、ミックス音声領域の音声データとマイク［ｉ］音声領域の音声データを混合し、混合結果の音声データをミックス音声領域に記録する（Ｓ２０８）。また、ＣＰＵ１０６は、内部変数Ｍｉｃ［ｉ］にワイヤレスマイクｉが再生画像内に存在することを示す値”１”をセットする（Ｓ８０４）。図９は、変数Ｍｉｃ［ｉ］にセットされる値の例を示す。マイクｉが再生画像内に存在しない場合（Ｓ２０７）、ＣＰＵ１０６は、変数Ｍｉｃ［ｉ］にマイクｉが再生画像内に存在しないことを示す値”２”をセットする（Ｓ８０８）。

ステップＳ２１１以降は、実施例１で説明した処理と同様の処理を行う。最終的に、ＣＰＵ１０６は、音声信号用バッファのミックス音声領域に格納される音声データを図示しない音声出力手段に出力し（Ｓ８０６）、ステップＳ８０１に戻って次の記録フレームに対する処理を繰り返す。

以上、説明したように、再生時に、再生画像内に検出されているワイヤレスマイクの音声と、この音声と相関のある、再生画像外のワイヤレスマイクによる音声を同時再生できる。

ワイヤレスマイクが自身の位置座標を検出する測位機能を有する場合、マイク位置情報を利用して、個々のワイヤレスマイクが撮像画像内にあるかどうかを判定できる。この判定結果を使って、撮像画像内に検出されるワイヤレスマイクの音声と相関のある、撮影画像内に検出されないワイヤレスマイクの音声を選択的に記録できる。

図１０は、測位機能を有するワイヤレスマイクの概略構成ブロック図を示す。ワイヤレスマイク１０００（１０００_１〜１０００_ｎ）は、ワイヤレスマイク２００の機能に加えて、測位部８０１を具備する。この実施例では、ビデオカメラ１００は、通信部１０５を介して最大ｎ個のワイヤレスマイク１０００_１〜１０００_ｎから音声データと位置情報を取得し、記録できる。

図１１Ａ及び図１１Ｂは、本実施例の記録時の音声処理のフローチャートである。図１１Ａ及び図１１Ｂにおいて、図２Ａ及び図２Ｂと同じ処理には同じ符号を付してある。

ユーザがビデオカメラ１００での記録を開始すると、ＣＰＵ１０６は、実施例１と同様の処理を行い、ワイヤレスマイク１０００の検出とワイヤレスマイク１０００が撮像画像内に存在するかの判定を行う（Ｓ２０３〜Ｓ２０７）。そして、ＣＰＵ１０６は、検出されたワイヤレスマイク１０００の音声処理（Ｓ２０８，Ｓ２０９）を行った後、マイクｉの位置情報（マイク位置情報）を取得する（Ｓ１１０１）。

ＣＰＵ１０６は、接続可能な全ワイヤレスマイク１０００の検出処理が終了すると（Ｓ２１４）、ステップＳ２１６以降の処理を行う。ステップＳ２１６以降の処理で、ＣＰＵ１０６は、撮像画像内に存在しないと判定されたワイヤレスマイクの音声と、撮像画像内に存在すると判定された何れかのワイヤレスマイクの音声との相関を判定する（Ｓ１１０２）。ＣＰＵ１０６は、音声信号用バッファのミックス音声領域の音声データを記録媒体に記録し（Ｓ２２３）、ステップＳ２０１に戻って次の記録フレームに対する処理を繰り返す。

図１２は、相関判定処理（Ｓ１１０２）の詳細なフローチャートを示す。ＣＰＵ１０６は内部変数ＲｅｓｕｌｔにＦＡＬＳＥを、内部変数ｊに１をセットして初期化する（Ｓ１２０１）。内部変数ｊは、現在処理中のマイクｉとの相関の有無を判定する対象のワイヤレスマイクを特定する番号を示す。ＣＰＵ１０６は、変数ｊと変数ｉの値が一致するか否かを判定する（Ｓ１２０２）。一致する場合（Ｓ１２０２）、ＣＰＵ１０６は、変数ｊをカウントアップし（Ｓ１２０３）、全ワイヤレスマイクとの相関判定を終了したか否かを判定する（Ｓ１２０４）。

本フローチャートでは、処理の途中でいずれかのワイヤレスマイクとの相関があると判定された時点で、ＲｅｓｕｌｔをＴＲＵＥにセットして相関判定を終了する。全てのワイヤレスマイクとの相関判定が終了している場合は、何れのワイヤレスマイクとも相関がない状態であり、ＲｅｓｕｌｔはＦＡＬＳＥのままで判定処理を終了する。全てのワイヤレスマイクとの相関判定が終了していない場合（Ｓ１２０３）、ＣＰＵ１０６は、ステップＳ１２０２に戻って、次のワイヤレスマイクとの相関判定処理を継続する。

変数ｊと変数ｉの値が一致しない場合（Ｓ１２０２）、ＣＰＵ１０６は、マイクｊがビデオカメラ１００により検出され、かつ撮像画像内に存在するか否かを判定する（Ｓ１２０５）。マイクｊがビデオカメラ１００により検出されていないか、または、撮像画像内に存在しない場合（Ｓ１２０５）、ＣＰＵ１０６は、変数ｊをカウントアップする（Ｓ１２０３）。ＣＰＵ１０６は、次のワイヤレスマイクとの相関判定処理の要否を判断する（Ｓ１２０４）。

マイクｊがビデオカメラ１００により検出され、かつ撮像画像内に存在する場合（Ｓ１２０５）、ＣＰＵ１０６は、マイクｉとマイクｊの間の距離を算出して、変数ｄにセットする（Ｓ１２０６）。マイクｉとマイクｊの間の距離は、図１１Ａ及び図１１ＢのステップＳ１１０１で取得した各マイクの位置情報を用いて、

に示すヒュベニの距離計算式で求めることができる。

ＣＰＵ１０６は、変数ｄが閾値ＤＴよりも小さいか否かを判定する（Ｓ１２０７）。ＤＴは、会話が成立すると想定される距離である。ＤＴは、予め決められた固定値でよいが、ユーザが値を設定できるようにしてもよい。変数ｄが閾値ＤＴ以上である場合（Ｓ１２０７）、ワイヤレスマイクｉ，ｊ間の距離が大きく、マイクｉとマイクｊに相関がないと見做しうる。そこで、ＣＰＵ１０６は、変数ｊをカウントアップし（Ｓ１２０３）、全ワイヤレスマイクとの相関判定を終了したか否かを判定する（Ｓ１２０４）。

変数ｄが閾値ＤＴよりも小さい場合（Ｓ１２０７）、会話が成立する距離であるので、マイクｉとマイクｊに相関があると見做しうる。そこで、ＣＰＵ１０６は、マイクｉが、撮像画面内の検出された何れかのマイク（ここでは、マイクｊ）と相関があることを示すＴＲＵＥを内部変数Ｒｅｓｕｌｔにセットして（Ｓ１２０８）、処理を終了する。

このように、本実施例では、会話が成立するようなマイク間の距離を要素として、相関を判定する。これにより、撮影画像内に検出されていないマイクの中で適切なマイクの音声を、撮像画像内で検出されるマイクの音声と同時に記録することが可能になる。

実施例１に対する実施例２と同様に、実施例３に対して、再生時に記録音声を選択的に再生するようにしてもよい。即ち、ビデオカメラ１００は、記録時には内蔵マイクの音声及び接続する全ワイヤレスマイクの音声を記録し、再生時に、記録された画像・音声データの画像を再生しつつ、音声を選択的に再生する。記録時に各マイクで取得される音声は、１つの動画ファイルに異なるトラックとして記録してもよく、またマイク別にそれぞれ独立した音声ファイルとして記録してもよい。

図１３Ａ及び図１３Ｂは、再生時に、撮像画像内に検出されるワイヤレスマイクの音声と、この音声と相関のある、撮影画像内に検出されないワイヤレスマイクの音声を再生する動作のフローチャートを示す。図１３Ａ及び図１３Ｂにおいて、図１１Ａ及び図１１Ｂと同じ処理内容のステップには同じ符号を付してある。ビデオカメラ１００（ＣＰＵ１０６）は、予め登録されている人物とワイヤレスマイク１０００_１〜１０００_ｎとを関連付けて記憶し、各ワイヤレスマイク１０００_１〜１０００_ｎの位置情報を音声トラックまたは音声ファイルに関連付けて記録する。また、ビデオカメラ１００は、予め登録されている人物を再生画像中から検出する機能を有し、動画再生時に再生画像中に登録人物が存在するか否かを検出できる。

ユーザがビデオカメラ１００で再生対象の動画を選択して再生を開始すると、ＣＰＵ１０６は、記録媒体１１０の選択された動画ファイルをオープンして、再生処理を開始する。音声ファイルが動画ファイルとは別のファイルとして記録されている場合は、内蔵マイク部１０３及び各ワイヤレスマイク１０００_１〜１０００_ｎに対応する音声ファイルも同時にオープンして、再生処理を開始する。

ＣＰＵ１０６は、内蔵マイク部１０３に対応する音声トラックから動画１フレーム時間に相当する音声データを再生して、ＲＡＭ１０９の音声信号用バッファに格納する（Ｓ１３０１）。内蔵マイク部１０３で取得された音声データは、音声信号用バッファのミックス音声領域と内蔵マイク音声領域に格納される。

ＣＰＵ１０６は内部変数ｉに１をセットして初期化する（Ｓ１３０２）。ＣＰＵ１０６は、マイクｉに対応する音声トラックから動画１フレーム時間に相当する音声データを再生し、ＲＡＭ１０９のマイク［ｉ］音声領域に格納する（Ｓ１３０３）。次に、ＣＰＵ１０６は、マイクｉが再生画像内に存在するか否かを判定する（Ｓ２０６）。この判定は、マイクｉが関連付けられている人物が再生画像内に検出されているか否かで行うことができる。

マイクｉが再生画像内に存在する場合（Ｓ２０７）、ＣＰＵ１０６は、ミックス音声領域の音声データとマイク［ｉ］音声領域の音声データを混合し、混合結果の音声データをミックス音声領域に記録する（Ｓ２０８）。また、ＣＰＵ１０６は、内部変数Ｍｉｃ［ｉ］にワイヤレスマイクｉが再生画像内に存在することを示す値”１”をセットする（Ｓ１３０４）。図９は、ここで変数Ｍｉｃ［ｉ］セットされる値の例を示す。マイクｉが再生画像内に存在しない場合（Ｓ２０７）、ＣＰＵ１０６は、変数Ｍｉｃ［ｉ］にマイクｉが再生画像内に存在しないことを示す値”２”をセットする（Ｓ１３０５）。

ＣＰＵ１０６は、マイクｉに対応する音声トラックに関連付けて記録されているマイクｉの位置情報を取得する（Ｓ１３０６）。

ステップＳ２１３〜Ｓ２１７，Ｓ１１０２，Ｓ２１９〜Ｓ２２２では、実施例３で説明した処理と同様の処理を行う。最終的に、ＣＰＵ１０６は、音声信号用バッファのミックス音声領域に格納される音声データを図示しない音声出力手段に出力し（Ｓ１３０７）、ステップＳ１３０１に戻って次の記録フレームに対する処理を繰り返す。

（その他）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。特に、実施例２又は実施例４に示す再生処理をコンピュータに実行させるためのプログラムによっても、本発明が実現される。

本実施例では、撮像装置を例にとって説明したが、撮像機能または再生機能と、音声処理機能を有していればどのような装置であっても良い。たとえば、カメラ、ビデオ、携帯電話、スマートフォン、パソコンなどであってもよい。

また、実施例１から実施例４の機能は同時に備えられていても良い。また、各実施例を適宜組み合わせて使用しても良い。たとえば、動画及び音声を記録再生可能なビデオカメラにおいて、撮影時に全ワイヤレスマイクの音声を記録するか、実施例１又は３で示した処理を行うかの選択をユーザに可能とする。そして、全ワイヤレスマイクの音声を記録した場合は実施例２又は４で示した処理を行うように構成する。

Claims

撮像手段及び１以上のワイヤレスマイクと通信を行う通信手段を有する撮像装置であって、
前記ワイヤレスマイクのそれぞれが前記撮像手段の撮像画像内に存在するか否かを判定する判定手段と、
前記撮像画像内に存在するワイヤレスマイクと前記撮像画像内に存在しないワイヤレスマイクの相関の有無を判定する相関判定手段と、
前記撮像画像内に存在するワイヤレスマイクの音声と、前記相関判定手段により前記撮像画像内に存在するワイヤレスマイクと相関が有ると判定された、前記撮像画像内に存在しないワイヤレスマイクの音声を記録する記録手段
とを有し、
前記相関判定手段は、
前記各ワイヤレスマイクからの音声の有無を検出する音声検出手段と、
前記音声検出手段の結果により得られる音声検出履歴データを保持する音声検出履歴保持手段と、
前記撮像画像内に存在すると判定されたワイヤレスマイクの前記音声検出履歴データと前記撮像画像内に存在しないと判定されたワイヤレスマイクの前記音声検出履歴データとを比較し、相関の有無を判定する比較手段であって、前記撮像画像内に存在すると判定されたワイヤレスマイクの音量と、前記撮像画像内に存在しないと判定されたワイヤレスマイクの音量と比較し、これら音量の差分が所定の量よりも小さい場合に相関が有ると判定する比較手段
とを有することを特徴とする撮像装置。
前記判定手段が、
前記１以上のワイヤレスマイクの一つを割り当てられている被写体を登録する被写体登録手段と、
前記撮像画像内で前記被写体登録手段に登録される被写体を認識する認識手段
とを有することを特徴とする請求項１に記載の撮像装置。
画像及び１以上のワイヤレスマイクの音声が記録された画像・音声データを再生する再生装置であって、
前記各ワイヤレスマイクが再生画像内に存在するか否かを判定する判定手段と、
前記再生画像内に存在するワイヤレスマイクと前記再生画像内に存在しないワイヤレスマイクの相関の有無を判定する相関判定手段と、
前記再生画像内に存在するワイヤレスマイクの音声と、前記相関判定手段により相関があると判定された、前記再生画像内に存在しないワイヤレスマイクの音声を出力する音声出力手段
とを有し、
前記相関判定手段は、
前記各ワイヤレスマイクからの音声の有無を検出する音声検出手段と、
前記音声検出手段により得られる音声検出履歴データを保持する音声検出履歴保持手段と、
前記再生画像内に存在すると判定されたワイヤレスマイクの前記音声検出履歴データと前記再生画像内に存在しないと判定されたワイヤレスマイクの前記音声検出履歴データとを比較し、相関の有無を判定する比較手段であって、前記再生画像内に存在すると判定されたワイヤレスマイクの音量と、前記再生画像内に存在しないと判定されたワイヤレスマイクの音量と比較し、これら音量の差分が所定の量よりも小さい場合に相関が有ると判定する比較手段
とを有することを特徴とする再生装置。
前記判定手段は、
前記１以上のワイヤレスマイクの一つを割り当てられている被写体を登録する被写体登録手段と、
前記再生画像内で前記被写体登録手段に登録される被写体を認識する認識手段とを有することを特徴とする請求項３に記載の再生装置。