JP5072730B2 - 信号処理装置、撮像装置 - Google Patents

Description

本発明は、信号処理装置に関し、特に音声信号を処理する装置に関する。

従来、音声信号を処理する装置としてビデオカメラ等が知られている。ビデオカメラでは、被写体の音声を内蔵されたマイクロフォン（以降、内蔵マイク）や外部のマイクロフォン（以降、外部マイク）によって集音し、映像と共に記録する。

これらビデオカメラのなかには、複数の内蔵マイクにより得られた音声から５．１チャンネルの音声を生成し、外部マイクにより得られた音声信号を５．１チャンネルの音声の１以上のチャンネルに合成するものがある（例えば、特許文献１）。
特開２００６−３１４０７８号公報

この様なビデオカメラでは、外部マイクの方向や距離を判定して、合成するチャンネル、音量等を制御することが行われていた。しかし、外部マイクにより得られた音声のレベルと、複数の内蔵マイクにより得られた音声のレベルとのバランスを考慮して、合成する外部マイクにより得られた音声のレベルを調整するようなことは行っていない。そのため、外部マイクにより得られた音声の音量と、他の複数チャンネルの音声とのバランスが適切でなくなってしまう問題があった。

本発明は、複数の内蔵マイクにより得られた音声信号から生成したマルチチャンネルの音声信号の１以上のチャンネルを、外部マイクにより得られた音声信号に置換する場合の問題を解決するものである。本発明はこの様な場合に、例えば、マルチチャンネル置換するチャンネルに比べて、外部マイクにより得られた音声の音量が適切でなくなってしまう可能性を低減できる信号処理装置を提供することを目的とする。

この様な課題を解決するために、本発明の信号処理装置は、周囲の音声を集音する複数の集音手段と、前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、外部機器から送信された外部音声信号を受信する受信手段と、前記生成手段により生成された複数チャンネルの音声信号のうち、指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする。

また、本発明の撮像装置は、撮像手段を備えた撮像装置であって、前記撮像装置に内蔵された複数の集音手段と、前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、外部機器から送信された外部音声信号を受信する受信手段と、前記生成手段により生成された複数チャンネルの音声信号のうち、指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする。

本発明によれば、複数の内蔵マイクにより得られた音声信号により得られた複数チャンネルの１以上のチャンネルの音声信号を、外部マイクにより得られた音声信号に置換する場合。例えば、置換されるチャンネルの音声に比べて、外部マイクにより得られた音声の音量が適切でなくなってしまう可能性を低減できる。

以下、図面を参照して本発明の実施例を詳細に説明する。

複数の内蔵マイクにより得られた音声信号から複数チャンネルの音声信号を生成し、外部マイクにより得られた音声信号を、生成された複数チャンネルの音声信号の１以上のチャンネルと置換することができるビデオカメラについて説明する。

図１は、本実施例のビデオカメラシステムの斜視図である。本実施例のシステムは、ビデオカメラ１００と外部マイク１０４とからなる。

図１において、１００は本実施例のビデオカメラである。１０１は、被写体の光学像を取り込む撮影レンズである。１０２は、周囲の音声を集音する複数の内蔵マイクが収納されたマイクユニットである。１０３は、撮影中は撮影レンズ１０１によって取り込まれた被写体の光学像を後述の映像処理部２０６で処理した映像を表示し、再生中は、後述の映像再生処理部２１１で処理した映像を表示しする他、メニュー画面等を表示する表示部である。１０４は、音声を集音し、得られた音声信号を、電波を搬送波として音声信号を外部に送信する機能を有する外部マイクである。１０５は、外部マイクに備えられた音声信号を電波として送信する送信部である。１０６は、送信部１０５により送信された音声信号の電波を受信して音声信号を復元するする受信部である。

図２は、図１のビデオカメラのブロック図である。

図２、２０１はビデオカメラの各種機能に応じて、各ブロックを制御する制御部である。２０２は、外部からの指示をビデオカメラに入力するための操作部である。２０３は、制御部２０１からの制御信号や、操作部２０２からの指示信号等が行き来する制御信号バスである。２０４は、各ブロック間の画像データおよび音声データが行き来する画像／音声データバスである。

２０５は、撮影レンズ１０１からの、光量を制御する絞り、光学像を電気信号に変換する撮像素子等からなる撮像部である。２０６は、撮像部２０５から得た映像信号を適正な信号レベルにし、デジタルデータに変換し、１フレーム分ずつ記録する等の映像記録方式に必要な処理を行う映像処理部である。

２０７は、マイクユニット１０２により、得られた複数の音声信号を音声信号をデジタルデータに変換するする処理を行う音声処理部である。音声処理部では、マイクユニット１０２の複数の内蔵マイクから得られた音声信号を例えば、５．１チャンネルの音声信号に変換する等の処理を行う。また、得られた５．１チャンネルの音声信号適正なレベルに調整する処理を行う。また、受信部１０６により受信した外部マイク１０４により集音された音声信号を、複数の内蔵マイクの音声から生成した複数チャンネルのうちの１以上のチャンネルの音声信号と置換する処理を行う。音声処理部２０７については後述する。

２０８は、表示部１０３の表示を制御するための表示制御部である。表示制御部２０８は、制御部２０１からの指示に応じて、各種モードに応じた表示を表示部１０３にさせる。

２０９は、映像処理部２０６から得られた映像データ、音声処理部２０７から得られた音声データ、その他のデータを必要に応じて関連づけて記録するための記録媒体としてのハードディスク（以後、ＨＤＤ）である。２１０は、ＨＤＤ２０９にアクセスし、上記の映像データ、音声データ、その他のデータ等を読み書きするためのアクセス部である。本実施例では、記録媒体として磁気式のＨＤＤを例として説明しているが、これはＤＶＤやブルーレイディスク等の光学式記録媒体でも良いし、メモリーカードのような半導体メモリでもよい。

２１１は、アクセス部２１０によって読み出されたＨＤＤ２０９の映像データを映像記録方式に従って処理し、所定の形態に変換する映像再生処理部である。２１２は、映像再生処理部２１１で再生された映像信号を外部に出力するための映像出力端子である。

２１３は、アクセス部２１０によって読み出されたＨＤＤ２０９の音声データを映像記録方式に従って再生する音声再生処理部である。２１４は、音声再生処理部２１３で再生された音声信号を外部に出力するための音声出力端子である。

２１５は、ＰＣ等の外部機器と通信を行ったり、ＨＤＤ２０９に記録された映像データ、音声データ等を外部機器とやり取したりするためのＵＳＢ端子である。２１６は、ＵＳＢ端子２１５と接続された外部機器とのデータのやり取りを制御するＵＳＢコントローラである。本実施例では、ＵＳＢ端子としたが、これはＩＥＥＥ１３９４端子でも良く、外部機器とデータのやり取りが可能な端子であればよい。

本実施例では、外部マイク１０４によって集音された音声を「外部音声」と呼ぶこととする。また、複数の内蔵マイクにより得られた音声信号から生成された複数チャンネルの音声を「内蔵マルチチャンネル音声」と呼ぶこととする。この「内蔵マルチチャンネル音声」は、本実施例では、４つの略無指向性の内蔵マイクから生成した、５．１チャンネルの音声である。

本実施例のビデオカメラ１００は、「外部音声」を「内蔵マルチチャンネル音声」のうちの１チャンネル以上のチャンネルと置換することができる。本実施例のビデオカメラは、ユーザが操作部２０２を操作することによって「外部音声」を記録するか否かの設定や、「外部音声」を「内蔵マルチチャンネル音声」に合成するか否かの設定を行うことができる。この設定に関して、図３及び図４を用いて説明する。

図３（ａ）から図３（ｄ）は、「外部音声」の扱いを設定する際の表示部１０３の表示画面を示している。

まず、ユーザが、ビデオカメラ１００の操作部２０２を操作することにより、表示制御部２０８は表示部１０３に図３（ａ）のような、外部マイク１０４の使用に関する設定画面を表示する。図３（ａ）では、外部マイク１０４を使用するか否かを選択することができる（Ｓ４０１）。ここで、３０１は、カーソルを示しており、ユーザの操作部２０２の操作を反映して移動することができる。

図３（ａ）で、「いいえ」を選択すると（Ｓ４０１でＮｏ）、制御部２０１は、「内蔵マルチチャンネル音声」を記録するモードで撮影をするようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０２）。

図３（ａ）で、「はい」を選択すると（Ｓ４０１でＹｅｓ）、表示制御部２０８は、表示部１０３に図３（ｂ）のような画面を表示させる。図３（ｂ）では、「外部音声」を「内蔵マルチチャンネル音声」の１チャンネル以上のチャンネルと置換するか否かを選択することができる（Ｓ４０３）。

図３（ｂ）で、「いいえ」を選択すると（Ｓ４０３でＮｏ）、制御部２０１は、「外部音声」のみを記録するモードで撮影をするようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０４）。

図３（ｂ）で、「はい」を選択すると（Ｓ４０３でＹｅｓ）、表示制御部２０８は、表示部１０３に図３（ｃ）のような画面を表示させる。図３（ｃ）では、「外部音声」を「内蔵マルチチャンネル音声」のフロントチャンネルと、置換するか否かを選択することができる（Ｓ４０５）。

図３（ｃ）で、「はい」を選択すると（Ｓ４０５でＹｅｓ）、制御部２０１は、「外部音声」「内蔵マルチチャンネル音声」のフロントチャンネルと置換して記録するモードで撮影するようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０６）。

図３（ｃ）で「はい」を選択すると（Ｓ４０５でＮｏ）、表示制御部２０８は、表示部１０３に図３（ｄ）のような画面を表示させる。図３（ｄ）では、「外部音声」を「内蔵マルチチャンネル音声」のどのチャンネルと置換するかを選択することができる（Ｓ４０７）。図３（ｄ）において、３０２は、置換されるチャンネルがどの方向からの音声であるかを擬似的に示すためのポーラパターンである。図３（ｄ）では、ユーザが操作部２０２を操作したことに応じて、カーソル３０１が移動し、それに連動してポーラパターン３０２の表示が変わるようになっている。

図３（ｄ）で、「ＦＣ」を選択すると（Ｓ４０７でＦＣ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のフロントチャンネルと置換して記録するモードで撮影するようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０６）。図３（ｄ）で、「ＦＬ」を選択すると（Ｓ４０７でＦＬ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のフロントレフトチャンネルと置換して記録するモードで撮影するように音声処理部２０７を制御する（Ｓ４０８）。図３（ｄ）で、「ＦＲ」を選択すると（Ｓ４０７でＦＲ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のフロントライトチャンネルと置換して記録するモードで撮影するように音声処理部２０７を制御する（Ｓ４０９）。図３（ｄ）で、「ＳＬ」を選択すると（Ｓ４０７でＳＬ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のサラウンドレフトチャンネルと置換して記録するモードで撮影するようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４１０）。図３（ｄ）で、「ＳＲ」を選択すると（Ｓ４０７でＳＲ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のサラウンドライトチャンネルと置換して記録するモードで撮影するように音声処理部２０７を制御する（Ｓ４１１）。

図３（ｄ）では、「内蔵マルチチャンネル音声」のフロントライトチャンネルに「外部音声」を置換するモードを選択した例を示している。

以上のようにして、「外部音声」記録しないか、「外部音声」のみを記録するか、「外部音声」を「内蔵マルチチャンネル音声」のどのチャンネルと置換するかを選択することができる。

次に、本実施例のビデオカメラの基本的な撮影動作について説明する。

操作部２０２の電源スイッチが操作されたことに応じて、ビデオカメラは撮影待機状態になる。このとき、ユーザが、図３、図４を用いて説明した設定を行うことにより、「外部音声」に関する設定をすることができる。

この状態で、ユーザが操作部２０２の撮影ボタンを操作することにより、ビデオカメラに動画撮影開始の指示がなされる。この動画撮影開始の指示に応じて、制御部２０１は、撮像部２０５、映像処理部２０６等に撮影開始の指示信号を送信する。

撮影が開始すると、撮像部２０５は撮影レンズ１０１により取り込まれた被写体の光学像の光量を、絞りにより制御し、撮像素子により電気信号に変換する。そして、変換された電気信号は、映像処理部２０６で、適正なレベルに調整され、デジタルデータに変換る。そしてデジタルデータに変換された映像信号は、映像処理部１０６の画素数調整回路等によって適切な画素数に調整され、所定の映像記録方式で圧縮符号化され、映像データとなる。

また、音声処理部２０７は、マイクユニット１０２の４つの内蔵マイクにより集音された音声信号を、デジタルデータに変換し、「内蔵マルチチャンネル音声」を生成し、各チャンネルの音声レベルを適正な値に調整する。このほか、音声記録方式に必要な処理が施さ音声データを形成する。この他、「外部音声」を「内蔵マルチチャンネル音声」の１以上のチャンネルと置換する場合は、置換処理も行う。

そして、制御部２０１は、上述の映像データと上述の音声データとを合成しデータストリームを形成し、アクセス部２１０に出力する。アクセス部２１０は、制御部２０１の指示に基づき、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、映像データと音声データのデータストリームを一つの動画ファイルとしてＨＤＤ２０９に書込みはじめる。ファイルシステムとは、ファイルの管理を行うための管理情報とファイルデータからなる構造体系を意味する。このファイルシステムを共通化することによって、異なった記憶媒体あるいは記録再生機器でも記録再生できる。

データストリームは、必要に応じて表示制御部２０８を通して、表示部１０３に表示されることもある。

そして、ユーザが操作部２０２の撮影ボタンを再度操作することにより、ビデオカメラに動画撮影終了の指示がなされたことに応じて、制御部２０１は、撮像部２０５、映像処理部２０６等に撮影終了の指示信号を送信する。

動画撮影終了の指示信号を受信したことに応じて、撮像部２０５、映像処理部２０６は、撮影動作を終了する。アクセス部２１０は、制御部２０１の指示のもと、撮影開始から撮影終了までに記録された一連の映像データと音声データとを一つのファイルとしＨＤＤ２０９に書込み、記録動作を終了する。制御部２０１は、ビデオカメラを撮影待機状態に遷移させる。

次に、本実施例のビデオカメラの通常の再生動作について説明する。

制御部２０１は、操作部２０２の選択スイッチによって再生モードが指定されたことに応じて、ＨＤＤ２０９から映像データや静止画データを読み出すよう、アクセス部２１０を制御する。そして、読み出された映像データや静止画データのサムネイルを並べたサムネイル画面や、映像データや静止画データのファイル名を表示部１０３に表示するよう、表示制御部２０８を制御する。また、最後に撮影した映像データや静止画データ等を表示部１０３に表示するよう、表示制御部２０８を制御してもよい。

そして、サムネイル画面が表示された状態で、ユーザが操作部２０２を操作して、映像データや静止画データを再生する指示をすると、制御部２０１は、各画像データを再生するよう各ブロックを制御する。

映像データを再生する際は、制御部２０１は、操作部２０２からの指示に応じて、ＨＤＤ２０９から読み出した動画ファイルを音声データと映像データとを分離する。そして映像データは、映像再生処理部２１１で、復号されている情報量が伸張され、表示制御部２０８によって表示部１０３で映像として表示される。このとき、映像端子２１２からも映像信号を出力するように構成されているので、映像端子２１２を通して接続された映像表示可能な装置が映像を表示することができる。音声データは、音声再生処理部２１３に送信され、復号された情報量が伸張されて、５．１チャンネルのサラウンド音声データまたサラウンド音声信号に変換され、音声端子２１４から出力される。これにより、音声端子２１４に接続された音声出力可能な装置から、音声が出力されることになる。

ここで、本実施例の「内蔵マルチチャンネル音声」を生成し、「内蔵マルチチャンネル音声」の１以上のチャンネルの音声と、「外部音声」を置換する音声処理部２０７について図５を用いて詳細に説明する。

図５は、マイクユニット１０２、音声処理部２０７、受信部１０６、及び外部マイクによる音声処理の為の要部の構成を示す図である。

図５において、５０１から５０４は、マイクユニット１０２を構成している略無指向性の内蔵マイクであり、主にビデオカメラ１００の周囲の音声を集音する。５０５は、外部マイク１０４に備えられたマイクであり、外部マイク付近の音声を集音する。５０６は、マイク５０５で得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部（以降Ａ／Ｄ）である。

次に、音声処理部２０７の構成について説明する。５０７は、内蔵マイク５０１から５０４によって得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部（Ａ／Ｄ）である。５０８は、内蔵マイク５０１から５０４によって得られた音声信号を用いて、５．１チャンネルの音声を生成する５．１ｃｈ変換回路である。５．１ｃｈ変換回路５０８では、ＦＬチャンネル、ＦＲチャンネル、ＳＬチャンネル、ＳＲチャンネル、ＳＷチャンネル、ＦＣチャンネルの音声信号が生成される。

ＦＣチャンネルとはフロントセンターチャンネルである。ＦＬチャンネルとはフロントレフトチャンネルである。ＦＲチャンネルとはフロントライトチャンネルである。ＳＬチャンネルとはサラウンドレフトチャンネルである。ＳＲチャンネルとはサラウンドライトチャンネルである。ＳＷチャンネルとはサブウーファーチャンネルであり、主に低音部の音声を受け持つチャンネルである。

５０９は、５．１ｃｈ変換回路５０８で生成された、ＦＬチャンネル、ＦＲチャンネル、ＳＬチャンネル、ＳＲチャンネル、ＳＷチャンネル、ＦＣチャンネルの音声のレベルをコントロールするオートレベルコントローラー（以降ＡＬＣ）である。ＡＬＣ５０９は、振幅調整部５１０、振幅検出部５１１、制御値決定部５１２によって構成されている。

５１０は、５．１ｃｈ変換回路５０８で、生成された、各チャンネルの音声の振幅を、後述の制御値決定部５１２からの各チャンネル毎の制御値に従って、調整する振幅調整部である。振幅調整部５１０は、制御値決定部５１２からの制御値が大きいときには、各チャンネルの音声の振幅が大きくなるように音声信号を調整し、制御値が小さいときには、各チャンネルの音声の振幅が小さくなるように音声信号を調整する。５１１は、振幅調整部５１０から出力された各チャンネルの音声レベルを検出する振幅検出部である。振幅検出部５１１では、各チャンネル毎の音声の絶対値をとり、その信号のピークホールドを行った信号のレベルを音声レベルとしている。また、振幅検出部５１１では、振幅検出部５１１により検出された各チャンネルの音声レベルを後述のＡＬＣ５１３の制御値決定部５１６に送信する。

５１２は、各チャンネル毎に、振幅検出部５１１で検出した音声レベルがある閾値レベルＡよりも小さいか、ある閾値レベルＢより大きいか、レベルＡとレベルＢの間にあるかを判別する（ただし、閾値Ａ＜閾値Ｂとする）。そして、すべてのチャンネルの音声レベルが閾値レベルＡよりも小さいときには、振幅調整部５１０に対して各チャンネルの音声の振幅が大きくなるように大きい値の制御値を送信する。また、すべてのチャンネルの音声レベルが閾値レベルＢよりも大きいときには、振幅調整部５１０に対して各チャンネルの音声の振幅が小さくなるように小さい値の制御値を送信する。ただし、あるチャンネルの音声レベルが閾値レベルＡよりも小さく、あるチャンネルの音声レベルが閾値レベルＢよりも大きい場合には、振幅調整部５１０に対して各チャンネルの音声の振幅が小さくなるように小さい値の制御値を送信する。これにより、各チャンネルの音声レベルが、閾値レベルＡから閾値レベルＢの間におさまるように制御する。

５１３は、「外部音声」の音声のレベルをコントロールするオートレベルコントローラー（以降ＡＬＣ）である。

５１４は、受信部１０６によって受信された「外部音声」の振幅を、後述の制御値決定部５１６から制御値に従って、調整する振幅調整部である。振幅調整部５１４は、制御値決定部５１６からの制御値が大きいときには、音声の振幅が大きくなるように音声信号を調整し、制御値が小さいときには音声の振幅が小さくなるように音声信号を調整する。５１５は、振幅調整部５１３から出力された音声信号の音声レベルを検出する振幅検出部である。振幅検出部５１５は、音声の絶対値をとり、その信号のピークホールドを行った信号のレベルを音声レベルとしている。

５１６は、振幅検出部５１５により検出された音声レベルと、振幅検出部５１１により検出された各チャンネルのうちユーザの操作により置換するチャンネルに指定されたチャンネルの音声レベルとを比較する。そして、振幅検出部５１５により検出された音声レベルが、振幅検出部５１１により検出された、置換するチャンネルの音声レベルよりも小さいときには、振幅調整部５１４に対して大きい制御値を送信する。また、振幅検出部５１５により検出された音声レベルが、振幅検出部５１１により検出された、指定されたチャンネルの音声レベルよりも大きいときには、振幅調整部５１４に対して小さい制御値を送信する。

また、制御値決定部５１６は、振幅検出部５１５により検出された音声レベルが、予め決められた閾値よりも小さい場合には、外部音声の音声レベルを変更しないような制御値を振幅調整部５１４に送信する。この閾値は、ユーザによって設定されても良い。

また、制御値決定部５１６は、ユーザの操作により置換するチャンネルに指定されたチャンネルのレベルと、指定されていないチャンネルの音声レベルを比較する。そして、置換するチャンネルのレベルが他のチャンネルの音声レベルよりも所定量以上大きいとき（例えば音声レベルが４ｄＢ以上大きい）には、以下の制御値を振幅調整部５１４に送信する。すなわち「外部音声」の音声レベルを置換するチャンネル以外のチャンネルの音声レベルと同程度になるような制御値を振幅調整部５１４に送信する。

５１７は、「内蔵マルチチャンネル音声」の置換するチャンネルに指定されたチャンネルの音声と、「外部音声」とのどちらかを選択的に通過させるスイッチである。５１８は、「内蔵マルチチャンネル音声」の指定されたチャンネルに指定されたチャンネルを示す制御信号であり、制御部２０１により送信されている。

スイッチ部５１７は、制御信号５１８からの指示により、置換するチャンネルに指定されたチャンネルを判別している。また、振幅検出部５１１は、各チャンネルの音声レベルを送信せずに、制御信号５１８からの指示により、指定されたチャンネルの音声レベルのみを送信しても良い。

５１９は、「内蔵マルチチャンネル音声」と「外部音声」とを合成した音声信号を所定の音声記録方式に必要な処理を施すエンコーダである。

次に、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声と「外部音声」を置換する場合を例にとって、具体的な動作について説明する。本実施例では、内蔵マイク５０１から５０４によって得られた音声信号から５．１チャンネルの音声を生成する。そして、外部マイク１０４のマイク５０５によって得られた音声信号を生成した５．１チャンネルの音声のフロントセンターチャンネルの音声に対して合成することになる。

ユーザが操作部２０２を操作して、図３の設定画面において、「内蔵マルチチャンネル音声」のフロントセンターチャンネルに対して「外部音声」を置換するように設定した状態で撮影を開始する。

ビデオカメラ１００周辺の音声を集音する内蔵マイク５０１から５０４によって得られたアナログ音声信号は、Ａ／Ｄ５０７で、デジタル音声信号に変換される。そして、デジタル音声信号は、５．１ｃｈ変換回路５０８で、５．１チャンネルの音声に変換され「内蔵マルチチャンネル音声」となる。

また、外部マイク１０４周辺の音声を集音するマイク５０５により得られたアナログ音声信号は、Ａ／Ｄ５０６によってデジタル音声信号に変換され、「外部音声」となる。そして、送信部１０５は、「外部音声」の信号を電波を搬送波としてビデオカメラ１００の受信部１０６に送信する。そして、受信部１０６は、送信部１０５から送信された電波から「外部音声」の信号を復号する。

「内蔵マルチチャンネル音声」は、ＡＬＣ５０９内で適正なレベルに調整される。具体的には、振幅調整部５１０によって、各チャンネルの振幅が調整されて出力されることになる。このとき、振幅調整部５１０によって出力された各チャンネルの音声信号の音声レベルを振幅検出部５１１で検出する。このとき、振幅検出部５１１は、制御信号５１８の指示によって指示された、「内蔵マルチチャンネル音声」の置換するチャンネルであるフロントセンターチャンネルの音声レベルを制御値決定部５１６に送信する。そして、振幅検出部５１１で検出された各チャンネルの音声レベルに応じて、制御値決定部５１２は、振幅調整部５１０で振幅の調整をするための制御値を決定して振幅調整部５１０に送信する。振幅調整部５１０は、制御値決定部５１２からの制御値に応じて、各チャンネルの振幅調整を行う。そして、振幅調整部５１０で振幅を調整された各チャンネルの音声信号は、スイッチ部５１７に送信される。

また、受信部１０６によって受信された「外部音声」は、振幅調整部５１４によって、振幅が調整されて出力されることになる。このとき、振幅調整部５１４によって出力された「外部音声」の音声レベルを振幅検出部５１５で検出する。そして、制御値決定部５１６は、振幅検出部５１５で検出した「外部音声」の音声レベルと、振幅検出部５１１で検出した「内蔵マルチチャンネル音声」の置換するチャンネルであるフロントセンターチャンネルの音声レベルとを比較する。そして、「外部音声」の音声レベルが、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルよりも小さいときには、振幅調整部５１４に対して、大きい制御値を送信する。また、「外部音声」の音声レベルが、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルよりも大きいときには、振幅調整部５１４に対して、小さい制御値を送信する。このようにすることで、「外部音声」の音声レベルを高くすることができる。ここで、制御値決定部５１６は、フロントセンターチャンネルの音声レベルに「外部音声」の音声レベルが近づくように、「外部音声」の音声レベルを調整するための制御値を決定する。

そして、振幅調整部５１４によって振幅が調整された「外部音声」は、スイッチ部５１７に送信される。

スイッチ部５１７では、制御信号５１８によって、置換するチャンネルがフロントセンターチャンネルであることを判別している。そして、ＡＬＣ５０９から入力された「内蔵マルチチャンネル音声」音声のうち置換されるチャンネルであるフロントセンターチャンネルの音声の代りに、ＡＬＣ５１３から入力された「外部音声」を出力する。これにより、「内蔵マルチチャンネル音声」のフロントセンターチャンネルを「外部音声」に置換した５．１チャンネル音声が生成される。この音声信号は、エンコーダ５１９に入力され、所定の音声記録方式に必要な処理を施されて、画像／音声データバス２０４に送信される。

その後、映像処理部２０６から得られた映像データとともに、ＨＤＤ２０９に記録される。

以上のようにして、「内蔵マルチチャンネル音声」のフロントセンターチャンネルを「外部音声」に置換した音声を記録することができるのである。

本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルと「外部音声」の音声レベルを比較して、「外部音声」の音声レベルを制御してからフロントセンターチャンネルと「外部音声」を置換している。この様にすることで、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルと、「外部音声」の音声レベルとを近づけることができるので、「外部音声」の音量が適切でなくなってしまう可能性を低減できる。

また、本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声を「外部音声」の音声に置換する場合について説明したが、他のチャンネルの音声を「外部音声」に置換しても良い。さらに、２以上のチャンネルを「外部音声」に置換しても良い。例えば、フロントセンターチャンネルだけではなく、フロントレフトチャンネルとフロントライトチャンネルに対して「外部音声」を置換しても良い。この場合、「外部音声」の音声レベルが、置換されるチャンネルに指定された２以上のチャンネルの音声レベルの平均値と近づくように制御され、指定された複数のチャンネルに「外部音声」を置換するようにすればよい。

また、本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルは、その他のチャンネルとの音声レベルバランスを調整した音声である。バランスを調整されたフロントセンターチャンネル音声レベルと「外部音声」の音声レベルとが近づくように制御している。従って、「内蔵マルチチャンネル音声」の、その他のチャンネルと比べてもバランスの良い音声レベルで「外部音声」を置換することができる。

本実施例では、５．１チャンネルの音声について例を示したが、例えば６．１チャンネルの音声でも良いし、７．１チャンネルの音声でも同様の方法で適用が可能である。

（他の実施例）
本発明は、実施例では、音声を集音する機能を有する装置として、ビデオカメラについて説明したが、これ以外の装置でもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても、達成されることは言うまでもない。このとき、供給されたシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

本発明を適用したビデオカメラとマイクのイメージ図である。 本発明を適用したビデオカメラのブロック図である。 本実施例の外部音声処理設定を説明するための図である。 本実施例の外部音声処理設定を説明するためのフロー図である。 本実施例の音声処理部の詳細を説明するための図である。

符号の説明

１００ ビデオカメラ
１０１ 撮影レンズ
１０２ マイクユニット
１０３ 表示部
１０４ 外部マイク
１０５ 送信部
１０６ 受信部
２０１ 制御部
２０２ 操作部
２０３ 制御信号バス
２０４ 画像／音声データバス
２０５ 撮像部
２０６ 映像処理部
２０７ 音声処理部
２０８ 表示制御部
２０９ ＨＤＤ
２１０ アクセス部
２１１ 映像再生処理部
２１２ 映像出力端子
２１３ 音声再生処理部
２１４ 音声出力端子
２１５ ＵＳＢ端子
２１６ ＵＳＢコントローラ

Claims (16)

1. 周囲の音声を集音する複数の集音手段と、
   前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、
   外部機器から送信された外部音声信号を受信する受信手段と、
   前記生成手段により生成された複数チャンネルの音声信号のうち、指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、
   前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする信号処理装置。
2. 前記制御手段は、前記外部音声信号の音声レベルが予め設定されたレベルよりも小さい場合には、前記外部音声信号の音声レベルを変更しないように制御することを特徴とする請求項１記載の信号処理装置。
3. 前記制御手段は、前記指定されたチャンネルの音声信号の音声レベルが、前記指定されていないチャンネルの音声信号のレベルよりも所定量以上大きい場合には、前記外部音声信号の音声レベルが前記指定されていないチャンネルの音声信号の音声レベルの平均値に近づくように制御することを特徴とする請求項１または２記載の信号処理装置。
4. 前記生成手段により生成された複数チャンネルの音声信号の音声レベルを調整するレベル調整手段を有することを特徴とする請求項１から３のいずれか１項記載の信号処理装置。
5. 前記置換手段は、前記レベル調整手段により音声レベルの調整された複数チャンネルの音声信号の指定されたチャンネルの音声信号と前記外部音声信号とを置換することを特徴とする請求項４記載の信号処理装置。
6. 前記複数チャンネルの音声信号のうち、前記置換手段により置換されるチャンネルを指定する指定手段を有することを特徴とする請求項１から５のいずれか１項記載の信号処理装置。
7. 前記複数チャンネルの音声信号の音声レベルを検出する第１の検出手段を有することを特徴とする請求項１から６のいずれか１項記載の信号処理装置。
8. 前記外部音声信号の音声レベルを検出する第２の検出手段を有することを特徴とする請求項１から７のいずれか１項記載の信号処理装置。
9. 撮像手段を備えた撮像装置であって、
   前記撮像装置に内蔵された複数の集音手段と、
   前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、
   外部機器から送信された外部音声信号を受信する受信手段と、
   前記生成手段により生成された複数チャンネルの音声信号のうち、指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする撮像装置。
10. 前記生成手段により生成された複数チャンネルの音声信号の音声レベルを調整するレベル調整手段を有することを特徴とする請求項９記載の撮像装置。
11. 前記置換手段は、前記レベル調整手段により音声レベルの調整された複数チャンネルの音声信号の指定されたチャンネルの音声信号と前記外部音声信号とを置換することを特徴とする請求項１０記載の信号処理装置。
12. 前記複数チャンネルの音声信号のうち、前記置換手段により置換されるチャンネルを指定する指定手段を有することを特徴とする請求項９から１１のいずれか１項記載の信号処理装置。
13. 前記複数チャンネルの音声信号の音声レベルを検出する第１の検出手段を有することを特徴とする請求項９から１２のいずれか１項記載の撮像装置。
14. 前記外部音声信号の音声レベルを検出する第２の検出手段を有することを特徴とする請求項９から１３のいずれか１項記載の撮像装置。
15. 前記制御手段は、前記外部音声信号の音声レベルが予め設定されたレベルよりも小さい場合には、前記外部音声信号の音声レベルを変更しないように制御することを特徴とする請求項９から１４のいずれか１項記載の撮像装置。
16. 前記制御手段は、前記指定されたチャンネルの音声信号の音声レベルが、前記指定されていないチャンネルの音声信号のレベルよりも所定量以上大きい場合には、前記外部音声信号の音声レベルが前記指定されていないチャンネルの音声信号の音声レベルの平均値に近づくように制御することを特徴とする請求項９から１５のいずれか１項記載の撮像装置。

Images