JP5072730B2

JP5072730B2 - Signal processing device, imaging device

Info

Publication number: JP5072730B2
Application number: JP2008159664A
Authority: JP
Inventors: 博幸森
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-18
Filing date: 2008-06-18
Publication date: 2012-11-14
Anticipated expiration: 2028-06-18
Also published as: JP2010004171A

Description

本発明は、信号処理装置に関し、特に音声信号を処理する装置に関する。 The present invention relates to a signal processing apparatus, and more particularly to an apparatus for processing an audio signal.

従来、音声信号を処理する装置としてビデオカメラ等が知られている。ビデオカメラでは、被写体の音声を内蔵されたマイクロフォン（以降、内蔵マイク）や外部のマイクロフォン（以降、外部マイク）によって集音し、映像と共に記録する。 Conventionally, a video camera or the like is known as a device for processing an audio signal. In a video camera, sound of a subject is collected by a built-in microphone (hereinafter referred to as an internal microphone) or an external microphone (hereinafter referred to as an external microphone) and recorded together with an image.

これらビデオカメラのなかには、複数の内蔵マイクにより得られた音声から５．１チャンネルの音声を生成し、外部マイクにより得られた音声信号を５．１チャンネルの音声の１以上のチャンネルに合成するものがある（例えば、特許文献１）。
特開２００６−３１４０７８号公報 Some of these video cameras generate 5.1 channel audio from audio obtained from a plurality of built-in microphones, and synthesize an audio signal obtained from an external microphone into one or more channels of 5.1 channel audio. (For example, Patent Document 1).
JP 2006-314078 A

この様なビデオカメラでは、外部マイクの方向や距離を判定して、合成するチャンネル、音量等を制御することが行われていた。しかし、外部マイクにより得られた音声のレベルと、複数の内蔵マイクにより得られた音声のレベルとのバランスを考慮して、合成する外部マイクにより得られた音声のレベルを調整するようなことは行っていない。そのため、外部マイクにより得られた音声の音量と、他の複数チャンネルの音声とのバランスが適切でなくなってしまう問題があった。 In such a video camera, the direction and distance of the external microphone are determined, and the channel to be combined, the volume, and the like are controlled. However, in consideration of the balance between the audio level obtained by the external microphone and the audio levels obtained by the multiple built-in microphones, adjusting the audio level obtained by the external microphone to be combined is not possible. not going. For this reason, there is a problem that the balance between the sound volume obtained by the external microphone and the sound of other plural channels is not appropriate.

本発明は、複数の内蔵マイクにより得られた音声信号から生成したマルチチャンネルの音声信号の１以上のチャンネルを、外部マイクにより得られた音声信号に置換する場合の問題を解決するものである。本発明はこの様な場合に、例えば、マルチチャンネル置換するチャンネルに比べて、外部マイクにより得られた音声の音量が適切でなくなってしまう可能性を低減できる信号処理装置を提供することを目的とする。 The present invention solves the problem in the case where one or more channels of a multi-channel audio signal generated from audio signals obtained by a plurality of built-in microphones are replaced with an audio signal obtained by an external microphone. In such a case, the present invention has an object to provide a signal processing device that can reduce the possibility that the volume of sound obtained by an external microphone is not appropriate compared to a channel for multi-channel replacement, for example. To do.

この様な課題を解決するために、本発明の信号処理装置は、周囲の音声を集音する複数の集音手段と、前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、外部機器から送信された外部音声信号を受信する受信手段と、前記生成手段により生成された複数チャンネルの音声信号のうち、指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする。 In order to solve such a problem, a signal processing apparatus according to the present invention includes a plurality of sound collecting means for collecting surrounding sounds, and a plurality of channels from a plurality of sound signals obtained by the plurality of sound collecting means. It said generating means for generating an audio signal, a receiving means for receiving an external audio signal transmitted from the external device, out of the plurality of channels of audio signals generated by the generation means, and specified by channel audio signal It characterized in that it has a substitution means for replacing the external audio signal, and control means for controlling the sound level of the external audio signal to approximate the sound level of the specified channel of the audio signal.

また、本発明の撮像装置は、撮像手段を備えた撮像装置であって、前記撮像装置に内蔵された複数の集音手段と、前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、外部機器から送信された外部音声信号を受信する受信手段と、前記生成手段により生成された複数チャンネルの音声信号のうち、指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする。 The image pickup apparatus of the present invention is an image pickup apparatus provided with an image pickup means, and a plurality of sound collecting means built in the image pickup apparatus and a plurality of sound signals obtained from the plurality of sound collection means. generating means for generating a channel audio signals, and a receiving means for receiving an external audio signal transmitted from the external device, out of the plurality of channels of audio signals generated by the generation means, specified by the channel audio signals And a replacement means for replacing the external audio signal, and a control means for controlling the audio level of the external audio signal so as to approach the audio level of the audio signal of the designated channel.

本発明によれば、複数の内蔵マイクにより得られた音声信号により得られた複数チャンネルの１以上のチャンネルの音声信号を、外部マイクにより得られた音声信号に置換する場合。例えば、置換されるチャンネルの音声に比べて、外部マイクにより得られた音声の音量が適切でなくなってしまう可能性を低減できる。 According to the present invention, the case where the audio signals of one or more channels obtained from the audio signals obtained from the plurality of built-in microphones are replaced with the audio signals obtained from the external microphone. For example, it is possible to reduce the possibility that the sound volume obtained by the external microphone is not appropriate compared to the sound of the channel to be replaced.

以下、図面を参照して本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

複数の内蔵マイクにより得られた音声信号から複数チャンネルの音声信号を生成し、外部マイクにより得られた音声信号を、生成された複数チャンネルの音声信号の１以上のチャンネルと置換することができるビデオカメラについて説明する。 Video that can generate audio signals of a plurality of channels from audio signals obtained by a plurality of built-in microphones, and can replace the audio signals obtained by the external microphone with one or more channels of the generated audio signals of the plurality of channels. The camera will be described.

図１は、本実施例のビデオカメラシステムの斜視図である。本実施例のシステムは、ビデオカメラ１００と外部マイク１０４とからなる。 FIG. 1 is a perspective view of the video camera system of the present embodiment. The system of this embodiment includes a video camera 100 and an external microphone 104.

図１において、１００は本実施例のビデオカメラである。１０１は、被写体の光学像を取り込む撮影レンズである。１０２は、周囲の音声を集音する複数の内蔵マイクが収納されたマイクユニットである。１０３は、撮影中は撮影レンズ１０１によって取り込まれた被写体の光学像を後述の映像処理部２０６で処理した映像を表示し、再生中は、後述の映像再生処理部２１１で処理した映像を表示しする他、メニュー画面等を表示する表示部である。１０４は、音声を集音し、得られた音声信号を、電波を搬送波として音声信号を外部に送信する機能を有する外部マイクである。１０５は、外部マイクに備えられた音声信号を電波として送信する送信部である。１０６は、送信部１０５により送信された音声信号の電波を受信して音声信号を復元するする受信部である。 In FIG. 1, reference numeral 100 denotes a video camera of this embodiment. Reference numeral 101 denotes a photographing lens that captures an optical image of a subject. Reference numeral 102 denotes a microphone unit that houses a plurality of built-in microphones that collect ambient sounds. 103 displays an image obtained by processing an optical image of a subject captured by the photographing lens 101 by a video processing unit 206 (described later) during shooting, and displays a video processed by a video playback processing unit 211 (described later) during playback. In addition, the display unit displays a menu screen and the like. Reference numeral 104 denotes an external microphone having a function of collecting sound and transmitting the obtained sound signal to the outside using a radio wave as a carrier wave. A transmission unit 105 transmits an audio signal provided in the external microphone as a radio wave. A receiving unit 106 receives the radio wave of the audio signal transmitted by the transmitting unit 105 and restores the audio signal.

図２は、図１のビデオカメラのブロック図である。 FIG. 2 is a block diagram of the video camera of FIG.

図２、２０１はビデオカメラの各種機能に応じて、各ブロックを制御する制御部である。２０２は、外部からの指示をビデオカメラに入力するための操作部である。２０３は、制御部２０１からの制御信号や、操作部２０２からの指示信号等が行き来する制御信号バスである。２０４は、各ブロック間の画像データおよび音声データが行き来する画像／音声データバスである。 2 and 201 are control units that control each block according to various functions of the video camera. Reference numeral 202 denotes an operation unit for inputting an external instruction to the video camera. Reference numeral 203 denotes a control signal bus through which a control signal from the control unit 201, an instruction signal from the operation unit 202, and the like come and go. Reference numeral 204 denotes an image / audio data bus through which image data and audio data are transferred between the blocks.

２０５は、撮影レンズ１０１からの、光量を制御する絞り、光学像を電気信号に変換する撮像素子等からなる撮像部である。２０６は、撮像部２０５から得た映像信号を適正な信号レベルにし、デジタルデータに変換し、１フレーム分ずつ記録する等の映像記録方式に必要な処理を行う映像処理部である。 An imaging unit 205 includes an aperture for controlling the amount of light from the photographing lens 101, an imaging element that converts an optical image into an electrical signal, and the like. Reference numeral 206 denotes a video processing unit that performs processing necessary for a video recording method, such as converting the video signal obtained from the imaging unit 205 to an appropriate signal level, converting the digital signal into digital data, and recording one frame at a time.

２０７は、マイクユニット１０２により、得られた複数の音声信号を音声信号をデジタルデータに変換するする処理を行う音声処理部である。音声処理部では、マイクユニット１０２の複数の内蔵マイクから得られた音声信号を例えば、５．１チャンネルの音声信号に変換する等の処理を行う。また、得られた５．１チャンネルの音声信号適正なレベルに調整する処理を行う。また、受信部１０６により受信した外部マイク１０４により集音された音声信号を、複数の内蔵マイクの音声から生成した複数チャンネルのうちの１以上のチャンネルの音声信号と置換する処理を行う。音声処理部２０７については後述する。 Reference numeral 207 denotes an audio processing unit that performs processing for converting the audio signals obtained into the digital data by the microphone unit 102. The audio processing unit performs processing such as converting audio signals obtained from a plurality of built-in microphones of the microphone unit 102 into, for example, 5.1 channel audio signals. In addition, the obtained 5.1 channel audio signal is adjusted to an appropriate level. In addition, a process of replacing the audio signal collected by the external microphone 104 received by the receiving unit 106 with the audio signal of one or more channels among a plurality of channels generated from the sounds of the plurality of built-in microphones is performed. The audio processing unit 207 will be described later.

２０８は、表示部１０３の表示を制御するための表示制御部である。表示制御部２０８は、制御部２０１からの指示に応じて、各種モードに応じた表示を表示部１０３にさせる。 Reference numeral 208 denotes a display control unit for controlling display on the display unit 103. The display control unit 208 causes the display unit 103 to display according to various modes in response to an instruction from the control unit 201.

２０９は、映像処理部２０６から得られた映像データ、音声処理部２０７から得られた音声データ、その他のデータを必要に応じて関連づけて記録するための記録媒体としてのハードディスク（以後、ＨＤＤ）である。２１０は、ＨＤＤ２０９にアクセスし、上記の映像データ、音声データ、その他のデータ等を読み書きするためのアクセス部である。本実施例では、記録媒体として磁気式のＨＤＤを例として説明しているが、これはＤＶＤやブルーレイディスク等の光学式記録媒体でも良いし、メモリーカードのような半導体メモリでもよい。 Reference numeral 209 denotes a hard disk (hereinafter referred to as an HDD) as a recording medium for recording video data obtained from the video processing unit 206, audio data obtained from the audio processing unit 207, and other data in association with each other as necessary. is there. An access unit 210 accesses the HDD 209 to read / write the video data, audio data, and other data. In this embodiment, a magnetic HDD is described as an example of the recording medium, but this may be an optical recording medium such as a DVD or a Blu-ray disc, or a semiconductor memory such as a memory card.

２１１は、アクセス部２１０によって読み出されたＨＤＤ２０９の映像データを映像記録方式に従って処理し、所定の形態に変換する映像再生処理部である。２１２は、映像再生処理部２１１で再生された映像信号を外部に出力するための映像出力端子である。 A video reproduction processing unit 211 processes the video data of the HDD 209 read by the access unit 210 according to a video recording method, and converts the processed data into a predetermined format. Reference numeral 212 denotes a video output terminal for outputting the video signal reproduced by the video reproduction processing unit 211 to the outside.

２１３は、アクセス部２１０によって読み出されたＨＤＤ２０９の音声データを映像記録方式に従って再生する音声再生処理部である。２１４は、音声再生処理部２１３で再生された音声信号を外部に出力するための音声出力端子である。 Reference numeral 213 denotes an audio reproduction processing unit that reproduces audio data of the HDD 209 read by the access unit 210 in accordance with a video recording method. Reference numeral 214 denotes an audio output terminal for outputting the audio signal reproduced by the audio reproduction processing unit 213 to the outside.

２１５は、ＰＣ等の外部機器と通信を行ったり、ＨＤＤ２０９に記録された映像データ、音声データ等を外部機器とやり取したりするためのＵＳＢ端子である。２１６は、ＵＳＢ端子２１５と接続された外部機器とのデータのやり取りを制御するＵＳＢコントローラである。本実施例では、ＵＳＢ端子としたが、これはＩＥＥＥ１３９４端子でも良く、外部機器とデータのやり取りが可能な端子であればよい。 A USB terminal 215 communicates with an external device such as a PC, and exchanges video data, audio data, and the like recorded on the HDD 209 with the external device. A USB controller 216 controls data exchange with an external device connected to the USB terminal 215. In this embodiment, the USB terminal is used, but this may be an IEEE 1394 terminal as long as it can exchange data with an external device.

本実施例では、外部マイク１０４によって集音された音声を「外部音声」と呼ぶこととする。また、複数の内蔵マイクにより得られた音声信号から生成された複数チャンネルの音声を「内蔵マルチチャンネル音声」と呼ぶこととする。この「内蔵マルチチャンネル音声」は、本実施例では、４つの略無指向性の内蔵マイクから生成した、５．１チャンネルの音声である。 In the present embodiment, the sound collected by the external microphone 104 is referred to as “external sound”. Also, a plurality of channels of sound generated from sound signals obtained by a plurality of built-in microphones will be referred to as “built-in multi-channel sound”. This “built-in multi-channel sound” is 5.1-channel sound generated from four substantially non-directional built-in microphones in this embodiment.

本実施例のビデオカメラ１００は、「外部音声」を「内蔵マルチチャンネル音声」のうちの１チャンネル以上のチャンネルと置換することができる。本実施例のビデオカメラは、ユーザが操作部２０２を操作することによって「外部音声」を記録するか否かの設定や、「外部音声」を「内蔵マルチチャンネル音声」に合成するか否かの設定を行うことができる。この設定に関して、図３及び図４を用いて説明する。 The video camera 100 of this embodiment can replace “external audio” with one or more channels of “built-in multi-channel audio”. The video camera of the present embodiment sets whether or not to record “external audio” by operating the operation unit 202 by the user, and whether or not to synthesize “external audio” with “built-in multi-channel audio”. Settings can be made. This setting will be described with reference to FIGS.

図３（ａ）から図３（ｄ）は、「外部音声」の扱いを設定する際の表示部１０３の表示画面を示している。 FIGS. 3A to 3D show display screens of the display unit 103 when setting the handling of “external audio”.

まず、ユーザが、ビデオカメラ１００の操作部２０２を操作することにより、表示制御部２０８は表示部１０３に図３（ａ）のような、外部マイク１０４の使用に関する設定画面を表示する。図３（ａ）では、外部マイク１０４を使用するか否かを選択することができる（Ｓ４０１）。ここで、３０１は、カーソルを示しており、ユーザの操作部２０２の操作を反映して移動することができる。 First, when the user operates the operation unit 202 of the video camera 100, the display control unit 208 displays a setting screen related to the use of the external microphone 104 as shown in FIG. In FIG. 3A, whether or not to use the external microphone 104 can be selected (S401). Here, 301 indicates a cursor, which can be moved reflecting the operation of the operation unit 202 of the user.

図３（ａ）で、「いいえ」を選択すると（Ｓ４０１でＮｏ）、制御部２０１は、「内蔵マルチチャンネル音声」を記録するモードで撮影をするようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０２）。 In FIG. 3A, when “No” is selected (No in S401), the control unit 201 controls the audio processing unit 207 of the video camera 100 to perform shooting in a mode for recording “built-in multi-channel audio”. (S402).

図３（ａ）で、「はい」を選択すると（Ｓ４０１でＹｅｓ）、表示制御部２０８は、表示部１０３に図３（ｂ）のような画面を表示させる。図３（ｂ）では、「外部音声」を「内蔵マルチチャンネル音声」の１チャンネル以上のチャンネルと置換するか否かを選択することができる（Ｓ４０３）。 When “Yes” is selected in FIG. 3A (Yes in S401), the display control unit 208 causes the display unit 103 to display a screen as shown in FIG. In FIG. 3B, it is possible to select whether or not to replace “external audio” with one or more channels of “built-in multi-channel audio” (S403).

図３（ｂ）で、「いいえ」を選択すると（Ｓ４０３でＮｏ）、制御部２０１は、「外部音声」のみを記録するモードで撮影をするようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０４）。 When “No” is selected in FIG. 3B (No in S403), the control unit 201 controls the audio processing unit 207 of the video camera 100 so as to perform shooting in a mode in which only “external audio” is recorded. (S404).

図３（ｂ）で、「はい」を選択すると（Ｓ４０３でＹｅｓ）、表示制御部２０８は、表示部１０３に図３（ｃ）のような画面を表示させる。図３（ｃ）では、「外部音声」を「内蔵マルチチャンネル音声」のフロントチャンネルと、置換するか否かを選択することができる（Ｓ４０５）。 When “Yes” is selected in FIG. 3B (Yes in S403), the display control unit 208 causes the display unit 103 to display a screen as shown in FIG. In FIG. 3C, it is possible to select whether or not to replace “external audio” with the front channel of “built-in multi-channel audio” (S405).

図３（ｃ）で、「はい」を選択すると（Ｓ４０５でＹｅｓ）、制御部２０１は、「外部音声」「内蔵マルチチャンネル音声」のフロントチャンネルと置換して記録するモードで撮影するようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０６）。 In FIG. 3C, when “Yes” is selected (Yes in S405), the control unit 201 replaces the front channel of “external audio” and “built-in multi-channel audio” with a video so as to be recorded. The audio processing unit 207 of the camera 100 is controlled (S406).

図３（ｃ）で「はい」を選択すると（Ｓ４０５でＮｏ）、表示制御部２０８は、表示部１０３に図３（ｄ）のような画面を表示させる。図３（ｄ）では、「外部音声」を「内蔵マルチチャンネル音声」のどのチャンネルと置換するかを選択することができる（Ｓ４０７）。図３（ｄ）において、３０２は、置換されるチャンネルがどの方向からの音声であるかを擬似的に示すためのポーラパターンである。図３（ｄ）では、ユーザが操作部２０２を操作したことに応じて、カーソル３０１が移動し、それに連動してポーラパターン３０２の表示が変わるようになっている。 When “Yes” is selected in FIG. 3C (No in S405), the display control unit 208 causes the display unit 103 to display a screen as shown in FIG. In FIG. 3D, it is possible to select which channel of the “built-in multi-channel audio” is to be replaced with “external audio” (S407). In FIG. 3D, reference numeral 302 denotes a polar pattern for simulating which direction the voice of the channel to be replaced is from. In FIG. 3D, the cursor 301 is moved according to the operation of the operation unit 202 by the user, and the display of the polar pattern 302 is changed in conjunction therewith.

図３（ｄ）で、「ＦＣ」を選択すると（Ｓ４０７でＦＣ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のフロントチャンネルと置換して記録するモードで撮影するようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４０６）。図３（ｄ）で、「ＦＬ」を選択すると（Ｓ４０７でＦＬ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のフロントレフトチャンネルと置換して記録するモードで撮影するように音声処理部２０７を制御する（Ｓ４０８）。図３（ｄ）で、「ＦＲ」を選択すると（Ｓ４０７でＦＲ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のフロントライトチャンネルと置換して記録するモードで撮影するように音声処理部２０７を制御する（Ｓ４０９）。図３（ｄ）で、「ＳＬ」を選択すると（Ｓ４０７でＳＬ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のサラウンドレフトチャンネルと置換して記録するモードで撮影するようにビデオカメラ１００の音声処理部２０７を制御する（Ｓ４１０）。図３（ｄ）で、「ＳＲ」を選択すると（Ｓ４０７でＳＲ）制御部２０１は、「外部音声」を「内蔵マルチチャンネル音声」のサラウンドライトチャンネルと置換して記録するモードで撮影するように音声処理部２０７を制御する（Ｓ４１１）。 In FIG. 3D, when “FC” is selected (FC in S407), the control unit 201 replaces “external audio” with the front channel of “built-in multi-channel audio” and records the video so as to be recorded. The audio processing unit 207 of the camera 100 is controlled (S406). When “FL” is selected in FIG. 3D (FL in S407), the control unit 201 performs shooting in a mode in which “external audio” is replaced with the front left channel of “built-in multi-channel audio” and recorded. The voice processing unit 207 is controlled (S408). When “FR” is selected in FIG. 3D (FR in S407), the control unit 201 performs shooting in a mode in which “external audio” is replaced with the front right channel of “built-in multi-channel audio” and recorded. The voice processing unit 207 is controlled (S409). In FIG. 3D, when “SL” is selected (SL in S407), the control unit 201 performs shooting in a mode in which “external audio” is replaced with a surround left channel of “built-in multi-channel audio” and recorded. The audio processing unit 207 of the video camera 100 is controlled (S410). In FIG. 3D, when “SR” is selected (SR in S407), the control unit 201 performs shooting in a recording mode in which “external audio” is replaced with a surround light channel of “built-in multi-channel audio”. The voice processing unit 207 is controlled (S411).

図３（ｄ）では、「内蔵マルチチャンネル音声」のフロントライトチャンネルに「外部音声」を置換するモードを選択した例を示している。 FIG. 3D shows an example in which a mode for replacing “external audio” with the front right channel of “built-in multi-channel audio” is selected.

以上のようにして、「外部音声」記録しないか、「外部音声」のみを記録するか、「外部音声」を「内蔵マルチチャンネル音声」のどのチャンネルと置換するかを選択することができる。 As described above, it is possible to select whether “external audio” is recorded, only “external audio” is recorded, or “external audio” is replaced with which channel of “built-in multi-channel audio”.

次に、本実施例のビデオカメラの基本的な撮影動作について説明する。 Next, the basic shooting operation of the video camera of this embodiment will be described.

操作部２０２の電源スイッチが操作されたことに応じて、ビデオカメラは撮影待機状態になる。このとき、ユーザが、図３、図４を用いて説明した設定を行うことにより、「外部音声」に関する設定をすることができる。 In response to the operation of the power switch of the operation unit 202, the video camera enters a shooting standby state. At this time, the user can make the setting related to “external audio” by performing the setting described with reference to FIGS. 3 and 4.

この状態で、ユーザが操作部２０２の撮影ボタンを操作することにより、ビデオカメラに動画撮影開始の指示がなされる。この動画撮影開始の指示に応じて、制御部２０１は、撮像部２０５、映像処理部２０６等に撮影開始の指示信号を送信する。 In this state, when the user operates the shooting button on the operation unit 202, the video camera is instructed to start moving image shooting. In response to the moving image shooting start instruction, the control unit 201 transmits a shooting start instruction signal to the imaging unit 205, the video processing unit 206, and the like.

撮影が開始すると、撮像部２０５は撮影レンズ１０１により取り込まれた被写体の光学像の光量を、絞りにより制御し、撮像素子により電気信号に変換する。そして、変換された電気信号は、映像処理部２０６で、適正なレベルに調整され、デジタルデータに変換る。そしてデジタルデータに変換された映像信号は、映像処理部１０６の画素数調整回路等によって適切な画素数に調整され、所定の映像記録方式で圧縮符号化され、映像データとなる。 When shooting starts, the image pickup unit 205 controls the light amount of the optical image of the subject captured by the shooting lens 101 with a diaphragm and converts it into an electrical signal with the image pickup device. The converted electrical signal is adjusted to an appropriate level by the video processing unit 206 and converted into digital data. The video signal converted into digital data is adjusted to an appropriate number of pixels by a pixel number adjustment circuit of the video processing unit 106, and is compressed and encoded by a predetermined video recording method to become video data.

また、音声処理部２０７は、マイクユニット１０２の４つの内蔵マイクにより集音された音声信号を、デジタルデータに変換し、「内蔵マルチチャンネル音声」を生成し、各チャンネルの音声レベルを適正な値に調整する。このほか、音声記録方式に必要な処理が施さ音声データを形成する。この他、「外部音声」を「内蔵マルチチャンネル音声」の１以上のチャンネルと置換する場合は、置換処理も行う。 The audio processing unit 207 also converts audio signals collected by the four built-in microphones of the microphone unit 102 into digital data, generates “built-in multi-channel sound”, and sets the sound level of each channel to an appropriate value. Adjust to. In addition, processing necessary for the audio recording method is performed to form audio data. In addition, when replacing “external audio” with one or more channels of “built-in multi-channel audio”, a replacement process is also performed.

そして、制御部２０１は、上述の映像データと上述の音声データとを合成しデータストリームを形成し、アクセス部２１０に出力する。アクセス部２１０は、制御部２０１の指示に基づき、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、映像データと音声データのデータストリームを一つの動画ファイルとしてＨＤＤ２０９に書込みはじめる。ファイルシステムとは、ファイルの管理を行うための管理情報とファイルデータからなる構造体系を意味する。このファイルシステムを共通化することによって、異なった記憶媒体あるいは記録再生機器でも記録再生できる。 Then, the control unit 201 synthesizes the video data and the audio data to form a data stream, and outputs the data stream to the access unit 210. Based on an instruction from the control unit 201, the access unit 210 starts to write a data stream of video data and audio data into the HDD 209 as one moving image file under management of a file system such as UDF or FAT. The file system means a structure system composed of management information and file data for managing files. By sharing this file system, recording and reproduction can be performed on different storage media or recording / reproduction devices.

データストリームは、必要に応じて表示制御部２０８を通して、表示部１０３に表示されることもある。 The data stream may be displayed on the display unit 103 through the display control unit 208 as necessary.

そして、ユーザが操作部２０２の撮影ボタンを再度操作することにより、ビデオカメラに動画撮影終了の指示がなされたことに応じて、制御部２０１は、撮像部２０５、映像処理部２０６等に撮影終了の指示信号を送信する。 Then, when the user operates the shooting button of the operation unit 202 again, the control unit 201 completes shooting to the imaging unit 205, the video processing unit 206, and the like in response to the video camera being instructed to end moving image shooting. The instruction signal is transmitted.

動画撮影終了の指示信号を受信したことに応じて、撮像部２０５、映像処理部２０６は、撮影動作を終了する。アクセス部２１０は、制御部２０１の指示のもと、撮影開始から撮影終了までに記録された一連の映像データと音声データとを一つのファイルとしＨＤＤ２０９に書込み、記録動作を終了する。制御部２０１は、ビデオカメラを撮影待機状態に遷移させる。 In response to receiving the instruction signal for ending moving image shooting, the imaging unit 205 and the video processing unit 206 end the shooting operation. Under the instruction of the control unit 201, the access unit 210 writes a series of video data and audio data recorded from the start of shooting to the end of shooting as one file in the HDD 209, and ends the recording operation. The control unit 201 causes the video camera to transition to the shooting standby state.

次に、本実施例のビデオカメラの通常の再生動作について説明する。 Next, normal playback operation of the video camera of this embodiment will be described.

制御部２０１は、操作部２０２の選択スイッチによって再生モードが指定されたことに応じて、ＨＤＤ２０９から映像データや静止画データを読み出すよう、アクセス部２１０を制御する。そして、読み出された映像データや静止画データのサムネイルを並べたサムネイル画面や、映像データや静止画データのファイル名を表示部１０３に表示するよう、表示制御部２０８を制御する。また、最後に撮影した映像データや静止画データ等を表示部１０３に表示するよう、表示制御部２０８を制御してもよい。 The control unit 201 controls the access unit 210 to read video data and still image data from the HDD 209 in response to the reproduction mode being designated by the selection switch of the operation unit 202. Then, the display control unit 208 is controlled so that the thumbnail screen on which the thumbnails of the read video data and still image data are arranged and the file names of the video data and still image data are displayed on the display unit 103. In addition, the display control unit 208 may be controlled so that the last captured video data, still image data, or the like is displayed on the display unit 103.

そして、サムネイル画面が表示された状態で、ユーザが操作部２０２を操作して、映像データや静止画データを再生する指示をすると、制御部２０１は、各画像データを再生するよう各ブロックを制御する。 When the user operates the operation unit 202 with the thumbnail screen displayed and gives an instruction to reproduce video data or still image data, the control unit 201 controls each block to reproduce each image data. To do.

映像データを再生する際は、制御部２０１は、操作部２０２からの指示に応じて、ＨＤＤ２０９から読み出した動画ファイルを音声データと映像データとを分離する。そして映像データは、映像再生処理部２１１で、復号されている情報量が伸張され、表示制御部２０８によって表示部１０３で映像として表示される。このとき、映像端子２１２からも映像信号を出力するように構成されているので、映像端子２１２を通して接続された映像表示可能な装置が映像を表示することができる。音声データは、音声再生処理部２１３に送信され、復号された情報量が伸張されて、５．１チャンネルのサラウンド音声データまたサラウンド音声信号に変換され、音声端子２１４から出力される。これにより、音声端子２１４に接続された音声出力可能な装置から、音声が出力されることになる。 When reproducing the video data, the control unit 201 separates the audio data and the video data from the moving image file read from the HDD 209 in accordance with an instruction from the operation unit 202. The video data is decompressed by the video reproduction processing unit 211 and displayed as video on the display unit 103 by the display control unit 208. At this time, since the video signal is also output from the video terminal 212, a video display device connected through the video terminal 212 can display the video. The audio data is transmitted to the audio reproduction processing unit 213, the decoded information amount is expanded, converted to 5.1 channel surround audio data or surround audio signal, and output from the audio terminal 214. As a result, audio is output from the audio output device connected to the audio terminal 214.

ここで、本実施例の「内蔵マルチチャンネル音声」を生成し、「内蔵マルチチャンネル音声」の１以上のチャンネルの音声と、「外部音声」を置換する音声処理部２０７について図５を用いて詳細に説明する。 Here, the audio processing unit 207 that generates the “built-in multi-channel sound” of the present embodiment and replaces the sound of one or more channels of the “built-in multi-channel sound” with the “external sound” will be described in detail with reference to FIG. Explained.

図５は、マイクユニット１０２、音声処理部２０７、受信部１０６、及び外部マイクによる音声処理の為の要部の構成を示す図である。 FIG. 5 is a diagram illustrating a configuration of a main part for sound processing by the microphone unit 102, the sound processing unit 207, the receiving unit 106, and an external microphone.

図５において、５０１から５０４は、マイクユニット１０２を構成している略無指向性の内蔵マイクであり、主にビデオカメラ１００の周囲の音声を集音する。５０５は、外部マイク１０４に備えられたマイクであり、外部マイク付近の音声を集音する。５０６は、マイク５０５で得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部（以降Ａ／Ｄ）である。 In FIG. 5, reference numerals 501 to 504 denote substantially omnidirectional built-in microphones constituting the microphone unit 102, and mainly collects sound around the video camera 100. Reference numeral 505 denotes a microphone provided in the external microphone 104, which collects sound near the external microphone. Reference numeral 506 denotes an AD converter (hereinafter referred to as A / D) that converts an analog audio signal obtained by the microphone 505 into a digital audio signal.

次に、音声処理部２０７の構成について説明する。５０７は、内蔵マイク５０１から５０４によって得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部（Ａ／Ｄ）である。５０８は、内蔵マイク５０１から５０４によって得られた音声信号を用いて、５．１チャンネルの音声を生成する５．１ｃｈ変換回路である。５．１ｃｈ変換回路５０８では、ＦＬチャンネル、ＦＲチャンネル、ＳＬチャンネル、ＳＲチャンネル、ＳＷチャンネル、ＦＣチャンネルの音声信号が生成される。 Next, the configuration of the audio processing unit 207 will be described. Reference numeral 507 denotes an AD conversion unit (A / D) that converts an analog audio signal obtained by the built-in microphones 501 to 504 into a digital audio signal. Reference numeral 508 denotes a 5.1 channel conversion circuit that generates 5.1 channel audio using audio signals obtained by the built-in microphones 501 to 504. The 5.1ch conversion circuit 508 generates audio signals for the FL channel, the FR channel, the SL channel, the SR channel, the SW channel, and the FC channel.

ＦＣチャンネルとはフロントセンターチャンネルである。ＦＬチャンネルとはフロントレフトチャンネルである。ＦＲチャンネルとはフロントライトチャンネルである。ＳＬチャンネルとはサラウンドレフトチャンネルである。ＳＲチャンネルとはサラウンドライトチャンネルである。ＳＷチャンネルとはサブウーファーチャンネルであり、主に低音部の音声を受け持つチャンネルである。 The FC channel is a front center channel. The FL channel is a front left channel. The FR channel is a front light channel. The SL channel is a surround left channel. The SR channel is a surround light channel. The SW channel is a subwoofer channel and is a channel mainly responsible for the sound of the bass part.

５０９は、５．１ｃｈ変換回路５０８で生成された、ＦＬチャンネル、ＦＲチャンネル、ＳＬチャンネル、ＳＲチャンネル、ＳＷチャンネル、ＦＣチャンネルの音声のレベルをコントロールするオートレベルコントローラー（以降ＡＬＣ）である。ＡＬＣ５０９は、振幅調整部５１０、振幅検出部５１１、制御値決定部５１２によって構成されている。 Reference numeral 509 denotes an auto level controller (hereinafter, ALC) that controls the audio level of the FL channel, the FR channel, the SL channel, the SR channel, the SW channel, and the FC channel generated by the 5.1ch conversion circuit 508. The ALC 509 includes an amplitude adjustment unit 510, an amplitude detection unit 511, and a control value determination unit 512.

５１０は、５．１ｃｈ変換回路５０８で、生成された、各チャンネルの音声の振幅を、後述の制御値決定部５１２からの各チャンネル毎の制御値に従って、調整する振幅調整部である。振幅調整部５１０は、制御値決定部５１２からの制御値が大きいときには、各チャンネルの音声の振幅が大きくなるように音声信号を調整し、制御値が小さいときには、各チャンネルの音声の振幅が小さくなるように音声信号を調整する。５１１は、振幅調整部５１０から出力された各チャンネルの音声レベルを検出する振幅検出部である。振幅検出部５１１では、各チャンネル毎の音声の絶対値をとり、その信号のピークホールドを行った信号のレベルを音声レベルとしている。また、振幅検出部５１１では、振幅検出部５１１により検出された各チャンネルの音声レベルを後述のＡＬＣ５１３の制御値決定部５１６に送信する。 Reference numeral 510 denotes an amplitude adjusting unit that adjusts the amplitude of the sound of each channel generated by the 5.1ch conversion circuit 508 according to the control value for each channel from the control value determining unit 512 described later. When the control value from the control value determining unit 512 is large, the amplitude adjusting unit 510 adjusts the sound signal so that the sound amplitude of each channel is large, and when the control value is small, the sound amplitude of each channel is small. Adjust the audio signal so that Reference numeral 511 denotes an amplitude detection unit that detects the audio level of each channel output from the amplitude adjustment unit 510. In the amplitude detector 511, the absolute value of the sound for each channel is taken, and the level of the signal on which the peak of the signal is held is set as the sound level. In addition, the amplitude detection unit 511 transmits the audio level of each channel detected by the amplitude detection unit 511 to the control value determination unit 516 of the ALC 513 described later.

５１２は、各チャンネル毎に、振幅検出部５１１で検出した音声レベルがある閾値レベルＡよりも小さいか、ある閾値レベルＢより大きいか、レベルＡとレベルＢの間にあるかを判別する（ただし、閾値Ａ＜閾値Ｂとする）。そして、すべてのチャンネルの音声レベルが閾値レベルＡよりも小さいときには、振幅調整部５１０に対して各チャンネルの音声の振幅が大きくなるように大きい値の制御値を送信する。また、すべてのチャンネルの音声レベルが閾値レベルＢよりも大きいときには、振幅調整部５１０に対して各チャンネルの音声の振幅が小さくなるように小さい値の制御値を送信する。ただし、あるチャンネルの音声レベルが閾値レベルＡよりも小さく、あるチャンネルの音声レベルが閾値レベルＢよりも大きい場合には、振幅調整部５１０に対して各チャンネルの音声の振幅が小さくなるように小さい値の制御値を送信する。これにより、各チャンネルの音声レベルが、閾値レベルＡから閾値レベルＢの間におさまるように制御する。 512 determines for each channel whether the audio level detected by the amplitude detector 511 is lower than a certain threshold level A, larger than a certain threshold level B, or between levels A and B (however, , Threshold A <threshold B). When the audio levels of all the channels are smaller than the threshold level A, a large control value is transmitted to the amplitude adjusting unit 510 so that the amplitude of the audio of each channel is increased. When the audio levels of all the channels are higher than the threshold level B, a small control value is transmitted to the amplitude adjusting unit 510 so that the amplitude of the audio of each channel becomes small. However, when the sound level of a certain channel is smaller than the threshold level A and the sound level of a certain channel is larger than the threshold level B, the amplitude of the sound of each channel is small so as to decrease with respect to the amplitude adjustment unit 510. Send control value of value. Thereby, the audio level of each channel is controlled to fall between the threshold level A and the threshold level B.

５１３は、「外部音声」の音声のレベルをコントロールするオートレベルコントローラー（以降ＡＬＣ）である。 Reference numeral 513 denotes an auto level controller (hereinafter ALC) that controls the level of the “external audio” audio.

５１４は、受信部１０６によって受信された「外部音声」の振幅を、後述の制御値決定部５１６から制御値に従って、調整する振幅調整部である。振幅調整部５１４は、制御値決定部５１６からの制御値が大きいときには、音声の振幅が大きくなるように音声信号を調整し、制御値が小さいときには音声の振幅が小さくなるように音声信号を調整する。５１５は、振幅調整部５１３から出力された音声信号の音声レベルを検出する振幅検出部である。振幅検出部５１５は、音声の絶対値をとり、その信号のピークホールドを行った信号のレベルを音声レベルとしている。 Reference numeral 514 denotes an amplitude adjusting unit that adjusts the amplitude of the “external audio” received by the receiving unit 106 in accordance with a control value from a control value determining unit 516 described later. The amplitude adjuster 514 adjusts the sound signal so that the sound amplitude is increased when the control value from the control value determining unit 516 is large, and adjusts the sound signal so that the sound amplitude is decreased when the control value is small. To do. Reference numeral 515 denotes an amplitude detection unit that detects the audio level of the audio signal output from the amplitude adjustment unit 513. The amplitude detection unit 515 takes the absolute value of the sound, and uses the level of the signal that has peak-held the signal as the sound level.

５１６は、振幅検出部５１５により検出された音声レベルと、振幅検出部５１１により検出された各チャンネルのうちユーザの操作により置換するチャンネルに指定されたチャンネルの音声レベルとを比較する。そして、振幅検出部５１５により検出された音声レベルが、振幅検出部５１１により検出された、置換するチャンネルの音声レベルよりも小さいときには、振幅調整部５１４に対して大きい制御値を送信する。また、振幅検出部５１５により検出された音声レベルが、振幅検出部５１１により検出された、指定されたチャンネルの音声レベルよりも大きいときには、振幅調整部５１４に対して小さい制御値を送信する。 516 compares the audio level detected by the amplitude detector 515 with the audio level of the channel designated as the channel to be replaced by the user's operation among the channels detected by the amplitude detector 511. When the audio level detected by the amplitude detection unit 515 is smaller than the audio level of the channel to be replaced detected by the amplitude detection unit 511, a large control value is transmitted to the amplitude adjustment unit 514. When the audio level detected by the amplitude detector 515 is higher than the audio level of the designated channel detected by the amplitude detector 511, a small control value is transmitted to the amplitude adjuster 514.

また、制御値決定部５１６は、振幅検出部５１５により検出された音声レベルが、予め決められた閾値よりも小さい場合には、外部音声の音声レベルを変更しないような制御値を振幅調整部５１４に送信する。この閾値は、ユーザによって設定されても良い。 The control value determination unit 516 also sets a control value that does not change the sound level of the external sound when the sound level detected by the amplitude detection unit 515 is smaller than a predetermined threshold value. Send to. This threshold may be set by the user.

また、制御値決定部５１６は、ユーザの操作により置換するチャンネルに指定されたチャンネルのレベルと、指定されていないチャンネルの音声レベルを比較する。そして、置換するチャンネルのレベルが他のチャンネルの音声レベルよりも所定量以上大きいとき（例えば音声レベルが４ｄＢ以上大きい）には、以下の制御値を振幅調整部５１４に送信する。すなわち「外部音声」の音声レベルを置換するチャンネル以外のチャンネルの音声レベルと同程度になるような制御値を振幅調整部５１４に送信する。 Further, the control value determination unit 516 compares the level of the channel designated as the channel to be replaced by the user operation with the audio level of the channel not designated. When the level of the channel to be replaced is higher than the audio level of the other channels by a predetermined amount or more (for example, the audio level is 4 dB or higher), the following control value is transmitted to the amplitude adjustment unit 514. That is, a control value is transmitted to the amplitude adjustment unit 514 so as to be approximately the same as the sound level of a channel other than the channel for replacing the sound level of “external sound”.

５１７は、「内蔵マルチチャンネル音声」の置換するチャンネルに指定されたチャンネルの音声と、「外部音声」とのどちらかを選択的に通過させるスイッチである。５１８は、「内蔵マルチチャンネル音声」の指定されたチャンネルに指定されたチャンネルを示す制御信号であり、制御部２０１により送信されている。 Reference numeral 517 denotes a switch that selectively passes either the sound of the channel designated as the channel to be replaced by the “built-in multi-channel sound” or the “external sound”. Reference numeral 518 denotes a control signal indicating the channel designated as the designated channel of “Built-in multi-channel audio”, and is transmitted by the control unit 201.

スイッチ部５１７は、制御信号５１８からの指示により、置換するチャンネルに指定されたチャンネルを判別している。また、振幅検出部５１１は、各チャンネルの音声レベルを送信せずに、制御信号５１８からの指示により、指定されたチャンネルの音声レベルのみを送信しても良い。 The switch unit 517 determines the channel designated as the channel to be replaced in accordance with an instruction from the control signal 518. Further, the amplitude detector 511 may transmit only the audio level of the designated channel according to an instruction from the control signal 518 without transmitting the audio level of each channel.

５１９は、「内蔵マルチチャンネル音声」と「外部音声」とを合成した音声信号を所定の音声記録方式に必要な処理を施すエンコーダである。 Reference numeral 519 denotes an encoder that performs processing necessary for a predetermined audio recording method on an audio signal obtained by synthesizing “built-in multi-channel audio” and “external audio”.

次に、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声と「外部音声」を置換する場合を例にとって、具体的な動作について説明する。本実施例では、内蔵マイク５０１から５０４によって得られた音声信号から５．１チャンネルの音声を生成する。そして、外部マイク１０４のマイク５０５によって得られた音声信号を生成した５．１チャンネルの音声のフロントセンターチャンネルの音声に対して合成することになる。 Next, a specific operation will be described by taking as an example a case where the sound of the front center channel of “built-in multi-channel sound” and “external sound” are replaced. In the present embodiment, 5.1 channel sound is generated from the sound signals obtained by the built-in microphones 501 to 504. Then, the sound signal obtained by the microphone 505 of the external microphone 104 is synthesized with the sound of the front center channel of the 5.1 channel sound generated.

ユーザが操作部２０２を操作して、図３の設定画面において、「内蔵マルチチャンネル音声」のフロントセンターチャンネルに対して「外部音声」を置換するように設定した状態で撮影を開始する。 The user operates the operation unit 202 to start shooting in the setting screen of FIG. 3 in a state where “external audio” is set to replace the front center channel of “built-in multi-channel audio”.

ビデオカメラ１００周辺の音声を集音する内蔵マイク５０１から５０４によって得られたアナログ音声信号は、Ａ／Ｄ５０７で、デジタル音声信号に変換される。そして、デジタル音声信号は、５．１ｃｈ変換回路５０８で、５．１チャンネルの音声に変換され「内蔵マルチチャンネル音声」となる。 Analog audio signals obtained by the built-in microphones 501 to 504 that collect audio around the video camera 100 are converted into digital audio signals by the A / D 507. The digital audio signal is converted into 5.1 channel audio by the 5.1ch conversion circuit 508 and becomes “built-in multi-channel audio”.

また、外部マイク１０４周辺の音声を集音するマイク５０５により得られたアナログ音声信号は、Ａ／Ｄ５０６によってデジタル音声信号に変換され、「外部音声」となる。そして、送信部１０５は、「外部音声」の信号を電波を搬送波としてビデオカメラ１００の受信部１０６に送信する。そして、受信部１０６は、送信部１０５から送信された電波から「外部音声」の信号を復号する。 Also, the analog audio signal obtained by the microphone 505 collecting sound around the external microphone 104 is converted into a digital audio signal by the A / D 506 and becomes “external audio”. Then, the transmission unit 105 transmits the “external audio” signal to the reception unit 106 of the video camera 100 using a radio wave as a carrier wave. Then, the receiving unit 106 decodes the “external voice” signal from the radio wave transmitted from the transmitting unit 105.

「内蔵マルチチャンネル音声」は、ＡＬＣ５０９内で適正なレベルに調整される。具体的には、振幅調整部５１０によって、各チャンネルの振幅が調整されて出力されることになる。このとき、振幅調整部５１０によって出力された各チャンネルの音声信号の音声レベルを振幅検出部５１１で検出する。このとき、振幅検出部５１１は、制御信号５１８の指示によって指示された、「内蔵マルチチャンネル音声」の置換するチャンネルであるフロントセンターチャンネルの音声レベルを制御値決定部５１６に送信する。そして、振幅検出部５１１で検出された各チャンネルの音声レベルに応じて、制御値決定部５１２は、振幅調整部５１０で振幅の調整をするための制御値を決定して振幅調整部５１０に送信する。振幅調整部５１０は、制御値決定部５１２からの制御値に応じて、各チャンネルの振幅調整を行う。そして、振幅調整部５１０で振幅を調整された各チャンネルの音声信号は、スイッチ部５１７に送信される。 “Built-in multi-channel audio” is adjusted to an appropriate level in the ALC 509. Specifically, the amplitude adjustment unit 510 adjusts and outputs the amplitude of each channel. At this time, the audio level of the audio signal of each channel output by the amplitude adjusting unit 510 is detected by the amplitude detecting unit 511. At this time, the amplitude detection unit 511 transmits the audio level of the front center channel, which is the channel to be replaced with “built-in multi-channel audio”, instructed by the instruction of the control signal 518, to the control value determination unit 516. Then, according to the audio level of each channel detected by the amplitude detection unit 511, the control value determination unit 512 determines a control value for adjusting the amplitude by the amplitude adjustment unit 510 and transmits the control value to the amplitude adjustment unit 510. To do. The amplitude adjustment unit 510 adjusts the amplitude of each channel according to the control value from the control value determination unit 512. Then, the audio signal of each channel whose amplitude is adjusted by the amplitude adjusting unit 510 is transmitted to the switch unit 517.

また、受信部１０６によって受信された「外部音声」は、振幅調整部５１４によって、振幅が調整されて出力されることになる。このとき、振幅調整部５１４によって出力された「外部音声」の音声レベルを振幅検出部５１５で検出する。そして、制御値決定部５１６は、振幅検出部５１５で検出した「外部音声」の音声レベルと、振幅検出部５１１で検出した「内蔵マルチチャンネル音声」の置換するチャンネルであるフロントセンターチャンネルの音声レベルとを比較する。そして、「外部音声」の音声レベルが、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルよりも小さいときには、振幅調整部５１４に対して、大きい制御値を送信する。また、「外部音声」の音声レベルが、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルよりも大きいときには、振幅調整部５１４に対して、小さい制御値を送信する。このようにすることで、「外部音声」の音声レベルを高くすることができる。ここで、制御値決定部５１６は、フロントセンターチャンネルの音声レベルに「外部音声」の音声レベルが近づくように、「外部音声」の音声レベルを調整するための制御値を決定する。 Further, the “external audio” received by the receiving unit 106 is output with the amplitude adjusted by the amplitude adjusting unit 514. At this time, the audio level of the “external audio” output by the amplitude adjustment unit 514 is detected by the amplitude detection unit 515. The control value determination unit 516 then outputs the audio level of the “external audio” detected by the amplitude detection unit 515 and the audio level of the front center channel that is the channel to be replaced by the “built-in multi-channel audio” detected by the amplitude detection unit 511. And compare. When the audio level of “external audio” is smaller than the audio level of the front center channel of “built-in multi-channel audio”, a large control value is transmitted to the amplitude adjustment unit 514. When the audio level of “external audio” is higher than the audio level of the front center channel of “built-in multi-channel audio”, a small control value is transmitted to the amplitude adjustment unit 514. In this way, the sound level of “external sound” can be increased. Here, the control value determination unit 516 determines a control value for adjusting the audio level of “external audio” so that the audio level of “external audio” approaches the audio level of the front center channel.

そして、振幅調整部５１４によって振幅が調整された「外部音声」は、スイッチ部５１７に送信される。 Then, the “external sound” whose amplitude is adjusted by the amplitude adjusting unit 514 is transmitted to the switch unit 517.

スイッチ部５１７では、制御信号５１８によって、置換するチャンネルがフロントセンターチャンネルであることを判別している。そして、ＡＬＣ５０９から入力された「内蔵マルチチャンネル音声」音声のうち置換されるチャンネルであるフロントセンターチャンネルの音声の代りに、ＡＬＣ５１３から入力された「外部音声」を出力する。これにより、「内蔵マルチチャンネル音声」のフロントセンターチャンネルを「外部音声」に置換した５．１チャンネル音声が生成される。この音声信号は、エンコーダ５１９に入力され、所定の音声記録方式に必要な処理を施されて、画像／音声データバス２０４に送信される。 The switch unit 517 determines from the control signal 518 that the channel to be replaced is the front center channel. Then, the “external audio” input from the ALC 513 is output instead of the audio of the front center channel which is the channel to be replaced among the “built-in multi-channel audio” audio input from the ALC 509. As a result, 5.1 channel sound in which the front center channel of “built-in multi-channel sound” is replaced with “external sound” is generated. This audio signal is input to the encoder 519, subjected to processing necessary for a predetermined audio recording method, and transmitted to the image / audio data bus 204.

その後、映像処理部２０６から得られた映像データとともに、ＨＤＤ２０９に記録される。 Thereafter, it is recorded in the HDD 209 together with the video data obtained from the video processing unit 206.

以上のようにして、「内蔵マルチチャンネル音声」のフロントセンターチャンネルを「外部音声」に置換した音声を記録することができるのである。 As described above, it is possible to record the sound in which the front center channel of the “built-in multi-channel sound” is replaced with the “external sound”.

本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルと「外部音声」の音声レベルを比較して、「外部音声」の音声レベルを制御してからフロントセンターチャンネルと「外部音声」を置換している。この様にすることで、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルと、「外部音声」の音声レベルとを近づけることができるので、「外部音声」の音量が適切でなくなってしまう可能性を低減できる。 In this embodiment, the audio level of the front center channel of “Built-in multi-channel audio” and the audio level of “external audio” are compared, and the audio level of “external audio” is controlled before the front center channel and “external audio”. Is replaced. By doing this, the audio level of the front center channel of “Built-in multi-channel audio” can be brought close to the audio level of “External audio”, so the volume of “External audio” may not be appropriate. Can be reduced.

また、本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声を「外部音声」の音声に置換する場合について説明したが、他のチャンネルの音声を「外部音声」に置換しても良い。さらに、２以上のチャンネルを「外部音声」に置換しても良い。例えば、フロントセンターチャンネルだけではなく、フロントレフトチャンネルとフロントライトチャンネルに対して「外部音声」を置換しても良い。この場合、「外部音声」の音声レベルが、置換されるチャンネルに指定された２以上のチャンネルの音声レベルの平均値と近づくように制御され、指定された複数のチャンネルに「外部音声」を置換するようにすればよい。 Further, in this embodiment, the case where the sound of the front center channel of “built-in multi-channel sound” is replaced with the sound of “external sound” has been described, but the sound of other channels may be replaced with “external sound”. good. Further, two or more channels may be replaced with “external audio”. For example, “external audio” may be substituted for the front left channel and the front right channel as well as the front center channel. In this case, the audio level of “external audio” is controlled so as to approach the average value of the audio levels of two or more channels specified as the channel to be replaced, and “external audio” is replaced with a plurality of specified channels. You just have to do it.

また、本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルは、その他のチャンネルとの音声レベルバランスを調整した音声である。バランスを調整されたフロントセンターチャンネル音声レベルと「外部音声」の音声レベルとが近づくように制御している。従って、「内蔵マルチチャンネル音声」の、その他のチャンネルと比べてもバランスの良い音声レベルで「外部音声」を置換することができる。 In this embodiment, the front center channel of the “built-in multi-channel sound” is a sound whose sound level balance with other channels is adjusted. Control is performed so that the sound level of the front center channel whose balance is adjusted and the sound level of “external sound” are close to each other. Therefore, “external audio” can be replaced with an audio level that is well balanced compared to other channels of “built-in multi-channel audio”.

本実施例では、５．１チャンネルの音声について例を示したが、例えば６．１チャンネルの音声でも良いし、７．１チャンネルの音声でも同様の方法で適用が可能である。 In the present embodiment, an example of 5.1-channel audio is shown, but for example, 6.1-channel audio may be used, and 7.1-channel audio can be applied in the same manner.

（他の実施例）
本発明は、実施例では、音声を集音する機能を有する装置として、ビデオカメラについて説明したが、これ以外の装置でもよい。 (Other examples)
In the embodiment, the video camera has been described as an apparatus having a function of collecting sound in the embodiment, but other apparatuses may be used.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても、達成されることは言うまでもない。このとき、供給されたシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。 Needless to say, the object of the present invention can also be achieved by supplying a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus. At this time, the computer (or CPU or MPU) of the supplied system or apparatus reads and executes the program code stored in the storage medium.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。 As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、上述のプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, the OS (basic system or operating system) running on the computer performs part or all of the processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Needless to say, cases are also included.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。 Further, the program code read from the storage medium may be written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, and the functions of the above-described embodiments may be realized. Needless to say, it is included. At this time, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

本発明を適用したビデオカメラとマイクのイメージ図である。It is an image figure of a video camera and a microphone to which the present invention is applied. 本発明を適用したビデオカメラのブロック図である。It is a block diagram of a video camera to which the present invention is applied. 本実施例の外部音声処理設定を説明するための図である。It is a figure for demonstrating the external audio | voice process setting of a present Example. 本実施例の外部音声処理設定を説明するためのフロー図である。It is a flowchart for demonstrating the external audio | voice process setting of a present Example. 本実施例の音声処理部の詳細を説明するための図である。It is a figure for demonstrating the detail of the audio | voice processing part of a present Example.

Explanation of symbols

１００ビデオカメラ
１０１撮影レンズ
１０２マイクユニット
１０３表示部
１０４外部マイク
１０５送信部
１０６受信部
２０１制御部
２０２操作部
２０３制御信号バス
２０４画像／音声データバス
２０５撮像部
２０６映像処理部
２０７音声処理部
２０８表示制御部
２０９ＨＤＤ
２１０アクセス部
２１１映像再生処理部
２１２映像出力端子
２１３音声再生処理部
２１４音声出力端子
２１５ＵＳＢ端子
２１６ＵＳＢコントローラ DESCRIPTION OF SYMBOLS 100 Video camera 101 Shooting lens 102 Microphone unit 103 Display part 104 External microphone 105 Transmission part 106 Reception part 201 Control part 202 Operation part 203 Control signal bus 204 Image / audio data bus 205 Imaging part 206 Video processing part 207 Audio processing part 208 Display Control unit 209 HDD
210 Access unit 211 Video playback processing unit 212 Video output terminal 213 Audio playback processing unit 214 Audio output terminal 215 USB terminal 216 USB controller

Claims

A plurality of sound collecting means for collecting surrounding sounds;
Generating means for generating a plurality of channels of sound signals from a plurality of sound signals obtained by the plurality of sound collecting means;
Receiving means for receiving an external audio signal transmitted from an external device;
Among a plurality of channels of audio signals generated by the generation unit, a replacement means for replacing the said external audio signal and specified by channel audio signals,
Signal processing apparatus characterized by a control means for controlling the sound level before Kigaibu audio signal to approximate the sound level of the specified channel of the audio signal.

Wherein, prior to when the audio level of Kigaibu audio signal is smaller than a preset level, according to claim 1, wherein the controller controls so as not to change the sound level of the external audio signal Signal processing device.

Wherein when prior Symbol audio level specified by the channel of the audio signal is greater than a predetermined amount than the level of the previous SL specified are not even channel audio signal, the audio level of the external audio signal There the signal processing apparatus according to claim 1, wherein the controller controls so as to approach the mean value of the audio level of the audio signal of the channel which has not been pre-Symbol specified.

4. The signal processing apparatus according to claim 1, further comprising a level adjusting unit that adjusts an audio level of the audio signals of the plurality of channels generated by the generating unit. 5.

5. The signal processing according to claim 4, wherein the replacing means replaces a sound signal of a designated channel of the sound signals of a plurality of channels whose sound levels have been adjusted by the level adjusting means with the external sound signal. apparatus.

6. The signal processing apparatus according to claim 1, further comprising a specifying unit that specifies a channel to be replaced by the replacing unit among the plurality of channels of audio signals.

7. The signal processing apparatus according to claim 1, further comprising a first detection unit configured to detect an audio level of the audio signals of the plurality of channels.

8. The signal processing apparatus according to claim 1, further comprising a second detection unit configured to detect a sound level of the external sound signal. 9.

An imaging apparatus provided with imaging means,
A plurality of sound collecting means built in the imaging device;
Generating means for generating a plurality of channels of sound signals from a plurality of sound signals obtained by the plurality of sound collecting means;
Receiving means for receiving an external audio signal transmitted from an external device;
Among a plurality of channels of audio signals generated by the generation unit, a replacement means for replacing the said external audio signal and specified by channel audio signals, channel the audio level is the specification before Kigaibu audio signal An image pickup apparatus comprising: control means for controlling the sound level of the sound signal so as to approach the sound level.

The imaging apparatus according to claim 9, further comprising a level adjusting unit that adjusts an audio level of the audio signals of the plurality of channels generated by the generating unit.

11. The signal processing according to claim 10, wherein the replacing unit replaces the audio signal of the designated channel of the audio signal of the plurality of channels whose audio level has been adjusted by the level adjusting unit with the external audio signal. apparatus.

12. The signal processing apparatus according to claim 9, further comprising a designation unit that designates a channel to be replaced by the replacement unit among the plurality of channels of audio signals.

13. The imaging apparatus according to claim 9, further comprising a first detection unit that detects an audio level of the audio signals of the plurality of channels.

The imaging apparatus according to claim 9, further comprising a second detection unit that detects a sound level of the external sound signal.

15. The control unit according to claim 9, wherein when the audio level of the external audio signal is smaller than a preset level, the control unit performs control so as not to change the audio level of the external audio signal. The imaging apparatus of any one of Claims.

When the audio level of the audio signal of the designated channel is greater than the level of the audio signal of the non-designated channel by a predetermined amount or more, the control means specifies the audio level of the external audio signal. 16. The imaging apparatus according to claim 9, wherein control is performed so as to approach an average value of audio levels of audio signals of channels that are not connected.