JP3411648B2 - Car audio system - Google Patents

Car audio system

Info

Publication number
JP3411648B2
JP3411648B2 JP31954293A JP31954293A JP3411648B2 JP 3411648 B2 JP3411648 B2 JP 3411648B2 JP 31954293 A JP31954293 A JP 31954293A JP 31954293 A JP31954293 A JP 31954293A JP 3411648 B2 JP3411648 B2 JP 3411648B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
occupant
output
microphone
speaker
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31954293A
Other languages
Japanese (ja)
Other versions
JPH07176178A (en )
Inventor
英樹 伊藤
正 佐野
貴子 大滝
Original Assignee
アルパイン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は車載用オーディオ装置に係り、特にオーディオ聴取中でも会話を円滑に行うことのできるようにした車載用オーディオ装置に関する。 BACKGROUND OF THE INVENTION [0001] Field of the Invention The present invention relates to a vehicle audio device, more particularly to a vehicle-mounted audio apparatus that can smoothly perform a conversation even during audio listening. 【0002】 【従来の技術】近年の車載用オーディオ装置は、CD、 [0002] In recent years of car audio system, CD,
DAT、MD、DCC等のディジタルオーディオソースによる高音質化、ハイパワーアンプによる大音量化が進んでおり、ホームオーディオに匹敵するシステムとなっている。 DAT, MD, high-quality sound by digital audio source of DCC, etc., has advanced a large volume of by the high-power amplifier, and has a system that is comparable to your home stereo. そして、スピーカもフロント側に左右1組、リア側に左右1組設置されるのが通例となっている。 Then, the right and left pair to be front speakers, the is dependent set installed on the rear side has a customary. 【0003】 【発明が解決しようとする課題】しかしながら、このような車載用オーディオ装置の充実に伴い、音量を大きくしても歪みなく音響再生できることから、音量を大きくして音楽を聴取する傾向があり、何人かが同乗中に音楽を流していると、自分の近くのスピーカ出力が大き過ぎて他の乗員が話かけてきても聞こえず、会話できない場合がある。 [0003] The object of the invention is to, however, due to the enhancement of such a car audio system, because it can sound reproduction even without distortion by increasing the volume, I tend to listen to music to increase the volume Yes, and some is play music during the ride, the speaker output of close to their is too large not hear even been talked of other passengers, there is a case that can not be conversation. この場合、オーディオ音量を下げれば会話できるようになるが、今度は、音楽が聞き取り難くなってしまう。 In this case, it will be able to talk if lowering the audio volume, in turn, it becomes difficult to hear music. 以上から本発明の目的は、オーディオ聴取中でも会話を円滑に行える車載用オーディオ装置を提供することである。 Accordingly, an object of the present invention is to provide a vehicle-mounted audio apparatus smoothly perform a conversation even during audio listening. 【0004】 【課題を解決するための手段】上記課題は本発明においては、座席別の乗員の音声を拾うマイクと、乗員の発話及び発話したのがどの座席の乗員かを識別する識別手段と、識別手段で或る乗員の発話が識別されたとき、発話中の乗員の音声信号を、オーディオ信号に合成しながら発話中の乗員以外の乗員近くのスピーカから出力させる合成手段とを設けたことにより達成される。 [0004] The above objects, according to an aspect of the the present invention includes: a microphone that picks up the voice of the seat by the occupant, and identifying means for identifying whether the occupant of which seat to that occupant speech and speech when a certain passenger speech is identified by the identification means, that the occupants of the speech signal in the speech, providing a synthesizing means to output from the occupant near the speaker other than the occupant in the speech while synthesized audio signal It is achieved by. 【0005】 【作用】本発明によれば、座席別の乗員の音声を拾うとともに、乗員の発話及び発話したのがどの座席の乗員かを識別し、発話中の乗員の音声信号を、オーディオ信号に合成しながら発話中の乗員以外の乗員近くのスピーカから出力させる。 According to [0005] the present invention, with pick up voice of a seat by the occupant, to identify whether the occupant of which seat to that occupant speech and speech, the occupant of the audio signal in the speech, audio signal synthesized is outputted from the occupant than the occupant near the speaker in the speech while the. これにより、発話中以外の乗員は、発話された音声を近くのスピーカから聞くことができるので、オーディオ聴取中であってもオーディオ音量を下げることなく円滑に会話を行うことができ、また、オーディオの音量は下がらないので、会話中であるとないとを問わず各乗員は音楽を十分に満喫することができる。 Thus, the occupant except during speech, it is possible to hear the sound uttered from the nearby loudspeaker, it is possible to perform conversation smoothly without lowering the audio volume even during audio listening, also, the audio because of the volume does not decrease, each passenger regardless of the night to be in the conversation can be to enjoy fully the music. 【0006】 【実施例】図1は本発明の一実施例に係わる車載用オーディオ装置の全体構成図である。 [0006] [Embodiment] FIG. 1 is an overall configuration diagram of a car audio system according to an embodiment of the present invention. 図において、1はヘッドユニットであり、本実施例ではCD等のディジタルオーディオソースから再生した左右2チャンネルのディジタルオーディオ信号を出力するものとする。 In FIG, 1 is a head unit, in this embodiment it is assumed that outputs a digital audio signal of the two left and right channels reproduced from a digital audio source such as a CD. 2a,2b 2a, 2b
はチャンネル別に音量調整を行うボリューム回路(VO Volume circuit (VO to perform a volume adjustment for each channel
L)であり、後述する制御部による音量制御を受けて例えば1dB単位で音量を増減する。 A L), to increase or decrease the volume 1dB steps for example by receiving the volume control by the control unit to be described later. ボリューム回路2 Volume circuit 2
a,2bはディジタル領域で音量調整を行う。 a, 2b performs volume adjustment in the digital domain. 3は音量可変操作等を行う操作部、4は操作部での音量可変操作に従い可変するボリュームデータを各ボリューム回路2 3 volume operator that performs variable operation or the like, 4 operating variable to the volume data each volume circuit according volume varying operation in unit 2
a,2bに出力し、ボリュームデータの示す音量に設定させる。 a, and outputs the 2b, is set to the volume indicated by the volume data. 【0007】5aと5bはボリューム回路2aの出力側が2系統に分岐されたあと設けられた加算器、5cと5 [0007] 5a and 5b is an adder that is provided after the output side of the volume circuit 2a is branched into two systems, 5c and 5
dはボリューム回路2aの出力側が2系統に分岐されたあと設けられた加算器、6a〜6dは各加算器の出力側に個別に設けられたD/A変換器、7a〜7dは各D/ d adder output side of the volume circuit 2a is provided after being branched into two lines, 6 a to 6 d are each adder D / A converter provided individually on the output side of, 7a to 7d each D /
A変換器の出力側に設けられた電力増幅器(AMP)、 Power amplifier provided on the output side of the A converter (AMP),
8aは電力増幅器7aの出力側に設けられたフロントL Front L 8a is provided on the output side of the power amplifier 7a
チャンネルのスピーカ、8bは電力増幅器7bの出力側に設けられたリアLチャンネルのスピーカ、8cは電力増幅器7cの出力側に設けられたフロントRチャンネルのスピーカ、8dは電力増幅器7dの出力側に設けられたリアRチャンネルのスピーカであり、図1の右下に示す如く、車両9の中の前後所定箇所に設置されている。 Provided channel speaker, 8b rear L channel speaker provided on the output side of the power amplifier 7b, 8c front R channel speaker provided on the output side of the power amplifier 7c, 8d on the output side of the power amplifier 7d was a speaker of the rear R channel, as shown in the bottom right of Figure 1, it is installed before and after the predetermined position in the vehicle 9.
なお、車両9は4人乗りであり、座席別の乗員をA〜D In addition, the vehicle 9 is a four-seater, A~D the seat by the occupant
で区別する。 In distinguishing. 【0008】10a〜10dは、各乗員の目の前に個別に設置されて、各乗員A〜Dの発話を個別にキャッチするため鋭い指向性を有するマイク、11a〜11dはマイク別にマイク出力を増幅するマイクアンプ、12a〜 [0008] 10a~10d is placed separately in front of each passenger's eyes, a microphone with sharp directivity for the speech of each occupant A~D catch separately, 11 a to 11 d is a microphone output by the microphone amplified microphone amplifier, 12a to
12dは各マイクアンプ出力を個別にA/D変換するA 12d is A / D converts the respective microphone amplifier output separately A
/D変換器、13a〜13dは各A/D変換器の出力側に個別に設けられてロードノイズ成分が含まれる300Hz / D converter, 300 Hz 13 a to 13 d, which is contained in the road noise component provided separately on the output side of the A / D converter
以下をカットするHPFである。 It is a HPF to cut the following. 【0009】14はヘッドユニットの出力と、各HPF [0009] 14 and the output of the head unit, each HPF
の出力から乗員の発話及びどの座席の乗員が発話したかを識別する識別部であり、具体的には図2に示す如く構成されている。 Occupant from the output of the occupant of the utterance and which seats are identifying unit identifies whether the utterance, in particular is configured as shown in FIG. 図2において、15aと15bはチャンネル別に300Hz 以下をカットするHPFであり、HPF In FIG. 2, 15a and 15b are HPF for cutting a 300Hz or less by channel, HPF
13a〜13dに対応して設けられている。 It is provided so as to correspond to 13a~13d. 16a〜1 16a~1
6dは相関度検査部であり、マイク別に、ヘッドユニット1の出力から予測したマイク入力と、実際のマイク入力の間の相関度を検査する。 6d is a correlation examination unit, by a microphone, a microphone input predicted from the output of the head unit 1 checks the actual correlation between the microphone input. 相関度検査部16a〜16 Correlation inspection unit 16a~16
dは同様に構成されており、この内、16aについて説明すると、17aはヘッドユニット1から出力されたL d is configured similarly, these, will be described. 16a, 17a is output from the head unit 1 L
チャンネルオーディオ信号がスピーカ8aを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路(DL)、17bはヘッドユニット1から出力されたLチャンネルオーディオ信号がスピーカ8bを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路、17cはヘッドユニット1から出力されたRチャンネルオーディオ信号がスピーカ8cを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路、17dはヘッドユニット1から出力されたRチャンネルオーディオ信号がスピーカ8dを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路である。 Delay circuit channel audio signal delaying time required to reach the microphone 10a via the speaker 8a (DL), 17b to the microphone 10a L-channel audio signals output from the head unit 1 via the speaker 8b a delay circuit for delaying time required to reach the delay circuit 17c is delaying R channel audio signals output from the head unit 1 is only the time required to reach the microphone 10a via a speaker 8c, 17d are R-channel audio signals output from the head unit 1 is a delay circuit for delaying time required to reach the microphone 10a via the speaker 8d. 【0010】18a〜18dは遅延回路17a〜17d [0010] 18a~18d delay circuit 17a~17d
の各出力を、スピーカ8a〜8dとマイク10aの間の距離の2乗に反比例するようにレベルを落とすレベル調整回路、19はレベル調整回路18a〜18dの出力を加算して、マイク10aに関する予測マイク入力信号を作成する加算器、20と21は各々サンプルクロックに基づき予測マイク入力信号に対するラッチ動作を行う縦列2段構成のラッチ回路であり、ラッチ回路20から今回のサンプルデータが出力され、ラッチ回路21から前回のサンプルデータが出力される。 Each output of the level adjusting circuit to drop the level in inverse proportion to the square of the distance between the speaker 8a~8d and microphone 10a, 19 adds the output of the level adjusting circuit 18a to 18d, projections of microphone 10a adder for creating microphone input signal, 20 and 21 is a latch circuit of the cascade two-stage configuration for performing a latch operation for each based on the sample clock prediction microphone input signal, the current sample data from the latch circuit 20 is output, the latch previous sample data from the circuit 21 is output. 22は比較回路であり、図3(1)に示す如く、ラッチ回路21でラッチされた前回のサンプルデータを基準にしてラッチ回路20 22 is a comparator circuit, as shown in FIG. 3 (1), the latch circuit 20 based on the previous sample data latched by the latch circuit 21
でラッチされた今回のサンプルデータが同じか大きいとき「1」を出力し、今回のサンプルデータが小さいとき「0」を出力する。 In case the current sample data latched is greater than or equal outputs "1", and outputs "0" when the current sample data is small. これにより、予測マイク入力信号が増大傾向にあるとき、各サンプルクロック毎に比較回路22は「1」を出力し、逆に、予測マイク入力信号が減少傾向にあるとき各サンプルクロック毎に比較回路22 Accordingly, when the prediction microphone input signal is in the increasing tendency, the comparison circuit 22 in each sample clock outputs "1", on the contrary, the comparison circuit for each sample clock when the prediction microphone input signal is decreasing 22
は「0」を出力する。 Outputs "0". 【0011】23と24は各々サンプルクロックに基づき実際のマイク入力信号(HPF13aの出力信号)に対するラッチ動作を行う縦列2段構成のラッチ回路であり、ラッチ回路23から今回のサンプルデータが出力され、ラッチ回路24から前回のサンプルデータが出力される。 [0011] 23 and 24 is a latch circuit of the cascade two-stage configuration for performing a latch operation for each sample clock based real microphone input signal (output signal of HPF13a), this sample data from the latch circuit 23 is output, previous sample data from the latch circuit 24 is output. 25は比較回路であり、図3(1)に示す如く、 25 is a comparator circuit, as shown in FIG. 3 (1),
ラッチ回路24でラッチされた前回のサンプルデータを基準にしてラッチ回路23でラッチされた今回のサンプルデータが同じか大きいとき「1」を出力し、今回のサンプルデータが小さいとき「0」を出力する。 Outputs "1" when the current sample data latched by the latch circuit 23 is greater than or equal to the previous sample data latched by the latch circuit 24 as a reference, when the current sample data is smaller outputs "0" to. これにより、実際のマイク入力信号が増大傾向にあるとき、各サンプルクロック毎に比較回路25は「1」を出力し、逆に、実際のマイク入力信号が減少傾向にあるとき各サンプルクロック毎に比較回路22は「0」を出力する。 Accordingly, when the actual microphone input signal is in the increasing tendency, the comparator circuit 25 for each sample clock outputs "1", on the contrary, when the actual microphone input signal is decreasing at each sample clock comparison circuit 22 outputs "0". 【0012】26は比較回路22の出力と比較回路25 [0012] 26 is compared with the output of the comparator circuit 22 circuit 25
の出力をサンプルクロック毎に比較し、一致しているとき「1」、不一致のとき「0」を出力する比較回路、2 Comparator circuit compares the output of each sample clock, "1" when they match, for outputting "0" when the mismatch, 2
7はサンプルクロックに基づき比較回路27の出力が「0」となった回数を計数するカウンタであり、或るタイミングで計数値を零としてから所定の一定期間(例えば、1万サンプル分)経過すると、計数値を後述する判定部へ出力するとともに、再び、計数値を零として計数を再開するようになっている。 7 is a counter for counting the number of times the output of the comparator circuit 27 based on the sample clock becomes "0", a predetermined certain period count value at a certain timing after the zero (e.g., 10,000 samples) after a lapse of and outputs to the determining unit to be described later counts, so as to again resume counting the count value as zero. カウンタ27が計数値を出力したとき、該計数値が小さいときは、マイク10a When the counter 27 has output the count value, when the regimen value is small, the microphone 10a
に関して予測マイク入力信号と実際のマイク入力信号の間の相関度が大きいことを示し、当該計数値が大きいときは相関度が小さいことを示す。 Indicates the prediction that the degree of correlation between the microphone input signal and the actual microphone input signal is large with respect to, when the count value is large it indicates that the correlation is low. 乗員Aが発話していなければ、相関度は大きい筈であり、乗員Aが発話していれば相関度は小さい筈であるから、計数値を所定の基準値(例えばカウンタ27の計数期間を1万サンプル分としたとき基準値を5000とする)と比較することで、乗員Aの発話の有無を判定することができる(図3(2)参照)。 If the passenger A is not uttered, it should correlation is large, because the occupant A is should the correlation if the utterance small, the count value predetermined reference value (e.g. counting period of the counter 27 1 ten thousand samples with the time reference value is compared with that) and 5000, it is possible to determine the presence of speech of the occupant a reference (FIG. 3 (2)). 【0013】相関度検査部16aはマイク10aに関して以上の如く構成されているが、他の相関度検査部16 [0013] While the correlation checking portion 16a is constructed as above for the microphone 10a, other correlation checking portion 16
b〜16dについてもマイク10b〜10dに関して、 With respect to the microphone 10b~10d also b~16d,
相関度検査部16aと同様に構成されており、各々に設けられたカウンタが一定期間経過する毎に予測マイク入力信号と実際のマイク入力信号の間の相関度を示す計数値を出力する。 It is configured similarly to the correlation examination unit 16a, and outputs a count value indicating the degree of correlation between the actual microphone input signal and the prediction microphone input signal each time the counter provided in each elapsed time period. 28は各相関度検査部16a〜16dからカウンタの計数値を入力して、乗員の発話の有無と、 28 inputs the counted value of the counter from the correlation checking portion 16 a to 16 d, and the presence or absence of an occupant of the utterance,
発話があったとき、どの座席の乗員か判定する判定部である。 When there is a speech, a passenger or determination of any seat. 具体的には、各相関度検査部16a〜16dから入力したカウンタの計数値を個別に所定の基準値と比較し、いずれも基準値を下回っているときはだれも発話していないと判定し、いずれか1つが基準値を上回っているとき、例えば、相関度検査部16aが上回っているとき、対応する乗員Aが発話していると判定する。 Specifically, it is determined that no one is speaking when the correlation count of the counter input from the inspection unit 16a~16d the individual with a predetermined reference value, both are below the reference value, when any one of which exceeds the reference value, for example, when a exceeds correlation inspection unit 16a, determines that the corresponding occupant a is speaking. 若し、 Wakashi,
同時に複数の計数値が基準値を上回っているとき、最も計数値の大きい相関度検査部16aに対応する乗員一人が発話していると判定する。 At the same time judges that when multiple count value exceeds the reference value, the passenger person corresponding to a large correlation checking portion 16a of the most count is speaking. 判定結果は、後述する合成部29へ出力する。 The determination result is output to the mixer 29 to be described later. 【0014】図1に戻って、29は識別部14での識別結果(判定部28での判定結果)に基づき、発話者がいる場合に、該音声信号を発話者以外の乗員近くの各スピーカから出力させる合成部であり、この内、30は無音信号に相当する零信号データ発生部、31は加算器5a [0014] Returning to FIG. 1, based on 29 the identification result of the identification portion 14 (the determination in the determination section 28), if there is a speaker, the passenger near the speakers other than the speaker of the speech signal a combining unit to output from these, 30 zero-signal data generating portion corresponding to silence signal, 31 is an adder 5a
〜5dに対応する4つの出力を有し、識別部14から入力した識別結果に基づき、だれも発話者がいないと判定されているときは、4つの出力とも零信号データとし、 Has four outputs corresponding to ~5D, based on the identification result input from the identification unit 14, when everyone has been determined that there is no speaker is the four output with zero signal data,
乗員Aが発話していると判定されたときは、加算器5b When the passenger A is determined to be utterance, adder 5b
〜5dに対してはHPF13aからの入力を出力し、加算器5aに関しては零信号データを出力する。 It outputs the input from HPF13a for ~5D, and outputs a zero signal data with respect to an adder 5a. 乗員Bが発話していると判定されたときは、加算器5a、5c、 When the occupant B is determined to be utterance, adder 5a, 5c,
5dに対してはHPF13bからの入力を出力し、加算器5bに関しては零信号データを出力する。 It outputs the input from HPF13b for 5d, and outputs a zero signal data with respect to the adder 5b. 乗員Cが発話していると判定されたときは、加算器5a、5b、5 When the occupant C is determined to be utterance, adder 5a, 5b, 5
dに対してはHPF13cからの入力を出力し、加算器5cに関しては零信号データを出力する。 It outputs the input from HPF13c for d, and outputs a zero signal data with respect to the adder 5c. 乗員Dが発話していると判定されたときは、加算器5a〜5cに対してはHPF13dからの入力を出力し、加算器5dに関しては零信号データを出力する。 When the occupant D is determined to be speaking, to the adder 5a~5c outputs the input from HPF13d, and outputs a zero signal data with respect to the adder 5d. 【0015】32a〜32dは選択出力部と各加算器5 [0015] 32a~32d the selecting portion and the adder 5
a〜5dの間に介装されたボリューム回路であり、制御部4からボリュームデータを入力して、該ボリュームデータに対応する音量、またはボリュームデータより一定量(例えば4dB)だけ大きな音量にレベル調整する。 A volume circuit which is interposed between A~5d, enter the volume data from the control unit 4, the volume corresponding to the volume data or a predetermined amount than the volume data (e.g., 4dB) by level adjustment to a large volume, to.
加算器5a〜5d、零信号データ発生部30、選択出力部31、ボリューム回路32a〜32dにより合成部2 Adders 5a to 5d, the zero signal data generating section 30, selects the output section 31, a combining unit 2 by volume circuit 32a~32d
9が構成されている。 9 is configured. 【0016】次に上記した実施例の動作を簡単に説明する。 [0016] Next will be briefly described the operation of the embodiment described above. 或る音量でディジタルオーディオソースから再生した音楽を聴取している状態で、誰も発話していなければ、識別部14の各相関度検査部16a〜16dのカウンタから出力される計数値はいずれも基準値を下回り、 In a state in which a certain volume is listening to music reproduced from a digital audio source, if no one has not been spoken, any count value output from the counter of the correlation examination unit 16a~16d of the identification portion 14 below the reference value,
判定部28は誰も発話していないとの判定結果を合成部29の選択出力部31へ出力する。 And it outputs the determination result that the determination unit 28 no one is speaking into the selecting portion 31 of the mixer 29. このとき、選択出力部31は零信号データを各加算器5a〜5dへ出力するので、各スピーカ8a〜8dからはオーディオソースからの音楽だけ出力される。 At this time, since the output selecting portion 31 the zero signal data to the adders 5a to 5d, from the speakers 8a~8d output only music from the audio source. よって、各乗員は音楽を十分に満喫することができる。 Thus, each crew is able to enjoy fully the music. 【0017】ここで、例えば、乗員Aが乗員Dと会話するため呼び掛けの発話をしたとき、識別部14の相関度検査部16aのカウンタ27から出力される計数値が基準値を越え、判定部28は乗員Aが発話したと判定し、 [0017] Here, for example, when the passenger A is obtained by the utterance of the interrogation to converse with the passenger D, it exceeds the count value is a reference value output from the counter 27 of the correlation examination unit 16a of the identification unit 14, the determination unit 28 determines that the occupant a is uttered,
判定結果を選択出力部31へ出力する。 And it outputs the determination result to the selecting portion 31. すると、選択出力部31は加算器5b〜5dに対してはHPF13aからの入力を出力し、加算器5aに関しては零信号データを出力する。 Then, for the selection output unit 31 is an adder 5b~5d outputs the input from HPF13a, and outputs a zero signal data with respect to an adder 5a. よって、スピーカ8b〜8dから音楽と一緒に乗員Aの音声が出力されるので、乗員B〜Dは音楽を聞きながら乗員Aの声を聞き取ることができる。 Therefore, since the sound of the occupant A is output together with the music from the speakers 8 b to 8 d, occupant B~D can hear the voice of the occupant A while listening to music. 次に、乗員Aからの呼び掛けを確認した乗員Dが受け答えの発話をすると、識別部14の相関度検査部16dのカウンタから出力される計数値が基準値を越え、判定部2 Next, when the occupant D confirming call from an occupant A to the speech of the comeback, beyond the count reference value outputted from the counter of the correlation examination unit 16d of the identification unit 14, the determination section 2
8は乗員Dが発話したと判定し、判定結果を選択出力部31へ出力する。 8 determines that the occupant D has spoken, and outputs the determination result to the selecting portion 31. すると、選択出力部31は加算器5a Then, the selection output unit 31 is an adder 5a
〜5cに対してはHPF13dからの入力を出力し、加算器5dに関しては零信号データを出力する。 It outputs the input from HPF13d for ~5C, and outputs a zero signal data with respect to the adder 5d. よって、 Thus,
スピーカ8a〜8cから音楽と一緒に乗員Dの音声が出力されるので、乗員A〜Cは音楽を聞きながら乗員Dの声を聞き取ることができる。 Since the voice of the passenger D is output together with the music from the speakers 8a to 8c, the passenger A~C can hear the voice of the occupant D while listening to music. 以下、同様にして乗員AとDは音楽を聞きながら会話をすることができ、他の乗員BとCも、AとDの会話を聞きながら音楽を楽しむことができる。 Hereinafter, the passenger A and D in the same manner may be a conversation while listening to music, other occupant B and C can also enjoy music while listening to conversations A and D. 【0018】この実施例によれば、発話中以外の乗員は、発話された音声を近くのスピーカから聞くことができるので、オーディオ聴取中であってもオーディオ音量を下げることなく円滑に会話を行うことができ、また、 According to this embodiment, the occupant except during speech, it is possible to hear the sound uttered from the nearby loudspeaker, performed smoothly conversations without lowering the audio volume even during audio listening it can, also,
オーディオの音量は下がらないので、会話中であるとないとを問わず各乗員は音楽を十分に満喫することができる。 Because not decrease the volume of the audio, each passenger regardless of the night to be in the conversation can be to enjoy fully the music. 【0019】なお、上記した実施例において、HPF1 [0019] Incidentally, in the embodiment described above, HPF1
3a〜13dの出力を整流、平滑化したあと識別部14 Rectifying the output of 3a~13d, after identification unit 14 smoothing
の各相関度検査部16a〜16dに入力するようにし、 Be input to each correlation checking portion 16a~16d of,
識別部14内において、HPF15a,15bの出力を個別に整流、平滑化したあと各相関度検査部16a〜1 Within the identification unit 14, HPF15a, individually rectifies the output of 15b, the correlation degree inspection unit after smoothed 16a~1
6dに入力するようにしてもよい。 It may be input to 6d. また、判定部28 In addition, the determination unit 28
は、それまで発話者が存在しない内容の判定結果を出力していたが、或る時点で発話者が存在する内容の判定結果を出力したとき、一定時間、該出力を保持するようにし、一定時間経過後、再び、判定し直すようにしてもよい。 Is until the speaker it has output the determination result of the content that does not exist, when outputting a determination result of what is present speaker at some point, to a certain time, so as to hold the output constant after the lapse of time, again, it may be re-determined. 逆に、発話者が存在する内容の判定結果を出力していたが、或る時点で発話者が存在しなくなったとの判定をしたとき、一定時間、発話者が存在しない状態が継続したとき、初めて発話者が存在しない内容の判定結果を出力するようにしてもよい。 Conversely, although not output the judgment result of what speaker is present, when the determination that the speaker is no longer present at some point, when a certain time, is the absence of speaker continued, it is also possible to output the contents of the judgment result for the first time the speaker does not exist. また、選択出力部31の各出力側に、通過帯域を300Hz 〜3kHz以内などに制限するBPFを設けてもよい。 Further, to the output side of the selection output unit 31 may be provided with a BPF for limiting the pass band like within 300Hz ~3kHz. 更に、識別部14の各相関度検査部16a〜16dにおけるレベル調整回路18a〜1 Furthermore, the level adjustment circuit in each of the correlation degree inspection unit 16a~16d of the identification portion 14 18A~1
8dは、マイク−各スピーカ間の距離だけでなく、マイクの指向性も考慮してレベル調整するようにしてもよい。 8d is a microphone - not only the distance between the speakers, it may be level adjusted in consideration of directivity of the microphone. また、ヘッドユニット1の出力をチャンネル別にH Also, H output of the head unit 1 in each channel
PF15a,15bを通して各相関検査部16a〜16 PF15a, each correlation inspection unit through 15b 16A~16
dに入力する代わりに、各加算器5a〜5dの出力を個別にHPFを通したあと、各相関度検査部16の各遅延回路17a〜17dに入力するようにしてもよい。 Instead of entering the d, after through individually HPF output of the adders 5a to 5d, it may be input to the delay circuits 17a~17d of the correlation examination unit 16. 【0020】また、識別部は図4に示す如く変形してもよい。 Further, the identification unit may be modified as shown in FIG. 図4において、40aと40bは図1のボリューム回路2aと2bの出力側に設けられたHPFであり、 In FIG. 4, 40a and 40b are HPF provided on the output side of the volume circuit 2a and 2b in FIG. 1,
300Hz 以下のロードノイズをカットする。 To cut the following road noise 300Hz. 41a〜41 41a~41
dはマイク10a〜10dの別に設けられた基準レベル発生部であり、予測マイク入力信号のレベルを求め、該レベルより一定レベルだけ大きくした基準レベルを発生する。 d is the reference level generator which is provided with another microphone 10 a to 10 d, obtains the level of prediction microphone input signal, to generate a reference level which is increased a certain level only from the level. 基準レベル発生部41a〜41dは同様の構成を有するので、この内、基準レベル発生部41aについて説明すると、42aはLチャンネルオーディオ信号がスピーカ8aを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路、42bはLチャンネルオーディオ信号がスピーカ8bを介してマイク10a Since the reference level generator 41a~41d has the same configuration, the inner, explaining reference level generator 41a, 42a is L-channel audio signal by the time required to reach the microphone 10a via the speaker 8a a delay circuit for delaying, 42b microphone 10a via the L-channel audio signal is a speaker 8b
に到達するまでに要する時間分だけ遅延させる遅延回路、42cはRチャンネルオーディオ信号がスピーカ8 Delay circuits, 42c is R-channel audio signals for delaying time required to reach the speaker 8
cを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路、42dはRチャンネルオーディオ信号がスピーカ8dを介してマイク10aに到達するまでに要する時間分だけ遅延させる遅延回路である。 A delay circuit for delaying time required to reach the microphone 10a through c, 42d is R-channel audio signal is a delay circuit for delaying time required to reach the microphone 10a via the speaker 8d. 【0021】43a〜43dは遅延回路42a〜42d [0021] 43a~43d delay circuit 42a~42d
の各出力に対し個別にレベル調整するレベル調整回路であり、43aはLチャンネルオーディオ信号に対する自身の出力レベルがHPF13aの出力に含まれるスピーカ8aの出力成分のレベルと同一になるように調整し、 A level adjusting circuit for level-adjusted individually for each output, 43a is adjusted so that its output level for L-channel audio signal is the same as the level of the output components of the speaker 8a included in the output of HPF13a,
43bはLチャンネルオーディオ信号に対する自身の出力レベルがHPF13bの出力に含まれるスピーカ8b 43b is a speaker 8b for its output level for L-channel audio signal is included in the output of HPF13b
の出力成分のレベルと同一になるように調整し、43c Adjusted to be equal to the level of the output components, 43c
はRチャンネルオーディオ信号に対する自身の出力レベルがHPF13cの出力に含まれるスピーカ8cの出力成分のレベルと同一になるように調整し、43dはRチャンネルオーディオ信号に対する自身の出力レベルがH Adjusted to become equal to the level of the output components of the speaker 8c the output level of its own for the R-channel audio signal is included in the output of HPF13c, 43d is the output level of the own for the R-channel audio signal is H
PF13dの出力に含まれるスピーカ8dの出力成分のレベルと同一になるように調整する。 Adjusted to be equal to the level of the output components of the speaker 8d included in the output of PF13d. 【0022】44はレベル調整回路43a〜43dの出力を加算して、マイク10aに関する予測マイク入力信号を作成する加算器、45は加算器出力に対し整流、平滑化を行い予測マイク入力信号のレベルを検出する整流・平滑化回路、46は整流・平滑化回路45の出力に対し一定レベル(例えば、8dB)だけ持ち上げた基準レベル信号を発生する基準レベル発生回路であり、基準レベル信号を後述する判定部へ出力する。 [0022] 44 adds the output of the level adjusting circuit 43 a to 43 d, an adder to create a prediction microphone input signal relating to the microphone 10a, 45 is rectified to adder output, the level of the prediction microphone input signal subjected to smoothing rectifying and smoothing circuit for detecting, 46 constant level to the output of the rectifying and smoothing circuit 45 (e.g., 8 dB) is the reference level generation circuit for generating a reference level signal lifted only be described later in reference level signal and outputs it to the determination unit. 他の基準レベル発生部41b〜41dについても、マイク10b〜10 For the other reference level generator 41B~41d, microphone 10b~10
dに関して、マイク10aに関する基準レベル発生部4 Respect d, reference level generator 4 about the microphone 10a
1aと同様に構成されている。 It is configured similarly to 1a. 【0023】47a〜47dは各HPF13a〜13d [0023] 47a~47d each HPF13a~13d
の出力を個別に整流、平滑化する整流・平滑化回路、4 Rectifying the output of the individual, rectifying and smoothing circuit for smoothing, 4
8は各基準レベル発生部41a〜41dから入力した基準レベル信号と、整流・平滑化回路47a〜47dから入力した実際のマイク入力信号レベルを比較して、乗員の発話の有無及びどの座席の乗員が発話したかを判定する判定部である。 8 and a reference level signal input from the reference level generator 41 a to 41 d, and comparing the actual microphone input signal level inputted from the rectifying-smoothing circuit 47a-47d, the presence or absence of an occupant of the utterance and which seat occupant There is a determination section for determining uttered. 具体的には、マイク10aに関して整流・平滑化回路47aから入力した実際のマイク入力信号レベルを基準レベル発生部41aから入力した基準レベルと比較し、若し、実際のマイク入力信号レベルが基準レベルを下回っているときは、乗員Aが発話していないと判定し、逆に、実際のマイク入力信号レベルが基準レベルを上回っているときは、乗員Aが発話していると判定する。 Specifically, the actual microphone input signal level inputted from the rectifying-smoothing circuit 47a is compared with a reference level input from the reference level generator 41a with respect to the microphone 10a, Wakashi actual microphone input signal level is the reference level when below the determines that the passenger a is not speaking, conversely, when exceeds the actual microphone input signal level is a reference level, it determines that the occupant a is speaking. 同様に、マイク10bに関して整流・平滑化回路47bから入力した実際のマイク入力信号レベルを基準レベル発生部41bから入力した基準レベルと比較し、若し、実際のマイク入力信号レベルが基準レベルを下回っているときは、乗員Bが発話していないと判定し、逆に、実際のマイク入力信号レベルが基準レベルを上回っているときは、乗員Bが発話していると判定し、 Similarly, compared with the reference level entered the actual microphone input signal level inputted from the rectifying-smoothing circuit 47b from the reference level generator 41b with respect to the microphone 10b, Wakashi, lower than the reference level is the actual microphone input signal level when and determines that the occupant B is not speaking, conversely, when exceeds the actual microphone input signal level is the reference level, it is determined that the occupant B is speaking,
マイク10cに関して整流・平滑化回路47cから入力した実際のマイク入力信号レベルを基準レベル発生部4 Reference the actual microphone input signal level inputted from the rectifying-smoothing circuit 47c with respect to the microphone 10c level generator 4
1cから入力した基準レベルと比較し、若し、実際のマイク入力信号レベルが基準レベルを下回っているときは、乗員Cが発話していないと判定し、逆に、実際のマイク入力信号レベルが基準レベルを上回っているときは、乗員Cが発話していると判定し、マイク10dに関して整流・平滑化回路47dから入力した実際のマイク入力信号レベルを基準レベル発生部41dから入力した基準レベルと比較し、若し、実際のマイク入力信号レベルが基準レベルを下回っているときは、乗員Dが発話していないと判定し、逆に、実際のマイク入力信号レベルが基準レベルを上回っているときは、乗員Dが発話していると判定する。 Compared to a reference level input from 1c, Wakashi, when the actual microphone input signal level is below the reference level, it is determined that the occupant C is not speaking, conversely, the actual microphone input signal level when exceeds the reference level, it is determined that the occupant C is speaking, a reference level input to the actual microphone input signal level inputted from the rectifying-smoothing circuit 47d with respect to the microphone 10d from the reference level generator 41d comparison, Wakashi, when the actual microphone input signal level is below the reference level, it is determined that the occupant D has not uttered, conversely, when the actual microphone input signal level is above the reference level determines that the occupant D is speaking. 【0024】そして、どのマイクに関しても実際のマイク入力レベルが対応する基準レベルを下回っているとき、発話者無しの判定結果を出力し、ただ1つのマイクに関してだけ、実際のマイク入力レベルが対応する基準レベルを上回っているとき、該当する一人の乗員が発話しているとの判定結果を出力し、同時に複数のマイクに関して、実際のマイク入力レベルが対応する基準レベルを上回っているときは、その内、マイク入力レベルと基準レベルとの差の最も大きいマイクに該当する一人の乗員が発話しているとの判定結果を出力する。 [0024] Then, when the actual microphone input level For any microphone is below a corresponding reference level, and outputs a determination result without speakers, only with respect to one microphone, the actual microphone input level corresponding when exceeds the reference level, and outputs a determination result that the corresponding one of the passenger is speaking, at the same time for a plurality of microphones, when the actual microphone input level is higher than the corresponding reference level, the among them, and it outputs the determination result that one of the passenger corresponding to the largest microphone of the difference between the microphone input level and the reference level is speaking. 図4の如く構成した識別部によっても、発話の有無及びどの座席の乗員が発話しているかを識別することができる。 Also the configuration identification unit as shown in FIG. 4, it is possible to identify whether the occupant of the presence or absence of speech and which seat is speaking. 【0025】なお、図4の変形例においても、判定部4 [0025] Also in the modification of FIG. 4, the determination unit 4
8は、それまで発話者が存在しない内容の判定結果を出力していたが、或る時点で発話者が存在する内容の判定結果を出力したとき、一定時間、該出力を保持するようにし、一定時間経過後、再び、判定し直すようにしてもよい。 8 is until the speaker it has output the determination result of the content that does not exist, when outputting a determination result of what is present speaker at some point, to a certain time, so as to hold the output, after the elapse of a predetermined time, again, it may be re-determined. 逆に、発話者が存在する内容の判定結果を出力していたが、或る時点で発話者が存在しなくなったとの判定をしたとき、一定時間、発話者が存在しない状態が継続したとき、初めて発話者が存在しない内容の判定結果を出力するようにしてもよい。 Conversely, although not output the judgment result of what speaker is present, when the determination that the speaker is no longer present at some point, when a certain time, is the absence of speaker continued, it is also possible to output the contents of the judgment result for the first time the speaker does not exist. また、ボリューム回路2 In addition, volume circuit 2
a,2bの出力を個別にHPF15a,15bを通して各基準レベル発生部41a〜41dに入力する代わりに、各加算器5a〜5dの出力を個別にHPFを通したあと、各基準レベル発生部41a〜41dの各遅延回路42a〜42dに入力するようにしてもよい。 a, individually output of 2b HPF15a, instead of entering into the reference level generator 41a~41d through 15b, after passing through the HPF individually outputs of the adders 5a to 5d, the reference level generator 41a~ it may be input to the delay circuits 42a~42d of 41d. 【0026】 【発明の効果】以上本発明によれば、座席別の乗員の音声を拾うマイクと、乗員の発話及び発話したのがどの座席の乗員かを識別する識別手段と、識別手段で或る乗員の発話が識別されたとき、発話中の乗員の音声信号を、 According to the present invention as described above, a microphone that picks up the voice of the seat by the occupant, and identifying means for identifying whether the occupant of which seat to that occupant speech and speech, certain identification means that when the occupant of the speech is identified, the occupant of the audio signal in the speech,
オーディオ信号に合成しながら発話中の乗員以外の乗員近くのスピーカから出力させる合成手段とを設け、座席別の乗員の音声を拾うとともに、乗員の発話及び発話したのがどの座席の乗員かを識別し、発話中の乗員の音声信号を、オーディオ信号に合成しながら発話中の乗員以外の乗員近くのスピーカから出力させるように構成したから、発話中以外の乗員は、発話された音声を近くのスピーカから聞くことができるので、オーディオ聴取中であってもオーディオ音量を下げることなく円滑に会話を行うことができ、また、オーディオの音量は下がらないので、会話中であるとないとを問わず各乗員は音楽を十分に満喫することができる。 A synthesizing means for output from the occupant than the occupant near the speaker in the speech provided with combining the audio signals along with the pick up voice of a seat by the occupant, identify which occupant which seat to that occupant speech and speech and the occupant of the audio signal in the speech, because constructed so as to output the passenger near the speaker other than the occupant in the speech while synthesized audio signal, other than in speech occupant speech uttered near since it is possible to hear from the speaker, even during audio listening can make the conversation smoothly without reducing the audio volume, also, because not decrease the volume of the audio, regardless of the night to be in conversation each crew is able to enjoy fully the music.

【図面の簡単な説明】 【図1】本発明の一実施例に係る車載用オーディオ装置の全体構成図である。 BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an overall block diagram of a car audio system according to an embodiment of the present invention. 【図2】図1中の識別部の具体的構成図である。 2 is a specific configuration diagram of the identification unit in FIG. 【図3】図2中の相関度検査部の相関度検査法の説明図である。 3 is an explanatory view of a correlation tests of the correlation degree inspection unit in Fig. 【図4】識別部の変形例構成図である。 4 is a modification diagram of the identification unit. 【符号の説明】 1 ヘッドユニット8a〜8d スピーカ10a〜10d マイク14 識別部29 合成部 [EXPLANATION OF SYMBOLS] 1 head unit 8a~8d speaker 10a~10d microphone 14 identifying unit 29 combining unit

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−38961(JP,A) 特開 昭60−161233(JP,A) 特開 昭63−177604(JP,A) 特開 平1−133454(JP,A) 特開 平1−278160(JP,A) 特開 平2−312349(JP,A) 特開 平3−61137(JP,A) 実開 平5−10103(JP,U) 実開 昭56−6012(JP,U) 実開 昭58−95347(JP,U) 実開 昭61−60544(JP,U) (58)調査した分野(Int.Cl. 7 ,DB名) G11B 31/00 529 G11B 31/00 519 B60R 11/02 G11B 20/02 H04R 3/00 310 ────────────────────────────────────────────────── ─── of the front page continued (56) reference Patent Sho 60-38961 (JP, a) JP Akira 60-161233 (JP, a) JP Akira 63-177604 (JP, a) JP flat 1- 133454 (JP, A) Patent Rights 1-278160 (JP, A) Patent Rights 2-312349 (JP, A) Patent Rights 3-61137 (JP, A) JitsuHiraku flat 5-10103 (JP, U) JitsuHiraku Akira 56-6012 (JP, U) JitsuHiraku Akira 58-95347 (JP, U) JitsuHiraku Akira 61-60544 (JP, U) (58 ) investigated the field (Int.Cl. 7, DB name) G11B 31/00 529 G11B 31/00 519 B60R 11/02 G11B 20/02 H04R 3/00 310

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 オーディオソースから得たオーディオ信号を増幅し、車室内の複数箇所に設置したスピーカより出力するようにした車載用オーディオ装置において、 座席別の乗員の音声を拾うマイクと、 乗員の発話及び発話したのがどの座席の乗員かを識別する識別手段と、 識別手段で或る乗員の発話が識別されたとき、発話中の乗員の音声信号を、オーディオ信号に合成しながら発話中の乗員以外の乗員近くのスピーカから出力させる合成手段と、 を設けたことを特徴とする車載用オーディオ装置。 (57) to amplify the Patent Claims 1 audio signal obtained from the audio source, the vehicle audio apparatus to output from the speaker installed at a plurality of locations of the vehicle interior, a seat by the occupant of a microphone that picks up sound, identifying means for identifying whether the occupant of which seat to that occupant speech and speech, when one occupant of the utterance is identified by the identification means, the occupant of the audio signal in the speech, car audio system which is characterized by providing a synthesizing means to output from the occupant near the speaker other than the occupant in the speech while synthesized audio signal.
JP31954293A 1993-12-20 1993-12-20 Car audio system Expired - Lifetime JP3411648B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31954293A JP3411648B2 (en) 1993-12-20 1993-12-20 Car audio system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31954293A JP3411648B2 (en) 1993-12-20 1993-12-20 Car audio system

Publications (2)

Publication Number Publication Date
JPH07176178A true JPH07176178A (en) 1995-07-14
JP3411648B2 true JP3411648B2 (en) 2003-06-03

Family

ID=18111419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31954293A Expired - Lifetime JP3411648B2 (en) 1993-12-20 1993-12-20 Car audio system

Country Status (1)

Country Link
JP (1) JP3411648B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19942868A1 (en) 1999-09-08 2001-03-15 Volkswagen Ag Method for operating a multiple microphone arrangement in a motor vehicle as well as multiple microphone arrangement itself
US8724822B2 (en) 2003-05-09 2014-05-13 Nuance Communications, Inc. Noisy environment communication enhancement system
EP1475997A3 (en) * 2003-05-09 2004-12-22 Harman/Becker Automotive Systems GmbH Method and system for communication enhancement in a noisy environment
US7643641B2 (en) 2003-05-09 2010-01-05 Nuance Communications, Inc. System for communication enhancement in a noisy environment
EP1738961B1 (en) * 2005-06-22 2014-03-19 Alpine Electronics, Inc. System and method for operating a device in a multi-user environment comprising multiple seats
WO2014083691A1 (en) 2012-11-30 2014-06-05 三菱電機株式会社 Wireless communication apparatus
US9972336B2 (en) * 2013-02-12 2018-05-15 Nec Corporation Speech input apparatus, speech processing method, speech processing program, ceiling member, and vehicle

Also Published As

Publication number Publication date Type
JPH07176178A (en) 1995-07-14 application

Similar Documents

Publication Publication Date Title
US7490044B2 (en) Audio signal processing
US20070253574A1 (en) Method and apparatus for selectively extracting components of an input signal
US20100296668A1 (en) Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US20080232603A1 (en) System for modifying an acoustic space with audio source content
US5867815A (en) Method and device for controlling the levels of voiced speech, unvoiced speech, and noise for transmission and reproduction
US20090080666A1 (en) Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
US20100189275A1 (en) Passenger compartment communication system
US6295364B1 (en) Simplified communication system
US20090262969A1 (en) Hearing assistance apparatus
US4953219A (en) Stereo signal reproducing system using reverb unit
US20080137874A1 (en) Audio enhancement system and method
US20080004866A1 (en) Artificial Bandwidth Expansion Method For A Multichannel Signal
EP1194007A2 (en) Method and signal processing device for converting stereo signals for headphone listening
US20140337016A1 (en) Speech Signal Enhancement Using Visual Information
US20050207583A1 (en) Audio enhancement system and method
JP2002078100A (en) Method and system for processing stereophonic signal, and recording medium with recorded stereophonic signal processing program
Stone et al. Tolerable hearing aid delays. II. Estimation of limits imposed during speech production
US20100185308A1 (en) Sound Signal Processing Device And Playback Device
JP2001069597A (en) Voice-processing method and device
EP1843635A1 (en) Method for automatically equalizing a sound system
EP1124218A1 (en) Noise reduction apparatus
US20040196984A1 (en) Dynamic noise suppression voice communication device
US20080021706A1 (en) Speech distribution system
US7928307B2 (en) Karaoke system
US20150036832A1 (en) Automotive constant signal-to-noise ratio system for enhanced situation awareness

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030311

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100320

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100320

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110320

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120320

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120320

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130320

Year of fee payment: 10