JP4578426B2 - Audio sound cancellation system - Google Patents

Audio sound cancellation system Download PDF

Info

Publication number
JP4578426B2
JP4578426B2 JP2006087372A JP2006087372A JP4578426B2 JP 4578426 B2 JP4578426 B2 JP 4578426B2 JP 2006087372 A JP2006087372 A JP 2006087372A JP 2006087372 A JP2006087372 A JP 2006087372A JP 4578426 B2 JP4578426 B2 JP 4578426B2
Authority
JP
Japan
Prior art keywords
signal
filter
audio sound
adaptive filter
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006087372A
Other languages
Japanese (ja)
Other versions
JP2007266845A (en
Inventor
徹 丸本
望 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2006087372A priority Critical patent/JP4578426B2/en
Publication of JP2007266845A publication Critical patent/JP2007266845A/en
Application granted granted Critical
Publication of JP4578426B2 publication Critical patent/JP4578426B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Description

本発明は、オーディオ音キャンセルシステムに係わり、特にアレイ構成の第１、第２のマイクロホンにより検出された各信号に含まれるオーディオ音をキャンセルするオーディオ音キャンセルシステムに関する。   The present invention relates to an audio sound canceling system, and more particularly to an audio sound canceling system for canceling an audio sound included in each signal detected by first and second microphones having an array configuration.

適応フィルタを用いたオーディオサウンドキャンセレーション(ASC)システムが実用化されている(特許文献１参照)。このASCシステムでは、非音声認識時にスピーカからマイク位置までの伝達関数を推定し、マイク位置でのオーディオ音を模擬生成可能にする。これにより、ASCシステムでは音楽再生下での音声認識時、マイク入力信号から上記模擬生成されたオーディオ信号を減算することで発話音声のみを残すことができ、音楽再生下での音声認識率を向上できる。
図７はかかるオーディオサウンドキャンセレーション(ASC)システムの構成図である。オーディオソース１はオーディオ信号ASをDA変換器９およびアンプ２を介してスピーカ３に入力し、該スピーカより車室内音響空間に放射する。マイクロホン４は放射されたオーディオ音を検出し、アンプ５、AD変換器６及び遅延部７を介して誤差演算部８に入力する。又、オーディオソース１は前記オーディオ信号ASをオーディオ音キャンセルコントローラ１０に入力する。オーディオ音キャンセルコントローラ１０は、入力するオーディオ信号x(n)にフィルタリング処理を施して出力する適応フィルタ１０ａと、オーディオ信号x(n)を参照信号として入力され誤差演算部８から出力する誤差信号e(ｎ)のパワーが最小となるように適応信号処理を行って適応フィルタの１０ａのフィルタ係数を決定するＬＭＳ演算部(係数更新部)１０ｂを備えている。 An audio sound cancellation (ASC) system using an adaptive filter has been put into practical use (see Patent Document 1). In this ASC system, a transfer function from a speaker to a microphone position is estimated during non-speech recognition, and an audio sound at the microphone position can be simulated. This allows the ASC system to leave only the speech sound by subtracting the simulated audio signal from the microphone input signal during speech recognition under music playback, improving the speech recognition rate under music playback it can.
FIG. 7 is a block diagram of such an audio sound cancellation (ASC) system. The audio source 1 inputs the audio signal AS to the speaker 3 via the DA converter 9 and the amplifier 2 and radiates it from the speaker to the vehicle interior acoustic space. The microphone 4 detects the radiated audio sound and inputs it to the error calculation unit 8 via the amplifier 5, AD converter 6 and delay unit 7. The audio source 1 inputs the audio signal AS to the audio sound cancel controller 10. The audio sound cancellation controller 10 performs filtering processing on the input audio signal x (n) and outputs it, and an error signal e output from the error calculation unit 8 that is input with the audio signal x (n) as a reference signal. An LMS computing unit (coefficient updating unit) 10b is provided that performs adaptive signal processing so that the power of (n) is minimized and determines the filter coefficient of the adaptive filter 10a.

適応フィルタ１０aはＬＭＳ演算部１０ｂにより決定された係数に従って参照信号ｘ(n)にデジタルフィルタ処理を施してオーディオ音キャンセル信号ｙ(n)を出力する。誤差演算部８はオーディオ音キャンセル信号y(n)とマイクロホン検出信号d(n)の差を誤差信号e(ｎ)として出力する。
適応フィルタ１０aは図８に示すように、NタップのFIR型デジタルフィルタで構成され、例えば、(1)入力信号を順次１サンプリング時間遅延する(N-1)個の遅延要素DL,DL・・・と、(2)各延要素出力に係数ｗ0(n)，ｗ1(n)，ｗ2(n)，・・・ｗN-1(n)を乗算するN個の乗算部ML,ML,・・・と、(3)各乗算部出力を順次加算する加算部AD,AD・・・で実現される。すなわち、現時刻n・Tsにおける参照信号をｘ(n)、その時の各乗算部の係数をｗ0(n)，ｗ1(n)，ｗ2(n)，・・・，ｗN-1(n)、出力(オーディオ音キャンセル信号)をｙnとすれば、適応フィルタ１０ａは次式
ｙ(n)＝Σiｗi(n)・ｘ(n-i) (i=0〜N-1) ・・(1)
の演算を実行し、オーディオ音キャンセル信号ｙ(n)を出力する。 The adaptive filter 10a performs digital filter processing on the reference signal x (n) according to the coefficient determined by the LMS calculation unit 10b, and outputs an audio sound cancellation signal y (n). The error calculator 8 outputs the difference between the audio sound cancellation signal y (n) and the microphone detection signal d (n) as an error signal e (n).
As shown in FIG. 8, the adaptive filter 10a is composed of an N-tap FIR type digital filter. For example, (1) (N-1) delay elements DL, DL,. (2) N multipliers ML for multiplying each extended element output by coefficients w 0 (n), w 1 (n), w 2 (n), ... w N-1 (n), ML,... And (3) Adders AD, AD,. That is, the reference signal at the current time n · Ts x (n), the coefficients of the multipliers portion at that w 0 (n), w 1 (n), w 2 (n), ···, w N-1 If the output (audio sound cancellation signal) is yn, the adaptive filter 10a is expressed by the following equation: y (n) = Σ i wi (n) · x (ni) (i = 0 to N−1) (1)
The audio sound cancellation signal y (n) is output.

ＬＭＳ演算部１０ｂ は、１サンプリング時刻Ts後の次の時刻(n+1)・Tsにおける適応フィルタ１０ａの係数w(n+1)を、現時刻n・Tｓにおける適応フィルタの係数w(n)と参照信号x(n)及びエラー信号ｅ(n)を用いて次式

Figure 0004578426
により決定する。但し、太文字wおよびxはベクトルを意味し、
Figure 0004578426
 である。又、Ｔは転置行列を意味し、μは適応フィルタ係数の更新ステップを決める１以下の定数（ステップサイズパラメータ）である。
図７のオーディオキャンセルシステムによれば、スピーカからマイクロホンまでの伝達特性を模擬するように、換言すれば、オーディオ音をキャンセルするように適応フィルタ１０aの係数が決定される。この結果、オーディオ音が出力されている状態において話者が音声を発声すると、マイクロホン４により該オーディオ音と発話音声の合成音が検出され、誤差発生部８は該合成音信号d(n)よりオーディオ音キャンセル信号y(n)を除いた誤差信号e(n)を話者の発話音声信号として音声認識装置SRUに入力し、音声認識装置SRUは入力音声を認識する。 The LMS operation unit 10b calculates the coefficient w (n + 1) of the adaptive filter 10a at the next time (n + 1) · Ts after one sampling time Ts, and the coefficient w (n) of the adaptive filter at the current time n · Ts. And reference signal x (n) and error signal e (n)
Figure 0004578426
 Determined by However, the bold letters w and x mean vectors,
Figure 0004578426
 It is. T denotes a transposed matrix, and μ is a constant of 1 or less (step size parameter) that determines the update step of the adaptive filter coefficient.
According to the audio cancellation system of FIG. 7, the coefficient of the adaptive filter 10a is determined so as to simulate the transfer characteristic from the speaker to the microphone, in other words, to cancel the audio sound. As a result, when the speaker utters a voice in a state where the audio sound is being output, a synthesized sound of the audio sound and the uttered voice is detected by the microphone 4, and the error generating unit 8 uses the synthesized sound signal d (n). The error signal e (n) excluding the audio sound cancellation signal y (n) is input to the speech recognition device SRU as a speech signal of the speaker, and the speech recognition device SRU recognizes the input speech.

図７では時間領域のLMSアルゴリズムにしたがってオーディオ音キャンセルコントローラ１０がフィルタ係数を決定した場合であるが、収束時間を短縮できる周波数領域のLMSアルゴリズム(非特許文献１参照)にしたがってフィルタ係数を決定することもできる。図９は周波数領域のLMSアルゴリズムを採用したオーディオ音キャンセルコントローラ１０の構成図である。
遅延部１１0〜１１N-1は参照信号であるオーディオ信号x(n)を1サンプル時間づつ順次遅延してN個の離散オーディオデータを発生し、離散フーリエ変換処理部（DFT）１２は該離散オーディオデータに離散フーリエ変換処理を施してN個の周波数サンプル(周数成分)X(0,n),X(1,n),….,X(N-2,n),X(N-1,n)を出力する。適応フィルタ１３は、N個の乗算器MLPと(N-1)個の加算器ADDを備え、後述するLMS適応制御により決定されたN個の周波数に応じたフィルタ係数W(0,n),W(1,n),….,W(N-2,n),W（N-1,n)を対応するN個の周波数成分X(0,n),X(1,n),….,X(N-2,n),X（N-1,n)に乗算し、乗算結果を合成してオーディオキャンセル音信号y(n)を出力する。すなわち、適応フィルタ１３は次式、

Figure 0004578426
の演算を実行する。 In FIG. 7, the audio sound cancellation controller 10 determines the filter coefficient according to the time domain LMS algorithm. However, the filter coefficient is determined according to the frequency domain LMS algorithm (see Non-Patent Document 1) that can shorten the convergence time. You can also FIG. 9 is a configuration diagram of the audio sound cancel controller 10 that employs the LMS algorithm in the frequency domain.
Delay unit 11 0 to 11 N-1 is the N discrete audio data to generate an audio signal x (n) is a reference signal one sample period at a time sequentially delayed to a discrete Fourier transform unit (DFT) 12 is the Discrete audio data is subjected to discrete Fourier transform processing and N frequency samples (frequency components) X (0, n), X (1, n), ..., X (N-2, n), X (N -1, n) is output. The adaptive filter 13 includes N multipliers MLP and (N−1) adders ADD, and filter coefficients W (0, n), N corresponding to N frequencies determined by LMS adaptive control described later. W (1, n), ..., W (N-2, n), W (N-1, n) corresponding N frequency components X (0, n), X (1, n), ... ., X (N-2, n) and X (N-1, n) are multiplied, and the multiplication results are synthesized to output an audio cancellation sound signal y (n). That is, the adaptive filter 13 has the following formula:
Figure 0004578426
 Execute the operation.

誤差演算部８は観測点に設置したマイクロホン(図示せず)で検出した検出信号（話者の発話音声とオーディオ音との合成音検出信号）d(n)とオーディオ音キャンセル信号y(n)との差である誤差信号e(n)を次式

Figure 0004578426
により計算して出力する。
係数更新部１４は、N個の周波数成分毎に、前記周波数成分X(n)と適応フィルタのフィルタ係数W(n)と誤差信号e(n)とステップサイズパラメータμを用いて次式
Figure 0004578426
 により、次の時刻におけるN個のフィルタ係数W(n+1)を計算して適応フィルタ１３に入力する。なお、上式においてE（・）は期待値演算を意味する。 The error calculation unit 8 detects a detection signal (synthesized sound detection signal of a speaker's speech and audio) d (n) and an audio sound cancellation signal y (n) detected by a microphone (not shown) installed at an observation point. The error signal e (n), which is the difference between
Figure 0004578426
 Calculate and output by
The coefficient updating unit 14 uses the frequency component X (n), the filter coefficient W (n) of the adaptive filter, the error signal e (n), and the step size parameter μ for each of the N frequency components as follows:
Figure 0004578426
 Thus, N filter coefficients W (n + 1) at the next time are calculated and input to the adaptive filter 13. In the above equation, E (•) means expected value calculation.

以上より、話者が発話していない状態においてオーディオ音キャンセルコントローラ１０の係数更新部１４は周波数領域のLMSアルゴリズム((5)式)によりオーディオ音をキャンセルするフィルタ係数を決定して適応フィルタ１３に設定する。このため、音声認識時に話者が発話するとマイクロホン検出信号（話者の発話音声とオーディオ音との合成音検出信号）d(n)からオーディオ音キャンセル信号y(n)を除いた発話音声のみが音声認識装置に入力される。   As described above, when the speaker is not speaking, the coefficient updating unit 14 of the audio sound cancellation controller 10 determines the filter coefficient for canceling the audio sound by the LMS algorithm (equation (5)) in the frequency domain, and applies it to the adaptive filter 13. Set. For this reason, when the speaker speaks during speech recognition, only the speech signal obtained by removing the audio cancel signal y (n) from the microphone detection signal (synthesized sound detection signal of the speaker's speech and audio sound) d (n) Input to the speech recognition device.

ところで、近年、車室内音声認識における雑音抑制手段としてマイクロホンアレイシステムが実用化されつつある(非特許文献２参照)。このシステムは複数のマイクロホンを用いて、信号処理を施すことにより指向特性を形成し、これにより周囲雑音を除去してSN比を改善し、音声認識率を向上するもので、各マイクロホン距離は数cm程度である。
図１０はマイクロホンアレイシステムの構成図であり、複数のマイクロホンMC1,MC2,…を所定間隔で直線状に配置して構成したマイクロホン アレイ２１と、各マイクロホンに対応して設けられたフィルタFL1,FL2,…と各フィルタ出力を合成する合成部CMBを備え、入力信号に含まれる雑音を抑圧する雑音抑圧部２２と、雑音抑圧部２２を構成するフィルタFL1,FL2,…の係数を決定する処理制御部２３と、音声認識部２４とで構成されている。 Incidentally, in recent years, a microphone array system has been put into practical use as noise suppression means in vehicle interior voice recognition (see Non-Patent Document 2). This system uses multiple microphones to form a directional characteristic by applying signal processing, thereby removing ambient noise and improving the signal-to-noise ratio and improving the speech recognition rate. It is about cm.
FIG. 10 is a configuration diagram of a microphone array system, in which a plurality of microphones MC1, MC2,... Are linearly arranged at predetermined intervals, and filters FL1, FL2 provided corresponding to the respective microphones. ,... And a synthesis unit CMB that synthesizes each filter output, and processing control for determining the coefficients of the noise suppression unit 22 that suppresses noise included in the input signal and the filters FL1, FL2,. Part 23 and a voice recognition part 24.

一般的に、マイクロホンアレイシステム（以下MAシステムとする）は非線形なシステムである。一方、ASCシステムのフィルタ演算部は線形システムである。このため、MAシステムとASCシステムと音声認識装置とを組み合わせてシステム構成する際、図１１（A）に示すように、 MAシステム１００をASCシステム２００の前段に設ける接続構成は採用できない。なぜならば、図１１（A）の接続構成では、ASCシステム２００のリファレンス信号に非線形の信号処理結果が含まれてしまい、リダクション性能の低下、すなわち音声認識性能が悪化する問題が発生するからである。このため、ASCシステム、MAシステム双方のシステムの効果を発揮させるためには、図１１(B)に示すようにASCシステム２００をMAシステム１００の前段に設ける接続構成を採用する必要がある。   In general, a microphone array system (hereinafter referred to as an MA system) is a non-linear system. On the other hand, the filter operation unit of the ASC system is a linear system. For this reason, when the system configuration is configured by combining the MA system, the ASC system, and the voice recognition device, a connection configuration in which the MA system 100 is provided in the preceding stage of the ASC system 200 as shown in FIG. This is because, in the connection configuration of FIG. 11A, the reference signal of the ASC system 200 includes a non-linear signal processing result, which causes a problem that the reduction performance is reduced, that is, the speech recognition performance is deteriorated. . For this reason, in order to exhibit the effects of both the ASC system and the MA system, it is necessary to adopt a connection configuration in which the ASC system 200 is provided in the front stage of the MA system 100 as shown in FIG.

図１２はASCシステムをMAシステムの前段に配置する場合のASCシステム２００の第１の構成図であり、時間領域のLMSアルゴリズムにしたがってフィルタ係数を決定する例である。このASCシステム２００において、マイクロホン３１L、３１RはMAシステム１００のマイクロホンアレイを構成するもので、スピーカ３２から出力するオーディオ音と話者の発話音声との合成音声dL(n），dR(n）を検出して出力する。
各マイクロホンに対応して、図７、図８において説明したオーディオ音キャンセルコントローラ１０と同一構成のオーディオ音キャンセルコントローラ１０L，１０Rが設けられ、かつ、誤差演算部８L，８Ｒが設けられている。誤差演算部８L，８Ｒはそれぞれ第１、第２のマイクロホン３１L，３１Rによる検出信号dL(n），dR(n）とオーディオ音キャンセルコントローラ１０L，１０Rから出力するオーディオ音キャンセル信号yL(n），yR(n）との差を誤差信号eL(n），eR(n）として出力する。オーディオ音キャンセルコントローラ１０L，１０Rは、参照信号であるオーディオ信号x(n)を1サンプルクロック分順次遅延してN個の離散オーディオデータを発生する遅延部１０ｃを共用しており、各オーディオ音キャンセルコントローラ１０L，１０Rの係数更新部(LMS演算部)１０ｂは(2)式に従ってフィルタ係数を更新する。 FIG. 12 is a first block diagram of the ASC system 200 in the case where the ASC system is arranged at the front stage of the MA system, and is an example in which the filter coefficient is determined according to the LMS algorithm in the time domain. In the ASC system 200, the microphones 31L and 31R constitute the microphone array of the MA system 100. The synthesized sounds d L (n) and d R (n ) Is detected and output.
Corresponding to each microphone, audio sound cancellation controllers 10L and 10R having the same configuration as the audio sound cancellation controller 10 described in FIGS. 7 and 8 are provided, and error calculation units 8L and 8R are provided. The error calculators 8L and 8R respectively detect the detection signals d L (n) and d R (n) from the first and second microphones 31L and 31R and the audio sound cancellation signal y L (output from the audio sound cancellation controllers 10L and 10R). The difference between n) and y R (n) is output as error signals e L (n) and e R (n). The audio sound cancellation controllers 10L and 10R share a delay unit 10c that sequentially delays an audio signal x (n) as a reference signal by one sample clock to generate N discrete audio data, and cancels each audio sound. The coefficient update unit (LMS calculation unit) 10b of the controllers 10L and 10R updates the filter coefficient according to the equation (2).

図１３はASCシステムをMAシステムの前段に配置する場合のASCシステム２００の第２の構成図であり、周波数領域のLMSアルゴリズムにしたがってフィルタ係数を決定する例である。このASCシステム２００において、マイクロホン３１L、３１RはMAシステム１００のマイクロホンアレイを構成するもので、スピーカ３２から出力するオーディオ音と話者の発話音声との合成音声dL(n），dR(n）を検出して出力する。
各マイクロホンに対応して、図９において説明したオーディオ音キャンセルコントローラ１０と同一構成のオーディオ音キャンセルコントローラ１０L，１０Rが設けられ、かつ、誤差演算部８L，８Ｒが設けられている。誤差演算部８L，８Ｒはそれぞれ第１、第２のマイクロホン３１L，３１Rによる検出信号dL(n），dR(n）とオーディオ音キャンセルコントローラ１０L，１０Rから出力するオーディオ音キャンセル信号yL(n），yR(n）との差を誤差信号eL(n），eR(n）として出力する。オーディオ音キャンセルコントローラ１０L，１０Rは、遅延部１１0〜１１N-1と離散フーリエ変換処理部（DFT）１２を共用している。各オーディオ音キャンセルコントローラ１０L，１０Rの係数更新部(LMS演算部)１４は(5)式に従ってフィルタ係数を更新する。
特開２００１−２３６０９０号公報 "Transform Domain LMS Algorithm" , S.Shankar et al. IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. ASSP-31, NO.3, JUNE 1983 「騒音下音声認識のためのマイクロホンアレー技術」、金田豊、日本音響学会誌53巻11号（１９９７）、PP872-876 FIG. 13 is a second block diagram of the ASC system 200 when the ASC system is arranged at the front stage of the MA system, and is an example in which the filter coefficient is determined according to the LMS algorithm in the frequency domain. In the ASC system 200, the microphones 31L and 31R constitute the microphone array of the MA system 100. The synthesized sounds d L (n) and d R (n ) Is detected and output.
Corresponding to each microphone, audio sound cancellation controllers 10L and 10R having the same configuration as the audio sound cancellation controller 10 described in FIG. 9 are provided, and error calculation units 8L and 8R are provided. The error calculators 8L and 8R respectively detect the detection signals d L (n) and d R (n) from the first and second microphones 31L and 31R and the audio sound cancellation signal y L (output from the audio sound cancellation controllers 10L and 10R). The difference between n) and y R (n) is output as error signals e L (n) and e R (n). The audio sound cancellation controllers 10L and 10R share the delay units 11 0 to 11 N-1 and the discrete Fourier transform processing unit (DFT) 12. The coefficient update unit (LMS calculation unit) 14 of each audio sound cancellation controller 10L, 10R updates the filter coefficient according to the equation (5).
JP 2001-236090 A "Transform Domain LMS Algorithm", S. Shankar et al. IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. ASSP-31, NO.3, JUNE 1983 "Microphone array technology for speech recognition under noise", Yutaka Kaneda, Journal of the Acoustical Society of Japan, Vol. 53, No. 11 (1997), PP872-876

しかし図１２、図１３のASCシステムでは、マイクロホンアレイの各マイクロホンに対してそれぞれオーディオ音キャンセルコントローラが必要となり、全体のASCシステムとしての処理量が多くなり、しかも、ハード規模が大きくなり、システムのコストが高くなる問題がある。
以上から、本発明の目的は、ASCシステムをMAシステムの前段に設ける場合であっても処理量およびハード規模の増大を防止できるようにすることである。 However, in the ASC system of FIGS. 12 and 13, an audio sound cancel controller is required for each microphone of the microphone array, the processing amount of the entire ASC system is increased, and the hardware scale is increased. There is a problem that costs increase.
From the above, an object of the present invention is to prevent an increase in the processing amount and the hardware scale even when the ASC system is provided in the preceding stage of the MA system.

本発明はアレイ構成の第１、第２のマイクロホンにより検出された各信号に含まれるオーディオ音をキャンセルするオーディオ音キャンセルシステムである。
本発明の第１のオーディオ音キャンセルシステムは、(1)離散的な時系列のオーディオ信号に離散フーリエ変換処理を施して複数の周波数の信号成分を出力する離散フーリエ変換処理部、(2)スピーカから第１のマイクロホンまでの伝達特性を模擬するフィルタ係数であって全周波帯域の周波数のフィルタ係数が設定され、該フィルタ係数を対応する周波数信号成分に乗算し、乗算結果を合成してオーディオ音キャンセル信号を出力する第１の適応フィルタ、(3)スピーカから第２のマイクロホンまでの伝達特性を模擬する全周波帯域の周波数のフィルタ係数のうち高周波帯域の周波数のフィルタ係数が設定され、該フィルタ係数を対応する周波数信号成分に乗算し、乗算結果を合成して高周波帯域のオーディオ音キャンセル信号を出力する第２の適応フィルタ、(4)第１の適応フィルタの低周波帯域におけるオーディオ音キャンセル信号と第２の適応フィルタから出力する高周波帯域のオーディオ音キャンセル信号を合成する合成部、(5)前記第１の適応フィルタの出力信号と第１のマイクロホン検出信号との差分である誤差信号を発生する第１の誤差信号発生部、(6)前記合成部の出力信号と第２のマイクロホン検出信号との差分である誤差信号を発生する第２の誤差信号発生部、(7) 周波数毎に、前記周波数信号成分と前記適応フィルタのフィルタ係数と前記誤差信号を用いて、周波数領域のLMSアルゴリズムにより前記第１、第２の適応フィルタの係数をそれぞれ演算する第１、第２の係数更新部を備えている。 The present invention is an audio sound canceling system for canceling an audio sound included in each signal detected by first and second microphones having an array configuration.
A first audio sound cancellation system according to the present invention includes: (1) a discrete Fourier transform processing unit that performs discrete Fourier transform processing on a discrete time-series audio signal and outputs signal components of a plurality of frequencies; and (2) a speaker. Filter coefficients simulating transfer characteristics from the first microphone to the first microphone, and filter coefficients for all frequencies are set, and the corresponding frequency signal components are multiplied by the filter coefficients, and the multiplication results are synthesized to produce an audio sound. A first adaptive filter that outputs a cancel signal, and (3) a filter coefficient of a frequency in a high frequency band among filter coefficients of a frequency in all frequencies simulating transfer characteristics from a speaker to a second microphone, and the filter multiplied by a coefficient corresponding frequency signal component, a second outputting audio sound canceling signal of the high frequency band by combining the multiplication result An adaptive filter, (4) a synthesis unit for synthesizing an audio sound cancellation signal in the low frequency band of the first adaptive filter and an audio sound cancellation signal in the high frequency band output from the second adaptive filter, (5) the first adaptation A first error signal generator for generating an error signal which is a difference between the filter output signal and the first microphone detection signal; and (6) a difference between the output signal of the synthesizer and the second microphone detection signal. A second error signal generator for generating an error signal; (7) for each frequency, using the frequency signal component, the filter coefficient of the adaptive filter, and the error signal, the first, second, The first and second coefficient updating units for calculating the coefficients of the two adaptive filters are provided.

本発明の第２のオーディオ音キャンセルシステムは、(1) スピーカから第１のマイクロホンまでの伝達特性を模擬するNタップのフィルタ係数が設定され、該フィルタ係数を対応する遅延時間信号に乗算し、乗算結果を合成して出力する第１の適応フィルタ、(2) Nタップの先頭寄りの一部タップに対応する各遅延時間信号に含まれる低域信号成分を除去するハイパスフィルタ、(3) スピーカから第２のマイクロホンまでの高域伝達特性を模擬する先頭寄りの前記一部タップのフィルタ係数が設定され、該フィルタ係数を前記ハイパスフィルタから出力する対応する遅延時間信号に乗算し、乗算結果を合成して出力する第２の適応フィルタ、(4)前記第１の適応フィルタの出力信号と第１のマイクロホン検出信号との差分である誤差信号を発生する第１の誤差信号発生部、(5)前記第１の適応フィルタ出力信号と第２の適応フィルタ出力信号とを合成する合成部、(6)前記合成部の出力信号と第２のマイクロホン検出信号との差分である誤差信号を発生する第２の誤差信号発生部、(7) 前記遅延時間信号と前記適応フィルタのフィルタ係数と前記誤差信号を用いて、時間領域のLMSアルゴリズムにより前記第１、第２の適応フィルタの係数をそれぞれ演算する第１、第２の係数更新部を備えている。   The second audio sound canceling system according to the present invention includes: (1) an N-tap filter coefficient that simulates a transfer characteristic from the speaker to the first microphone is set, and the corresponding delay time signal is multiplied by the filter coefficient; A first adaptive filter that synthesizes and outputs the multiplication results; (2) a high-pass filter that removes a low-frequency signal component included in each delay time signal corresponding to a partial tap near the top of the N tap; and (3) a speaker. The filter coefficients of the partial taps near the head that simulate the high-frequency transfer characteristics from the first to the second microphones are set, the filter coefficients are multiplied by the corresponding delay time signals output from the high-pass filter, and the multiplication results are A second adaptive filter to be combined and output; (4) a first adaptive filter that generates an error signal that is a difference between the output signal of the first adaptive filter and the first microphone detection signal; (5) a synthesis unit for synthesizing the first adaptive filter output signal and the second adaptive filter output signal, and (6) an output signal of the synthesis unit and a second microphone detection signal. A second error signal generator for generating an error signal that is a difference; (7) the first and second signals are generated by a time-domain LMS algorithm using the delay time signal, the filter coefficient of the adaptive filter, and the error signal; Are provided with first and second coefficient updating units for calculating the coefficients of the adaptive filter, respectively.

本発明の第１のオーディオ音キャンセルシステムによれば、第１の周波数領域LMS演算部は全周波帯域について第１の適応フィルタのフィルタ係数を演算し、第２の周波数領域LMS演算部は高周波帯域の周波数について第２の適応フィルタのフィルタ係数を演算し、かつ、低周波帯域の周波数のフィルタ係数として第１の適応フィルタのフィルタ係数を使用するようにしたから、第２の周波数領域LMS演算部は低周波帯域のフィルタ係数の演算をする必要が無く、しかも第2の適応フィルタは低周波帯域の構成が不要となり、このため、ASCシステムをMAシステムの前段に設けても処理量およびハード規模の増大を防止することができる。
本発明の第２のオーディオ音キャンセルシステムによれば、第１の時間領域LMS演算部は全タップ(＝Nタップ)について第１の適応フィルタのフィルタ係数を演算し、第１の適応フィルタはNタップのフィルタ係数を対応する遅延時間信号に乗算し、乗算結果を合成して第１のオーディオ音キャンセル信号を出力し、第２の時間領域LMS演算部はNタップのうち先頭寄りの一部（M個）のタップのフィルタ係数を演算し、第２の適応フィルタは前記一部タップのフィルタ係数を、ハイパスフィルタを介して入力する遅延時間信号に乗算し、乗算結果を合成して出力し、合成部は第１の適応フィルタ出力信号と第２の適応フィルタ出力信号とを合成して第２のオーディオ音キャンセル信号を発生するようにしたから、第２の時間領域LMS演算部は一部のタップのフィルタ係数の演算をするだけでよく、しかも第２の適応フィルタは一部のタップに応じた構成だけでよく、このため、ASCシステムをMAシステムの前段に設けても処理量およびハード規模の増大を防止することができる。 According to the first audio sound canceling system of the present invention, the first frequency domain LMS computing unit computes the filter coefficient of the first adaptive filter for the entire frequency band, and the second frequency domain LMS computing unit is the high frequency band. Since the filter coefficient of the second adaptive filter is calculated for the frequency of the first and the filter coefficient of the first adaptive filter is used as the filter coefficient of the frequency in the low frequency band, the second frequency domain LMS calculation unit Does not require the calculation of low-frequency band filter coefficients, and the second adaptive filter does not require a low-frequency band configuration. For this reason, even if the ASC system is installed in front of the MA system, the processing amount and the hardware scale Can be prevented from increasing.
According to the second audio sound canceling system of the present invention, the first time domain LMS calculating unit calculates the filter coefficient of the first adaptive filter for all taps (= N taps), and the first adaptive filter is N Multiply the corresponding delay time signal by the filter coefficient of the tap, synthesize the multiplication results and output the first audio sound cancellation signal, and the second time domain LMS operation unit is a part of the N tap near the head ( M) tap filter coefficients are calculated, and the second adaptive filter multiplies the partial tap filter coefficients by the delay time signal input through the high-pass filter, synthesizes and outputs the multiplication results, Since the synthesizing unit synthesizes the first adaptive filter output signal and the second adaptive filter output signal to generate the second audio sound cancellation signal, the second time domain LMS arithmetic unit is partially T The second adaptive filter only needs to be configured according to some taps, and even if the ASC system is provided in the front stage of the MA system, the processing amount and the hardware scale are reduced. An increase can be prevented.

本発明は、音響伝達関数の共通性を利用してLMS演算部、適応フィルタの処理量及びハードウェアの削減を図るものである。車室内の同一スピーカから各マイクロホンまでの伝達関数は、マイクロホンが近接設置されていれば、低域ほど大きな差分がなく共通化できる部分が多いという考え方に基づいている。なお、マイクロホンアレイでは隣接するマイクロホン間距離は数ｃｍ程度である。
本発明の第１のオーディオ音キャンセルシステムでは、第１の周波数領域LMS演算部は全周波数について第１の適応フィルタのフィルタ係数を演算し、第２の周波数領域LMS演算部は高域の周波数について第２の適応フィルタのフィルタ係数を演算し、かつ低域の周波数のフィルタ係数として第１の適応フィルタのフィルタ係数を使用する。このようにすることにより、第２の周波数領域LMS演算部は低域のフィルタ係数の演算をする必要が無く、しかも第2の適応フィルタは低域の構成が不要となる。
本発明の第２のオーディオ音キャンセルシステムでは、第１の時間領域LMS演算部は全タップ(＝Nタップ)について第１の適応フィルタのフィルタ係数を演算し、第１の適応フィルタはNタップのフィルタ係数を対応する遅延時間信号に乗算し、乗算結果を合成して第１のオーディオ音キャンセル信号を出力し、第２の時間領域LMS演算部はNタップのうち先頭寄りの一部タップのフィルタ係数を演算し、第２の適応フィルタは前記一部タップのフィルタ係数を、ハイパスフィルタを介して入力する遅延時間信号に乗算し、乗算結果を合成して出力し、合成部は第１の適応フィルタ出力信号と第２の適応フィルタ出力信号とを合成して第２のオーディオ音キャンセル信号を発生する。このようにすることにより、第２の時間領域LMS演算部は一部のタップのフィルタ係数の演算をするだけでよく、しかも第２の適応フィルタは一部のタップに応じた構成だけでよい。 The present invention aims to reduce the processing amount and hardware of the LMS calculation unit, adaptive filter by utilizing the commonality of acoustic transfer functions. The transfer function from the same speaker in the vehicle interior to each microphone is based on the idea that if the microphones are installed close together, the lower the frequency, the greater the difference and the greater the portion that can be shared. In the microphone array, the distance between adjacent microphones is about several centimeters.
In the first audio sound cancellation system of the present invention, the first frequency domain LMS computing unit computes the filter coefficient of the first adaptive filter for all frequencies, and the second frequency domain LMS computing unit is for high frequencies. The filter coefficient of the second adaptive filter is calculated, and the filter coefficient of the first adaptive filter is used as the filter coefficient of the low frequency. In this way, the second frequency domain LMS computing unit does not need to compute the low-pass filter coefficient, and the second adaptive filter does not require a low-frequency configuration.
In the second audio sound canceling system of the present invention, the first time domain LMS computing unit computes the filter coefficient of the first adaptive filter for all taps (= N taps), and the first adaptive filter has N taps. Multiply the corresponding delay time signal by the filter coefficient, synthesize the multiplication results and output the first audio sound cancellation signal, and the second time domain LMS operation unit filters the first part of the N taps. The second adaptive filter multiplies the partial tap filter coefficient by the delay time signal input through the high-pass filter, synthesizes and outputs the multiplication result, and the synthesizer performs the first adaptation. The filter output signal and the second adaptive filter output signal are combined to generate a second audio sound cancellation signal. In this way, the second time domain LMS calculating unit only needs to calculate the filter coefficients of some taps, and the second adaptive filter only needs to have a configuration corresponding to some taps.

（A）第１実施例
図１は本発明の第１実施例のオーディオ音キャンセルシステムの構成図であり、周波数領域のLMSアルゴリズムを用いてフィルタ係数を演算する例である。
車室内のスピーカからマイクロホンアレイを構成する第１、第２の２つのマイクロホンまでの低域の伝達関数にはほとんど差がない。そこで、第１のマイクロホンに対応する第１のオーディオ音キャンセルコントローラ５３Lは、全周波帯域におけるスピーカから第１のマイクロホンまでの伝達関数を推定して適応フィルタに設定する。一方、第２のマイクロホンに対応する第２のオーディオ音キャンセルコントローラ５３Rは、スピーカから第２のマイクロホンまでの高域周波帯域における伝達関数を推定して適応フィルタに設定し、スピーカから第２のマイクロホンまでの低域周波帯域の伝達関数は第１のオーディオ音キャンセルコントローラが推定したスピーカから第１のマイクロホンまでの低域周波帯域の伝達関数を使用する。 (A) First Embodiment FIG. 1 is a configuration diagram of an audio sound canceling system according to a first embodiment of the present invention, which is an example of calculating a filter coefficient using a frequency domain LMS algorithm.
There is almost no difference in the low-frequency transfer function from the speaker in the vehicle interior to the first and second microphones constituting the microphone array. Therefore, the first audio sound cancellation controller 53L corresponding to the first microphone estimates the transfer function from the speaker to the first microphone in the entire frequency band, and sets it as an adaptive filter. On the other hand, the second audio sound cancellation controller 53R corresponding to the second microphone estimates the transfer function in the high frequency band from the speaker to the second microphone and sets it as an adaptive filter, and the second microphone from the speaker. The transfer function in the low frequency band up to is the transfer function in the low frequency band from the speaker to the first microphone estimated by the first audio sound cancellation controller.

図示しないオーディオ装置から出力されたオーディオ信号x(n)はスピーカ５１に入力し、該スピーカより車室内音響空間に放射する。マイクロホン５２L、５２RはMAシステム１００のマイクロホンアレイを構成するもので、スピーカ５１から出力するオーディオ音と話者の発話音声との合成音声dL(n），dR(n）を検出して出力する。
各マイクロホン５２L、５２Rに対応してオーディオ音キャンセルコントローラ５３L．５３Ｒと誤差演算部５４L，５４Ｒが設けられている。誤差演算部５４L，５４Ｒはそれぞれ第１、第２のマイクロホン５１L，５１Rによる検出信号dL(n），dR(n）とオーディオ音キャンセル信号yL(n），yR(n）との差を誤差信号eL(n），eR(n）として出力する。
オーディオ音キャンセルコントローラ５３Lにおいて、遅延部６１は参照信号であるオーディオ信号x(n)を1サンプル時間づつ順次遅延してN個の離散オーディオデータx(n),x(n-1),….,ｘ（n-N+1）を発生し、離散フーリエ変換処理部６２はＮサンプルの離散的なオーディオ信号に離散フーリエ変換処理を施してＮ個の周波数サンプル(周数成分)X(0,n),X(1,n),….,X(N-2,n),X(N-1,n)を出力する。適応フィルタ６３は、N個の乗算器と(N-1)個の加算器を備え、LMSアルゴリズムにより決定されたN個の全周波帯域の周波数に応じたフィルタ係数WL(0,n),WL (1,n),….,WL (N-2,n),WL（N-1,n)を対応するN個の周波数成分X(0,n),X(1,n),….,X(N-2,n),X(N-1,n)に乗算し、乗算結果を合成してオーディオキャンセル音信号yL(n)を出力する。 An audio signal x (n) output from an audio device (not shown) is input to the speaker 51, and is radiated from the speaker to the vehicle interior acoustic space. The microphones 52L and 52R constitute the microphone array of the MA system 100, and detect and output the synthesized sounds d L (n) and d R (n) of the audio sound output from the speaker 51 and the voice of the speaker. To do.
An audio sound cancel controller 53L. Corresponding to each microphone 52L, 52R. 53R and error calculators 54L and 54R are provided. The error calculators 54L and 54R respectively detect the detection signals d L (n) and d R (n) from the first and second microphones 51L and 51R and the audio sound cancellation signals y L (n) and y R (n). The difference is output as error signals e L (n) and e R (n).
In the audio sound cancel controller 53L, the delay unit 61 sequentially delays the audio signal x (n), which is a reference signal, by one sample time to obtain N pieces of discrete audio data x (n), x (n-1),. , x (n−N + 1), and the discrete Fourier transform processing unit 62 performs a discrete Fourier transform process on the discrete audio signal of N samples to obtain N frequency samples (frequency components) X (0, n), X (1, n), ..., X (N-2, n), X (N-1, n) are output. The adaptive filter 63 includes N multipliers and (N−1) adders, and filter coefficients W L (0, n), according to the frequencies of the N total frequency bands determined by the LMS algorithm. W L (1, n), ...., W L (N-2, n), W L (N-1, n) corresponding N frequency components X (0, n), X (1, n ),..., X (N−2, n), X (N−1, n) are multiplied, and the multiplication results are synthesized to output an audio cancellation sound signal y L (n).

周波数領域のLMS演算部(係数更新部)６４は、(5)式に従って周波数領域のLMSアルゴリズムを行なって、次の時刻における適応フィルタ６３のN個のフィルタ係数WL(0,n+1),WL (1,n+1),….,WL (N-2,n+1),WL（N-1,n+1)を演算する。
オーディオ音キャンセルコントローラ５３Rはオーディオ音キャンセルコントローラ５３Lとで遅延部６１および離散フーリエ変換処理部６２を共用する。オーディオ音キャンセルコントローラ５３Rの適応フィルタ７１は、高周波帯域の(N-M)個の周波数のフィルタ係数WR(M,n),….,WR (N-2,n),WR（N-1,n)が設定され、該フィルタ係数を対応する高周波帯域の(N-M)個の信号成分X(M,n),….,X (N-2,n),X（N-1,n)に乗算し、乗算結果を合成して出力する。すなわち、適応フィルタ７１は次式
X(M,n)・WR(M,n)＋・・・・+X (N-2,n)・WR (N-2,n)＋X（N-1,n)・WR（N-1,n)
の高周波帯域におけるオーディオ音キャンセル信号を出力する。
合成部７２は、適応フィルタ６３の低周波帯域におけるオーディオ音キャンセル信号
X(0,n)・WL(0,n)＋・・・・＋X(M-2,n)・WL(M-2,n)＋X(M-1,n)・WL(M-1,n)
と、適応フィルタ７１から出力する高周波帯域のオーディオ音キャンセル信号を合成してオーディオ音キャンセル信号yR(n)を出力する。 The frequency domain LMS operation unit (coefficient update unit) 64 performs the frequency domain LMS algorithm according to the equation (5), and N filter coefficients W L (0, n + 1) of the adaptive filter 63 at the next time. , W L (1, n + 1),..., W L (N−2, n + 1), W L (N−1, n + 1) are calculated.
The audio sound cancellation controller 53R shares the delay unit 61 and the discrete Fourier transform processing unit 62 with the audio sound cancellation controller 53L. The adaptive filter 71 of the audio sound cancel controller 53R has filter coefficients W R (M, n),..., W R (N−2, n), W R (N−1) of (NM) frequencies in the high frequency band. , n) is set, and (NM) signal components X (M, n),..., X (N-2, n), X (N-1, n) in the corresponding high frequency band are set to the filter coefficients. Is multiplied, and the multiplication results are combined and output. That is, the adaptive filter 71 has the following formula:
X (M, n) · W R (M, n) + · · · + X (N-2, n) · W R (N-2, n) + X (N-1, n) · W R ( N-1, n)
An audio sound cancellation signal in the high frequency band is output.
The synthesizer 72 cancels the audio sound cancellation signal in the low frequency band of the adaptive filter 63.
X (0, n) ・ W L (0, n) + ・ ・ ・ ・ ・ ・ + X (M-2, n) ・ W L (M-2, n) + X (M-1, n) ・ W L (M -1, n)
Then, the high frequency band audio sound cancel signal output from the adaptive filter 71 is synthesized to output an audio sound cancel signal y R (n).

周波数領域のLMS演算部(係数更新部)７３は、(5)式に従って周波数領域のLMSアルゴリズムを行なって次の時刻における適応フィルタ７１の（N-M）個の高周波帯域の周波数のフィルタ係数WR(M,n+1),….,WR (N-2,n+1),WR（N-1,n+1)を演算する。
以上より、話者が発話していない状態においてオーディオ音キャンセルコントローラ５３Lの係数更新部６４は、周波数領域のLMSアルゴリズムにより、スピーカ５１から第１のマイクロホン５２Ｌまでの伝達特性を模擬する全周波帯域のフィルタ係数を適応フィルタ６３に設定する。すなわち、係数更新部６４はオーディオ音をキャンセルするフィルタ係数を適応フィルタ６３に設定する。
また、オーディオ音キャンセルコントローラ５３Ｒの係数更新部７３は周波数領域のLMSアルゴリズムにより、スピーカ５１から第２のマイクロホン５２Ｒまでの高域の伝達特性を模擬する高周波帯域のフィルタ係数を適応フィルタ７１に設定する。すなわち、係数更新部７３は高域のオーディオ音をキャンセルするフィルタ係数を適応フィルタ７１に設定する。
このため、音声認識時に話者が発話すると、第１のマイクロホン検出信号（話者の発話音声とオーディオ音との合成音検出信号）dL(n)からオーディオ音キャンセル信号yL (n)を除いた発話音声のみが第1の誤差信号発生部５４LからＭＡシステム１００に入力し、また、第２のマイクロホン検出信号dR(n)からオーディオ音キャンセル信号yR(n)を除いた発話音声のみが第２の誤差信号発生部５４RからＭＡシステム１００に入力する。 The frequency domain LMS computing unit (coefficient updating unit) 73 performs a frequency domain LMS algorithm according to the equation (5) to perform filter coefficients W R (of the (NM) high frequency bands of the adaptive filter 71 at the next time. M, n + 1),..., W R (N−2, n + 1), W R (N−1, n + 1) are calculated.
As described above, in a state where the speaker is not speaking, the coefficient update unit 64 of the audio sound cancellation controller 53L uses the LMS algorithm in the frequency domain to simulate the transfer characteristics from the speaker 51 to the first microphone 52L. The filter coefficient is set in the adaptive filter 63. That is, the coefficient updating unit 64 sets a filter coefficient for canceling the audio sound in the adaptive filter 63.
The coefficient updating unit 73 of the audio sound cancellation controller 53R sets a high-frequency band filter coefficient in the adaptive filter 71 that simulates a high-frequency transfer characteristic from the speaker 51 to the second microphone 52R by a frequency domain LMS algorithm. . That is, the coefficient updating unit 73 sets a filter coefficient for canceling the high frequency audio sound in the adaptive filter 71.
For this reason, when a speaker speaks during speech recognition, an audio sound cancellation signal y L (n) is obtained from the first microphone detection signal (synthesized sound detection signal of the speaker's speech sound and audio sound) d L (n). Only the speech that has been removed is input to the MA system 100 from the first error signal generator 54L, and the speech that has been obtained by removing the audio cancellation signal y R (n) from the second microphone detection signal d R (n). Only enters the MA system 100 from the second error signal generator 54R.

第１実施例によれば、係数更新部６４は全周波帯域について適応フィルタ６３のフィルタ係数を演算し、係数更新部７３は高周波帯域の周波数について適応フィルタ７１のフィルタ係数を演算し、かつ、低周波帯域の周波数のフィルタ係数として適応フィルタ６３のフィルタ係数を使用するようにしたから、係数更新部７３は低周波帯域のフィルタ係数の演算をする必要が無く、しかも適応フィルタ７１は低周波帯域の構成が不要となり、このため、ASCシステムをMAシステムの前段に設けても処理量およびハード規模の増大を防止することができる。
又、第１実施例によれば、ASCシステムにおいて周波数領域のＬＭＳ演算部を用いた場合に処理量およびハード規模の増大を防止することができる。 According to the first embodiment, the coefficient updating unit 64 calculates the filter coefficient of the adaptive filter 63 for the entire frequency band, the coefficient updating unit 73 calculates the filter coefficient of the adaptive filter 71 for the frequency in the high frequency band, and low Since the filter coefficient of the adaptive filter 63 is used as the filter coefficient of the frequency of the frequency band, the coefficient update unit 73 does not need to calculate the filter coefficient of the low frequency band, and the adaptive filter 71 has the low frequency band. Since the configuration is unnecessary, an increase in the processing amount and the hardware scale can be prevented even if the ASC system is provided in front of the MA system.
Further, according to the first embodiment, it is possible to prevent an increase in the processing amount and the hardware scale when the frequency domain LMS operation unit is used in the ASC system.

（B）第２実施例
図２は本発明の第２実施例のオーディオ音キャンセルシステムの構成図であり、時間領域のLMSアルゴリズムを用いてフィルタ係数を決定する例である。
車室内のスピーカからマイクロホンアレイを構成する第１、第２の２つのマイクロホンまでの低域の伝達関数にはほとんど差がない。そこで、第１のマイクロホンに対応する第１のオーディオ音キャンセルコントローラ５３Lは、スピーカから第１のマイクロホンまでの全帯域の伝達関数を推定して適応フィルタに設定する。一方、第２のマイクロホンに対応する第２のオーディオ音キャンセルコントローラ５３Ｒは、スピーカから第２のマイクロホンまでの高周波帯域における伝達関数を推定して適応フィルタに設定し、スピーカから第２のマイクロホンまでの低域周波帯域の伝達関数は第１のオーディオ音キャンセルコントローラが推定したスピーカから第１のマイクロホンまでの低域周波帯域の伝達関数を使用する。 (B) Second Embodiment FIG. 2 is a block diagram of an audio sound cancellation system according to a second embodiment of the present invention, in which filter coefficients are determined using a time-domain LMS algorithm.
There is almost no difference in the low-frequency transfer function from the speaker in the vehicle interior to the first and second microphones constituting the microphone array. Therefore, the first audio sound cancellation controller 53L corresponding to the first microphone estimates the transfer function of the entire band from the speaker to the first microphone and sets it in the adaptive filter. On the other hand, the second audio sound cancellation controller 53R corresponding to the second microphone estimates a transfer function in a high frequency band from the speaker to the second microphone and sets it as an adaptive filter. The transfer function in the low frequency band uses the transfer function in the low frequency band from the speaker to the first microphone estimated by the first audio sound cancellation controller.

図示しないオーディオ装置から出力されたオーディオ信号x(n)はスピーカ５１に入力し、該スピーカより車室内音響空間に放射する。マイクロホン５２L、５２RはMAシステム１００のマイクロホンアレイを構成するもので、スピーカ５１から出力するオーディオ音と話者の発話音声との合成音声dL(n），dR(n）を検出して出力する。
各マイクロホン５２L、５２Rに対応してオーディオ音キャンセルコントローラ５３L．５３Ｒと誤差演算部５４L，５４Ｒが設けられている。誤差演算部５４L，５４Ｒはそれぞれ第１、第２のマイクロホン５２L，５２Rによる検出信号dL(n），dR(n）とオーディオ音キャンセル信号yL(n），y'R(n）との差を誤差信号eL(n），eR(n）として出力する。
オーディオ音キャンセルコントローラ５３Lにおいて、遅延部８１は参照信号であるオーディオ信号x(n)を1サンプル時間づつ順次遅延してN個の離散オーディオデータx(n),x(n-1),….,ｘ（n-N+1）を発生する。時間領域のＬＭＳ演算部(係数更新部)８２は、オーディオ信号x(n)を参照信号として入力され誤差演算部５４Ｌから出力する誤差信号eL (ｎ)のパワーが最小となるように、（2）式の適応信号処理を行ってスピーカ５１から第１のマイクロホン５３Ｌまでの全帯域の伝達特性を模擬するNタップのフィルタ係数を演算し、適応フィルタ８３に設定する。適応フィルタ８３はNタップのフィルタ係数を対応する遅延時間信号に乗算し、乗算結果を合成して第１マイクロホン５２Lの検出信号dL(n）に含まれるオーディオ信号をキャンセルするオーディオ音キャンセル信号yL(n）を出力する。 An audio signal x (n) output from an audio device (not shown) is input to the speaker 51, and is radiated from the speaker to the vehicle interior acoustic space. The microphones 52L and 52R constitute the microphone array of the MA system 100, and detect and output the synthesized sounds d L (n) and d R (n) of the audio sound output from the speaker 51 and the voice of the speaker. To do.
An audio sound cancel controller 53L. Corresponding to each microphone 52L, 52R. 53R and error calculators 54L and 54R are provided. The error calculation units 54L and 54R respectively detect detection signals d L (n) and d R (n) and audio sound cancellation signals y L (n) and y ′ R (n) by the first and second microphones 52L and 52R. Are output as error signals e L (n) and e R (n).
In the audio sound cancel controller 53L, the delay unit 81 sequentially delays the audio signal x (n) as a reference signal by one sample time to obtain N pieces of discrete audio data x (n), x (n-1),. , x (n−N + 1). The LMS calculation unit (coefficient update unit) 82 in the time domain receives the audio signal x (n) as a reference signal and outputs the error signal e L (n) output from the error calculation unit 54L so that the power of the error signal e L (n) is minimized. The adaptive signal processing of equation (2) is performed to calculate an N-tap filter coefficient that simulates the transfer characteristics of the entire band from the speaker 51 to the first microphone 53L, and is set in the adaptive filter 83. The adaptive filter 83 multiplies the corresponding delay time signal by an N-tap filter coefficient, synthesizes the multiplication results, and cancels the audio signal included in the detection signal d L (n) of the first microphone 52L. L (n) is output.

オーディオ音キャンセルコントローラ５３Ｒはオーディオ音キャンセルコントローラ５３Lとで遅延部８１を共用する。オーディオ音キャンセルコントローラ５３Rのハイパスフィルタフィルタ部９１はM個のハイパスフィルタフィルタＨＰＦを備え、Nタップのうち先頭寄りのＭ個のタップに対応する遅延時間信号x(n),x(n-1),….,ｘ（n-Ｍ+1）に含まれる低域信号成分を除去して（高域信号成分を抽出して）適応フィルタ９２に入力する。図３はハイパスフィルタＨＰＦの周波数特性図であり、カットオフ周波数（図の例では850Hz）以下の低域信号成分を遮断し、それ以上の高域信号成分を通過するように設計されている。
時間領域のＬＭＳ演算部(係数更新部)９３は、ハイパスフィルタ９１を通過したオーディオ信号x(n)′を参照信号として入力され、誤差演算部５４Ｒから出力する誤差信号eR(ｎ)のパワーが最小となるように、（2）式のＬＭＳ適応信号処理を行って適応フィルタ９２のM個のフィルタ係数を演算する。すなわち、係数更新部９３は、スピーカ５１から第２のマイクロホン５２Ｒまでの高周波帯域（850Hz以上の帯域）の伝達特性を模擬するＭタップのフィルタ係数を演算し、適応フィルタ９２に設定する。 The audio sound cancel controller 53R shares the delay unit 81 with the audio sound cancel controller 53L. The high-pass filter filter unit 91 of the audio sound cancel controller 53R includes M high-pass filter filters HPF, and delay time signals x (n) and x (n-1) corresponding to the M taps closer to the head among the N taps. ,..., X (n−M + 1) are removed from low-frequency signal components (high-frequency signal components are extracted) and input to the adaptive filter 92. FIG. 3 is a frequency characteristic diagram of the high-pass filter HPF, which is designed to cut off a low-frequency signal component below a cutoff frequency (850 Hz in the example in the figure) and pass a high-frequency signal component higher than that.
The time domain LMS calculator (coefficient updater) 93 receives the audio signal x (n) ′ that has passed through the high-pass filter 91 as a reference signal, and the power of the error signal e R (n) output from the error calculator 54R. The LMS adaptive signal processing of equation (2) is performed so that M filter coefficients of the adaptive filter 92 are calculated. That is, the coefficient updating unit 93 calculates an M tap filter coefficient that simulates a transfer characteristic in a high frequency band (band of 850 Hz or more) from the speaker 51 to the second microphone 52R, and sets the filter coefficient in the adaptive filter 92.

適応フィルタ９２はＭタップのフィルタ係数をハイパスフィルタ９１を通過した対応する遅延時間信号に乗算し、乗算結果を合成して高域のオーディオ音キャンセル信号yR(n）を出力する。合成部５５はオーディオ音キャンセルコントローラ５３Lの適応フィルタ８３から出力するオーディオ音キャンセル信号yL(n）とオーディオ音キャンセルコントローラ５３Rの適応フィルタ９２から出力する高域のオーディオ音キャンセル信号yR(n）とを合成し、第２マイクロホン５２Ｒの検出信号dR(n)に含まれるオーディオ信号をキャンセルするオーディオ音キャンセル信号y'R(n）を出力する。
以上より、話者が発話していない状態においてオーディオ音キャンセルコントローラ５３Lの係数更新部８２は時間領域のLMSアルゴリズムにより、スピーカ５１から第１のマイクロホン５２Ｌまでの全帯域の伝達特性を模擬するフィルタ係数、換言すれば、オーディオ音をキャンセルするフィルタ係数を適応フィルタ８３に設定する。また、オーディオ音キャンセルコントローラ５３Ｒの係数更新部９３は時間領域のLMSアルゴリズムにより、スピーカ５１から第２のマイクロホン５２Ｒまでの高域の伝達特性を模擬するフィルタ係数、換言すれば、高域のオーディオ音をキャンセルするフィルタ係数を適応フィルタ９２に設定する。
このため、音声認識時に話者が発話すると、第１のマイクロホン検出信号（話者の発話音声とオーディオ音との合成音検出信号）dL(n)からオーディオ音キャンセル信号yL (n)を除いた発話音声のみが第１の誤差信号発生部５４LからＭＡシステム１００に入力し、また、第２のマイクロホン検出信号dR(n)からオーディオ音キャンセル信号y'R(n)を除いた発話音声のみが第２の誤差信号発生部５４RからＭＡシステム１００に入力する。 The adaptive filter 92 multiplies the corresponding delay time signal that has passed through the high-pass filter 91 by the M tap filter coefficient, synthesizes the multiplication results, and outputs a high-frequency audio sound cancellation signal y R (n). The synthesizer 55 outputs an audio sound cancellation signal y L (n) output from the adaptive filter 83 of the audio sound cancellation controller 53L and a high frequency audio sound cancellation signal y R (n) output from the adaptive filter 92 of the audio sound cancellation controller 53R. And an audio sound cancellation signal y ′ R (n) for canceling the audio signal included in the detection signal d R (n) of the second microphone 52R.
As described above, when the speaker is not speaking, the coefficient update unit 82 of the audio sound cancel controller 53L uses the time domain LMS algorithm to filter the transfer characteristics of the entire band from the speaker 51 to the first microphone 52L. In other words, the filter coefficient for canceling the audio sound is set in the adaptive filter 83. Also, the coefficient update unit 93 of the audio sound cancellation controller 53R uses a time domain LMS algorithm to simulate a filter coefficient that simulates a high frequency transfer characteristic from the speaker 51 to the second microphone 52R, in other words, a high frequency audio sound. Is set in the adaptive filter 92.
For this reason, when a speaker speaks during speech recognition, an audio sound cancellation signal y L (n) is obtained from the first microphone detection signal (synthesized sound detection signal of the speaker's speech sound and audio sound) d L (n). Only the speech that has been removed is input to the MA system 100 from the first error signal generator 54L, and the speech obtained by removing the audio sound cancellation signal y ′ R (n) from the second microphone detection signal d R (n). Only voice is input to the MA system 100 from the second error signal generator 54R.

第２実施例によれば、係数更新部９３は一部(M個)のタップのフィルタ係数の演算をするだけでよく、しかも適応フィルタ９２は一部のタップに応じた構成だけでよく、このため、ASCシステムをMAシステムの前段に設けても処理量およびハード規模の増大を防止することができる。
又、第２実施例によれば、ASCシステムにおいて時間領域のＬＭＳ演算部を用いた場合に処理量およびハード規模の増大を防止することができる。 According to the second embodiment, the coefficient updating unit 93 only needs to calculate the filter coefficients of some (M) taps, and the adaptive filter 92 only needs to have a configuration corresponding to some of the taps. Therefore, even if the ASC system is provided in the previous stage of the MA system, it is possible to prevent an increase in processing amount and hardware scale.
Further, according to the second embodiment, it is possible to prevent an increase in processing amount and hardware scale when the time domain LMS calculation unit is used in the ASC system.

(C)収束特性
図４、図５は第１実施例の収束特性図であり、縦軸に誤差信号の絶対値を横軸に係数更新の繰り返し回数をとっている。なお、参照信号は車室内で収録した白色雑音とし、図４では共有化有無をわける周波数閾値を８５０Hzとし、図５では周波数閾値を２００Hzとした場合である。図６に示す従来例（図１３）の収束特性と比べ，収束速度およびリダクション性能が略同等であることがわかる。この結果、本発明によれば処理量およびメモリ（フィルタ規模）を削減することができる。 (C) Convergence characteristics FIG. 4 and FIG. 5 are convergence characteristics diagrams of the first embodiment. The vertical axis represents the absolute value of the error signal, and the horizontal axis represents the number of repetitions of coefficient update. The reference signal is white noise recorded in the passenger compartment. In FIG. 4, the frequency threshold value for dividing the presence / absence of sharing is 850 Hz, and in FIG. 5, the frequency threshold value is 200 Hz. It can be seen that the convergence speed and reduction performance are substantially the same as the convergence characteristics of the conventional example (FIG. 13) shown in FIG. As a result, according to the present invention, the processing amount and the memory (filter scale) can be reduced.

本発明の第１実施例のオーディオ音キャンセルシステムの構成図である。It is a block diagram of the audio sound cancellation system of 1st Example of this invention. 本発明の第２実施例のオーディオ音キャンセルシステムの構成図である。It is a block diagram of the audio sound cancellation system of 2nd Example of this invention. ハイパスフィルタＨＰＦの周波数特性図である。It is a frequency characteristic figure of high pass filter HPF. 第１実施例の収束特性図（周波数閾値＝８５０Hz）である。It is a convergence characteristic figure (frequency threshold = 850Hz) of 1st Example. 第１実施例の収束特性図（周波数閾値＝２００Hz）である。It is a convergence characteristic figure (frequency threshold = 200Hz) of 1st Example. 従来例の収束特性である。It is the convergence characteristic of a prior art example. 従来のオーディオサウンドキャンセレーション(ASC)システムの構成図である。1 is a configuration diagram of a conventional audio sound cancellation (ASC) system. FIG. 適応フィルタの構成図である。It is a block diagram of an adaptive filter. 周波数領域のLMSアルゴリズムを採用したオーディオ音キャンセルコントローラの構成図である。It is a block diagram of the audio sound cancellation controller which employ | adopted the LMS algorithm of the frequency domain. マイクロホンアレイシステムの構成図である。It is a block diagram of a microphone array system. MAシステムとASCシステムと音声認識装置とを組み合わせてなるシステム構成説明図である。1 is a system configuration explanatory diagram in which an MA system, an ASC system, and a voice recognition device are combined. ASCシステムをMAシステムの前段に配置する場合のASCシステムの第１従来構成図である。It is a 1st conventional block diagram of an ASC system in the case of arranging an ASC system in the preceding paragraph of an MA system. ASCシステムをMAシステムの前段に配置する場合のASCシステムの第２従来構成図である。It is a 2nd conventional block diagram of the ASC system in the case of arrange | positioning an ASC system in the front | former stage of MA system.

符号の説明Explanation of symbols

５１ スピーカ
５２L、５２R マイクロホン
５３L．５３Ｒ オーディオ音キャンセルコントローラ
５４L，５４Ｒ 誤差演算部
６１ 遅延部
６２ 離散フーリエ変換処理部
６３ 適応フィルタ
６４ LMS演算部(係数更新部)
７１ 適応フィルタ
７２ 合成部
７３ LMS演算部(係数更新部)
１００ MAシステム
51 Speaker 52L, 52R Microphone 53L. 53R Audio sound cancellation controller 54L, 54R Error calculation unit 61 Delay unit 62 Discrete Fourier transform processing unit 63 Adaptive filter 64 LMS calculation unit (coefficient update unit)
71 Adaptive filter 72 Combining unit 73 LMS computing unit (coefficient updating unit)
100 MA system

Claims (2)

アレイ構成の第１、第２のマイクロホンにより検出された各信号に含まれるオーディオ音をキャンセルするオーディオ音キャンセルシステムにおいて、
離散的な時系列のオーディオ信号に離散フーリエ変換処理を施して複数の周波数の信号成分を出力する離散フーリエ変換処理部、
スピーカから第１のマイクロホンまでの伝達特性を模擬するフィルタ係数であって全周波帯域の周波数のフィルタ係数が設定され、該フィルタ係数を対応する周波数信号成分に乗算し、乗算結果を合成してオーディオキャンセル信号を出力する第１の適応フィルタ、
スピーカから第２のマイクロホンまでの伝達特性を模擬する全周波帯域のフィルタ係数のうち高周波帯域の周波数のフィルタ係数が設定され、該フィルタ係数を対応する周波数信号成分に乗算し、乗算結果を合成して高周波帯域のオーディオキャンセル信号を出力する第２の適応フィルタ、
第１の適応フィルタの低周波帯域におけるオーディオ音キャンセル信号と第２の適応フィルタから出力する高周波帯域のオーディオキャンセル信号を合成する合成部、
前記第１の適応フィルタの出力信号と第１のマイクロホン検出信号との差分である誤差信号を発生する第１の誤差信号発生部、
前記合成部の出力信号と第２のマイクロホン検出信号との差分である誤差信号を発生する第２の誤差信号発生部、
周波数毎に、前記周波数信号成分と前記適応フィルタのフィルタ係数と前記誤差信号を用いて、周波数領域のLMSアルゴリズムにより前記第１、第２の適応フィルタの係数をそれぞれ演算する第１、第２の係数更新部、
を備えたことを特徴とするオーディオ音キャンセルシステム。 In the audio sound canceling system for canceling the audio sound included in each signal detected by the first and second microphones of the array configuration,
A discrete Fourier transform processing unit that performs discrete Fourier transform processing on discrete time-series audio signals and outputs signal components of a plurality of frequencies;
A filter coefficient for simulating the transfer characteristic from the speaker to the first microphone, and a filter coefficient for the frequency in the entire frequency band is set. The filter coefficient is multiplied by the corresponding frequency signal component, and the multiplication result is synthesized to produce an audio. A first adaptive filter that outputs a cancellation signal;
Among the filter coefficients of all frequency bands that simulate the transfer characteristics from the speaker to the second microphone, the filter coefficients of the frequency of the high frequency band are set, the corresponding frequency signal component is multiplied by the filter coefficient, and the multiplication result is synthesized. A second adaptive filter for outputting a high frequency band audio cancellation signal,
A synthesis unit for synthesizing the audio sound cancellation signal in the low frequency band of the first adaptive filter and the audio cancellation signal in the high frequency band output from the second adaptive filter;
A first error signal generator for generating an error signal that is a difference between an output signal of the first adaptive filter and a first microphone detection signal;
A second error signal generator for generating an error signal that is a difference between the output signal of the synthesizer and the second microphone detection signal;
For each frequency, first and second coefficients for calculating the first and second adaptive filters are calculated by a frequency domain LMS algorithm using the frequency signal component, the filter coefficient of the adaptive filter, and the error signal, respectively. Coefficient update section,
An audio sound canceling system comprising: アレイ構成の第１、第２のマイクロホンにより検出された各信号に含まれるオーディオ音をキャンセルするオーディオ音キャンセルシステムにおいて、
スピーカから第１のマイクロホンまでの伝達特性を模擬するNタップのフィルタ係数が設定され、該フィルタ係数を対応する遅延時間信号に乗算し、乗算結果を合成して出力する第１の適応フィルタ、
Nタップの先頭寄りの一部タップに対応する各遅延時間信号に含まれる低域信号成分を除去するハイパスフィルタ、
スピーカから第２のマイクロホンまでの高域伝達特性を模擬する先頭寄りの前記一部タップのフィルタ係数が設定され、該フィルタ係数を前記ハイパスフィルタから出力する対応する遅延時間信号に乗算し、乗算結果を合成して出力する第２の適応フィルタ、
前記第１の適応フィルタの出力信号と第１のマイクロホン検出信号との差分である誤差信号を発生する第１の誤差信号発生部、
前記第１の適応フィルタ出力信号と第２の適応フィルタ出力信号とを合成する合成部、
前記合成部の出力信号と第２のマイクロホン検出信号との差分である誤差信号を発生する第２の誤差信号発生部、
前記遅延時間信号と前記適応フィルタのフィルタ係数と前記誤差信号を用いて、時間領域のLMSアルゴリズムにより前記第１、第２の適応フィルタの係数をそれぞれ演算する第１、第２の係数更新部、
を備えたことを特徴とするオーディオ音キャンセルシステム。 In the audio sound canceling system for canceling the audio sound included in each signal detected by the first and second microphones of the array configuration,
A first adaptive filter that sets N-tap filter coefficients that simulate the transfer characteristics from the speaker to the first microphone, multiplies the corresponding filter coefficients by a corresponding delay time signal, and synthesizes and outputs the multiplication results;
A high-pass filter that removes a low-frequency signal component included in each delay time signal corresponding to a part of taps closer to the head of the N tap
A filter coefficient of the partial tap closer to the head that simulates the high-frequency transfer characteristic from the speaker to the second microphone is set, the filter coefficient is multiplied by the corresponding delay time signal output from the high-pass filter, and the multiplication result A second adaptive filter that synthesizes and outputs
A first error signal generator for generating an error signal that is a difference between an output signal of the first adaptive filter and a first microphone detection signal;
A synthesizer for synthesizing the first adaptive filter output signal and the second adaptive filter output signal;
A second error signal generator for generating an error signal that is a difference between the output signal of the synthesizer and the second microphone detection signal;
First and second coefficient updating units for calculating the coefficients of the first and second adaptive filters by a time-domain LMS algorithm using the delay time signal, the filter coefficient of the adaptive filter, and the error signal,
An audio sound canceling system comprising:
JP2006087372A 2006-03-28 2006-03-28 Audio sound cancellation system Expired - Fee Related JP4578426B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006087372A JP4578426B2 (en) 2006-03-28 2006-03-28 Audio sound cancellation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006087372A JP4578426B2 (en) 2006-03-28 2006-03-28 Audio sound cancellation system

Publications (2)

Publication Number Publication Date
JP2007266845A JP2007266845A (en) 2007-10-11
JP4578426B2 true JP4578426B2 (en) 2010-11-10

Family

ID=38639421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006087372A Expired - Fee Related JP4578426B2 (en) 2006-03-28 2006-03-28 Audio sound cancellation system

Country Status (1)

Country Link
JP (1) JP4578426B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396999A (en) * 1989-09-08 1991-04-22 Aisin Seiki Co Ltd Sound collecting device
JPH0922293A (en) * 1995-07-05 1997-01-21 Alpine Electron Inc Audio device
JPH10173457A (en) * 1996-12-09 1998-06-26 Alpine Electron Inc Audio system and volume control method therefor
JP2000148200A (en) * 1998-11-12 2000-05-26 Alpine Electronics Inc Voice input device
JP2001022380A (en) * 1999-07-07 2001-01-26 Alpine Electronics Inc Noise/audio sound canceler

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396999A (en) * 1989-09-08 1991-04-22 Aisin Seiki Co Ltd Sound collecting device
JPH0922293A (en) * 1995-07-05 1997-01-21 Alpine Electron Inc Audio device
JPH10173457A (en) * 1996-12-09 1998-06-26 Alpine Electron Inc Audio system and volume control method therefor
JP2000148200A (en) * 1998-11-12 2000-05-26 Alpine Electronics Inc Voice input device
JP2001022380A (en) * 1999-07-07 2001-01-26 Alpine Electronics Inc Noise/audio sound canceler

Also Published As

Publication number Publication date
JP2007266845A (en) 2007-10-11

Similar Documents

Publication Publication Date Title
JP4283212B2 (en) Noise removal apparatus, noise removal program, and noise removal method
JP5444472B2 (en) Sound source separation apparatus, sound source separation method, and program
US8315404B2 (en) System for active noise control with audio signal compensation
Gillespie et al. Speech dereverberation via maximum-kurtosis subband adaptive filtering
La Bouquin-Jeannes et al. Enhancement of speech degraded by coherent and incoherent noise using a cross-spectral estimator
JP5124014B2 (en) Signal enhancement apparatus, method, program and recording medium
EP3346467A1 (en) Voice interface and vocal entertainment system
US11189261B1 (en) Hybrid active noise control system
JP2013130857A (en) Sound processing device
Zhang et al. Deep MCANC: A deep learning approach to multi-channel active noise control
Zhang et al. Neural cascade architecture for multi-channel acoustic echo suppression
Zhang et al. Low-latency active noise control using attentive recurrent network
JP2007251354A (en) Microphone and sound generation method
JP7491846B2 (en) Feedforward Active Noise Control
WO2021171829A1 (en) Signal processing device, signal processing method, and program
KR101587844B1 (en) Microphone signal compensation apparatus and method of the same
JP4948019B2 (en) Adaptive signal processing apparatus and adaptive signal processing method thereof
JP4578426B2 (en) Audio sound cancellation system
JP4977551B2 (en) Active noise control device
JP2003250193A (en) Echo elimination method, device for executing the method, program and recording medium therefor
JP4141593B2 (en) Noise / audio sound reduction device
Prasad et al. Two microphone technique to improve the speech intelligibility under noisy environment
Kinoshita et al. A linear prediction-based microphone array for speech dereverberation in a realistic sound field
Bellini et al. Car cockpit equalization by warping filters
JP2007171798A (en) Acoustic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4578426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140903

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees