JP7045255B2 - Binaural hearing aid - Google Patents
Binaural hearing aid Download PDFInfo
- Publication number
- JP7045255B2 JP7045255B2 JP2018085481A JP2018085481A JP7045255B2 JP 7045255 B2 JP7045255 B2 JP 7045255B2 JP 2018085481 A JP2018085481 A JP 2018085481A JP 2018085481 A JP2018085481 A JP 2018085481A JP 7045255 B2 JP7045255 B2 JP 7045255B2
- Authority
- JP
- Japan
- Prior art keywords
- hearing aid
- howling
- binaural
- unit
- whitening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、ハウリングの発生を抑制可能な構成を備える両耳補聴器に関する。 The present invention relates to a binaural hearing aid having a configuration capable of suppressing the occurrence of howling.
一般的な補聴器においては、レシーバから出力された音がマイクロホンにフィードバックすることにより発生するハウリングを抑制するための手段として、適応フィルタを用いた適応フィードバックキャンセラ(AFC)が欠かせない機能の一つとなっている。使用者の両耳に装用するタイプの両耳補聴器についても事情は同様である。ハウリングの抑制のために両耳補聴器にフィードバックキャンセラを組み込む場合、ハウリングの発生を検出する技術が求められる。従来から、両耳補聴器の特徴を生かしつつ、ハウリングを検出して抑制する種々の技術が提案されている。例えば、特許文献1には、左右の補聴器のそれぞれに適応フィルタと白色化フィルタを設け、例えば、右耳用補聴器の信号に基づき左耳用補聴器の白色化フィルタ係数を制御することで、ハウリングを抑制する技術が開示されている。また例えば、特許文献2には、左右のマイクロホンの信号のレベル差分に基づいてハウリングを検出して抑制する技術が開示されている。
In a general hearing aid, an adaptive feedback canceller (AFC) using an adaptive filter is one of the indispensable functions as a means for suppressing howling generated by feeding back the sound output from the receiver to the microphone. It has become. The situation is the same for binaural hearing aids that are worn on both ears of the user. When a feedback canceller is incorporated into a binaural hearing aid to suppress howling, a technique for detecting the occurrence of howling is required. Conventionally, various techniques for detecting and suppressing howling have been proposed while making the best use of the characteristics of binaural hearing aids. For example, in
特許文献1の技術によれば、白色化フィルタにより入力信号を白色化すると、フィードバックキャンセラで問題となるエントレインメント(異音)の発生を防止する効果があるが、特許文献1の構成において頭部遮蔽効果により、反対の耳に入力される音が減衰した場合、白色化効果が弱まるのでエントレインメントの発生を防止できない恐れがある。一方、特許文献2の技術は、ハウリングが発生している周波数のゲインを単純に下げる方法であるため、使用者にとって十分な補聴効果を得られない場合がある。
According to the technique of
本発明はこれらの問題を解決するためになされたものであり、適応フィルタと白色化フィルタを用いて両耳補聴器を構成し、エントレインメントの発生を十分に抑えつつ、両耳に入力される信号からハウリングの発生を検出し、効果的にハウリングを抑制することが可能な両耳補聴器を提供するものである。 The present invention has been made to solve these problems, and a binaural hearing aid is configured by using an adaptive filter and a whitening filter, and a signal input to both ears is sufficiently suppressed while the occurrence of entrainment is sufficiently suppressed. It is an object of the present invention to provide a binaural hearing aid capable of detecting the occurrence of howling from the body and effectively suppressing howling.
上記課題を解決するために、本発明の両耳補聴器は、右耳用補聴器(1)と、左耳用補聴器(2)と、前記右耳用補聴器及び前記左耳用補聴器で発生したハウリングを検出するハウリング検出部(50)とを備えた両耳補聴器であって、前記右耳用補聴器及び前記左耳用補聴器の各々は、外部から到来する音を電気信号に変換し、所望信号(dR(n)、dL(n))として出力するマイクロホン(10、20)と、電気信号を音に変換して外耳道内の空間に出力するレシーバ(11、21)と、前記レシーバから前記マイクロホンへのフィードバック伝達関数を適応的に推定する適応フィルタ(30、40)を含み、前記所望信号からフィードバック成分を除去して誤差信号(eR(n)、eL(n))を出力するフィードバック除去部と、前記誤差信号に所定の補聴処理を施して前記レシーバに供給する補聴処理部(12、22)と、前記適応フィルタの係数更新に用いる1対の信号を共通の白色化係数によりそれぞれ白色化して前記フィードバック除去部に供給する1対の白色化フィルタ(15、16、25、26)とを含んで構成される。前記ハウリング検出部は、周波数帯域毎に、前記右耳用補聴器及び前記左耳用補聴器のそれぞれの前記誤差信号又は前記所望信号に基づく1対の入力信号の振幅の差をとって両耳間振幅差(ξLR(k))を算出し、複数の前記周波数帯域のそれぞれの前記両耳間振幅差の値に基づいて前記右耳用補聴器及び前記左耳用補聴器のハウリングを検出し、前記ハウリングが検出されたときは対応する前記第1及び第2の白色化フィルタの動作の白色化効果が低減するように制御する。 In order to solve the above problems, the binaural hearing aid of the present invention includes a hearing aid for the right ear (1), a hearing aid for the left ear (2), and howling generated in the hearing aid for the right ear and the hearing aid for the left ear. A binaural hearing aid provided with a howling detection unit (50) for detection, each of the right-ear hearing aid and the left-ear hearing aid converts a sound coming from the outside into an electric signal, and a desired signal (d). A microphone (10, 20) that outputs as R (n), d L (n)), a receiver (11, 21) that converts an electric signal into sound and outputs it to a space in the external auditory canal, and the microphone from the receiver. Feedback that includes adaptive filters (30, 40) that adaptively estimate the feedback transfer function to, removes the feedback component from the desired signal, and outputs an error signal (e R (n), e L (n)). The removal unit, the hearing aid processing unit (12, 22) that applies a predetermined hearing aid process to the error signal and supplies it to the receiver, and the pair of signals used for updating the coefficient of the adaptive filter are each using a common whitening coefficient. It is configured to include a pair of whitening filters (15, 16, 25, 26) that are whitened and supplied to the feedback removing section. The howling detection unit takes the difference in amplitude between the error signals of the right-ear hearing aid and the left-ear hearing aid or a pair of input signals based on the desired signal for each frequency band. The difference (ξ LR (k)) is calculated, and the howling of the right-ear hearing aid and the left-ear hearing aid is detected based on the value of the amplitude difference between the two ears of each of the plurality of frequency bands, and the howling is detected. When is detected, the whitening effect of the operation of the corresponding first and second whitening filters is controlled to be reduced.
本発明の両耳補聴器によれば、複数の周波数帯域の各々において、右耳用補聴器又は左耳用補聴器についての両耳間振幅差を算出することにより、右耳又は左耳でハウリングが発生したことを検出し、ハウリングが発生した側の白色化フィルタの白色化効果を低減するものである。よって、ハウリングが発生していない状況では白色化フィルタの動作によりエントレインメントの発生を防止するとともに、ハウリングが発生した状況では、音量の低下や音質の劣化を招くことなく、白色化に起因して適応フィルタの適応動作の収束性が低下することを防止し、確実にハウリングを抑制することができる。 According to the binaural hearing aid of the present invention, howling occurred in the right or left ear by calculating the difference in amplitude between the two ears for the right ear hearing aid or the left ear hearing aid in each of the plurality of frequency bands. This is to detect that and reduce the whitening effect of the whitening filter on the side where howling has occurred. Therefore, in the situation where howling does not occur, the whitening filter operates to prevent the occurrence of entrainment, and in the situation where howling occurs, the whitening is caused without causing a decrease in volume or deterioration of sound quality. Howling can be reliably suppressed by preventing the convergence of the adaptive operation of the adaptive filter from being lowered.
本発明において、フィードバック除去部は、所望信号から適応フィルタの出力信号を減算して誤差信号を生成する減算部(17)を含めて構成し、かつ、1対の白色化フィルタは、誤差信号を白色化する第1の白色化フィルタ(15)と、補聴処理部の出力信号を白色化する第2の白色化フィルタ(16)とを含めて構成することができる。 In the present invention, the feedback removing unit is configured to include a subtracting unit (17) that generates an error signal by subtracting the output signal of the adaptive filter from the desired signal, and the pair of whitening filters generate the error signal. It can be configured to include a first whitening filter (15) for whitening and a second whitening filter (16) for whitening the output signal of the hearing aid processing unit.
また、本発明において、フィードバック除去部は、適応フィルタを構成する第1のFIRフィルタ(13b、23b)及びこの第1のFIRフィルタと共通の係数を有する第2のFIRフィルタ(13a、23a)と、マイクロホンから出力された第1の所望信号(dR(n)、dL(n))から第2のFIRフィルタの出力信号を減算して第1の誤差信号(eR(n)、eL(n))を生成し、この第1の誤差信号を補聴処理部に供給する第1の減算部(17a、27a)と、第2の所望信号(d’R(n)、d’L(n))から第1のFIRフィルタの出力信号を減算して第2の誤差信号(e’R(n)、e’L(n))を生成する第2の減算部(17b、27b)とを含めて構成し、かつ、1対の白色化フィルタは、第1の所望信号を白色化して第2の所望信号を生成する第1の白色化フィルタ(15a、25a)と、前記補聴処理部の出力信号を白色化する第2の白色化フィルタ(16、26)とを含めて構成することができる。 Further, in the present invention, the feedback removing unit includes the first FIR filter (13b, 23b) constituting the adaptive filter and the second FIR filter (13a, 23a) having a common coefficient with the first FIR filter. , The output signal of the second FIR filter is subtracted from the first desired signal (d R (n), d L (n)) output from the microphone, and the first error signal (e R (n), e A first subtraction unit (17a, 27a) that generates L (n)) and supplies the first error signal to the hearing aid processing unit, and a second desired signal (d' R (n), d' L ). A second subtraction unit (17b, 27b) that subtracts the output signal of the first FIR filter from (n)) to generate a second error signal ( e'R (n), e'L (n)). The pair of whitening filters includes the first whitening filter (15a, 25a) that whitens the first desired signal to generate the second desired signal, and the hearing aid processing. It can be configured to include a second whitening filter (16, 26) that whitens the output signal of the unit.
本発明において、両耳補聴器を装着した状態の頭部と音源がなす角度に関連するパラメータとして、両耳間振幅差の最大値及び最小値を予め記憶する記憶部を更に設けてもよい。この場合、ハウリング検出部は、記憶部のパラメータを参照し、それを用いてハウリングを検出することができる。 In the present invention, as a parameter related to the angle formed by the head and the sound source when the binaural hearing aid is worn, a storage unit that stores the maximum value and the minimum value of the amplitude difference between the binaural ears in advance may be further provided. In this case, the howling detection unit can refer to the parameter of the storage unit and use it to detect howling.
本発明のハウリング検出部は、両耳間振幅差及び両耳間位相差をそれぞれ平滑化した平滑化両耳間振幅差を算出し、平滑化両耳間振幅差に基づいてハウリングを検出することができる。これにより、両耳間振幅差の短期的な変動の影響を軽減し、安定的にハウリングを検出することができる。なお、ハウリング検出部によるハウリングの検出に際し、周波数帯域毎に、平滑化両耳間振幅差が前述の最小値から最大値の範囲内を逸脱するか否かを判定することができる。 The howling detection unit of the present invention calculates the smoothed binaural amplitude difference obtained by smoothing the binaural amplitude difference and the binaural phase difference, respectively, and detects howling based on the smoothed binaural amplitude difference. Can be done. As a result, the influence of short-term fluctuations in the interaural amplitude difference can be reduced, and howling can be detected stably. When the howling detection unit detects howling, it is possible to determine whether or not the smoothing interaural time difference deviates from the above-mentioned minimum value to the maximum value for each frequency band.
本発明のハウリング検出部を右耳用補聴器と左耳用補聴器のいずれか一方に含めて構成し、右耳用補聴器と左耳用補聴器のそれぞれに設けられた無線通信部を介してハウリング検出部で用いる情報を送受信することができる。 The howling detection unit of the present invention is configured to be included in either the right ear hearing aid or the left ear hearing aid, and the howling detection unit is provided via the wireless communication unit provided in each of the right ear hearing aid and the left ear hearing aid. You can send and receive information used in.
本発明のハウリング検出部は、両耳間振幅差に加えて、周波数帯域毎に、前記1対の入力信号の位相の差をとって両耳間位相差(θLR(k))を算出し、複数の周波数帯域のそれぞれの両耳間位相差の値に基づいて右耳用補聴器及び左耳用補聴器のハウリングを検出するように構成することができる。これにより、ハウリングの判定に際し、両耳間振幅差と両耳間位相差とをそれぞれの周波数特性に応じて選択的に用いることで、ハウリングの判定精度を高めることができる。また、本発明のハウリング検出部において、ハウリングが検出されたとき、適応フィルタのステップサイズを小さくする制御を採用してもよい。 The howling detection unit of the present invention calculates the binaural phase difference (θ LR (k)) by taking the phase difference of the pair of input signals for each frequency band in addition to the binaural amplitude difference. , Can be configured to detect howling in a right-ear hearing aid and a left-ear hearing aid based on the value of the phase difference between each ear in a plurality of frequency bands. Thereby, when the howling is determined, the howling determination accuracy can be improved by selectively using the interaural amplitude difference and the interaural phase difference according to the respective frequency characteristics. Further, the howling detection unit of the present invention may adopt a control that reduces the step size of the adaptive filter when howling is detected.
以上述べたように、本発明によれば、右耳用補聴器又は左耳用補聴器で発生したハウリングを確実に検出し、ハウリングが発生した側の白色化フィルタの白色化効果の制御を行うので、白色化フィルタによりエントレインメントを十分に抑えつつ、直ちに適応フィルタの適応動作により効果的にハウリングを抑制でき、良好な性能の両耳補聴器を実現することができる。 As described above, according to the present invention, howling generated in the hearing aid for the right ear or the hearing aid for the left ear is reliably detected, and the whitening effect of the whitening filter on the side where howling occurs is controlled. While the whitening filter sufficiently suppresses the entrainment, howling can be effectively suppressed by the adaptive operation of the adaptive filter immediately, and a binaural hearing aid with good performance can be realized.
以下、本発明を適用した一実施形態について添付図面を参照しながら説明する。以下の各実施形態では、フィードバックキャンセラを備えた両耳補聴器に対して本発明を適用する例について説明する。 Hereinafter, an embodiment to which the present invention is applied will be described with reference to the accompanying drawings. In each of the following embodiments, an example of applying the present invention to a binaural hearing aid provided with a feedback canceller will be described.
図1は、本実施形態の両耳補聴器を使用する場合における音の伝搬をモデル化して表した模式図である。両耳補聴器を構成する右耳用補聴器1及び左耳用補聴器2が使用者の頭部に装着されており、正面の音源から音が到来する状況をモデル化している。音源から右耳用補聴器1のマイクロホン10に至る伝搬路は伝達関数HR(z)で表すとともに、音源から左耳用補聴器2のマイクロホン20に至る伝搬路は伝達関数HL(z)で表している。なお、図1では音源が頭部の正面に位置するが、実際の音源の位置は平面視で頭部の周囲のいずれかの方向であり、音源の位置に応じた音の到来方向を考慮する必要がある。
FIG. 1 is a schematic diagram showing a model of sound propagation when the binaural hearing aid of the present embodiment is used. The right-
また、右耳用補聴器1のレシーバ11からマイクロホン10に至るフィードバック経路は伝達関数FR(z)で表すとともに、左耳用補聴器2のレシーバ21からマイクロホン20に至るフィードバック経路は伝達関数FL(z)で表している。
The feedback path from the
次に図2は、本実施形態の両耳補聴器における処理に関連する具体的な構成例を示すブロック図である。図2の構成例のうちの右耳用補聴器1は、前述のマイクロホン10及びレシーバ11に加えて、補聴処理部12と、FIR(Finite Impulse Response)フィルタ13及び係数更新部14からなる適応フィルタ30と、2つの白色化フィルタ15、16と、減算部17と、無線通信部18と、ハウリング検出部50とを備えて構成される。また、左耳用補聴器2は、前述のマイクロホン20及びレシーバ21に加えて、補聴処理部22と、FIRフィルタ23及び係数更新部24からなる適応フィルタ40と、2つの白色化フィルタ25、26と、減算部27と、無線通信部28とを備えて構成される。
Next, FIG. 2 is a block diagram showing a specific configuration example related to the processing in the binaural hearing aid of the present embodiment. The
図2では、ハウリング検出部50を右耳用補聴器1に設ける構成を示しているが、ハウリング検出部50を左耳用補聴器2に設ける構成としてもよい。また、ハウリング検出部50を右耳用補聴器1と左耳用補聴器2の両方に設け、選択的に動作させる構成を採用してもよい。なお、図示は省略しているが、各レシーバ11、21の入力側には、ディジタル信号をアナログ信号に変換するDA変換器が設けられ、各マイクロホン10、20の出力側には、アナログ信号をディジタル信号に変換するAD変換器が設けられる。
Although FIG. 2 shows a configuration in which the howling
以下の説明では代表して右耳用補聴器1について説明するが、左耳用補聴器2の同一の構成要素については右耳用補聴器1と共通の機能を有する。図2を用いて説明したように、マイクロホン10は外部から到来する音を収集して電気信号に変換し、それを前述の所望信号dR(n)として出力し、レシーバ11は、補聴処理部12から出力される信号uR(n)を音に変換して外耳道内の空間に出力する。マイクロホン10としては、例えば、MEMS(Micro Electro Mechanical Systems)やコンデンサ型のマイクロホンを用いることができ、レシーバ11としては、例えば、電磁型のレシーバを用いることができる。
In the following description, the
補聴処理部12は、減算部17から出力される誤差信号eR(n)を増幅するとともに、各々の使用者に適合して個別に設定された所定の補聴処理を施し、補聴処理後の前述の信号uR(n)を出力する。補聴処理部12による補聴処理は、伝達関数GR(z)で表わす。
The hearing
補聴処理部12の入力側には、誤差信号eR(n)を、処理対象である複数の周波数帯域の成分に分割するフィルタバンクとして機能するFFT (Fast Fourier Transform)部12aが設けられている。このFFT部12aから出力される複数の周波数帯域の信号群はハウリング検出部50に入力されるが、ハウリング検出部50の動作については後述する。
On the input side of the hearing
図2に示すように、マイクロホン10には、外部音が入力されることに加え、レシーバ11から出力される音が外耳道から外部空間を経由してマイクロホン10に回り込むことでフィードバック音が入力される。そのため、レシーバ11の入力からマイクロホン10の出力に至るフィードバック経路において、前述のフィードバック伝達関数FR(z)を想定することができる。なお、レシーバ11及びマイクロホン10もそれぞれ固有の伝達関数を有するが、いずれもフィードバック伝達関数FR(z)に含めて考えることができる。フィードバック伝達関数FR(z)は、例えば、補聴器の構造、使用者の挙動、周囲の環境などに応じて変化し、補聴器のハウリングの要因となる。本実施形態では、両耳補聴器におけるハウリングの発生を抑制するためのフィードバックキャンセラの構成を採用するが、詳細は後述する。
As shown in FIG. 2, in addition to the external sound being input to the
適応フィルタ30は、補聴処理後の信号uR(n)に対し、前述のフィードバック伝達関数FR(z)に対応する伝達関数WR(z)を適応的に推定する。具体的には、FIRフィルタ13は係数更新部14から供給される係数WR(n)を用いてフィルタ演算を行い、出力信号yR(n)を生成する。FIRフィルタ13は、所定のタップ数を有して構成される。なお、減算部17は、所望信号dR(n)からFIRフィルタ13の出力信号yR(n)を減算し、それを前述の誤差信号eR(n)として出力する。一方、適応フィルタ30に含まれる係数更新部14は、FIRフィルタ13のフィルタ演算に用いる前述の係数WR(n)を順次更新する。例えば、係数更新部14では、NLMS(Normalized Least Mean Square)に基づくアルゴリズムを採用することができる。
The
また、1対の白色化フィルタ15、16の主な役割は、無相関化された信号に応じて係数更新部14を動作させることにより、推定誤差に起因するエントレインメントの発生を抑制することにある。一方の白色化フィルタ15は、誤差信号eR(n)を入力し、誤差信号eR(n)を白色化(無相関化)した出力信号を生成し、他方の白色化フィルタ16は、信号uR(n)を入力し、信号uR(n)を白色化(無相関化)した信号を生成し、1対の白色化フィルタ15、16のそれぞれの出力信号が係数更新部14に供給される。一方の白色化フィルタ15に設定された白色化フィルタ係数は、他方の白色化フィルタ16に対しても同様に設定されるので、2つの白色化フィルタ15、16は同一の特性を有している。これらの白色化フィルタ15、16、25、26としては、例えば、所定段数の適応ラティスフィルタを用いることができる。本実施形態では、ハウリング検出部50により白色化フィルタ15、16の動作が制御されるが、具体的な制御手法については後述する。
Further, the main role of the pair of whitening filters 15 and 16 is to suppress the occurrence of entrainment due to the estimation error by operating the
本実施形態では、右耳用補聴器1の無線通信部18と左耳用補聴器2の無線通信部28とが、ハウリング検出に必要な種々の情報を無線通信により送受信する。すなわち、無線通信部18は、左耳用補聴器2のFFT部22aから無線通信部28を介して複数の周波数帯域の信号群を受信し、ハウリング検出部50の検出結果と制御情報を左耳用補聴器2の無線通信部28に送信する。無線通信部18、28の間の無線通信としては、例えば、近距離無線通信規格であるNFC(Near Field Communication)を採用することができる。
In the present embodiment, the
次に、ハウリング検出部50は、右耳用補聴器1と左耳用補聴器2で発生したハウリングを検出し、検出結果に応じて右耳用補聴器1の白色化フィルタ15、16と左耳用補聴器2の白色化フィルタ25、26との動作を制御する。以下、図3のブロック図を参照して、ハウリング検出部50の構成及び動作について具体的に説明する。
Next, the howling
図3に示すハウリング検出部50は、両耳補聴器における左右の振幅差(音圧差)を算出する振幅差算出部51と、両耳補聴器における左右の位相差を算出する位相差算出部52と、これらの振幅差算出部51及び位相差算出部52の検出結果に応じてハウリングの有無を判定するハウリング判定部53と、ハウリング判定部53の判定に必要なパラメータを予め記憶する記憶部54とを備えている。
The howling
図3において、振幅差算出部51及び位相差算出部52には、右耳用補聴器1のFFT部12aから、誤差信号eR(n)に基づき複数の周波数帯域に分割された複数の入力信号R(k)が入力されるとともに、左耳用補聴器2のFFT部22aから、誤差信号eL(n)に基づき複数の周波数帯域に分割された複数の入力信号L(k)が入力される。ここで、kは周波数インデックスであり、複数の周波数帯域のうちのk番目の周波数帯域であることを意味する。
In FIG. 3, the amplitude
本実施形態では、左耳用補聴器2の振幅と位相を基準にして算出する。振幅差算出部51は、周波数帯域毎に、右耳の入力信号R(k)の振幅と左耳の入力信号L(k)の振幅の差をとって、両耳間振幅差ξLR(k)を算出する。両耳間振幅差ξLR(k)は、次の(1)式により算出することができる。
また、位相差算出部52は、ハウリングの検出に有効な周波数(例えば、750Hz以下)において、周波数帯域毎に、右耳の入力信号R(k)の位相と左耳の入力信号L(k)の位相の差をとって、両耳間位相差θLR(k)を算出する。両耳間位相差θLR(k)は、次の(2)式により算出することができる。
Re:実数部
Further, in the phase
Re: Real number part
ここで、所定の時間間隔であるフレーム毎に処理を行うことを考慮し、前述の両耳間振幅差ξLR(k)及び両耳間位相差θLR(k)を、それぞれフレームインデックスmを用いてξLR(k、m)、θLR(k、m)と表すものとする。そして、時間推移(フレームの更新)に伴う変動を抑制するため、両耳間振幅差ξLR(k、m)に対して次の(3)式により平滑化を行い、平滑化両耳間振幅差Dξ(k、m)を順次算出する。
同様に、両耳間位相差θLR(k、m)に対して次の(4)式により平滑化を行い、平滑化両耳間位相差Dθ(k、m)を順次算出する。
(3)式及び(4)式に基づき算出された平滑化両耳間振幅差Dξ(k、m)及び平滑化両耳間位相差Dθ(k、m)はハウリング判定部53に送られる。本実施形態では、ハウリング判定部53の後述の処理に際し、平滑化両耳間振幅差Dξ(k、m)及び平滑化両耳間位相差Dθ(k、m)のいずれを用いるかは、周波数帯域に応じて適宜に設定される。例えば、高域の周波数帯域では、位相回転が大きくなるため、平滑化両耳間振幅差Dξ(k、m)を用いることが望ましい。低域の周波数帯域では、平滑化両耳間振幅差Dξ(k、m)と平滑化両耳間位相差Dθ(k、m)のいずれを用いてもよい。よって、全ての周波数帯域において平滑化両耳間振幅差Dξ(k、m)のみを用いることで、平滑化両耳間位相差Dθ(k、m)に関する処理を省略することも可能である。
The smoothed interaural amplitude difference D ξ (k, m) and the smoothed interaural phase difference D θ (k, m) calculated based on the equations (3) and (4) are sent to the howling
ハウリング判定部53は、右耳用補聴器1又は左耳用補聴器2のハウリング発生の判定に際し、記憶部54に記憶されている各種パラメータを参照して、後述の判定を行う。すなわち、記憶部54には、周波数帯域毎に、両耳間振幅差ξLR(k)の最小値ξmin(k)及び最大値ξmax(k)と、両耳間位相差θLR(k)の最小値θmin(k)及び最大値θmax(k)のそれぞれが記憶されている。
The howling
ここで、図4及び図5を参照して、記憶部54に記憶されているパラメータについて説明する。図4は、図1で説明したように、頭部に対する音源の角度に応じて、周波数帯域毎の両耳間振幅差ξLR(k)の変化を示している。いずれの周波数帯域においても、音源が概ね頭部の正面にある0(deg)の近傍で両耳間振幅差ξLR(k)が0に近くなり、音源が頭部の横方向に近いとき(角度が±60~80(deg)付近)に両耳間振幅差ξLR(k)の絶対値がピークを持つ。例えば、周波数待機2250Hzでは、最小値ξmin(k)≒-19(dB)程度及び最大値ξmax(k)≒+18(dB)程度となることがわかる。
Here, the parameters stored in the
また、図5は、前述の角度に応じて、周波数帯域毎の両耳間位相差θLR(k)の変化を示している。音源が概ね頭部の正面にある0(deg)の近傍で両耳間位相差θLR(k)が0に近くなり、音源が頭部の横方向に近いときに両耳間振幅差θLR(k)の絶対値がピークを持つ。この場合、最小値θmin(k)及び最大値θmax(k)は、低周波の周波数帯域では変化が小さいが、周波数帯域が高くなるほど、変化が大きくなることがわかる。 Further, FIG. 5 shows a change in the interaural time difference θ LR (k) for each frequency band according to the above-mentioned angle. The phase difference between both ears θ LR (k) is close to 0 near 0 (deg) where the sound source is approximately in front of the head, and the amplitude difference between both ears θ LR when the sound source is close to the lateral direction of the head. The absolute value of (k) has a peak. In this case, it can be seen that the minimum value θ min (k) and the maximum value θ max (k) change little in the low frequency band, but change larger as the frequency band becomes higher.
次に、右耳用補聴器1のハウリング発生の判定に際し、ハウリング判定部53は、周波数帯域毎に、上述の平滑化両耳間振幅差Dξ(k、m)及び平滑化両耳間位相差Dθ(k、m)を用いて、次の(5)式が成り立つか否かを判定する。すなわち、周波数帯域毎に、記憶部54に記憶されている両耳間振幅差ξLR(k)の上述の最大値ξmax(k)及び両耳間位相差θLR(k)の上述の最大値θmax(k)を参照し、(5)式の判定条件を順次判定していく。なお、平滑化両耳間振幅差Dξ(k、m)のみを用いる場合、平滑化両耳間振幅差Dξ(k、m)について判定し、平滑化両耳間位相差Dθ(k、m)の判定は行わない。
ハウリング判定部53では、(5)式が成立する場合には右耳用補聴器1の該当する周波数帯域のハウリング成分が存在すると判定し、(5)式が不成立の場合には同様のハウリング成分が存在しないと判定する。具体的には、フレーム毎に、判定フラグcR(k、m)を用いて、(5)式の成立時には、cR(k、m)=1に設定し、(5)式の不成立時は、cR(k、m)=0に設定する。そして、右耳ハウリング判定カウンタCR(m)を用いて次の(6)式の演算を行い、N個の周波数帯域における判定フラグcR(k、m)の値を累積していく。
次いで、ハウリング判定部53では、右耳ハウリング判定カウンタCR(m)と予め設定された閾値Tとを対比し、CR(m)>Tが成り立つ場合、右耳用補聴器1でハウリングが発生したと判定する。閾値Tは、右耳用補聴器1におけるハウリングの発生状況に応じて、0≦T<Nの範囲内で適切な値が予め設定され、例えば、記憶部54に記憶されている。
Next, the howling
ハウリング判定部53は、CR(m)>Tが成り立ち、右耳用補聴器1でハウリングが発生したと判定した場合、右耳用補聴器1の白色化フィルタ15、16の白色化効果を低減する制御を行う。具体的には、ハウリングの発生時には、白色化フィルタ15に対し白色化効果の強弱を規定するパラメータを低下させるか、白色化フィルタ15の動作を一時的に停止させるように制御する。なお、一方の白色化フィルタ15の白色化効果を制御すると、前述したように、他方の白色化フィルタ16も同様に制御されることが前提である。また、ハウリング判定部53は、ハウリングが発生したと判定した場合、適応フィルタ30のステップサイズを小さくするように制御してもよい。
When the howling
一方、ハウリング判定部53は、左耳用補聴器2のハウリング発生の判定に際し、上述の(5)式と同様の観点から、次の(7)式が成り立つか否かを判定する。なお、平滑化両耳間振幅差Dξ(k、m)のみを用いる場合、平滑化両耳間振幅差Dξ(k、m)について判定し、平滑化両耳間位相差Dθ(k、m)の判定は行わない。
ハウリング判定部53では、(7)式が成立する場合には、左耳用補聴器2の該当する周波数帯域のハウリング成分が存在すると判定し、(7)式が不成立の場合には同様のハウリング成分が存在しないと判定する。具体的には、フレーム毎に、判定フラグcL(k、m)を用いて、(7)式の成立時には、cL(k、m)=1に設定し、(7)式の不成立時は、cL(k、m)=0に設定する。そして、左耳ハウリング判定カウンタCL(m)を用いて次の(8)式の演算を行い、N個の周波数帯域における判定フラグcL(k、m)の値を累積していく。
次いで、ハウリング判定部53では、左耳ハウリング判定カウンタCL(m)と前述の閾値Tとを対比し、CL(m)>Tが成り立つ場合、左耳用補聴器2でハウリングが発生したと判定する。なお、閾値Tについては、右耳と左耳とで同一の値を設定する場合を例示しているが、右耳と左耳とで互いに異なる閾値を設定してもよい。
Next, the howling
ハウリング判定部53は、CL(m)>Tが成り立ち、左耳用補聴器2でハウリングが発生したと判定した場合、左耳用補聴器2の白色化フィルタ25、26の白色化効果を低減する制御を行う。この場合の制御方法は、前述の右耳用補聴器1に関して説明した通りである。
When howling
以上のように、本実施形態の両耳補聴器によれば、右耳用補聴器1と左耳用補聴器2とでハウリングが発生していない状況では、白色化フィルタ15、16、25、26は通常の白色化効果で動作するので、エントレインメントの発生を有効に防止することができる。この場合、特許文献1の技術とは異なり、頭部遮蔽効果により白色化効果が弱まることはない。また、右耳用補聴器1又は左耳用補聴器2でハウリングが発生したときは、白色化フィルタ15、16又は25、26の白色化効果が低減するので、周期信号であるハウリング成分が白色化されることに起因して適応フィルタ30、40の収束性の低下を防止し、確実にハウリングを抑制することができる。
As described above, according to the binaural hearing aid of the present embodiment, the whitening filters 15, 16, 25, and 26 are usually used in a situation where howling does not occur in the
次に、図6及び図7を参照して、本発明を適用した両耳補聴器についてのシミュレーションにより得られた特性について説明する。図6は、本発明との対比のため、ハウリング検出部50によるハウリングの検出を行わない白色化フィルタを用いた両耳補聴器でのシミュレーションの検証結果であり、図7は、本発明を適用した両耳補聴器でのシミュレーションの検証結果である。
Next, with reference to FIGS. 6 and 7, the characteristics obtained by the simulation of the binaural hearing aid to which the present invention is applied will be described. FIG. 6 is a verification result of a simulation with a binaural hearing aid using a whitening filter that does not detect howling by the howling
図6及び図7のシミュレーションに際しては、白色化フィルタとしてBurg法のラティスフィルタを採用し、音源を頭部の右側90°の方向に配置した状態で所定の音声信号を両耳補聴器に入力し、右耳と左耳の出力波形を抽出した。この場合、両耳補聴器に入力される音声信号は、左耳では8秒と9秒でパスチェンジ(伝達関数の変化)が生じ、右耳では7秒と10秒でパスチェンジが生じる場合を想定した。 In the simulations of FIGS. 6 and 7, a Burg method lattice filter was adopted as a whitening filter, and a predetermined voice signal was input to the binaural hearing aid with the sound source arranged in the direction of 90 ° on the right side of the head. The output waveforms of the right and left ears were extracted. In this case, it is assumed that the voice signal input to the binaural hearing aid undergoes a pass change (change in transfer function) in 8 seconds and 9 seconds in the left ear and a pass change in 7 seconds and 10 seconds in the right ear. did.
まず、従来型の検証結果を示す図6においては、左耳及び右耳とも、前述の時間帯においてパスチェンジに起因するハウリングが継続した状態となっており、ハウリングを抑制できていないことがわかる。これに対し、本発明を適用した図7においては、左耳及び右耳とも、パスチェンジに起因するハウリングが極めて短時間で抑制されることがわかる。この際、ハウリングの抑制に伴い白色化効果を弱める制御を行っているため、適応フィルタ30、40の適応動作に際し、ハウリング成分の白色化に起因する収束性の低下が軽減されることになる。以上のように、本発明を適用した両耳補聴器では、エントレインメントの発生を抑えつつ、効果的にハウリングを抑制可能であることが確認された。
First, in FIG. 6 showing the conventional verification results, it can be seen that howling due to the path change was continued in both the left ear and the right ear during the above-mentioned time zone, and howling could not be suppressed. .. On the other hand, in FIG. 7 to which the present invention is applied, it can be seen that howling caused by the path change is suppressed in an extremely short time in both the left ear and the right ear. At this time, since the control is performed to weaken the whitening effect along with the suppression of howling, the decrease in convergence due to the whitening of the howling component is reduced during the adaptive operation of the
本実施形態の両耳補聴器を構成する場合、図2の構成例に限られることなく、多様な変形が可能である。図8は、本実施形態の両耳補聴器において、図2の構成例に関しての一変形例を示すブロック図である。図8の変形例においては、図2とは接続形態が異なる。具体的には、右耳用補聴器1を例にとると、マイクロホン10の出力側の構成が2系統に分岐し、図2の白色化フィルタ15を、所望信号dR(n)を入力する白色化フィルタ15aに置き換え、白色化フィルタ15aから出力される所望信号dR(n)を入力する減算部17aと、所望信号d’R(n)を入力する減算部17bとを配置し、2つのFIRフィルタ13a、13b及び係数更新部14からなる適応フィルタ30aを設けて構成される。
When the binaural hearing aid of the present embodiment is configured, various modifications are possible without being limited to the configuration example of FIG. FIG. 8 is a block diagram showing a modified example of the configuration example of FIG. 2 in the binaural hearing aid of the present embodiment. In the modified example of FIG. 8, the connection form is different from that of FIG. Specifically, taking the
図8において、所望信号dR(n)が白色化フィルタ15aを介して所望信号d’R(n)に変換され、減算部17bは、所望信号d’R(n)からFIRフィルタ13bの出力信号y’R(n)を減算し、それを誤差信号e’ R(n)として出力する。係数更新部14は、誤差信号e’ R(n)と白色化フィルタ16から出力される信号とに基づいて、FIRフィルタ13bにおける演算に用いる係数WR(n)を更新する。図8において、一方の白色化フィルタ15aに設定された白色化フィルタ係数は、他方の白色化フィルタ16に対しても同様に設定されるとともに、一方のFIRフィルタ13bに対して設定された係数WR(n)は、他方のFIRフィルタ13aに対しても同様に設定される。なお、所望信号d’R(n)は本発明の第3の信号として機能し、誤差信号e’R(n)は本発明の第4の信号として機能する。
In FIG. 8, the desired signal d R (n) is converted into the desired signal d' R (n) via the whitening filter 15a, and the subtracting
なお、図8の変形例において、左耳用補聴器2の場合の図2との違いは、右耳用補聴器1の場合と同様であるため、説明を省略する。また、図8のうち、ハウリング検出部50と無線通信部18、28に関しては、図2と同様である。以上のように、図2の構成に代えて、図8の変形例を採用する場合であっても、本実施形態で説明した作用、効果を得ることができる。
In the modified example of FIG. 8, the difference from FIG. 2 in the case of the
以上、本実施形態の両耳補聴器について説明したが、本発明を適用可能な両耳補聴器には多様な変形例がある。例えば、図2では、右耳用補聴器1と左耳用補聴器2とが双方の無線通信部18、28を介して情報を送受信する構成を示しているが、本発明を箱型の両耳補聴器に適用し、右耳用補聴器1と左耳用補聴器2とは別体のユニットにハウリング検出部50を内蔵し、右耳用補聴器1及び左耳用補聴器2とハウリング検出部50の間で有線通信により情報を送受信する変形例を採用してもよい。また例えば、図2では、右耳用補聴器1及び左耳用補聴器2のそれぞれの補聴処理部12、22の入力側に設けたFFT部12a、22aをハウリング検出部50で用いる構成を示しているが、FFT部12a、22aをそれぞれマイクロホン10、20の出力側に接続し、所望信号dR(n)、dL(n)をそれぞれ複数の周波数帯域に分割し、それをハウリング検出部50で用いる構成を採用してもよい。
Although the binaural hearing aid of the present embodiment has been described above, there are various modifications of the binaural hearing aid to which the present invention can be applied. For example, FIG. 2 shows a configuration in which the right-
以上、本実施形態に基づき本発明の内容を具体的に説明したが、本発明は前述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で多様な変更を施すことができる。例えば、レシーバ11、21は、音を発するレシーバに限らず、頭蓋骨などの振動を通じて知覚するための骨伝導レシーバであってもよい。その他の点についても上記実施形態により本発明の内容が限定されるものではなく、本発明の作用効果を得られる限り、上記実施形態に開示した内容には限定されることなく適宜に変更可能である。
Although the content of the present invention has been specifically described above based on the present embodiment, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist thereof. For example, the
1…右耳用補聴器
2…左耳用補聴器
10、20…マイクロホン
11、21…レシーバ
12、22…補聴処理部
13、23…FIRフィルタ
14、24…係数更新部
15、16、25、26…白色化フィルタ
17、27…減算部
30、40…適応フィルタ
50…ハウリング検出部
51…振幅差算出部
52…位相差算出部
53…ハウリング判定部
54…記憶部
1 ... Right
Claims (9)
前記右耳用補聴器及び前記左耳用補聴器の各々は、
外部から到来する音を電気信号に変換し、所望信号として出力するマイクロホンと、
電気信号を音に変換して外耳道内の空間に出力するレシーバと、
前記レシーバから前記マイクロホンへのフィードバック伝達関数を適応的に推定する適応フィルタを含み、前記所望信号からフィードバック成分を除去して誤差信号を出力するフィードバック除去部と、
前記誤差信号に所定の補聴処理を施して前記レシーバに供給する補聴処理部と、
前記適応フィルタの係数更新に用いる1対の信号を共通の白色化係数によりそれぞれ白色化して前記フィードバック除去部に供給する1対の白色化フィルタと、
を含んで構成され、
前記ハウリング検出部は、周波数帯域毎に、前記右耳用補聴器及び前記左耳用補聴器のそれぞれの前記誤差信号又は前記所望信号に基づく1対の入力信号の振幅の差をとって両耳間振幅差を算出し、複数の前記周波数帯域のそれぞれの前記両耳間振幅差の値に基づいて前記右耳用補聴器及び前記左耳用補聴器のハウリングを検出し、前記ハウリングが検出されたときは対応する前記1対の白色化フィルタの動作の白色化効果が低減するよう制御する、
ことを特徴とする両耳補聴器。 A binaural hearing aid including a hearing aid for the right ear, a hearing aid for the left ear, and a howling detector for detecting howling generated in the hearing aid for the right ear and the hearing aid for the left ear.
Each of the right ear hearing aid and the left ear hearing aid
A microphone that converts sound coming from the outside into an electric signal and outputs it as a desired signal,
A receiver that converts an electrical signal into sound and outputs it to the space inside the ear canal,
A feedback removing unit that includes an adaptive filter that adaptively estimates the feedback transfer function from the receiver to the microphone, removes the feedback component from the desired signal, and outputs an error signal.
A hearing aid processing unit that applies predetermined hearing aid processing to the error signal and supplies it to the receiver.
A pair of whitening filters used to update the coefficients of the adaptive filter are whitened by a common whitening coefficient and supplied to the feedback removing unit.
Consists of, including
The howling detection unit takes the difference in amplitude between the error signals of the right-ear hearing aid and the left-ear hearing aid or a pair of input signals based on the desired signal for each frequency band. The difference is calculated, and the howling of the right-ear hearing aid and the left-ear hearing aid is detected based on the value of the amplitude difference between the two ears in each of the plurality of frequency bands, and when the howling is detected, the response is taken. Control so that the whitening effect of the operation of the pair of whitening filters is reduced.
A binaural hearing aid that features that.
前記1対の白色化フィルタは、前記誤差信号を白色化する第1の白色化フィルタと、前記補聴処理部の出力信号を白色化する第2の白色化フィルタとを含む、
ことを特徴とする請求項1に記載の両耳補聴器。 The feedback removing unit includes a subtracting unit that generates the error signal by subtracting the output signal of the adaptive filter from the desired signal.
The pair of whitening filters include a first whitening filter that whitens the error signal and a second whitening filter that whitens the output signal of the hearing aid processing unit.
The binaural hearing aid according to claim 1.
前記フィードバック除去部は、
前記適応フィルタを構成する第1のFIRフィルタ及び当該第1のFIRフィルタと共通の係数を有する第2のFIRフィルタと、
前記第1の所望信号から前記第2のFIRフィルタの出力信号を減算して第1の誤差信号を生成し、当該第1の誤差信号を前記補聴処理部に供給する第1の減算部と、
前記第2の所望信号から前記第1のFIRフィルタの出力信号を減算して第2の誤差信号を生成する第2の減算部と、
を含み、
前記適応フィルタの係数更新に用いる1対の信号は、前記第2の誤差信号と前記第2の白色化フィルタの出力信号である、
ことを特徴とする請求項1に記載の両耳補聴器。 The pair of whitening filters whiten the first desired signal output from the microphone to generate a second desired signal, and the output signal of the hearing aid processing unit. Including a second whitening filter
The feedback removing unit is
A first FIR filter constituting the adaptive filter, a second FIR filter having a common coefficient with the first FIR filter, and a second FIR filter.
A first subtraction unit that subtracts the output signal of the second FIR filter from the first desired signal to generate a first error signal and supplies the first error signal to the hearing aid processing unit.
A second subtraction unit that generates a second error signal by subtracting the output signal of the first FIR filter from the second desired signal.
Including
The pair of signals used for updating the coefficients of the adaptive filter are the second error signal and the output signal of the second whitening filter.
The binaural hearing aid according to claim 1.
前記ハウリング検出部は、前記記憶部の前記パラメータに基づいて前記ハウリングを検出することを特徴とする請求項1から3のいずれか1項に記載の両耳補聴器。 As a parameter related to the angle formed by the head and the sound source with the binaural hearing aid attached, a storage unit for preliminarily storing the maximum value and the minimum value of the amplitude difference between the binaural ears for each frequency band is further provided.
The binaural hearing aid according to any one of claims 1 to 3, wherein the howling detection unit detects the howling based on the parameter of the storage unit.
The binaural hearing aid according to claim 1, wherein the howling detection unit controls the step size of the adaptive filter to be reduced when the howling is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085481A JP7045255B2 (en) | 2018-04-26 | 2018-04-26 | Binaural hearing aid |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085481A JP7045255B2 (en) | 2018-04-26 | 2018-04-26 | Binaural hearing aid |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019193156A JP2019193156A (en) | 2019-10-31 |
JP7045255B2 true JP7045255B2 (en) | 2022-03-31 |
Family
ID=68391027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018085481A Active JP7045255B2 (en) | 2018-04-26 | 2018-04-26 | Binaural hearing aid |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7045255B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689875B (en) * | 2021-08-25 | 2024-02-06 | 湖南芯海聆半导体有限公司 | Digital hearing aid-oriented double-microphone voice enhancement method and device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005536128A (en) | 2002-08-16 | 2005-11-24 | エマ ミックスド シグナル シー. ブイ. | Method and system for processing subband signals using adaptive filters |
JP2007067780A (en) | 2005-08-31 | 2007-03-15 | Kumamoto Univ | Output controller |
JP2007525917A (en) | 2004-03-03 | 2007-09-06 | ヴェーデクス・アクティーセルスカプ | Hearing aid with adaptive feedback suppression system |
US9338562B2 (en) | 2008-02-01 | 2016-05-10 | Oticon A/S | Listening system with an improved feedback cancellation system, a method and use |
-
2018
- 2018-04-26 JP JP2018085481A patent/JP7045255B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005536128A (en) | 2002-08-16 | 2005-11-24 | エマ ミックスド シグナル シー. ブイ. | Method and system for processing subband signals using adaptive filters |
JP2007525917A (en) | 2004-03-03 | 2007-09-06 | ヴェーデクス・アクティーセルスカプ | Hearing aid with adaptive feedback suppression system |
JP2007067780A (en) | 2005-08-31 | 2007-03-15 | Kumamoto Univ | Output controller |
US9338562B2 (en) | 2008-02-01 | 2016-05-10 | Oticon A/S | Listening system with an improved feedback cancellation system, a method and use |
Also Published As
Publication number | Publication date |
---|---|
JP2019193156A (en) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2439958B1 (en) | A method of determining parameters in an adaptive audio processing algorithm and an audio processing system | |
EP2217007B1 (en) | Hearing device with adaptive feedback suppression | |
EP2165567B1 (en) | Method for feedback cancelling in a hearing device and a hearing device | |
CN110996203B (en) | Earphone noise reduction method, device and system and wireless earphone | |
US10313803B2 (en) | Method for suppressing feedback in a hearing instrument and hearing instrument | |
US9628923B2 (en) | Feedback suppression | |
US9980056B2 (en) | Method, device, and system for suppressing feedback in hearing aid devices with adaptive split-band frequency | |
EP2486735B1 (en) | Method for control of adaptation of feedback suppression in a hearing aid, and a hearing aid | |
US20120243716A1 (en) | Hearing apparatus with feedback canceler and method for operating the hearing apparatus | |
JP7045255B2 (en) | Binaural hearing aid | |
EP2890154B1 (en) | Hearing aid with feedback suppression | |
JP7045165B2 (en) | Feedback canceller and hearing aids with it | |
JP6196070B2 (en) | Muffled sound reduction device, hearing aid equipped with the same, earphone for audio, earplug | |
JP6471199B2 (en) | Feedback canceller and hearing aid | |
Sunohara et al. | Occlusion reduction system for hearing aids using active noise control technique | |
JP6285300B2 (en) | Hearing aid and feedback canceller | |
CN107431869B (en) | Hearing device | |
US8737656B2 (en) | Hearing device with feedback-reduction filters operated in parallel, and method | |
JP2022176488A (en) | Feedback canceller, acoustic apparatus with the same, and feedback cancel method | |
CN114257913A (en) | In-ear earphone |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7045255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |