JP6121047B2 - エコーキャンセラ装置 - Google Patents

エコーキャンセラ装置 Download PDF

Info

Publication number
JP6121047B2
JP6121047B2 JP2016508576A JP2016508576A JP6121047B2 JP 6121047 B2 JP6121047 B2 JP 6121047B2 JP 2016508576 A JP2016508576 A JP 2016508576A JP 2016508576 A JP2016508576 A JP 2016508576A JP 6121047 B2 JP6121047 B2 JP 6121047B2
Authority
JP
Japan
Prior art keywords
received signal
regularization
regularization number
echo
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016508576A
Other languages
English (en)
Other versions
JPWO2015141297A1 (ja
Inventor
智治 粟野
智治 粟野
敦仁 矢野
敦仁 矢野
厚 堀田
厚 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2015141297A1 publication Critical patent/JPWO2015141297A1/ja
Application granted granted Critical
Publication of JP6121047B2 publication Critical patent/JP6121047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Description

本発明は、送話信号に混入した受話信号のエコーを送話信号から消去するエコーキャンセラ装置に関し、特に、その適用フィルタの正則化数を適切な値とする構成に関するものである。
エコーキャンセラ装置は、拡声通話装置などにおいて、送話信号に混入した受話信号のエコーを送話信号から消去する目的で用いられる。このエコーキャンセラ装置の多くは、適応フィルタによってエコー経路を推定(学習)し、疑似的なエコー信号(エコーレプリカ)を生成し、送話信号から消去することで効果を得る。すなわち、適応フィルタのエコー消去性能がエコーキャンセラ装置の性能を決めると言える。図1は適応フィルタによるエコー経路の学習を表している。
このような適応フィルタによるエコー経路の学習を阻害する要因として、観測される送話信号への外乱信号の混入が考えられる。適応フィルタにとっては、エコーに混入する背景雑音や近端話者音声は外乱となり、エコー経路の学習の妨げとなる。そのため、適応フィルタは外乱に対するロバストネスを強化するための何らかの工夫が必要である。
このような外乱への対策として、適応フィルタアルゴリズムの更新に関わるパラメータである正則化数(Regularization Parameter)を適切な値とし、適応フィルタアルゴリズムの更新を制御する方法が行われる。
以下に代表的な適応フィルタアルゴリズムであるNLMS(Normalization Least Mean Square)アルゴリズムの更新式を示す。
Figure 0006121047

Figure 0006121047

Figure 0006121047
である。Nはフィルタ次数であり、nは時系列を表す添え字である。初期時点のn=0では、(式2)の係数列には何らかの初期値が与えられる。なおx(n)は受話信号列であり、
Figure 0006121047

Figure 0006121047

Figure 0006121047
とおくことが多く、(式4)の右辺は入力信号列x(n)の信号パワーとなっている。またd(n)は、更新前のフィルタ係数によって得られる残差信号である。
Figure 0006121047
正則化数δを大きな値にすることで、適応フィルタの外乱による誤学習の影響を小さくすることができる。その反面、学習速度が緩慢になることで、初期状態からの学習や、エコーパスの変動に対する追従性が失われ、フィルタ係数の収束に多くの学習回数を要するようになる。正則化数δを小さな値にすることで、学習の速度は速くなるが、外乱に対する耐性は弱くなり、誤学習の頻度は高くなる。
正則化数δは定数とされる場合が多いが、状況に応じて変化させる方法が提案されている。例えば、観測信号に応じて正則化数を変化させる方法が非特許文献2に示されている。この方法では、エコー対外乱比の推定量を用いることにより、時間ごとに正則化数を変化させることが可能である。
浅野太「音のアレイ信号処理-音源の定位・追跡と分離」3.5章,コロナ社 "Regularization of the Affine Projection Algorithm,"Constantin. Paleologu et al.,IEEE Trans. Circuits Syst. II,Exp. Briefs,VOL. 58,NO. 6,JUNE 2011
しかしながら、正則化数を状況に応じて変化させる方法では次のような問題があった。第1に、エコー対外乱比を正確に推定することはできない(エコーも外乱も観測することはできない)ということである。これは、推定誤差が大きい際には正則化数を適切に調整できなくなり、適応フィルタの誤学習が進んでしまう。
第2に、性能が高い周波数領域適応フィルタアルゴリズムではなく、性能が劣る時間領域適応フィルタに適用していることである。周波数領域適応フィルタアルゴリズムは、時間領域適応フィルタアルゴリズムに対して、収束速度が速く、また、低演算量での実現が可能であるため、実装面で大きな利点がある。このため、周波数領域適応フィルタアルゴリズムに適用できないのは大きな問題点であった。
この発明は上記のような課題を解決するためになされたもので、性能向上を図ることのできるエコーキャンセラ装置を得ることを目的とする。
この発明に係るエコーキャンセラ装置は、受話信号を周波数領域に変換する周波数領域変換部と、周波数領域の受話信号を周波数に対応して解析し、当該受話信号の平均パワーを算出する受話信号平均パワー算出部と、受話信号から通話網が狭帯域通話か広帯域通話かを判定する通話網判定部と、受話信号平均パワーと通話網判定部の判定結果とを用いて正則化数セットを算出する正則化数算出部と、受話信号とマイク入力信号と正則化数セットを用いてエコーパスを学習し、疑似エコーを生成しエコーを消去する周波数領域適応フィルタとを備えたものである。
この発明のエコーキャンセラ装置は、周波数に対応して受話信号を解析し、当該受話信号の平均パワーを算出するとともに、受話信号から通話網が狭帯域通話か広帯域通話かを判定し、受話信号平均パワーと通話網判定部の判定結果とを用いて正則化数セットを算出し、周波数領域適応フィルタが、受話信号とマイク入力信号と正則化数セットを用いてエコーパスを学習し、疑似エコーを生成しエコーを消去するようにしたものである。これにより、周波数に応じて適切な正則化数を算出することができ、その結果、大きな性能向上を図ることができる。
適応フィルタによるエコー経路の学習を表すブロック図である。 この発明の実施の形態1によるエコーキャンセラ装置を示すブロック図である。 この発明の実施の形態1によるエコーキャンセラ装置が受話入力信号として用いる疑似音声信号を示す説明図である。 この発明の実施の形態1によるエコーキャンセラ装置の二つの正則化数セットを示す説明図である。 この発明の実施の形態1によるエコーキャンセラ装置の二種類の正則化数セットを使用した際のFLMSアルゴリズムの出力を示す説明図である。 この発明の実施の形態1によるエコーキャンセラ装置の疑似音声信号の長時間平均パワースペクトルを示す説明図である。 この発明の実施の形態2によるエコーキャンセラ装置を示すブロック図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図2は、本発明の実施の形態1に係るエコーキャンセラ装置の構成を示すブロック図である。101はエコーパスを表しており、102は適応フィルタである。本発明は適応フィルタとして周波数領域適応フィルタを前提としているため、そのフィルタ係数は大文字のHと表し、適応フィルタが学習するエコーパスを表す伝達関数を同様にHと表すこととする。周波数領域適応フィルタは、例えばFLMS(Fast Least Mean Square)アルゴリズムを用いる。FLMSアルゴリズムの係数更新式は次の一連の式で実現することが可能である。
Figure 0006121047

Figure 0006121047

Figure 0006121047

Figure 0006121047

Figure 0006121047



Figure 0006121047

Figure 0006121047

Figure 0006121047

Figure 0006121047
ここで、kをブロック数、x(n)は受話信号、y(n)はマイク入力信号を表す。小文字(太字)は長さMの縦ベクトルを表し、大文字(太字)は2M×2M行列を表し、Hはエルミート行列を表す。また、FFTは高速フーリエ変換、IFFTは高速フーリエ逆変換を表し、γは忘却係数である。
Figure 0006121047

Figure 0006121047

Figure 0006121047
FLMSアルゴリズムで正則化数を周波数毎に変化させることでエコー消去性能が高くなる実験例を示す。受話入力信号として用いているのは図3に示すITU−T P.501に規定されている疑似音声信号である。スピーカから出力させ、マイクで受けたエコー信号をFLMSアルゴリズムでエコーパスの学習を行い、消去する。図4に二つの正則化数セットを示す。正則化数セットとは、各周波数の正則化数をまとめた集合である。正則化数セット(1)はすべての周波数帯域で同じ正則化数を設定しており、正則化数セット(2)は低域ほど大きい正則化数、低域ほど小さい正則化数となるように設定した。この二種類の正則化数セットを使用した際のFLMSアルゴリズムの出力を図5に示す。ここでは、出力結果を周波数領域で表しており、色が濃いほど信号パワーが強い。図からわかるように、正則化数セット(2)を用いた方がエコー消去性能は高く、正則化数セット(1)を使用したFLMSアルゴリズムと比較して、各時間で3dBの消去量改善が確認できる。
上記において、各周波数帯域での正則化数の組み合わせを正則化数セット(2)のようにした理由を説明する。入力信号に用いた疑似音声信号の長時間平均パワースペクトルが図6に示すように、低域は強く、高域になるにつれて信号パワーが小さい特徴を持つ。正則化数は、信号がもつパワーよりも大きな値とすると、適応フィルタの学習が過度に進みづらくなる。そのため、入力信号のパワーに応じて決めるべきであり、上記の実験では、正則化数セットは入力信号のパワースペクトルに模して作成した。
本発明は、上記特徴を利用し、実施の形態1では、正則化数制御装置103を備える。正則化数制御装置103は、FFT処理部104と受話信号平均パワー算出部105と正則化数算出部106とを備える。FFT処理部104は、受話信号を周波数領域に変換する周波数領域変換部である。受話信号平均パワー算出部105は、FFT処理部104で変換された周波数帯域毎に受話信号解析を行う受話信号解析部である。正則化数算出部106は、受話信号平均パワー算出部105の受話信号解析結果を用いて正則化数セットを算出する演算部である。
このように構成された正則化数制御装置103では、まず受話信号をFFT処理部104で周波数分析を行うが、この周波数分析は適応フィルタ102の計算過程で得られる周波数分析信号を用いてもよい。周波数分析した信号を受話信号平均パワー算出部105で算出する。
Figure 0006121047

Figure 0006121047
(式14)で算出する信号パワーは急峻な変化をできるだけ避け、長時間での平均パワーを算出する目的があるため、(式14)における忘却係数ηは(式9)における忘却係数γより大きくする必要がある。すなわちη>γである。上記のように算出された受話信号の平均パワーを用いて、正則化数算出部106では正則化数を算出する。正則化数は参照信号となる受話信号の平均パワーに対して実数値ζを乗じることにより決定する。すなわち、正則化数算出の式は(式15)となる。
Figure 0006121047
実数値ζは固定値としては例えば1/2を使用する方法が考えられる。また,受話信号の全帯域パワーP(ave)(k)により決定させてもよい。全帯域パワーP(ave)(k)は下記の(式16)で算出する。

Figure 0006121047
全帯域パワーP(ave)(k)の大きさに対して閾値k1,k2(k1<k2)を用意し、例えば下記の式(式17)により実数値ζを決定する。

Figure 0006121047
上記のように実数値ζを決定することにより、受話信号に対して過度に大きい正則化数を加えることを防止することが可能となる。
このように、実施の形態1では、上記のように算出された正則化数を用いた周波数領域適応フィルタを用いることにより、各時間で周波数毎に適切なフィルタ係数更新をすることが可能となり、エコー消去性能を向上することが可能である。また、受話信号パワーを用いているため、エコー対外乱比を算出する必要がなく、正確な正則化数算出が可能である。
以上説明したように、実施の形態1のエコーキャンセラ装置によれば、受話信号を周波数領域に変換する周波数領域変換部と、周波数領域の受話信号を周波数に対応して解析する受話信号解析部と、受話信号解析の結果を用いて正則化数セットを算出する正則化数算出部と、受話信号とマイク入力信号と正則化数セットを用いてエコーパスを学習し、疑似エコーを生成しエコーを消去する周波数領域適応フィルタとを備えたので、各時間で周波数毎に適切なフィルタ係数の更新をすることが可能となり、エコー消去性能を向上することが可能である。
また、実施の形態1のエコーキャンセラ装置によれば、受話信号解析部は受話信号の平均パワーを算出し、正則化数算出部は、算出された受話信号平均パワーを用いて正則化数セットを算出するようにしたので、エコー対外乱比を算出する必要がなく、正確な正則化数を算出することが可能である。
また、実施の形態1のエコーキャンセラ装置によれば、正則化数セットは受話信号平均パワーに対して固定値を乗じて算出するようにしたので、エコー対外乱比を算出する必要がなく、正確な正則化数を算出することが可能である。
また、実施の形態1のエコーキャンセラ装置によれば、正則化数セットは受話信号平均パワーに対して全周波数領域の受話信号パワーに応じて決定する値を乗じて算出するようにしたので、受話信号に対して過度に大きい正則化数を加えることを防止することが可能となる。
実施の形態2.
ハンズフリー通話中は、通話中の通信網によって受話信号の信号帯域制限が異なる。欧州ではすでに広帯域通話(50〜7000Hz)がサービスインしているが、地域によっては狭帯域通話(300〜3400Hz)である。エコーキャンセラは通話網の状況によらずにエコー消去性能品質を確保する必要がある。
広帯域通話処理を前提とした16kHzサンプリングのデジタル信号でエコーキャンセラ装置が動作するとし、狭帯域通話状態であることを考えると、4kHz〜8kHzの信号を処理することに意味は無い。なぜならその帯域の信号はエコーキャンセラ処理後に通信網がもつローパスフィルタでカットされるからである。周波数領域適応フィルタの高域部において誤学習が発生すると、その影響は低域にまで広がるため、誤学習ができるだけ発生しないようにする必要がある。
そこで、実施の形態2では図7に示す構成とする。実施の形態2のエコーキャンセラ装置は、正則化数制御装置201を備えている。実施の形態1での正則化数制御装置103との相違点は、受話入力信号を用いた通話網判定部202を備え、正則化数算出部203がこの通話網判定部202の判定結果に基づいて正規化数を算出するよう構成されていることである。
通話網判定部202はハンズフリー通話での通話網が、狭帯域通話か広帯域通話かを判定する。判定方法は種々考えられるが、例えば、受話入力信号に4kHz以上の信号を抽出可能なハイパスフィルタを通し、高域信号のパワーがある閾値を下回れば狭帯域通話、上回れば広帯域通話というように判定可能である。また、ネットワーク情報が事前に通知されるのであれば、その情報を判定結果としても良い。
正則化数算出部203は通話網判定部202から通話網判定結果を参照し、正則化数制御する機能を備える。狭帯域通話であれば、4kHz以上に対応する正則化数を大きな値とし、高域の誤学習を防ぐ。すなわち、通話網判定結果が狭帯域通話であれば、次の式(18)で正則化数を算出する。

Figure 0006121047
ここで、Lは非常に大きい値で、例えば受話信号平均パワー算出部105で算出された低域のパワーの1000倍ほどの値を使用すればよい。通話網判定結果が広帯域通話であれば、実施の形態1で説明した、式(15)と同様の式で正則化数を算出する。
以上の方法により、狭帯域通話中の誤学習の可能性を軽減し、安定的なエコー消去性能を確保することが可能である。
また、正則化数は初期値として、これまで算出してきた正則化数セットを記憶させておき、n=0から、その正則化数セットを使用しても良い。その際、長時間平均パワー算出に関する式(14)において、γ=1とし、長時間平均パワーの更新を行わない、すなわち正則化数セットの更新を行わない状況も、本発明の範疇とする。
以上説明したように、実施の形態2のエコーキャンセラ装置によれば、受話信号を周波数領域に変換する周波数領域変換部と、周波数領域の受話信号を周波数に対応して解析し、受話信号の平均パワーを算出する受話信号平均パワー算出部と、受話信号から通話網が狭帯域通話か広帯域通話かを判定する通話網判定部と、受話信号平均パワーと通話網判定部の判定結果とを用いて正則化数セットを算出する正則化数算出部と、受話信号とマイク入力信号と正則化数セットを用いてエコーパスを学習し、疑似エコーを生成しエコーを消去する周波数領域適応フィルタとを備えたので、実施の形態1の効果に加えて、通話網が狭帯域通話か広帯域通話であってもそれぞれの通話網に最適な性能を得ることができる。
また、実施の形態2のエコーキャンセラ装置によれば、正則化数算出部は、通話網判定部の判定結果が狭帯域通話である場合は、4kHz以上の帯域に対応する正則化数を、周波数領域適応フィルタの学習を抑制する設定値とするようにしたので、狭帯域通話中の誤学習を抑制することができ、安定したエコー消去性能を確保することができる。
また、実施の形態2のエコーキャンセラ装置によれば、正則化数算出部は、予め作成された正則化数を用いて、正則化数セットの算出を行うようにしたので、誤学習の可能性がある場合でも、安定したエコー消去性能を確保することができる。
また、実施の形態2のエコーキャンセラ装置によれば、正則化数算出部は、予め設定された正則化数を初期設定とし、正則化数を継続して適用するようにしたので、誤学習の可能性がある場合でも、安定したエコー消去性能を確保することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係るエコーキャンセラ装置は、送話信号に混入した受話信号のエコーを送話信号から消去する構成に関するものであり、拡声通話装置などにおいて、送話信号に混入した受話信号のエコーを送話信号から消去するのに適している。
101 エコーパス、102 適応フィルタ(周波数領域適応フィルタ)、103,201 正則化数制御装置、104 FFT処理部(周波数領域変換部)、105 受話信号平均パワー算出部(受話信号解析部)、106,203 正則化数算出部、202 通話網判定部。

Claims (4)

  1. 受話信号を周波数領域に変換する周波数領域変換部と、
    前記周波数領域の受話信号を周波数に対応して解析し、当該受話信号の平均パワーを算出する受話信号平均パワー算出部と、
    前記受話信号から通話網が狭帯域通話か広帯域通話かを判定する通話網判定部と、
    前記受話信号平均パワーと前記通話網判定部の判定結果とを用いて正則化数セットを算出する正則化数算出部と、
    前記受話信号とマイク入力信号と前記正則化数セットを用いてエコーパスを学習し、疑似エコーを生成しエコーを消去する周波数領域適応フィルタとを備えたことを特徴とするエコーキャンセラ装置。
  2. 前記正則化数算出部は、前記通話網判定部の判定結果が狭帯域通話である場合は、4kHz以上の帯域に対応する正則化数を、前記周波数領域適応フィルタの学習を抑制する設定値とすることを特徴とする請求項1記載のエコーキャンセラ装置。
  3. 前記正則化数算出部は、予め作成された正則化数を用いて、前記正則化数セットの算出を行うことを特徴とする請求項2記載のエコーキャンセラ装置。
  4. 前記正則化数算出部は、前記予め設定された正則化数を初期設定とし、当該正則化数を継続して適用することを特徴とする請求項3記載のエコーキャンセラ装置。
JP2016508576A 2014-03-20 2015-01-30 エコーキャンセラ装置 Active JP6121047B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014058273 2014-03-20
JP2014058273 2014-03-20
PCT/JP2015/052723 WO2015141297A1 (ja) 2014-03-20 2015-01-30 エコーキャンセラ装置

Publications (2)

Publication Number Publication Date
JPWO2015141297A1 JPWO2015141297A1 (ja) 2017-04-06
JP6121047B2 true JP6121047B2 (ja) 2017-04-26

Family

ID=54144277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016508576A Active JP6121047B2 (ja) 2014-03-20 2015-01-30 エコーキャンセラ装置

Country Status (2)

Country Link
JP (1) JP6121047B2 (ja)
WO (1) WO2015141297A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8275120B2 (en) * 2006-05-30 2012-09-25 Microsoft Corp. Adaptive acoustic echo cancellation

Also Published As

Publication number Publication date
JPWO2015141297A1 (ja) 2017-04-06
WO2015141297A1 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
JP4702372B2 (ja) エコー抑圧方法及び装置
JP5501527B2 (ja) エコー消去装置およびエコー検出装置
JP5036874B2 (ja) エコー消去装置
KR100989266B1 (ko) 스펙트럼 음향 특성에 기초한 더블 토크 검출 방법
WO2009117084A2 (en) System and method for envelope-based acoustic echo cancellation
JPWO2007049643A1 (ja) エコー抑圧方法及び装置
US9343073B1 (en) Robust noise suppression system in adverse echo conditions
US9185506B1 (en) Comfort noise generation based on noise estimation
RU2732362C1 (ru) Устройство эхоподавления, способ эхоподавления и программа эхоподавления
JP2011166484A (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置、多チャネルエコー消去プログラム及びその記録媒体
RU2767297C1 (ru) Устройство эхоподавления, способ эхоподавления и программа эхоподавления
JP6109450B2 (ja) エコーキャンセラ装置およびエコーキャンセル方法
JP2009094802A (ja) 通信装置
JP2012039441A (ja) 多チャネルエコー消去方法、多チャネルエコー消去装置及びそのプログラム
US8406430B2 (en) Simulated background noise enabled echo canceller
US8774260B2 (en) Delay estimation
JP2008005094A (ja) エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
JP6121047B2 (ja) エコーキャンセラ装置
WO2018087855A1 (ja) エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム
KR20120108137A (ko) 에코제거장치 및 에코제거방법
EP3516653B1 (en) Apparatus and method for generating noise estimates
JP6356087B2 (ja) エコー消去装置、その方法及びプログラム
JP4631933B2 (ja) エコー抑圧方法
JP2013005106A (ja) 場内拡声装置、場内拡声方法、及びそのプログラム
JPWO2013032001A1 (ja) 音声処理装置、その制御方法および制御プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R150 Certificate of patent or registration of utility model

Ref document number: 6121047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250