JP5853540B2 - 音声通信装置及びプログラム - Google Patents

音声通信装置及びプログラム Download PDF

Info

Publication number
JP5853540B2
JP5853540B2 JP2011211284A JP2011211284A JP5853540B2 JP 5853540 B2 JP5853540 B2 JP 5853540B2 JP 2011211284 A JP2011211284 A JP 2011211284A JP 2011211284 A JP2011211284 A JP 2011211284A JP 5853540 B2 JP5853540 B2 JP 5853540B2
Authority
JP
Japan
Prior art keywords
ambient noise
voice
level
estimated
voice communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011211284A
Other languages
English (en)
Other versions
JP2013074422A (ja
Inventor
青柳 弘美
弘美 青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2011211284A priority Critical patent/JP5853540B2/ja
Publication of JP2013074422A publication Critical patent/JP2013074422A/ja
Application granted granted Critical
Publication of JP5853540B2 publication Critical patent/JP5853540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Description

本発明は音声通信装置及びプログラムに関し、例えば、携帯型の音声通信端末に適用し得るものである。
近年では、VoIP技術を利用した音声通信であるIP電話端末(ソフトフォンを含む)が広く普及してきた。IP電話端末は、音声の情報をIPパケット化して、IPネットワークを介して伝送することにより、通話相手に音声を伝える。IP電話端末の形態も、スマートフォンなどの携帯型端末が普及してきており、従来の携帯電話端末も含め、いわゆる携帯型の音声通信端末が増加している。携帯型端末は、屋外で使用されることが多く、周囲雑音の影響で受話音声が聴き取り難いこともある。そのため、特許文献1に記載のように、受話音量を自動で調整する機能を備えた通信端末も提案されている。
特開2005−253097号公報
しかしながら、周囲雑音は受話音量のみならず送話音量にも影響を及ぼす。一般に、周囲雑音が大きい場所(周りがうるさい場所)で発話する場合、自然と声が大きくなってしまう事象が生じる。このとき、対向側の受話音声が必要以上に大きくなり、受話音量の自動調整機能を備えない通信端末を利用している対向受話者は、過剰な音量での受話になり、受話音声が聴き取り難くなる。
そのため、受話音声を対向受話者が聴き取り易くできる音声通信装置及びプログラムが望まれている。
第1の本発明の音声通信装置は、送話信号の有音/無音判定を行い、無音区間の平均レベルを周囲雑音レベルとして推定するとともに、有音区間の平均レベルを音声レベルとして推定する周囲雑音推定手段と、所定期間において推定された上記周囲雑音レベルと、当該周囲雑音レベルに対応する推定された上記音声レベルとから回帰分析を行い、当該回帰分析結果から推定音声レベル基準値を算出し、所定期間後、上記音声レベルが当該推定音声レベル基準値と一致するよう、上記送話信号の音量を調整する送話音量調整手段とを備えたことを特徴とする。
第2の本発明の音声通信プログラムは、音声通信装置に搭載されるコンピュータを、送話信号の有音/無音判定を行い、無音区間の平均レベルを周囲雑音レベルとして推定するとともに、有音区間の平均レベルを音声レベルとして推定する周囲雑音推定手段と、所定期間において推定された上記周囲雑音レベルと、当該周囲雑音レベルに対応する推定された上記音声レベルとから回帰分析を行い、当該回帰分析結果から推定音声レベル基準値を算出し、所定期間後、上記音声レベルが当該推定音声レベル基準値と一致するよう、上記送話信号の音量を調整する送話音量調整手段として機能させることを特徴とする。
本発明によれば、周囲雑音に応じて送話音量を調整するようにしたので、対向する音声通信装置の受話者が、受話音声を聴き取り易くすることができる。
第1の実施形態に係る音声通信装置の構成を示すブロック図である。 第1の実施形態の音声通信装置における周囲雑音パワ推定器の推定方法の説明図である。 第1の実施形態の音声通信装置における推定周囲雑音パワをゲインに変換する方法の説明図である。 第2の実施形態に係る音声通信装置の構成を示すブロック図である。 第3の実施形態に係る音声通信装置の構成を示すブロック図である。 第4の実施形態に係る音声通信装置の構成を示すブロック図である。
(A)第1の実施形態
以下、本発明による音声通信装置及びプログラムの第1の実施形態を、図面を参照しながら詳述する。第1の実施形態の音声通信装置は、携帯電話端末やスマートフォンなどの携帯型音声通信端末である。
(A−1)第1の実施形態の構成
図1は、第1の実施形態に係る音声通信装置の構成を示すブロック図である。
図1において、第1の実施形態の音声通信装置1は、マイクロフォン10、アナログ/デジタル変換器(A/D)11、送話音量調整回路12、周囲雑音パワ推定器13及びゲイン制御回路14を有する。ここで、送話音量調整回路12、周囲雑音パワ推定器13及びゲイン制御回路14は、専用的な回路として構成するだけでなく、CPUと、CPUが実行するプログラムで実現するようにしても良い。
マイクロフォン10は、送話者が発した音声を捕捉するものであり、アナログ/デジタル変換器11は、捕捉されて得られたアナログ音声信号をデジタル音声信号Sに変換するものである。
送話音量調整回路12は、例えば、乗算器でなり、入力されたデジタル音声信号Sに、ゲイン制御回路14から与えられたゲインGを乗算して送話音量を調整して出力するものである。このような音量が調整されたデジタル音声信号Sgが、図示しない処理部によって、符号化された後、パケット化されて、対向する音声通信装置に向けて送信される。
周囲雑音パワ推定器13は、デジタル音声信号Sから、送話者の周囲雑音パワNを推定するものである。周囲雑音パワNの推定方法は、問われないものであり、いかなる方法を適用しても良い。例えば、入力パワと最小パワとを比較し、入力パワが最小パワより小さければ入力パワを新たな最小パワに更新することを通じて最小パワをいつも検出しておき、図2に示すように、デジタル音声信号Sの最小パワを周囲雑音パワNとして推定するようにしても良い。また、デジタル音声信号Sに対して、有音/無音判定を行い、無音区間の平均パワを周囲雑音パワNとして無音区間毎に推定するようにしても良い。
なお、周囲雑音レベルを、周囲雑音パワ(サンプル値の2乗値)で表しているが、サンプル値の絶対値など、他の指標を用いても良い。
ゲイン制御回路14は、推定された周囲雑音パワNに応じたゲインGを得て、送話音量調整回路12に与えるものである。ゲイン制御回路14は、例えば、変換テーブルを内蔵してゲインGを得るものであっても良く、また例えば、変換式に従って演算してゲインGを得るものであっても良い。図3は、周囲雑音パワNをゲインGに変換する変換方法の一例の説明図であり、変換テーブルを利用する場合であっても変換式を利用する場合であっても適用できるものである。図3の例は、推定された周囲雑音パワNが所定パワN0(所定パワN0が0であっても良い)まではゲインGとしてデジタル音声信号Sをそのまま、音量調整後のデジタル音声信号Sgとして出力させるゲイン1.0を出力し、推定された周囲雑音パワNが所定パワN0を超えていると、超えた度合いが大きいほどゲインGを小さくするように変換する。ここで、漸減直線は、周囲雑音パワNそのものに対して線形なものであっても良く、周囲雑音パワNの対数値に対して線形なものであっても良い。後者は、図3の横軸が対数表記されている場合に該当する。
ここで、周囲雑音パワNが所定パワN0まではゲインGとして1.0を出力するようにしたので、周囲雑音がある程度大きくなるまでは、送話者は、概ね定まっている声の大きさで発声する傾向があるためである。
(A−2)第1の実施形態の動作
次に、以上のような構成を有する第1の実施形態に係る音声通信装置1の動作を説明する。
送話者の音声や周囲雑音は、マイクロフォン10によって捕捉されてアナログ音声信号になり、このアナログ音声信号がアナログ/デジタル変換器11によってデジタル音声信号Sに変換され、送話音量調整回路12を介して音量が調整され、音量調整後のデジタル音声信号Sgが対向する音声通信装置に向けて送出される。
デジタル音声信号Sは、周囲雑音パワ推定器13にも与えられ、このデジタル音声信号Sに基づいて、周囲雑音パワNが推定され、推定された周囲雑音パワNに応じたゲインGが、ゲイン制御回路14によって得られて送話音量調整回路12に与えられる。これにより、デジタル音声信号Sに対する上述した音量調整が、送話音量調整回路12において実行される。
周囲雑音がさほどでもない状況では、送話者は、自己が携帯型音声通信端末(第1の実施形態の音声通信装置1)に対して通常発声する程度のパワで発話する。このとき、周囲雑音パワ推定器13によって推定される周囲雑音パワNは、所定パワN0より小さく、その結果、1.0のゲインGが送話音量調整回路12に与えられ、デジタル音声信号Sがそのまま、音量調整後のデジタル音声信号Sgとして出力される。
これに対して、周囲雑音が大きい場合には、送話者は、周囲雑音に負けずに通話できるように知らず知らずと声を大きくする。このとき、周囲雑音パワ推定器13によって推定される周囲雑音パワNは、所定パワN0を超え、その結果、1.0より小さいゲインGが送話音量調整回路12に与えられ、デジタル音声信号Sの音量が、送話音量調整回路12によって減衰調整され、減衰されたデジタル音声信号Sgが出力される。
(A−3)第1の実施形態の効果
以上のように、第1の実施形態によれば、周囲雑音が大きいときには、送話信号を減衰して受話側の音声通信装置に送信するようにしたので、受話音量が大き過ぎて受話者が不快感を抱くようなことを防止することができる。
受話音量が過大になること防止すべく、受話側の音声通信装置で受話音量を自動調整する方法が既に提案されているが、この解決方法では、そのような機能を有する音声通信装置を受話者が所持していなければならず、音量調整のメリットを受ける受話者は所持者に限定される。
一方、第1の実施形態の場合、受話側の音声通信装置が音量調整機能を備えていない場合であっても、過大な受話音量を防止することのメリットを受話者は享受することができる。すなわち、送話者が第1の実施形態の音声通信装置を所持している場合には、多くの受話者が過大な受話音量を防止することのメリットを享受できる。
(B)第2の実施形態
次に、本発明による音声通信装置及びプログラムの第2の実施形態を、図面を参照しながら説明する。
図4は、第2の実施形態に係る音声通信装置の構成を示すブロック図であり、上述した第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。
図4において、第2の実施形態の音声通信装置1Aは、マイクロフォン10、アナログ/デジタル変換器11、送話音量調整回路12、周囲雑音パワ推定器13A、ゲイン制御回路14A及びパワ対履歴記憶部15を有する。マイクロフォン10、アナログ/デジタル変換器11及び送話音量調整回路12は、第1の実施形態のものと同様なものであるので、その機能説明は省略する。
第2の実施形態における周囲雑音パワ推定器13Aは、有音/無音判定を行い、無音区間の平均パワを周囲雑音パワNとして推定する方式を採用しているものである。周囲雑音パワ推定器13Aは、また、有音区間の平均パワを音声パワPとして推定するものであり、推定した音声パワPもゲイン制御回路14Aに与えるものである。
パワ対履歴記憶部15は、推定された音声パワPと周囲雑音パワNとの対情報を、最新側の所定対(例えば、20対)だけ記憶しているものである。音声パワPを推定した有音区間の直前の無音区間から推定された周囲雑音パワNが、その直後の有音区間から推定された音声パワPと対をなしている。パワ対履歴記憶部15に記憶される対情報は、今回の通話におけるものだけでなく、過去の通話のものも含まれる。なお、通話ごとの対の数に制限を与えるようにしても良い。
第2の実施形態におけるゲイン制御回路14Aは、学習機能を有するゲイン制御回路である。ゲイン制御回路14Aは、パワ対履歴記憶部15に記憶されている対情報を利用して、当該音声通信装置1Aを所持する送話者に適したゲインを学習する機能を有している。学習方法は任意であるが、以下に例示するような方法を挙げることができる。
X軸を推定周囲雑音パワNの軸とし、Y軸を推定音声パワPの軸とし、回帰曲線として2次関数を適用して、記憶されている音声パワPと周囲雑音パワNとの対情報を全て適用して、回帰曲線を特定する。この回帰曲線における、所定の推定周囲雑音パワNの値N1(例えば、サンプル中の最小値)での推定音声パワPを基準値Prefとし、推定周囲雑音パワNの値ごとに、推定音声パワPを基準値Prefにするための比率を求めて、その推定周囲雑音パワNの値のゲインGとし、ゲイン制御回路14A内に格納し直す。
ゲイン制御回路14Aは、以上のような学習を通話終了時に実行し、学習し直したゲインGを次の通話で反映できるようにする。
第2の実施形態によっても、第1の実施形態と同様な効果を奏することができる。これに加え、第2の実施形態によれば、送話者の発声音量の特質に応じてゲインを設定でき、音声通信装置1Aを所持する送話者によらずに、同様な受話音量品質を受話者に提供することができる。
(C)第3の実施形態
次に、本発明による音声通信装置及びプログラムの第3の実施形態を説明する。
図5は、第3の実施形態に係る音声通信装置の構成を示すブロック図であり、上述した第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。
図5において、第3の実施形態の音声通信装置1Bは、マイクロフォン10、アナログ/デジタル変換器11、送話音量調整回路12、周囲雑音パワ推定器13、ゲイン制御回路14、マイクロフォン10N及びアナログ/デジタル変換器11Nを有する。マイクロフォン10、アナログ/デジタル変換器11、送話音量調整回路12、周囲雑音パワ推定器13及びゲイン制御回路14は、第1の実施形態のものと同様なものであるので、その機能説明は省略する。
第3の実施形態の音声通信装置1Bは、周囲雑音の捕捉専用のマイクロフォン10Nと、その捕捉信号(アナログ信号)をデジタル信号に変換して周囲雑音パワ推定器13に与えるアナログ/デジタル変換器11Nを追加したものである。
携帯電話端末やスマートフォンなどの携帯型音声通信端末が該当する第3の実施形態の音声通信装置1Bは、通話時には、マイクロフォン10が送話者の口に近付くように位置される。そのため、マイクロフォン10が十分に周囲雑音を捕捉できない場合も生じる。しかし、送話者は、大きな周囲雑音が聴こえているときには大声で話す可能性が高い。すなわち、マイクロフォン10の配置位置や指向性によっては、その捕捉信号に周囲雑音が含まれている量が少なく、周囲雑音の推定精度が低下する可能性がある。そのため、第3の実施形態の音声通信装置1Bでは、周囲雑音の捕捉専用のマイクロフォン10Nを設け、その捕捉信号から周囲雑音パワを推定することとした。
第3の実施形態によっても、第1の実施形態と同様な効果を奏することができる。これに加え、第3の実施形態によれば、周囲雑音パワの推定精度を向上させることができ、その結果、送話音量も適切に調整することができる。
(D)第4の実施形態
次に、本発明による音声通信装置及びプログラムの第4の実施形態を説明する。
図6は、第4の実施形態に係る音声通信装置の構成を示すブロック図であり、上述した第1の実施形態に係る図1との同一、対応部分には同一、対応符号を付して示している。
図6において、第4の実施形態の音声通信装置1Cは、マイクロフォン10、アナログ/デジタル変換器11、送話音量調整回路12、周囲雑音パワ推定器13、ゲイン制御回路14、受話音量調整回路16、デジタル/アナログ変換器(D/A)17、スピーカ18及び受話ゲイン制御回路19を有する。マイクロフォン10、アナログ/デジタル変換器11、送話音量調整回路12、周囲雑音パワ推定器13及びゲイン制御回路14は、第1の実施形態のものと同様なものであるので、その機能説明は省略する。
第4の実施形態の音声通信装置1Cは、送話方向のデジタル音声信号Sから得た推定された周囲雑音パワNを、受話音量の調整にも利用しようとしたものである。
対向する音声通信装置から到来した音声パケットを分解し、符号化音声データを抽出し、それを復号して得られた受話方向のデジタル音声信号SRは、受話音量調整回路16に与えられてその音量が調整される。音量調整後のデジタル音声信号SRgは、デジタル/アナログ変換器17を介してアナログ音声信号に変換された後、スピーカ18から発音出力される。受話ゲイン制御回路19には、周囲雑音パワ推定器13から推定された周囲雑音パワNが与えられ、受話ゲイン制御回路19は、周囲雑音が大きくても受話音声が聴き取り易くなるように、周囲雑音が大きいほど大きくなるようなゲインGRを形成して、受話音量調整回路16に与え、受話音量調整回路16において、デジタル音声信号SRにゲインGRが乗算されて受話音量が調整される。
第4の実施形態によっても、第1の実施形態と同様な効果を奏することができる。これに加え、第4の実施形態によれば、周囲雑音パワに応じて、当該装置での受話音量をも調整したので、周囲雑音に拘らず、受話音声を聴き取り易くできる。
(E)他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
上記各実施形態においては、送話音量調整回路12から出力されたデジタル音声信号を符号化処理するように説明したが、送話音量調整回路12の後段で雑音除去(ノイズキャンセル)するようにしても良い。送話音量を調整しても、調整前後でS/N比は変わらず、S/N比を向上させたい場合には、送話音量の調整と、雑音除去との双方を実行すれば良い。
上記各実施形態では、送話音量調整回路12を新たに設けたものを示したが、既存の増幅回路を利用して送話音量を調整するようにしても良い。マイクロフォン10が捕捉したアナログ音声信号を増幅する増幅回路を備えている音声通信装置も多いが、この増幅回路を送話音量調整回路12として利用するようにしても良い。この場合、周囲雑音パワをデジタル音声信号に基づいて推定していると、フィードバック制御となるので、制御が安定するように、通話初期時の所定期間でのみ、周囲雑音パワを推定して、その推定値を通話期間の全体に適用するようにしても良い。
上記各実施形態では、携帯電話端末やスマートフォンなどの携帯型音声通信端末に、本発明の技術思想を適用した場合を示したが、固定電話端末に対しても本発明の技術思想を適用でき、また、電話端末以外の音声通信装置に対しても、本発明の技術思想を適用することができる。
1、1A〜1C…音声通信装置、10、10N…マイクロフォン、11、11N…アナログ/デジタル変換器(A/D)、12…送話音量調整回路、13、13A…周囲雑音パワ推定器、14、14A…ゲイン制御回路、15…パワ対履歴記憶部、16…受話音量調整回路、17…デジタル/アナログ変換器(D/A)、18…スピーカ、19…受話ゲイン制御回路。

Claims (2)

  1. 送話信号の有音/無音判定を行い、無音区間の平均レベルを周囲雑音レベルとして推定するとともに、有音区間の平均レベルを音声レベルとして推定する周囲雑音推定手段と、
    所定期間において推定された上記周囲雑音レベルと、当該周囲雑音レベルに対応する推定された上記音声レベルとから回帰分析を行い、当該回帰分析結果から推定音声レベル基準値を算出し、所定期間後、上記音声レベルが当該推定音声レベル基準値と一致するよう、上記送話信号の音量を調整する送話音量調整手段と
    を備えたことを特徴とする音声通信装置。
  2. 音声通信装置に搭載されるコンピュータを、
    送話信号の有音/無音判定を行い、無音区間の平均レベルを周囲雑音レベルとして推定するとともに、有音区間の平均レベルを音声レベルとして推定する周囲雑音推定手段と、
    所定期間において推定された上記周囲雑音レベルと、当該周囲雑音レベルに対応する推定された上記音声レベルとから回帰分析を行い、当該回帰分析結果から推定音声レベル基準値を算出し、所定期間後、上記音声レベルが当該推定音声レベル基準値と一致するよう、上記送話信号の音量を調整する送話音量調整手段と
    して機能させることを特徴とする音声通信プログラム。
JP2011211284A 2011-09-27 2011-09-27 音声通信装置及びプログラム Active JP5853540B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011211284A JP5853540B2 (ja) 2011-09-27 2011-09-27 音声通信装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011211284A JP5853540B2 (ja) 2011-09-27 2011-09-27 音声通信装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013074422A JP2013074422A (ja) 2013-04-22
JP5853540B2 true JP5853540B2 (ja) 2016-02-09

Family

ID=48478577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011211284A Active JP5853540B2 (ja) 2011-09-27 2011-09-27 音声通信装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5853540B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6480303B2 (ja) * 2015-11-06 2019-03-06 大井電気株式会社 無線装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1811660B1 (en) * 1999-03-30 2013-10-09 Qualcomm Incorporated Method and apparatus for automatically adjusting speaker gain within a mobile telephone
JP3917101B2 (ja) * 2003-04-11 2007-05-23 日本電信電話株式会社 携帯電話端末及び音声レベル制御プログラム
US9058819B2 (en) * 2006-11-24 2015-06-16 Blackberry Limited System and method for reducing uplink noise

Also Published As

Publication number Publication date
JP2013074422A (ja) 2013-04-22

Similar Documents

Publication Publication Date Title
US8989815B2 (en) Far field noise suppression for telephony devices
US8718562B2 (en) Processing audio signals
US10320967B2 (en) Signal processing device, non-transitory computer-readable storage medium, signal processing method, and telephone apparatus
TWI506620B (zh) 通訊裝置及其語音處理方法
US20140365212A1 (en) Receiver Intelligibility Enhancement System
JP6295722B2 (ja) エコー抑圧装置、プログラム及び方法
JP2013153254A (ja) 残響抑制装置、残響抑制方法及び残響抑制用コンピュータプログラム
CN104580764A (zh) 电话会议系统中的超声配对信号控制
JP2009171208A (ja) 自動音量制御装置及びそれを用いた音声通信装置
EP2247082B1 (en) Telecommunication device, telecommunication system and method for telecommunicating voice signals
JP2009094802A (ja) 通信装置
US8804981B2 (en) Processing audio signals
US20110066427A1 (en) Receiver Intelligibility Enhancement System
JP5853540B2 (ja) 音声通信装置及びプログラム
JP2010199741A (ja) 携帯電話端末装置
US9343079B2 (en) Receiver intelligibility enhancement system
US20080059161A1 (en) Adaptive Comfort Noise Generation
JP6369192B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP6369189B2 (ja) エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末
JP2015002386A (ja) 通話装置、音声変更方法、及び音声変更プログラム
JP2009302983A (ja) 音声処理装置および音声処理方法
JP4534529B2 (ja) ハウリング抑圧方法及び装置
JP2013005106A (ja) 場内拡声装置、場内拡声方法、及びそのプログラム
US20120189108A1 (en) Voice communication apparatus
JP6119336B2 (ja) 周波数特性補正装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150403

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151123

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5853540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150