JP5745453B2 - 音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム - Google Patents
音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム Download PDFInfo
- Publication number
- JP5745453B2 JP5745453B2 JP2012089231A JP2012089231A JP5745453B2 JP 5745453 B2 JP5745453 B2 JP 5745453B2 JP 2012089231 A JP2012089231 A JP 2012089231A JP 2012089231 A JP2012089231 A JP 2012089231A JP 5745453 B2 JP5745453 B2 JP 5745453B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- periodic power
- power
- periodic
- power ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明では、雑音下において様々な話者が発声した音声の聞き取りやすさを評価し、音声明瞭度と話者毎に異なる音声のフォルマント部分の周期性パワー比との相関関係を求めることで、声質とフォルマントについて以下の関係があることを明らかにした。雑音下でも聞き取りやすい声質の話者は、最も低い周波数のフォルマント部分の周期性パワー比が相対的に弱く、それ以上のフォルマント部分の周期性パワー比が相対的に強い。一方、聞き取りづらい声質の話者は、最も低い周波数のフォルマント部分の周期性パワー比が相対的に強く、それ以上のフォルマント部分の周期性パワー比が相対的に弱い。
図1は音声明瞭度変換装置100の機能ブロック図を、図2はその処理フローを示す。音声明瞭度変換装置100は、第一音声分析部110、第一パラメータ変換部120、フォルマント抽出部130、周期性パワー変換部150、目標周期性パワー比推定部140、第二パラメータ変換部160及び音声合成部170を含む。
第一音声分析部110は、対象となる音声データs(t)を受け取り、音声分析を行い(s110)、音声データs(t)からスペクトルパワーP(i,f)、非周期性指標A(i,f)及び基本周波数f0(i)を抽出し、スペクトルパワーP(i,f)及び非周期性指標A(i,f)を第一パラメータ変換部120に、基本周波数f0(i)を音声合成部170に出力する。例えば、参考文献1記載の音声分析方法を用いることができる。
(参考文献1)河原英紀,“聴覚の情景分析が生んだ高品質VOCODER: STRAIGHT”,日本音響学会誌,1998年7月,54巻,7号,pp.521-526
なお、iは所定のサンプル間隔pで分析した場合の分析番号(フレーム番号)であり、uはフレーム中のu番目のサンプルを表す番号であり、u=0,1,…,p−1であり、t=ip+uである。i=0,1,…,[(T−1)/p]であり、[・]は・以下の最大の整数を表す。また、f=0,1,…,N−1であり、fは(f/N)×(fs/2)[Hz]以上、{(f+1)/N}×(fs/2)[Hz]未満の周波数帯域を表す番号(帯域番号)である。スペクトルパワーP(i,f)はフレームiかつ帯域fの周波数スペクトルの強さ(密度分布)を、非周期性指標A(i,f)は周波数スペクトルを周期成分(周期的な振動をする音のスペクトル)と非周期成分(周期的な振動をしない音(雑音)のスペクトル)との和とみなしたときのフレームiかつ帯域fにおける非周期成分の割合を、基本周波数f0(i)は声の高さを表す特徴量であり、フレームiの音声波形の周期をt0としたとき、その逆数1/t0[Hz]である。図4、図5、図6及び図7は、それぞれ図3の音声データs(t)に対するスペクトルパワーP(i,f)、非周期性指標A(i,f)、フレームiの音声波形及び基本周波数f0(i)を示す。
フォルマントとは、図8のような音声スペクトルのピーク部分であり、低い周波数から第1フォルマント、第2フォルマントというように番号で区別される。このフォルマントの周波数軸上の位置が、音声の音韻性や話者性を特徴付ける。
(参考文献2)大塚貴弘,“音源パルス列を考慮した頑健なARX音声分析法”,日本音響学会誌,2002年7月,58巻,7号,pp.386-397
ただし、j=1,2,…,Jはフォルマント番号であり、フォルマント周波数F(i,j)はフレームiにおけるフォルマントjの位置(周波数)を表す。Jは抽出するフォルマントの数であり、3または4程度の値である。なお、フレームiが無声区間または無音区間のようなフォルマントが存在しない区間である場合、全てのフォルマントj(j=1,2,…,J)について、フォルマント周波数F(i,j)=0とする。
第一パラメータ変換部120は、スペクトルパワーP(i,f)と非周期性指標A(i,f)を受け取り、非周期性指標A(i,f)を用いて、スペクトルパワーP(i,f)を非周期性パワーPA(i,f)と周期性パワーPP(i,f)に分離し(s120)、それぞれ第二パラメータ変換部160と周期性パワー変換部150に出力する。なお、周期性パワーPP(i,f)はスペクトルパワーP(i,f)に含まれる周期成分のスペクトルパワーであり、非周期性パワーPA(i,f)はスペクトルパワーP(i,f)に含まれる非周期成分のスペクトルパワーである。
PA(i,f)=10A(i,f)/20・P(i,f)
PP(i,f)=P(i,f)-PA(i,f)
目標周期性パワー比推定部140は、目標とする音声明瞭度xを受け取り、その音声明瞭度に対応する周期性パワー比である目標周期性パワー比RT(j)を求め(s140)、周期性パワー変換部150に出力する。以下詳細を説明する。
音声データベース141には、音声明瞭度変換に先立ち、K個の学習用音声データsk(t)と、各学習用音声データsk(t)に対する音声明瞭度スコアxkとが格納される。なお、音声明瞭度スコアxkは、人手により、様々な雑音下で学習用音声データsk(t)を聴取し、音声明瞭度スコアを付けたものの平均値である。なお、kは学習用音声データを表すインデックス番号(音声番号)であり、k=1,2,…,Kである。例えば、K=20程度あれば良い(図13参照)。
第二音声分析部142、第三パラメータ変換部143及びフォルマント抽出部144は、このK個の学習用音声データsk(t)それぞれについて、非周期性指標Ak(i,f)とスペクトルパワーPk(i,f)、周期性パワーPP,k(i,f)及びフォルマント周波数Fk(i,j)を求める(s142、s143、s144)。なお、第二音声分析部142は第一音声分析部110と違い、基本周波数を抽出しなくともよく、第三パラメータ変換部143は第一パラメータ変換部120と違い、非周期性パワーPA,k(i,f)を出力しなくともよい。
第一パワー比計算部145は、周期性パワーPP,k(i,f)及びフォルマント周波数Fk(i,j)を受け取り、これらの値を用いて、全ての音声k(k=1,2,…,K)について、各フォルマントj(j=1,2,…,J)部分のスペクトルが占めるパワーの割合である周期性パワー比RP,k(i,j)を求め(s145)、線形回帰分析部146に出力する。
線形回帰分析部146は、音声明瞭度スコアxkと周期性パワー比RP,k(i,j)とを受け取り、図11の相関性に基づいて、音声明瞭度スコアxkと周期性パワー比RP,k(i,j)の線形回帰分析を行い、線形回帰係数M(j,m)を求める(s146)。ただし、mは求める線形回帰係数の次数を示し,mは0または1の値を取る。
RP,k(i,j)≒RP,k’(i,j)=M(j,0)+xkM(j,1)
と仮定し、
{RP,k(i,j)-RP,k’(i,j)}2
の値が最小となるM(j,m)を求める。例えば、各j(j=1,2,…,J)について下記計算を行う。
線形回帰推定部147は、線形回帰係数M(j,m)と目標とする音声明瞭度スコアxとを受け取り、これらの値を用いて、目標周期性パワー比RT(j)を求める。例えば全てのj(j=1,2,…,J)について、下記式を計算して求める。
RT(j)=M(x,j)=M(j,0)+xM(j,1)
ただし、M(x,j)は、周期性パワー比回帰モデルを表す。
周期性パワー変換部150は、フォルマント周波数F(i,j)、周期性パワーPP(i,f)及び目標周期性パワー比RT(j)を受け取り、フォルマント周波数F(i,j)を用いて、目標周期性パワー比RT(j)となるように、周期性パワーPP(i,f)を変換し(s150)、変換後の周期性パワーPP’(i,f)を第二パラメータ変換部160に出力する。
フィルタ生成部152は、周期性パワー比RP(i,j)、フォルマント周波数F(i,j)及び目標周期性パワー比RT(j)を受け取り、これらの値を用いて、音声明瞭度を変換するために周期性パワーPP(i,f)を変換するフィルタr(i,f)を生成し(s152)、乗算部153に出力する。
乗算部153は、周期性パワーPP(i,f)及びフィルタr(i,f)を受け取り、周期性パワーPP(i,f)にフィルタr(i,f)を乗じ、変換後の周期性パワーPP’(i,f)を算出する(s153)。
PP’(i,f)=r(i,f)PP(i,f)
第二パラメータ変換部160は、変換後の周期性パワーPP’(i,f)と非周期性パワーPA(i,f)とを受け取り、これらの値を用いて、目標周期性パワー比RT(j)に対応するスペクトルパワーP’(i,f)と非周期性指標A’(i,f)とを求め(s160)、音声合成部170に出力する。
P’(i,f)=PP’(i,f)+PA(i,f)
A’(i,f)=20log10{PA(i,f)/P’(i,f)}
音声合成部170は、スペクトルパワーP’(i,f)と非周期性指標A’(i,f)と基本周波数f0(i)とを受け取り、これらの値を用いて、音声明瞭度変換後の音声データs’(t)を合成し(s170)、出力する。例えば、参考文献1記載の音声合成方法により音声データを合成する。音声合成部170は、第一音声分析部110と入出力の関係が逆となっており、スペクトルパワーP’(i,f)と非周期性指標A’(i,f)と基本周波数f0(i)とに基づいて、音声明瞭度変換後の音声データs’(t)を合成する。
このような構成により、音声のノイズ感が増すことなく、音声の自然性を保ったまま、音声明瞭度を変換することができる。例えば、雑音があるような騒がしい環境でも音声の自然性を保ったまま、音量を大きくすることなく、音声明瞭度を向上させることができる。また、不特定多数の人がいる環境でも、自然性を保ったまま、音量を小さくすることなく、音声明瞭度を低下させることができ、周囲に音が漏れることを防止できる。
<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。
RT(j)=M(x,j)=M(j,0)+xM(j,1)
により、目標周期性パワー比RT(j)を求めなくともよい。例えば、目標とする音声明瞭度xが1,2,3,4,5の何れかの数値を取ると分っている場合には、予めxに対応する目標周期性パワー比RT(j)を予め計算しておき、xと紐付けて記憶部に記憶しておき、目標とする音声明瞭度xを入力されたときに対応する目標周期性パワー比RT(j)を記憶部から取得する構成としてもよい。
上述した音声明瞭度変換装置は、コンピュータにより機能させることもできる。この場合はコンピュータに、目的とする装置(各種実施形態で図に示した機能構成をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施形態で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
110 第一音声分析部
120 第一パラメータ変換部
130,144 フォルマント抽出部
140 目標周期性パワー比推定部
141 音声データベース
142 第二音声分析部
143 第三パラメータ変換部
145 第一パワー比計算部
145 第一パワー比計算部
146 線形回帰分析部
147 線形回帰推定部
150 周期性パワー変換部
151 第二パワー比計算部
152 フィルタ生成部
153 乗算部
160 第二パラメータ変換部
170 音声合成部
Claims (9)
- 音声の聞き取りやすさである音声明瞭度を変更する音声明瞭度変換装置であって、
音声分析を行い、対象音声データs(t)からスペクトルパワーP(i,f)、非周期性指標A(i,f)及び基本周波数を抽出する第一音声分析部と、
前記非周期性指標A(i,f)を用いて、前記スペクトルパワーP(i,f)を非周期性パワーと周期性パワーPP(i,f)とに分離する第一パラメータ変換部と、
前記対象音声データs(t)を用いて、所定のサンプル間隔でフォルマント周波数F(i,j)を抽出するフォルマント抽出部と、
目標とする音声明瞭度xを受け取り、その音声明瞭度xに対応する周期性パワー比である目標周期性パワー比R T (j)を求める目標周期性パワー比推定部と、
前記フォルマント周波数F(i,j)を用いて、前記目標周期性パワー比R T (j)となるように、前記周期性パワーPP(i,f)を変換する周期性パワー変換部と、
変換後の周期性パワーPP’(i,f)と前記非周期性パワーとを用いて、前記目標周期性パワー比R T (j)に対応するスペクトルパワーP’(i,f)と非周期性指標A’(i,f)とを求める第二パラメータ変換部と、
前記スペクトルパワーP’(i,f)、前記非周期性指標A’(i,f)及び前記基本周波数を用いて、変換後音声データs’(t)を合成する音声合成部とを含む、
音声明瞭度変換装置。 - 請求項1記載の音声明瞭度変換装置であって、
前記目標周期性パワー比推定部は、
Kを1以上の整数とし、k=1,2,…Kとし、音声明瞭度変換に先立ち、K個の学習用音声データsk(t)と、各学習用音声データsk(t)に対する音声明瞭度xkとが格納される音声データベースと、
音声分析を行い、学習用音声データsk(t)からスペクトルパワーPk(i,f)、非周期性指標Ak(i,f)を抽出する第二音声分析部と、
前記非周期性指標Ak(i,f)を用いて、前記スペクトルパワーPk(i,f)から周期性パワーPP,k(i,f)を分離する第三パラメータ変換部と、
前記学習用音声データsk(t)を用いて、所定のサンプル間隔でフォルマント周波数Fk(i,j)を抽出するフォルマント抽出部と
前記周期性パワーPP,k(i,f)及び前記フォルマント周波数Fk(i,j)を用いて、各フォルマント部分のスペクトルが占めるパワーの割合である周期性パワー比RP,k(i,j)を求める第一パワー比計算部と、
前記音声明瞭度xkと前記周期性パワー比RP,k(i,j)の線形回帰分析を行い、線形回帰係数M(j,m)を求める線形回帰分析部と、
前記線形回帰係数M(j,m)と目標とする前記音声明瞭度xとを用いて、前記目標周期性パワー比RT(j)を求める線形回帰推定部とを含む、
音声明瞭度変換装置。 - 請求項1または請求項2記載の音声明瞭度変換装置であって、
前記周期性パワー変換部は、
前記周期性パワーPP(i,f)及び前記フォルマント周波数F(i,j)を用いて、各フォルマント部分のスペクトルが占めるパワーの割合である周期性パワー比RP(i,j)を求める第二パワー比計算部と、
前記周期性パワー比RP(i,j)、前記フォルマント周波数F(i,j)及び前記目標周期性パワー比RT(j)を用いて、フィルタr(i,f)を生成するフィルタ生成部と、
前記周期性パワーPP(i,f)に前記フィルタr(i,f)を乗じ、変換後の周期性パワーPP’(i,f)を算出する乗算部とを含む、
音声明瞭度変換装置。 - 請求項2記載の音声明瞭度変換装置であって、
前記第一パワー比計算部において、前記周期性パワー比RP,k (i,j)を
として求める、
音声明瞭度変換装置。 - 請求項3記載の音声明瞭度変換装置であって、
前記第二パワー比計算部において、前記周期性パワー比R P (i,j)を
として求める、
音声明瞭度変換装置。 - 音声の聞き取りやすさである音声明瞭度を変更する音声明瞭度変換方法であって、
音声分析を行い、対象音声データs(t)からスペクトルパワーP(i,f)、非周期性指標A(i,f)及び基本周波数を抽出する第一音声分析ステップと、
前記非周期性指標A(i,f)を用いて、前記スペクトルパワーP(i,f)を非周期性パワーと周期性パワーPP(i,f)とに分離する第一パラメータ変換ステップと、
前記対象音声データs(t)を用いて、所定のサンプル間隔でフォルマント周波数F(i,j)を抽出するフォルマント抽出ステップと、
目標とする音声明瞭度xを受け取り、その音声明瞭度xに対応する周期性パワー比である目標周期性パワー比R T (j)を求める目標周期性パワー比推定ステップと、
前記フォルマント周波数F(i,j)を用いて、前記目標周期性パワー比R T (j)となるように、前記周期性パワーPP(i,f)を変換する周期性パワー変換ステップと、
変換後の周期性パワーPP’(i,f)と前記非周期性パワーとを用いて、前記目標周期性パワー比R T (j)に対応するスペクトルパワーP’(i,f)と非周期性指標A’(i,f)とを求める第二パラメータ変換ステップと、
前記スペクトルパワーP’(i,f)、前記非周期性指標A’(i,f)及び前記基本周波数を用いて、変換後音声データs’(t)を合成する音声合成ステップとを含む、
音声明瞭度変換方法。 - 請求項6記載の音声明瞭度変換方法であって、
前記目標周期性パワー比推定ステップは、
Kを1以上の整数とし、k=1,2,…Kとし、音声明瞭度変換に先立ち、K個の学習用音声データsk(t)と、各学習用音声データsk(t)に対する音声明瞭度xkとが格納される音声データベースと、
音声分析を行い、学習用音声データsk(t)からスペクトルパワーPk(i,f)、非周期性指標Ak(i,f)を抽出する第二音声分析ステップと、
前記非周期性指標Ak(i,f)を用いて、前記スペクトルパワーPk(i,f)から周期性パワーPP,k(i,f)を分離する第三パラメータ変換ステップと、
前記学習用音声データsk(t)を用いて、所定のサンプル間隔でフォルマント周波数Fk(i,j)を抽出するフォルマント抽出ステップと
前記周期性パワーPP,k(i,f)及び前記フォルマント周波数Fk(i,j)を用いて、各フォルマントステップ分のスペクトルが占めるパワーの割合である周期性パワー比RP,k(i,j)を求める第一パワー比計算ステップと、
前記音声明瞭度xkと前記周期性パワー比RP,k(i,j)の線形回帰分析を行い、線形回帰係数M(j,m)を求める線形回帰分析ステップと、
前記線形回帰係数M(j,m)と目標とする前記音声明瞭度xとを用いて、前記目標周期性パワー比RT(j)を求める線形回帰推定ステップとを含む、
音声明瞭度変換方法。 - 請求項6または請求項7記載の音声明瞭度変換方法であって、
前記周期性パワー変換ステップは、
前記周期性パワーPP(i,f)及び前記フォルマント周波数F(i,j)を用いて、各フォルマントステップ分のスペクトルが占めるパワーの割合である周期性パワー比RP(i,j)を求める第二パワー比計算ステップと、
前記周期性パワー比RP(i,j)、前記フォルマント周波数F(i,j)及び前記目標周期性パワー比RT(j)を用いて、フィルタr(i,f)を生成するフィルタ生成ステップと、
前記周期性パワーPP(i,f)に前記フィルタr(i,f)を乗じ、変換後の周期性パワーPP’(i,f)を算出する乗算ステップとを含む、
音声明瞭度変換方法。 - 請求項1から請求項5に記載の音声明瞭度変換装置として、コンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012089231A JP5745453B2 (ja) | 2012-04-10 | 2012-04-10 | 音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012089231A JP5745453B2 (ja) | 2012-04-10 | 2012-04-10 | 音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013218147A JP2013218147A (ja) | 2013-10-24 |
JP5745453B2 true JP5745453B2 (ja) | 2015-07-08 |
Family
ID=49590301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012089231A Expired - Fee Related JP5745453B2 (ja) | 2012-04-10 | 2012-04-10 | 音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5745453B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5667963B2 (ja) * | 2011-11-09 | 2015-02-12 | 日本電信電話株式会社 | 音声強調装置とその方法とプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4468804A (en) * | 1982-02-26 | 1984-08-28 | Signatron, Inc. | Speech enhancement techniques |
WO2004040555A1 (ja) * | 2002-10-31 | 2004-05-13 | Fujitsu Limited | 音声強調装置 |
WO2004068467A1 (en) * | 2003-01-31 | 2004-08-12 | Oticon A/S | Sound system improving speech intelligibility |
JP4630183B2 (ja) * | 2005-12-08 | 2011-02-09 | 日本電信電話株式会社 | 音声信号分析装置、音声信号分析方法及び音声信号分析プログラム |
JP5545935B2 (ja) * | 2009-09-04 | 2014-07-09 | 国立大学法人 和歌山大学 | 音声変換装置および音声変換方法 |
JP5667963B2 (ja) * | 2011-11-09 | 2015-02-12 | 日本電信電話株式会社 | 音声強調装置とその方法とプログラム |
-
2012
- 2012-04-10 JP JP2012089231A patent/JP5745453B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013218147A (ja) | 2013-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2487426C2 (ru) | Устройство и способ преобразования звукового сигнала в параметрическое представление, устройство и способ модификации параметрического представления, устройство и способ синтеза параметрического представления звукового сигнала | |
EP2375785B1 (en) | Stability improvements in hearing aids | |
JP4705203B2 (ja) | 声質変換装置、音高変換装置および声質変換方法 | |
EP3113183B1 (en) | Speech intelligibility improving apparatus and computer program therefor | |
JP4516157B2 (ja) | 音声分析装置、音声分析合成装置、補正規則情報生成装置、音声分析システム、音声分析方法、補正規則情報生成方法、およびプログラム | |
JP2020507819A (ja) | スペクトル包絡線のフォルマントの周波数シフトによって声の音質を動的に修正するための方法および装置 | |
Petkov et al. | Spectral dynamics recovery for enhanced speech intelligibility in noise | |
JP4654621B2 (ja) | 音声処理装置およびプログラム | |
JP5745453B2 (ja) | 音声明瞭度変換装置、音声明瞭度変換方法及びそのプログラム | |
JP2015161774A (ja) | 音合成方法及び音合成装置 | |
Chanda et al. | Speech intelligibility enhancement using tunable equalization filter | |
JP2007233284A (ja) | 音声処理装置および音声処理方法 | |
JP5830364B2 (ja) | 韻律変換装置およびそのプログラム | |
US20090222268A1 (en) | Speech synthesis system having artificial excitation signal | |
JPWO2007037359A1 (ja) | 音声符号化装置および音声符号化方法 | |
JP2001117600A (ja) | 音声信号処理装置および音声信号処理方法 | |
JP2006119647A (ja) | ささやき声を通常の有声音声に擬似的に変換する装置 | |
RU2589298C1 (ru) | Способ повышения разборчивости и информативности звуковых сигналов в шумовой обстановке | |
JP4900062B2 (ja) | 音声信号処理装置、音声再生装置および音声信号処理方法 | |
JP2016122157A (ja) | 音声処理装置 | |
JP5667963B2 (ja) | 音声強調装置とその方法とプログラム | |
JP6159570B2 (ja) | 音声強調装置、及びプログラム | |
Bollepalli et al. | Effect of MPEG audio compression on HMM-based speech synthesis. | |
Lai et al. | A discriminative post-filter for speech enhancement in hearing aids | |
JP5677137B2 (ja) | 韻律変換装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5745453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |