JP5948969B2 - 音声解析装置、音声解析システムおよびプログラム - Google Patents
音声解析装置、音声解析システムおよびプログラム Download PDFInfo
- Publication number
- JP5948969B2 JP5948969B2 JP2012046984A JP2012046984A JP5948969B2 JP 5948969 B2 JP5948969 B2 JP 5948969B2 JP 2012046984 A JP2012046984 A JP 2012046984A JP 2012046984 A JP2012046984 A JP 2012046984A JP 5948969 B2 JP5948969 B2 JP 5948969B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- wearer
- sound
- information
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
請求項3に記載の発明は、前記音声取得手段に他者の音声が到達する時間差および当該音声取得手段が離間する距離から導出される装着者と他者の向き合う角度である対面角度から、他者の三次元位置を導出するための数値計算の初期値を選択する初期値選択手段と、前記初期値選択手段により選択された初期値を用いた数値計算により他者の三次元位置を導出する位置導出手段と、をさらに備え、前記初期値選択手段は、前記距離導出部により導出された発話者と他者との距離を利用して前記初期値を選択することを特徴とする請求項1または2に記載の音声解析装置である。
請求項2の発明によれば、音声取得手段により取得された音声が装着者の発話音声か装着者以外の他者の発話音声かを識別する機能を音声解析装置で備えることができる。
請求項3の発明によれば、本発明を採用しない場合に比べ、発話者の三次元位置を求める場合に、その位置精度が向上する。
請求項4の発明によれば、発話者と発話者の音声が届く位置にいる他者との間の距離を、発話者の位置があらかじめ分かっていなくても、音の減衰から把握することができる音声解析システムを構築できる。
請求項5の発明によれば、発話者と発話者の音声が届く位置にいる他者との間の距離を、発話者の位置があらかじめ分かっていなくても、音の減衰から把握することができる機能をコンピュータにより実現できる。
<システム構成例>
図1は、本実施形態による音声解析システムの構成例を示す図である。
図1に示すように、本実施形態の音声解析システム1は、端末装置10と音声解析装置の一例であるホスト装置20とを備えて構成される。端末装置10とホスト装置20とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Wi−Fi(Wireless Fidelity)、Bluetooth(登録商標)、ZigBee、UWB(Ultra Wideband)等の既存の方式による回線を用いて良い。また、図示の例では、端末装置10が1台のみ記載されているが、詳しくは後述するように、端末装置10は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置10が用意される。以下、端末装置10を装着した使用者を装着者と呼ぶ。
図2は、端末装置10の構成例を示す図である。
上記のように、端末装置10は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置10は、図2に示すように、装置本体30と、装置本体30に接続された提げ紐40とを備えた構成とする。図示の構成において、使用者は、提げ紐40に首を通し、装置本体30を首から提げて装着する。
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置10に設けられた2つのマイクロフォン11a、11cにより収録された音声の情報を用いて、端末装置10の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、収録音声の発話者に関して自他の別を識別する。また、本実施形態では、収録音声の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧(マイクロフォン11a、11cへの入力音量)等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音声の発話者を識別する。
図3に示す関係において、装着者の口(発声部位)である音源aと第3マイクロフォン11cとの間の距離をLa3、音源aと第1マイクロフォン11aとの間の距離をLa1とする。また、他者の口(発声部位)である音源bと第3マイクロフォン11cとの間の距離をLb3、音源bと第1マイクロフォン11aとの間の距離をLb1とする。この場合、次の関係が成り立つ。
La3>La1(La3≒1.5×La1〜4×La1)
Lb3≒Lb1
上述したように、音圧は、マイクロフォン11a、11cと音源との間の距離に応じて距離減衰する。図4において、距離La3の場合の音圧Ga3と距離La1の場合の音圧Ga1とを比較すると、音圧Ga1は、音圧Ga3の4倍程度となっている。一方、距離Lb3と距離Lb1とが近似するため、距離Lb3の場合の音圧Gb3と距離Lb1の場合の音圧Gb1とは、ほぼ等しい。そこで、本実施形態では、この音圧比の差を用いて、収録音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図4に示した例では、距離Lb3、Lb1を60cmとしたが、ここでは音圧Gb3と音圧Gb1とがほぼ等しくなることに意味があり、距離Lb3、Lb1は図示の値に限定されない。
図4を参照して説明したように、装着者自身の発話音声に関して、第1マイクロフォン11aの音圧Ga1は、第3マイクロフォン11cの音圧Ga3の数倍(例えば4倍程度)である。また、他者の発話音声に関して、第1マイクロフォン11aの音圧Ga1は、第3マイクロフォン11cの音圧Ga3とほぼ等しい(1倍程度)。そこで、本実施形態では、第1マイクロフォン11aの音圧Ga1と第3マイクロフォン11cの音圧Ga3との比に閾値を設定する。そして、音圧比が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧比が閾値よりも小さい音声は他者の発話音声と判断する。図5に示す例では、閾値を2とし、音圧比Ga1/Ga3は閾値2を超えるので装着者自身の発話音声と判断され、音圧比Gb1/Gb3は閾値2よりも小さいので他者の発話音声と判断されている。
図6は、本実施形態における端末装置10の動作を示すフローチャートである。
図6に示すように、端末装置10のマイクロフォン11a、11cが音声を取得すると、各マイクロフォン11a、11cから取得音声に応じた電気信号(音声信号)が第1増幅器13aおよび第3増幅器13cへ送られる(ステップ101)。第1増幅器13aおよび第3増幅器13cは、マイクロフォン11a、11cからの音声信号を取得すると、信号を増幅して音声解析部15へ送る(ステップ102)。
図7は、データ解析部23についてさらに詳しく説明した図である。
図7に示すように、データ解析部23は、各マイクロフォン11a、11b、11cに他者の音声が到達する時間差を求める時間差導出部231と、この時間差および各マイクロフォン11a、11b、11cが離間する距離から導出される装着者と他者の向き合う角度である対面角度を求める対面角度導出部232と、対面角度から他者の三次元位置を導出するための数値計算の初期値を選択する初期値選択手段の一例としての初期値選択部233と、初期値選択部233が初期値を選択するためのLUT(Look up Table)を格納するLUT格納部234と、初期値選択部233により選択された初期値を用いた数値計算により他者の三次元位置を導出する位置導出手段の一例としての数値計算部235とを備える。
そして数値計算部235において、選択された初期値から開始する数値計算を行い、他者の三次元位置を導出する(ステップ205)。
この他者の三次元位置の情報は出力部24に出力される(ステップ206)。
各マイクロフォン11a、11b、11cに他者の音声が到達する時間差Δt12、Δt21、Δt31は、以下のようにして求めることができる。なお以下の説明は、時間差Δt12を求める場合を例に取り説明を行なうが、時間差Δt21、Δt31についても同様の方法により求めることができる。
ここで横軸は5000ポイントのデータにそれぞれに付けられたデータ番号を表わし、縦軸は、他者の音声の振幅を表わす。そして実線は、第1マイクロフォン11aに到達した他者の音声の波形信号であり、点線は、第2マイクロフォン11bに到達した他者の音声の波形信号である。
図9(c)に示すようにデータ番号0を基準にしてピーク位置は、−227ポイントずれている。これは第1マイクロフォン11aを基準にして第2マイクロフォン11bに到達する他者の音声が、この分遅延して到達することを意味する。本実施の形態においてサンプリング周波数は、上述の通り1MHzなので、サンプリングした各データ間の時間は、1×10−6(s)である。よってこの遅延時間としては227×1×10−6(s)=227(μs)となる。つまりこの場合、時間差Δt12は、227(μs)である。
図10は、本実施の形態における対面角度について説明した図である。
本実施の形態において対面角度とは、上述の通り端末装置10の装着者と他者の向き合う角度である。そして図10に本実施の形態で定義される対面角度について示している。ここでは、本実施の形態の対面角度の例として、第1マイクロフォン11aおよび第2マイクロフォン11bを基準とする対面角度αを図示している。
本実施の形態では、対面角度αとして、2個の音声取得手段である第1マイクロフォン11aと第2マイクロフォン11bとを結ぶ線分と、この線分の中点および他者を結ぶ線分との角度を採用する。これにより対面角度αの数学的取り扱いがより簡単になる。そしてこの定義を採用した場合、例えば、装着者と他者がそれぞれ正面を向いて対向しているときは、この二人の対面角度αは、90°となる。
なお第2マイクロフォン11bおよび第3マイクロフォン11cを基準とした対面角度である対面角度β、および第3マイクロフォン11cおよび第1マイクロフォン11aを基準とした対面角度である対面角度γも同様にして定義することができる。
図11は、第1マイクロフォン11aおよび第2マイクロフォン11bを使用して対面角度αを求める方法について説明した図である。
ここで、点M1を第1マイクロフォン11aの位置、点M2を第2マイクロフォン11bの位置であるとする。また点Sを他者の位置であるとする。なおここで他者の位置とは、より正確には、他者の音声の音源である発声点の位置である。そして発声点である点Sから発した音声は、同心円状に広がる。このとき音声は有限の速度である音速で広がるため音声が第1マイクロフォン11aの位置である点M1に到達した時間と第2マイクロフォン11bの位置である点M2に到達した時間とは異なり、音声の行路差δ12に対応した時間差Δt12が生じる。そして点M1と点M2との間の距離をD12、点M1と点M2の中点C12と点Sの間の距離をL12とするとこれらの間には次の(1)式が成立する。
次に上述のようにして求められた対面角度α、β、γを利用して、他者の三次元位置を導出する方法の説明を行なう。
まずマイクロフォン11a、11b、11cの位置をそれぞれ点M1、点M2、点M3とすると、点M1、点M2、点M3を頂点とする三角形は、△M1M2M3となる。そして各頂点M1、M2、M3の三次元座標をここでは、それぞれ(xM1、yM1、zM1)、(xM2、yM2、zM2)、(xM3、yM3、zM3)とする。さらに線分M1M2の中点C12、線分M2M3の中点C23、線分M3M1の中点C31の三次元座標を、それぞれ(xC12、yC12、zC12)、(xC23、yC23、zC23)、(xC31、yC31、zC31)とする。また他者の位置である点Sの三次元座標を(x、y、z)とする。
図12では、点M1および点M2の中点C12を頂点とし、半頂角をαとする円錐、および点M3および点M1の中点C31を頂点とし、半頂角をγとする円錐を実線で示している。そして上述した対面角度の定義より、点Sは、これらの円錐面(円錐の側面)の何れかの位置に存在することになる。
またこの関係は、点M2および点M3の中点C23を頂点とし、半頂角をβとする円錐、についても同様のことが言える。つまり、点Sは、これら3つの円錐の円錐面の交点に存在する。なお図12では、説明をわかりやすくするため、点M2および点M3の中点C23を頂点とし、半頂角をβとする円錐については、図示していない。
ここで図13において、中点C12から円錐の底面に垂線を下ろし、中点C12を起点としてこの垂線方向にのびるaベクトルを考える。また、中点C12を起点として円錐面に沿った方向にのびるrベクトルを考える。このとき点M2は、この垂線上に存在し、aベクトルとrベクトルのなす角度は、対面角度αである。
そしてaベクトルとrベクトルの内積を使用してaベクトル、rベクトル、および対面角度αの関係を表わすと、次の(4)式、および(5)式が成立する。
このように本実施の形態では、2個のマイクロフォンを結ぶ線分の中点を頂点とし対面角度を半頂角とする円錐の側面に他者の音声の音源が位置するとともに、この音源は3つの円錐の側面の交点に位置することを利用して他者の三次元位置を導出する。
そこで本実施の形態では、端末装置10および他者が置かれる三次元空間中に初期値の候補となる候補点を予め用意しておき、この中から点Sの三次元座標(x、y、z)により近いものを初期値として選択することで収束解を得られやすくしている。
より具体的には、予め定められた原点を設定し、この原点からx軸、y軸、z軸方向に予め定められた間隔にて候補点を設定する。
ここでは、原点Oからx軸、y軸、z軸方向に等間隔で候補点が設定されている。この点は、例えば、x軸、y軸、z軸方向に10mの範囲で、1m間隔で設定することができる。
そして本実施の形態では、このように設定された候補点に対する対面角度α、β、γを予め求めておく。そして候補点の三次元座標と対面角度α、β、γとの関係をLUT(Look up Table)として持っておく。本実施の形態では、このLUTは、LUT格納部234に格納されている。そして初期値選択部233が、このLUTを参照し、実際に導出された対面角度α、β、γの値と、このLUTに格納されている対面角度α、β、γの値を比較する。そしてそれぞれの対面角度α、β、γについて値の差が比較的小さいものを選択し、これに対応する三次元座標を初期値として選択する。
このように本実施の形態では、他者が置かれる三次元空間中に設定され初期値の候補となる候補点に対する対面角度と他者に対する対面角度を比較することで候補点の中から初期値を選択する。
図15は、初期値選択部233についてさらに詳しく説明した図である。
図15に示すように初期値選択部233は、複数の装着者から取得した音声の音声信号に関する情報から音声の同調性を判別する同調性判別部233−1と、同調性判別部233−1により音声の同調性が存在すると判別されるとともに音声が自己発話であると識別された場合に、発話者に配されたマイクロフォンに取得された音声の音圧と他者に配されたマイクロフォンに取得された音声の音圧から発話者を基準とした他者との距離を導出する距離導出部233−2と、距離導出部233−2により導出された発話者と他者との距離を利用し、導出された対面角度α、β、γの値とLUTに格納されている対面角度α、β、γの値を比較することで初期値を選択する初期値決定部233−3とを備える。
以下、図15〜図16を使用して本実施形態の初期値選択部233の動作を説明する。
まず同調性判別部233−1において、複数の端末装置10から送られた音声の同調性が判別される(ステップ301)。
図17は、本実施形態の端末装置10をそれぞれ装着した複数の装着者が会話している状況を示す図である。図18は、図17の会話状況における各端末装置10A、10Bの発話情報の例を示す図である。
図17に示すように、端末装置10をそれぞれ装着した二人の装着者A、装着者Bが会話している場合を考える。このとき、装着者A、装着者Bの発話音声は、装着者Aの端末装置10Aと装着者Bの端末装置10Bの双方に捉えられる。
図17に戻り、装着者Aが発話しているとき、即ち装着者Aが発話者である場合(この場合、装着者Bは他者となる)に、装着者Aのマイクロフォン11Aaで取得される装着者A(発話者)の音声の音圧Lp1と、装着者B(他者)のマイクロフォン11Baで取得される装着者A(発話者)の音声の音圧Lp2を考える。そして装着者A(発話者)の口とマイクロフォン11Aaとの距離をr1、装着者A(発話者)の口とマイクロフォン11Baとの距離をr2とすると、次の(11)式が成立する。
Lp1−Lp2=20log(r2/r1) …(11)
具体的には、例えば、LUTに格納されている対面角度α、β、γの値を比較する。そしてそれぞれの対面角度α、β、γについて値の差が比較的小さいものをまずいくつか候補として選択する。そしてこの選択された候補の中から、上記のようにして導出された発話者と他者との距離が最も近いものを初期値として決定する。
なお本実施の形態におけるホスト装置20が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、ホスト装置20に設けられた制御用コンピュータ内部の図示しないCPUが、ホスト装置20の各機能を実現するプログラムを 実行し、これらの各機能を実現させる。
Claims (5)
- 装着者に配され音声を取得するとともに装着者のうち少なくとも1人については装着者の口からの距離が異なる位置に複数配される音声取得手段から音声の音声信号に関する情報を受信する音声情報受信部と、
前記音声情報受信部により複数の装着者から取得した前記音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、
前記同調性判別部により音声の同調性が存在すると判別されるとともに装着者の口からの距離が異なる位置に配される前記複数の音声取得手段によりそれぞれ取得された音声の音圧の比較結果に基づき音声が装着者自身の発話音声であると識別された場合に、発話者に配された前記音声取得手段に取得された音声の音圧と他者に配された当該音声取得手段に取得された音声の音圧から発話者を基準とした他者との距離を導出する距離導出部と、
を備えることを特徴とする音声解析装置。 - 前記音声取得手段のうち装着者の口からの距離が互いに異なる2つの当該音声取得手段で取得される音声の音圧差に基づいて、当該音声取得手段により取得された音声が装着者の発話音声か装着者以外の発話音声かを識別する自他識別部をさらに備えることを特徴とする請求項1に記載の音声解析装置。
- 前記音声取得手段に他者の音声が到達する時間差および当該音声取得手段が離間する距離から導出される装着者と他者の向き合う角度である対面角度から、他者の三次元位置を導出するための数値計算の初期値を選択する初期値選択手段と、
前記初期値選択手段により選択された初期値を用いた数値計算により他者の三次元位置を導出する位置導出手段と、
をさらに備え、
前記初期値選択手段は、前記距離導出部により導出された発話者と他者との距離を利用して前記初期値を選択することを特徴とする請求項1または2に記載の音声解析装置。 - 装着者に配され音声を取得するとともに装着者のうち少なくとも1人については装着者の口からの距離が異なる位置に複数配される音声取得手段と、
前記音声取得手段により取得された音声の音声信号に関する情報を送信する音声情報送信部と、
前記音声情報送信部により送信された音声の音声信号に関する情報を受信する音声情報受信部と、
前記音声情報受信部により複数の装着者から取得した前記音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、
前記同調性判別部により音声の同調性が存在すると判別されるとともに装着者の口からの距離が異なる位置に配される前記複数の音声取得手段によりそれぞれ取得された音声の音圧の比較結果に基づき音声が装着者自身の発話音声であると識別された場合に、発話者に配された前記音声取得手段に取得された音声の音圧と他者に配された当該音声取得手段に取得された音声の音圧から発話者を基準とした他者との距離を導出する距離導出部と、
を備えることを特徴とする音声解析システム。 - コンピュータに、
装着者に配され音声を取得するとともに装着者のうち少なくとも1人については装着者の口からの距離が異なる位置に複数配される音声取得手段から音声の音声信号に関する情報を受信する機能と、
複数の装着者から取得した前記音声の音声信号に関する情報から音声の同調性を判別する機能と、
音声の同調性が存在すると判別されるとともに装着者の口からの距離が異なる位置に配される前記複数の音声取得手段によりそれぞれ取得された音声の音圧の比較結果に基づき音声が装着者自身の発話音声であると識別された場合に、発話者に配された前記音声取得手段に取得された音声の音圧と他者に配された当該音声取得手段に取得された音声の音圧から発話者を基準とした他者との距離を導出する機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012046984A JP5948969B2 (ja) | 2012-03-02 | 2012-03-02 | 音声解析装置、音声解析システムおよびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012046984A JP5948969B2 (ja) | 2012-03-02 | 2012-03-02 | 音声解析装置、音声解析システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013181899A JP2013181899A (ja) | 2013-09-12 |
JP5948969B2 true JP5948969B2 (ja) | 2016-07-06 |
Family
ID=49272635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012046984A Expired - Fee Related JP5948969B2 (ja) | 2012-03-02 | 2012-03-02 | 音声解析装置、音声解析システムおよびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5948969B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4752917A (en) * | 1986-06-16 | 1988-06-21 | Dechape Michel L | Measurement system using sonic and ultrasonic waves |
JPS63262577A (ja) * | 1987-04-20 | 1988-10-28 | Sony Corp | マイクロホン装置 |
CA2069356C (en) * | 1991-07-17 | 1997-05-06 | Gary Wayne Elko | Adjustable filter for differential microphones |
JP2004257877A (ja) * | 2003-02-26 | 2004-09-16 | Seiko Epson Corp | 音源検出方法、音源検出装置及びロボット |
JP3940723B2 (ja) * | 2004-01-14 | 2007-07-04 | 株式会社東芝 | 対話情報分析装置 |
WO2007105436A1 (ja) * | 2006-02-28 | 2007-09-20 | Matsushita Electric Industrial Co., Ltd. | ウェアラブル端末 |
JP4557919B2 (ja) * | 2006-03-29 | 2010-10-06 | 株式会社東芝 | 音声処理装置、音声処理方法および音声処理プログラム |
JP5129024B2 (ja) * | 2008-05-27 | 2013-01-23 | 株式会社船井電機新応用技術研究所 | 音声入力装置及び音声会議システム |
JP2012002645A (ja) * | 2010-06-16 | 2012-01-05 | Panasonic Corp | 音源位置探査システム |
-
2012
- 2012-03-02 JP JP2012046984A patent/JP5948969B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013181899A (ja) | 2013-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8892424B2 (en) | Audio analysis terminal and system for emotion estimation of a conversation that discriminates utterance of a user and another person | |
JP6003472B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP5772447B2 (ja) | 音声解析装置 | |
JP6031761B2 (ja) | 音声解析装置および音声解析システム | |
JP6003510B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP6402748B2 (ja) | 音声対話装置および発話制御方法 | |
CN107465970B (zh) | 用于语音通信的设备 | |
US20210158828A1 (en) | Audio processing device, image processing device, microphone array system, and audio processing method | |
JP5867066B2 (ja) | 音声解析装置 | |
JP6007487B2 (ja) | 情報処理装置、情報処理システムおよびプログラム | |
JP2013142843A (ja) | 動作解析装置、音声取得装置、および、動作解析システム | |
CN113767431A (zh) | 语音检测 | |
JP5862318B2 (ja) | 音解析装置、音解析システムおよびプログラム | |
JP6031767B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP6476938B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP6160042B2 (ja) | 位置特定システム | |
JP5948969B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP2013083621A (ja) | 位置出力装置、位置出力システムおよびプログラム | |
JP6191747B2 (ja) | 音声解析装置および音声解析システム | |
JP5929810B2 (ja) | 音声解析システム、音声端末装置およびプログラム | |
JP6515591B2 (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP2013140534A (ja) | 音声解析装置、音声解析システムおよびプログラム | |
JP2013164468A (ja) | 音声解析装置、音声解析システムおよびプログラム | |
US9014395B2 (en) | Audio analysis apparatus and audio analysis system | |
JP6369022B2 (ja) | 信号解析装置、信号解析システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5948969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |