JP5361766B2 - 音信号擬似定位システム、方法及びプログラム - Google Patents
音信号擬似定位システム、方法及びプログラム Download PDFInfo
- Publication number
- JP5361766B2 JP5361766B2 JP2010043456A JP2010043456A JP5361766B2 JP 5361766 B2 JP5361766 B2 JP 5361766B2 JP 2010043456 A JP2010043456 A JP 2010043456A JP 2010043456 A JP2010043456 A JP 2010043456A JP 5361766 B2 JP5361766 B2 JP 5361766B2
- Authority
- JP
- Japan
- Prior art keywords
- gain
- code
- signal
- pseudo
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
[入力信号がモノラル信号である場合]
図1を参照してモノラル信号が入力された場合に擬似定位を与える技術について説明する。図1の音信号擬似定位システムは、基本擬似定位付与部1及びLR変換部2を含む。
So M(t)=S(t)
So S(t)=gS(t)
g=cosθ
So 1(t)=(So M(t)+So S(t))/2
So 2(t)=(So M(t)−So S(t))/2
このようにして、入力信号がモノラル信号である場合にも擬似定位を与えることができる。モノラル信号を伝送する地点とステレオ信号を伝送する地点の間で通信をする場合でも、ステレオ音声を利用する地点において立体的音響効果を実現することができる。
次に図2を参照してステレオ信号が入力された場合に擬似定位を与える技術について説明する。図2の音信号擬似定位システムは、基本擬似定位付与部1、LR変換部2及びMS変換部3を含む。
SM(t)=Si 1(t)+Si 2(t) …(1)
このようにして、入力信号がステレオ信号である場合にも擬似定位を与えることができる。
図3に例示するように、音信号擬似定位システムは、符号化装置100及び復号装置200を含む。符号化装置100でM信号SM(t)を符号化してM符号CMを生成し、復号装置200でM符号CMを復号してもよい。
符号化装置100は、MS変換部3及び符号化部4を含む。復号装置200は、基本擬似定位付与部1、LR変換部2及び復号部5を含む。
このようにして、M信号SM(t)を符号化して伝送する場合にも擬似定位を与えることができる。
次に図4を参照して、ゲイン符号化を含む符号化方法を用いた場合に擬似定位を与える技術について説明する。図4の音信号擬似定位システムは、符号化装置100及び復号装置200を含む。符号化装置100は、MS変換部3、信号符号化部41、ゲイン符号化部42及び符号多重化部43を含む。復号装置200は、符号分離部6、部分復号部7、ゲイン復号部8、擬似定位ゲイン演算部9、第一乗算部10、第二乗算部11及びLR変換部2を含む。
ゲイン符号化部42は、M信号SM(t)のゲインgを次式に従い算出し、算出されたゲインgを量子化してMゲイン符号Cgとする。ゲインgは、入力された信号の大きさを表わす代表値である。ゲインとして1フレームを構成するサンプルの平均値を用いている。
g=(1/K)*ΣK−1 t=0(SM(t))2 (ゲインの算出)
Cg=(1/2)*[log2(g)]−const (ゲインの量子化)
上式に示した方法以外にもスカラ量子化を用いることもできる。
A’=2Cg+const (ゲインの逆量子化)
信号符号化部41は、M信号SM(t)を復号MゲインA’で正規化したのち、ベクトル量子化などを用いて符号化し、正規化M信号符号とする。例えば、SM(t)/A’とすることにより正規化を行う。
部分復号部7は、分離された正規化M信号符号を例えば逆量子化することにより復号して復号正規化M信号S’M(t)とする。
ゲイン復号部8は、Mゲイン符号Cgを例えば次式により逆量子化することにより復号して復号MゲインA’を得る。
A’=2Cg+const
A’M=A’
A’S=A’g
第一乗算部10は次式に従い復号正規化M信号S’M(t)と擬似MゲインA’Mを乗算して復号M信号So M(t)を算出する。
So M(t)=A’M*S’M(t)
So S(t)=A’S*S’M(t)
LR変換部2は、復号M信号So M(t)及び復号S信号So S(t)から次式に従い第一出力信号So 1(t)及び第二出力信号So 2(t)を生成し出力する。
So 1(t)=(So M(t)+So S(t))/2
So 2(t)=(So M(t)−So S(t))/2
このように、ゲイン符号化を含む復号化方法を用いる場合においても擬似定位を与えることができる。
以下、この発明による音信号擬似定位システムの一実施形態を詳細に説明する。この音信号擬似定位システムは、擬似定位の付与をミキサで実施する。
ミキサ300の符号分離部6は、拡張M符号からMゲイン符号Cg及び正規化M信号符号を分離する(ステップS5)。Mゲイン符号Cgはゲイン復号部8に送られる。正規化M信号符号は、第一符号多重化部14及び第二符号多重化部15に送られる。
ゲイン復号部8は、分離されたMゲイン符号Cgを復号して復号MゲインA’を生成する(ステップS6)。上記、(ゲインの逆量子化)の式に基づき、逆量子化により復号して復号MゲインA’を生成する。
A’=2Cg+const
A’M=A’
A’S=A’g …(2)
A’S=A’Cn
第二ミキサゲイン符号化部13は、擬似SゲインA’Sを例えば上記(ゲインの量子化)の式に従い符号化して擬似Sゲイン符号とする(ステップS9)。擬似Sゲイン符号は、第二符号多重化部15に送られる。
第二符号多重化部15は、符号分離部6により分離された正規化M信号符号及び擬似Sゲイン符号を含むS符号を生成する(ステップS11)。
第二部分復号部72は、第二符号分離部62により分離された正規化M信号符号を復号して復号正規化M信号を生成する(ステップS15)。生成された復号正規化M信号は、第二乗算部11に送られる。
第二ゲイン復号部82は、擬似Sゲイン符号を復号して復号擬似Sゲインを生成する(ステップS17)。第二ゲイン復号部82は、第二ミキサゲイン符号化部13が行った符号化に対応する復号を行う。生成された復号擬似Sゲインは、第二乗算部11に送られる。
So M(t)=A’M*S’M(t)
第二乗算部11は、復号正規化M信号と復号擬似Sゲインとをかけて復号S信号を生成する(ステップS19)。すなわち、復号正規化M信号をS’M(t)とし、復号擬似SゲインをA’Sとして、下記式により復号S信号So S(t)を算出する。
So S(t)=A’S*S’M(t)
So 1(t)=(So M(t)+So S(t))/2
So 2(t)=(So M(t)−So S(t))/2
このように、ミキサ300で、ゲインのみを復号して、その復号されたゲインを用いて擬似定位を与えることができる。これにより、ミキサの処理量が従来よりも小さくなる。
この実施形態の音信号擬似定位システムは、図5に例示するように、符号化装置100、復号装置200及びミキサ300を含む。
g=(1/K)*ΣK−1 t=0(SM(t))2 (ゲインの算出)
Cgm=(1/2)*[log2(g)]−const (ゲインの量子化)
A’m=2Cgm+const
A’=2Cgs+const
第二符号多重化部53は、第一符号多重化部43’と同様に、Sゲイン符号Cgs及び正規化S信号符号を含む拡張S符号を生成する(ステップA13)。
A’s=2Cgs+const
Apseudos=A’s/N
ゲイン符号化部12’は、擬似SゲインApseudo sを符号化してSゲイン符号とする(ステップA25)。Sゲイン符号は、符号多重化部13に送られる。
A’m=2Cgm+const
第一乗算部101は、復号正規化M信号S’M(t)と復号MゲインA’mとを乗算して、復号M信号を生成する(ステップA17)。復号M信号は、LR変換部2及び第三乗算部105に送られる。
第二部分復号部72は、分離された正規化S信号符号を例えば逆量子化することにより復号して復号正規化S信号S’S(t)とする(ステップA19)。復号正規化S信号S’S(t)は、第二乗算部104に送られる。
A’s=2Cgs+const
第二拡張擬似定位ゲイン演算部162は、次式により定義される擬似Mゲインgm2を計算する(ステップA28)。擬似Mゲインgm2は、第三乗算部105に送られる。
gm2=(N−2*n−1)/N
加算部112は、第一復号S信号と第二復号M信号とを加算して復号S信号とする(ステップA30)。復号S信号は、LR変換部2に送られる。
このように、符号化装置がゲイン符号化を含む符号化方法を用いる場合においても、地点情報nに応じた信号処理を復号したM信号及びS信号に対して行うことにより、地点ごとに異なる音源位置を定めることが可能となる。
以下、この発明による音信号擬似定位システムの一実施形態を詳細に説明する。この音信号擬似定位システムは、擬似定位の付与をミキサで実施する。
MS変換部3がまず、第一入力信号Si 1(t)及び第二入力信号Si 2(t)を、上記(1)式に従いM信号SM(t)に変換する。M信号SM(t)は、帯域分割部44に送られる。
副信号符号化部45は、副帯域M信号を符号化して副帯域M信号符号とする。符号化には、例えばG.711等を用いることができるが、どのような符号化方法を用いてもよい。
符号多重化部43は、Mゲイン符号Cg、正規化M信号符号および副帯域M信号符号を含むスケーラブル拡張M符号を生成する。生成されたスケーラブル拡張M符号は、ミキサ300に送られる。
ゲイン復号部8は、分離されたMゲイン符号Cgを復号して復号MゲインA’を生成する。上記、(ゲインの逆量子化)の式に基づき、逆量子化により復号して復号MゲインA’を生成する。
A’=2Cg+const
A’M=A’
A’S=A’g …(2)
なお、gの代わりに2xとし、擬似定位ゲインの付与をMゲイン符号のビットシフトのみで実現することで、擬似定位の付与をさらに低演算量化することもできる。Xは、擬似定位を与えようとする位置に応じて予め定められた定数である。また、擬似定位を与えようとする位置1,…,n,…,Nに応じて異なる値C1,…,Cn,…,CNを定めておき、上記(2)式の代わりに、下式によりA’Sを計算してもよい。
A’S=A’Cn
第二ミキサゲイン符号化部13は、擬似SゲインA’Sを例えば上記(ゲインの量子化)の式に従い符号化して擬似Sゲイン符号とする。擬似Sゲイン符号は、第二符号多重化部15に送られる。
第四乗算器17は、復号副帯域M信号に擬似Sゲインを乗算して擬似副帯域S信号を生成する。擬似副帯域S信号は第二副信号符号化部19に送られる。
第二副信号符号化部19は、擬似副帯域S信号を副信号符号化部45と同じ符号化方法により符号化し、副帯域擬似S信号符号を出力する。
第二符号多重化部15は、符号分離部6により分離された正規化M信号符号、副帯域擬似S信号符号及び擬似Sゲイン符号を含むスケーラブルS符号を生成する。
第一部分復号部71は、第一符号分離部61により分離された正規化M信号符号を復号して復号正規化M信号を生成する。生成された復号正規化M信号は、第一乗算部10に送られる。
第二副信号復号部75は、副帯域擬似S信号符号を復号して復号副帯域S信号を生成する。復号においては、副信号復号部73と同様の復号方法を用いる。
第二ゲイン復号部82は、擬似Sゲイン符号を復号して復号擬似Sゲインを生成する。第二ゲイン復号部82は、第二ミキサゲイン符号化部13が行った符号化に対応する復号を行う。生成された復号擬似Sゲインは、第二乗算部11に送られる。
So M(t)=A’M*S’M(t)
第二乗算部11は、復号正規化M信号と復号擬似Sゲインとをかけて復号主帯域S信号を生成する(ステップS19)。すなわち、復号正規化M信号をS’M(t)とし、復号擬似SゲインをA’Sとして、下記式により復号主帯域S信号So S(t)を算出する。
So S(t)=A’S*S’M(t)
第二帯域合成部47は、復号主帯域S信号と復号副帯域S信号を合成して復号S信号を生成する。合成においては、帯域分割部44に対応する帯域合成フィルタを用いる。例えば、帯域分割部44において、QMFを利用した場合は対応する合成QMFフィルタを用いる。
So 1(t)=(So M(t)+So S(t))/2
So 2(t)=(So M(t)−So S(t))/2
すなわち、復号M信号So M(t)と復号S信号So S(t)とを加算して2で割って第一出力信号So 1(t)を生成し、復号M信号So M(t)から復号S信号So S(t)を減算して2で割って第二出力信号So 2(t)を生成する。
このように、ミキサ300で、ゲインのみを復号して、その復号されたゲインを用いて擬似定位を与えることができる。これにより、ミキサの処理量が従来よりも小さくなる。
2 LR変換部
3 MS変換部
4 符号化部
41 信号符号化部
42 ゲイン符号化部
43 符号多重化部
43’ 第一符号多重化部
44 帯域分割部
45 副信号符号化部
46 第一帯域合成部
47 第二帯域合成部
5 復号部
6 符号分離部
61 第一符号分離部
62 第二符号分離部
7 部分復号部
71 第一部分復号部
72 第二部分復号部
73 副信号復号部
74 第一副信号復号部
75 第二副信号復号部
8 ゲイン復号部
81 第一ゲイン復号部
82 第二ゲイン復号部
9 擬似定位ゲイン演算部
9’ 符号分離部
10 第一乗算部
11 第二乗算部
12 第一ミキサゲイン符号化部
13 第二ミキサゲイン符号化部
14 第一符号多重化部
15 第二符号多重化部
16 第三乗算器
17 第四乗算器
18 第一副信号符号化部
19 第二副信号符号化部
100 符号化装置
200 復号装置
300 ミキサ
Claims (3)
- 入力された音信号の大きさを表わす代表値であるゲインを計算し符号化してMゲイン符号とするゲイン符号化部と、入力された音信号を上記Mゲイン符号を復号することにより得られた復号Mゲインで正規化し符号化して正規化M信号符号とする信号符号化部と、上記Mゲイン符号及び上記正規化M信号符号を含む拡張M符号を生成する符号多重化部とを含む符号化装置と、
上記拡張M符号からMゲイン符号及び正規化M信号符号を分離する符号分離部と、上記分離されたMゲイン符号を復号して復号Mゲインを生成するゲイン復号部と、上記復号Mゲインを擬似Mゲインとし上記復号Mゲインと定位を与えたい位置に応じた値とをかけた値を擬似Sゲインとする擬似定位ゲイン演算部と、上記擬似Mゲインを符号化して擬似Mゲイン符号とする第一ミキサゲイン符号化部と、上記擬似Sゲインを符号化して擬似Sゲイン符号とする第二ミキサゲイン符号化部と、上記分離された正規化M信号符号及び上記擬似Mゲイン符号を含むM符号を生成する第一符号多重化部と、上記分離された正規化M信号符号及び上記擬似Sゲイン符号を含むS符号を生成する第二符号多重化部とを含むミキサと、
上記M符号から正規化M信号符号及び擬似Mゲイン符号を分離する第一符号分離部と、上記分離された正規化M信号符号を復号して復号正規化M信号を生成する第一部分復号部と、上記S符号から正規化された正規化M信号符号及び擬似Sゲイン符号を分離する第二符号分離部と、上記分離された正規化M信号符号を復号して復号正規化M信号を生成する第二部分復号部と、上記分離された擬似Mゲイン符号を復号して復号擬似Mゲインを生成する第一ゲイン復号部と、上記分離された擬似Sゲイン符号を復号して復号擬似Sゲインを生成する第二ゲイン復号部と、上記復号正規化M信号と上記復号擬似Mゲインとをかけて復号M信号を生成する第一乗算部と、上記復号正規化M信号と上記復号擬似Sゲインとをかけて復号S信号を生成する第二乗算部と、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換部とを含む復号装置と、
を含む音信号擬似定位システム。 - 符号化装置が、入力された音信号の大きさを表わす代表値であるゲインを計算し符号化してMゲイン符号とするゲイン符号化ステップと、
符号化装置が、入力された音信号を上記Mゲイン符号を復号することにより得られた復号Mゲインで正規化し符号化して正規化M信号符号とする信号符号化ステップと、
符号化装置が、上記Mゲイン符号及び上記正規化M信号符号を含む拡張M符号を生成する符号多重化ステップと、
ミキサが、上記拡張M符号からMゲイン符号及び正規化M信号符号を分離する符号分離ステップと、
ミキサが、上記分離されたMゲイン符号を復号して復号Mゲインを生成するゲイン復号ステップと、
ミキサが、上記復号Mゲインを擬似Mゲインとし上記復号Mゲインと定位を与えたい位置に応じた値とをかけた値を擬似Sゲインとする擬似定位ゲイン演算ステップと、
ミキサが、上記擬似Mゲインを符号化して擬似Mゲイン符号とする第一ミキサゲイン符号化ステップと、
ミキサが、上記擬似Sゲインを符号化して擬似Sゲイン符号とする第二ミキサゲイン符号化ステップと、
ミキサが、上記分離された正規化M信号符号及び上記擬似Mゲイン符号を含むM符号を生成する第一符号多重化ステップと、
ミキサが、上記分離された正規化M信号符号及び上記擬似Sゲイン符号を含むS符号を生成する第二符号多重化ステップと、
復号装置が、上記M符号から正規化M信号符号及び擬似Mゲイン符号を分離する第一符号分離ステップと、
復号装置が、上記分離された正規化M信号符号を復号して復号正規化M信号を生成する第一部分復号ステップと、
復号装置が、上記S符号から正規化された正規化M信号符号及び擬似Sゲイン符号を分離する第二符号分離ステップと、
復号装置が、上記分離された正規化M信号符号を復号して復号正規化M信号を生成する第二部分復号ステップと、
復号装置が、上記分離された擬似Mゲイン符号を復号して復号擬似Mゲインを生成する第一ゲイン復号ステップと、
復号装置が、上記分離された擬似Sゲイン符号を復号して復号擬似Sゲインを生成する第二ゲイン復号ステップと、
復号装置が、上記復号正規化M信号と上記復号擬似Mゲインとをかけて復号M信号を生成する第一乗算ステップと、
復号装置が、上記復号正規化M信号と上記復号擬似Sゲインとをかけて復号S信号を生成する第二乗算ステップと、
復号装置が、上記復号M信号と上記復号S信号とを加算して2で割って第一出力信号を生成し、上記復号M信号から上記復号S信号を減算して2で割って第二出力信号を生成するLR変換ステップと、
を含む音信号擬似定位方法。 - 請求項1に記載された音信号擬似定位システムのミキサの各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010043456A JP5361766B2 (ja) | 2010-02-26 | 2010-02-26 | 音信号擬似定位システム、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010043456A JP5361766B2 (ja) | 2010-02-26 | 2010-02-26 | 音信号擬似定位システム、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011182141A JP2011182141A (ja) | 2011-09-15 |
JP5361766B2 true JP5361766B2 (ja) | 2013-12-04 |
Family
ID=44693194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010043456A Expired - Fee Related JP5361766B2 (ja) | 2010-02-26 | 2010-02-26 | 音信号擬似定位システム、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5361766B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108766448A (zh) * | 2018-06-19 | 2018-11-06 | 苏州科达科技股份有限公司 | 混音测试系统、方法、装置及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102401350B1 (ko) * | 2013-04-26 | 2022-05-24 | 소니그룹주식회사 | 음성 처리 장치 및 방법, 및 기록 매체 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2588793B2 (ja) * | 1990-10-15 | 1997-03-12 | 日本電信電話株式会社 | 会議通話装置 |
JPH06175942A (ja) * | 1992-12-08 | 1994-06-24 | Toshiba Corp | マルチメディア電子会議装置 |
JPH09298598A (ja) * | 1996-04-30 | 1997-11-18 | Oki Electric Ind Co Ltd | 音像定位装置 |
US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
JP2005202248A (ja) * | 2004-01-16 | 2005-07-28 | Fujitsu Ltd | オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路 |
JP4512016B2 (ja) * | 2005-09-16 | 2010-07-28 | 日本電信電話株式会社 | ステレオ信号符号化装置、ステレオ信号符号化方法、プログラム及び記録媒体 |
EP2124486A1 (de) * | 2008-05-13 | 2009-11-25 | Clemens Par | Winkelabhängig operierende Vorrichtung oder Methodik zur Gewinnung eines pseudostereophonen Audiosignals |
-
2010
- 2010-02-26 JP JP2010043456A patent/JP5361766B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108766448A (zh) * | 2018-06-19 | 2018-11-06 | 苏州科达科技股份有限公司 | 混音测试系统、方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2011182141A (ja) | 2011-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107403626B (zh) | 用于对hoa音频信号进行解码的方法、设备和计算机可读介质 | |
JP5193070B2 (ja) | 主成分分析に基づくマルチチャネルオーディオ信号の段階的な符号化のための装置および方法 | |
JP5455647B2 (ja) | オーディオデコーダ | |
US8311810B2 (en) | Reduced delay spatial coding and decoding apparatus and teleconferencing system | |
JP5539926B2 (ja) | マルチチャンネル・エンコーダ | |
US20120134511A1 (en) | Multichannel audio coder and decoder | |
EP4387276A2 (en) | Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal | |
EP4089674A1 (en) | Method for decompressing a compressed hoa signal and apparatus for decompressing a compressed hoa signal | |
CA2757972C (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, and editing apparatus | |
JP4976304B2 (ja) | 音響信号処理装置、音響信号処理方法およびプログラム | |
JPWO2006003891A1 (ja) | 音声信号復号化装置及び音声信号符号化装置 | |
JP5308376B2 (ja) | 音信号擬似定位システム、方法、音信号擬似定位復号装置及びプログラム | |
JP2017537342A (ja) | オーディオ信号のパラメトリック混合 | |
JP5361766B2 (ja) | 音信号擬似定位システム、方法及びプログラム | |
US11942097B2 (en) | Multichannel audio encode and decode using directional metadata | |
EP2402941B1 (en) | Channel signal generation apparatus | |
CN105981100B (zh) | 用于改善对声场的高阶高保真度立体声响复制表示进行编码所需的边信息的编码的方法和装置 | |
MX2008009565A (en) | Apparatus and method for encoding/decoding signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110701 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130903 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5361766 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |