JP4333005B2 - 音声符号化・復号化装置、音声符号化装置および符号化方法 - Google Patents

音声符号化・復号化装置、音声符号化装置および符号化方法 Download PDF

Info

Publication number
JP4333005B2
JP4333005B2 JP2000215345A JP2000215345A JP4333005B2 JP 4333005 B2 JP4333005 B2 JP 4333005B2 JP 2000215345 A JP2000215345 A JP 2000215345A JP 2000215345 A JP2000215345 A JP 2000215345A JP 4333005 B2 JP4333005 B2 JP 4333005B2
Authority
JP
Japan
Prior art keywords
silence
signal
speech
input
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000215345A
Other languages
English (en)
Other versions
JP2002032095A (ja
Inventor
貴明 杉原
弘一 木原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2000215345A priority Critical patent/JP4333005B2/ja
Publication of JP2002032095A publication Critical patent/JP2002032095A/ja
Application granted granted Critical
Publication of JP4333005B2 publication Critical patent/JP4333005B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、音声符号化復号化システムおける音声符号化装置に関し、特に入力される音声信号を監視し、入力音声の有音/無音を検出し、有音部分の符号化データのみをセル化し伝送する無音圧縮の音声符号化復号化システムに用いる音声符号化装置および符号化方法に関するものである。この様な入力音声の有音/無音に応じた無音圧縮の音声符号化復号化システムとしてはITU−T勧告G.729Annex.Bに基づく無音圧縮の音声符号化復号化システムを例として揚げる事が出来る。
【0002】
【従来の技術】
一般に、電話呼の音声信号は固定レートで符号化され、STM(Synchronous Transfer Mode)回線にて中継される。一方ATM(Asynchronous Transfer Mode)網を用いて音声を伝送する場合には音声信号を圧縮した後、パケット毎に他の電話呼と多重し中継回線に送出する事で統計多重効果による回線の使用効率の向上を図っている。
【0003】
通常、音声符号化則として1996年3月にITU-T(国際電気通信連合)で勧告された8kbpsの音声符号化方式である「ITU−T勧告G.729」を使用するが、この「ITU−T勧告G.729」にはオプション機能としてAnnex A、Annex B、Annex AB、 Annex CからDまでのAnnex も勧告されている。
【0004】
ここで、G.729Annex.Bは、回線効率向上を目指して入力音声の有音/無音の判定を行い、音声中の無音部分における情報量の削減を図った勧告である。このITU−T勧告G.729Annex.Bに従った音声符号化復号化システムは、入力される音声信号を監視し、入力音声の有音/無音を検出し、有音部分の符号化データのみをセル化し伝送する無音圧縮を行っている。具体的には"ITU Recommendation Series G ・[G.729 Annex B](11/96) Annex B: A silence compression scheme for G.729 optimized for terminals conforming to Recommendation V.70"に記載されている。
【0005】
最近の無音圧縮コーデック技術としての、ITU−T勧告G.729 AnnexBでは、有音声から無音声の切り替わり時、および無音声区間において背景雑音パターンの変化が生じた場合に限り、背景雑音を送出するという効率的な手法が用いられている。これにより受信側では、無音声区間のパケット未送出区間は、最新の背景雑音を再生する様に構成されている。
【0006】
【発明が解決しようとする課題】
しかしながら、音声符号化則としてITU−T勧告G.729Annex.Bを用いてATM網で音声を中継した場合には、中継回線を流れる信号は多様であるためG.729Annex.Bの持つ無音検出が有効に機能せず回線の使用効率低下を引き起こす場合がある。
【0007】
例えば、マシンが送信するような場合は背景雑音がまったくない音声通信が行われ得るが、インターネット電話などで人間が音声を送信するようなケースでは、通常、背景雑音の混入が避けられない。
【0008】
このように背景雑音の状態が大きく変動する条件下で、常に、前記無音検出を有効に機能させることは困難である。
【0009】
特に、スピーカモードでモニタしながら発呼したときに、音声信号の受信(受話)だけが行われて音声信号の送信(送話)がまったく行われない通信装置の場合、発呼時の符号化器の入力はゼロとなり、G.729Annex.B符号化器が初期化中に行う背景雑音推定が正常に行えず、通話中に無音検出が機能せず、回線使用効率が低下するという問題があった。
【0010】
ハンズフリー装置のように受話用スピーカから比較的大きな音響が出力される通信装置では、スピーカモードでモニタ中の通話者が発呼時に発話しなくても、スピーカからの音声が電話の送話器のマイク部から拾われて装置内に取り込まれるため、このような現象は生じにくいが、受話用のスピーカから出力される音声が音響的に送話用のマイク部に結合されることがほとんどない通常の電話機の送受話器のような通信装置では、常にこのような現象が発生する。
【0011】
また、ハンズフリー装置などの場合でも、モニタしようとしている受話音声自体が非常に小さい音声である場合などには、同様の問題が発生し得る。
【0012】
すなわち、G.729Annex.Bによる符号化開始時の入力信号が無音入力となる呼に対しては、無音検出が出来ず無音圧縮ができないと言う問題があった。
【0013】
本発明の目的は、上記問題点に鑑み、音声信号符号化装置において確実な無音検出が行える音声符号化・復号化装置および音声符号化装置、符号化方法を提供することにある。
【0014】
本発明の他の目的は、スピーカ等でモニタしながら発呼した場合においても、音声信号符号化装置にける背景雑音推定を可能とし、確実な無音検出が行える音声符号化・復号化装置および音声符号化装置、符号化方法を提供することにある。
【0015】
【課題を解決するための手段】
上記目的を達成するために本発明の音声符号化・復号化装置では、入力音声信号に対して無音区間を検出して無音化情報を生成し、無音化情報を基に前記入力音声信号に無音圧縮処理を施して伝送路へ出力する符号化部とを備えた送信側装置と、伝送路を介して受信した無音圧縮処理を施された入力音声信号を復号して再生音声信号を出力する復号化部とを備えた受信側装置とを有する音声符号化・復号化装置において、送信側装置に、白雑音信号(白色雑音信号)を発生する白雑音発生手段と、入力音声信号が入力され入力音声信号の無音状態を検出する無音判定部と、無音判定部が入力音声信号の無音状態を検出している時に白雑音発生手段からの白雑音信号を入力音声信号に加算重畳して符号化部へ供給する加算手段を備えた構成にしている。
【0016】
従来は、スピーカモードでモニタしながら発呼した場合には、送話器からの入力音声信号が無音状態になってしまい、背景雑音推定が出来なくなっていたが、本発明によれば白雑音発生手段からの白雑音が入力音声信号に重畳し、擬似的に背景雑音を作り出しているためこの様なケースでも背景雑音推定が可能となり、符号化器の初期化が行える。
【0017】
ここで無音判定部は、符号化部の処理フレーム毎に入力音声信号が無音状態か否かを判定する事が望ましい。
【0018】
また、符号化部は、ITU−T勧告G.729Annex.Bに基づく音声圧縮を行う事が望ましい。
【0019】
上記目的を達成するために本発明の音声符号化装置では、入力音声信号に対して無音区間を検出して無音化情報を生成し、無音化情報を基に入力音声信号に無音圧縮処理を施して伝送路へ出力する符号化部を有する音声符号化装置において、白雑音信号を発生する白雑音発生手段と、入力音声信号が入力され入力音声信号の無音状態を検出する無音判定部と、無音判定部が入力音声信号の無音状態を検出している時に白雑音発生手段からの白雑音信号を入力音声信号に加算重畳して符号化部へ供給する加算手段を備えた構成にしている。
【0020】
ここで無音判定部は、符号化部の処理フレーム毎に前記入力音声信号が無音状態か否かを判定する事が望ましい。
【0021】
また、符号化部は、ITU−T勧告G.729Annex.Bに基づく音声圧縮を行う事が望ましい。
【0022】
本発明は、符号化部が背景雑音推定を伴う初期化処理を行う場合に特に有効である。
【0023】
上記目的を達成するために本発明の音声符号化方法では、入力音声信号に対して無音区間を検出して無音化情報を生成し、符号化部が前記無音化情報に基づいて前記入力音声信号に無音圧縮処理を施して伝送路へ出力する音声符号化方法において、白雑音発生手段は、白雑音信号を発生し、無音判定部には前記入力音声信号が入力され、前記無音判定部は、前記入力音声信号の無音状態を検出し、加算手段は、前記無音判定部が入力音声信号の無音状態を検出している時に前記白雑音発生手段からの前記白雑音信号を前記入力音声信号に加算重畳して前記符号化部へ供給し、前記入力音声信号が無音状態の時に前記入力信号に白雑音信号を加算重畳して背景雑音推定を行う。
【0024】
【発明の実施の形態】
本発明の実施の形態を図面を用いて説明する。図2は本発明の第1の実施の形態の音声符号化・復号化装置の全体構成を示すブロック図である。
【0025】
本実施形態において、この音声符号化・復号化装置は、上述した通常の電話機の送受話器に対応するものとし、装置の構成上、受話用のスピーカから出力される音声が音響的に送話用のマイク部に結合されることがほとんどないものとする。
【0026】
また、この音声符号化・復号化装置はATM網を用いた中継器の音声信号伝達経路を前提として記載してある。この音声符号化・復号化装置は送信側装置Aと受信側装置Bとそれを結ぶ伝送路Cで構成されている。伝送路Cには先述のATM網が含まれる。
【0027】
送信側装置Aには音声入力端子1、音声符号化部2、信号監視部3、白雑音発生器4および伝送路Cに接続された送信部6が含まれる。受信側装置Bには伝送路Cに接続された受信部7、音声復号化器8及び音声出力部9が含まれる。
【0028】
音声符号化部2は ITU−T勧告G.729Annex.Bに基づく音声圧縮を行う音声符号化部である。
【0029】
送信側装置Aの詳細なブロック図を図1に示す。図1は図2に示す音声符号化・復号化装置の送信側装置Aの具体的構成を示すブロック図である。
【0030】
図1において、この送信側装置Aは音声入力端子1、無音検出器10、白雑音発生器11、加算器12及び ITU−T勧告G.729Annex.Bに基づく音声圧縮を行う音声符号化器13で構成されている。加算器12と音声符号化器13で音声符号化部2が構成される。
【0031】
ここで、前記伝送路Cはパケット交換型通信方式を用いて音声通信を行う伝送路であるが、この様なパケット交換型通信方式を用いて音声通信を行う場合には、ネットワークの帯域削減を目的とし、パケットサイズを単位として(あるいはパケットよりもさらに小さなフレームを単位として)に有音声と無音声とを区別し、無音声部分を転送しない無音圧縮技術(あるいは、有音部分に比べて無音部分が小さなデータレートとなるように符号化する無音圧縮技術)が用いられる。
【0032】
しかし、通常無音声部分として判定される背景雑音は、音の臨場感を引き出すための重要な情報でもある。もし、送信側で無音声として判定された区間を、全くネットワークに転送せず、受信側に伝えなかったとすると、受信側で受け取る音声情報は品質的に低いものとなる可能性があるので、無音声区間とされる背景雑音をある程度受信側に送出することが音声品質確保の観点から重要であり、この場合には、背景雑音をいかに効率的に転送するかが重要になる。
【0033】
ITU−T勧告G.729 AnnexBでは、背景雑音効率的に転送するために、有音声から無音声の切り替わり時、および無音声区間において背景雑音パターンの変化が生じた場合に限り、背景雑音を送出するという効率的な手法が用いられている。これにより受信側では、無音声区間のパケット未送出区間は、最新の背景雑音を再生する。
【0034】
音声符号化器13は、有音声から無音声の切り替わり時、および無音声区間において背景雑音パターンの変化が生じた場合には、背景雑音推定を行ってその背景雑音パターンを求めて、低ビットレートで送信を行うが、スピーカモードでモニタしながら発話することなく発呼した場合には、マイク(前記音声入力端子1に対応)から有効な音声が入力されることがなく、送話器からの入力音声信号が実質的に無音状態になってしまい、この背景雑音推定が出来なくなる。
【0035】
そこで、本実施形態の送信側装置Aでは、無音検出器10でそのような無音状態を検出した場合には、白雑音発生器11で発生した白雑音信号を強制的に入力信号として挿入し、背景雑音推定を行える様にしている。
【0036】
次に、この送信側装置Aの動作を説明する。
【0037】
無音検出器10はITU−T勧告G.729の処理フレームである10ms毎に入力音声信号を判定し、入力音声信号の信号レベルが所定値以下の場合に無音フレームであると判定する。
【0038】
白雑音発生器11は白雑音信号を小振幅で発生するが、無音検出器10が無音フレームであると判定するとそのフレームに対して白雑音発生器11で発生させた白雑音信号を加算器12に供給し入力音声信号に加算して、加算された信号をG.729Annex.Bに基づく音声圧縮を行う音声符号化器13に供給する。符号化器13はITU−T勧告G.729Annex.Bに基づいて背景雑音推定等の初期化処理及び無音圧縮処理を行って、送信部6に信号を出力する。
【0039】
従って、入力音声信号の信号レベルが所定値以下の無音フレームの場合にも、白雑音発生器11で発生した白雑音信号が音声符号化器13に入力されるので、音声符号化器13での背景雑音推定が確実に行える。
【0040】
この様に、ITU−T勧告G.729Annex.Bに基づく符号化開始時に無音入力が継続した場合に、強制的に白雑音を入力することによって無音状態を回避し、無音検出/無音圧縮処理が機能しない問題を回避出来る。
【0041】
ここで無音検出器10での「ゼロ信号検出」処理および「小振幅の白雑音の加算」処理は少ない計算量で実現可能であり、本機能追加による処理量の増大を最小限にとどめる事が可能である。
【0042】
また、機能の追加は符号化側(送信側)の入力条件の変更のみで有り、G.729Annex.Bに基づく符号化器13本体の変更は行っていない為、ITU−T勧告G.729準拠を維持したままで本機能を追加することが出来る。
【0043】
更に復号化側(受信側)装置Bは特に変更する必要が無いため、容易に実現可能であり、既存のネットワークに導入した場合に他の先行設備に悪影響を与える事無く本発明の効果を全ての受信側装置で享受出来る。
【0044】
以上のように本実施形態の音声符号化・復号化装置ではスピーカモードでモニタしながら発呼したような符号化器への初期入力音声信号が無音となる場合にも符号化器における無音検出ができ、安定した無音圧縮が可能となる。
【0045】
なお、以上の説明では、ITU−T勧告G.729Annex.Bに基づく符号化装置を前提に実施形態を説明したが、本発明はこの勧告の方式に限られるものではなく、無音期間において背景雑音を挿入することにより無音期間と有音期間の遷移状態をスムーズにする符号化・復号化装置に広く適用出来るものである。
【0046】
また、前記実施形態では、音声符号化・復号化装置は通常の電話機の送受話器に対応するものとしたが、ハンズフリー装置などの場合でも、モニタしようとしている受話音声自体が非常に小さい音声であるケースなどには、本発明を適用し得る点は、前述の通りである。
【0047】
【発明の効果】
以上のように本発明によれば、符号化開始時の入力信号が無音入力となる呼に対しても安定的に無音検出が行える音声符号化・復号化装置および音声符号化装置、符号化方法を提供することが出来る。
【0048】
したがって、スピーカ等でモニタしながら発呼した場合においても、音声信号符号化装置にける背景雑音推定を可能とし、確実な無音検出が行える音声符号化・復号化装置および音声符号化装置、符号化方法を提供することが可能となる。
【図面の簡単な説明】
【図1】図1は図2に示す音声符号化・復号化装置の送信側装置Aの具体的構成を示すブロック図である。
【図2】図2は本発明の実施の形態の音声符号化・復号化装置の構成を示す経路ブロック図である。
【符号の説明】
A…送信側装置、B…受信側装置、C…伝送路C、1…音声入力端子、2…音声符号化部、3…信号監視部、4…白雑音発生器、6…送信部、7…受信部、8…音声復号化部、9…音声出力端子、10…無音検出器、11…白雑音発生器、12…加算器、13…G.729Annex.Bに基づく符号化器。

Claims (9)

  1. 入力音声信号に対して無音区間を検出して無音化情報を生成し、前記無音化情報を基に前記入力音声信号に無音圧縮処理を施して伝送路へ出力する符号化部とを備えた送信側装置と、前記伝送路を介して受信した前記無音圧縮処理を施された前記入力音声信号を復号して再生音声信号を出力する復号化部とを備えた受信側装置とを有する音声符号化・復号化装置において、前記送信側装置に、
    白雑音信号を発生する白雑音発生手段と、
    前記入力音声信号が入力され前記入力音声信号の無音状態を検出する無音判定部と、
    前記無音判定部が入力音声信号の無音状態を検出している時に前記白雑音発生手段からの前記白雑音信号を前記入力音声信号に加算重畳して前記符号化部へ供給する加算手段を備えたことを特徴とする音声符号化・復号化装置。
  2. 請求項1において、
    前記無音判定部は、前記符号化部の処理フレーム毎に前記入力音声信号が無音状態か否かを判定する事を特徴とする音声符号化・復号化装置。
  3. 請求項1または2において、
    前記符号化部は、ITU−T勧告G.729Annex.Bに基づく音声圧縮を行う事を特徴とする音声符号化・復号化装置。
  4. 請求項1乃至3のいずれかにおいて、
    前記符号化部は、背景雑音推定を伴う初期化処理を行う事を特徴とする音声符号化・復号化装置。
  5. 入力音声信号に対して無音区間を検出して無音化情報を生成し、前記無音化情報を基に前記入力音声信号に無音圧縮処理を施して伝送路へ出力する符号化部を有する音声符号化装置において、
    白雑音信号を発生する白雑音発生手段と、
    前記入力音声信号が入力され前記入力音声信号の無音状態を検出する無音判定部と、
    前記無音判定部が入力音声信号の無音状態を検出している時に前記白雑音発生手段からの前記白雑音信号を前記入力音声信号に加算重畳して前記符号化部へ供給する加算手段を備えたことを特徴とする音声符号化装置。
  6. 請求項5において、
    前記無音判定部は、前記符号化部の処理フレーム毎に前記入力音声信号が無音状態か否かを判定する事を特徴とする音声符号化装置。
  7. 請求項5または6において、
    前記符号化部は、ITU−T勧告G.729Annex.Bに基づく音声圧縮を行う事を特徴とする音声符号化装置
  8. 請求項5乃至7のいずれかにおいて、
    前記符号化部は、背景雑音推定を伴う初期化処理を行う事を特徴とする声符号化装置。
  9. 入力音声信号に対して無音区間を検出して無音化情報を生成し、符号化部が前記無音化情報に基づいて前記入力音声信号に無音圧縮処理を施して伝送路へ出力する音声符号化方法において、
    白雑音発生手段は、白雑音信号を発生し、
    無音判定部には前記入力音声信号が入力され、前記無音判定部は、前記入力音声信号の無音状態を検出し、
    加算手段は、前記無音判定部が入力音声信号の無音状態を検出している時に前記白雑音発生手段からの前記白雑音信号を前記入力音声信号に加算重畳して前記符号化部へ供給し、
    前記入力音声信号が無音状態の時に前記入力信号に白雑音信号を加算重畳した信号に基づいて背景雑音推定を行うことを特徴とする音声符号化方法。
JP2000215345A 2000-07-17 2000-07-17 音声符号化・復号化装置、音声符号化装置および符号化方法 Expired - Fee Related JP4333005B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000215345A JP4333005B2 (ja) 2000-07-17 2000-07-17 音声符号化・復号化装置、音声符号化装置および符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000215345A JP4333005B2 (ja) 2000-07-17 2000-07-17 音声符号化・復号化装置、音声符号化装置および符号化方法

Publications (2)

Publication Number Publication Date
JP2002032095A JP2002032095A (ja) 2002-01-31
JP4333005B2 true JP4333005B2 (ja) 2009-09-16

Family

ID=18710780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000215345A Expired - Fee Related JP4333005B2 (ja) 2000-07-17 2000-07-17 音声符号化・復号化装置、音声符号化装置および符号化方法

Country Status (1)

Country Link
JP (1) JP4333005B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100812770B1 (ko) 2006-03-27 2008-03-12 이영득 화이트 노이즈를 이용한 배속 나레이션 음성신호 제공 방법및 장치
JP7240826B2 (ja) * 2018-06-28 2023-03-16 株式会社デンソーテン 音響処理装置、音響システムおよび音響処理方法

Also Published As

Publication number Publication date
JP2002032095A (ja) 2002-01-31

Similar Documents

Publication Publication Date Title
FI110826B (fi) Akustisen kaiun poisto digitaalisessa matkaviestinjärjestelmässä
US7680042B2 (en) Generic on-chip homing and resident, real-time bit exact tests
US20110235500A1 (en) Integrated echo canceller and speech codec for voice-over IP(VoIP)
US20080205632A1 (en) Packet voice system with far-end echo cancellation
US8705455B2 (en) System and method for improved use of voice activity detection
US8112273B2 (en) Voice activity detection and silence suppression in a packet network
KR20030062860A (ko) 문자 입출력 서비스를 위한 통신시스템의 음향 반향 제거방법 및 장치
JP4333005B2 (ja) 音声符号化・復号化装置、音声符号化装置および符号化方法
KR20020032894A (ko) 브이오아이피에서의 데이터 손실 방지 장치 및 방법
JP4296154B2 (ja) 音声伝送システム
AU735505B2 (en) Echo reducing phone with state machine controlled switches
JP3734696B2 (ja) 無音圧縮音声符号化復号化装置
JP4078795B2 (ja) 音声符号化・復号化装置、音声符号化装置および符号化方法
JP2643837B2 (ja) ハンズフリー電話機
KR100402531B1 (ko) 유/무선 단말기를 이용한 인터넷폰 장치 및 방법
KR100233532B1 (ko) 음성통신시스템의 오디오코덱
JP4127274B2 (ja) 電話音声認識システム
JPH06216860A (ja) 音声通信装置
JP2005101917A (ja) 電話装置
JPH0774733A (ja) ディジタル無線電話装置
JPH0417421A (ja) Dsi装置
JPH04150127A (ja) 電話機の通話回路
JPH11305796A (ja) 音声復号装置及び方法並びに音声復号装置を用いたatm伝送装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4333005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees