JP3097901B2 - 通話装置 - Google Patents

通話装置

Info

Publication number
JP3097901B2
JP3097901B2 JP08168986A JP16898696A JP3097901B2 JP 3097901 B2 JP3097901 B2 JP 3097901B2 JP 08168986 A JP08168986 A JP 08168986A JP 16898696 A JP16898696 A JP 16898696A JP 3097901 B2 JP3097901 B2 JP 3097901B2
Authority
JP
Japan
Prior art keywords
sound
frequency component
level
microphone
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP08168986A
Other languages
English (en)
Other versions
JPH1023123A (ja
Inventor
茂明 青木
和正 三橋
豊 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP08168986A priority Critical patent/JP3097901B2/ja
Publication of JPH1023123A publication Critical patent/JPH1023123A/ja
Application granted granted Critical
Publication of JP3097901B2 publication Critical patent/JP3097901B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Details Of Audible-Bandwidth Transducers (AREA)
  • Telephone Set Structure (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は送話器として気導音
用マクロホン(以下、気導マイクという)と骨導音用ピ
ックアップ(以下、骨導マイクという)を用いると共
に、耳に装着して通話を行う装置において、低騒音から
高騒音までの騒音環境で、良好な音声を送信するための
通話装置に関するものである。
【0002】
【従来の技術】送話器と受話器を一体にして耳に装着し
て電話の送話・受話が行える通話装置が提供されてい
る。これらの装置の送話器としては、気導マイクと骨導
マイクがある。気導マイクの収音信号は広帯域で音質は
良好であるが、周囲騒音に影響を受けやすい。一方、骨
導マイクの収音信号は狭帯域(低域成分のみ)で音質は
悪いが、周囲騒音に対して影響を受けにくい特徴があ
る。これらの特徴を利用して、従来の通話装置では信号
を低域周波数成分と高域周波数成分に分けて処理する手
法が提案されている。すなわち、音声信号を収音すると
きに、使用者が周囲の騒音レベルに応じて、気導マイク
の収音信号の高域周波数成分と骨導マイクの収音信号の
低域周波数成分を手動で選択または混合する方法であ
る。しかし、周囲騒音が無いかまたは小さいときは、低
域成分信号が骨導音のみであるため、周波数帯域の確保
を重視して骨導音を残すと骨導音特有の音質の悪さが目
立つ。一方音質を重視して骨導音を除くと低域の周波数
帯域が確保できないといった欠点があった。
【0003】その欠点を克服するために、気導マイクま
たは骨導マイクの収音信号を帯域に分けて、その使用時
における周囲騒音環境によって、最適な音質の送話信号
に合成する方式が提案されている(特開平7−3126
34号公報参照)。
【0004】
【発明が解決しようとする課題】しかし、低域成分が主
な通常の騒音に対しての、気導マイクと骨導マイクの収
音信号の混合法が十分に確立されていない。したがって
従来の技術では、使用する環境の周囲騒音の有無・大小
に応じて、高品質な送話信号を生成できるものはなかっ
た。
【0005】本発明の目的は、送話器として気導マイク
と骨導マイクを用いて送話する装置において、周囲騒音
レベルに応じて最適な音質になるように送話信号を合成
することを実現するにある。
【0006】
【課題を解決するための手段】本発明にかかる請求項1
に記載の発明は、気導音用マイクロホンと骨導音用ピッ
クアップの二つの収音部と、該気導音用マクロホンの収
音信号の低域周波数成分と高域周波数成分並びに前記骨
導音用ピックアップの収音信号の低域周波数成分を各々
抽出する周波数成分抽出手段と、前記収音部の使用時に
おける周囲騒音レベルを入力する周囲騒音レベル入力手
段と、該周囲騒音レベルが高くなるにしたがって、前記
気導音用マイクロホンの収音信号の低域周波数成分と骨
導音用ピックアップの収音信号の低域周波数成分とのレ
ベル比を小さくし、前記気導音用マイクロホンの収音信
号の高域周波数成分のレベルを減少させるレベル制御手
段と、このレベル制御手段により調整された前記3種類
の周波数成分を送話信号として合成する合成手段を有す
る通話装置であって、前記レベル制御手段を、前記気導
音用マイクロホンの収音信号の低域周波数成分と骨導音
用ピックアップの収音信号の低域周波数成分とのレベル
比が1になる周囲騒音レベルに対して、前記気導音用マ
イクロホンの収音信号の高域周波数成分のレベルが減少
し始める周囲騒音レベルを高く設定したものである。
【0007】また、請求項2に記載の発明は、前記気導
音用マイクロホンの収音信号の低域周波数成分と骨導音
用ピックアップの収音信号の低域周波数成分の周囲騒音
レベルに対するレベルの変化の割合に比べて、前記気導
音用マイクロホンの収音信号の高域周波数成分の該レベ
ルの変化の割合を小さく前記レベル制御手段を設定した
ものである。
【0008】
【発明の実施の形態】気導マイクの収音信号の低域周波
数成分と骨導マイクの収音信号の低域周波数成分とのレ
ベル比が1になる周囲騒音レベルと気導マイクの収音信
号の高域周波数成分のレベルが減少し始める周囲騒音レ
ベルとの関係、および気導マイクの収音信号の低域周波
数成分と骨導マイクの収音信号の低域周波数成分の周囲
騒音レベルに対するレベルの変化の割合と気導マイクの
高域周波数成分のレベルの変化の割合の関係を制御する
ことに本発明の特徴がある。
【0009】収音信号の高域周波数成分は、骨導マイク
の収音信号の周波数帯域が狭く、低域のみなので、気導
マイクの収音信号の高域周波数成分のみからなる。気導
マイクの収音信号の高域周波数成分の音質と周囲騒音レ
ベルに対する関係(気導音として実線で示す)を図1に
示す。気導マイクの収音信号の高域周波数成分の音質
は、周囲騒音のレベルに大きく影響を受け、騒音レベル
の高い時は音質の劣化が著しい。しかし、収音信号の高
域周波数成分は、気導マイクの収音信号の高域周波数成
分のみであることから、音声周波数帯域の確保の観点か
らはなるべくそのレベルを高くすべきである。したがっ
て、気導マイクの収音信号の高域成分が減少し始める騒
音レベルをなるべく高く、そのレベルが減少する変化率
をなるべく小さく設定する。騒音レベルによって、気導
マイクの収音信号の高域周波数成分のレベルを図1の音
質−騒音レベル特性に基づいて、最適な音質になるよう
に音声信号の高域周波数成分のレベルを図2のように調
整することで、騒音レベルが高くなっても音質が確保で
きる。
【0010】一方、収音信号の低域周波数成分につい
て、気導マイクの収音信号の低域周波数成分の音質と周
囲騒音レベルに対する関係(気導音として実線で示
す)、および骨導マイクの収音信号の低域周波数成分の
音質と周囲騒音レベルに対する関係(骨導音として点線
で示す)をそれぞれ図3に示す。気導マイクの収音信号
の低域周波数成分の音質は周囲騒音のレベルが低いとき
には良好であるが、周囲騒音のレベルに大きく影響を受
け、周囲騒音レベルが高い時は音質の劣化が著しい。
【0011】一方、骨導マイクの収音信号の低域周波数
成分の音質は周囲騒音のレベルが低いときには気導マイ
クの収音信号に比べて劣るが、周囲騒音のレベルに比較
的影響を受けず、騒音レベルが高い時でも音質の劣化は
比較的小さい。低域周波数成分は、気導マイクの収音信
号と骨導マイクの収音信号の二つの成分があるため、両
低域周波数成分の選択は、両者の音質の優劣が逆転した
騒音レベルにおいて素早く行ったほうが、音質の確保の
ためには良い。したがって、気導マイクの収音信号の低
域成分の減少する変化率と、骨導マイクの低域成分の増
加する変化率をなるべく大きく設定する。また、通常の
騒音は低域周波数成分を多く含んでいるため、気導マイ
クの収音信号の低域成分が減少し始め、骨導マイクの低
域成分が増加し始める騒音レベルを、気導マイクの収音
信号の高域成分が減少し始める騒音レベルより低く設定
する。騒音レベルによって、気導マイクの収音信号の低
域周波数成分と骨導マイクの収音信号の低域周波数成分
の加算時の重みを騒音レベルに対応して図4のように制
御することで、最適な音声信号の低域周波数成分を合成
することで、騒音レベルが高くなっても音質が確保でき
る。
【0012】収音信号の低域,高域成分について、図
2,図4を用いて個別に説明したが、気導マイクの収音
信号の高域周波数成分,低域周波数成分と骨導マイクの
収音信号の低域周波数成分の各レベルと騒音レベルの相
対関係を図5に示す。図示のように、気導マイクの収音
信号の低域周波数成分と骨導マイクの収音信号の低域周
波数成分とのレベル比が1になる周囲騒音レベルLAL
BLに対して、気導マイクの収音信号の高域周波数成分
のレベルが減少し始める周囲騒音レベルLALが高く、
気導マイクの収音信号の低域周波数成分と骨導マイクの
収音信号の低域周波数成分の周囲騒音レベルに対するレ
ベルの変化の割合に比べて、気導マイクの収音信号の高
域周波数成分のレベルの変化の割合を小さくすること
で、騒音レベルが高くなっても収音信号の音質を確保で
きる。
【0013】
【実施例】図6は、本発明の一実施例の構成を示すブロ
ック図である。
【0014】1は気導マイク、2は骨導マイク、3は気
導マイク用アンプ、4は骨導マイク用アンプ、5は前記
気導マイク用アンプ3からの収音信号を低域周波数成分
と高域周波数成分に分けるフィルタであり、気導マイク
用の高域通過フィルタ(HPF)6と、気導マイク用の
低域通過フィルタ(LPF)7とからなる。8は骨導マ
イク用の低域通過フィルタ(LPF)である。9は前記
高域通過フィルタ(HPF)6で取り出された気導音の
高域周波数成分のレベルを、後述する制御情報提供部1
3からの制御情報に基づいて制御するレベル制御部、1
0は前記低域通過フィルタ(LPF)7からの気導マイ
ク1の収音信号の低域周波数成分のレベルを、制御情報
提供部13からの制御情報に基づいて制御するレベル制
御部、11は前記低域通過フィルタ(LPF)8からの
骨導マイク2の収音信号の低域周波数成分のレベルを、
制御情報提供部13からの制御情報に基づいて制御する
レベル制御部であり、レベル制御部9,10,11は、
例えば制御電圧によって入力信号の増幅率が制御できる
利得制御回路で構成される。12は周囲騒音レベル入力
端子で、例えば騒音レベルに対応した電圧レベルが入力
される。13は前記気導マイク1の収音信号の高域周波
数成分のレベル制御部9及び気導マイク1の収音信号の
低域周波数成分のレベル制御部10と、骨導マイク2の
収音信号の低域周波数成分のレベル制御部11に、制御
情報を提供する制御情報提供部、14は前記レベル制御
部9からの気導マイク1の収音信号の高域周波数成分
と、レベル制御部10からの気導マイク1の収音信号の
低域周波数成分と、レベル制御部11からの骨導マイク
2の収音信号の低域周波数成分とを合成する混合回路で
ある。15は電話回線用回路への送話信号出力端子であ
る。
【0015】次に、動作について説明する。
【0016】気導マイク1で収音された音声信号は、気
導マイク用アンプ3で増幅される。骨導マイク2で収音
された音声信号は、骨導マイク用アンプ4で増幅され
る。気導マイク用アンプ3からの収音信号は、高域通過
フィルタ(HPF)6と低域通過フィルタ(LPF)7
で高域と低域の周波数成分が取り出される。骨導マイク
2の収音信号は、低域通過フィルタ(LPF)8で低域
の周波数成分が取り出される。
【0017】まず、騒音レベルに応じて、高域の周波数
帯域のレベルを制御する方法を説明する。気導マイク1
の高域の周波数帯域の音質は、騒音レベルに依存する関
係(図1)がある。したがって、気導マイク1の収音信
号のレベルを制御するときは、図1に基づいて得られた
最適レベルの騒音レベル依存性(図2)を利用する。レ
ベル制御部9では、制御情報提供部13から騒音レベル
に応じて気導マイク1の高域周波数成分を最適レベルに
制御するための情報を受け、気導マイク1の高域通過フ
ィルタ(HPF)6からの高域周波数成分のレベルを最
適に制御する。
【0018】次に、騒音レベルに応じて、低域の周波数
帯域の気導音と骨導音の重みを制御する方法を説明す
る。骨導マイク2の低域の周波数帯域成分と、気導マイ
ク1の低域の周波数帯域成分の音質が、周囲騒音レベル
に依存する関係(図3)がある。したがって骨導マイク
2の収音信号と気導マイク1の収音信号の重みを制御す
るときは、図3に基づいて得られた最適混合比の騒音レ
ベル依存性(図4)を利用する。制御情報提供部13か
ら騒音レベルに応じて気導マイク1の収音信号を最適レ
ベルに制御するための情報を受け、気導マイク用の低域
通過フィルタ(LPF)7からの低域周波数成分のレベ
ルがレベル制御部10で最適に制御される。一方、骨導
マイク2の収音信号を最適レベルに制御するための情報
を受け、骨導マイク用の低域通過フィルタ(LPF)8
からの低域周波数成分のレベルがレベル制御部11で最
適に制御される。
【0019】このように、図2,図4に基づいて、図5
に示されたような気導マイク1の収音信号の高域周波数
成分,低域周波数成分と骨導マイク2の収音信号の低域
周波数成分の各レベルと騒音レベルとの関係を用いるこ
とで、最適な音質が制御できる。気導マイク1の収音信
号の低域周波数成分と骨導マイク2の収音信号の低域周
波数成分とのレベル比が1になる周囲騒音レベルに対し
て、気導マイク1の収音信号の高域周波数成分のレベル
が減少し始める周囲騒音レベルが高くなるように各レベ
ル制御部9,10,11を設定し、また、気導マイク1
の収音信号の低域周波数成分と骨導マイク2の収音信号
の低域周波数成分の周囲騒音レベルに対するレベルの変
化の割合に比べて、気導マイク1の収音信号の高域周波
数成分のレベルの変化の割合の方が小さくなるように設
定することで、騒音レベルが高くなっても音質が確保で
きる。
【0020】周囲騒音レベル入力端子12の騒音レベル
に基づき、制御情報提供部13で高域信号のレベル制御
部9と低域信号のレベル制御部10,11への提供情報
が定められる。例えば、レベル制御部9,10,11が
制御電圧によって入力信号の増幅率が制御できるアンプ
の場合、周囲騒音レベルと入力端子電圧との対応をあら
かじめとっておくことで、図2,図4の特性がレベル制
御部9,10,11で反映できる。
【0021】レベル制御部9からの送信信号の高域周波
数成分と、レベル制御部10,11からの送話信号の低
域周波数成分は、混合回路14で混合される。混合回路
14で混合された信号は、電話回線用回路への送話信号
出力端子15へ送られる。
【0022】なお、本発明と実施例との対応を示すと下
記のようになる。
【0023】本発明においては、図6に示すように収音
部として気導マイク1と骨導マイク2を持ち、周波数成
分抽出手段として気導マイク用の高域通過フィルタ6と
低域通過フィルタ7と、骨導マイク用の低域通過フィル
タ8とを用いている。また、周囲騒音レベル入力手段に
は、周囲騒音レベル入力端子12が対応している。さら
にレベル制御手段として、レベル制御部9,10,11
を用いており、合成手段には混合回路14が対応してい
る。
【0024】
【発明の効果】以上説明したように、本発明は収音部と
して気導マイクと骨導マイクを用いた通信装置におい
て、前記気導音用マイクロホンの収音信号の低域周波数
成分と骨導音用ピックアップの収音信号の低域周波数成
分とのレベル比が1になる周囲騒音レベルに対して、前
記気導音用マイクロホンの収音信号の高域周波数成分の
レベルが減少し始める周囲騒音レベルを高く設定したの
で、その使用環境において良好な音声の送話が可能にな
る。
【0025】また、前記気導音用マイクロホンの収音信
号の低域周波数成分と骨導音用ピックアップの収音信号
の低域周波数成分の周囲騒音レベルに対するレベルの変
化の割合に比べて、前記気導音用マイクロホンの収音信
号の高域周波数成分の該レベルの変化の割合を小さくレ
ベル制御手段を設定したので、気導マイクの収音信号ま
たは骨導マイクの収音信号を最適の音質になるようにレ
ベル制御または合成して送話信号を生成することが、周
囲騒音のレベルを反映して行われるため、送話信号の音
質を向上させることを可能にした。
【0026】ここでは通話装置について、実施例を挙げ
て本発明の効果を説明したが、一般の電話の送受話にお
いても、使用時の周囲騒音の環境・状態において、最適
な音質になるように、気導マイクと骨導マイクを用いる
ことにより、送話信号を生成することが可能になる。
【図面の簡単な説明】
【図1】収音した気導音の高域周波数成分の音質と周囲
騒音レベルとの関係を示す図である。
【図2】収音した気導音の高域周波数成分の最適なレベ
ルと周囲騒音レベルとの関係を示す図である。
【図3】収音した骨導音と気導音の低域周波数成分の各
音質と周囲騒音レベルとの関係を示す図である。
【図4】収音した骨導音と気導音の低域周波数成分の最
適な混合比と周囲騒音レベルとの関係を示す図である。
【図5】収音信号の高域周波数成分について示した図2
と、低域周波数成分について示した図4の相対関係を示
す図である。
【図6】本発明の一実施例の構成を示すブロック図であ
る。
【符号の説明】
1 気導マイク(気導音用マイクロホン) 2 骨導マイク(骨導音用ピックアップ) 3 気導マイク用アンプ 4 骨導マイク用アンプ 5 フィルタ 6 気導マイク用の高域通過フィルタ(HPF) 7 気導マイク用の低域通過フィルタ(LPF) 8 骨導マイク用の低域通過フィルタ(LPF) 9 高域周波数成分のレベル制御部 10 低域周波数成分のレベル制御部 11 低域周波数成分のレベル制御部 12 周囲騒音レベル入力端子 13 制御情報提供部 14 混合回路 15 送話信号出力端子
フロントページの続き (56)参考文献 特開 平8−70344(JP,A) 特開 平8−214391(JP,A) 特開 平7−312634(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04M 1/00 - 1/23 H04R 1/00 327 H04Q 7/32

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 気導音用マイクロホンと骨導音用ピック
    アップの二つの収音部と、該気導音用マクロホンの収音
    信号の低域周波数成分と高域周波数成分並びに前記骨導
    音用ピックアップの収音信号の低域周波数成分を各々抽
    出する周波数成分抽出手段と、前記収音部の使用時にお
    ける周囲騒音レベルを入力する周囲騒音レベル入力手段
    と、該周囲騒音レベルが高くなるにしたがって、前記気
    導音用マイクロホンの収音信号の低域周波数成分と骨導
    音用ピックアップの収音信号の低域周波数成分とのレベ
    ル比を小さくし、前記気導音用マイクロホンの収音信号
    の高域周波数成分のレベルを減少させるレベル制御手段
    と、このレベル制御手段により調整された前記3種類の
    周波数成分を送話信号として合成する合成手段を有する
    通話装置であって、前記レベル制御手段を、前記気導音
    用マイクロホンの収音信号の低域周波数成分と骨導音用
    ピックアップの収音信号の低域周波数成分とのレベル比
    が1になる周囲騒音レベルに対して、前記気導音用マイ
    クロホンの収音信号の高域周波数成分のレベルが減少し
    始める周囲騒音レベルを高く設定したことを特徴とする
    通話装置。
  2. 【請求項2】 請求項1記載の通話装置において、前記
    気導音用マイクロホンの収音信号の低域周波数成分と骨
    導音用ピックアップの収音信号の低域周波数成分の周囲
    騒音レベルに対するレベルの変化の割合に比べて、前記
    気導音用マイクロホンの収音信号の高域周波数成分の該
    レベルの変化の割合を小さく前記レベル制御手段を設定
    したことを特徴とする通話装置。
JP08168986A 1996-06-28 1996-06-28 通話装置 Expired - Lifetime JP3097901B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08168986A JP3097901B2 (ja) 1996-06-28 1996-06-28 通話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08168986A JP3097901B2 (ja) 1996-06-28 1996-06-28 通話装置

Publications (2)

Publication Number Publication Date
JPH1023123A JPH1023123A (ja) 1998-01-23
JP3097901B2 true JP3097901B2 (ja) 2000-10-10

Family

ID=15878241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08168986A Expired - Lifetime JP3097901B2 (ja) 1996-06-28 1996-06-28 通話装置

Country Status (1)

Country Link
JP (1) JP3097901B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675027B1 (en) 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
US7447630B2 (en) 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7283850B2 (en) 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
US7590529B2 (en) * 2005-02-04 2009-09-15 Microsoft Corporation Method and apparatus for reducing noise corruption from an alternative sensor signal during multi-sensory speech enhancement
US7680656B2 (en) 2005-06-28 2010-03-16 Microsoft Corporation Multi-sensory speech enhancement using a speech-state model
US7406303B2 (en) 2005-07-05 2008-07-29 Microsoft Corporation Multi-sensory speech enhancement using synthesized sensor signal
US7930178B2 (en) 2005-12-23 2011-04-19 Microsoft Corporation Speech modeling and enhancement based on magnitude-normalized spectra

Also Published As

Publication number Publication date
JPH1023123A (ja) 1998-01-23

Similar Documents

Publication Publication Date Title
US6741708B1 (en) Acoustic system comprised of components connected by wireless
EP1532749B1 (en) Portable audio playback device with bass enhancement
US8699732B2 (en) Systems and methods employing multiple individual wireless earbuds for a common audio source
US8019386B2 (en) Companion microphone system and method
US20070230714A1 (en) Time-delay hearing instrument system and method
EP1385324A1 (en) A system and method for reducing the effect of background noise
WO2005125271A1 (en) In-ear monitoring system and method with bidirectional channel
JP3082825B2 (ja) 通信装置
JP3095214B2 (ja) 通話装置
JP3097901B2 (ja) 通話装置
US20100142722A1 (en) Conversation assistant for noisy environments
US20060014570A1 (en) Mobile communication terminal
JP2835009B2 (ja) 骨導気導複合型イヤーマイクロホン装置
JP2014096732A (ja) 収音装置及び電話機
JP2005318267A (ja) 電子機器
JP2001177635A (ja) 通話装置
JP2894882B2 (ja) ハンズフリー電話装置
JP2684792B2 (ja) 収音装置
CN107833580A (zh) 基于输入噪声特性动态增加的噪声抑制
US20240236550A1 (en) Sound reproducing apparatus and method
JP3105010B2 (ja) 車両用音響装置
KR200272789Y1 (ko) 톤 조절 가능한 무선연결장치
JPH11234541A (ja) Tvカメラ用インカム装置
CN114786106A (zh) 一种蓝牙助听器及其音频分配方法
JP2937974B2 (ja) 送受話器と携帯通信端末システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070811

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080811

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080811

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 13

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term