JP3351987B2 - Ｃｇ俳優像生成装置 - Google Patents
Ｃｇ俳優像生成装置Info
- Publication number
- JP3351987B2 JP3351987B2 JP13344297A JP13344297A JP3351987B2 JP 3351987 B2 JP3351987 B2 JP 3351987B2 JP 13344297 A JP13344297 A JP 13344297A JP 13344297 A JP13344297 A JP 13344297A JP 3351987 B2 JP3351987 B2 JP 3351987B2
- Authority
- JP
- Japan
- Prior art keywords
- actor image
- actor
- voice
- image
- mouth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【発明の属する技術分野】本発明は、ＣＧ的手法により
ＣＧ俳優像を生成し、特に、コンピュータのマン−マシ
ンインターフェースの一つとして喋るＣＧ俳優像を生成
するＣＧ俳優像生成装置に関する。
ＣＧ俳優像を生成し、特に、コンピュータのマン−マシ
ンインターフェースの一つとして喋るＣＧ俳優像を生成
するＣＧ俳優像生成装置に関する。
【０００２】
【従来の技術、および発明が解決しようとする課題】音
声合成装置により生成された読み上げ音声と、ＣＧ的手
法により生成されたＣＧ俳優像の口の開け方とを同期さ
せる従来の技術としては、人間が読み上げ音声を聞きな
がら、特別に用意された操作機を使ってＣＧ俳優像の口
の開け方を実時間で制御する方法がある。しかし、この
方法では、人手が必要であり自動的に行うことができな
い。
声合成装置により生成された読み上げ音声と、ＣＧ的手
法により生成されたＣＧ俳優像の口の開け方とを同期さ
せる従来の技術としては、人間が読み上げ音声を聞きな
がら、特別に用意された操作機を使ってＣＧ俳優像の口
の開け方を実時間で制御する方法がある。しかし、この
方法では、人手が必要であり自動的に行うことができな
い。
【０００３】また、音声合成装置からの読み上げ音声を
いったん録音して、これを解析してＣＧ俳優像の口の開
け方を計算し、これをもとに喋るＣＧ俳優像を作り出す
方法がある。しかし、この方法では、原理的に実時間の
ＣＧ俳優像生成装置を構成することができない。
いったん録音して、これを解析してＣＧ俳優像の口の開
け方を計算し、これをもとに喋るＣＧ俳優像を作り出す
方法がある。しかし、この方法では、原理的に実時間の
ＣＧ俳優像生成装置を構成することができない。
【０００４】また、音声合成装置に送られる読み上げ文
字情報を、ＣＧ俳優像生成装置にも同時に転送し、音声
合成装置から出力されるトリガ信号をもとにＣＧ俳優像
の口の開け方を制御する方法がある。しかし、この方法
では、音節あるいは音素単位でトリガ信号を出力するこ
とのできる機能を持った特殊な音声合成装置が必要とな
る。また、音節、音素単位のトリガ信号だけでは、ＣＧ
俳優像側で割り当てられた音節の時間的長さと、実際に
音声合成装置で発生された音節の時間的長さとが食い違
うことがあり、従って、口の開け方と合成音声の正確な
同期を取ることが難しく、得られたＣＧ俳優像が不自然
に見えることがあった。
字情報を、ＣＧ俳優像生成装置にも同時に転送し、音声
合成装置から出力されるトリガ信号をもとにＣＧ俳優像
の口の開け方を制御する方法がある。しかし、この方法
では、音節あるいは音素単位でトリガ信号を出力するこ
とのできる機能を持った特殊な音声合成装置が必要とな
る。また、音節、音素単位のトリガ信号だけでは、ＣＧ
俳優像側で割り当てられた音節の時間的長さと、実際に
音声合成装置で発生された音節の時間的長さとが食い違
うことがあり、従って、口の開け方と合成音声の正確な
同期を取ることが難しく、得られたＣＧ俳優像が不自然
に見えることがあった。
【０００５】本発明の目的は、上記各課題を含まない喋
るＣＧ俳優像を生成するＣＧ俳優像生成装置を提供する
ことにある。
るＣＧ俳優像を生成するＣＧ俳優像生成装置を提供する
ことにある。
【０００６】
【課題を解決するための手段】上記目的を達成するた
め、本発明ＣＧ俳優像生成装置は、音声合成装置により
生成された読み上げ音声に同期させて、ＣＧ的手法によ
り生成されたＣＧ俳優像に前記読み上げ音声を喋らせる
ＣＧ俳優像生成装置において、前記読み上げ音声の信号
を少なくとも整流手段と低域通過濾波手段に通した信号
によって前記ＣＧ俳優像の口を開ける量が実時間制御さ
れるように構成したことを特徴とするものである。
め、本発明ＣＧ俳優像生成装置は、音声合成装置により
生成された読み上げ音声に同期させて、ＣＧ的手法によ
り生成されたＣＧ俳優像に前記読み上げ音声を喋らせる
ＣＧ俳優像生成装置において、前記読み上げ音声の信号
を少なくとも整流手段と低域通過濾波手段に通した信号
によって前記ＣＧ俳優像の口を開ける量が実時間制御さ
れるように構成したことを特徴とするものである。
【０００７】また、本発明ＣＧ俳優像生成装置は、音声
合成装置により生成された読み上げ音声に同期させて、
ＣＧ的手法により生成されたＣＧ俳優像に前記読み上げ
音声を喋らせるＣＧ俳優像生成装置において、前記読み
上げ音声の信号を少なくとも整流手段と低域通過濾波手
段に通した信号によって前記ＣＧ俳優像の口を開ける量
および頭を傾ける量が実時間制御されるように構成した
ことを特徴とするものである。
合成装置により生成された読み上げ音声に同期させて、
ＣＧ的手法により生成されたＣＧ俳優像に前記読み上げ
音声を喋らせるＣＧ俳優像生成装置において、前記読み
上げ音声の信号を少なくとも整流手段と低域通過濾波手
段に通した信号によって前記ＣＧ俳優像の口を開ける量
および頭を傾ける量が実時間制御されるように構成した
ことを特徴とするものである。
【０００８】以上によれば、音声合成装置からの読み上
げ音声の信号を整流、高周波成分阻止・平滑化し、得ら
れた信号のレベルを用いてＣＧ俳優像の口を開ける量を
制御しているため、実時間制御であると同時に、人手が
要らず自動的に声と口の同期が行われる。また、生成さ
れたＣＧ俳優像は音声合成装置の読み上げ音声に比例し
た大きさに口を開けるので、大きい声のときに大きな口
を開け、小さい声のときには小さな口を開ける、という
動作になり、視覚的に見ても比較的自然なＣＧ俳優像が
得られる。また、特殊な音声合成装置は必要なく、装置
の回路規模が小さく、簡易なハードウェアで実時間で動
作するＣＧ俳優像生成装置を実現することができる。
げ音声の信号を整流、高周波成分阻止・平滑化し、得ら
れた信号のレベルを用いてＣＧ俳優像の口を開ける量を
制御しているため、実時間制御であると同時に、人手が
要らず自動的に声と口の同期が行われる。また、生成さ
れたＣＧ俳優像は音声合成装置の読み上げ音声に比例し
た大きさに口を開けるので、大きい声のときに大きな口
を開け、小さい声のときには小さな口を開ける、という
動作になり、視覚的に見ても比較的自然なＣＧ俳優像が
得られる。また、特殊な音声合成装置は必要なく、装置
の回路規模が小さく、簡易なハードウェアで実時間で動
作するＣＧ俳優像生成装置を実現することができる。
【０００９】
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。以下に
説明する本発明ＣＧ俳優像生成装置の一実施形態では、
ユーザがパーソナルコンピュータによるエディタ（編集
機）などを使って入力した文章を、ＣＧ俳優像が読み上
げるように構成した場合についてとする。
実施の形態に基づいて本発明を詳細に説明する。以下に
説明する本発明ＣＧ俳優像生成装置の一実施形態では、
ユーザがパーソナルコンピュータによるエディタ（編集
機）などを使って入力した文章を、ＣＧ俳優像が読み上
げるように構成した場合についてとする。
【００１０】図１は、この場合の装置のブロック構成図
を示している。図１において、１はパーソナルコンピュ
ータ、２は音声合成装置、３はスピーカ、４は整流器、
５は低域通過フィルタ、６はＡ／Ｄ変換器、７はＣＧ俳
優像制御装置、および８は映像モニタである。
を示している。図１において、１はパーソナルコンピュ
ータ、２は音声合成装置、３はスピーカ、４は整流器、
５は低域通過フィルタ、６はＡ／Ｄ変換器、７はＣＧ俳
優像制御装置、および８は映像モニタである。
【００１１】次に、動作につき説明する。パーソナルコ
ンピュータ１にソフトウェアとして搭載されたエディタ
を使ってユーザが文章を入力し、この文章が音声合成装
置２に入力され、同装置から音声合成出力としての読み
上げ音声の信号（ａ）が得られる。この読み上げ音声の
信号（ａ）は、スピーカ３に入力されＣＧ俳優像の音声
として出力されるとともに、整流器４にも入力される。
整流器４により整流された信号（ｂ）は、低域通過フィ
ルタ５により高周波成分阻止・平滑化（波形整形の一
種）され、高周波成分阻止・平滑化された信号（ｃ）
は、Ａ／Ｄ変換器６に入力され、ディジタルデータ
（ｄ）に変換される。
ンピュータ１にソフトウェアとして搭載されたエディタ
を使ってユーザが文章を入力し、この文章が音声合成装
置２に入力され、同装置から音声合成出力としての読み
上げ音声の信号（ａ）が得られる。この読み上げ音声の
信号（ａ）は、スピーカ３に入力されＣＧ俳優像の音声
として出力されるとともに、整流器４にも入力される。
整流器４により整流された信号（ｂ）は、低域通過フィ
ルタ５により高周波成分阻止・平滑化（波形整形の一
種）され、高周波成分阻止・平滑化された信号（ｃ）
は、Ａ／Ｄ変換器６に入力され、ディジタルデータ
（ｄ）に変換される。
【００１２】上記読み上げ音声の信号（ａ）（本例の場
合、音声「あした」を合成するものとする。）、整流さ
れた音声の信号（ｂ）、および高周波成分阻止・平滑化
された信号（ｃ）（いずれも、アナログ信号である。）
は、それぞれ信号波形図（ａ），（ｂ）および（ｃ）と
して図２に示されている（縦軸はともにレベル、横軸は
時間を示している）。同図を参照するに、音声合成装置
２の出力信号、すなわち読み上げ音声の信号（ａ）は交
流信号である。これを整流器４によって整流して得られ
た出力信号（ｂ）は高周波成分を含んでいるとともに、
母音、子音を特定する多くの周波数成分が含まれてい
る。一方、ＣＧ俳優像の口の開け具合は、母音、子音に
よらない音声の大きさのみによって制御することとして
いるので、高周波成分を低域通過フィルタ５によって阻
止し、かつ平滑化して音声の大きさのみに対応した信号
（ｃ）を得ている。
合、音声「あした」を合成するものとする。）、整流さ
れた音声の信号（ｂ）、および高周波成分阻止・平滑化
された信号（ｃ）（いずれも、アナログ信号である。）
は、それぞれ信号波形図（ａ），（ｂ）および（ｃ）と
して図２に示されている（縦軸はともにレベル、横軸は
時間を示している）。同図を参照するに、音声合成装置
２の出力信号、すなわち読み上げ音声の信号（ａ）は交
流信号である。これを整流器４によって整流して得られ
た出力信号（ｂ）は高周波成分を含んでいるとともに、
母音、子音を特定する多くの周波数成分が含まれてい
る。一方、ＣＧ俳優像の口の開け具合は、母音、子音に
よらない音声の大きさのみによって制御することとして
いるので、高周波成分を低域通過フィルタ５によって阻
止し、かつ平滑化して音声の大きさのみに対応した信号
（ｃ）を得ている。
【００１３】一方、ＣＧ俳優像制御装置７においてはＣ
Ｇ俳優像があらかじめ入力されており、このＣＧ俳優像
の口を開ける大きさが、ディジタルデータ（ｄ）の数値
によって制御され、この制御に基づいてＣＧ俳優像の口
を開閉することにより、音声合成装置２からの読み上げ
音声の信号に実時間で同期したＣＧ俳優像が映像モニタ
８の画面上に映出される。
Ｇ俳優像があらかじめ入力されており、このＣＧ俳優像
の口を開ける大きさが、ディジタルデータ（ｄ）の数値
によって制御され、この制御に基づいてＣＧ俳優像の口
を開閉することにより、音声合成装置２からの読み上げ
音声の信号に実時間で同期したＣＧ俳優像が映像モニタ
８の画面上に映出される。
【００１４】また、本発明ＣＧ俳優像生成装置の他の実
施形態として、ＣＧ俳優像制御装置７においては、単に
ＣＧ俳優像の口を開ける量のみでなく、同時に頭部を傾
ける傾き角をも制御することにより、一層自然に見える
ようにすることができる。これにつきＣＧ俳優像を側面
から簡略化して示した図３を参照して説明する。
施形態として、ＣＧ俳優像制御装置７においては、単に
ＣＧ俳優像の口を開ける量のみでなく、同時に頭部を傾
ける傾き角をも制御することにより、一層自然に見える
ようにすることができる。これにつきＣＧ俳優像を側面
から簡略化して示した図３を参照して説明する。
【００１５】ここでは、ＣＧ俳優像は、下顎を除いた頭
部Ａと、下顎Ｂと、体Ｃの３つの部品からなり、また、
頭部Ａは接点Ｄで体Ｃと接続され、下顎Ｂは頭部Ａに対
し下向きに平行移動するように作られているものとす
る。具体的には、各部品の空間座標を指定することによ
りＣＧ俳優像の姿態が決まり、その空間座標を与えられ
たデータに基づいて計算されるパラメータでリアルタイ
ム制御することよりＣＧ俳優像に動きが与えられる。い
ま、頭部Ａが接点Ｄを回転軸として、垂直に対して後ろ
に傾く角度をｌ、下顎Ｂが頭部Ａに対して下向きに平行
移動する距離をｍとする。このとき、ＣＧ俳優像制御装
置７に供給されるデータ（Ａ／Ｄ変換器６の出力）をｐ
とすると、上記ｌ，ｍはそれぞれ次の式で計算される。 ｌ ＝ ｋ１×ｐ ｍ ＝ ｋ２×ｐ ここで、ｋ１は頭部Ａを傾ける際の感度を決定する定数
であり、ｋ２は下顎Ｂを開ける際の感度を決定する定数
であり、ともに視覚的に自然になるように適宜設定す
る。
部Ａと、下顎Ｂと、体Ｃの３つの部品からなり、また、
頭部Ａは接点Ｄで体Ｃと接続され、下顎Ｂは頭部Ａに対
し下向きに平行移動するように作られているものとす
る。具体的には、各部品の空間座標を指定することによ
りＣＧ俳優像の姿態が決まり、その空間座標を与えられ
たデータに基づいて計算されるパラメータでリアルタイ
ム制御することよりＣＧ俳優像に動きが与えられる。い
ま、頭部Ａが接点Ｄを回転軸として、垂直に対して後ろ
に傾く角度をｌ、下顎Ｂが頭部Ａに対して下向きに平行
移動する距離をｍとする。このとき、ＣＧ俳優像制御装
置７に供給されるデータ（Ａ／Ｄ変換器６の出力）をｐ
とすると、上記ｌ，ｍはそれぞれ次の式で計算される。 ｌ ＝ ｋ１×ｐ ｍ ＝ ｋ２×ｐ ここで、ｋ１は頭部Ａを傾ける際の感度を決定する定数
であり、ｋ２は下顎Ｂを開ける際の感度を決定する定数
であり、ともに視覚的に自然になるように適宜設定す
る。
【００１６】以上においては、ＣＧ俳優像制御装置７
は、ＣＧ俳優像があらかじめ入力されていて、Ａ／Ｄ変
換器６の出力によって、ＣＧ俳優像の口を開ける量、さ
らには頭を傾ける量を制御するものとしたが、このＣＧ
俳優像制御装置７自体が、ＣＧ俳優像を生成する機能を
兼ね具えたＣＧ俳優像生成装置となっていてもよいこと
は勿論である。また、本発明は、その動作原理からし
て、アナログ信号、ディジタル信号の別を問わない。
は、ＣＧ俳優像があらかじめ入力されていて、Ａ／Ｄ変
換器６の出力によって、ＣＧ俳優像の口を開ける量、さ
らには頭を傾ける量を制御するものとしたが、このＣＧ
俳優像制御装置７自体が、ＣＧ俳優像を生成する機能を
兼ね具えたＣＧ俳優像生成装置となっていてもよいこと
は勿論である。また、本発明は、その動作原理からし
て、アナログ信号、ディジタル信号の別を問わない。
【００１７】
【発明の効果】本発明によれば、音声合成装置からの読
み上げ音声の信号を用いるＣＧ俳優像の口を開ける量を
制御することで、人手が要らず、自動的に声と口の同期
が行われるため、コンピュータのマン−マシンインター
フェースのひとつとして、喋るＣＧキャラクタの生成な
どへの応用が可能となる。
み上げ音声の信号を用いるＣＧ俳優像の口を開ける量を
制御することで、人手が要らず、自動的に声と口の同期
が行われるため、コンピュータのマン−マシンインター
フェースのひとつとして、喋るＣＧキャラクタの生成な
どへの応用が可能となる。
【００１８】また、本発明によれば、ＣＧ俳優像が音声
合成装置からの読み上げ音声に比例した大きさに口を開
けるので、大きい声のときに大きな口を開け、小さい声
のときには小さな口を開ける、という動作になり、視覚
的に見ても比較的自然なＣＧ俳優像が得られる。さら
に、読み上げ音声に比例した角度で頭を傾ける動作を付
加することによって一層効果的になる。
合成装置からの読み上げ音声に比例した大きさに口を開
けるので、大きい声のときに大きな口を開け、小さい声
のときには小さな口を開ける、という動作になり、視覚
的に見ても比較的自然なＣＧ俳優像が得られる。さら
に、読み上げ音声に比例した角度で頭を傾ける動作を付
加することによって一層効果的になる。
【００１９】さらに、本発明によれば、音声合成装置か
らの音節、音素単位のトリガ信号などの取り出しを必要
としないため、高級な音声合成装置は必要でなく、簡易
なハードウェアで実時間で動作する音声合成装置を使用
することができ、ＣＧ俳優像生成装置全体を廉価に製造
することができる。
らの音節、音素単位のトリガ信号などの取り出しを必要
としないため、高級な音声合成装置は必要でなく、簡易
なハードウェアで実時間で動作する音声合成装置を使用
することができ、ＣＧ俳優像生成装置全体を廉価に製造
することができる。
【図１】本発明ＣＧ俳優像生成装置の一実施形態のブロ
ック構成図を示している。
ック構成図を示している。
【図２】図１の構成中、各部信号波形図を示している。
【図３】本発明ＣＧ俳優像生成装置の他の実施形態を示
している。
している。
１ パーソナルコンピュータ ２ 音声合成装置 ３ スピーカ ４ 整流器 ５ 低域通過フィルタ ６ Ａ／Ｄ変換器 ７ ＣＧ俳優像制御装置 ８ 映像モニタ Ａ ＣＧ俳優像の頭部 Ｂ ＣＧ俳優像の下顎 Ｃ ＣＧ俳優像の体 Ｄ ＣＧ俳優像の頭部と体の接点
Claims (2)
- 【請求項１】 音声合成装置により生成された読み上げ
音声に同期させて、ＣＧ的手法により生成されたＣＧ俳
優像に前記読み上げ音声を喋らせるＣＧ俳優像生成装置
において、前記読み上げ音声の信号を少なくとも整流手
段と低域通過濾波手段に通した信号によって前記ＣＧ俳
優像の口を開ける量が実時間制御されるように構成した
ことを特徴とするＣＧ俳優像生成装置。 - 【請求項２】 音声合成装置により生成された読み上げ
音声に同期させて、ＣＧ的手法により生成されたＣＧ俳
優像に前記読み上げ音声を喋らせるＣＧ俳優像生成装置
において、前記読み上げ音声の信号を少なくとも整流手
段と低域通過濾波手段に通した信号によって前記ＣＧ俳
優像の口を開ける量および頭を傾ける量が実時間制御さ
れるように構成したことを特徴とするＣＧ俳優像生成装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13344297A JP3351987B2 (ja) | 1997-05-23 | 1997-05-23 | Ｃｇ俳優像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13344297A JP3351987B2 (ja) | 1997-05-23 | 1997-05-23 | Ｃｇ俳優像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10326354A JPH10326354A (ja) | 1998-12-08 |
| JP3351987B2 true JP3351987B2 (ja) | 2002-12-03 |
Family
ID=15104879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13344297A Expired - Lifetime JP3351987B2 (ja) | 1997-05-23 | 1997-05-23 | Ｃｇ俳優像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3351987B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002133444A (ja) * | 2000-10-20 | 2002-05-10 | Matsushita Electric Ind Co Ltd | 映像情報作成装置 |
-
1997
- 1997-05-23 JP JP13344297A patent/JP3351987B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10326354A (ja) | 1998-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6109923A (en) | Method and apparatus for teaching prosodic features of speech | |
| US5278943A (en) | Speech animation and inflection system | |
| Stevens et al. | Constraints among parameters simplify control of Klatt formant synthesizer | |
| JP2518683B2 (ja) | 画像合成方法及びその装置 | |
| EP0860811A2 (en) | Automated speech alignment for image synthesis | |
| JPH11339058A (ja) | 人物像対話装置及び人物像対話プログラムを記録した記録媒体 | |
| US20020049594A1 (en) | Speech synthesis | |
| Waters et al. | An automatic lip-synchronization algorithm for synthetic faces | |
| JP4032273B2 (ja) | 同期制御装置および方法、並びに記録媒体 | |
| US7315820B1 (en) | Text-derived speech animation tool | |
| JP3351987B2 (ja) | Ｃｇ俳優像生成装置 | |
| Waters et al. | DECface: A system for synthetic face applications | |
| Hallgren et al. | Visual speech synthesis with concatenative speech | |
| AU769036B2 (en) | Device and method for digital voice processing | |
| WO2023276539A1 (ja) | 音声変換装置、音声変換方法、プログラム、および記録媒体 | |
| KR100754430B1 (ko) | 음성 기반 자동 립싱크 애니메이션 장치와 방법 및 기록매체 | |
| JPH06348811A (ja) | 動画像表示装置 | |
| JP6424419B2 (ja) | 音声制御装置、音声制御方法およびプログラム | |
| JP3785892B2 (ja) | 音声合成装置及び記録媒体 | |
| Gully et al. | Modeling voiced stop consonants using the 3D dynamic digital waveguide mesh vocal tract model | |
| Engwall | Making the tongue model talk: merging MRI & EMA measurements | |
| Badin et al. | Virtual Talking Heads and audiovisual articulatory synthesis | |
| JP2003296753A (ja) | 聴覚障害者用対話システム | |
| JP5381994B2 (ja) | 情報処理装置 | |
| JP2577372B2 (ja) | 音声合成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020813 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090920 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100920 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110920 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120920 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120920 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130920 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140920 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |