JP4254400B2 - 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 - Google Patents
画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4254400B2 JP4254400B2 JP2003274227A JP2003274227A JP4254400B2 JP 4254400 B2 JP4254400 B2 JP 4254400B2 JP 2003274227 A JP2003274227 A JP 2003274227A JP 2003274227 A JP2003274227 A JP 2003274227A JP 4254400 B2 JP4254400 B2 JP 4254400B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- parameter
- analysis
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
《変形例1》
本実施例は、図7に示すように、先の実施例の構成要素にパターン統合部88および背景画像選択部90を追加している。パターン統合部88は、画像パターン解析、音声パターン解析およびキーパターン解析により生成した制御信号66, 68, 70を入力し、入力した制御信号66, 68, 70の優先順位の考慮、かつ制御イネーブルの有無を判断して統合パターンデータを生成する機能を有している。制御信号70は、直接イベント信号46でもよい。優先順位は、たとえば制御信号70を最優先にし、次に制御信号66を優先する。パターン統合部88は、生成した統合パターンデータ92を背景画像選択部90に出力する。
《具体例1》
本実施例は、図8に示すように、変形例1のパターン統合部88からの統合パターンデータ92を受ける対象としてオブジェクト選択部96を設けている点に特徴がある。オブジェクト選択部96は、図示しないがオブジェクト記憶部を有し、オブジェクト記憶部には、たとえば「涙」「ハート」「星」などの形状を表す3次元オブジェクトモデルデータが統合パターンデータ92と対応付けられて格納されている。オブジェクト選択部96は、パターン統合部88から供給される統合パターンデータ92に対してあらかじめ対応づけられた3次元オブジェクトモデルデータをオブジェクト記憶部から取り出し、3次元オブジェクトモデルデータ98を表情合成部22に出力する。
《具体例2》
本実施例は、図9に示すように、変形例1のパターン統合部88からの統合パターンデータ92を受ける対象として文字列挿入部100を設けている点に特徴がある。文字列挿入部100は、図示しないが文字列記憶部を有している。文字列記憶部には、統合パターンデータ92にあらかじめ対応付けた、たとえば「ねむい」、ため息を表す「あーぁっ」や驚きを表す「えっ」等のコミュニケーションをとっている人の気持ちおよび感情を表現する文字列が記憶されている。
《具体例3》
本実施例は、図10に示すように、変形例1のパターン統合部88からの統合パターンデータ92を受ける対象としてモデル選択部104を設けている点に特徴がある。モデル選択部104は、図示しないモデルデータ記憶部を有している。モデルデータ記憶部には、統合パターンデータ92にあらかじめ対応付けた、たとえば「女性」「男性」「ライオン」など様々なモデルデータが記憶されている。モデル選択部104は、パターン統合部88から供給される統合パターンデータ92に対応付けられたモデルデータをモデルデータ記憶部から取り出し、モデルデータ106を表情合成部22に出力する。
《具体例4》
本実施例は、図11に示すように、変形例1のパターン統合部88からの統合パターンデータ92を受ける対象として効果音発生部108を設けている点に特徴がある。効果音発生部108は、図示しない効果音記憶部を有している。効果音記憶部には、統合パターンデータ92にあらかじめ対応付けた、たとえば欠伸音「あーぁっ」、擬音「キラキラ」、拍手「パチパチ」等の効果音をディジタル化したデータが記憶されている。
音声出力部24は、供給された音声データ40および効果音データ110を加算し、D/A変換器でアナログ信号に変換し、増幅器で増幅した後、出力音声信号86としてスピーカ等に出力する。たとえば、統合パターンデータ92が「大きな口」のパターンを示す場合、アニメーション合成装置10は、3次元キャラクタモデルの画像データ84を出力するととに、効果音として欠伸音「あーぁっ」を出力する。これにより、モニタに3次元キャラクタ画像を表示させ、たとえば会話等のサンプリング音に重畳した効果音が鳴らすことになる。
《変形例2》
本実施例のアニメーション合成装置10は、たとえば、入力したキーパターンをイベントとするデータを基にしたパターン解析結果による定型動作パターンを生成させるだけでなく、定型動作パターンを生成させる情報の供給にバリエーションを持たせている点に特徴がある。これにより、アニメーション合成装置10は、エンタテイメント性の高い画像表示をユーザに提供する。先の実施例と同じ構成要素には、同じ参照番号を付して、説明の煩雑さを避けるため説明を省略する。
《変形例3》
本実施例のアニメーション合成装置10は、図15に示すように、変形例2の構成要素の内、選択スイッチ114を省略する。この省略は、キー入力部30からのイベント信号46が表情IDの登録だけに限定して用い、制御信号70, 124の選択を不要にすることに基づいている。したがって、本実施例では、パターン解析部16は、図13のキーパターン解析部64を持たず、制御信号124を動作パラメータ生成部74に出力する。これにより、アニメーション合成装置10は、変形例2よりも装置構成の簡略を図りながら、表情をキースイッチ的に利用することができる。
《変形例4》
本実施例のアニメーション合成装置10は、図16に示すように、変形例3の構成要素における画像解析部36が画像解析データ48をパターン解析部16だけに供給する。このとき、パターン解析部16は、表情IDパターン解析部122および音声パターン解析部62だけを含む。パラメータ生成部18は、パターン解析部16の構成に対応して音声解析データ強調部54および動作パラメータ生成部74だけを含む。パラメータ選択部20は、動作として、動作パラメータ生成部74から供給されるデータを優先的に扱い、定型パターンの有無を判定し、定型パターンでないとき、音声動作データを出力する。
12 情報入力部
14 パラメータ解析部
16 パターン解析部
18 パラメータ生成部
20 パラメータ選択部
22 表情合成部
24 音声出力部
Claims (17)
- 複数の入力データをとり込む情報入力手段と、
該複数の入力データのそれぞれから顔の各特徴点に対するパラメータを解析する解析手段と、
該解析したパラメータで表す顔の動き情報と前記情報入力手段からの入力情報の少なくとも一つが示すパターンとあらかじめ格納されているパラメータにおけるパターンとのパターン解析を行い、該パターン解析結果のそれぞれに応じた制御信号を生成するパターン解析手段と、
該生成された制御信号のそれぞれに応じた前記パラメータを含む解析データおよび動作を表す動作パラメータを生成するパラメータ生成手段と、
該解析データおよび動作パラメータに対して優先度に応じて調整を試みながら、統合したパラメータを選択する統合選択手段と、
該統合したパラメータを基にあらかじめ決めたモデル画像に表情を反映させた画像データを生成する表情生成手段とを含み、
前記情報入力手段は、操作により供給されるキーデータと、画像データおよび音声データの少なくとも一つとを扱う入力インタフェース手段を含み、
前記パラメータ生成手段は、前記パターン解析手段から画像に関して生成される第1の制御信号に応じて前記画像データの解析により得られる画像解析データおよび該画像解析データを定数倍する強調処理のいずれかを出力する第1のパラメータ生成手段と、
前記パターン解析手段から音声に関して生成される第2の制御信号に応じて音声解析データおよび該音声解析データを定数倍する強調処理のいずれかを出力する第2のパラメータ生成手段と、
前記動作パラメータおよび所定の期間にわたって同じ動作を強調しながら繰り返す定型動作パラメータを格納する記憶手段を含み、
前記パターン解析手段からイベントに関して供給される第3の制御信号に応じて該記憶手段が格納するパラメータのいずれかを出力する第3のパラメータ生成手段とを含むことを特徴とする画像生成装置。 - 請求項1に記載の装置において、前記解析手段は、供給される画像データを解析して前記パラメータの確かさを表す画像解析確信度を含めた画像解析データを生成する第1の解析手段と、
供給される音声データを解析して前記パラメータの確かさを表す音声解析確信度を含めた特徴点の変化を音声解析データとして生成する第2の解析手段とを含むことを特徴とする画像生成装置。 - 請求項1に記載の装置において、前記パターン解析手段は、複数のパラメータのパターンと該パターンそれぞれの閾値とを対応付けて記憶するパターン記憶手段と、
該パターン記憶手段が有するパターンと前記画像解析データとを基にパターンを解析し、該当するパターンに対してカウントし、該当するパターンの閾値とカウント値との比較判定に応じた前記第1の制御信号を生成する第1のパターン解析手段と、
前記パターン記憶手段が有するパターンと前記音声解析データとを基にパターンを解析し、該当するパターンに対してカウントし、該当するパターンの閾値とカウント値との比較判定に応じた前記第2の制御信号を生成する第2のパターン解析手段と、
前記パターン記憶手段が有する情報と前記キーデータとを認証し、認証されたキーに対してカウントし、得られるカウント値と該当するキーデータに対する閾値との比較判定に応じた前記第3の制御信号を生成する第3のパターン解析手段とを含むことを特徴とする画像生成装置。 - 請求項1に記載の装置において、前記統合選択手段は、前記定型動作パラメータを最優先にし、該定型動作パラメータの存在に応じて該パラメータを供給される複数のパラメータを代表する統合パラメータとし、これ以外において供給される画像データを解析して前記パラメータの確かさを表す、画像解析確信度が供給される音声データを解析して前記パラメータの確かさを表す、音声解析確信度より大きいとの判定に応じて前記第1のパラメータ生成手段の出力を優先して選択し、前記統合パラメータとして出力し、これ以外において前記第2のパラメータ生成手段の出力を選択することを特徴とする画像生成装置。
- 請求項1に記載の装置において、前記パターン解析手段は、複数のパラメータのパターンと該パターンそれぞれの閾値とを対応付けて記憶するパターン記憶手段、
該パターン記憶手段が有するパターンと前記画像解析データとを基にパターンを解析し、該当するパターンに対してカウントし、該当するパターンの閾値とカウント値との比較判定に応じた第1の制御信号を生成する第1のパターン解析手段、および
前記パターン記憶手段が有するパターンと前記音声解析データとを基にパターンを解析し、該当するパターンに対してカウントし、該当するパターンの閾値とカウント値との比較判定に応じた第2の制御信号を生成する第2のパターン解析手段だけが配設され、前記情報入力手段から前記動作パラメータと前記定型動作パラメータとを区別する前記キーデータが直接前記第3のパラメータ生成手段に供給されることを特徴とする画像生成装置。 - 請求項2に記載の装置において、該装置は、前記第1および第2の解析手段からそれぞれ得られた解析結果、ならびに前記キーデータおよび第3の制御信号のいずれかに応じて前記第3のパラメータ生成手段から供給されるパラメータのうち、統合的に第1パラメータとして選択し、前記表情生成手段に出力する第1のパラメータ選択手段と、
前記第1および第2の制御信号ならびに前記キーデータおよび第3の制御信号のいずれかのうち、統合的に第2パラメータとして選択する第2のパラメータ選択手段と、
供給される前記第2パラメータに対応した付加情報を前記表情生成手段に出力する情報送出手段とを含み、
前記表情生成手段は、前記第1パラメータにより前記モデル画像に表情の反映した画像データを生成し、前記付加情報に対応する画像データを生成して、両画像データを合成して出力することを特徴とする画像生成装置。 - 請求項6に記載の装置において、前記情報送出手段は、前記第2パラメータに応じてあらかじめ格納した、前記モデル画像に対する背景画像、前記モデル画像を修飾するオブジェクト画像、文字列および第2のモデル画像の一つを前記付加情報として前記表情生成手段に送出することを特徴とする画像生成装置。
- 請求項6に記載の装置において、前記情報送出手段は、前記第2パラメータに応じてあらかじめ格納した、効果音データを前記付加情報として音声を出力する手段に送出し、
該音声を出力する手段は、該効果音データと前記情報入力手段からの音声データとを併せて発音させることを特徴とする画像生成装置。 - 請求項3に記載の装置において、該装置は、前記情報入力手段を介して供給されるキーデータの登録指示に応じて供給される画像データを解析して前記パラメータの確かさを表す画像解析確信度を含めた画像解析データを生成する第1の解析手段および前記パターン解析手段を制御する登録制御手段を含み、
該登録制御手段は、前記パターン記憶手段に前記情報入力手段からの前記キーデータを供給して、ID情報に対応付けたパターン閾値として格納し、
さらに、該装置は、前記第3のパラメータ生成手段に供給するIDを前記第3の制御信号と前記画像データを基に得られたIDによる第4の制御信号とを選択する手段と、
前記第4の制御信号に応じてあらかじめ格納されている画像データを読み出して画像生成する画像生成手段と、
該画像生成手段と前記表情生成手段とを出力制御信号に応じて制御する画像出力制御手段とを含むことを特徴とする画像生成装置。 - 請求項3に記載の装置において、前記パターン解析手段は、供給される画像データを解析して前記パラメータの確かさを表す画像解析確信度を含めた画像解析データを生成する第1の解析手段からの解析データとあらかじめ前記パターン記憶手段に格納した解析データとを照合して、一致に応じて対応するID情報毎にカウントし、得られたカウント値と該当するID情報に対する閾値との比較判定に応じた第4の制御信号を生成する第4のパターン解析手段とを含むことを特徴とする画像生成装置。
- 請求項10に記載の装置において、前記パターン解析手段は、供給されるキーデータを設定に用いる信号とし、前記画像データを基に得られたIDによる第4の制御信号だけを出力することを特徴とする画像生成装置。
- 請求項11に記載の装置において、該装置は、供給される画像データを解析して前記パラメータの確かさを表す画像解析確信度を含めた画像解析データを生成する第1の解析手段を含み、
前記第1の解析手段は、該手段による解析結果を前記パターン解析手段だけに供給し、
前記パターン解析手段は、前記第2および第4のパターン解析手段を備え、
前記パラメータ生成手段は、前記第2および第3のパラメータ生成手段を有することを特徴とする画像生成装置。 - 請求項1ないし12のいずれか一項に記載した装置の前記情報入力手段、前記解析手段、前記パターン解析手段、前記パラメータ生成手段、前記統合選択手段および前記表情生成手段としてコンピュータを機能させるためのプログラム。
- 請求項1ないし12のいずれか一項に記載した装置の前記情報入力手段、前記解析手段、前記パターン解析手段、前記パラメータ生成手段、前記統合選択手段および前記表情生成手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
- 供給される複数の情報を入力し、該入力した情報のうち、画像および音声データのそれぞれを基に顔の各特徴点に対するパラメータを該パラメータの確かさを表す確信度を含めて解析し、該解析結果に応じてあらかじめ指定したモデル画像の各特徴点を動かしてモデル画像に表情を持たせて動画出力する画像生成方法において、該方法は、
前記画像および音声の解析結果に対してあらかじめ格納しているパターンを読み出して比較するパターン解析手段でパターンを比較する第1の工程と、
前記パターン解析手段で読み出したパターンと前記解析結果のパターンとの一致した場合、該当するパターンに対応して照合カウントを歩進させる第2の工程と、
前記パターン解析手段で照合カウントがあらかじめ設定したパターンに対する閾値よりも大きいか否かを比較判定する第3の工程と、
前記パターン解析手段で比較判定の結果が真の場合、該当する番号を含む第1および第2の制御信号の少なくとも一方を発行する第4の工程と、
前記パターン解析手段で入力した情報がキーデータの場合、キーデータの入力に応じてキーの認識を行い、該当するキーカウントを歩進させる第5の工程と、
前記パターン解析手段でキーカウントがあらかじめ設定したキーに対するパターン閾値よりも大きいか否かを比較判定する第6の工程と、
前記パターン解析手段で比較判定の結果が真の場合、 所定の期間にわたって同じ動作を強調しながら、繰り返す定型動作パラメータの第3の制御信号を発行する第7の工程と、
前記パターン解析手段で前記比較判定の結果が偽の場合、通常の動作パラメータの前記第3の制御信号を発行する第8の工程と、
前記第4の工程または第8の工程における出力後に該当するカウントをクリアする第9の工程とを含み、あらかじめ設定したパターンの有無に応じて前記第1ないし第3の制御信号を出力することを特徴とする画像生成方法。 - 請求項15に記載の方法において、該方法は、前記第1ないし第3の制御信号の出力に応じた第1ないし第3のパラメータをそれぞれ生成するパターン生成手段で前記第1ないし第3のパラメータを生成する第10の工程と、
該供給されたパラメータの中に前記定型動作パラメータを含むか否かを判断するパラメータ選択手段で前記定型動作パラメータの有無を判断する第11の工程と、
前記パラメータ選択手段で該パラメータに前記定型動作パラメータを含む場合、最優先に該定型動作パラメータを統合的に出力する第12の工程と、
前記パラメータ選択手段で該パラメータに前記通常の動作パラメータを含む場合、前記第1のパラメータが含む前記パラメータの確かさを表す画像解析確信度と前記第2のパラメータが含む前記パラメータの確かさを表す音声解析確信度とを比較する第13の工程と、
前記パラメータ選択手段で前記画像解析確信度が前記音声解析確信度以上で前記第1のパラメータを統合的に出力する第14の工程と、
前記パラメータ選択手段で前記画像解析確信度が前記音声解析確信度より小さい場合、前記第2のパラメータを統合的に出力する第15の工程とを含むことを特徴とする画像生成方法。 - 請求項15または16に記載の方法において、該方法は、前記キーデータが登録指示を示すか否かを判断する登録制御手段で登録指示の有無を判断する第16の工程と、
前記キーデータが前記登録指示を示す場合、前記登録制御手段で該指示に対応して入力する画像データを基に画像解析データを生成する第17の工程と、
前記登録指示を示す場合、前記登録制御手段で表情を特定するID情報を発行する第18の工程と、
前記登録制御手段でID情報に対するパターンの閾値を入力する第19の工程と、
前記登録制御手段で前記ID情報、前記画像解析データのパターンおよび前記パターン閾値を対応付けたデータを一つの組単位として記憶し、登録する第20の工程とを含むことを特徴とする画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003274227A JP4254400B2 (ja) | 2003-07-14 | 2003-07-14 | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003274227A JP4254400B2 (ja) | 2003-07-14 | 2003-07-14 | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005038160A JP2005038160A (ja) | 2005-02-10 |
JP4254400B2 true JP4254400B2 (ja) | 2009-04-15 |
Family
ID=34211245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003274227A Expired - Fee Related JP4254400B2 (ja) | 2003-07-14 | 2003-07-14 | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4254400B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007026090A (ja) * | 2005-07-15 | 2007-02-01 | Oki Electric Ind Co Ltd | 映像作成装置 |
WO2008009070A1 (en) * | 2006-07-21 | 2008-01-24 | Anthony James Trothe | System for creating a personalised 3d animated effigy |
KR101541907B1 (ko) | 2008-10-14 | 2015-08-03 | 삼성전자 주식회사 | 음성 기반 얼굴 캐릭터 형성 장치 및 방법 |
CN108830917B (zh) * | 2018-05-29 | 2023-04-18 | 努比亚技术有限公司 | 一种信息生成方法、终端及计算机可读存储介质 |
CN109978996B (zh) * | 2019-03-28 | 2021-06-11 | 北京达佳互联信息技术有限公司 | 生成表情三维模型的方法、装置、终端及存储介质 |
CN114693848B (zh) * | 2022-03-23 | 2023-09-12 | 山西灌木文化传媒有限公司 | 一种生成二维动画的方法、装置、电子设备及介质 |
-
2003
- 2003-07-14 JP JP2003274227A patent/JP4254400B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005038160A (ja) | 2005-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105512348B (zh) | 用于处理视频和相关音频的方法和装置及检索方法和装置 | |
JP5323770B2 (ja) | ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機 | |
US6662161B1 (en) | Coarticulation method for audio-visual text-to-speech synthesis | |
JP2002182680A (ja) | 操作指示装置 | |
US7630897B2 (en) | Coarticulation method for audio-visual text-to-speech synthesis | |
JPH09138767A (ja) | 感情表現の通信装置 | |
JP2003248837A (ja) | 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体 | |
US20190240588A1 (en) | Communication apparatus and control program thereof | |
CN112262428A (zh) | 在数字和非数字表面上使用手绘图案/文本进行音乐合成的方法和系统 | |
WO2006070680A1 (ja) | 画像合成装置 | |
US7117155B2 (en) | Coarticulation method for audio-visual text-to-speech synthesis | |
JP6796762B1 (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
JP2003037826A (ja) | 代理画像表示装置およびテレビ電話装置 | |
JP4254400B2 (ja) | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 | |
JP4599606B2 (ja) | 頭部動作自動生成のための頭部動作学習装置及び頭部動作合成装置並びにコンピュータプログラム | |
JPH11109991A (ja) | マンマシンインターフェースシステム | |
JP6798258B2 (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
WO2022041192A1 (zh) | 语音消息处理方法、设备及即时通信客户端 | |
JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPH0728488A (ja) | 情報処理方法及び装置 | |
CN112235183B (zh) | 通信消息处理方法、设备及即时通信客户端 | |
CN115956269A (zh) | 语音转换装置、语音转换方法、程序及记录介质 | |
JP2019022011A (ja) | 情報取得装置及び情報取得装置の制御方法 | |
Verma et al. | Animating expressive faces across languages | |
US7392190B1 (en) | Coarticulation method for audio-visual text-to-speech synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |