JP4273219B2 - 変形曲面表示装置 - Google Patents

変形曲面表示装置 Download PDF

Info

Publication number
JP4273219B2
JP4273219B2 JP21689799A JP21689799A JP4273219B2 JP 4273219 B2 JP4273219 B2 JP 4273219B2 JP 21689799 A JP21689799 A JP 21689799A JP 21689799 A JP21689799 A JP 21689799A JP 4273219 B2 JP4273219 B2 JP 4273219B2
Authority
JP
Japan
Prior art keywords
curved surface
representative point
display
points
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21689799A
Other languages
English (en)
Other versions
JP2001043402A (ja
Inventor
信彦 向井
雅之 原田
克信 室井
晃敏 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahikawa Medical University
Mitsubishi Electric Corp
Original Assignee
Asahikawa Medical University
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahikawa Medical University, Mitsubishi Electric Corp filed Critical Asahikawa Medical University
Priority to JP21689799A priority Critical patent/JP4273219B2/ja
Publication of JP2001043402A publication Critical patent/JP2001043402A/ja
Application granted granted Critical
Publication of JP4273219B2 publication Critical patent/JP4273219B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、変形する曲面の表示を行う変形曲面表示装置に関するものである。
【0002】
【従来の技術】
図6は例えば、プロシーディングス・コンピュータ・ビジョン・アンド・パターン・レコグニション '98(Proceedings Computer Vision and Pattern Recognition '98)、1998、IEEE、pp728-734、に示された従来の変形曲面表示方式を示す図である。図において、600はFEM(有限要素法:Finite Element Method)モデルであり、601はFEMモデル600への入力情報、602はFEMモデル600の出力情報、603はFEMモデル600の出力予測情報、604はFEMモデル 600の出力情報602と出力予測情報603との差からFEMモデル600の出力補正を行う補正関数、610は調整モデルパラメータ部、620はモデル最適化部である。
【0003】
次に動作について説明する。まず、表示対象となる曲面のFEMモデルを作成する。FEMは有限要素法とも呼ばれ、表示対象物を細かなメッシュで作成する方法である。この様子を図7の(a)に示す。次に、FEMモデル600への入力情報601を与える。図7の(a)ではクリップを吊るし、このクリップの重力を外力として与えている。この入力情報601により、FEMモデル600が変形する。FEMモデル600がどのように変形するかについて、FEMモデルを構成している全てのノード点(格子点)に対して変形計算を行う。
【0004】
この計算結果が出力予想情報603である。一方、実物にクリップを吊るすことにより、実際に変形させることが可能であり、この結果としての出力情報602が得られる。当然のことながら、出力予想情報603とこの出力情報602との差が生ずる。変形曲面表示をより現実に近いものとするため、この差を最小とするように繰り返し計算が行われる。この繰り返し計算の関数式が補正関数604である。繰り返し計算を行うことにより、出力予想情報603と出力情報602の差が小さくなり、変形曲面表示がより現実に近いものとなる。最終結果を図7の(b)に示す。
【0005】
【発明が解決しようとする課題】
従来の変形曲面表示方式では、FEMモデルを構成する全てのノード点に対して変形計算を施す必要があり、また、変形計算の結果として出力された出力予想情報と実際の出力結果である出力情報との差を最小とするために繰り返し計算を行う必要があった。つまり、変形曲面を表示するためには数多くの点に対して繰り返し計算を行う必要があり、計算量が膨大になると共に、高速なリアルタイム表示には向かないという問題点があった。
【0006】
この発明は上記のような問題点を解決するためになされたもので、FEMモデルを構成する全てのノード点に対して変形計算を行う必要がなく、また、繰り返し計算をも不要とすることにより、高速なリアルタイム表示に適用可能な変形曲面表示装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の目的に鑑み、この発明は、変形曲面の表示において、表示すべき曲面の形状を生成する表示面生成手段と、曲面が変形する際に、代表となる点について変形動作結果を計算する代表点計算手段と、この代表点計算手段により計算された代表点の計算結果を基に代表点ではない点の補間を行う補間手段と、前記代表点計算手段及び補間手段により変形された曲面の表示を行う表示手段と、を備え、前記代表点計算手段が、変形時の周りの点からの補間結果と元の値を周期的に比較し差が所定値を超える点を代表点として動的に設定し、設定されている代表点の変形動作結果を計算することを特徴とする変形曲面表示装置にある。
【0008】
またこの発明は、前記表示面生成手段が、単一の表示面を生成する単一表示面生成手段であることを特徴とする変形曲面表示装置にある。
【0009】
またこの発明は、前記表示面生成手段が、複数の表示面を生成する複数表示面生成手段であることを特徴とする変形曲面表示装置にある。
【0012】
またこの発明は、前記補間手段が、前記代表点計算手段で計算された代表点の計算結果を基に代表点ではない点についての計算を線形補間により求める線形補間手段であることを特徴とする変形曲面表示装置にある。
【0013】
またこの発明は、前記補間手段が、前記代表点計算手段で計算された代表点の計算結果を基に代表点ではない点についての計算を高次の補間関数により計算する高次補間手段であることを特徴とする変形曲面表示装置にある。
【0021】
【発明の実施の形態】
実施の形態1.
図1はこの発明の一実施の形態による変形曲面表示装置の基本構成を示す図である。この装置は具体的には、表示装置、キーボードやマウス等の入力手段およびメモリ等を伴うプログラムに従って動作するコンピュータにより構成される。
【0022】
図において、100は表示すべき曲面のFEMモデルを生成する表示面生成手段、101は表示面生成手段100で生成されたFEMモデルを構成するノード点の中で曲面の変形上重要と判断される代表点について変形計算を行う代表点計算手段、102は表示面生成手段100で生成されたFEMモデルを構成するノード点の内、代表点計算手段101で計算されたノード点(代表点)を除く他のノード点について、代表点計算手段101で計算されたノード点(代表点)の計算結果を基に補間処理を行い、他のノード点についての計算結果を得る補間手段、103はこれらのノード点の結果を基に曲面の変形結果を表示する表示手段である。表示面生成手段100は初期化時に一度行えば良く、他の手段は表示回数分繰り返される。
【0023】
次に動作について説明する。まず表示面生成手段100により、表示すべき曲面のFEMモデルを生成する。生成方式の一例としては、碁盤の目に切られた格子(メッシュ)から表示曲面に近い形状を生成する。格子間隔を細かくすることにより、表示曲面に近い形状を生成できるが、FEMモデルを構成するノード点数が多くなり、計算時間がかかることになる。表示面生成手段100により生成されたFEMモデルの一例を図2に示す。
【0024】
図において、白丸201は表示曲面を構成する外周のノード点であり、曲面の変形上重要と判断される点である。また、黒丸202は表示曲面を構成する内部のノード点であり、曲面の変形上重要と判断される他のノード点である。これらの点201及び202が代表点計算手段101の計算対象となる点であり、予め決められた点を採用しても良いし、後述するように表示の際に動的に選択されても構わない。
【0025】
これらの点201及び202は、曲面の変形上重要と判断されるノード点であるから、正確に曲面の変形動作を計算し、その変化を反映させる。これが代表点計算手段101であり、この曲面の変形を表示したものが図3である。曲面変形動作の結果、曲面の下部分(Y<0の部分)が少し持ち上がっている(Z>0方向に変形している)。また、変形動作の結果として、下部分の1点203が元の平面形状から少し突出していることが分かる。代表点計算手段101では代表点となるノード点(図3における白丸及び黒丸)のみ計算し、他のノード点についての計算は行わない。そのため、曲面が少し凸凹した形状となる。
【0026】
一方、代表点のノードとして採択されなかったノード点は曲面の変形動作上、それほど重要と判断されない点であるから、正確に計算する必要がない。このため、代表点計算手段101で計算された代表となるノード点(図3における白丸及び黒丸)の計算結果を基に、他のノード点の補間計算を行う。補間計算の一例としては、補間されるべきノード点の周り4点あるいは8点の平均値としてノード点の座標値を決める方法がある。
【0027】
この結果を図4に示す。補間計算102の結果、曲面の不自然な凸凹形状はなくなり、曲面の下部分(Y<0の部分)が自然な感じで持ち上がっていることが分かる。ここで重要なことは、代表点として採択されたノード点は曲面変形にとって重要な点であり、正確な変形動作の計算を行っているため、補間計算102の対象外の点となることである。代表点として採択されたノード点まで補間計算を行ってしまうと、正確に計算したノード点の結果が反映されなくなってしまうことになる。
【0028】
上記のようにすることにより、曲面変形について、FEMモデルを構成するノード点の内、曲面の変形上重要と判断されるノード点についてのみ変形計算を行えばよく、FEMモデルを構成する全てのノード点に対して変形計算を行う必要がなくなる。上記補間手段102の補間計算は一回のみであり、補間計算におけるノード座標値は収束していない。つまり、正確な表示を行うためには、数回の繰り返し計算が必要となる。
【0029】
しかしながら、曲面の変形動作の最終結果を表示する場合を除いて、通常、曲面が変形している間、曲面形状は時時刻刻と変化している。つまり、繰り返し計算を用いて正確な表示を行っても即座に新たな曲面形状の表示が必要となる。通常、リアルタイム表示と言われる表示では30画面/sあるいは60画面/sの速度で画像表示を行う必要があり、表示画像は変化した画像が連続して表示されるため、各表示画像を正確に認識することはできない。言い換えれば、正確な画像表示を行う必要はない。勿論、正確な最終結果画像とかなり異なる画像を表示する場合は、画像の相違は容易に認識されるが、ある程度収束度の速い補間関数を用いる限り、画像の相違は容易には認識されない。
【0030】
以上のように、本変形曲面表示方式を用いれば、FEMモデルを構成する全てのノード点に対して曲面の変形計算を行う必要がなく、また、曲面の変形動作を収束させるための繰り返し計算をも不要とすることができ、結果として、高速なリアルタイム表示に適用可能な表示方式を提供することができる。
【0031】
なお、上記実施の形態1では、表示面生成手段100は単一の表示面を生成する単一表示面生成手段を用いて実現する例を示したが、表示面生成手段100として複数の表示面を生成する複数表示面生成手段を用いて実現する場合も本願発明を同様に適用でき、表示面を複数枚扱えるようにし、各表示面に対して上記実施の形態の代表点計算および補間を適用すればよい。
【0032】
実施の形態2.
上記の実施の形態1では、本変形曲面表示方式の代表点計算手段は予め選択された代表点の変形動作を計算する静的代表点計算手段を用いて実現する例を示したが、次に代表点計算手段は曲面の変形動作に応じて動的に代表点を選択し、選択された代表点の変形動作を計算する動的代表点計算手段を用いた実施の形態2を示す。
【0033】
図5は代表点計算手段101として動的代表点計算手段を用いて実現した例を示した図であり、図に示す番号は図3の番号と対応するものである。
【0034】
次に動作について説明する。静的代表点計算手段では予め選択された代表点に対して変形動作を計算していた。曲面の外周部分を構成するノード点は確かに曲面の変形動作上、重要な点であり、正確に曲面の変形動作を計算する必要がある。しかしながら、図5を見れば明らかなように、曲面の外周部分を構成するノード点も全て曲面の変形動作に重要な役割を果たしているわけではない。曲面変形のある一瞬を捕らえれば、例え外周部分を構成するノード点でも他のノード点から充分に補間することのできる点が存在する。
【0035】
図5ではこれらの点を代表点から除外している。これらの点は次のようにすれば、発見することができる。つまり、代表点を周りの点から補間し、補間結果と元の値を比較して、その差がある閾値以下であれば、これらの点は代表点として正確に計算する必要がなく、補間手段により充分計算可能な点となる。補間手段により計算可能な点は、次画面表示の際に代表点から除外することができ、正確に計算すべき代表点の数を減らすことができる。結果として、表示処理の高速化が可能となる。
【0036】
但し、動的に代表点を選択する場合、代表点を選択する計算時間(上記補間結果と元の値を比較する時間)と正確な代表点計算時間とを比較し、代表点を選択する計算時間の方が短い場合に動的代表点計算手段を採用する。そうでない場合は、静的代表点計算手段を採用する。また、一度代表点から除外された点であっても、常に除外可能な点であるとは限らない。曲面の変形に従って、再び曲面の変形上重要な点となる可能性がある。このため、ある一定間隔、例えば、30画面毎あるいは60画面毎に元の代表点(初期化時に選択された代表点)に対して代表点計算手段を施すべきである。そうでなければ、動的代表点計算手段を用いていても、静的代表点計算手段と本質的な変わりがないことになる。
【0037】
以上のように、代表点計算手段として、動的代表点計算手段を用いることにより、曲面変形動作を正確に計算すべき点の数を減らすことができ、表示処理の高速化が可能となる。
【0038】
実施の形態3.
前記実施の形態では補間手段102は代表点の計算結果を基に代表点ではない点についての計算を回りの点からの平均値として求める線形補間手段を用いて実現する例を示したが、次に補間手段は代表点の計算結果を基に代表点ではない点についての計算を高次の補間関数により計算する高次補間手段を用いて実現する実施の形態3について説明する。
【0039】
線形補間手段では、補間すべき点の周り4点あるいは8点の平均値として補間すべきノード点の座標値を決めていた。周りの点の数は4点あるいは8点に拘る必要はなく、任意の点の数を指定することができる。一般的に、点の数が多いほど平均化され、少ないほど局所変化が反映される傾向にある。平均値を取る処理は一次計算なので、非常に高速に処理が行えるという利点がある反面、個々の点の座標値を反映した滑らかな曲面を作成することができないということもある。
【0040】
一方、スプライン曲面やベジェ曲面という高次関数を基にした自由曲面の生成方式が存在し、これらの高次関数を基に補間処理を行うことにより、個々の点の座標値を反映した滑らかな曲面を作成することが可能となる。
【0041】
以上のように、補間手段を高次補間手段として実現することにより、個々の点の座標値を反映した滑らかな曲面を生成することができる。
【0042】
なお、この発明は上記各実施の形態だけに限定されるものではなく、必要に応じて所望の実施の形態を組み合わせたものを含むことはいうまでもない。
【0043】
【発明の効果】
以上のようにこの発明では、変形曲面の表示において、表示すべき曲面の形状を生成する表示面生成手段と、曲面が変形する際に、代表となる点について変形動作結果を計算する代表点計算手段と、この代表点計算手段により計算された代表点の計算結果を基に代表点ではない点の補間を行う補間手段と、上記代表点計算手段及び補間手段により変形された曲面の表示を行う表示手段と、を備えたので、FEMモデルを構成する全てのノード点に対して曲面の変形計算を行う必要がなく、また曲面の変形動作を収束させるための繰り返し計算をも不要とすることができ、結果として、高速なリアルタイム表示に適用可能な変形曲面表示装置および変形曲面表示方法を提供することができる。
【0044】
またこの発明では、前記表示面生成手段が、単一の表示面を生成する単一表示面生成手段であることを特徴とすることにより、単一の表示面を生成する変形曲面表示装置および変形曲面表示方法において同等の効果が得られる。
【0045】
またこの発明では、前記表示面生成手段が、複数の表示面を生成する複数表示面生成手段であることを特徴とすることにより、より詳細な表示が行える複数の表示面を生成する変形曲面表示装置および変形曲面表示方法において同等の効果が得られる。
【0046】
またこの発明では、前記代表点計算手段が、予め選択された代表点の変形動作結果を計算する静的代表点計算手段であることを特徴とすることにより、予め選択された代表点の変形動作結果を計算する変形曲面表示装置および変形曲面表示方法において同等の効果が得られる。
【0047】
またこの発明では、前記代表点計算手段が、曲面の変形動作に応じて動的に代表点を選択し、選択された代表点の変形動作結果を計算する動的代表点計算手段であることを特徴とすることにより、上記に加え、曲面変形動作を正確に計算すべき点の数を減らすことができ、表示処理の高速化が可能となる。
【0048】
またこの発明では、前記補間手段が、前記代表点計算手段で計算された代表点の計算結果を基に代表点ではない点についての計算を線形補間により求める線形補間手段であることを特徴とすることにより、線形補間を行う変形曲面表示装置および変形曲面表示方法において同等の効果が得られる。
【0049】
またこの発明では、前記補間手段が、前記代表点計算手段で計算された代表点の計算結果を基に代表点ではない点についての計算を高次の補間関数により計算する高次補間手段であることを特徴とすることにより、上記に加え、個々の点の座標値を反映した滑らかな曲面を生成することができる。
【図面の簡単な説明】
【図1】 この発明による変形曲面表示装置の基本構成を示す図である。
【図2】 図1の表示面生成手段により生成されたFEMモデルの一例を示す図である。
【図3】 図1の代表点計算手段により曲面の変形を表示した一例を示す図である。
【図4】 図1の補間手段の結果として出力される曲面の変形を表示した一例を示す図である。
【図5】 この発明による動的代表点計算手段を用いて実現した場合の曲面の変形を表示した一例を示す図である。
【図6】 従来の変形曲面表示方式を示す図である。
【図7】 従来の変形曲面表示方式を用いた曲面変形を表示した一例を示す図である。
【符号の説明】
100 表示面生成手段、101 代表点計算手段、102 補間手段、103 表示手段。

Claims (5)

  1. 変形曲面の表示において、表示すべき曲面の形状を生成する表示面生成手段と、
    曲面が変形する際に、代表となる点について変形動作結果を計算する代表点計算手段と、
    この代表点計算手段により計算された代表点の計算結果を基に代表点ではない点の補間を行う補間手段と、
    前記代表点計算手段及び補間手段により変形された曲面の表示を行う表示手段と、
    を備え
    前記代表点計算手段が、変形時の周りの点からの補間結果と元の値を周期的に比較し差が所定値を超える点を代表点として動的に設定し、設定されている代表点の変形動作結果を計算することを特徴とする変形曲面表示装置。
  2. 前記表示面生成手段が、単一の表示面を生成する単一表示面生成手段であることを特徴とする請求項1に記載の変形曲面表示装置。
  3. 前記表示面生成手段が、複数の表示面を生成する複数表示面生成手段であることを特徴とする請求項1に記載の変形曲面表示装置。
  4. 前記補間手段が、前記代表点計算手段で計算された代表点の計算結果を基に代表点ではない点についての計算を線形補間により求める線形補間手段であることを特徴とする請求項1ないし3のいずれかに記載の変形曲面表示装置。
  5. 前記補間手段が、前記代表点計算手段で計算された代表点の計算結果を基に代表点ではない点についての計算を高次の補間関数により計算する高次補間手段であることを特徴とする請求項1ないし3のいずれかに記載の変形曲面表示装置。
JP21689799A 1999-07-30 1999-07-30 変形曲面表示装置 Expired - Lifetime JP4273219B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21689799A JP4273219B2 (ja) 1999-07-30 1999-07-30 変形曲面表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21689799A JP4273219B2 (ja) 1999-07-30 1999-07-30 変形曲面表示装置

Publications (2)

Publication Number Publication Date
JP2001043402A JP2001043402A (ja) 2001-02-16
JP4273219B2 true JP4273219B2 (ja) 2009-06-03

Family

ID=16695636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21689799A Expired - Lifetime JP4273219B2 (ja) 1999-07-30 1999-07-30 変形曲面表示装置

Country Status (1)

Country Link
JP (1) JP4273219B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631207B2 (ja) * 2001-05-14 2011-02-16 トヨタ自動車株式会社 変形形状算出装置及びプログラム
JP2009064164A (ja) * 2007-09-05 2009-03-26 Takenaka Komuten Co Ltd 曲面形状作成装置、曲面形状作成方法、及び曲面形状作成プログラム
JP5553493B2 (ja) * 2008-08-27 2014-07-16 住友重機械工業株式会社 形状変化測定装置及び方法
CN114545667B (zh) * 2022-02-09 2023-10-17 Tcl华星光电技术有限公司 曲面显示屏漏光分析方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2001043402A (ja) 2001-02-16

Similar Documents

Publication Publication Date Title
US11144679B2 (en) Engraving a 2D image on a subdivision surface
JP4355697B2 (ja) グラフィックモデル生成方法およびグラフィックモデル生成装置
US6597368B1 (en) Morphing image processing system using polygon reduction processing
EP1011078A1 (en) Method for generating polygon data and image display using the same
JP4885196B2 (ja) 細分表面における滑らかな特徴線の生成
CN104732479B (zh) 对图像进行调整大小
JP4273219B2 (ja) 変形曲面表示装置
JP6975665B2 (ja) テクスチャマッピング装置およびテクスチャマッピング用プログラム
JP2837584B2 (ja) 地形データの作成方法
JP2007293526A (ja) 画像生成方法、画像生成装置及び画像生成プログラム
JPH04280374A (ja) 曲面生成方法及びその装置
JP3770840B2 (ja) 調和された点ネットワークを生成し、処理するための方法およびシステム
JP3463843B2 (ja) 自由曲面生成装置および自由曲面生成方法
JP2834314B2 (ja) 画像セグメンテーション方法
JPH1115994A (ja) 曲面作成方法
JP4457186B2 (ja) 準統計モデルによるメッシュ修正方法
JPH07160898A (ja) テクスチャデータ生成装置
JP2021189458A (ja) 装置、方法、及びプログラム
JP2009205553A (ja) 画像生成装置およびその方法
Tao et al. Multi-scale image warping using weighted voronoi diagram
JP2974648B2 (ja) 3次元データの処理方法及び処理装置、並びに3次元データの処理方法のプログラムを記録した記録媒体
JPH04167077A (ja) 二次元ラスタ画像の変形装置
JPH0887585A (ja) 図形データの階層的近似化方法
JP2000030081A (ja) 凹凸ポリゴンの描画方法および三次元描画装置
Zhu et al. Subdivision surfaces based on point-based splines

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090205

R150 Certificate of patent or registration of utility model

Ref document number: 4273219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140313

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term