JPH09138865A - ３次元形状データ処理装置 - Google Patents
３次元形状データ処理装置Info
- Publication number
- JPH09138865A JPH09138865A JP7295111A JP29511195A JPH09138865A JP H09138865 A JPH09138865 A JP H09138865A JP 7295111 A JP7295111 A JP 7295111A JP 29511195 A JP29511195 A JP 29511195A JP H09138865 A JPH09138865 A JP H09138865A
- Authority
- JP
- Japan
- Prior art keywords
- data
- shape data
- dimensional
- boundary
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】物体の色の境界の情報を消失させることなく３
次元形状データのデータ量を削減することを目的とす
る。 【解決手段】物体の３次元形状を表す物体形状データＭ
Ｘを読み出す第１の読み出し手段と、物体形状データＭ
Ｘに対応した２次元のカラー画像ＧＸ１を読み出す第２
の読み出し手段と、カラー画像ＧＸ１における色の境界
を判別する色境界判別手段と、色の境界に対応する部分
以外の物体形状データＭＸを間引く形状データ修正手段
と、を用いて物体形状データＭＸのデータ削減を行う。
次元形状データのデータ量を削減することを目的とす
る。 【解決手段】物体の３次元形状を表す物体形状データＭ
Ｘを読み出す第１の読み出し手段と、物体形状データＭ
Ｘに対応した２次元のカラー画像ＧＸ１を読み出す第２
の読み出し手段と、カラー画像ＧＸ１における色の境界
を判別する色境界判別手段と、色の境界に対応する部分
以外の物体形状データＭＸを間引く形状データ修正手段
と、を用いて物体形状データＭＸのデータ削減を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、適度のデータ量の
３次元形状モデルを生成するための３次元形状データ処
理装置に関する。
３次元形状モデルを生成するための３次元形状データ処
理装置に関する。
【０００２】
【従来の技術】人体を含む各種の物体の形状を非接触で
且つ高速に測定する立体計測方法として、スリット光投
影法（一般に光切断法と呼称されている）に代表される
能動的ステレオ法が用いられている。これは、特定の検
出光を照射して物体を撮影し、三角測量の原理を適用し
て３次元画像（距離画像ともいう）を得るものである。
３次元画像は、物体の各点の３次元位置を示す画素の集
合である。スリット光投影法は、検出光として断面が直
線状のスリット光を用いるものである。
且つ高速に測定する立体計測方法として、スリット光投
影法（一般に光切断法と呼称されている）に代表される
能動的ステレオ法が用いられている。これは、特定の検
出光を照射して物体を撮影し、三角測量の原理を適用し
て３次元画像（距離画像ともいう）を得るものである。
３次元画像は、物体の各点の３次元位置を示す画素の集
合である。スリット光投影法は、検出光として断面が直
線状のスリット光を用いるものである。
【０００３】物体を複数の位置から撮影し、得られた複
数の３次元画像を適切に合成することにより、物体の全
体の３次元形状モデルを生成することができる。物体の
全体又は一部の３次元形状モデルは、コンピュータグラ
フィックス、ＣＡＤなどに利用される。
数の３次元画像を適切に合成することにより、物体の全
体の３次元形状モデルを生成することができる。物体の
全体又は一部の３次元形状モデルは、コンピュータグラ
フィックス、ＣＡＤなどに利用される。
【０００４】
【発明が解決しようとする課題】上述の能動的ステレオ
法における３次元画像の画素密度は画像内で一定であ
る。通常、物体の撮影に際して、物体における形状の複
雑な部位を正確に測定するため画素密度を高く設定す
る。このため、物体における比較的に形状が単純な部位
についても複雑な部位と同じ画素密度で３次元位置が計
測されることになる。この結果、画面全体の画素数が多
くなり、物体の３次元形状を示すデータの量が過剰にな
るという問題があった。物体の一部が重要である場合
は、計測データには重要でない部分のデータも含まれる
ことになり、重要でない部分のデータが不必要に多くな
る。データ量が過剰であると、例えばコンピュータグラ
フィックスにおいてデータ処理に余分の時間が加わって
表示速度が低下する。
法における３次元画像の画素密度は画像内で一定であ
る。通常、物体の撮影に際して、物体における形状の複
雑な部位を正確に測定するため画素密度を高く設定す
る。このため、物体における比較的に形状が単純な部位
についても複雑な部位と同じ画素密度で３次元位置が計
測されることになる。この結果、画面全体の画素数が多
くなり、物体の３次元形状を示すデータの量が過剰にな
るという問題があった。物体の一部が重要である場合
は、計測データには重要でない部分のデータも含まれる
ことになり、重要でない部分のデータが不必要に多くな
る。データ量が過剰であると、例えばコンピュータグラ
フィックスにおいてデータ処理に余分の時間が加わって
表示速度が低下する。
【０００５】従来において、ポリゴン表現の３次元形状
モデルのデータ量を削減するための種々の手法が知られ
ている。例えば、隣接したポリゴンの平均のポリゴンか
らの距離が短い頂点から順に、指定された間引き率に達
するまで、頂点を消去していく方法が提案されている
（Decimation of Triangle Meshes,Computer Graphics,
26, 2, July 1992 ）。
モデルのデータ量を削減するための種々の手法が知られ
ている。例えば、隣接したポリゴンの平均のポリゴンか
らの距離が短い頂点から順に、指定された間引き率に達
するまで、頂点を消去していく方法が提案されている
（Decimation of Triangle Meshes,Computer Graphics,
26, 2, July 1992 ）。
【０００６】また、物体を撮影したカラー画像を利用
し、物体上の連続した同一色の部分に対して１つの３角
メッシュを割り当てる手法が知られている〔Adaptive S
ampling and Reconstruction for Discontinuity Prese
rving Texture-Mapped Triangulation, Proceedings of
IEEE 2nd CAD-Based Vision Workshop, Febrary 8-10,
1994 〕。
し、物体上の連続した同一色の部分に対して１つの３角
メッシュを割り当てる手法が知られている〔Adaptive S
ampling and Reconstruction for Discontinuity Prese
rving Texture-Mapped Triangulation, Proceedings of
IEEE 2nd CAD-Based Vision Workshop, Febrary 8-10,
1994 〕。
【０００７】しかし、従来では、物体のカラーテクスチ
ャの境界と無関係に３次元形状データが削減されてい
た。このため、削減後の形状データの用途が限定されて
しまうという問題があった。例えば物体上の平坦面内に
模様が存在する場合に、その模様部分を形状部品として
抜き出すことができなかった。
ャの境界と無関係に３次元形状データが削減されてい
た。このため、削減後の形状データの用途が限定されて
しまうという問題があった。例えば物体上の平坦面内に
模様が存在する場合に、その模様部分を形状部品として
抜き出すことができなかった。
【０００８】本発明は、物体の色の境界の情報を消失さ
せることなく３次元形状データのデータ量を削減するこ
とを目的としている。
せることなく３次元形状データのデータ量を削減するこ
とを目的としている。
【０００９】
【課題を解決するための手段】請求項１の発明の装置
は、物体の３次元形状を表す物体形状データを読み出す
第１の読み出し手段と、前記物体形状データに対応した
２次元のカラー画像を読み出す第２の読み出し手段と、
前記カラー画像における色の境界を判別する色境界判別
手段と、前記色の境界に対応する部分以外の物体形状デ
ータを間引く形状データ修正手段とを有する。
は、物体の３次元形状を表す物体形状データを読み出す
第１の読み出し手段と、前記物体形状データに対応した
２次元のカラー画像を読み出す第２の読み出し手段と、
前記カラー画像における色の境界を判別する色境界判別
手段と、前記色の境界に対応する部分以外の物体形状デ
ータを間引く形状データ修正手段とを有する。
【００１０】
【発明の実施の形態】図１は本発明に係る形状データ生
成システムＡの構成図である。形状データ生成システム
Ａは、スリット光投影法によって立体計測を行う３次元
カメラ５と、本発明に特有の機能を有した３次元形状デ
ータ処理装置１とから構成されている。
成システムＡの構成図である。形状データ生成システム
Ａは、スリット光投影法によって立体計測を行う３次元
カメラ５と、本発明に特有の機能を有した３次元形状デ
ータ処理装置１とから構成されている。
【００１１】３次元カメラ５は、物体Ｘの表面で反射し
たスリット光を受光する距離測定用の２次元撮像デバイ
ス５１と、カラー撮影用の２次元撮像デバイス５２とを
備えており、物体Ｘ上の複数のサンプリング点Ｐの３次
元位置を特定する計測データＤ１及び物体Ｘのカラー情
報を示す２次元画像データＤ２とを出力する。計測デー
タＤ１は、三角測量法により求めたサンプリング点Ｐの
座標データ、又は座標演算の以前の段階のデータであ
る。後者の場合は３次元形状データ処理装置１が座標演
算を行う。２次元画像データＤ２は、各サンプリング点
Ｐのそれぞれに対応した画素の集合である。なお、計測
データＤ１と２次元画像データＤ２は、同じ視点から撮
影されたものであり、サンプリング点Ｐに対応した画素
とは、計測データＤ１を２次元カラー画像Ｄ２に投影し
たときに、サンプリング点Ｐと同じ位置又は近傍の位置
にある画素である。３次元カメラ５と同様の機能を有し
た形状測定装置が特開平７−１７４５３６号公報に開示
されている。
たスリット光を受光する距離測定用の２次元撮像デバイ
ス５１と、カラー撮影用の２次元撮像デバイス５２とを
備えており、物体Ｘ上の複数のサンプリング点Ｐの３次
元位置を特定する計測データＤ１及び物体Ｘのカラー情
報を示す２次元画像データＤ２とを出力する。計測デー
タＤ１は、三角測量法により求めたサンプリング点Ｐの
座標データ、又は座標演算の以前の段階のデータであ
る。後者の場合は３次元形状データ処理装置１が座標演
算を行う。２次元画像データＤ２は、各サンプリング点
Ｐのそれぞれに対応した画素の集合である。なお、計測
データＤ１と２次元画像データＤ２は、同じ視点から撮
影されたものであり、サンプリング点Ｐに対応した画素
とは、計測データＤ１を２次元カラー画像Ｄ２に投影し
たときに、サンプリング点Ｐと同じ位置又は近傍の位置
にある画素である。３次元カメラ５と同様の機能を有し
た形状測定装置が特開平７−１７４５３６号公報に開示
されている。
【００１２】３次元形状データ処理装置１は、データ処
理を担うＣＰＵ１０、ディスプレイ２０、メモリ（補助
記憶装置）３０、及び入力デバイス４０から構成されて
いる。入力デバイス４０には、キーボードとマウスなど
のポインティングデバイスとが含まれる。ＣＰＵ１０に
は所定のソフトウェアが組み込まれている。つまり、３
次元形状データ処理装置１は、一般的なハードウェア構
成によるコンピュータシステムである。
理を担うＣＰＵ１０、ディスプレイ２０、メモリ（補助
記憶装置）３０、及び入力デバイス４０から構成されて
いる。入力デバイス４０には、キーボードとマウスなど
のポインティングデバイスとが含まれる。ＣＰＵ１０に
は所定のソフトウェアが組み込まれている。つまり、３
次元形状データ処理装置１は、一般的なハードウェア構
成によるコンピュータシステムである。
【００１３】以下、３次元形状データ処理装置１の機能
について説明する。３次元形状データ処理装置１は、計
測データＤ１に基づいて生成された所定形態の物体形状
データのデータ量を、２次元画像データＤ２を利用して
削減する処理を行う。物体形状データ（例えば後述のワ
イヤフレームモデルＭＸ）及びそれに対応した（同じ視
点から撮影された）２次元画像データＤ２は、互いに対
応づけられてメモリ３０に格納されている。
について説明する。３次元形状データ処理装置１は、計
測データＤ１に基づいて生成された所定形態の物体形状
データのデータ量を、２次元画像データＤ２を利用して
削減する処理を行う。物体形状データ（例えば後述のワ
イヤフレームモデルＭＸ）及びそれに対応した（同じ視
点から撮影された）２次元画像データＤ２は、互いに対
応づけられてメモリ３０に格納されている。
【００１４】以下では、データ削減処理の対象とする物
体形状データを、物体Ｘに対する３次元カメラ５による
計測の各サンプリング点を頂点とするポリゴン表現の３
次元形状モデルとする。データ削減処理の以前の段階で
のポリゴンは四角形である。物体形状データは、物体Ｘ
の全体の形状モデルであってもよいし、物体Ｘの一部の
形状モデルであってもよい。全体の形状モデルである場
合には、データ削減処理の以前に、物体Ｘの複数の部分
の形状モデルを合成する貼り合わせ処理が行われる。例
えば、物体Ｘの正面側からの計測で得られた形状モデル
と、背面側からの計測で得られた形状モデルとを合成す
ることによって物体Ｘの全体の形状モデルが生成され
る。貼り合わせ処理の内容に関しては、前掲の特開平７
−１７４５３６号公報に詳しい説明がある。合成対象の
形状モデルどうしの対応点の指定作業に、各モデルに対
応した２次元画像を利用する手法も提案されている（特
願平７−１５６４５５号）。
体形状データを、物体Ｘに対する３次元カメラ５による
計測の各サンプリング点を頂点とするポリゴン表現の３
次元形状モデルとする。データ削減処理の以前の段階で
のポリゴンは四角形である。物体形状データは、物体Ｘ
の全体の形状モデルであってもよいし、物体Ｘの一部の
形状モデルであってもよい。全体の形状モデルである場
合には、データ削減処理の以前に、物体Ｘの複数の部分
の形状モデルを合成する貼り合わせ処理が行われる。例
えば、物体Ｘの正面側からの計測で得られた形状モデル
と、背面側からの計測で得られた形状モデルとを合成す
ることによって物体Ｘの全体の形状モデルが生成され
る。貼り合わせ処理の内容に関しては、前掲の特開平７
−１７４５３６号公報に詳しい説明がある。合成対象の
形状モデルどうしの対応点の指定作業に、各モデルに対
応した２次元画像を利用する手法も提案されている（特
願平７−１５６４５５号）。
【００１５】図２はデータ削減の手順を示すフローチャ
ート、図３はディスプレイ２０の画面ＳＣの要部の表示
例を示す図、図４は領域指定操作の手順を示す図であ
る。ＣＰＵ１０は、処理対象の３次元形状データに対応
したカラー画像を表示する。図３の例では、画面ＳＣ内
のウインドウＷ１に、直方体状の物体Ｘの２面の外観を
示すカラー画像ＧＸ１と、処理対象の３次元形状データ
を図形化したワイヤーフレームモデルＭＸが表示されて
いる。ワイヤーフレームモデルＭＸは、物体Ｘの全体の
モデルであり、張り合わせ処理の結果を示している。
ート、図３はディスプレイ２０の画面ＳＣの要部の表示
例を示す図、図４は領域指定操作の手順を示す図であ
る。ＣＰＵ１０は、処理対象の３次元形状データに対応
したカラー画像を表示する。図３の例では、画面ＳＣ内
のウインドウＷ１に、直方体状の物体Ｘの２面の外観を
示すカラー画像ＧＸ１と、処理対象の３次元形状データ
を図形化したワイヤーフレームモデルＭＸが表示されて
いる。ワイヤーフレームモデルＭＸは、物体Ｘの全体の
モデルであり、張り合わせ処理の結果を示している。
【００１６】ユーザー（オペレータ）は、カラー画像Ｇ
Ｘ１内に輪郭情報を残したいと思う領域〔例えば図４
（Ａ）における四角形の領域ａ０〕があれば、その領域
ａ０内の点（画素）ｐ１をマウスを用いて指定する（＃
１１）。続いて、ユーザーは色範囲を規定するしきい値
αを指定する（＃１２）。
Ｘ１内に輪郭情報を残したいと思う領域〔例えば図４
（Ａ）における四角形の領域ａ０〕があれば、その領域
ａ０内の点（画素）ｐ１をマウスを用いて指定する（＃
１１）。続いて、ユーザーは色範囲を規定するしきい値
αを指定する（＃１２）。
【００１７】ＣＰＵ１０は、カラー画像ＧＸ１の内の指
定された画素ｐ１を含む領域ａ１を処理領域として選択
する（＃１３）。選択された領域ａ１は強調表示され、
又はカラー画像ＧＸ１と別に表示される。このとき選択
される領域ａ１は、指定された画素の色及びそれに近い
色の画素のみからなり、それらの画素どうしが隣接する
範囲内の領域である。近い色とは、ＲＧＢ空間（色座標
系）において、指定された画素の色との距離が指定され
たしきい値αより小さい範囲（半径αの球の内部）の色
である。ユーザーは、選択された領域ａ１が適切でなけ
れば、しきい値αの値を変更する（＃１４→＃１２）。
定された画素ｐ１を含む領域ａ１を処理領域として選択
する（＃１３）。選択された領域ａ１は強調表示され、
又はカラー画像ＧＸ１と別に表示される。このとき選択
される領域ａ１は、指定された画素の色及びそれに近い
色の画素のみからなり、それらの画素どうしが隣接する
範囲内の領域である。近い色とは、ＲＧＢ空間（色座標
系）において、指定された画素の色との距離が指定され
たしきい値αより小さい範囲（半径αの球の内部）の色
である。ユーザーは、選択された領域ａ１が適切でなけ
れば、しきい値αの値を変更する（＃１４→＃１２）。
【００１８】実際には、影などの存在により、ユーザの
希望する領域ａ０の全体が略同一色とは限らない。その
ため、ユーザーは必要に応じて複数回の領域選択を行う
（＃１５、＃１６）。図４（Ｂ）の例では、領域ａ１と
領域ａ２とを順に指定することによって領域ａ０（領域
ａ１と領域ａ２との和集合）が指定されている。
希望する領域ａ０の全体が略同一色とは限らない。その
ため、ユーザーは必要に応じて複数回の領域選択を行う
（＃１５、＃１６）。図４（Ｂ）の例では、領域ａ１と
領域ａ２とを順に指定することによって領域ａ０（領域
ａ１と領域ａ２との和集合）が指定されている。
【００１９】次に、ＣＰＵ１０は、ワイヤーフレームモ
デルＭＸの頂点の内、領域ａ０に属する画素に対応した
頂点を選択する（＃１７）。そして、選択した頂点の数
を表示する。カラー画像ＧＸ１の撮影の時点で、カラー
画像ＧＸ１の各画素とワイヤーフレームモデルＭＸの頂
点（物体Ｘ上のサンプリング点Ｐk ）は対応づけられて
いる。
デルＭＸの頂点の内、領域ａ０に属する画素に対応した
頂点を選択する（＃１７）。そして、選択した頂点の数
を表示する。カラー画像ＧＸ１の撮影の時点で、カラー
画像ＧＸ１の各画素とワイヤーフレームモデルＭＸの頂
点（物体Ｘ上のサンプリング点Ｐk ）は対応づけられて
いる。
【００２０】ユーザーがデータ削減の条件として処理後
の頂点の数を指定すると（＃１８）、ＣＰＵ１０は、後
述の境界点を残すように、領域ａ０に対応した頂点を指
定された数になるまで減少させる後述の適応的間引き処
理を実行する（＃１９）。上述の領域の選択と適応的間
引き処理を繰り返すことにより、物体Ｘの全体の色境界
の情報を消失させずに３次元形状データのデータ量を削
減することができる。
の頂点の数を指定すると（＃１８）、ＣＰＵ１０は、後
述の境界点を残すように、領域ａ０に対応した頂点を指
定された数になるまで減少させる後述の適応的間引き処
理を実行する（＃１９）。上述の領域の選択と適応的間
引き処理を繰り返すことにより、物体Ｘの全体の色境界
の情報を消失させずに３次元形状データのデータ量を削
減することができる。
【００２１】以下、適応的間引き処理の内容を詳しく説
明する。図５は頂点の識別の模式図である。図２のステ
ップ＃１７で選択された頂点の内、非選択の頂点と隣り
合っているもの、及び周囲をポリゴンで囲まれていない
ものを、領域ａ０の境界点（図５中の白丸）と定義す
る。選択された頂点の内、境界点以外の頂点が内点（図
５中の黒丸）である。境界点は、ワイヤーフレームモデ
ルＭＸから領域ａ０に対応する部分Ｍａ０を切り離し、
注目する頂点を含む各ポリゴンの当該頂点を含む辺どう
しを照合することにより識別できる。すなわち、隣り合
ったポリゴンは、注目頂点とその隣の頂点を共有してい
るので、各ポリゴンを共有する辺をたどったとき、各ポ
リゴンがループ状に繋がっていれば、注目頂点を内点と
識別でき、そうでなければ境界点と識別できる。
明する。図５は頂点の識別の模式図である。図２のステ
ップ＃１７で選択された頂点の内、非選択の頂点と隣り
合っているもの、及び周囲をポリゴンで囲まれていない
ものを、領域ａ０の境界点（図５中の白丸）と定義す
る。選択された頂点の内、境界点以外の頂点が内点（図
５中の黒丸）である。境界点は、ワイヤーフレームモデ
ルＭＸから領域ａ０に対応する部分Ｍａ０を切り離し、
注目する頂点を含む各ポリゴンの当該頂点を含む辺どう
しを照合することにより識別できる。すなわち、隣り合
ったポリゴンは、注目頂点とその隣の頂点を共有してい
るので、各ポリゴンを共有する辺をたどったとき、各ポ
リゴンがループ状に繋がっていれば、注目頂点を内点と
識別でき、そうでなければ境界点と識別できる。
【００２２】図６はＣＰＵ１０が実行する適応的間引き
処理のフローチャートである。３次元形状データからユ
ーザーの指定した領域ａ０に対応する部分を取り出し、
各頂点を境界点と内点とに区分する（＃１９１）。各内
点に対して、それらの近傍におけるモデル形状（局所近
傍形状）の複雑さの度合いを後述のように評価し、度合
いの順位と内点とを対応づける間引き点リストを作成す
る（＃１９２）。ユーザーの指定した頂点数になるま
で、局所近傍形状の簡単なものから順に内点を取り除い
ていく（頂点の間引き）。その際、取り除いた内点の周
囲のポリゴンを併合する（＃１９３）。併合したポリゴ
ンを三角形に分割し、分割結果を当てはめた３次元形状
データを生成する（＃１９４）。すなわち、３次元形状
モデルを修正する。頂点の間引きによってモデルが平面
になる又は平面が交差するなどの不都合が生じた場合に
は、直前の間引きを取り消す（＃１９５、＃１９８）。
間引きの過程で、隣接ポリゴンの向きが変わった頂点に
関して、逐次、近傍形状の複雑さを再評価し、間引き点
リストを更新する（＃１９６）。頂点数が指定された値
になれば処理を終了する（＃１９７）。
処理のフローチャートである。３次元形状データからユ
ーザーの指定した領域ａ０に対応する部分を取り出し、
各頂点を境界点と内点とに区分する（＃１９１）。各内
点に対して、それらの近傍におけるモデル形状（局所近
傍形状）の複雑さの度合いを後述のように評価し、度合
いの順位と内点とを対応づける間引き点リストを作成す
る（＃１９２）。ユーザーの指定した頂点数になるま
で、局所近傍形状の簡単なものから順に内点を取り除い
ていく（頂点の間引き）。その際、取り除いた内点の周
囲のポリゴンを併合する（＃１９３）。併合したポリゴ
ンを三角形に分割し、分割結果を当てはめた３次元形状
データを生成する（＃１９４）。すなわち、３次元形状
モデルを修正する。頂点の間引きによってモデルが平面
になる又は平面が交差するなどの不都合が生じた場合に
は、直前の間引きを取り消す（＃１９５、＃１９８）。
間引きの過程で、隣接ポリゴンの向きが変わった頂点に
関して、逐次、近傍形状の複雑さを再評価し、間引き点
リストを更新する（＃１９６）。頂点数が指定された値
になれば処理を終了する（＃１９７）。
【００２３】図７は適応的間引き処理の結果の一例を示
す図である。図７と図３との比較から明らかなように、
適応的間引き処理によって、ワイヤーフレームモデルＭ
Ｘは、物体上の色境界を示す情報をもち且つワイヤーフ
レームモデルＭＸより頂点数の少ないワイヤーフレーム
モデルＭＸ２に修正されている。
す図である。図７と図３との比較から明らかなように、
適応的間引き処理によって、ワイヤーフレームモデルＭ
Ｘは、物体上の色境界を示す情報をもち且つワイヤーフ
レームモデルＭＸより頂点数の少ないワイヤーフレーム
モデルＭＸ２に修正されている。
【００２４】図８は局所近傍形状の複雑さの評価方法を
説明するための図である。注目する頂点ｖｉから微小距
離δ以内にあるポリゴン上の領域を近傍領域とする。ｉ
番目の頂点ｖｉ（ｉ＝１，２，…Ｎ）における形状の複
雑さは、頂点近傍の隣接面の単位法線ベクトルの１次変
分の共分散行列Ｃのトレースで表わすことができる。行
列ＣのトレースｔｒＣは、頂点ｖｉに隣接する頂点に対
して反時計周りに番号ｊ（ｊ＝１，２，…Ｍi ）を付
し、それらの座標を（ａjx，ａjy，ａ jz）、ｊ番目と
（ｊ＋１）番目の頂点を含むポリゴン上の近傍領域の面
積をＳj、単位法線ベクトルをｎj 、隣接辺のなす角度
をθj とすると、近似的に次式で与えられる。
説明するための図である。注目する頂点ｖｉから微小距
離δ以内にあるポリゴン上の領域を近傍領域とする。ｉ
番目の頂点ｖｉ（ｉ＝１，２，…Ｎ）における形状の複
雑さは、頂点近傍の隣接面の単位法線ベクトルの１次変
分の共分散行列Ｃのトレースで表わすことができる。行
列ＣのトレースｔｒＣは、頂点ｖｉに隣接する頂点に対
して反時計周りに番号ｊ（ｊ＝１，２，…Ｍi ）を付
し、それらの座標を（ａjx，ａjy，ａ jz）、ｊ番目と
（ｊ＋１）番目の頂点を含むポリゴン上の近傍領域の面
積をＳj、単位法線ベクトルをｎj 、隣接辺のなす角度
をθj とすると、近似的に次式で与えられる。
【００２５】 ｔｒＣ＝Σｐj （ｅjx 2 ＋ｅjy 2 ＋ｅjz 2 ） ｅjx＝ｎjx−ｍx （ｍx ｎjx＋ｍy ｎjy＋ｍz ｎjz） ｅjy＝ｎjy−ｍy （ｍx ｎjx＋ｍy ｎjy＋ｍz ｎjz） ｅjx＝ｎjz−ｍz （ｍx ｎjx＋ｍy ｎjy＋ｍz ｎjz） ｍx ＝Σj ｐj ｎjx ／Ｌｍ ｍy ＝Σj ｐj ｎjy ／Ｌｍ ｍz ＝Σj ｐj ｎjz ／Ｌｍ Ｌｍ＝［（Σj ｐj ｎjx）2 ＋（Σj ｐj ｎjy）2＋
（Σj ｐj ｎjy）2 ］1/2 ｐj ＝Ｓj ／Σj Ｓj ＝θj ／Σj θj ｎjx＝〔ａjyａ(j+1)z−ａjzａ(j+1)y〕／Ｌnj ｎjy＝〔ａjzａ(j+1)x−ａjxａ(j+1)z〕／Ｌnj ｎjz＝〔ａjxａ(j+1)y−ａjyａ(j+1)x〕／Ｌnj Ｌnj＝［〔ａjyａ(j+1)z−ａjzａ(j+1)y〕2＋〔ａjzａ
(j+1)x−ａjxａ(j+1)z〕2＋〔ａjxａ(j+1)y−ａjyａ
(j+1)x〕2 ］1/2 図９はポリゴンの分割方法を説明するための図である。
（Σj ｐj ｎjy）2 ］1/2 ｐj ＝Ｓj ／Σj Ｓj ＝θj ／Σj θj ｎjx＝〔ａjyａ(j+1)z−ａjzａ(j+1)y〕／Ｌnj ｎjy＝〔ａjzａ(j+1)x−ａjxａ(j+1)z〕／Ｌnj ｎjz＝〔ａjxａ(j+1)y−ａjyａ(j+1)x〕／Ｌnj Ｌnj＝［〔ａjyａ(j+1)z−ａjzａ(j+1)y〕2＋〔ａjzａ
(j+1)x−ａjxａ(j+1)z〕2＋〔ａjxａ(j+1)y−ａjyａ
(j+1)x〕2 ］1/2 図９はポリゴンの分割方法を説明するための図である。
【００２６】間引きの対象の頂点ｖを含む隣接した複数
のポリゴンＱ１〜４は、間引き後に併合されてＮ角形
（Ｎ≧４）のポリゴンＱになる。本実施形態では、ＣＧ
システムなどでのデータの取扱いを容易とするために、
併合されたポリゴンＱを複数の三角形に分割する。分割
には動的計画法を利用し、分割後の辺の総和が最も小さ
くなるような三角形の組合せを選択する。分割に際して
は、併合後のポリゴンＱをその近似平面に射影したとき
に、分割で生じる三角形の辺（併合後のポリゴンＱの対
角線）が、ポリゴンＱの射影像内に存在し且つ射影した
対角線どうしが交わらないようにする。また、頂点の間
引きによって併合後のポリゴンＱが他のポリゴンと張り
付いて平面に縮退してしまうような場合、例えば三角錐
の１点が間引きの対象となった場合には、その頂点の間
引きを行わない。
のポリゴンＱ１〜４は、間引き後に併合されてＮ角形
（Ｎ≧４）のポリゴンＱになる。本実施形態では、ＣＧ
システムなどでのデータの取扱いを容易とするために、
併合されたポリゴンＱを複数の三角形に分割する。分割
には動的計画法を利用し、分割後の辺の総和が最も小さ
くなるような三角形の組合せを選択する。分割に際して
は、併合後のポリゴンＱをその近似平面に射影したとき
に、分割で生じる三角形の辺（併合後のポリゴンＱの対
角線）が、ポリゴンＱの射影像内に存在し且つ射影した
対角線どうしが交わらないようにする。また、頂点の間
引きによって併合後のポリゴンＱが他のポリゴンと張り
付いて平面に縮退してしまうような場合、例えば三角錐
の１点が間引きの対象となった場合には、その頂点の間
引きを行わない。
【００２７】図１０は面密度に基づく間引きを説明する
ための図である。上述の局所近傍形状の複雑さの順位付
けを、局所的面密度の順位付けに置き換え、周囲の面密
度の大きい頂点（内点）から間引くことにより、全体的
にほぼ均一にデータを削減することができる。内点ｖの
周りの面密度ρは、内点ｖを含む各ポリゴンにおける内
点ｖのボロノイ領域Ａj （Ａ1,Ａ2,Ａ3,Ａ4 ）の面積Ｓ
jを用いて近似的に次式で与えられる。
ための図である。上述の局所近傍形状の複雑さの順位付
けを、局所的面密度の順位付けに置き換え、周囲の面密
度の大きい頂点（内点）から間引くことにより、全体的
にほぼ均一にデータを削減することができる。内点ｖの
周りの面密度ρは、内点ｖを含む各ポリゴンにおける内
点ｖのボロノイ領域Ａj （Ａ1,Ａ2,Ａ3,Ａ4 ）の面積Ｓ
jを用いて近似的に次式で与えられる。
【００２８】ρ ＝ １／Σj Ｓj 各頂点のボロノイ領域とは、ポリゴン上のすべての領域
を最も距離が近い頂点に割り当てたときの各頂点に割り
当てられた領域のことであり、これはボロノイ図の逐次
構成法によって得られる。
を最も距離が近い頂点に割り当てたときの各頂点に割り
当てられた領域のことであり、これはボロノイ図の逐次
構成法によって得られる。
【００２９】図１１は形状に基づく間引きを説明するた
めの図である。上述の間引きの対象は内点に限定されて
いたが、境界点を端点とする辺の間の角度（ポリゴンの
内角）を調べ、内角の大きいものから境界点を間引くこ
とにより、境界点の数を減少させることが可能である。
また、均等に間引きたいときは、辺の長さの総和の小さ
いものから間引けばよい。
めの図である。上述の間引きの対象は内点に限定されて
いたが、境界点を端点とする辺の間の角度（ポリゴンの
内角）を調べ、内角の大きいものから境界点を間引くこ
とにより、境界点の数を減少させることが可能である。
また、均等に間引きたいときは、辺の長さの総和の小さ
いものから間引けばよい。
【００３０】図１２は第２の実施形態のデータ削減手順
を説明するための図である。物体上の互いに異なる複数
の部分について頂点の間引きを行う場合、例えば、人の
顔の３次元データにおいて口と目について間引きを行う
場合、図２の手順では領域の選択と間引きを交互に行わ
なければならず、全体的な調和を図りながら間引くこと
が難しい。これを解決するためには、カラー画像ＧＸｂ
１，２中で全ての色境界を認識し、カラー画像ＧＸｂ
１，２上のすべての色境界を３次元形状モデルに投影
し、色境界に対応する境界点を登録して、一括して間引
きを行えばよい。
を説明するための図である。物体上の互いに異なる複数
の部分について頂点の間引きを行う場合、例えば、人の
顔の３次元データにおいて口と目について間引きを行う
場合、図２の手順では領域の選択と間引きを交互に行わ
なければならず、全体的な調和を図りながら間引くこと
が難しい。これを解決するためには、カラー画像ＧＸｂ
１，２中で全ての色境界を認識し、カラー画像ＧＸｂ
１，２上のすべての色境界を３次元形状モデルに投影
し、色境界に対応する境界点を登録して、一括して間引
きを行えばよい。
【００３１】上述の実施形態によれば、任意の位置から
の物体Ｘの撮影で得られた複数の３次元画像を貼り合わ
せた３次元ポリゴンメッシュのデータを間引く際、３次
元画像と同時に撮影されたカラー画像を利用すること
で、容易にカラーテクスチャの境界を残しながらデータ
の削減を行うことができる。
の物体Ｘの撮影で得られた複数の３次元画像を貼り合わ
せた３次元ポリゴンメッシュのデータを間引く際、３次
元画像と同時に撮影されたカラー画像を利用すること
で、容易にカラーテクスチャの境界を残しながらデータ
の削減を行うことができる。
【００３２】上述の実施形態によれば、ユーザは、色境
界の判別の特定色を指定することによって、物体におけ
るデータの間引きの対象部位を任意に選択することがで
き、対話形式で用途に適した結果が得られるようにデー
タ削減を行うことができる。
界の判別の特定色を指定することによって、物体におけ
るデータの間引きの対象部位を任意に選択することがで
き、対話形式で用途に適した結果が得られるようにデー
タ削減を行うことができる。
【００３３】上述の実施形態において、図２のステップ
＃１３の処理が本発明の色境界判別手段の機能に対応
し、図２のステップ＃１９の処理（すなわち図６の処
理）が形状データ修正手段の機能に対応する。
＃１３の処理が本発明の色境界判別手段の機能に対応
し、図２のステップ＃１９の処理（すなわち図６の処
理）が形状データ修正手段の機能に対応する。
【００３４】上述の実施形態において、物体形状データ
及びカラー画像は、実在する物体の撮影によって得られ
るものに限らず、ＣＧシステムなどによって作成した情
報であってもよい。
及びカラー画像は、実在する物体の撮影によって得られ
るものに限らず、ＣＧシステムなどによって作成した情
報であってもよい。
【００３５】上述の実施形態においては、メモリ３０に
格納されている物体形状データとカラー画像とを読み出
してデータ削減を行う形態を例示したが、本発明は、３
次元カメラ５による撮影で得られた物体形状データとカ
ラー画像とをＣＰＵ１０が３次元カメラ５から直接に読
み込み、データ削減の処理を行った後に物体形状データ
とカラー画像とを、又は物体形状データのみをメモリ３
０に格納する場合にも適用可能である。
格納されている物体形状データとカラー画像とを読み出
してデータ削減を行う形態を例示したが、本発明は、３
次元カメラ５による撮影で得られた物体形状データとカ
ラー画像とをＣＰＵ１０が３次元カメラ５から直接に読
み込み、データ削減の処理を行った後に物体形状データ
とカラー画像とを、又は物体形状データのみをメモリ３
０に格納する場合にも適用可能である。
【００３６】
【発明の効果】請求項１の発明によれば、物体の色の境
界の情報を消失させることなく３次元形状データのデー
タ量を削減することができ、より有用な情報を含み且つ
適度のデータ量の３次元形状データを生成することがで
きる。
界の情報を消失させることなく３次元形状データのデー
タ量を削減することができ、より有用な情報を含み且つ
適度のデータ量の３次元形状データを生成することがで
きる。
【図１】本発明に係る形状データ生成システムの構成図
である。
である。
【図２】データ削減の手順を示すフローチャートであ
る。
る。
【図３】ディスプレイの画面の要部の表示例を示す図で
ある。
ある。
【図４】領域指定操作の手順を示す図である。
【図５】頂点の識別の模式図である。
【図６】ＣＰＵが実行する適応的間引き処理のフローチ
ャートである。
ャートである。
【図７】適応的間引き処理の結果の一例を示す図であ
る。
る。
【図８】局所近傍形状の複雑さの評価方法を説明するた
めの図である。
めの図である。
【図９】ポリゴンの分割方法を説明するための図であ
る。
る。
【図１０】面密度に基づく間引きを説明するための図で
ある。
ある。
【図１１】形状に基づく間引きを説明するための図であ
る。
る。
【図１２】第２の実施形態のデータ削減手順を説明する
ための図である。
ための図である。
１ ３次元形状データ処理装置 １０ ＣＰＵ ＧＸ，ＧＸｂ１，ＧＸｂ２ カラー画像 ＭＸ ワイヤフレームモデル（物体形状データ） Ｘ 物体
───────────────────────────────────────────────────── フロントページの続き (72)発明者 今井 重晃 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 坂川 佳子 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内
Claims (1)
- 【請求項１】物体の３次元形状を表す物体形状データを
読み出す第１の読み出し手段と、 前記物体形状データに対応した２次元のカラー画像を読
み出す第２の読み出し手段と、 前記カラー画像における色の境界を判別する色境界判別
手段と、 前記色の境界に対応する部分以外の物体形状データを間
引く形状データ修正手段と、を有したことを特徴とする
３次元形状データ処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29511195A JP3341549B2 (ja) | 1995-11-14 | 1995-11-14 | ３次元形状データ処理装置 |
| US08/747,819 US6346949B1 (en) | 1995-11-14 | 1996-11-13 | Three-dimensional form data processor retaining information on color boundaries of an object when thinning coordinate data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29511195A JP3341549B2 (ja) | 1995-11-14 | 1995-11-14 | ３次元形状データ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09138865A true JPH09138865A (ja) | 1997-05-27 |
| JP3341549B2 JP3341549B2 (ja) | 2002-11-05 |
Family
ID=17816443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29511195A Expired - Lifetime JP3341549B2 (ja) | 1995-11-14 | 1995-11-14 | ３次元形状データ処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6346949B1 (ja) |
| JP (1) | JP3341549B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003090714A (ja) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | 画像処理装置、及び画像処理プログラム |
| US7068835B1 (en) | 1997-11-28 | 2006-06-27 | Minolta Co., Ltd. | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor |
| JP2017163256A (ja) * | 2016-03-08 | 2017-09-14 | エーティーラボ株式会社 | データ圧縮装置、データ圧縮方法およびデータ圧縮プログラム |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000292134A (ja) * | 1999-04-07 | 2000-10-20 | Minolta Co Ltd | ３次元情報入力カメラ |
| US7620209B2 (en) * | 2004-10-14 | 2009-11-17 | Stevick Glen R | Method and apparatus for dynamic space-time imaging system |
| WO2007074912A1 (ja) | 2005-12-27 | 2007-07-05 | Nec Corporation | データ圧縮方法及び装置、データ復元方法及び装置ならびにプログラム |
| JP6261190B2 (ja) * | 2013-05-31 | 2018-01-17 | キヤノン株式会社 | 設定装置および設定方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57157107A (en) | 1981-03-24 | 1982-09-28 | Agency Of Ind Science & Technol | Method for measuring shape of object |
| US4539704A (en) * | 1983-09-15 | 1985-09-03 | Pitney Bowes Inc. | Image thinning process |
| JPH061164B2 (ja) * | 1985-01-31 | 1994-01-05 | 伍良 松本 | 立体形状測定装置 |
| DE3642051A1 (de) * | 1985-12-10 | 1987-06-11 | Canon Kk | Verfahren zur dreidimensionalen informationsverarbeitung und vorrichtung zum erhalten einer dreidimensionalen information ueber ein objekt |
| US5050097A (en) * | 1986-05-31 | 1991-09-17 | Kabushiki Kaisha Toshiba | Boundary detector and graphic processing system incorporating the same |
| US5224179A (en) * | 1988-12-20 | 1993-06-29 | At&T Bell Laboratories | Image skeletonization method |
| US5231678A (en) * | 1989-11-15 | 1993-07-27 | Ezel, Inc. | Configuration recognition system calculating a three-dimensional distance to an object by detecting cross points projected on the object |
| JPH03209112A (ja) | 1990-01-11 | 1991-09-12 | Nissan Motor Co Ltd | ３次元形状測定装置 |
| JPH0483133A (ja) | 1990-07-25 | 1992-03-17 | Matsushita Electric Ind Co Ltd | 三次元スキャナ |
| US5504845A (en) * | 1990-09-10 | 1996-04-02 | Modacad, Inc. | Method for remodeling and rendering three-dimensional surfaces |
| JP3089062B2 (ja) * | 1991-10-17 | 2000-09-18 | キヤノン株式会社 | 画像処理装置及び方法 |
| US5590248A (en) * | 1992-01-02 | 1996-12-31 | General Electric Company | Method for reducing the complexity of a polygonal mesh |
| JPH0628466A (ja) * | 1992-04-02 | 1994-02-04 | Ezel Inc | 画像の細線化方法 |
| EP0641993B1 (en) * | 1993-09-03 | 1999-06-30 | Canon Kabushiki Kaisha | Shape measuring apparatus |
| JP3574170B2 (ja) * | 1994-03-17 | 2004-10-06 | 富士通株式会社 | 分散型画像処理装置 |
| KR0174454B1 (ko) * | 1995-06-30 | 1999-03-20 | 배순훈 | 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 |
| US6044170A (en) * | 1996-03-21 | 2000-03-28 | Real-Time Geometry Corporation | System and method for rapid shape digitizing and adaptive mesh generation |
| JP3162630B2 (ja) * | 1996-07-31 | 2001-05-08 | トヨタ自動車株式会社 | ワイヤフレームモデルの面定義方法および装置 |
| JP3209112B2 (ja) | 1996-09-17 | 2001-09-17 | トヨタ自動車株式会社 | 成層燃焼エンジンのアイドル回転数制御装置 |
-
1995
- 1995-11-14 JP JP29511195A patent/JP3341549B2/ja not_active Expired - Lifetime
-
1996
- 1996-11-13 US US08/747,819 patent/US6346949B1/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7068835B1 (en) | 1997-11-28 | 2006-06-27 | Minolta Co., Ltd. | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor |
| JP2003090714A (ja) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | 画像処理装置、及び画像処理プログラム |
| JP2017163256A (ja) * | 2016-03-08 | 2017-09-14 | エーティーラボ株式会社 | データ圧縮装置、データ圧縮方法およびデータ圧縮プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3341549B2 (ja) | 2002-11-05 |
| US6346949B1 (en) | 2002-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8659593B2 (en) | Image processing apparatus, method and program | |
| EP1303839B1 (en) | System and method for median fusion of depth maps | |
| US6791540B1 (en) | Image processing apparatus | |
| US6888544B2 (en) | Apparatus for and method of rendering 3D objects with parametric texture maps | |
| US8698804B2 (en) | Image processing apparatus and image processing method | |
| US20100156901A1 (en) | Method and apparatus for reconstructing 3d model | |
| US20040075655A1 (en) | 3D computer graphics processing apparatus and method | |
| US8884947B2 (en) | Image processing apparatus and image processing method | |
| JP2013038775A (ja) | 高速反射屈折式ライトフィールドレンダリングのための光線画像モデル化 | |
| US20230085468A1 (en) | Advanced Automatic Rig Creation Processes | |
| US6515674B1 (en) | Apparatus for and of rendering 3d objects with parametric texture maps | |
| US7528831B2 (en) | Generation of texture maps for use in 3D computer graphics | |
| US20160005221A1 (en) | Photometric optimization with t-splines | |
| JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
| JP4885042B2 (ja) | 画像処理方法および装置ならびにプログラム | |
| JP2003115042A (ja) | ３次元形状モデルの評価方法および生成方法並びに装置 | |
| US20190188902A1 (en) | Determining pixel values using reference images | |
| US6542154B1 (en) | Architectural extensions to 3D texturing units for accelerated volume rendering | |
| JP3341549B2 (ja) | ３次元形状データ処理装置 | |
| US20040169652A1 (en) | System and computer-implemented method for modeling the three-dimensional shape of an object by shading of a two-dimensional image of the object | |
| JPH09128562A (ja) | ３次元形状表示方法 | |
| JPH06176107A (ja) | 距離画像処理方法及び装置 | |
| US5821942A (en) | Ray tracing through an ordered array | |
| EP0596666B1 (en) | Processing image data | |
| JPH0223473A (ja) | ３次元形状モデルへの濃淡付与方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080823 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090823 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100823 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110823 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120823 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130823 Year of fee payment: 11 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |