JPH11296696A - 3次元画像処理装置 - Google Patents

3次元画像処理装置

Info

Publication number
JPH11296696A
JPH11296696A JP10306598A JP10306598A JPH11296696A JP H11296696 A JPH11296696 A JP H11296696A JP 10306598 A JP10306598 A JP 10306598A JP 10306598 A JP10306598 A JP 10306598A JP H11296696 A JPH11296696 A JP H11296696A
Authority
JP
Japan
Prior art keywords
dimensional image
dimensional
shape
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10306598A
Other languages
English (en)
Other versions
JP3002972B2 (ja
Inventor
Shinji Yamamoto
真司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shima Seiki Mfg Ltd
Original Assignee
Shima Seiki Mfg Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shima Seiki Mfg Ltd filed Critical Shima Seiki Mfg Ltd
Priority to JP10306598A priority Critical patent/JP3002972B2/ja
Priority to US09/290,581 priority patent/US6677944B1/en
Priority to EP99106250A priority patent/EP0950988B1/en
Publication of JPH11296696A publication Critical patent/JPH11296696A/ja
Application granted granted Critical
Publication of JP3002972B2 publication Critical patent/JP3002972B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ブラシツールで2次元画像を描画することに
よって、3次元画像の作成を可能とする。 【解決手段】 ポインティングデバイス4を用いて2次
元画像の描画を行うと、2次元画像保存部9に保存され
る。2次元画像は、メインフレーム8で加工され、要素
情報が抽出される。3次元座標保存部11には、基本と
なる3次元モデルの形状を示すモデリングデータが保存
される。3次元画像処理部12では、モデリングデータ
に2次元画像から抽出される要素情報を、奥行き情報に
変換して付加し、3次元モデルを作成する。3次元モデ
ルは、レンダリング処理によって表示ユニット13で3
次元画像として表示される。表示ユニット13で2次元
画像または3次元画像を表示させながら、ポインティン
グデバイス4で修正を行うこともできる。3次元画像に
対する修正は、2次元画像に反映させ、違和感のない画
像を得ることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、コンピュータグラ
フィックスで3次元画像の処理を行う3次元画像処理装
置に関する。
【0002】
【従来の技術】従来から、コンピュータグラフィックス
の基本的な描画装置としてペイントと呼ばれるツールが
広く用いられている。ペイントツールは、人が筆で画面
に絵を書く感覚でグラフィック画像を入力することがで
きる。ペイントツールを用いる描画は、ペンとタブレッ
トとの組合せやマウスなどのポインティングデバイスで
連続的に2次元の座標を指示しながら、ポインティング
デバイスの移動に伴う座標の変化を連続的に入力する。
ポインティングデバイスには、仮想的な描画具として、
たとえば筆の属性を与えて、ポインティングデバイスを
動かすと画像上では筆が動くような描画処理が行われ
る。
【0003】
【発明が解決しようとする課題】前述のように、ペイン
トツールを使用すれば、デザイナが自由に絵を書く要領
で、任意の画像を作成することができる。コンピュータ
グラフィックスで描画する画像を、より現実的にするた
めには、3次元的に見える画像とすることが要望され
る。しかしながら、人が3次元的に見える画像を描画す
ることはかなりの技術と手間を要する。
【0004】本発明の目的は、ペイントツールで描画す
るような2次元画像を元に、多様な形状の3次元画像を
生成することができる3次元画像処理装置を提供するこ
とである。
【0005】
【課題を解決するための手段】本発明は、3次元モデル
のレンダリング処理による3次元画像を生成して表示す
ることが可能な3次元画像処理装置において、2次元画
像を描画するブラシツールを備える2次元画像描画手段
と、2次元画像描画手段によって描画される2次元画像
を含む複数の2次元画像を保存する2次元画像保存手段
と、3次元モデルの形状と2次元画像の予め定める要素
情報との関連づけを設定する関連設定手段と、2次元画
像保存手段に保存されている2次元画像を読出して、2
次元画像から3次元モデルの形状と関連づけられる要素
情報を抽出する要素抽出手段と、要素抽出手段によって
抽出される2次元画像の要素情報を、関連設定手段によ
って設定される関連づけに従い、形状に反映させて3次
元モデルを作成し、作成された3次元モデルのレンダリ
ング処理によって3次元画像を生成する3次元画像処理
手段とを含むことを特徴とする3次元画像処理装置であ
る。
【0006】本発明に従えば、2次元画像描画手段が備
えるブラシツールで2次元画像を描画すると、2次元画
像保存手段に保存される。2次元画像は、関連設定手段
によって設定される関連づけを3次元モデルに対して有
する要素情報を含む。2次元画像からは、要素抽出手段
によって要素情報が抽出され、3次元画像処理手段によ
って3次元モデルの形状に反映されて3次元モデルが作
成され、レンダリング処理によって3次元画像が生成さ
れる。すなわち、2次元画像を描画すれば、その要素情
報に基づいて、多様な形状の3次元画像を生成すること
ができる。
【0007】また本発明は、前記3次元画像処理手段に
よって生成される3次元画像を、表示される画像よりも
高い解像度で出力する画像出力手段をさらに含むことを
特徴とする。
【0008】本発明に従えば、3次元画像処理手段によ
って生成する3次元画像は、表示される画像よりも高い
解像度で画像出力手段から出力することができるので、
写真や印刷物の画質に相当する3次元画像を出力するこ
とができる。
【0009】また本発明は、前記3次元画像処理手段に
よって2次元画像の要素情報を反映した3次元モデルの
レンダリング処理が行われる際に、表示される3次元画
像上の画素から、要素を抽出した2次元画像上の画素へ
の対応関係を逆マッピング情報として生成して保存する
逆マッピング手段と、前記2次元画像描画手段への描画
操作に応じて、表示される3次元画像を修正する3次元
画像修正手段と、3次元画像修正手段による修正内容
を、逆マッピング手段によって保存される逆マッピング
情報に基づいて、2次元画像に反映させる2次元画像修
正手段とをさらに含むことを特徴とする。
【0010】本発明に従えば、逆マッピング手段によっ
て3次元画像上の画素から2次元画像上の画素への対応
関係を示す逆マッピング情報が生成して保存されるの
で、3次元画像修正手段が2次元画像描画手段への描画
操作に応じて表示されている3次元画像を修正すると、
2次元画像修正手段は逆マッピング情報に基づいて、修
正内容を2次元画像に反映させることができる。3次元
画像として表示されている画像に対する修正内容が、3
次元モデル要素情報を反映させた元の2次元画像への修
正として処理されるので、修正部分の周辺部分も含めて
違和感などの少ない、より現実的な3次元画像の修正を
行うことができる。
【0011】また本発明は、前記2次元画像描画手段へ
の描画操作によって、前記要素抽出手段が要素情報を抽
出する2次元画像、または表示される3次元画像に対す
る修正が行われるとき、修正処理が行われる部分を含む
予め定める形状の領域に制限して、前記要素抽出手段に
よる要素情報の抽出、および前記3次元画像処理手段に
よる要素情報の3次元モデルへの反映の処理を行うよう
に制御する処理領域制限手段を有することを特徴とす
る。
【0012】本発明に従えば、処理領域制限手段によっ
て修正処理が行われる領域を制限するので、画像の修正
に対する応答時間を短縮し、描画処理と表示との間での
遅延を少なくして、迅速な処理を行うことができる。
【0013】また本発明で前記処理領域制限手段は、前
記予め定める領域内で、表示される3次元画像上の画素
に対応する2次元画像上の画素のみに関して、前記3次
元モデルへの反映のための処理を行うように制御するこ
とを特徴とする。
【0014】本発明に従えば、処理領域制限手段が修正
処理を行う領域内では、表示される3次元画像上の画素
に対応する2次元画像上の画素のみに関して3次元モデ
ルへの反映のための処理を行うので、描画と表示との間
の応答時間を一層短縮し、時間的な遅延を小さくするこ
とができる。
【0015】また本発明で前記2次元画像描画手段、前
記2次元画像保存手段、前記関連設定手段、前記要素抽
出手段および前記3次元画像処理手段は、予め複数の処
理ブロックに分けられ、各ブロックがパイプライン動作
を行うことを特徴とする。
【0016】本発明に従えば、2次元画像描画手段によ
る2次元画像の描画から3次元画像処理手段による3次
元画像の作成までの各処理を、複数の処理ブロックでの
パイプライン処理によって行うので、各ブロックの処理
が効率的に行われ、連続した描画作業に対する3次元画
像の生成を迅速に行うことができる。
【0017】また本発明で前記2次元画像描画手段は、
前記ブラシツールの操作用に2次元座標および筆圧の情
報の入力が可能なポインティングデバイスを備えること
を特徴とする。
【0018】本発明に従えば、2次元画像描画手段でポ
ンイティングデバイスを操作すると、2次元座標および
筆圧の情報が入力されるので、人が筆を使って描画を行
うような感覚で2次元画像の描画を行うことができる。
【0019】また本発明で前記2次元画像描画手段の前
記ブラシツールは、ブラシ形状が変更可能であることを
特徴とする。
【0020】本発明に従えば、2次元画像描画手段のブ
ラシツールではブラシ形状が変更が可能であるので、種
々のブラシで異なった表現を柔軟に行うことができる。
【0021】また本発明で前記3次元画像処理手段は、
生成する3次元モデルのうち、前記2次元画像の要素情
報が反映される形状の部分を残し、反映されない形状の
部分は消去することを特徴とする。
【0022】本発明に従えば、3次元モデルを生成する
3次元画像処理手段は、2次元画像から抽出する要素情
報を反映する形状の部分を残して、反映されない形状の
部分を消去するので、2次元画像で抽出する要素情報の
みを立体的に表示するような効果を得ることができる。
【0023】また本発明で前記3次元画像処理手段は、
前記2次元画像の要素情報を3次元モデルの形状に反映
する際、貫入方向と突出方向との双方向に反映させるこ
とを特徴とする。
【0024】本発明に従えば、3次元画像処理手段が2
次元画像の要素情報を3次元モデルの形状に反映する際
に、貫入方向と突出方向との双方向に反映させるので、
元の2次元画像の要素情報を、たとえば絵の具のような
流動体をチューブから絞り出すような表現で3次元表示
することができる。
【0025】また本発明で前記関連設定手段は、2次元
画像を反映させる表面を有する3次元基本形状を定義す
る座標情報を保存する3次元座標保存手段を備え、3次
元座標保存手段に保存される座標情報と前記要素情報と
の関連づけが設定されることを特徴とする。
【0026】本発明に従えば、3次元モデルの基本とな
る形状を定義する座標情報は3次元座標保存手段に保存
するので、2次元画像描画手段によって描画する2次元
画像と独立に3次元モデルの形状を定義することがで
き、3次元画像処理で2次元画像を種々の形状に反映さ
せることができ、多様な3次元画像を得ることができ
る。
【0027】さらに本発明は、3次元モデルのレンダリ
ング処理による3次元画像を生成することが可能な3次
元画像処理装置において、2次元画像を描画するブラシ
ツールを備える2次元画像描画手段と、2次元画像描画
手段によって描画される2次元画像を含む複数の2次元
画像を保存する2次元画像保存手段と、3次元モデルの
形状と2次元画像の予め定める要素情報との関連づけを
設定する関連設定手段と、2次元画像保存手段に保存さ
れている2次元画像を読出して、2次元画像から3次元
モデルの形状と関連づけられる要素情報を抽出する要素
抽出手段と、要素抽出手段によって抽出される2次元画
像の要素情報を、関連設定手段によって設定される関連
づけに従い、形状に反映させて3次元モデルを作成し、
作成された3次元モデルのレンダリング処理によって3
次元画像を生成する3次元画像処理手段とを含む3次元
画像処理手段として、コンピュータを機能させるための
プログラムを記録したコンピュータ読取可能な記録媒体
である。
【0028】本発明に従えば、コンピュータを、2次元
の画像の描画でその要素情報が3次元の形状に反映され
る3次元モデルを生成し、レンダリング処理で3次元画
像として生成する3次元画像処理手段として機能させる
ことができる。
【0029】
【発明の実施の形態】図1は、本発明の実施の一形態の
3次元画像処理装置1の概略的な電気的構成を示す。2
次元画像入力部2には、予め生成される2次元画像であ
る画像3a,3b,…,3nが画像データとして入力可
能である。マウスやタブレットシステムなどのポインテ
ィングデバイス4からは、2次元画像の描画が可能であ
る。3次元画像処理装置1としての画像処理は、CPU
5のプログラム動作によって行われる。CPU5は、バ
ス6を介して、2次元画像入力部2、ブラシ形状設定部
7、メインフレーム8、2次元画像保存部9、テクスチ
ャ座標保存部10、3次元座標保存部11、3次元画像
処理部12、表示ユニット13および出力装置14など
に接続される。ポインティングデバイス4は、人から操
作されると、CPU5に割り込み信号を与え、入力操作
が行われたことを伝える。CPU5は、ポインティング
デバイス4が示す2次元座標や筆圧などの情報を、バス
6に接続されるインタフェイスなどを介して入力する。
【0030】ブラシ形状設定部7は、ポインティングデ
バイス4をブラシツールとして使用する際の、ブラシの
線幅、シェープなどの定義を行う。メインフレーム8
は、2次元画像に対して各種画像処理を行って2次元画
像加工を行う際のワークエリアとなるメモリである。2
次元画像保存部9は、2次元画像入力部2に入力される
2次元画像や、ポインティングデバイス4で描画される
2次元画像、あるいはメインフレーム8で加工を受けた
2次元画像を記憶する。記憶される2次元画像として
は、濃度マップ、テクスチャ、バンプ、マスクなどがあ
る。
【0031】テクスチャ座標保存部10には、テクスチ
ャマッピング情報が保存される。3次元座標保存部11
には、2次元画像に関連づけられて3次元表示の基本と
なる形状を定義する座標情報が、モデリングデータとし
て保存される。モデリングデータは、2次元画像の画素
と対応する画素で表面が形成され、任意の変形状態と投
影方向とを有する。なお、2次元画像に一定の厚みを付
加する手法などによって、2次元画像から直接3次元画
像を作成することもできる。この場合は、3次元座標保
存部11に3次元表示の基本となる形状を定義して座標
情報を保存する必要はない。3次元画像処理部12で
は、3次元座標保存部11に記憶されているモデリング
データに、2次元画像保存部9に保存されているテクス
チャやバンプあるいはマスクなどに対応するマッピング
情報に従って、また2次元画像から抽出される要素情報
を3次元形状に反映される際の対応関係であるマッピン
グ情報を参照し、レンダリング処理による3次元画像の
生成が行われる。3次元画像処理部12には、レンダリ
ング処理のためのレンダリングメモリが備えられる。表
示ユニット13は、たとえば陰極線管(CRT)や液晶
表示装置(LCD)などの表示画面に、3次元画像処理
部12が生成した3次元画像を表示する。また、本実施
形態では2次元画像保存部9に保存されている2次元画
像や、ポインティングデバイス4を用いて描画される2
次元画像も、表示ユニット13に表示可能である。
【0032】なお、2次元画像をブラシツールを用いて
描画するとき、選択するブラシ形状に従って直接3次元
モデルを形成することもできる。この場合、前述のよう
に、3次元座標保存部11に基本となる形状の座標情報
を保存する必要はなく、ワイヤフレームを構成するポリ
ゴンを必要最小限で済ますことができる。
【0033】表示ユニット13は、大きさと解像度に一
定の制限がある。写真や印刷物に相当する高画質を得る
ためには、表示可能な解像度よりも高い解像度の画像を
出力する必要がある。出力装置14は、たとえば高密度
のカラーレーザプリンタやカラーインクジェットプリン
タであり、大きな解像度で3次元画像を出力することが
できる。
【0034】図2は、図1の実施形態の3次元画像処理
装置1を用いて、2次元画像から3次元画像が生成され
るまでの機能構成を示す。図1の構成に対応する部分に
は同一の参照符を付し、重複した説明を省略する。図1
の構成に含まれない部分は、主としてCPU5のプログ
ラム動作によって実現される。図1のポインティングデ
バイス4は、2次元座標入力部15およびブラシツール
作成部16を含む。2次元座標入力部15では、たとえ
ばタブレットシステムのペンの線点の示す座標や、マウ
スの出力する相対的な座標の変化を入力する。また2次
元座標入力部15には、筆圧として、操作者がペンなど
を押し付ける力を入力する機能を備えていることが好ま
しい。ブラシツール作成部16では、2次元座標入力部
15から入力される最新の座標を入力し、予め設定され
ているブラシ形状に合わせてブラシ描画の対象となるフ
レームや座標の情報を出力し、またブラシによって描画
される座標が2次元画像として表示されている画像であ
ればその2次元座標を3次元座標に変換し、3次元座標
であれば2次元座標に変換する。
【0035】関連づけ処理部19は、複数のフレームに
関連を有し、ブラシツール作成部16から指定されるフ
レームと座標の情報に応じて、メインフレーム8上で2
次元画像の加工を行うように設定される。2次元画像入
力部2から入力される2次元画像も、一旦メインフレー
ム8のうちの1つのフレームに記憶され、さらに2次元
画像保存部9に保存される。2次元画像保存部9に保存
されている2次元画像をメインフレーム8に読出して、
2次元画像に対する加工を行うことも可能である。
【0036】関連づけ処理部19では、2次元画像と3
次元情報との関連づけの処理を行う。関連づけ処理で
は、ブラシツール作成部16からのブラシ設定情報や、
3次元座標保存部11、バンプデータ保存部17および
テクスチャ座標保存部10にそれぞれ保存されているモ
デリングデータ、バンプデータおよびテクスチャ座標を
参照し、2次元画像から抽出される要素情報と関連させ
る。関連づけ処理部19で関連づけされた3次元情報
は、3次元画像処理部12で3次元モデルに反映され、
3次元画像が生成される。関連づけ処理部では、直接3
次元モデルを作成するためのブラシ形状を設定すること
もできる。
【0037】3次元画像処理部12には、3次元モデリ
ングデータ作成部20、バンプデータ作成部21、テク
スチャデータ作成部22、バンプマッピング制御部2
3、バンプマッピング前処理部24、テクスチャマッピ
ング制御部25、テクスチャマッピング前処理部26お
よびレンダリング処理部27が含まれる。3次元モデリ
ングデータ作成部20では、3次元の形状を示すワイヤ
フレームモデルを、頂点の座標や法線の方向などについ
てのデータとして作成する。作成された3次元モデリン
グデータは、3次元座標保存部11に保存される。テク
スチャデータ作成部22は、物体表面の色彩、陰影、模
様等について3次元モデルの表面に付加するテクスチャ
情報のマッピングデータを座標データとして作成し、テ
クスチャ座標保存部10に保存する。
【0038】3次元モデリングデータ作成部20で作成
される3次元モデリングデータは、バンプマッピング制
御部23で、バンプマッピング前処理部24のON/O
FFを制御した後、テクスチャマッピング制御部25で
テクスチャマッピング前処理部26のON/OFF制御
を行い、レンダリング処理部27に与えられる。レンダ
リング処理部27は、バンプマッピング前処理部24ま
たはテクスチャマッピング前処理部26からのテクスチ
ャマッピングデータおよびバンプマッピングデータにそ
れぞれ応答し、3次元モデリングデータ作成部20から
の3次元画像の所定の表面にテクスチャマッピングデー
タに基づくテクスチャの付加およびバンプマッピングデ
ータに基づくバンプの付加の処理を行った後、3次元画
像を生成する。生成された3次元画像は、表示ユニット
13を介して画像表示される。また、表示ユニット13
の表示画像に基づいて、2次元座標入力部15に対する
画像の修正のための描画操作も可能である。
【0039】図1および図2の2次元画像入力部2に
は、たとえば図3に示すような2次元画像をペイントツ
ールによって描画して入力することができる。図3
(a)は、モノクロの画像であり、図3(b)は、カラ
ー画像である。これらの2次元画像は、全部を描画して
入力することもできるけれども、ファイル化された画像
データとして入力したり、その一部を修正する描画操作
を併用して入力することもできる。表示ユニット13あ
るいは出力装置14からは、図3(b)のカラー画像に
対応して図4に示すような3次元表示画像が得られる。
図4は、図3(b)のカラー画像のうちの赤色成分につ
いての濃淡を奥行情報に反映させ、さらに図3(b)の
2次元画像全体を表面にテクスチャマップした画像を示
す。
【0040】図5は、図2の3次元モデリングデータ作
成部20で作成するワイヤフレームによる3次元モデル
を示す。基本的な3次元モデルの形状を示すモデリング
データに対し、2次元画像の濃淡がポリゴンの表面の法
線方向の奥行き情報に反映され、立体感が得られてい
る。たとえば、2次元画像の濃淡から奥行情報に変換す
る際には、濃淡の階調を256階調とし、128のレベ
ルを基本色として設定する。濃淡のレベルが129〜2
55のときは、表面から突出する方向に座標変換が行わ
れ、レベルが128のときは奥行に変化がない状態であ
るので、奥行情報を消去する際に使用する。また濃淡レ
ベルが0〜127のきは、3次元モデルの表面の反対側
に引っ込むように座標変換が行われる。
【0041】図6は、図2のブラシ形状設定部7で設定
されるブラシ形状およびシェープについて示す。図6
(a)は、ブラシ形状の例を示し、断面形状として円形
のブラシ30a,30b,30c,…,30nの外径の
例を示す。ブラシ30a,30b,30c,…,30n
は、ポインティングデバイス4が指定する2次元座標を
中心として径で示される広がりを有する。径方向の広が
りについては、図6(b)で示すように、中心から外縁
に向かってレベルが連続的に変化するようなシェープを
指定することができる。シェープの形状の指定によっ
て、ブラシが表す描画具が、筆のような柔らかいもので
あるか、鉛筆のような硬いものであるかなどの違いを表
現することができる。さらに、シェープの指定によって
は、現実の描画具では実現されないような効果も持たせ
ることができる。ブラシ形状やシェープは、予め複数種
類を用意しておいて選択可能としたり、データを直接変
更可能としたりすることもできる。
【0042】図7〜図10は、ブラシ形状による表現の
柔軟性の例を示す。図7はブラシの形状を表現するシェ
ープについて、2種類の形状の例を(a)および(b)
について示す。ペイントツールの描画処理では、レベル
に応じて、ブラシの描画の内容が下地の画像と置き換え
られる。レベルが100%であれば、描画内容が全部下
地と置き換えられる。ブラシレベルが0%であれば、下
地の内容がそのまま残る。中間のレベルであれば、その
レベルの割合に応じて下地の内容と描画された内容とが
混合された効果が得られる。図8(a)は、図7(a)
に示すようなシェープのブラシ形状で、線幅については
一定で描画を行った2次元画像の例を示す。このような
描画は、筆圧入力の機能の無いペンを用いるか、筆圧入
力機能を有するペンでは筆圧を一定にして行う。図8
(b)は、図7(b)のようなシェープのブラシ形状
で、筆圧を変化させて線幅も変化させた描画を行った2
次元画像を示す。
【0043】図9は、図8に示す2次元画像の白黒の濃
淡を奥行き情報に反映させ、3次元画像を形成した状態
を示す。ただし図8(a),(b)の2次元画像が反映
される3次元画像は、図9(a),(b)に基本となる
3次元モデリングデータとともにそれぞれ表示される。
図10では、図9(b)ではともに表示される基本とな
る3次元モデリングデータに対応する部分を消去して、
図8(b)に示す2次元画像を単独で3次元化したよう
に見える表現を行っている。図10に示すような3次元
画像の生成の過程についての説明は、後述する。
【0044】図11は、図1の実施形態での基本的な3
次元画像の描画手順を示す。ステップa1から手順を開
始し、ステップa2ではポインティングデバイス4を用
いて2次元画像の描画を行い、2次元画像として入力す
る。ステップa3では、2次元画像全体に対して3次元
座標の初期設定を行い、3次元モデリングデータを作成
する。たとえば図12(a)に示すような2次元的なワ
イヤフレームを、図12(b)に示すように変形させた
3次元的なワイヤフレームに対応させ、3次元モデリン
グデータを作成する。ステップa4では、ステップa2
で入力された2次元画像から予め設定される要素情報を
抽出し、3次元座標の奥行き座標に変換する。要素情報
としては、たとえばモノクロの2次元座標からは白黒の
濃淡情報を抽出し、カラー画像からは特定の色成分につ
いての濃淡情報を抽出する。ステップa5では、ステッ
プa3で形成する3次元モデリングデータに、ステップ
a4で変換された3次元座標の奥行き座標を追加し、図
5に示すようなワイヤフレームによる3次元モデルを作
成する。ステップa6では、レンダリング処理によっ
て、たとえば図13に示すような3次元画像を生成す
る。図13(a)は、図3(a)のモノクロの2次元画
像に対応する3次元のレンダリング後の画像の例を示
す。このような画像は、3次元モデリングデータに対し
て、テクスチャマッピングを行わないときに、色を指定
してサーフェイスモデルとして作成することも可能であ
る。図13(b)は、図3(b)のカラー2次元画像の
1つの色の成分を奥行き座標に変換して形成する3次元
モデルに、元の2次元のカラー画像自体をテクスチャマ
ッピングして形成する3次元画像の例を示す。
【0045】図14は、本発明の実施の他の形態の処理
手順を示す。本実施形態では、ステップb1から手順を
開始し、ステップb2、ステップb3およびステップb
4については、図11のステップa1、ステップa2、
ステップa3およびステップb4とそれぞれ同等の処理
を行う。ステップb5では、たとえば図12(b)に示
すような3次元モデルの基本となるモデリングデータの
うち、ステップb4で図5に示すような3次元座標の奥
行き座標への変換の影響を受けない部分について、消去
する。ステップb6では、ステップa5と同様に、3次
元のワイヤフレームモデルを作成し、ステップb7では
ステップa6と同様にレンダリング処理によって3次元
画像の生成を行い、ステップb8で手順を終了する。本
実施形態では、ワイヤフレームを構成するポリゴンのう
ち、法線方向への変化のない部分が消去されるので、ス
テップb6の3次元モデルは、たとえば図15に示すよ
うな変化部分のみが残り、そのレンダリング処理の結果
は図16(a)や図16(b)に示すようになる。な
お、図16(a),(b)は、図3(a),(b)の2
次元画像をそれぞれ反映して生成されている。
【0046】図10に示すような3次元画像は、図14
のステップb5で、変化がない部分の3次元モデリング
データを消去する前に、ステップb4で2次元画像の要
素情報を3次元座標の奥行き情報に変換する際に、表面
から突出する方向とともにその反対側の表面に貫入する
方向への座標変換も同時に行う。すなわち奥行き方向の
座標への変換で、3次元の表面から突出するような変化
が得られる場合には、3次元の表面から反対側に引っ込
むような変化も同時に与え、図17に示すような3次元
モデルを作成する。ただし、図17の3次元モデルの基
本となるモデリングデータは、図5とは異なる。図3
(a),(b)の2次元画像に基づき、図17に示すよ
うな3次元モデルについてレンダリング処理を行うと、
図18(a)または図18(b)に示すような3次元画
像を得ることができる。このような3次元画像は、図1
0について説明したと同様に、絵の具のような流動体
を、チューブから絞り出したような形状の3次元画像を
生成することができる。
【0047】図19は、本発明の実施のさらに他の形態
としての動作手順を示す。ステップc1から手順を開始
し、ステップc2では、2次元の画像入力を行う。ステ
ップc3では、画像入力の際に描画操作が行われたエリ
アブロックを決定し、ステップc4では、ステップc3
で決定されたエリアブロック内のみをアップデートの対
象として、ステップc5で図11のステップa3以下の
3次元画像処理を行う。ステップc6で描画が終了しな
いときには、ステップc2に戻り、終了すればステップ
c7で手順も終了する。すなわち図20に示すように、
元の2次元画像の一部をブラシツールを用いる描画操作
で変更すると、レンダリング処理の内容は図21(a)
に示すように、変化があった部分だけ表示される。ある
いは図21(b)に示すように、他の部分の表示は消去
して、変化部分だけ表示する。このようにアップデート
の対象範囲を制限すると、図20に示すような描画から
図21に示すような画像表示までに要する時間を短縮
し、応答性の良いシステムを構成することができる。
【0048】図1の出力装置14から高い解像度の3次
元画像を出力させる場合には、膨大な画像データの処理
を行う必要がある。このため、ソフトウエアとしては、
図19に示すような部分的な画像処理や、さらに表示ユ
ニット13での表示の対象となる画素のみに対する画像
処理を行い、出力装置14に画像を出力する場合に、全
部の画素についての処理を行わせることもできる。最終
的な3次元画像の仕上がり具合は、出力装置14から出
力される画像を見て確認する必要があるけれども、その
途中の段階では、より解像度が低い表示ユニット13の
画像表示である程度まで確認することができる。ポイン
ティングデバイス4の操作と表示ユニット13での画像
表示とが、時間の遅れなく連動して行われる方が操作レ
スポンスの点で好ましい。
【0049】また、たとえばブラシツールを用いての描
画過程と、3次元のモデリング過程と、レンダリング過
程とを、それぞれブロック化してマルチプロセッサ構成
とし、パイプライン処理を並行して行うようにすれば、
全体の画像処理をさらに高速化し、レスポンスを改善す
ることができる。
【0050】また表示ユニット13に表示される3次元
画像に対して、ポインティングデバイス4で修正する描
画を行うと、その結果を元の2次元画像に反映させて、
2次元画像を修正するようにすることもできる。このと
きは、図19のステップc2で3次元画像の描画による
修正を行う。以下、ステップc3と同様にエリアブロッ
クを設定し、ステップc4に相当するステップで対応す
る元の2次元画像のエリアブロック内のアップデートを
行う。2次元画像を修正すれば、さらにその2次元画像
の修正された要素情報が3次元モデルに反映され、3次
元画像が修正される。最終的な3次元画像を直接修正す
ると、必ずしも自然な3次元画像ではなくなる可能性が
あるけれども、元の2次元画像から修正すれば他の部分
と違和感のない3次元画像を得ることができる。ただ
し、3次元画像上の画素から元の2次元画像上の画素へ
迅速に対応させるためには、2次元画像から抽出する要
素情報を3次元情報に変換させる際に、2次元の画像の
画素から3次元画像の画素へのマッピング情報ととも
に、逆方向にマッピング可能な逆マッピング情報を作成
しておく。逆マッピング情報は、たとえば3次元画像を
記憶するメモリを逆マッピング手段として、各画素毎に
逆マッピングアドレスとして記憶しておく。ポインティ
ングデバイス4で表示ユニット13に表示されている3
次元画像の画素を指定すれば、対応する画素から逆マッ
ピングアドレスが読出され、対応する2次元画像の画素
を迅速に指定して、処理を施すことができる。
【0051】レンダリング処理によって得られた3次元
画像に対して修正を行う場合には、その修正を行う方向
によって2種類があり、これを切換可能にしておく。
【0052】レンダリングによって表示される3次元
画像の向きに関係なく、ペンで指定した位置での3次元
モデルの表面に対し、垂直方向に奥行の座標変換を行
う。3次元モデル表面に対する修正角度は、投影角度に
関係しない。
【0053】レンダリングによって表示される3次元
画像のペンで指定した位置に対して、表示画面から見た
方向に奥行の座標変換を行う。投影角度によって、3次
元モデル表面に対する修正角度が変化する。
【0054】ここで3次元画像の修正では、2種類のペ
ンを用意しておき、上述の3次元モデル修正用と、テク
スチャ画像修正用とに切換え可能にしておく。ペンの種
類を上述の3次元モデル修正用からテクスチャ画像修正
用に切換えて、3次元画像処理部12のレンダリングメ
モリに記憶される画像データを修正すれば、3次元画像
の表面にテクスチャマッピングを行うための2次元のテ
クスチャ画像データに対する修正を行うこともできる。
テクスチャ画像についても、レンダリング処理によって
得られる画像データを見ながら修正することが可能とな
るので、画像データの修正を容易に行うことができる。
【0055】また、図1に示すような3次元画像処理装
置1は、ブラシ形状設定部7や3次元画像処理部12な
どがそれぞれ独立して動作する専用のハードウエアとし
て構成し、パイプライン処理で高速化を図ることができ
るとともに、CPU5が予め設定されるプログラムに従
って全体の処理を行うような構成とすることもできる。
このような構成であれば、汎用のワークステーションや
パーソナルコンピュータを用いて、プログラムが予め記
録されているCD−ROMなどの記録媒体を挿入し、3
次元画像処理装置1として動作させることができる。
【0056】
【発明の効果】以上のように本発明によれば、2次元の
画像をブラシツールで描画すると、その2次元画像の要
素情報が反映された3次元画像を生成することができ
る。生成される3次元画像は、3次元モデルと2次元画
像の予め定める要素情報との関連づけに従って任意に変
形することも可能であるので、多彩な表現を行うことが
できる。生成された3次元画像は表示することができる
ので、2次元画像に基づく描画結果を容易に確認するこ
とができる。
【0057】また本発明によれば、生成された3次元画
像を、画像表示よりも高い解像度で画像出力手段によっ
て出力することができるので、高画質な3次元画像を出
力させることができる。
【0058】また本発明によれば、2次元画像描画手段
で表示画像に対する修正を行うと、逆マッピング情報に
基づいて3次元モデルの形状に要素を反映させた2次元
画像の対応する部分が修正されるので、3次元画像の表
示を見ながら周辺部も含めた自然な画像の修正を行うこ
とができる。
【0059】また本発明によれば、画像の修正の際には
修正される部分を含む予め定める領域に制限して処理が
行われるので、修正のための描画処理からその結果が表
示されるまでに要する時間が短縮され、応答性を改善す
ることができる。
【0060】また本発明によれば、表示される画像に対
して修正処理が行われるときには、表示される画像に対
応する2次元画像の画素に対して修正処理が行われるの
で、2次元画像や3次元画像が表示される画像よりも高
い解像度を有する場合でも、修正処理で対象となる画素
の数を制限し、修正の効果を迅速に画像表示して確認す
ることができる。
【0061】また本発明によれば、パイプライン動作で
画像の処理に要する時間を短縮し、描画操作からその描
画情報が反映される3次元画像の生成までに要する時間
の短縮を図ることができる。
【0062】また本発明によれば、2次元画像描画手段
では、マウスやタブレットシステムなどのポインティン
グデバイスで2次元座標とともに筆圧の情報も入力する
ことができるので、濃淡がある描画など、多彩な表現で
2次元画像を描画することができる。
【0063】また本発明によれば、2次元画像描画手段
のブラシツールはブラシ形状が変更可能であるので、ブ
ラシの径を任意に設定したり、ブラシ内での濃度の分布
を示すシェープデータなどを変更し、多彩かつ柔軟な表
現を行うことができる。
【0064】また本発明によれば、ブラシツールで描画
した2次元画像のみが立体化して3次元画像を生成する
ことができる。
【0065】また本発明によれば、ブラシツールで描画
する2次元画像のみが、たとえば絵の具のチューブから
絞り出されたような形状の3次元画像を生成することが
できる。
【0066】また本発明によれば、2次元画像とは独立
に3次元モデルを定義し、その形状を基本として2次元
画像から抽出される要素情報を反映させた3次元画像を
得ることができる。
【0067】さらに本発明によれば、コンピュータを、
2次元の画像をペイントツールで描画し、描画された2
次元画像が3次元形状に反映される3次元画像処理装置
として機能させることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態の3次元画像処理装置1
の概略的な電気的構成を示すブロック図である。
【図2】図1の3次元画像処理装置の論理的構成を示す
ブロック図である。
【図3】図1の2次元画像入力部2に入力される2次元
画像の例を示す図である。
【図4】図1の3次元画像処理部12で生成される3次
元画像の例を示す図である。
【図5】図2の3次元モデリングデータ作成部20で生
成されるワイヤフレームによる3次元モデルの例を示す
図である。
【図6】図1のブラシ形状設定部7で設定されるブラシ
の径やシェープの例を示す図である。
【図7】図1のブラシ形状設定部7で設定されるブラシ
形状のうちのシェープの変化の例を示す図である。
【図8】図7のシェープを用いて描画した2次元画像を
示す図である。
【図9】図8の2次元画像の濃淡が奥行き情報に反映さ
れる3次元画像を示す図である。
【図10】図9の3次元画像で基本となるモデリングデ
ータと変化がない部分を消去し、濃淡情報を奥行きと突
出との双方向に反映させた3次元画像を示す図である。
【図11】図1の実施形態の基本的な処理手順を示すフ
ローチャートである。
【図12】3次元モデルの基本となる3次元のワイヤフ
レームモデルについての初期設定状態と変形状態とを示
す図である。
【図13】図3の2次元画像に基づいて生成される3次
元画像の例を示す図である。
【図14】本発明の実施の他の形態の処理手順を示すフ
ローチャートである。
【図15】図14の処理手順のステップb6で生成され
る3次元モデルの例を示す図である。
【図16】図14のステップb7で生成される3次元画
像の例を示す図である。
【図17】2次元画像から抽出される要素情報を貫入方
向と突出方向の双方向に作用させて形成する3次元モデ
ルを示す図である。
【図18】図17の3次元モデルのレンダリング処理に
よって生成される3次元画像を示す図である。
【図19】本発明の実施のさらに他の形態の処理手順を
示すフローチャートである。
【図20】図19の処理手順で描画操作に対応してアッ
プデートの対象となる領域を、元の2次元画像とともに
示す図である。
【図21】図20のアップデートの対象となる領域のみ
について画像処理が行われている状態を示す図である。
【符号の説明】
1 3次元画像処理装置 2 2次元画像入力部 4 ポインティングデバイス 5 CPU 7 ブラシ形状設定部 8 メインフレーム 9 2次元画像保存部 10 テクスチャ座標保存部 11 3次元座標保存部 12 3次元画像処理部 13 表示ユニット 14 出力装置 15 2次元座標入力部 16 ブラシツール作成部 17 バンプデータ保存部 19 関連づけ処理部 20 3次元モデリングデータ作成部 21 バンプデータ作成部 22 テクスチャデータ作成部 27 レンダリング処理部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成11年7月26日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0005
【補正方法】変更
【補正内容】
【0005】
【課題を解決するための手段】本発明は、3次元モデル
のレンダリング処理による3次元画像を生成して表示す
ることが可能な3次元画像処理装置において、2次元画
像を描画するブラシツールを備える2次元画像描画手段
と、2次元画像描画手段によって描画される2次元画像
を含む複数の2次元画像を保存する2次元画像保存手段
と、3次元モデルの形状と2次元画像の予め定める要素
情報との関連づけを設定する関連設定手段と、2次元画
像保存手段に保存されている2次元画像を読出して、2
次元画像から3次元モデルの形状と関連づけられる要素
情報を抽出する要素抽出手段と、要素抽出手段によって
抽出される2次元画像の要素情報を、関連設定手段によ
って設定される関連づけに従い、形状に反映させて3次
元モデルを作成し、作成された3次元モデルのレンダリ
ング処理によって3次元画像を生成する3次元画像処理
手段と、3次元画像処理手段によって2次元画像の要素
情報を反映した3次元モデルのレンダリング処理が行わ
れる際に、表示される3次元画像上の画素から、要素を
抽出した2次元画像上の画素への対応関係を逆マッピン
グ情報として生成して保存する逆マッピング手段と、2
次元画像描画手段への描画操作に応じて、表示される3
次元画像を修正する3次元画像修正手段と、3次元画像
修正手段による修正内容を、逆マッピング手段によって
保存される逆マッピング情報に基づいて、2次元画像に
反映させる2次元画像修正手段とを含むことを特徴とす
る3次元画像処理装置である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正内容】
【0006】本発明に従えば、2次元画像描画手段が備
えるブラシツールで2次元画像を描画すると、2次元画
像保存手段に保存される。2次元画像は、関連設定手段
によって設定される関連づけを3次元モデルに対して有
する要素情報を含む。2次元画像からは、要素抽出手段
によって要素情報が抽出され、3次元画像処理手段によ
って3次元モデルの形状に反映されて3次元モデルが作
成され、レンダリング処理によって3次元画像が生成さ
れる。すなわち、2次元画像を描画すれば、その要素情
報に基づいて、多様な形状の3次元画像を生成すること
ができる。また、逆マッピング手段によって3次元画像
上の画素から2次元画像上の画素への対応関係を示す逆
マッピング情報が生成して保存されるので、3次元画像
修正手段が2次元画像描画手段への描画操作に応じて表
示されている3次元画像を修正すると、2次元画像修正
手段は逆マッピング情報に基づいて、修正内容を2次元
画像に反映させることができる。3次元画像として表示
されている画像に対する修正内容が、3次元モデル要素
情報を反映させた元の2次元画像への修正として処理さ
れるので、修正部分の周辺部分も含めて違和感などの少
ない、より現実的な3次元画像の修正を行うことができ
る。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正内容】
【0007】さらに本発明は、3次元モデルのレンダリ
ング処理による3次元画像を生成して表示することが可
能な3次元画像処理装置において、2次元画像を描画す
るブラシツールを備える2次元画像描画手段と、2次元
画像描画手段によって描画される2次元画像を含む複数
の2次元画像を保存する2次元画像保存手段と、3次元
モデルの形状と2次元画像の予め定める要素情報との関
連づけを設定する関連設定手段と、2次元画像保存手段
に保存されている2次元画像を読出して、2次元画像か
ら3次元モデルの形状と関連づけられる要素情報を抽出
する要素抽出手段と、要素抽出手段によって抽出される
2次元画像の要素情報を、関連設定手段によって設定さ
れる関連づけに従い、形状に反映させて3次元モデルを
作成し、作成された3次元モデルのレンダリング処理に
よって3次元画像を生成する3次元画像処理手段と、2
次元画像描画手段への描画操作によって、要素抽出手段
が要素情報を抽出する2次元画像、または表示される3
次元画像に対する修正が行われるとき、修正処理が行わ
れる部分を含む予め定める形状の領域に制限して、前記
要素抽出手段による要素情報の抽出、および3次元画像
処理手段による要素情報の3次元モデルへの反映の処理
を行うように制御する処理領域制限手段とを含むことを
特徴とする3次元画像処理装置である。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正内容】
【0008】本発明に従えば、2次元画像描画手段が備
えるブラシツールで2次元画像を描画すると、2次元画
像保存手段に保存される。2次元画像は、関連設定手段
によって設定される関連づけを3次元モデルに対して有
する要素情報を含む。2次元画像からは、要素抽出手段
によって要素情報が抽出され、3次元画像処理手段によ
って3次元モデルの形状に反映されて3次元モデルが作
成され、レンダリング処理によって3次元画像が生成さ
れる。すなわち、2次元画像を描画すれば、その要素情
報に基づいて、多様な形状の3次元画像を生成すること
ができる。さらに、処理領域制限手段によって修正処理
が行われる領域を制限するので、画像の修正に対する応
答時間を短縮し、描画処理と表示との間での遅延を少な
くして、迅速な処理を行うことができる。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正内容】
【0009】また本発明で前記処理領域制限手段は、前
記予め定める領域内で、表示される3次元画像上の画素
に対応する2次元画像上の画素のみに関して、前記3次
元モデルへの反映のための処理を行うように制御するこ
とを特徴とする。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正内容】
【0010】本発明に従えば、処理領域制限手段が修正
処理を行う領域内では、表示される3次元画像上の画素
に対応する2次元画像上の画素のみに関して3次元モデ
ルへの反映のための処理を行うので、描画と表示との間
の応答時間を一層短縮し、時間的な遅延を小さくするこ
とができる。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正内容】
【0011】さらに本発明は、3次元モデルのレンダリ
ング処理による3次元画像を生成して表示することが可
能な3次元画像処理装置において、2次元画像を描画す
るブラシツールを備える2次元画像描画手段と、2次元
画像描画手段によって描画される2次元画像を含む複数
の2次元画像を保存する2次元画像保存手段と、3次元
モデルの形状と2次元画像の予め定める要素情報との関
連づけを設定する関連設定手段と、2次元画像保存手段
に保存されている2次元画像を読出して、2次元画像か
ら3次元モデルの形状と関連づけられる要素情報を抽出
する要素抽出手段と、要素抽出手段によって抽出される
2次元画像の要素情報を、関連設定手段によって設定さ
れる関連づけに従い、形状に反映させて3次元モデルを
作成し、作成された3次元モデルのレンダリング処理に
よって3次元画像を生成する3次元画像処理手段とを含
み、2次元画像描画手段、2次元画像保存手段、関連設
定手段、要素抽出手段および3次元画像処理手段は、予
め複数の処理ブロックに分けられ、各ブロックがパイプ
ライン動作を行うことを特徴とする3次元画像処理装置
である。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正内容】
【0012】本発明に従えば、2次元画像描画手段が備
えるブラシツールで2次元画像を描画すると、2次元画
像保存手段に保存される。2次元画像は、関連設定手段
によって設定される関連づけを3次元モデルに対して有
する要素情報を含む。2次元画像からは、要素抽出手段
によって要素情報が抽出され、3次元画像処理手段によ
って3次元モデルの形状に反映されて3次元モデルが作
成され、レンダリング処理によって3次元画像が生成さ
れる。すなわち、2次元画像を描画すれば、その要素情
報に基づいて、多様な形状の3次元画像を生成すること
ができる。さらに、2次元画像描画手段による2次元画
像の描画から3次元画像処理手段による3次元画像の作
成までの各処理を、複数の処理ブロックでのパイプライ
ン処理によって行うので、各ブロックの処理が効率的に
行われ、連続した描画作業に対する3次元画像の生成を
迅速に行うことができる。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正内容】
【0013】さらに本発明は、3次元モデルのレンダリ
ング処理による3次元画像を生成して表示することが可
能な3次元画像処理装置において、2次元画像を描画す
るブラシツールを備える2次元画像描画手段と、2次元
画像描画手段によって描画される2次元画像を含む複数
の2次元画像を保存する2次元画像保存手段と、3次元
モデルの形状と2次元画像の予め定める要素情報との関
連づけを設定する関連設定手段と、2次元画像保存手段
に保存されている2次元画像を読出して、2次元画像か
ら3次元モデルの形状と関連づけられる要素情報を抽出
する要素抽出手段と、要素抽出手段によって抽出される
2次元画像の要素情報を、関連設定手段によって設定さ
れる関連づけに従い、形状に反映させて3次元モデルを
作成し、作成された3次元モデルのレンダリング処理に
よって3次元画像を生成する3次元画像処理手段とを含
み、3次元画像処理手段は、生成する3次元モデルのう
ち、2次元画像の要素情報が反映される形状の部分を残
し、反映されない形状の部分は消去することを特徴とす
る3次元画像処理装置である。
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正内容】
【0014】本発明に従えば、2次元画像描画手段が備
えるブラシツールで2次元画像を描画すると、2次元画
像保存手段に保存される。2次元画像は、関連設定手段
によって設定される関連づけを3次元モデルに対して有
する要素情報を含む。2次元画像からは、要素抽出手段
によって要素情報が抽出され、3次元画像処理手段によ
って3次元モデルの形状に反映されて3次元モデルが作
成され、レンダリング処理によって3次元画像が生成さ
れる。すなわち、2次元画像を描画すれば、その要素情
報に基づいて、多様な形状の3次元画像を生成すること
ができる。さらに、3次元モデルを生成する3次元画像
処理手段は、2次元画像から抽出する要素情報を反映す
る形状の部分を残して、反映されない形状の部分を消去
するので、2次元画像で抽出する要素情報のみを立体的
に表示するような効果を得ることができる。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】0015
【補正方法】変更
【補正内容】
【0015】また本発明で前記3次元画像処理手段は、
前記2次元画像の要素情報を3次元モデルの形状に反映
する際、貫入方向と突出方向との双方向に反映させるこ
とを特徴とする。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】0016
【補正方法】変更
【補正内容】
【0016】本発明に従えば、3次元画像処理手段が2
次元画像の要素情報を3次元モデルの形状に反映する際
に、貫入方向と突出方向との双方向に反映させるので、
元の2次元画像の要素情報を、たとえば絵の具のような
流動体をチューブから絞り出すような表現で3次元表示
することができる。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】0017
【補正方法】変更
【補正内容】
【0017】また本発明は、前記3次元画像処理手段に
よって生成される3次元画像を、表示される画像よりも
高い解像度で出力する画像出力手段をさらに含むことを
特徴とする。
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正内容】
【0018】本発明に従えば、3次元画像処理手段によ
って生成する3次元画像は、表示される画像よりも高い
解像度で画像出力手段から出力することができるので、
写真や印刷物の画質に相当する3次元画像を出力するこ
とができる。
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】変更
【補正内容】
【0019】また本発明で、前記2次元画像描画手段
は、前記ブラシツールの操作用に2次元座標および筆圧
の情報の入力が可能なポインティングデバイスを備える
ことを特徴とする。
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】変更
【補正内容】
【0020】本発明に従えば、2次元画像描画手段でポ
ンイティングデバイスを操作すると、2次元座標および
筆圧の情報が入力されるので、人が筆を使って描画を行
うような感覚で2次元画像の描画を行うことができる。
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】0021
【補正方法】変更
【補正内容】
【0021】また本発明で前記2次元画像描画手段の前
記ブラシツールは、ブラシ形状が変更可能であることを
特徴とする。
【手続補正19】
【補正対象書類名】明細書
【補正対象項目名】0022
【補正方法】変更
【補正内容】
【0022】本発明に従えば、2次元画像描画手段のブ
ラシツールではブラシ形状が変更が可能であるので、種
々のブラシで異なった表現を柔軟に行うことができる。
【手続補正20】
【補正対象書類名】明細書
【補正対象項目名】0023
【補正方法】変更
【補正内容】
【0023】また本発明で前記関連設定手段は、2次元
画像を反映させる表面を有する3次元基本形状を定義す
る座標情報を保存する3次元座標保存手段を備え、3次
元座標保存手段に保存される座標情報と前記要素情報と
の関連づけが設定されることを特徴とする。
【手続補正21】
【補正対象書類名】明細書
【補正対象項目名】0024
【補正方法】変更
【補正内容】
【0024】本発明に従えば、3次元モデルの基本とな
る形状を定義する座標情報は3次元座標保存手段に保存
するので、2次元画像描画手段によって描画する2次元
画像と独立に3次元モデルの形状を定義することがで
き、3次元画像処理で2次元画像を種々の形状に反映さ
せることができ、多様な3次元画像を得ることができ
る。
【手続補正22】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】変更
【補正内容】
【0025】さらに本発明は、3次元モデルのレンダリ
ング処理による3次元画像を生成して表示することが可
能な3次元画像処理装置において、2次元画像を描画す
るブラシツールを備える2次元画像描画手段と、2次元
画像描画手段によって描画される2次元画像を含む複数
の2次元画像を保存する2次元画像保存手段と、3次元
モデルの形状と2次元画像の予め定める要素情報との関
連づけを設定する関連設定手段と、2次元画像保存手段
に保存されている2次元画像を読出して、2次元画像か
ら3次元モデルの形状と関連づけられる要素情報を抽出
する要素抽出手段と、要素抽出手段によって抽出される
2次元画像の要素情報を、関連設定手段によって設定さ
れる関連づけに従い、形状に反映させて3次元モデルを
作成し、作成された3次元モデルのレンダリング処理に
よって3次元画像を生成する3次元画像処理手段と、3
次元画像処理手段によって2次元画像の要素情報を反映
した3次元モデルのレンダリング処理が行われる際に、
表示される3次元画像上の画素から、要素を抽出した2
次元画像上の画素への対応関係を逆マッピング情報とし
て生成して保存する逆マッピング手段と、2次元画像描
画手段への描画操作に応じて、表示される3次元画像を
修正する3次元画像修正手段と、3次元画像修正手段に
よる修正内容を、逆マッピング手段によって保存される
逆マッピング情報に基づいて、2次元画像に反映させる
2次元画像修正手段とを含む3次元画像処理手段とし
て、コンピュータを機能させるためのプログラムを記録
したコンピュータ読取可能な記録媒体である。
【手続補正23】
【補正対象書類名】明細書
【補正対象項目名】0026
【補正方法】変更
【補正内容】
【0026】本発明に従えば、コンピュータを、2次元
の画像の描画でその要素情報が3次元の形状に反映され
る3次元モデルを生成し、レンダリング処理で3次元画
像として生成する3次元画像処理手段として機能させる
ことができる。さらに、逆マッピング手段によって3次
元画像上の画素から2次元画像上の画素への対応関係を
示す逆マッピング情報が生成して保存されるので、3次
元画像修正手段が2次元画像描画手段への描画操作に応
じて表示されている3次元画像を修正すると、2次元画
像修正手段は逆マッピング情報に基づいて、修正内容を
2次元画像に反映させることができる。3次元画像とし
て表示されている画像に対する修正内容が、3次元モデ
ル要素情報を反映させた元の2次元画像への修正として
処理されるので、修正部分の周辺部分も含めて違和感な
どの少ない、より現実的な3次元画像の修正を行うこと
ができる。
【手続補正24】
【補正対象書類名】明細書
【補正対象項目名】0027
【補正方法】変更
【補正内容】
【0027】さらに本発明は、3次元モデルのレンダリ
ング処理による3次元画像を生成して表示することが可
能な3次元画像処理装置において、2次元画像を描画す
るブラシツールを備える2次元画像描画手段と、2次元
画像描画手段によって描画される2次元画像を含む複数
の2次元画像を保存する2次元画像保存手段と、3次元
モデルの形状と2次元画像の予め定める要素情報との関
連づけを設定する関連設定手段と、2次元画像保存手段
に保存されている2次元画像を読出して、2次元画像か
ら3次元モデルの形状と関連づけられる要素情報を抽出
する要素抽出手段と、要素抽出手段によって抽出される
2次元画像の要素情報を、関連設定手段によって設定さ
れる関連づけに従い、形状に反映させて3次元モデルを
作成し、作成された3次元モデルのレンダリング処理に
よって3次元画像を生成する3次元画像処理手段と、2
次元画像描画手段への描画操作によって、要素抽出手段
が要素情報を抽出する2次元画像、または表示される3
次元画像に対する修正が行われるとき、修正処理が行わ
れる部分を含む予め定める形状の領域に制限して、前記
要素抽出手段による要素情報の抽出、および3次元画像
処理手段による要素情報の3次元モデルへの反映の処理
を行うように制御する処理領域制限手段とを含む3次元
画像処理手段として、コンピュータを機能させるための
プログラムを記録したコンピュータ読取可能な記録媒体
である。
【手続補正25】
【補正対象書類名】明細書
【補正対象項目名】0028
【補正方法】変更
【補正内容】
【0028】本発明に従えば、コンピュータを、2次元
の画像の描画でその要素情報が3次元の形状に反映され
る3次元モデルを生成し、レンダリング処理で3次元画
像として生成する3次元画像処理手段として機能させる
ことができる。さらに、処理領域制限手段によって修正
処理が行われる領域を制限するので、画像の修正に対す
る応答時間を短縮し、描画処理と表示との間での遅延を
少なくして、迅速な処理を行うことができる。
【手続補正26】
【補正対象書類名】明細書
【補正対象項目名】0056
【補正方法】変更
【補正内容】
【0056】
【発明の効果】以上のように本発明によれば、2次元の
画像をブラシツールで描画すると、その2次元画像の要
素情報が反映された3次元画像を生成することができ
る。生成される3次元画像は、3次元モデルと2次元画
像の予め定める要素情報との関連づけに従って任意に変
形することも可能であるので、多彩な表現を行うことが
できる。生成された3次元画像は表示することができる
ので、2次元画像に基づく描画結果を容易に確認するこ
とができる。また、2次元画像描画手段で表示画像に対
する修正を行うと、逆マッピング情報に基づいて3次元
モデルの形状に要素を反映させた2次元画像の対応する
部分が修正されるので、3次元画像の表示を見ながら周
辺部も含めた自然な画像の修正を行うことができる。
【手続補正27】
【補正対象書類名】明細書
【補正対象項目名】0057
【補正方法】変更
【補正内容】
【0057】さらに本発明によれば、2次元の画像をブ
ラシツールで描画すると、その2次元画像の要素情報が
反映された3次元画像を生成することができる。生成さ
れる3次元画像は、3次元モデルと2次元画像の予め定
める要素情報との関連づけに従って任意に変形すること
も可能であるので、多彩な表現を行うことができる。生
成された3次元画像は表示することができるので、2次
元画像に基づく描画結果を容易に確認することができ
る。また、画像の修正の際には修正される部分を含む予
め定める領域に制限して処理が行われるので、修正のた
めの描画処理からその結果が表示されるまでに要する時
間が短縮され、応答性を改善することができる。
【手続補正28】
【補正対象書類名】明細書
【補正対象項目名】0058
【補正方法】変更
【補正内容】
【0058】また本発明によれば、表示される画像に対
して修正処理が行われるときには、表示される画像に対
応する2次元画像の画素に対して修正処理が行われるの
で、2次元画像や3次元画像が表示される画像よりも高
い解像度を有する場合でも、修正処理で対象となる画素
の数を制限し、修正の効果を迅速に画像表示して確認す
ることができる。
【手続補正29】
【補正対象書類名】明細書
【補正対象項目名】0059
【補正方法】変更
【補正内容】
【0059】さらに本発明によれば、2次元の画像をブ
ラシツールで描画すると、その2次元画像の要素情報が
反映された3次元画像を生成することができる。生成さ
れる3次元画像は、3次元モデルと2次元画像の予め定
める要素情報との関連づけに従って任意に変形すること
も可能であるので、多彩な表現を行うことができる。生
成された3次元画像は表示することができるので、2次
元画像に基づく描画結果を容易に確認することができ
る。また、パイプライン動作で画像の処理に要する時間
を短縮し、描画操作からその描画情報が反映される3次
元画像の生成までに要する時間の短縮を図ることができ
る。
【手続補正30】
【補正対象書類名】明細書
【補正対象項目名】0060
【補正方法】変更
【補正内容】
【0060】さらに本発明によれば、2次元の画像をブ
ラシツールで描画すると、その2次元画像の要素情報が
反映された3次元画像を生成することができる。生成さ
れる3次元画像は、3次元モデルと2次元画像の予め定
める要素情報との関連づけに従って任意に変形すること
も可能であるので、多彩な表現を行うことができる。生
成された3次元画像は表示することができるので、2次
元画像に基づく描画結果を容易に確認することができ
る。また、ブラシツールで描画した2次元画像のみが立
体化して表示されるような3次元画像を生成することが
できる。
【手続補正31】
【補正対象書類名】明細書
【補正対象項目名】0061
【補正方法】変更
【補正内容】
【0061】また本発明によれば、ブラシツールで描画
する2次元画像のみが、たとえば絵の具のチューブから
絞り出されたような形状の3次元画像を生成することが
できる。
【手続補正32】
【補正対象書類名】明細書
【補正対象項目名】0062
【補正方法】変更
【補正内容】
【0062】また本発明によれば、生成された3次元画
像を、画像表示よりも高い解像度で画像出力手段によっ
て出力することができるので、高画質な3次元画像を出
力させることができる。
【手続補正33】
【補正対象書類名】明細書
【補正対象項目名】0063
【補正方法】変更
【補正内容】
【0063】また本発明によれば、2次元画像描画手段
では、マウスやタブレットシステムなどのポインティン
グデバイスで2次元座標とともに筆圧の情報も入力する
ことができるので、濃淡がある描画など、多彩な表現で
2次元画像を描画することができる。
【手続補正34】
【補正対象書類名】明細書
【補正対象項目名】0064
【補正方法】変更
【補正内容】
【0064】また本発明によれば、2次元画像描画手段
のブラシツールはブラシ形状が変更可能であるので、ブ
ラシの径を任意に設定したり、ブラシ内での濃度の分布
を示すシェープデータなどを変更し、多彩かつ柔軟な表
現を行うことができる。
【手続補正35】
【補正対象書類名】明細書
【補正対象項目名】0065
【補正方法】変更
【補正内容】
【0065】また本発明によれば、2次元画像とは独立
に3次元モデルを定義し、その形状を基本として2次元
画像から抽出される要素情報を反映させた3次元画像を
得ることができる。
【手続補正36】
【補正対象書類名】明細書
【補正対象項目名】0066
【補正方法】変更
【補正内容】
【0066】また本発明によれば、2次元画像描画手段
で表示画像に対する修正を行うと、逆マッピング情報に
基づいて3次元モデルの形状に要素を反映させた2次元
画像の対応する部分が修正されるので、3次元画像の表
示を見ながら周辺部も含めた自然な画像の修正を行うこ
とができる。
【手続補正37】
【補正対象書類名】明細書
【補正対象項目名】0067
【補正方法】変更
【補正内容】
【0067】また本発明によれば、画像の修正の際には
修正される部分を含む予め定める領域に制限して処理が
行われるので、修正のための描画処理からその結果が表
示されるまでに要する時間が短縮され、応答性を改善す
ることができる。

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 3次元モデルのレンダリング処理による
    3次元画像を生成して表示することが可能な3次元画像
    処理装置において、 2次元画像を描画するブラシツールを備える2次元画像
    描画手段と、 2次元画像描画手段によって描画される2次元画像を含
    む複数の2次元画像を保存する2次元画像保存手段と、 3次元モデルの形状と2次元画像の予め定める要素情報
    との関連づけを設定する関連設定手段と、 2次元画像保存手段に保存されている2次元画像を読出
    して、2次元画像から3次元モデルの形状と関連づけら
    れる要素情報を抽出する要素抽出手段と、 要素抽出手段によって抽出される2次元画像の要素情報
    を、関連設定手段によって設定される関連づけに従い、
    形状に反映させて3次元モデルを作成し、作成された3
    次元モデルのレンダリング処理によって3次元画像を生
    成する3次元画像処理手段とを含むことを特徴とする3
    次元画像処理装置。
  2. 【請求項2】 前記3次元画像処理手段によって生成さ
    れる3次元画像を、表示される画像よりも高い解像度で
    出力する画像出力手段をさらに含むことを特徴とする請
    求項1記載の3次元画像処理装置。
  3. 【請求項3】 前記3次元画像処理手段によって2次元
    画像の要素情報を反映した3次元モデルのレンダリング
    処理が行われる際に、表示される3次元画像上の画素か
    ら、要素を抽出した2次元画像上の画素への対応関係を
    逆マッピング情報として生成して保存する逆マッピング
    手段と、 前記2次元画像描画手段への描画操作に応じて、表示さ
    れる3次元画像を修正する3次元画像修正手段と、 3次元画像修正手段による修正内容を、逆マッピング手
    段によって保存される逆マッピング情報に基づいて、2
    次元画像に反映させる2次元画像修正手段とをさらに含
    むことを特徴とする請求項1または2記載の3次元画像
    処理装置。
  4. 【請求項4】 前記2次元画像描画手段への描画操作に
    よって、前記要素抽出手段が要素情報を抽出する2次元
    画像、または表示される3次元画像に対する修正が行わ
    れるとき、修正処理が行われる部分を含む予め定める形
    状の領域に制限して、前記要素抽出手段による要素情報
    の抽出、および前記3次元画像処理手段による要素情報
    の3次元モデルへの反映の処理を行うように制御する処
    理領域制限手段を有することを特徴とする請求項1〜3
    のいずれかに記載の3次元画像処理装置。
  5. 【請求項5】 前記処理領域制限手段は、前記予め定め
    る領域内で、表示される3次元画像上の画素に対応する
    2次元画像上の画素のみに関して、前記3次元モデルへ
    の反映のための処理を行うように制御することを特徴と
    する請求項4記載の3次元画像処理装置。
  6. 【請求項6】 前記2次元画像描画手段、前記2次元画
    像保存手段、前記関連設定手段、前記要素抽出手段およ
    び前記3次元画像処理手段は、予め複数の処理ブロック
    に分けられ、各ブロックがパイプライン動作を行うこと
    を特徴とする請求項1〜5のいずれかに記載の3次元画
    像処理装置。
  7. 【請求項7】 前記2次元画像描画手段は、前記ブラシ
    ツールの操作用に2次元座標および筆圧の情報の入力が
    可能なポインティングデバイスを備えることを特徴とす
    る請求項1〜6のいずれかに記載の3次元画像処理装
    置。
  8. 【請求項8】 前記2次元画像描画手段の前記ブラシツ
    ールは、ブラシ形状が変更可能であることを特徴とする
    請求項1〜7のいずれかに記載の3次元画像処理装置。
  9. 【請求項9】 前記3次元画像処理手段は、生成する3
    次元モデルのうち、前記2次元画像の要素情報が反映さ
    れる形状の部分を残し、反映されない形状の部分は消去
    することを特徴とする請求項1〜8のいずれかに記載の
    3次元画像処理装置。
  10. 【請求項10】 前記3次元画像処理手段は、前記2次
    元画像の要素情報を3次元モデルの形状に反映する際、
    貫入方向と突出方向との双方向に反映させることを特徴
    とする請求項9記載の3次元画像処理装置。
  11. 【請求項11】 前記関連設定手段は、 2次元画像を反映させる表面を有する3次元基本形状を
    定義する座標情報を保存する3次元座標保存手段を備
    え、 3次元座標保存手段に保存される座標情報と前記要素情
    報との関連づけが設定されることを特徴とする請求項1
    〜10のいずれかに記載の3次元画像処理装置。
  12. 【請求項12】 3次元モデルのレンダリング処理によ
    る3次元画像を生成することが可能な3次元画像処理装
    置において、 2次元画像を描画するブラシツールを備える2次元画像
    描画手段と、 2次元画像描画手段によって描画される2次元画像を含
    む複数の2次元画像を保存する2次元画像保存手段と、 3次元モデルの形状と2次元画像の予め定める要素情報
    との関連づけを設定する関連設定手段と、 2次元画像保存手段に保存されている2次元画像を読出
    して、2次元画像から3次元モデルの形状と関連づけら
    れる要素情報を抽出する要素抽出手段と、 要素抽出手段によって抽出される2次元画像の要素情報
    を、関連設定手段によって設定される関連づけに従い、
    形状に反映させて3次元モデルを作成し、作成された3
    次元モデルのレンダリング処理によって3次元画像を生
    成する3次元画像処理手段とを含む3次元画像処理手段
    として、コンピュータを機能させるためのプログラムを
    記録したコンピュータ読取可能な記録媒体。
JP10306598A 1998-04-14 1998-04-14 3次元画像処理装置 Expired - Fee Related JP3002972B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP10306598A JP3002972B2 (ja) 1998-04-14 1998-04-14 3次元画像処理装置
US09/290,581 US6677944B1 (en) 1998-04-14 1999-04-13 Three-dimensional image generating apparatus that creates a three-dimensional model from a two-dimensional image by image processing
EP99106250A EP0950988B1 (en) 1998-04-14 1999-04-14 Three-Dimensional image generating apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10306598A JP3002972B2 (ja) 1998-04-14 1998-04-14 3次元画像処理装置

Publications (2)

Publication Number Publication Date
JPH11296696A true JPH11296696A (ja) 1999-10-29
JP3002972B2 JP3002972B2 (ja) 2000-01-24

Family

ID=14344278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10306598A Expired - Fee Related JP3002972B2 (ja) 1998-04-14 1998-04-14 3次元画像処理装置

Country Status (1)

Country Link
JP (1) JP3002972B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508234A (ja) * 2005-09-09 2009-02-26 マイクロソフト コーポレーション 2d/3d結合レンダリング
JP2012128664A (ja) * 2010-12-15 2012-07-05 Sharp Corp 情報処理装置および情報処理システム
JP2018101396A (ja) * 2016-12-19 2018-06-28 株式会社ワコム 画像処理装置
CN111617482A (zh) * 2020-06-04 2020-09-04 珠海金山网络游戏科技有限公司 一种模型贴图编辑方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426200B (zh) * 2013-08-26 2017-05-03 天津大学 基于无人机航拍序列图像的树木三维重建方法
KR101868734B1 (ko) * 2017-02-07 2018-06-19 이대연 붓 튀김을 이용한 팝아트 제작방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508234A (ja) * 2005-09-09 2009-02-26 マイクロソフト コーポレーション 2d/3d結合レンダリング
US7999807B2 (en) 2005-09-09 2011-08-16 Microsoft Corporation 2D/3D combined rendering
JP2012128664A (ja) * 2010-12-15 2012-07-05 Sharp Corp 情報処理装置および情報処理システム
JP2018101396A (ja) * 2016-12-19 2018-06-28 株式会社ワコム 画像処理装置
CN111617482A (zh) * 2020-06-04 2020-09-04 珠海金山网络游戏科技有限公司 一种模型贴图编辑方法及装置
CN111617482B (zh) * 2020-06-04 2024-02-06 珠海金山数字网络科技有限公司 一种模型贴图编辑方法及装置

Also Published As

Publication number Publication date
JP3002972B2 (ja) 2000-01-24

Similar Documents

Publication Publication Date Title
US6677944B1 (en) Three-dimensional image generating apparatus that creates a three-dimensional model from a two-dimensional image by image processing
JP3635051B2 (ja) 画像生成方法及び装置、画像処理プログラムを記録した記録媒体、画像処理プログラム
EP1672529B1 (en) Method for annotating pages of a 3D electronic document
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2019512118A (ja) 2つのタイプのインクベクトルデータを生成して選択的に出力する方法及びシステム
JP3514947B2 (ja) 3次元画像処理装置及び3次元画像処理方法
JP2003256865A (ja) 立体オブジェクトデータからの漫画的表現の2次元画像の生成方法および生成プログラム
US6437779B1 (en) Image processing method image processing unit and recording medium recording integrated shaping model data and image processing program to be used thereof
JP2017111719A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
JP2001084404A (ja) レンダリング方法及び装置、ゲーム装置、並びに立体モデルをレンダリングするプログラムを格納するコンピュータ読み取り可能な記録媒体
JP3002972B2 (ja) 3次元画像処理装置
WO2017002483A1 (ja) プログラム、情報処理装置、深度定義方法及び記録媒体
CN109461215B (zh) 角色插画的生成方法、装置、计算机设备及存储介质
JPH0721752B2 (ja) マルチウィンドウ表示方式
JP3002971B2 (ja) 3次元モデル作成装置
JPH09185712A (ja) 三次元画像データ作成方法
JP3807571B2 (ja) 形状変換方法および該方法を実行させるプログラムを記録した記録媒体、ならびに形状変換装置
JP3132220B2 (ja) 3次元モデルの形状作成方法
US8379030B1 (en) Computer graphics variable transformation interface
WO2021245875A1 (ja) 画像合成装置及び画像合成方法
JP3688765B2 (ja) 描画方法およびグラフィックス装置
JP3312560B2 (ja) テクスチャマッピング装置
JP2897441B2 (ja) イメージ処理方法及び装置
JPH05342368A (ja) 3次元画像生成方法及び装置
JPH09190547A (ja) 画像合成表示装置および方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20091119

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20101119

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 13

Free format text: PAYMENT UNTIL: 20121119

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 14

Free format text: PAYMENT UNTIL: 20131119

LAPS Cancellation because of no payment of annual fees