JPH11185054A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 リアルタイムで３次元画像の凹凸感を変更で
きるようにする。 【構成】 物体の３次元モデルに対するバンプ画像を記
憶して、テクスチャー画像と同様にレンダリング段階で
修正可能にする。またレンダリングメモリに、テクスチ
ャー画像やバンプ画像へのマッピングアドレスを記憶さ
せて、レンダリングメモリのアドレスからテクスチャー
画像等の描画対象アドレスを求めることができるように
する。

Description

【発明の詳細な説明】

【０００１】

【発明の利用分野】この発明は画像処理装置に関し、特
に３Ｄ画像（３次元画像）のレンダリングに関する。

【０００２】

【従来技術】３次元画像の処理では、物体の三次元モデ
ルを多数のポリゴンに分割し、ポリゴンの法線ベクトル
を求める。これと同時に二次元のテクスチャー画像を三
次元物体の表面ポリゴンにテクスチャーマッピングし、
擬似的にポリゴン表面にテクスチャー画像を貼り付け
る。ここでテクスチャーの修正は通常の２次元画像の修
正と同様に行うことができるが、三次元モデルの変更は
極めて困難である。また３次元モデルの表面の細やかな
凹凸をモデリングするのは困難で、法線ベクトルの変調
方向を示すバンプ画像を３次元物体の表面にマッピング
することにより、擬似的に物体表面の凹凸を変調するバ
ンプマッピング技術がある。

【０００３】バンプ画像の修正では、バンプ画像を物体
表面にマッピングしてその法線方向を変調した後、レン
ダリングして得られる表示画像を想像して、バンプ画像
を修正する必要がある。そこで、ある程度バンプ画像を
修正すると、修正したバンプ画像を３次元物体の表面に
再マッピングし、レンダリングし直して表示画像を見
て、バンプ画像の修正結果を確認する。望むような修正
が行われていなければ、再度バンプ画像を修正する。こ
のため何度もバンプ画像の修正を行う必要がある。

【０００４】

【発明の課題】この発明の課題は、バンプ画像を物体に
マッピングしてレンダリングにより得られた画像を用い
て、対話的にバンプ画像の修正を行えるようにし、バン
プ画像の修正結果をリアルタイムで物品にマッピングし
てレンダリングし直して表示するようにし、物体の凹凸
感の表現をより容易にすることにある（請求項１〜
５）。請求項２の発明での追加の課題は、レンダリング
で得られた表示画像からテクスチャー画像やバンプ画像
への逆マッピングを容易にして、バンプ画像の修正をさ
らに対話的に行えるようにすることにある。請求項３の
発明の追加の課題は、テクスチャー画像とバンプ画像と
を同一の処理系で修正可能にすることにある。請求項４
の発明の追加の課題は、バンプ画像の法線ベクトルの算
出をより容易にすることにある。請求項５の発明での追
加の課題は、テクスチャー画像やバンプ画像への逆マッ
ピングを共通の逆マッピングアドレスで行えるようにす
ることにある。

【０００５】

【発明の構成】この発明は、物体の３次元モデルに２次
元テクスチャー画像をマッピングし、レンダリングによ
り画像表示を行うようにした画像処理装置において、前
記３次元モデルのバンプ画像を記憶するためのバンプメ
モリを設けて、バンプ画像により前記３次元モデルの法
線方向を変調し、法線方向を変調した３次元モデルに前
記２次元テクスチャー画像をマッピングしてレンダリン
グにより画像を表示し、かつレンダリングで得られた表
示画像における描画手段での指定位置に対応するアドレ
スのバンプ画像を修正するように構成したことを特徴と
する。

【０００６】ここにテクスチャー画像は物体表面の色
彩，陰影，模様等を示す２次元画像であり、バンプ画像
は、物体の３次元モデルの法線方向を変調するための例
えば２次元の画像である。またこの明細書で、マッピン
グはテクスチャー画像やバンプ画像から３次元物体の表
面への写像で、逆マッピングはレンダリング画像からテ
クスチャー画像やバンプ画像へのマッピングで、レンダ
リングは物体が視点からどのように見えるかに応じて３
次元画像を２次元画像へ変換することである。

【０００７】好ましくは、レンダリングで得られた表示
画像を記憶するためのレンダリングメモリを設けて、表
示画像からテクスチャー画像やバンプ画像へ逆マッピン
グするためのマッピングアドレスを、該レンダリングメ
モリに記憶させるように構成したことを特徴とする。好
ましくは、前記描画手段に、前記２次元テクスチャー画
像及びバンプ画像の一方を選択的に供給して修正するよ
うに構成したことを特徴とする。好ましくは、前記バン
プ画像の各位置について２つの面内での法線ベクトルを
求めるための手段と、求めた２つの法線ベクトルからバ
ンプ画像の法線方向を求めるための参照表とを設けたこ
とを特徴とする。好ましくは、テクスチャー画像とバン
プ画像とをスケーリング（画像のサイズを合わせるこ
と）して、共通の座標系で記憶する。

【０００８】

【発明の作用と効果】請求項１の発明では、３次元モデ
ルのバンプ画像をバンプメモリに記憶して、レンダリン
グ過程で、対話的にバンプ画像を修正できるようにす
る。そしてバンプ画像を修正して３次元モデルでの表面
の法線方向を変調すると、修正後のバンプ画像が物体に
リアルタイムにマッピングされて、テクスチャー画像を
マッピングした物体が再度レンダリングされて表示さ
れ、凹凸表現の修正結果をリアルタイムに表示しながら
バンプ画像を修正できる。バンプ画像はモデル毎の画像
でも、複数のモデルを含んだ画像でもよい。

【０００９】請求項２の発明ではレンダリングメモリ
に、レンダリング画像からテクスチャー画像やバンプ画
像へ逆マッピングするための、マッピングアドレスを記
憶させる。このためレンダリングメモリから逆マッピン
グ用のアドレスを読み出せば、直ちにテクスチャー画像
やバンプ画像への描画アドレスを求めることができ、よ
りリアルタイムにテクスチャー画像やバンプ画像を修正
できる。

【００１０】請求項３の発明では、共通の描画手段にテ
クスチャー画像とバンプ画像の一方を供給して修正す
る。即ちテクスチャー画像への描画も、バンプ画像への
描画も、共通の描画手段で処理できる。

【００１１】請求項４の発明では、バンプ画像から物体
表面の変調方向の法線ベクトルをＸ−Ｚ，Ｙ−Ｚ等の２
つの面に関して求め、これらから参照表でバンプ画像の
法線方向を求める。このようにすれば、外積演算無しで
法線方向を求めることができ、高速で処理できる。

【００１２】請求項５の発明では、テクスチャー画像と
バンプ画像とをスケーリングして共通の座標系で記憶す
る。すると同じ逆マッピングアドレスでテクスチャー画
像とバンプ画像の双方へ逆マッピングできる。

【００１３】

【実施例】図１〜図９に実施例を示す。図１に実施例の
画像処理装置の概要を示すと、２はジオメトリトリで、
シーンの決定に基づいて物体の表面を多数のポリゴン、
例えば多数の三角形に分割し、４はポリゴンシーケンサ
で、多数の三角形を順序よくはき出す。６は頂点法線デ
ータ算出部で、各頂点の法線データ、例えば法線ベクト
ルを求める。８は法線ベクトル算出部で、例えば三頂点
の法線ベクトルを内挿補間して、各ピクセルの法線ベク
トルを求める。

【００１４】１０は画像ソースで、例えばスキャナや２
次元画像を記憶したファイルあるいはこれらの入出力機
器などを用い、二次元テクスチャー画像の原画像やバン
プ画像の原画像などを供給する。１２はテクスチャーメ
モリで、複数プレーンを用意して複数のテクスチャー画
像を記憶する。また１４はバンプメモリで、同様に複数
プレーン用意し、２次元のバンプ画像を記憶する。そし
て例えばバンプ画像はモノクロ画像で、画像の値は物品
表面の凹凸を示し、例えば画像が明るい位置で凸で、暗
い位置で凹であるとして定義する。なおバンプ画像で意
味を持つのは、周囲に対する相対的な凹凸である。テク
スチャー画像やバンプ画像は、それらが複数枚ずつある
場合でも、スケーリングしてサイズをそろえ、オフセッ
トを除いて共通の座標系で記憶する。

【００１５】１７，１８は内挿補間処理部で、メモリ１
２，１４の画像データを内挿補間することによりサブピ
クセルのアドレスを補間する。２０はバンプ画像の法線
ベクトル算出部で、その詳細は図２により後述する。２
２は法線ベクトル変調部で、各ポリゴンの法線ベクトル
をバンプ画像から求めた法線ベクトルで変調するための
ものである。

【００１６】２４は光源色設定部で、光源の３次元の位
置並びにその明るさや色調などを設定する。２６はフォ
ンシェーディング処理部で、変調済みの各ポリゴンの法
線ベクトルと光源の位置を用いて、ポリゴン間の反射も
考慮し、各ポリゴンの輝度を求める。２８は隠面処理部
で、隠面となるポリゴンを除いて表面に現れるポリゴン
を求め、３０はレンダリングメモリで、レンダリングで
得られた表示画像（レンダリング画像）を記憶して、そ
の画像をモニタ３４で表示する。なおレンダリングメモ
リ３０の構成は図３により後述する。

【００１７】３６は描画入力手段で、例えばデジタイザ
とスタイラスとの組合せを用い、カーソルなどを用いて
描画位置をモニタ３４で表示するものとする。また描画
入力手段３６で行う描画入力の種類は、図示しないフロ
ントエンドプロセッサで管理するメニューなどにより指
定するものとする。３８はアドレスジェネレータで、描
画入力３６での描画位置をレンダリングメモリ３０での
アドレスに変換して、レンダリングメモリ３０に供給す
る。４０は描画処理部で、４２は描画演算中の画像を一
時的に記憶するためのエリアメモリである。４４はセレ
クタで、描画対象を例えばテクスチャー画像とバンプ画
像の一方から選択し、選択した画像とエリアメモリ４２
に記憶した描画画像とを線形補間処理部４６で線形補間
し、同じメモリに書き戻す。

【００１８】なお図１において、Ｉはデジタイザ等の描
画入力での指定座標（描画位置）を示し、Ｍはテクスチ
ャー画像やバンプ画像から物体表面へマッピングするた
めのマッピングアドレスを示し、Ｍ’はレンダリング画
像からテクスチャー画像やバンプ画像へ逆マッピングす
るためのマッピングアドレスを示す。またＰ，Ｑは線形
補間処理部４６の出力を示し、Ｐはテクスチャー画像へ
の出力、Ｑはバンプ画像への出力を示し、Ｒはテクスチ
ャー画像からセレクタ４４への入力、Ｓはバンプ画像か
らセレクタ４４への入力を意味する。

【００１９】図２に法線ベクトル算出部２０の構成を示
すと、二次元バンプ画像での座標を（i，j）とし、例え
ば法線ベクトルを求める画素ｕ（i，j）の４隣接点を用
いて、法線ベクトルテーブル５０，５１で２つの垂直面
での法線ベクトルを求める。ｉ方向垂直面での接線ベク
トルはｕ(i+1,j)−ｕ(i-1,j)に並行で、法線ベクトルは
これに垂直であるから、ｕ(i+1,j)とｕ(i-1,j)を用いて
法線ベクトルテーブル５０から第１の法線ベクトルｎｘ
を読み出す。同様にｕ(i,j+1)−ｕ(i,j-1)を用いて、ｊ
方向垂直面での法線ベクトルｎｙを読み出す。これらの
２つの法線ベクトルを正規化すれば、３次元空間での法
線ベクトルが得られ、正規化テーブル５２を用いて、 Ｎ＝（ｎｘ，ｎｙ）／（ｎｘ²＋ｎｙ²）^1/2 に相当するベクトルを読み出し、法線ベクトルとする。
このため外積計算なしでテーブル５０，５１，５２から
の２段階の読み出しで、法線ベクトルを求めることがで
きる。なお法線ベクトルの算出手法自体は任意である。

【００２０】図３にレンダリングメモリ３０の構成を示
すと、６０はカラーデータ層，６１はＺデータ層，６２
は逆マッピングアドレス層で、それぞれレンダリング後
の画像データを例えば各３２ビット長で記憶する。カラ
ーデータ層６０は、各画素のカラー信号を例えばＲＧＢ
各８ビットの合計２４ビット長で記憶し、各画素の不透
過率αを８ビット長で記憶する。Ｚデータ層６１は、例
えば３２ビット長で、Ｚ値は視点に対する表面の位置を
指定するものとする。即ちＺ値が小さいほど視点に近
く、Ｚ値が大きいほど視点から遠いものとする。逆マッ
ピングアドレス層６２は、各画素からテクスチャー画像
やバンプ画像へ逆マッピングするためのマッピングアド
レスＭ’を例えば３２ビット長で記憶する。６４は表示
エリアで、レンダリング画像中の表示エリア６４の部分
がモニタ３４に表示される。

【００２１】ここで物体の追加等が行われると、追加さ
れた物体表面のポリゴンのＺ値とＺデータ層６１のＺ値
とを比較し、小さい方が表面で大きい方が隠面とする。
例えばカラーデータ層６０の画像（カラー値Ｃ1）が表
面（不透過率α1）で、追加された物体表面のポリゴン
が隠面（カラー値Ｃ2，不透過率α2）とすると、物体追
加後のレンダリング画像のカラー値は α1・Ｃ1＋（１
−α1）・α2・Ｃ2、不透過率は （α1＋α2）−α1・
α2 となる。ただし不透過率は１で表面のみが見えて
完全に不透明、０で表面は完全に透明とする。また逆マ
ッピングアドレス層６２はテクスチャー画像やバンプ画
像の修正時に用い、レンダリング画像での描画位置をテ
クスチャー画像やバンプ画像へ逆マッピングするための
アドレスを、逆マッピングアドレス層６２から読み出
す。

【００２２】図４にレンダリング画像とテクスチャー画
像との関係を示すと、６５が例えばレンダリング対象の
レンダリングエリアで、６６が表示画像である。表示画
像６６は３次元物体の表面のポリゴンにテクスチャー画
像６８を擬似的に貼り付けたもので、テクスチャーマッ
ピングに基づいてテクスチャー画像６８を変形する。

【００２３】図５に実施例のレンダリングアルゴリズム
を示す。レンダリング前の段階で、シーケンサ４から物
体を多数のポリゴンに分割したポリゴンデータが供給さ
れ、頂点法線データ算出部６で頂点の３次元座標を求
め、法線ベクトル算出部８で各ピクセルの法線ベクトル
を求める。また画像ソース１０からテクスチャー画像の
原画像やバンプ画像の原画像を供給し、これらをテクス
チャーメモリ１２やバンプメモリ１４に記憶する。そし
てマッピングアドレスジェネレータ１６で、ポリゴンの
どの位置にテクスチャー画像やバンプ画像をマッピング
するかのマッピングアドレスＭとレンダリング画像から
テクスチャー画像やバンプ画像への逆マッピングアドレ
ス Ｍ’とを発生し、内挿補間処理部１７，１８でサブ
ピクセル座標を補間し、法線変調処理部２２で法線方向
を変調した後、フォンシェーディング処理部２６でシェ
ーディング処理を行う。そして隠面処理部２８で隠面処
理を行って、レンダリングメモリ３０にレンダリング画
像を記憶する。この時レンダリングメモリ３０に、逆マ
ッピングアドレスＭ’を記憶する。

【００２４】なおテクスチャー画像やバンプ画像を３次
元物体へマッピングした後、これらのサイズや座標原点
をスケーリングにより揃えて、座標系を共通にして、テ
クスチャーメモリ１２やバンプメモリ１４、あるいは他
のメモリに再記憶するのが好ましい。テクスチャー画像
やバンプ画像が各々複数ある場合には、全てのテクスチ
ャー画像やバンプ画像について座標系を共通にする。す
ると、共通の逆マッピングアドレスＭ’で、全てのテク
スチャー画像やバンプ画像へ容易に逆マッピングでき
る。

【００２５】描画はレンダリング処理後に始まり、描画
入力手段３６で描画する。またメニューを介してセレク
タ４４でバンプ画像を処理対象とするか、テクスチャー
画像を処理対象とするかを選択し、選択した側の画像を
修正する。

【００２６】ここで描画入力を行うと、描画処理部４０
とエリアメモリ４２とを用いて、例えば１ストローク分
の入力描画画像を求め、テクスチャー画像もしくはバン
プ画像と線形補間処理部４６で混合して、元のアドレス
に書き戻す。バンプ画像への描画もテクスチャー画像へ
の描画も共に２次元画像への描画処理で、セレクタ４４
で処理対象を切り替える他は、共通のアーキテクチャで
処理できる。またバンプ画像への描画では、テクスチャ
ー画像への描画と同様に、多数の仮想的な描画用具（ペ
ン）を用意して、それらの１つを図示しないメニュー画
面等で選択して、描画入力３６からの入力とすればよ
い。図１０にペンの出力濃度の分布を示し、Ｙ軸は濃度
を示し、Ｘ軸はペンの中心からの距離を示す。そして７
０は単純なペンを、７１は周辺に谷のあるエッジ強調形
のペンを示す。

【００２７】実施例ではレンダリングメモリ３０に逆マ
ッピングアドレスＭ’が記憶されているので、描画入力
手段３６で指定した座標をアドレスジェネレータ３８で
レンダリングメモリ３０でのアドレスに変換し、次に逆
マッピングアドレス層６２から逆マッピングのアドレス
を求めて、逆マッピングしたテクスチャー画像やバンプ
画像のデータがセレクタ４４から線形補間処理部４６に
供給される。即ち描画入力３６でペンの位置を指定する
と、レンダリングメモリのアドレスへ変換した後、テク
スチャー画像やバンプ画像へ逆マッピングされる。この
ためマッピングアドレスジェネレータ１６で、毎回逆マ
ッピングアドレスを求める必要がなく、逆マッピングア
ドレスの算出を高速で行うこことができ、より対話的に
バンプ画像やテクスチャー画像を修正できる。

【００２８】そして線形補間処理部４６で求めた新たな
画像を、元のメモリ１２，１４に書き戻す。これに伴っ
て対応するポリゴンのレンダリング処理をし直し、レン
ダリングメモリ３０でのカラーデータや不透過率が修正
され、修正結果がモニタ３４に表示される。

【００２９】図６にバンプマッピングの原理を示す。図
６の上部にバンプのない曲面での物体表面の向きを示
し、矢印で物体表面各部の法線ベクトルを示すものとす
る。図６の上部の下側にバンプ画像のデータ（例えばバ
ンプ画像の明暗値で、明で凸，暗で凹とする）を示す。
バンプ画像をバンプのない曲面にマッピングする、即ち
バンプのない曲面で求めた法線ベクトルの方向をバンプ
画像から求めた法線ベクトルの方向で変調すると、法線
ベクトルの方向は図６の下部のように変化する。例えば
バンプ画像に２つの凹があるとすると、この部分で物体
表面の法線方向は図６の下部のように変化し、これは物
体表面の法線方向をバンプ画像で修正したことに等し
い。そしてバンプ画像の修正は描画入力手段３６を用い
てレンダリング段階でリアルタイムに行えるので、物体
表面の凹凸をレンダリング結果の画像に対して修正する
ことができる。バンプ画像の修正による凹凸の修正結果
はモニタ３４にリアルタイムで表示されるので、凹凸の
修正結果を確認しながら、バンプ画像を修正できる。

【００３０】図７〜図９によりバンプ画像の作用を示す
と、図７は海面と島と背景の空の３つの物体で構成さ
れ、これに応じてテクスチャーメモリ１２には海面画像
と島の画像並びに背景の空の画像の３つの画像を、３プ
レーンに記憶してある。同様にバンプメモリ１４には、
海面と島のバンプ画像を２プレーンに記憶してある。バ
ンプ画像は例えばモノクロ画像で、画像が明るいほど周
囲に対して凸で、画像が暗いほど周囲に対して凹であ
る。バンプ画像での局所的な明暗の差は物体の局所的な
凹凸を表す。バンプ画像を修正する場合、セレクタ４４
でバンプメモリ１４を選択して、描画入力手段３６でテ
クスチャー画像を修正するのと同様に修正を行うことが
できる。

【００３１】図７の状態では、海面に２つの波があり、
これに伴って波の頂が凸で、波と波の間が凹になるよう
にバンプ画像が形成されている。ここで描画入力手段３
６を用いて、新たに波を１つ追加したものとする。する
とバンプ画像は図８のように変化する。なお図７，図８
において、バンプ画像は断面Ａ方向について示した。こ
こで光源位置を図８から図９のように変更すると、光源
に対する各物体表面の法線方向が変化し、物体の明暗は
図９のように変化する。

【図面の簡単な説明】

【図１】 実施例の画像処理装置の要部ブロック図

【図２】 実施例での法線ベクトル算出部のブロック
図

【図３】 実施例でのレンダリングメモリのデータ構
成を示す図

【図４】 実施例でのレンダリングメモリの画像とテ
クスチャー画像との関係を示す図

【図５】 実施例でのレンダリングアルゴリズムを示
すフローチャート

【図６】 バンプ画像の作用を示す図

【図７】 実施例でのバンプ画像の作用を示す説明図

【図８】 図７のバンプ画像を変更した後の表示画像
を示す図

【図９】 図８から光源設定を変更した際の表示画像
を示す図

【図１０】 バンプ画像の修正等に用いるペン形状を示
す図

【符号の説明】

２ ジオメトリトリ ４ ポリゴンシーケンサ ６ 頂点法線データ算出部 ８ 法線ベクトル算出部 １０ 画像ソース １２ テクスチャー画像メモリ １４ バンプメモリ １７，１８ 内挿補間処理部 ２０ 法線ベクトル算出部 ２２ 法線ベクトル変調部 ２４ 光源色設定部 ２６ フォンシェーディング処理部 ２８ 隠面処理部 ３０ レンダリングメモリ ３４ モニタ ３６ 描画入力 ３８ アドレスジェネレータ ４０ 描画処理部 ４２ エリアメモリ ４４ セレクタ ４６ 線形補間処理部 ５０，５１ 法線ベクトルテーブル ５２ 正規化テーブル ６０ カラーデータ層 ６１ Ｚデータ層 ６２ 逆マッピングアドレス層 ６４ 表示エリア ６５ レンダリングエリア ６６ 表面画像 ６８ テクスチャー画像 ７０，７１ ペン

Claims (5)

【特許請求の範囲】
1. 【請求項１】 物体の３次元モデルに２次元テクスチ
   ャー画像をマッピングし、レンダリングにより画像表示
   を行うようにした画像処理装置において、 前記３次元モデルのバンプ画像を記憶するためのバンプ
   メモリを設けて、バンプ画像により前記３次元モデルの
   法線方向を変調し、法線方向を変調した３次元モデルに
   前記２次元テクスチャー画像をマッピングしてレンダリ
   ングにより画像を表示し、かつレンダリングで得られた
   表示画像における描画手段での指定位置に対応するアド
   レスのバンプ画像を修正するように構成したことを特徴
   とする、画像処理装置。
2. 【請求項２】 前記表示画像を記憶するためのレンダ
   リングメモリを設けて、表示画像から前記２次元テクス
   チャー画像及びバンプ画像へ逆マッピングするためのマ
   ッピングアドレスを、該レンダリングメモリに記憶させ
   るように構成したことを特徴とする、請求項１の画像処
   理装置。
3. 【請求項３】 前記描画手段に、前記２次元テクスチ
   ャー画像及びバンプ画像の一方を選択的に供給して修正
   するように構成したことを特徴とする、請求項１の画像
   処理装置。
4. 【請求項４】 前記バンプ画像の各位置について、２
   つの面内での法線ベクトルを求めるための手段と、求め
   た２つの法線ベクトルからバンプ画像の法線方向を求め
   るための参照表とを設けたことを特徴とする、請求項１
   〜３の何れかに記載の画像処理装置。
5. 【請求項５】 テクスチャー画像とバンプ画像とをス
   ケーリングし、共通の座標系で記憶することを特徴とす
   る、請求項２の画像処理装置。