JP5926626B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、物体の反射特性の取得・再現技術、特に、物体の局所的な変角反射特性を取得・保持・再現するための変角特性再現技術に関するものである。

近年、ＣＧ（コンピュータグラフィック）技術の発展により、実写と比べても遜色のないＣＧ画像を生成することが可能となり、映画・ゲーム産業のみならず、商品デザインやコマーシャルフォト等、幅広い分野において、ＣＧ画像が活用されている。

従来、ＣＧ画像を生成するために、物体のＢＲＤＦ（Bidirectional Reflectance Distribution Function：双方向反射率分布関数）データを用いる方法がある。この方法では、例えば、被写体のＢＲＤＦ特性を実際に測定し、実測値を用いてＢＲＤＦデータを生成する技術の他に、数式モデルにより、物体のＢＲＤＦデータを生成する技術がある。

さらに、生成するＣＧ画像のリアリティー向上のため、レンダリングを行う物体表面の微小なＢＲＤＦの分布であるＢＴＦ（Bidirectional Texture Function：双方向テクスチャ関数）を入力データとして用いる技術が知られている。この技術により、レンダリング物体のテクスチャをも再現することが可能である。

しかしながら、ＢＴＦデータは、画素位置（ｘ，ｙ）に加え、図４に示す幾何学形で表されるように、入射光の天頂角（θin）、方位角（φin）、出射角の天頂角（θout）、方位角（φout）それぞれに対する反射率が格納されたデータである。そのため、データ量が膨大となり、現実的なコストでの処理を可能とするためには、データ量を圧縮する必要がある。

例えば、特許文献１においては、被写体のＢＴＦデータ、及び白色板のＢＴＦデータを測定した後、各画素のＢＲＤＦに対して、コサイン関数で近似することにより、ＢＴＦデータのデータ量を削減している。また、特許文献２においては、ＢＴＦの、４つの角度θＬ，φＬ，θＶ，φＶの組み合わせごとに、反射特性を示すテーブルＲ（ｕ，ｖ）を定義する。全画素のうち一部を代表画素と定め、残りを一般画素とする。代表画素については、テーブルＲ（ｕ，ｖ）の内容をそのまま使う。一般画素については、テーブルＲ（ｕ，ｖ）のφＬやφＶに関する行や列をローテーションシフトさせ、代表画素毎に複数のバリエーションをもったテーブルを派生させ、最も近似するテーブルを代用する方法により、ＢＴＦデータのデータ量を削減している。

特開２００７−２１９７１５号公報 特開２００７−１４０８２０号公報

しかしながら、被写体の表面に微細な凹凸がある場合、各画素の法線が試料面のマクロ的な法線と比べてばらつきが生じており、受光角を変化させた場合に強度が最大となる角度は画素毎に異なる。上記特許文献１に記載の技術においては、各画素のＢＴＦデータを単純にコサイン関数で近似しているため、画素毎のピーク位置のずれを正しく再現することができない。

また、上記特許文献２に記載の技術においては、ピーク位置のずれを考慮し、ローテーションシフトさせ、代表画素毎に複数のバリエーションをもったテーブルを派生させ、近似を行っているが、被写体のＢＴＦ画像を高精度に近似することは困難である。

本発明は上記の課題を解決するためになされたものであり、現実的な計算コストでＣＧレンダリングを行うため、簡便にＢＴＦを測定し、少ないデータ量で高精度なＢＴＦデータを生成することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、被写体の画素毎の双方向反射率分布関数である双方向テクスチャ関数画像を取得して処理する画像処理装置であって、
対象物体と撮像装置との角度を変化させながら前記対象物体を撮影することによって得られる、該対象物体の双方向テクスチャ関数画像データを入力する入力手段と、
前記入力手段で入力した前記双方向テクスチャ関数画像データの指定した領域内の画素の平均双方向反射率分布関数を算出する平均双方向反射率分布関数算出手段と、
前記双方向テクスチャ関数画像データの各画素の双方向反射率分布関数のパワーと前記平均双方向反射率分布関数のパワーとのパワー比を算出するパワー比算出手段と、
前記双方向テクスチャ関数画像データの各画素に対して、前記平均双方向反射率分布関数からのピークずれ量を算出するピークずれ量算出手段と、
前記平均双方向反射率分布関数と、前記双方向テクスチャ関数画像データの各画素の前記パワー比と、前記ピークずれ量と、を前記対象物体に対する双方向テクスチャ関数データとして記憶する記憶手段と
を備える。

本発明によれば、被写体の局所的な平均双方向反射率分布関数データである双方向テクスチャ関数画像データを取得する際に、表面形状を測定することなく、変角画像撮影のみで、少ないデータ量の双方向テクスチャ関数データを保持することが可能となる。

実施形態１の画像処理装置の構成を示すブロック図である。 実施形態１の画像処理装置における処理を示すフローチャートである。 ＢＴＦデータの一例を示す図である。 試料面における反射特性の入射角、出射角を示す図である。 実施形態２の画像処理装置の構成を示すブロック図である。 実施形態２の画像処理装置における処理を示すフローチャートである。 ＣＧレンダリングにおける幾何学条件を示す図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
実施形態１の画像処理装置の構成について、図１のブロック図を参照して説明する。

１は、ＢＴＦデータを圧縮し、保存するための画像処理装置である。２は、ＢＴＦデータを測定する対象物体のＢＴＦ画像を取得するためのＢＴＦ画像取得装置である。３は、ＢＴＦ画像取得装置２にて取得したＢＴＦ画像データを、画像処理装置１に読み込むためのＢＴＦ画像データ入力部である。４は、ＢＴＦ画像データ入力部３より入力したＢＴＦ画像データの全画素、またはあらかじめ指定した領域内の画素の平均ＢＲＤＦ（ＢＲＤＦ平均値）を算出するための平均ＢＲＤＦ算出部である。つまり、平均ＢＲＤＦ算出部４は、双方向テクスチャ関数画像データ（ＢＴＦ画像データ）に対する平均双方向反射率分布関数（ＢＲＤＦ）を算出するための平均双方向反射率分布関数算出部である。

５は、ＢＴＦ画像の各画素に対し、平均ＢＲＤＦ算出部４にて算出した平均ＢＲＤＦとのパワー比を算出するためのパワー比算出部である。６は、ＢＴＦ画像の各画素に対し、平均ＢＲＤＦ算出部４にて算出した平均ＢＲＤＦとのピークずれ量を算出するためのパワー比算出部である。７は、平均ＢＲＤＦ算出部にて算出した平均ＢＲＤＦ、パワー比算出部５にて算出された各画素のパワー比、及び、ピークずれ量算出部６にて算出された各画素のピークずれ量をＢＴＦデータとして出力するためのＢＴＦデータ出力部である。８は、ＢＴＦデータ出力部７より出力されたＢＴＦデータを記憶しておくためのＢＴＦデータ記憶装置である。

尚、図１及び図５（後述）の画像処理装置は、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。そして、図１の画像処理装置の各種構成要素は、例えば、ＣＰＵの制御によって動作するプログラムによって実現されても良いし、専用のハードウェアによって実現されても良い。また、ＣＰＵの制御によって使用される定数や変数は、適宜、メモリやハードディスクに記憶されて処理されることになる。

図２は実施形態１の画像処理のフローチャートである。

まず、ステップＳ２０１で、ＢＴＦ画像取得装置２にて、対象物体（被写体）に対して照明（光源）の角度（入射角）と、撮像装置であるカメラのカメラ角度（受光角）を変化させながら撮影（変角画像撮影）を行う。これにより、画素毎のＢＲＤＦデータであるＢＴＦ画像データを取得する。その後、ＢＴＦ画像データ入力部３より、ＢＴＦ画像データを画像処理装置１に読み込む。ステップＳ２０２で、平均ＢＲＤＦ算出部４にて、ステップＳ２０１で読み込んだＢＴＦ画像データの全画素、または予め指定した領域内の画素の平均ＢＲＤＦを算出する（詳細は後述）。

ステップＳ２０３で、画素毎のパワー比、及びピークずれ量を算出するため、注目画素を初期値、例えば、ＢＴＦ画像データの左上の点に設定する。ステップＳ２０４で、パワー比算出部５にて、ステップＳ２０２で算出した平均ＢＲＤＦと、注目画素のＢＲＤＦとのパワー比を算出する（詳細は後述）。ステップＳ２０５で、ピークずれ量算出部６にて、ステップＳ２０２で算出した平均ＢＲＤＦと注目画素のＢＲＤＦとのピークずれ量を算出する（詳細は後述）。

ステップＳ２０６で、ステップＳ２０４におけるパワー比の算出、及びステップＳ２０５におけるピークずれ量の算出を対象となる画素全てについて算出したかどうかを判定する。画素全てについて算出していない場合（ステップＳ２０６でＮＯ）、つまり、未処理画素がある場合、ステップＳ２０７に進む。ステップＳ２０７で、注目画素を未処理画素のうちの１つに変更し、ステップＳ２０４に戻る。

一方、画素全てについて算出している場合（ステップＳ２０６でＹＥＳ）、ステップＳ２０８に進む。ステップＳ２０８で、ステップＳ２０２にて算出した平均ＢＲＤＦ、ステップＳ２０４にて算出した各画素のパワー比、及び、ステップＳ２０５にて算出した各画素のピークずれ量をＢＴＦデータとしてＢＴＦデータ出力部７より出力する。そして、その出力したＢＴＦデータをＢＴＦデータ記憶部８に記憶する。

＜平均ＢＲＤＦの算出＞
ステップＳ２０２における、平均ＢＲＤＦ（ＢＲＤＦ平均値）の算出方法について詳細に説明する。

実施形態１において、取得されるＢＴＦ画像は、図３に示すように、画素の位置（ｘ，ｙ）毎に、入射角（θin，φin）、受光角（θout，φout）毎の反射率データが格納されているものとする。但し、入射角（θin，φin）、受光角（θout，φout）は、図４に示すような幾何学形で表わされるものとする。

各画素のＢＲＤＦは、下記（数１）にて表されるように、６次元の関数となる。

ここで、説明のために、入射角（θin，φin）を固定し、受光角のみを変化させる場合を考える。また、受光角の方位角（φout）を９０°で固定した場合を考えると、（数１）において、３つの変数（θin，φin，φout）が固定となり、（数２）のように簡略化される。

上記（数２）にて表されるＢＲＤＦデータは、注目領域内の各画素で異なっており、ＢＲＤＦ平均値であるＢＲＤＦave（θout）は、下記（数３）にて算出される。

＜パワー比の算出＞
ステップＳ２０４における、各画素のＢＲＤＦデータのパワー比の算出方法について詳細に説明する。

ステップＳ２０２にて予め、（数３）により、対象領域内の各画素のＢＲＤＦ値の平均値ＢＲＤＦave（θout）が算出済である。そこで、注目画素のパワー比は、例えば、下記（数４）に表わされるように、入射角、受光角を変化させた時の、平均ＢＲＤＦデータの積分値と、各画素のＢＲＤＦデータの積分値との比率として算出する。

＜ピークずれ量の算出＞
ステップＳ２０５における、各画素のＢＲＤＦデータのピークずれ量の算出方法について詳細に説明する。

実施形態１において、ピーク位置は、下記（数５）にて算出する。

上記（数５）は、ＢＲＤＦデータの重心を算出しているものであり、実施形態１では、ＢＲＤＦデータのピーク位置をＢＲＤＦデータの重心として定義し、用いるものとする。そして、ピークずれ量は、ＢＴＦ画像データの各画素のＢＲＤＦの重心と、平均ＢＲＤＦの重心との差として算出する。

以上説明したように、実施形態１によれば、被写体の各画素のＢＲＤＦデータのＢＴＦを測定した後、各画素のＢＲＤＦを全て保持するのではなく、指定領域の平均ＢＲＤＦ（マクロＢＲＤＦ）とのパワーの比（ゲイン）と角度ずれのみで、ＢＴＦデータを表す。これにより、ＢＴＦデータのサイズを削減（圧縮）することができる。

このように、被写体の局所的なＢＲＤＦデータである、ＢＴＦ画像データを取得する際に、表面形状を測定することなく、変角画像撮影のみで、少ないデータ量のＢＴＦデータ（双方向テクスチャ関数データ）を取得することが可能である。

＜実施形態２＞
実施形態１では、取得したＢＴＦ画像のデータ量を削減し、記憶するための方法に関して説明している。実施形態２では、記憶している圧縮済のＢＴＦデータを用いて、実際にＣＧ画像をレンダリングする方法について説明する。

実施形態２の画像処理装置の構成について、図５のブロック図を参照して説明する。

５０１は、圧縮したＢＴＦデータを用いて、ＣＧ画像をレンダリングするための画像処理装置である。５０２は、圧縮したＢＴＦデータを記憶しておくためのＢＴＦデータ記憶装置である。５０３は、レンダリングする物体のポリゴンデータ等の３Ｄ形状を記憶しておくための３Ｄ形状記憶装置である。５０４は、レンダリングを行うシーンの照明データを記憶しておくための照明データ記憶装置である。

５０５は、画像処理装置５０１に、３Ｄ形状記憶装置５０３より、物体の３Ｄ形状データを入力するための３Ｄ形状入力部である。５０６は、画像処理装置５０１に、照明データ記憶装置５０４より、照明データを入力するための照明データ入力部である。５０７は、シーン中における、物体や照明の位置等の幾何条件を設定するための幾何条件設定部である。５０８は、幾何条件設定部５０７にて設定された幾何条件に基づき、視線ベクトルと物体との交点を算出するための交点算出部である。

５０９は、ＢＴＦデータ記憶装置５０２に記憶されたＢＴＦデータを用いて、交点算出部５０８にて算出された交点のＢＴＦデータを算出するためのＢＴＦ算出部である。５１０は、ＢＴＦ算出部５０９にて算出されたＢＴＦデータに基づき、注目画素の輝度値（輝度データ）を算出するための輝度算出部である。５１１は、輝度算出部５１０にて算出された輝度データに基づき、ＣＧ画像（ＣＧ画像データ）を描画するための画像描画部である。５１２は、画像描画部５１１にて描画されたＣＧ画像データを出力するための画像出力部である。５１３は、画像処理装置５０１より出力されたＣＧ画像データを記憶しておくための画像記憶装置である。５１４は、画像処理装置５０１より出力されたＣＧ画像データを表示するための画像表示装置である。

図６は実施形態２の画像処理のフローチャートである。

まず、ステップＳ６０１で、３Ｄ形状記憶装置５０３に記憶されている物体の３Ｄ形状を、３Ｄ形状入力部５０５より、画像処理装置５０１に読み込む。ステップＳ６０２で、照明データ記憶装置５０４に記憶されている照明データを、照明データ入力部５０６より、画像処理装置５０１に読み込む。ステップＳ６０３で、幾何条件設定部５０７にて、仮想カメラ、仮想スクリーン、物体位置、及び照明位置の幾何条件を設定する。ステップＳ６０４で、仮想スクリーン上における注目画素を初期値（例えば、Ｘ＝０，Ｙ＝０の画素）に設定する。

ステップＳ６０５で、交点算出部５０８にて、仮想カメラと、仮想スクリーン上の注目画素とを結ぶ直線を、視線ベクトルとして設定し、視線ベクトルと物体との交点を算出する。ステップＳ６０６で、交点算出部５０８にて、ステップＳ６０５にて算出した交点における、レンダリングオジェクトの法線ベクトルを算出する。ステップＳ６０７で、交点算出部５０８にてステップＳ６０５にて算出した交点と、照明（光源）とを結ぶ照明ベクトルを算出する。ステップＳ６０８で、ＢＴＦデータ記憶装置５０２に記憶されているＢＴＦデータを用いて、ＢＴＦ算出部５０９にて、ステップＳ６０５にて算出した交点における、レンダリングオブジェクトのＢＴＦデータを算出する（詳細は後述）。ステップＳ６０９で、輝度算出部５１０にて、ステップＳ６０８にて算出したＢＴＦデータ、及び、視線ベクトル、法線ベクトル、照明ベクトルを用い、注目画素の輝度値を算出する。

ステップＳ６１０で、仮想スクリーン上の全ての画素について輝度算出を終了したかどうかを判定する。全ての画素について輝度算出を終了していない場合（ステップＳ６１０でＮＯ）、ステップＳ６１１に進む。ステップＳ６１１で、注目画素を、仮想スクリーン上の未処理画素に変更し、ステップＳ６０５に戻る。

一方、全ての画素について輝度算出を終了している場合（ステップＳ６１０でＹＥＳ）、ステップＳ６１２で、画像描画部５１１にて、ステップＳ６０９にて算出した輝度データに基づきＣＧ画像データを描画する。ステップＳ６１３で、ステップＳ６１２にて描画したＣＧ画像データを画像出力部５１２より出力し、画像記憶装置５１３に記憶、あるいは、画像表示装置５１４に表示する。

以上の処理の幾何条件の具体例について、図７を用いて説明する。特に、図７（ａ）は、３次元空間（ｘｙｚ）上での幾何条件を説明するための図であり、図７（ｂ）は３次元空間（ｘｙｚ）のｙｚ平面における図である。

図７（ａ）において、ＶＣが仮想カメラ、ＶＳが仮想スクリーン、Ｏが物体、Ｂが光源（照明）である。また、仮想スクリーンＶＳ上には、注目画素の位置（Ｘi，Ｙi）が設定される。そして、上述の処理によって、交点算出部５０８にて、仮想カメラＶＣと、仮想スクリーンＶＳ上の注目画素（Ｘi，Ｙi）とを結ぶ直線を、視線ベクトルとして設定し、視線ベクトルと物体Ｏとの交点、（ｘc，ｙc，ｚc）を算出する。交点算出部５０８にて、算出した交点（ｘc，ｙc，ｚc）におけるレンダリングオジェクトの法線ベクトルＮを算出する。次に、交点算出部５０８にて算出した交点（ｘc，ｙc，ｚc）と、照明（光源）Ｂとを結ぶ照明ベクトルＬを算出する。そして、ＢＴＦ算出部５０９にて、算出した交点（ｘc，ｙc，ｚc）における、レンダリングオブジェクトのＢＴＦデータを算出する。

＜ＢＴＦデータの算出＞
ステップＳ６０８における、ＢＴＦデータの算出方法について詳細に説明する。

実施形態２において、ＢＲＤＦデータは、実施形態１で説明したＢＲＤＦ平均値であるＢＲＤＦave（θout）、各画素のパワー比Ｐｏｗｅｒ（ｘ，ｙ）、及び、各画素のピークずれ量Ｐｅａｋ（ｘ，ｙ）を用いて算出するものとする。すなわち、画素位置（ｘ，ｙ）のＢＲＤＦ値であるＢＲＤＦ（ｘ，ｙ，θout）は、下記（数６）にて算出する。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、データ量を削減したＢＴＦデータを用いて、高速にＣＧ画像を作成することができる。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 被写体の画素毎の双方向反射率分布関数である双方向テクスチャ関数画像を取得して処理する画像処理装置であって、
   対象物体と撮像装置との角度を変化させながら前記対象物体を撮影することによって得られる、該対象物体の双方向テクスチャ関数画像データを入力する入力手段と、
   前記入力手段で入力した前記双方向テクスチャ関数画像データの指定した領域内の画素の平均双方向反射率分布関数を算出する平均双方向反射率分布関数算出手段と、
   前記双方向テクスチャ関数画像データの各画素の双方向反射率分布関数のパワーと前記平均双方向反射率分布関数のパワーとのパワー比を算出するパワー比算出手段と、
   前記双方向テクスチャ関数画像データの各画素に対して、前記平均双方向反射率分布関数からのピークずれ量を算出するピークずれ量算出手段と、
   前記平均双方向反射率分布関数と、前記双方向テクスチャ関数画像データの各画素の前記パワー比と、前記ピークずれ量と、を前記対象物体に対する双方向テクスチャ関数データとして記憶する記憶手段と
   を備えることを特徴とする画像処理装置。
2. 前記パワー比は、前記対象物体に対する照明の角度である入射角及び前記撮像装置が前記対象物体からの光を受光する受光角を変化させた場合の前記平均双方向反射率分布関数の積分値と、前記双方向テクスチャ関数画像データの各画素の双方向反射率分布関数の積分値と、の比率である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ピークずれ量は、前記双方向テクスチャ関数画像データの各画素の双方向反射率分布関数の重心と、前記平均双方向反射率分布関数の重心と、の差である
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記記憶手段に記憶されている双方向テクスチャ関数データを構成する前記平均双方向反射率分布関数と、前記双方向テクスチャ関数画像データの各画素の前記パワー比と、前記ピークずれ量と、を用いて、前記対象物体のＣＧ画像を描画する描画手段を更に備える
   ことを特徴とする請求項１に記載の画像処理装置。
5. 被写体の画素毎の双方向反射率分布関数である双方向テクスチャ関数画像を取得して処理する画像処理装置の制御方法であって、
   前記画像処理装置の入力手段が、対象物体と撮像装置との角度を変化させながら前記対象物体を撮影することによって得られる、該対象物体の双方向テクスチャ関数画像データを入力する入力工程と、
   前記画像処理装置の平均双方向反射率分布関数算出手段が、前記入力工程で入力した前記双方向テクスチャ関数画像データの指定した領域内の画素の平均双方向反射率分布関数を算出する平均双方向反射率分布関数算出工程と、
   前記画像処理装置のパワー比算出手段が、前記双方向テクスチャ関数画像データの各画素の双方向反射率分布関数のパワーと前記平均双方向反射率分布関数のパワーとのパワー比を算出するパワー比算出工程と、
   前記画像処理装置のピークずれ量算出手段が、前記双方向テクスチャ関数画像データの各画素に対して、前記平均双方向反射率分布関数からのピークずれ量を算出するピークずれ量算出工程と、
   前記画像処理装置の記憶手段が、前記平均双方向反射率分布関数と、前記双方向テクスチャ関数画像データの各画素の前記パワー比と、前記ピークずれ量と、を前記対象物体に対する双方向テクスチャ関数データとして記憶媒体に記憶する記憶工程と
   を備えることを特徴とする画像処理装置の制御方法。
6. 被写体の画素毎の双方向反射率分布関数である双方向テクスチャ関数画像を取得して処理する画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
   前記コンピュータを、
   対象物体と撮像装置との角度を変化させながら前記対象物体を撮影することによって得られる、該対象物体の双方向テクスチャ関数画像データを入力する入力手段と、
   前記入力手段で入力した前記双方向テクスチャ関数画像データの指定した領域内の画素の平均双方向反射率分布関数を算出する平均双方向反射率分布関数算出手段と、
   前記双方向テクスチャ関数画像データの各画素の双方向反射率分布関数のパワーと前記平均双方向反射率分布関数のパワーとのパワー比を算出するパワー比算出手段と、
   前記双方向テクスチャ関数画像データの各画素に対して、前記平均双方向反射率分布関数からのピークずれ量を算出するピークずれ量算出手段と、
   前記平均双方向反射率分布関数と、前記双方向テクスチャ関数画像データの各画素の前記パワー比と、前記ピークずれ量と、を前記対象物体に対する双方向テクスチャ関数データとして記憶媒体に記憶させる記憶手段と
   して機能させることを特徴とするプログラム。

Images