JP4888023B2 - 物体の反射特性データの作成方法および作成装置 - Google Patents

Description

本発明は、被写体を斜め方向から撮影することにより得られた撮影画像を、真上から見た状態の正則画像に変換する画像変換の技術に関し、特に、レンダリング用の高次元テクスチャデータ（反射特性データ）を作成する際に利用可能な画像変換技術に関する。

コンピュータの性能向上により、産業界の様々な分野でＣＧ画像が利用されるようになってきている。たとえば、建築物、家具、自動車などの設計段階では、通常、多くのＣＧ画像が利用されている。また、コンピュータを利用した製品のプレゼンテーションや映画などの種々の映像表現においても、物品の様々なＣＧ画像が不可欠である。更に、最近では、商品カタログなどにも、実際の商品写真の代わりに、ＣＧ画像が利用される例も少なくない。

建築物、家具、自動車の内装部品などの物品データは、仮想物体の三次元データであるのに対して、提示用のＣＧ画像は、通常、二次元画像として用意される。したがって、三次元の物品データを利用してＣＧ画像を作成する際には、コンピュータ内に仮想物体の三次元データを取り込み、照明条件、視点位置、投影平面を設定した上で、三次元の仮想物体の二次元投影像を投影平面上に得るためのレンダリング処理が行われる。この処理は、基本的には、照明条件で定められた光源からの照明光が仮想物体の各部で反射して視点位置へ向かう現象をコンピュータ上でシミュレートするものであり、視点位置へ向かう反射光の強度を演算する処理ということができる。

また、仮想物体の表面に何らかの絵柄や模様を張り付けた表現を行いたい場合には、予め二次元のテクスチャデータを用意しておき、レンダリング時に、このテクスチャデータを物体データの表面にマッピングする処理が行われる。テクスチャデータは、基本的には、反射特性の分布を示す反射特性データであり、形式的には二次元の画像データとして与えられる。これを仮想物体の表面にマッピングすることにより、反射特性が部分ごとに異なる性質をもった物体を表現することが可能になる。

最近は、反射特性データとして、単なる二次元の画像データではなく、高次元画像データを用いる方法も提案されている。たとえば、下記の非特許文献１には、ＢＴＦ（Bi-directional Texture Function）と呼ばれている６次元の関数で示されるテクスチャデータを用いるレンダリング処理が開示されている。このＢＴＦは、光の入射方向や反射方向によって異なる反射特性を定義する関数であり、照明光の入射方向を示す２つの角度θＬ，φＬと、反射光の射出方向を示す２つの角度θＶ，φＶと、二次元ｕｖ座標系における座標値ｕ，ｖという合計６個の変数（θＬ，φＬ，θＶ，φＶ，ｕ，ｖ）によって、特定の反射特性を定義する関数になる。

一方、実在の物体に近いテクスチャを表現するための手法として、当該実在の物体についての反射特性を実測し、この実測値に基づいて、反射特性データを作成する手法が知られている。たとえば、下記の特許文献１には、天然木の木目を撮影し、この撮影画像に基づいて、天然木の風合いをもった反射特性データを作成する手法が開示されている。このように、実在の物体についての反射特性を実測する場合、当該物体を様々な方向から撮影する必要があるが、これらの撮影画像に基づいて物体表面の反射特性データを作成するためには、任意方向から撮影した撮影画像を、真上から見た状態の正則画像に変換する処理が必要になる。このような画像変換処理は、幾何学的な演算によって行うことが可能である。たとえば、下記の特許文献２には、射影的正規化変換と呼ばれている画像変換処理の手法が開示されている。
G. Muller, J. Meseth, M. Sattler, R. Sarlette and R. Klein 2004, Acquisition, Synthesis and Rendering of Bidirectional Texture Functions. In Eurographics 2004 STAR-State of The Art Report 特開２００２−０７１３２９号公報 特開平６−２７４６４９号公報

上述したとおり、ＢＴＦのような高次元画像データとして与えられる反射特性データを得るために、実在の物体についての反射特性を実測する手法を採る場合、物体を斜め方向から撮影することにより得られた撮影画像を、真上から見た状態の正則画像に変換する画像変換を行う必要がある。このような画像変換技術は、反射特性データを得る場合への利用に限られず、画像処理一般に広く適用可能な技術である。そして従来は、前掲の特許文献２に開示されているように、幾何学的な撮影条件に基づいて、射影的正規化変換と呼ばれている純然たる幾何学的な演算を利用した画像変換方法が専ら利用されてきた。

しかしながら、このような幾何学的な演算（撮影条件に基づく射影的正規化変換など）を利用した画像変換方法を、実在の物体についてのカメラ撮影で得られた実測画像データに適用した場合、精度の高い変換を行うことができないという問題がある。もちろん、幾何学的な演算を利用した画像変換方法を用いれば、理論上は正確な正則画像が得られるはずである。ところが、予め所定の幾何学的な撮影条件を設定し、実在の物体に対して当該撮影条件下で撮影を行ったとしても、実際には、設定どおりの正確な撮影条件下での撮影を行うことは困難である。すなわち、実在の物体を撮影する際には、物体に対するカメラの相対位置や向きに関する誤差、カメラの光軸のずれ、レンズの収差などの様々な要因が関与してくるため、実際に得られた撮影画像と、理想的な撮影条件から予測される撮影画像との間には、誤差が生じることになる。このため、実際に得られた撮影画像に対して、理想的な撮影条件に基づく幾何学的な画像変換処理を施すと、得られる正則画像は正確なものにはならない。

そこで本発明は、実在の物体を斜めから撮影することにより得られた撮影画像を、真上から見た状態の正則画像に正確に変換することが可能な画像変換方法および装置を提供することにより、物体の正確な反射特性データを作成することができる物体の反射特性データの作成方法および作成装置を提供することを目的とする。

(1) 本発明の第１の態様は、物体の被測定面の所定位置に所定の入射方向から照明光を当てたときに、所定位置から所定の射出方向に向かう反射光の反射率を、被測定面の個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義したデータを、被測定面についての反射特性データとして作成する物体の反射特性データの作成方法において、
平面上に描かれた直線で構成される基準枠の内部に、被測定面を有する物体を載置する物体載置段階と、
光源と被測定面とカメラとが所定の位置関係になるような撮影条件を、光源と被測定面との位置関係を複数ｍ通りに変化させ、かつ、被測定面とカメラとの位置関係を複数ｎ通りに変化させることにより、合計（ｍ×ｎ）通り設定する撮影条件設定段階と、
設定された（ｍ×ｎ）通りの撮影条件のそれぞれについて、光源によって照明されている被測定面の画像をカメラで撮影する撮影処理を実行することにより、（ｍ×ｎ）枚の物体撮影画像を得る物体撮影段階と、
（ｍ×ｎ）枚の物体撮影画像に対して、所定の画像変換方法を利用した画像変換を行い、（ｍ×ｎ）枚の正則画像を得る画像変換段階と、
（ｍ×ｎ）枚の正則画像に基づいて、物体の反射特性データを作成する反射特性データ作成段階と、
を行うようにし、
上記所定の画像変換方法として、
基準枠の内部に配置された被写体を、所定方向から撮影することにより得られる撮影画像を、平面上の基準点に立てた法線方向から見た正則画像に変換する画像変換方法であって、
撮影画像もしくはこれに所定の加工処理を施した画像を、二次元ｘｙ座標系に所定の画素値をもった画素を配列してなる画像データとして入力する画像入力段階と、
ｘｙ座標系上の任意の直線を、座標軸に対する向きを示す変数ξと原点に対する変位を示す変数ρを用いて表わす表現形式を用い、画像データを構成する個々の画素について、当該画素の基準位置を通る直線群のそれぞれについての変数（ξ，ρ）の組合わせを求め、二次元ξρ座標系上に各変数対（ξ，ρ）に対応する座標点をプロットし、これら座標点の集合により構成される線グラフμを各画素ごとにξρ座標系上に求める線グラフ演算段階と、
ξρ座標系上に、各画素が同一の初期画素値を有する積算用二次元画素配列を定義し、この積算用二次元画素配列上に、画像データを構成する第ｉ番目の画素Ｐｉについて求められた線グラフμｉを重ね合わせ、この線グラフμｉ上もしくはその近傍に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算する処理を、第１番目の画素から第Ｎ番目の画素まで（但し、１≦ｉ≦Ｎ、Ｎは画像データに含まれる画素配列上の全画素数）繰り返し実行する画素値積算段階と、
撮影画像を得る際の幾何学的な撮影条件に基づいて、ｘｙ座標系上に配置された撮影画像上に現れるであろう基準枠の像の位置を、幾何学的な演算によって予測する基準枠位置予測段階と、
予測された基準枠の像を構成する各直線を示す変数（ξ，ρ）の組合わせについて、積算用二次元画素配列上に対応する座標点をそれぞれ幾何学的予測点εとしてプロットし、各幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素の基準位置を、対応する直線についての実測上予測点と決定する実測上予測点決定段階と、
二次元ｘｙ座標系上に、各実測上予測点の座標値（ξ，ρ）によって表わされる直線を描き、これらの直線の位置を正しい基準枠の像の位置として取り扱い、幾何学的な演算によって撮影画像を正則画像に変換する正則変換段階と、
を有する方法を行うようにしたものである。

(2) 本発明の第２の態様は、上述の第１の態様に係る物体の反射特性データの作成方法において、
所定領域の内部と外部とのコントラスト差による境界線からなる基準枠を用いた撮影により撮影画像が得られた場合に、
画像入力段階で、撮影画像に対して微分処理を施して得られる微分画像を画像データとして入力するようにしたものである。

(3) 本発明の第３の態様は、上述の第１または第２の態様に係る物体の反射特性データの作成方法において、
線グラフ演算段階で、ｘｙ座標系上の任意の直線に、ｘｙ座標系の原点Ｏから垂線を下し、その足を点Ｆとしたときに、ｘｙ座標系の一軸と線分ＯＦとのなす角度をξ、線分ＯＦの長さをρで表わし、２つの変数ξ，ρにより直線を表わす表現形式を用いるようにしたものである。

(4) 本発明の第４の態様は、上述の第１〜第３の態様に係る物体の反射特性データの作成方法において、
画素値積算段階で、線グラフμ上に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算するとともに、線グラフμから所定の近傍距離ｄだけ離れた画素の画素値に、画素Ｐｉのもつ画素値に近傍距離ｄに応じた所定割合Ｒ（０≦Ｒ≦１の範囲をとり、近傍距離ｄが大きくなるほど小さくなる値）を乗じた値を積算するようにしたものである。

(5) 本発明の第５の態様は、上述の第４の態様に係る物体の反射特性データの作成方法において、
所定割合Ｒを、線グラフμの位置を中心としてガウス分布をとるように設定したものである。

(6) 本発明の第６の態様は、上述の第１〜第５の態様に係る物体の反射特性データの作成方法において、
線グラフ演算段階で、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ線グラフを求める演算を実行し、
画素値積算段階で、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ画素値の積算処理を実行するようにしたものである。

(7) 本発明の第７の態様は、上述の第１〜第６の態様に係る物体の反射特性データの作成方法において、
線グラフ演算段階で、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ線グラフを求める演算を実行し、
画素値積算段階で、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ画素値の積算処理を実行するようにしたものである。

(8) 本発明の第８の態様は、上述の第１〜第７の態様に係る物体の反射特性データの作成方法において、
基準枠位置予測段階で、撮影画像を得る際の幾何学的な撮影条件として、基準点に立てた法線と撮影装置の光軸とのなす角θと、光軸の「基準枠が描かれた平面」への投影像と基準点を通り「基準枠が描かれた平面」に含まれる所定の基準線ζとのなす角φと、撮影装置の光学系の焦点距離と、に基づく幾何学的な演算により基準枠の像の位置を予測するようにしたものである。

(9) 本発明の第９の態様は、上述の第１〜第８の態様に係る物体の反射特性データの作成方法において、
実測上予測点決定段階で、幾何学的予測点εについての所定の近傍領域として、幾何学的予測点εの座標値を（ξε，ρε）としたときに、所定の偏差Δξ，Δρを用いて、ξε−Δξ≦ξ≦ξε＋Δξ、ρε−Δρ≦ρ≦ρε＋Δρなる条件を満たす座標値（ξ，ρ）で示される領域を設定するようにしたものである。

(10) 本発明の第１０の態様は、上述の第１〜第９の態様に係る物体の反射特性データの作成方法において、
実測上予測点決定段階で、幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素が複数存在した場合には、これら複数の画素の基準位置の重心位置を、対応する直線についての実測上予測点と決定するようにしたものである。

(11) 本発明の第１１の態様は、上述の第１〜第１０の態様に係る物体の反射特性データの作成方法において、
実測上予測点決定段階で、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、正則画像への画像変換に失敗した取り扱いを行うようにしたものである。

(12) 本発明の第１２の態様は、上述の第１〜第１１の態様に係る物体の反射特性データの作成方法において、
矩形を示す基準枠を用いた撮影により撮影画像が得られた場合に、
正則変換段階で、基準枠の像を構成する矩形の４頂点の位置に基づく幾何学的な演算により正則画像への変換を行うようにしたものである。

(13) 本発明の第１３の態様は、上述の第１〜第１２の態様に係る物体の反射特性データの作成方法において、
特定の物体撮影画像を正則画像に変換する画像変換段階における実測上予測点決定段階で、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、当該物体撮影画像に関する正則画像への画像変換に失敗した取り扱いを行い、
画像変換に失敗した取り扱いが行われた物体撮影画像についての正則画像を、撮影条件が近似する別な物体撮影画像についての正則画像に基づく補間により求めるようにしたものである。

(14) 本発明の第１４の態様は、物体の被測定面の所定位置に所定の入射方向から照明光を当てたときに、所定位置から所定の射出方向に向かう反射光の反射率を、被測定面の個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義したデータを、被測定面についての反射特性データとして作成する物体の反射特性データの作成装置において、
上面が平面をなし、この平面上に直線で構成される基準枠が描かれている撮影用ステージと、
撮影用ステージ上に載置された物体を照明するための光源と、
撮影用ステージ上に載置された物体を撮影するためのカメラと、
光源と物体の被測定面との位置関係を複数ｍ通りに変化させ、かつ、被測定面とカメラとの位置関係を複数ｎ通りに変化させることにより撮影条件を設定する撮影条件設定部と、
所定の画像変換装置と、
を設け、
前記所定の画像変換装置は、
基準枠の内部に配置された被写体を、所定方向から撮影することにより得られる撮影画像を、平面上の基準点に立てた法線方向から見た正則画像に変換する画像変換装置であって、
撮影画像もしくはこれに所定の加工処理を施した画像を、二次元ｘｙ座標系に所定の画素値をもった画素を配列してなる画像データとして入力する画像入力部と、
ｘｙ座標系上の任意の直線を、座標軸に対する向きを示す変数ξと原点に対する変位を示す変数ρを用いて表わす表現形式を用い、画像データを構成する個々の画素について、当該画素の基準位置を通る直線群のそれぞれについての変数（ξ，ρ）の組合わせを求め、二次元ξρ座標系上に各変数対（ξ，ρ）に対応する座標点をプロットし、これら座標点の集合により構成される線グラフμを各画素ごとにξρ座標系上に求める線グラフ演算部と、
ξρ座標系上に、各画素が同一の初期画素値を有する積算用二次元画素配列を定義し、この積算用二次元画素配列上に、画像データを構成する第ｉ番目の画素Ｐｉについて求められた線グラフμｉを重ね合わせ、この線グラフμｉ上もしくはその近傍に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算する処理を、第１番目の画素から第Ｎ番目の画素まで（但し、１≦ｉ≦Ｎ、Ｎは画像データに含まれる画素配列上の全画素数）繰り返し実行する画素値積算部と、
撮影画像を得る際の幾何学的な撮影条件に基づいて、ｘｙ座標系上に配置された撮影画像上に現れるであろう基準枠の像の位置を、幾何学的な演算によって予測する基準枠位置予測部と、
予測された基準枠の像を構成する各直線を示す変数（ξ，ρ）の組合わせについて、積算用二次元画素配列上に対応する座標点をそれぞれ幾何学的予測点εとしてプロットし、各幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素の基準位置を、対応する直線についての実測上予測点と決定する実測上予測点決定部と、
二次元ｘｙ座標系上に、各実測上予測点の座標値（ξ，ρ）によって表わされる直線を描き、これらの直線の位置を正しい基準枠の像の位置として取り扱い、幾何学的な演算によって撮影画像を正則画像に変換する正則変換部と、
を有し、
カメラで撮影された撮影画像が画像変換装置の画像入力部へ与えられるように構成され、
画像変換装置によって変換された正則画像に基づいて、物体の反射特性データを作成する反射特性データ作成部を更に設けるようにしたものである。

(15) 本発明の第１５の態様は、上述の第１４の態様に係る物体の反射特性データの作成装置において、
線グラフ演算部が、ｘｙ座標系上の任意の直線に、ｘｙ座標系の原点Ｏから垂線を下し、その足を点Ｆとしたときに、ｘｙ座標系の一軸と線分ＯＦとのなす角度をξ、線分ＯＦの長さをρで表わし、２つの変数ξ，ρにより直線を表わす表現形式を用いるようにしたものである。

(16) 本発明の第１６の態様は、上述の第１４または第１５の態様に係る物体の反射特性データの作成装置において、
画素値積算部が、線グラフμ上に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算するとともに、線グラフμから所定の近傍距離ｄだけ離れた画素の画素値に、画素Ｐｉのもつ画素値に近傍距離ｄに応じた所定割合Ｒ（０≦Ｒ≦１の範囲をとり、近傍距離ｄが大きくなるほど小さくなる値）を乗じた値を積算するようにしたものである。

(17) 本発明の第１７の態様は、上述の第１６の態様に係る物体の反射特性データの作成装置において、
所定割合Ｒが、線グラフμの位置を中心としてガウス分布をとるように設定したものである。

(18) 本発明の第１８の態様は、上述の第１４〜第１７の態様に係る物体の反射特性データの作成装置において、
線グラフ演算部が、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ線グラフを求める演算を実行し、
画素値積算部が、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ画素値の積算処理を実行するようにしたものである。

(19) 本発明の第１９の態様は、上述の第１４〜第１８の態様に係る物体の反射特性データの作成装置において、
線グラフ演算部が、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ線グラフを求める演算を実行し、
画素値積算部が、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ画素値の積算処理を実行するようにしたものである。

(20) 本発明の第２０の態様は、上述の第１４〜第１９の態様に係る物体の反射特性データの作成装置において、
基準枠位置予測部が、撮影画像を得る際の幾何学的な撮影条件として与えられた、基準点に立てた法線と撮影装置の光軸とのなす角θと、光軸の「基準枠が描かれた平面」への投影像と基準点を通り「基準枠が描かれた平面」に含まれる所定の基準線ζとのなす角φと、撮影装置の光学系の焦点距離と、に基づく幾何学的な演算により基準枠の像の位置を予測するようにしたものである。

(21) 本発明の第２１の態様は、上述の第１４〜第２０の態様に係る物体の反射特性データの作成装置において、
実測上予測点決定部が、幾何学的予測点εについての所定の近傍領域として、幾何学的予測点εの座標値を（ξε，ρε）としたときに、所定の偏差Δξ，Δρを用いて、ξε−Δξ≦ξ≦ξε＋Δξ、ρε−Δρ≦ρ≦ρε＋Δρなる条件を満たす座標値（ξ，ρ）で示される領域を用いるようにしたものである。

(22) 本発明の第２２の態様は、上述の第１４〜第２１の態様に係る物体の反射特性データの作成装置において、
実測上予測点決定部が、幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素が複数存在した場合には、これら複数の画素の基準位置の重心位置を、対応する直線についての実測上予測点と決定するようにしたものである。

(23) 本発明の第２３の態様は、上述の第１４〜第２２の態様に係る物体の反射特性データの作成装置において、
実測上予測点決定部が、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、正則画像への画像変換に失敗した旨のメッセージを提示するようにしたものである。

(24) 本発明の第２４の態様は、上述の第１４〜第２３の態様に係る物体の反射特性データの作成装置において、
撮影用ステージの上面に、物体を載置するための矩形を形成し、この矩形の内部領域と外部領域とはコントラストに差が生じるように構成し、両領域の境界線によって基準枠が構成されるようにし、
カメラで撮影された撮影画像に対して微分処理を実行する微分処理部を更に設け、微分処理後の画像が画像入力部へ与えられるように構成し、
正則変換部が、基準枠の像を構成する矩形の４頂点の位置に基づく幾何学的な演算により正則画像への変換を行うようにしたものである。

(25) 本発明の第２５の態様は、上述の第１４〜第２４の態様に係る物体の反射特性データの作成装置において、
実測上予測点決定部が、近傍領域内の最大画素値が所定のしきい値に満たない、もしくは最小画素値が所定のしきい値を超えてしまうと判断した場合には、正則画像への画像変換に失敗した旨のエラー信号を出力し、
反射特性データ作成部が、エラー信号が出力されたために画像変換装置からは得られなかった正則画像を、撮影条件が近似する別な物体撮影画像についての正則画像に基づく補間により求めるようにしたものである。

本発明に係る画像変換の手法を利用すれば、実在の物体を斜めから撮影することにより得られた撮影画像を、真上から見た状態の正則画像に正確に変換することが可能になる。これにより、レンダリング用の高次元テクスチャデータなど、物体の正確な反射特性データを作成することができるようになる。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．レンダリング処理の基本概念 ＞＞＞
本発明は、被写体を斜め方向から撮影することにより得られた撮影画像を、真上から見た状態の正則画像に変換する画像変換技術に係る発明であるが、ここでは、この画像変換技術をレンダリング用の高次元テクスチャデータ（反射特性データ）を作成するプロセスで利用した実施形態を述べることにする。そこで、説明の便宜上、まず、従来の一般的なレンダリング処理の基本概念を説明しておく。

図１は、一般的なレンダリング処理の原理を示す斜視図である。この例は、三次元仮想物体１０を、視点Ｅから観察したときに、投影平面Ｈ上に二次元投影画像１５を求めるシェーディングモデルを示すものである。ここでは、二次元画像として用意されているテクスチャデータ２０を、仮想物体１０の表面にマッピングした状態で、投影画像１５を求める演算が行われる。

このようなレンダリング処理を行うために、まず、仮想物体１０を示す物体データが用意される。たとえば、図示の例では、ＸＹＺ三次元座標系上に定義された多数のポリゴン（多角形）の集合として、仮想物体１０が表現されており、仮想物体１０の表面の各部は、それぞれポリゴンによって構成されている。したがって、仮想物体１０を示す物体データは、このポリゴンの集合体からなる三次元形状データということになり、仮想物体１０の実体は物体データということになる。

一方、テクスチャデータ２０は、ｕｖ二次元座標系上に定義された二次元画像データであり、二次元平面上に配列された多数の画素の集合体である。ここに示す例では、ハート型の絵柄模様が表現されている。もちろん、テクスチャデータ２０によって表現される模様は、必ずしも人為的に描かれた絵柄模様だけではなく、天然素材がもつ固有の陰影模様の場合もある。たとえば、無地の絨毯を表現するテクスチャデータには、人為的な模様は描かれていないが、絨毯の毛並みによる陰影模様が表現されていることになる。結局、このテクスチャデータ２０は、二次元平面上における反射特性の分布を示す反射特性データということができる。本発明は、このような反射特性データを、たとえば絨毯などの実在の物体を撮影した画像から作成するプロセスにおいて利用可能な技術である。レンダリング処理を行う際には、このｕｖ座標系上に定義されたテクスチャデータ２０を、ＸＹＺ座標系上に定義された仮想物体１０の表面にマッピングし、仮想物体表面の各部の反射特性を決定することになる。

レンダリング処理にあたっては、この他、照明条件、視点位置、投影平面を設定する必要がある。照明条件としては、光源の種類（たとえば、形状、大きさ、波長特性など）や位置などを設定する。図示の例の場合、光源Ｇ、視点Ｅ、投影平面Ｈが図示の位置に設定されている。また、三次元仮想物体１０の表面に、どのようにして二次元テクスチャデータ２０をマッピングするかを示すマッピング態様（たとえば、相対的な位置や向き）も設定しておく必要がある。一方、投影平面Ｈ上には、αβ二次元座標系が定義されており、投影画像１５（レンダリング処理の目的物として得られる二次元画像）は、このαβ座標系上の画像データとして得られることになる。

いま、図示のとおり、仮想物体１０上にサンプル点Ｑを定義し、このサンプル点Ｑから視点Ｅに向かう反射光Ｖを考える。この反射光Ｖは、光源Ｇからの照明光Ｌが、サンプル点Ｑで反射することにより得られる光であり、視点Ｅの位置で観察される光である。もっとも、ここでいう「反射」とは、「鏡面反射」のみでなく、「拡散反射」も含めた広い概念であり、サンプル点Ｑに様々な角度で入射する照明光がそれぞれ反射光として視点Ｅに向かうことになる。したがって、図示の反射光Ｖは、様々な角度から入射した照明光から得られる反射光の集まりというべきものになる。

１つのサンプル点Ｑから視点Ｅに向かう反射光Ｖと投影平面Ｈとの交点位置に、当該反射光Ｖの強度に応じた画素値をもつ画素Ｐを定義するようにし、仮想物体１０の表面上の多数のサンプル点から視点Ｅに向かう各反射光について、同様に、投影平面Ｈ上に画素を定義すれば、多数のサンプル点について定義された多数の画素の集合により、三次元仮想物体１０の二次元投影画像１５が投影平面Ｈ上に得られることになる。実用上は、予め投影平面Ｈ上に所望の解像度で画素配列を定義しておき、視点Ｅと個々の画素Ｐの基準位置（たとえば、中心点）とを結ぶ線を仮想物体１０上へと伸ばし、仮想物体表面との交点位置にサンプル点Ｑを定義し、上述した手法により、個々の画素Ｐの画素値を演算すれば、必要な解像度をもった二次元データを得ることができる。

このように、投影平面Ｈ上の画素Ｐの画素値を求めるためには、サンプル点Ｑから画素Ｐを通って視点Ｅに向かう反射光Ｖの強度を求める必要があるが、このような反射光Ｖの強度は、基本的に、サンプル点Ｑに入射する照明光Ｌの強度と、サンプル点Ｑにおける光の反射率（鏡面反射率や拡散反射率）とを考慮した演算によって求めることができる。もちろん、このとき、サンプル点Ｑを含むポリゴンの向きを考慮に入れた演算が行われ、サンプル点Ｑにマッピングされたテクスチャデータ２０（ｕｖ座標系上に定義された二次元画像データ）も考慮に入れた演算が行われる。したがって、仮想物体１０の表面が曲面であれば、当該曲面に応じた陰影をもった投影画像１５が得られることになり、テクスチャデータ２０が、図示のように、ハート型の絵柄の情報をもっていれば、投影画像１５上にも、このハート型の絵柄が表現されることになる（図１では、この絵柄の図示は省略）。

サンプル点Ｑからの反射光の強度を演算する最も単純な方法は、ＸＹＺ三次元座標系上の１点として定義されるサンプル点Ｑから視点Ｅに向かう反射光Ｖの強度Ｉ（Ｖ）を、
Ｉ（Ｖ）＝Ｋ・Ｉ（Ｌ）
なる式で求める方法である。ここで、Ｉ（Ｌ）は照明光Ｌのサンプル点Ｑの位置における強度であり、Ｋは反射係数である。照明光Ｌの強度Ｉ（Ｌ）は、光源Ｇの輝度、光源Ｇとサンプル点Ｑとの距離、サンプル点Ｑが所属するポリゴンに対する照明光の入射角といったパラメータによって決定される。これに対して、反射係数Ｋは、テクスチャデータ２０によって決定される。まず、テクスチャデータ２０を仮想物体１０の表面に所定のマッピング態様でマッピングした場合に、サンプル点Ｑの位置が、テクスチャデータ２０のどの座標に対応するかを定め、当該対応座標（ｕ，ｖ）に位置する画素Ｔ（ｕ，ｖ）を決定する。そして、この対応画素Ｔ（ｕ，ｖ）の画素値として定義されている値が、サンプル点Ｑの位置における反射係数Ｋになる。

テクスチャデータ２０として、カラー画像を用いる場合は、個々の原色ごとに、それぞれ所定の反射係数が定義される。すなわち、ｕｖ座標系上に定義された１つの画素Ｔ（ｕ，ｖ）の画素値として、３つの係数Ｋｒ，Ｋｇ，Ｋｂが定義されている。ここで、係数Ｋｒは原色Ｒ（赤）の波長成分をもった照明光についての反射率、係数Ｋｇは原色Ｇ（緑）の波長成分をもった照明光についての反射率、係数Ｋｂは原色Ｂ（青）の波長成分をもった照明光についての反射率である。

このようなカラー画像からなるテクスチャデータ２０をマッピングした場合、サンプル点Ｑからの反射光の強度は、光の各波長成分ごとに演算される。たとえば、反射光Ｖの赤色波長成分の強度Ｉｒ（Ｖ）は、照明光Ｌの赤色波長成分のサンプル点Ｑの位置における強度Ｉｒ（Ｌ）と、反射係数Ｋｒとを用いて、
Ｉｒ（Ｖ）＝Ｋｒ・Ｉｒ（Ｌ）
なる式で求めることができる。

＜＜＜ §２．高次元画像をテクスチャとして用いるモデル ＞＞＞
§１では、テクスチャデータ２０として、二次元画像を用いた例を示した。このような二次元画像をマッピングするモデルでは、サンプル点Ｑの反射特性が、照明光の入射角や反射光の反射角に依存しないものとして取り扱っているが、パイル地のような三次元構造をもった繊維シートを物体表面に張り付けた場合、厳密には、照明光の入射角や反射光の反射角に依存した異方性反射の特性を考慮した取り扱いをしなければならない。

このように、光の入射方向や反射方向に関する角度に依存して、反射特性が異なるような取り扱いを行う基本的なモデルとして、ＢＲＤＦ（Bi-directional Reflection Distribution Function）と呼ばれるモデルが提案されている。図２は、このＢＲＤＦモデルの原理を説明するための斜視図である。図示のとおり、仮想物体表面上のサンプル点Ｑの位置に法線Ｎを立て、サンプル点Ｑを含み、法線Ｎに直交する直交平面Ｗ（以下、基準面Ｗと呼ぶ）を定義する。そして、法線Ｎと入射照明光Ｌとのなす角をθＬ、基準面Ｗ上への入射照明光Ｌの投影像Ｌ′とこの基準面Ｗ上のサンプル点Ｑを通る所定の基準線ζとのなす角度をφＬとし、入射照明光Ｌの向きを角度θＬおよび角度φＬの組み合わせで定義する。同様に、法線Ｎと反射光Ｖとのなす角をθＶ、基準面Ｗ上への反射光Ｖの投影像Ｖ′と基準線ζとのなす角度をφＶとし、反射光Ｖの向きを角度θＶおよび角度φＶの組み合わせで定義する。いわば、角度θＬ，θＶは、入射照明光および反射光の仰角に相当する（本来の「仰角」は、水平面に対する角度を意味するので、角度θＬ，θＶは、厳密に言えば「９０°−仰角」であるが、ここでは、便宜上、単に「仰角」と呼ぶことにする）。また、角度φＬ，φＶは、入射照明光および反射光の方位角に相当する。

ここで、サンプル点Ｑにおける入射照明光Ｌの強度をＩ（Ｌ）としたとき、サンプル点Ｑからの反射光Ｖの強度Ｉ（Ｖ）を、θＬ，φＬ，θＶ，φＶの関数として与えられる反射係数Ｋ（θＬ，φＬ，θＶ，φＶ）を用いて、
Ｉ（Ｖ）＝Ｋ（θＬ，φＬ，θＶ，φＶ）・Ｉ（Ｌ）
なる式で求めるのが、ＢＲＤＦモデルである。このＢＲＤＦモデルの特徴は、反射係数Ｋを、入射照明光Ｌの向きを示すパラメータ「θＬ，φＬ」および反射光Ｖの向きを示すパラメータ「θＶ，φＶ」の関数として与える点にある。

このＢＲＤＦモデルに、テクスチャマッピングの概念を付加したものが、前掲の非特許文献１等に記載されているＢＴＦ（Bi-directional Texture Function）モデルである。ＢＴＦモデルでは、上記ＢＲＤＦモデルで用いた４つの角度パラメータに、更に、二次元ｕｖ座標系上での座標値（ｕ，ｖ）がパラメータとして加わることになり、サンプル点Ｑにおける入射照明光Ｌの強度をＩ（Ｌ）としたとき、サンプル点Ｑからの反射光Ｖの強度Ｉ（Ｖ）は、
Ｉ（Ｖ）＝Ｋ（θＬ，φＬ，θＶ，φＶ，ｕ，ｖ）・Ｉ（Ｌ）
なる式で与えられる。すなわち、図２に示す反射光Ｖの強度Ｉ（Ｖ）は、入射照明光Ｌがどの方向からサンプル点Ｑに照射され、反射光Ｖがサンプル点Ｑからどの方向に射出するか、という角度に関するパラメータに依存して定まるとともに、サンプル点Ｑの位置にも依存して定まるファクターということになる。

図３は、このＢＴＦモデルで用いる６次元テクスチャデータ２０の構造を示す平面図である。上述したとおり、このＢＴＦモデルにおいて、反射係数Ｋは、６次元の関数Ｋ（θＬ，φＬ，θＶ，φＶ，ｕ，ｖ）として定義されるパラメータであるから、この６次元テクスチャデータ２０自身は、６次元空間上に配置された多数の画素の集合から構成される６次元の画像データということになり、個々の画素が特定の反射係数Ｋに相当する画素値を有することになる。ただ、ここでは、説明の便宜上、図３に示す例のように、この６次元テクスチャデータ２０を、ｕｖ平面上の二次元画素配列として図示することにする。この場合、この二次元画素配列上の個々の画素Ｔ（ｕ，ｖ）には、４つのパラメータ「θＬ，φＬ，θＶ，φＶ」の関数として定まる反射係数Ｋ（θＬ，φＬ，θＶ，φＶ）がそれぞれ定義されていることになる。

ここで、反射係数Ｋ（θＬ，φＬ，θＶ，φＶ）は、θＬ，φＬ，θＶ，φＶをそれぞれ変数として含む何らかの関数式として定義することも可能であるが、実用上は、数値テーブルとして定義するのが一般的であり、ここで述べる実施形態も、数値テーブルとして定義する取り扱いを行うことを前提としている。このように反射係数Ｋを数値テーブルとして定義する場合、角度のパラメータθＬ，φＬ，θＶ，φＶは連続量として取り扱うことはできないので、離散的な取り扱いを行わざるを得ない。

図４に、角度θＬの離散的な定義の一例を示す。上述したとおり、角度θＬは、サンプル点Ｑに入射する照明光Ｌの法線Ｎに対する角度を示すものである。図４には、サンプル点Ｑに対して、６通りの仰角をもって入射する照明光Ｌ１〜Ｌ６が描かれている。これら照明光Ｌ１〜Ｌ６の入射角θＬ１〜θＬ６は、図示のとおり、０°，１５°，３０°，４５°，６０°，７５°である。入射角（仰角）に関しては、このように１５°おきに６通りの角度を離散的に定義しておけば、実用上、ある程度の精度をもったテクスチャ表現が可能になる。

一方、図５には、角度φＬの離散的な定義の一例を示す。上述したとおり、角度φＬは、サンプル点Ｑに入射する照明光Ｌの基準面Ｗ上への投影像Ｌ′と基準線ζとのなす角度であり、照明光Ｌの方位角を示すものである。図５には、サンプル点Ｑに対して、１２通りの方向から入射する照明光の方位角が描かれている（基準線ζは０°の位置に定義されている。）。すなわち、図５の紙面は基準面Ｗに対応し、この基準面Ｗ上に、０°〜３６０°の範囲内の方位角が３０°おきに定義されている。方位角に関しては、このように３０°おきに１２通りの角度を離散的に定義しておけば、実用上、ある程度の精度をもったテクスチャ表現が可能になる。

以上、入射照明光Ｌに関する角度θＬ，φＬについての離散的定義例を示したが、反射光Ｖに関する角度θＶ，φＶについても同様の定義を行うことができる。すなわち、角度θＶに関しては、０°，１５°，３０°，４５°，６０°，７５°という６通りの離散的定義を行い、角度φＶに関しては、０°〜３６０°の範囲内の方位角を３０°おきに定義すればよい。

このような離散的な定義を行うと、角度θＬおよびθＶはそれぞれ６通りの値をとり、角度φＬおよびφＶはそれぞれ１２通りの値をとることになるので、これら４つの角度の組み合わせは、６×１２×６×１２＝５１８４通りということになる。したがって、図３に示すテクスチャデータ２０の１つの画素Ｔ（ｕ，ｖ）に定義される反射係数Ｋは、それぞれの角度値の組み合わせに応じて５１８４通りの値をとることになる。

結局、図３に示すテクスチャデータ２０は、形式的には、二次元ｕｖ座標系上に定義された二次元の画像データとして表現されているが、実際には、６つのパラメータθＬ，φＬ，θＶ，φＶ，ｕ，ｖによって定義される画素値（反射率）をもった６次元の画像データ（反射特性データ）ということになる。

この図３に示すような高次元のテクスチャデータ２０を用いたＢＴＦモデルによるレンダリング処理は、次のようにして行われる。まず、図１に示すように、三次元仮想物体１０の表面に、このテクスチャデータ２０をマッピングし、サンプル点Ｑの位置に対応する画素Ｔ（ｕ，ｖ）を決定する。次に、光源Ｇの位置やサンプル点Ｑが所属するポリゴンの向きなどを考慮することにより、サンプル点Ｑに入射する照明光Ｌの角度θＬ，φＬ、サンプル点Ｑから射出する反射光Ｖの角度θＶ，φＶを決定する。そして、図３に示す画素Ｔ（ｕ，ｖ）について定義されている反射特性を参照して、特定の角度θＬ，φＬ，θＶ，φＶの組み合わせに対応する反射係数を求める。カラー画像の場合は、三原色ＲＧＢのそれぞれについての反射係数Ｋｒ，Ｋｇ，Ｋｂが求められる。最後に、これらの反射係数Ｋｒ，Ｋｇ，Ｋｂに基づいて、反射光Ｖの各原色成分ごとの強度値を求め、投影面Ｈ上の画素Ｐの画素値を決定すればよい。

＜＜＜ §３．実測による反射特性データの作成方法 ＞＞＞
続いて、§２で述べたような高次元画像として表現される反射特性データを、実在の物体についての実測により作成する方法を説明する。たとえば、図１に示すレンダリング処理において、物体データ１０の表面に、パイル地のような三次元構造をもった繊維シートを張り付けた状態をＢＴＦモデルによって表現したい場合、表面にマッピングするテクスチャデータ２０としては、図３に示すような６次元画像として表現される反射特性データを用意する必要がある。実在の物体に基づく測定により、このような高次元の反射特性データを作成するには、たとえば、実在のパイル地の生地を用意し、この生地の表面の反射特性を様々な幾何学的な撮影条件下で撮影し、得られた複数の撮影画像に基づいて、反射特性データを作成すればよい。

具体的な撮影条件としては、光源、物体、カメラという三者の位置関係を設定すればよい。すなわち、１つの撮影条件は、この三者が所定の位置関係にあることを示す条件ということになる。より具体的には、１つの撮影条件は、光源と物体との位置関係と、カメラと物体との位置関係と、の組み合わせにより定義される。

図６は、様々な撮影条件下での撮影を行うための撮影系の一例を示す斜視図である。この例では、撮影用ステージ３０の上面（平面）にシート状の物体４０（たとえば、パイル地などの布片）を載置した状態が示されている。この物体４０の上面Ｗ（被測定面）に対する撮影を行うために、光源５０およびカメラ６０が図のように配置されている。ここでは、光源５０として点光源を用いている。また、光源５０、物体４０、カメラ６０という三者の位置関係を幾何学的に定義するために、光源５０内に代表点５１を定義し、物体４０の上面Ｗの中心位置に基準点Ｓを定義している。点光源は、理論上は幾何学的な１点から球面波として光を発生させる光源であるが、実際には、有限の体積を有する発光体であるので、その中に代表点５１を定義して取り扱うことにする。代表点５１も基準点Ｓも、位置定義の基準を示すための幾何学的な点であり、理論的には任意の位置に定義することができるが、実用上は、それぞれの中心位置に定義するのが好ましい。したがって、図示の例では、光源５０の中心位置に代表点５１が定義されており、物体４０の上面Ｗの中心位置に基準点Ｓが定義されている。

ここで、カメラ６０は、その光軸上に基準点Ｓが位置するような向きに配置することにする。また、代表点５１から基準点Ｓに向かう照明光を基準照明光Ｌｓと呼び、基準点Ｓからカメラ６０の光軸方向に射出する反射光を基準反射光Ｖｓと呼ぶことにする。更に、基準点Ｓの位置において、物体４０の上面Ｗに対する法線Ｎを立て、この上面Ｗを基準面Ｗと呼び、この基準面Ｗ上への基準照明光Ｌｓの投影像をＬｓ′と呼び、基準面Ｗ上への基準反射光Ｖｓの投影像をＶｓ′と呼ぶことにする。

このような定義を行うと、光源５０と物体４０との位置関係は、基準点Ｓに入射する基準照明光Ｌｓと法線Ｎとのなす角θＬｓ（基準照明光Ｌｓの入射角）と、基準照明光Ｌｓの基準面Ｗ上への投影像Ｌｓ′と基準線ζｓとのなす角φＬｓ（基準照明光Ｌｓの方位角）とによって定義することができる。同様に、物体４０とカメラ６０の位置関係は、基準点Ｓからカメラ６０の光軸方向に射出する基準反射光Ｖｓと法線Ｎとのなす角θＶｓ（基準反射光Ｖｓの反射角）と、基準反射光Ｖｓの基準面Ｗ上への投影像Ｖｓ′と基準線ζｓとのなす角φＶｓ（基準反射光Ｖｓの方位角）とによって定義することができる。

この定義は、図２に示すＢＴＦモデルにおけるサンプル点Ｑに関する照明光Ｌと反射光Ｖの定義と共通している。ただ、図２に示す例は、図１に示すようなレンダリング処理を行う際に、三次元仮想物体１０上のサンプル点Ｑの位置における照明光Ｌと反射光Ｖとの関係を示すためのものであるのに対し、図６に示す例は、実在の物体４０上に定義された基準点Ｓに入射する基準入射光Ｌｓと、そこから反射する基準反射光Ｖｓとを基準にして、光源５０，物体４０，カメラ６０という三者の位置関係を示すためのものということになる。

さて、図６に示す例の場合、角度θＬｓをａ通り、角度φＬｓをｂ通りに変化させることにより、光源５０と物体４０との位置関係をｍ＝（ａ×ｂ）通りに変化させることができる。同様に、角度θＶｓをｃ通り、角度φＶｓをｄ通りに変化させることにより、物体４０とカメラ６０との位置関係を複数ｎ＝（ｃ×ｄ）通りに変化させることができる。結局、光源５０，物体４０，カメラ６０という三者の位置関係としては、光源５０と物体４０との位置関係を複数ｍ通りに変化させ、かつ、物体４０とカメラ６０との位置関係を複数ｎ通りに変化させることにより、合計（ｍ×ｎ）通りの設定を行うことができ、個々の設定をそれぞれ固有の撮影条件と捉えれば、合計（ａ×ｂ×ｃ×ｄ）通りの撮影条件を設定することができる。

ここに示す実施形態では、０〜９０°の角度範囲をα等分し、ａ＝ｃ＝αとすることにより、θＬｓの角度値およびθＶｓの角度値をそれぞれα通り設定し、０〜３６０°の角度範囲をβ等分し、ｂ＝ｄ＝βとすることにより、φＬｓの角度値およびφＶｓの角度値をそれぞれβ通り設定し、合計α^２×β^２通りの撮影条件を設定するようにしている。

具体的には、たとえば、α＝６（ａ＝６，ｃ＝６）に設定した場合、入射角θＬｓおよび反射角θＶｓについては、図４に示す例と同様に、０°，１５°，３０°，４５°，６０°，７５°なる６通りの設定を行うことができ、β＝１２（ｂ＝１２，ｄ＝１２）に設定した場合、方位角φＬｓおよび方位角φＶｓについては、図５に示す例と同様に、０°，３０°，６０°，…，３００°，３３０°なる１２通りの設定を行うことができる。この場合、光源５０と物体４０との位置関係は７２通り（ｍ＝６×１２通り）、物体４０とカメラ６０との位置関係も７２通り（ｎ＝６×１２通り）となり、全部で５１８４通りの撮影条件が設定されることになる。

結局、図６に示す例の場合、光源５０と物体４０とカメラ６０とが所定の位置関係になるような撮影条件を、光源５０と物体４０との位置関係を複数ｍ通りに変化させ、かつ、物体４０とカメラ６０との位置関係を複数ｎ通りに変化させることにより、合計（ｍ×ｎ）通り設定することができる。

こうして設定された（ｍ×ｎ）通りの撮影条件のそれぞれについて、光源５０によって照明されている物体４０の画像をカメラ６０で撮影すれば、合計（ｍ×ｎ）枚の撮影画像を得ることができる。上述の例の場合、合計５１８４通りの撮影条件に基づいて、合計５１８４枚の撮影画像が得られる。なお、実用上は、カメラ６０としてカラー画像を撮影する機能をもったカメラを用いることにより、三原色ＲＧＢの各原色プレーンの集合からなるカラー画像が撮影されることになる。

このように、幾何学的に様々な条件下で撮影を行うと、撮影画像上における物体像の形状や大きさは様々なものになる。たとえば、物体４０の上面（被測定面）が矩形の平面であったとすると、この被測定面を、基準点Ｓ（この矩形の中心点）の位置に立てた法線Ｎの方向から（図６において、角度θＶｓ＝０となる方向から）、特定の回転位置で（図６において、角度φＶｓ＝０°もしくは１８０°となる回転位置で）撮影した場合には、図７(a) に示すように、正則な矩形（画像の輪郭を構成する矩形の各辺に平行な４辺をもった矩形）の撮影画像が得られることになる。ところが、角度φＶｓを変化させた撮影条件では、図７(b) のように、回転がかかった矩形の画像が得られることになり、更に、角度θＶｓおよびφＶｓが任意の値をとる撮影条件では、図７(c) 〜(f) のように、様々な形状や大きさをもった画像が得られることになる。

しかしながら、ここで作成しようとしているテクスチャーデータ２０（反射特性データ）は、図３に示すように、ｕｖ座標系上に正則なマトリックス状に配置された画素Ｔ（ｕ，ｖ）の集合体によって構成されていなければならない。そこで、前掲の特許文献２などに開示されている射影的正規化変換と呼ばれている幾何学的な画像変換処理の手法を用い、図７(a) 〜(f) に示されている個々の撮影画像を、それぞれ図８(a) 〜(f) に示されている正則画像に変換する。このような正則画像への変換処理は、角度θＶｓおよびφＶｓと、カメラ６０の焦点距離と、に基づいて行うことが可能である。

図８(a) 〜(f) に示されている正則画像は、幾何学的には、いずれも図６に示す物体４０を法線Ｎの方向から見た画像に相当する。もっとも、この図８(a) 〜(f) に示されている正則画像は、互いにそれぞれ異なった画像になる。たとえば、図８(c) に示す正則画像は、幾何学的には、物体４０を法線Ｎの方向から見た画像に相当し、縦横の画素数は、図８(a) に示す正則画像と全く同じになる。しかしながら、図８(c) に示す正則画像は、物体４０を法線Ｎの方向から撮影することにより得られた画像ではなく、斜めの方向から撮影することにより得られた画像であるから、当然、個々の画素値は、図８(a) に示す正則画像の個々の画素値とは異なる。このように、本願において「法線方向から見た正則画像」とは、「幾何学的な意味で法線方向から見た画像と同じ画素配列を有する画像」という意味であり、「法線方向からの撮影により得られる画像（たとえば、図８(a) ）」を意味するものではない。

さて、各撮影画像に対して、このような画像変換処理を行うことにより、最終的に（ｍ×ｎ）枚の正則画像が得られたら、これら正則画像に基づいて、反射特性データを作成することができる。最終的に作成される反射特性データは、図３に示されているテクスチャデータ２０のように、二次元画素配列上の個々の画素Ｔ（ｕ，ｖ）に、４つのパラメータ「θＬ，φＬ，θＶ，φＶ」の関数として定まる反射係数Ｋ（θＬ，φＬ，θＶ，φＶ）をそれぞれ定義したものである。これに対して、上記画像変換処理によって得られるデータは、上述の例の場合、５１８４枚の正則画像のデータである。そこで、この５１８４枚の正則画像のデータに基づいて、図３に示すような反射特性データを作成すればよい。

もっとも、この処理は、実体的な演算を伴う処理ではなく、単にデータを整理する処理というべきものである。たとえば、図３に示すテクスチャデータ２０の画素Ｔ（ｕ，ｖ）には、角度「θＬ，φＬ，θＶ，φＶ」の関数として定まる反射係数Ｋ（θＬ，φＬ，θＶ，φＶ）が定義されている。そこで、撮影条件として設定した角度「θＬｓ，φＬｓ，θＶｓ，φＶｓ」を、それぞれ角度「θＬ，φＬ，θＶ，φＶ」とみなして、角度「θＬｓ，φＬｓ，θＶｓ，φＶｓ」という特定の撮影条件についての正則画像上の座標（ｕ，ｖ）の位置にある画素の画素値を、図３に示すテクスチャデータ２０の画素Ｔ（ｕ，ｖ）についての角度「θＬ，φＬ，θＶ，φＶ」についての反射係数Ｋ（θＬ，φＬ，θＶ，φＶ）と定義する処理を行えばよい。

より具体的に説明すると次のようになる。たとえば、「θＬｓ＝４５°，φＬｓ＝１２０°，θＶｓ＝１５°，φＶｓ＝３００°」という特定の撮影条件の下で撮影された撮影画像に基づいて、特定の正則画像が得られたとする。そして、この特定の正則画像上の座標（ｕ，ｖ）の位置にある画素の画素値がＰ（ｕ，ｖ）であったとする。この場合、図３に示すテクスチャデータ２０の画素Ｔ（ｕ，ｖ）についての角度「θＬ＝４５°，φＬ＝１２０°，θＶ＝１５°，φＶ＝３００°」についての反射係数Ｋ（４５°，１２０°，１５°，３００°）の値を、Ｐ（ｕ，ｖ）とする定義がなされることになる。もちろん、この画素Ｔ（ｕ，ｖ）には、個々の角度の組み合わせのバリエーションに応じて全部で５１８４通りの反射係数Ｋが定義されることになるが、これらの反射係数Ｋは、得られた５１８４枚の正則画像上の座標（ｕ，ｖ）の位置にある画素の画素値ということになる。

かくして得られた反射特性データは、結局、物体４０の所定位置に所定の入射方向から照明光を当てたときに、当該所定位置から所定の射出方向に向かう反射光の反射率を、個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義した反射特性データということになる。

なお、カラー画像の撮影を行った場合、個々の原色プレーンごとに正則画像への変換処理を実行することにより、三原色ＲＧＢの各原色プレーンの集合からなる正則画像を得るようにすればよい。

＜＜＜ §４．本発明における変換の基本原理 ＞＞＞
上述したとおり、図７(a) 〜(f) に示されている個々の撮影画像を、それぞれ図８(a) 〜(f) に示されている正則画像に変換する手法として、従来は、幾何学的な撮影条件（角度θＶｓ，φＶｓ，カメラ６０の焦点距離）に基づく幾何学的な演算手法（射影的正規化変換）が利用されてきた。しかしながら、このような幾何学的な演算手法を、実在の物体についてのカメラ撮影で得られた実測画像データに適用しても、精度の高い変換を行うことはできない。その原因は、既に述べたとおり、予め所定の幾何学的な撮影条件を設定し、実在の物体に対して当該撮影条件下で撮影を行ったとしても、実際には、設定どおりの正確な撮影条件下での撮影を行うことが困難なためである。すなわち、図６に示す撮影系では、物体４０に対するカメラ６０の相対位置や向きに関する誤差、カメラ６０の光軸のずれ、レンズの収差などの要因が関与してくるため、図７(a) 〜(f) に示す実際の撮影画像は、幾何学的な撮影条件（角度θＶｓ，φＶｓ，カメラ６０の焦点距離）の下で得られる理想的な撮影画像に合致しないのである。

そこで、本発明では、基本的に別なアプローチを採り、より正確な正則画像への変換を実現している。本発明における変換の基本原理は、幾何学的な撮影条件を手掛かりとする代わりに、実際に得られた撮影画像上に残された手掛かりを用いて、当該撮影画像を正則画像へ変換する処理を行うことにある。

たとえば、図６に示す撮影系において、撮影用ステージ３０上に載置された物体４０が矩形状の輪郭を有する平面物体であったとしよう。この場合、この物体４０を斜め方向から撮影することにより得られた撮影画像上には、たとえば、図９(a) に示すように、物体４０の輪郭矩形の像として、四角形ＡＢＣＤが写っているはずである。一方、この物体４０を、法線Ｎの方向（真上）から撮影した場合には、撮影画像上には、図９(b) に示すような正則な四角形ＡＢＣＤが写ることが予めわかっていたとする。そうすれば、図９(a) に示す四角形ＡＢＣＤを図９(b) に示す四角形ＡＢＣＤに変換することは、公知の幾何学的な演算手法（たとえば、前掲の射影的正規化変換）を用いて行うことができ、この演算手法を用いて、図９(a) に示す四角形ＡＢＣＤ内の任意の点Ｑについて、図９(b) に示す正則四角形ＡＢＣＤ内の対応点Ｑを求めることもできる。

このように、被撮影対象物上に基準枠として機能する矩形が存在すれば、撮影画像上に写っているこの基準枠の像の形状を手掛かりとして、従来の幾何学的な演算手法を適用することにより、当該撮影画像を正則画像に変換することが可能になる。もちろん、射影的正規化変換などの幾何学的な変換手法を用いる、という点に関しては、§３で述べた従来の画像変換方法と共通するが、従来の方法の場合、幾何学的な撮影条件を手掛かりとした変換が行われていたのに対し、本発明では、実際に得られた撮影画像上に写っている基準枠の像の形状を手掛かりとした変換が行われることになる。ある特定の撮影画像を正則画像に変換する処理を行う際に、当該撮影画像上に写っている基準枠の像を利用するため、非常に正確な変換処理が可能になる。すなわち、本発明では、撮影時において、設定どおりの理想的な撮影条件下で撮影が行われなかったとしても、何ら影響を受けることはない。

もっとも、被撮影対象物上の基準枠として、測定対象となる物体４０自身を用いるのは好ましくない。上述の例では、物体４０が矩形状の輪郭を有する平面物体であった例を示したが、実用上、測定対象となる物体４０は様々な形態を有しており、必ずしも矩形状の輪郭を有しているとは限らない。そこで、実用上は、物体４０を載置する撮影用ステージ３０の上面に、矩形からなる基準枠を形成しておくようにするのが好ましい。

図１０は、本発明に係る画像変換を利用するために用いる撮影用ステージ３０の一例を示す平面図である。図示のとおり、撮影用ステージ３０の上面には、矩形状の基準枠３５が描かれている。この基準枠３５は、４つの辺３５Ａ，３５Ｂ，３５Ｃ，３５Ｄによって構成されており、被写体となる物体４０は、図示のとおり、この基準枠３５の内側に載置される。図１１は、図１０に示す撮影用ステージ３０を用いた撮影により得られた撮影画像の一例を示す平面図である（撮影用ステージ３０の輪郭像は図示省略）。この例は、撮影用ステージ３０の斜め上方から撮影した例であり、基準枠３５の像は、歪んだ四角形ＡＢＣＤを構成している。もちろん、物体４０の像の形状も歪んだものとなっている。

この図１１に示すような撮影画像を正則画像に変換する目的は、物体４０の像の歪みを修正することにあるが、そのような修正を行う上での手掛かりとして、基準枠３５の像を構成する歪んだ四角形ＡＢＣＤを利用するのである。すなわち、図１０に示す撮影用ステージ３０を真上から撮影したときに得られる撮影画像上で、基準枠３５の像がどのような像（正則な四角形）になるかを予め確認しておけば、図９(a) に示す歪んだ四角形ＡＢＣＤを図９(b) に示す正則四角形ＡＢＣＤに変換したのと同じ幾何学的な手法（たとえば、射影的正規化変換）により、図１１に示す撮影画像を正則画像に変換することができる。

これが、本発明における正則画像への画像変換処理の基本原理である。しかしながら、この原理に基づく画像変換処理を実際に行うためには、解決しなければならない重要な問題がある。それは、図１１に示すような撮影画像上での基準枠３５の像の認識である。図１１では、説明の便宜上、基準枠３５の像を単純な四角形ＡＢＣＤとして示したが、正則画像への画像変換処理をコンピュータを利用した演算として実行するためには、四角形ＡＢＣＤを構成する各辺３５Ａ，３５Ｂ，３５Ｃ，３５Ｄを、コンピュータに直線として認識させてやる必要がある。

コンピュータを利用したデジタル画像処理を行う場合、撮影画像は多数の画素の配列からなるデータとして取り扱われる。したがって、図１０に示す撮影ステージ３０上に、どんなに精密な基準枠３５を描いたとしても、図１１に示すような撮影画像上では、この基準枠３５の像は、単なる画素の集合体でしかない。したがって、コンピュータに幾何学的な四角形ＡＢＣＤを認識させてやるためには、何らかのアルゴリズムに基づき、基準枠３５の像を構成する画素を抽出し、直線認識を行う処理が必要になる。

しかも、図１１に示すような撮影画像から四角形ＡＢＣＤを認識させる処理は、実際には困難を伴う処理になる。これは、撮影画像上に写った基準枠３５の像は、必ずしも連続した線になっていないためである。図６に示す撮影系を見ればわかるとおり、実際の撮影画像は、物体４０，光源５０，カメラ６０の相対位置を様々に変えた条件下で撮影されることになるので、撮影条件によっては、撮影用ステージ３０上に描かれた基準枠３５が光の反射により不鮮明に写る可能性がある。実際、撮影画像上の基準枠３５の像は、とぎれとぎれの線になることも少なくない。§２で述べた例の場合、種々の撮影条件下で撮影した画像が合計５１８４枚も得られることになり、これら個々の撮影画像ごとに、それぞれ基準枠３５の像の形態、線のとぎれ方は異なるものになる。

結局、前述した本発明における正則画像への画像変換処理の基本原理を実用化するには、個々の撮影画像上で、基準枠３５の像を構成する各辺３５Ａ，３５Ｂ，３５Ｃ，３５Ｄを、コンピュータ上で直線として認識させる、という具体的な課題を解決する必要がある。本発明では、ハフ変換という直線認識の手法と、幾何学的な撮影条件を手掛かりとする従来の画像変換の手法とを組み合わせることにより、この課題を解決することに成功した。以下、この方法について詳述する。

＜＜＜ §５．ハフ変換の基本原理 ＞＞＞
ここでは、ハフ変換の基本原理を簡単に説明する。ハフ変換（Hough transform）は、不完全な画像情報から線の抽出を行うための方法であり、たとえば、「イメージプロセッシング＜画像処理標準テキストブック＞」 監修：画像処理標準テキストブック編集委員会、発行所：財団法人画像情報教育振興協会、発行日：平成９年２月２５日、１８７〜１９０頁などに詳細な説明がなされている。

いま、図１２(a) に示すような二次元ｘｙ座標系を定義し、この座標上に、図示のような１本の直線Ｌａが存在するものとする。一般に、ｘｙ座標系上の任意の直線は、座標軸に対する向きを示す変数ξと原点に対する変位を示す変数ρを用いて表わすことができる。図示の例の場合、直線Ｌａは、座標軸ｘに対する向きを示す変数ξａと原点Ｏに対する変位を示す変数ρａを用いて表わされている。すなわち、図１２(a) に示す例では、ｘｙ座標系の原点Ｏから直線Ｌａに対して垂線を下し、その足を点Ｆとしたときに、このｘｙ座標系の一軸ｘと線分ＯＦとのなす角度をξａとし、線分ＯＦの長さをρａで表わし、２つの変数ξａ，ρａにより、当該直線Ｌａを表わす表現形式が用いられている。

このように、２つの変数（ξ，ρ）の組合わせが、ｘｙ座標上の１本の直線に一義的に対応することになるので、図１２(b) に示すように、二次元ξρ座標系を定義すれば、このξρ座標上の任意の１点λは、ｘｙ座標上の特定の直線に対応する。図示の例では、図１２(b) に示すξρ座標上の１点λａ（ξａ，ρａ）は、図１２(a) に示すｘｙ座標上の直線Ｌａに対応する。

そこで、図１３(a) に示すように、ｘｙ座標上に点Ｐをとり、この点Ｐを通る３本の直線Ｌａ，Ｌｂ，Ｌｃを考える。すると、図１３(b) に示すように、ξρ座標上には、これら３本の直線Ｌａ，Ｌｂ，Ｌｃに対応して、それぞれ点λａ，λｂ，λｃがプロットできる。ｘｙ座標上の点Ｐを通る直線は、３本だけではなく、実は無限に存在するので、この無限個の直線について、ξρ座標上にそれぞれ対応する点をプロットすれば、ξρ座標上には、無限個の対応点がプロットされることになり、この無限個の対応点によって１本の線グラフを描くことができる。すなわち、図１４(a) に示すように、ｘｙ座標上に点Ｐを定義し、この点Ｐを通る無限個の直線群を考えると、当該直線群は、図１４(b) に示すように、ξρ座標上に引かれた１本の線グラフμとして表現されることになる。

次に、図１５(a) に示すように、ｘｙ座標上に４つの点Ｐ１，Ｐ２，Ｐ３，Ｐ４が存在する場合を考える。この場合、点Ｐ１を通る無限個の直線は、図１５(b) に示すように、ξρ座標上での１本の線グラフμ１として表現することができる。同様に、点Ｐ２を通る無限個の直線は線グラフμ２として表現され、点Ｐ３を通る無限個の直線は線グラフμ３として表現され、点Ｐ４を通る無限個の直線は線グラフμ４として表現される。ここで、図１５(b) に示すように、この４本の線グラフμ１〜μ４が共通の交点γを通る場合、当該交点γは、点Ｐ１を通る直線の１つに対応し、点Ｐ２を通る直線の１つに対応し、点Ｐ３を通る直線の１つに対応し、点Ｐ４を通る直線の１つに対応することになるので、結局、図１５(a) に破線で示す直線Ｌ（４点Ｐ１〜Ｐ４のすべてを通る直線）に対応することになる。

かくして、ハフ変換の手法を利用すれば、図１５(a) に示すように、ｘｙ座標上の４点Ｐ１〜Ｐ４に基づいて、これら４点を通る直線Ｌを決定することが可能になる。すなわち、４点Ｐ１〜Ｐ４のそれぞれについて、図１５(b) に示すように、各点を通る無限個の直線群を示す線グラフμ１〜μ４をそれぞれξρ座標上に求め、その交点γのξ座標値およびρ座標値を求めれば、図１５(a) に示す直線Ｌを一義的に決定することができる。したがって、ｘｙ座標上で、とぎれとぎれの不鮮明な線が与えられた場合でも、これを完全な直線に修復することが可能になる。

＜＜＜ §６．本発明に係る反射特性データの作成方法の基本手順 ＞＞＞
続いて、本発明に係る反射特性データの作成方法の基本手順を、図１６の流れ図を参照しながら説明する。この図１６に示す方法の概要は、既に§３で述べたとおりであり、その目的は、実在の物体の被測定面の所定位置に所定の入射方向から照明光を当てたときに、当該所定位置から所定の射出方向に向かう反射光の反射率を、被測定面の個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義したデータを、被測定面についての反射特性データとして作成することにある。

まず、ステップＳ１の物体載置段階では、平面上に描かれた直線で構成される基準枠の内部に、被測定面を有する物体が載置される。具体的には、図１０に示すように、矩形からなる基準枠３５が描かれた撮影用ステージ３０を用意し、この基準枠３５の内部に、被測定面を有する物体４０を載置すればよい。

続くステップＳ２の撮影条件設定段階では、図６に示すような撮影系において、光源５０と被測定面（物体４０）とカメラ６０とが所定の位置関係になるような撮影条件を、光源５０と被測定面（物体４０）との位置関係を複数ｍ通りに変化させ、かつ、被測定面（物体４０）とカメラ６０との位置関係を複数ｎ通りに変化させることにより、合計（ｍ×ｎ）通り設定する作業が行われる。§３で述べた例の場合、角度θＶ，θＬに関しては、図４に示すとおり、０°，１５°，３０°，４５°，６０°，７５°という６通りの離散的定義を行い、角度φＶ，φＬに関しては、図５に示すとおり、０°〜３６０°の範囲内の方位角を３０°おきに合計１２通りの定義を行い、ｍ＝７２通り、ｎ＝７２通り、合計５１８４通りの撮影条件を設定した。

次のステップＳ３の物体撮影段階では、図６に示す撮影系を用いて、設定された（ｍ×ｎ）通りの撮影条件のそれぞれについて、光源５０によって照明されている物体４０上の被測定面の画像をカメラ６０で撮影する撮影処理を実行することにより、（ｍ×ｎ）枚の物体撮影画像を得る処理が行われる。こうして得られた物体撮影画像は、たとえば、図７に示すように、様々な方向から撮影した画像になる。

そして、ステップＳ４の画像変換段階では、得られた（ｍ×ｎ）枚の物体撮影画像に対する画像変換が行われ、（ｍ×ｎ）枚の正則画像が得られる。たとえば、図７に示すような物体撮影画像が、図８に示すような正則画像に変換されることになる。このステップＳ４の画像変換段階の処理は、本発明の本質的な特徴となるプロセスであり、別途、§７において詳細に説明する。

最後に、ステップＳ５の反射特性データ作成段階において、（ｍ×ｎ）枚の正則画像に基づいて、物体の反射特性データの作成が行われる。これは、§３で説明したとおり、（ｍ×ｎ）枚の正則画像の各画素値を整理して、図３に示すようなテクスチャデータ２０の形式のデータを作成する処理である。なお、図１６に示す各手順におけるステップＳ４，Ｓ５は、実際には、コンピュータによって実行される処理である。

＜＜＜ §７．本発明に係る正則画像への画像変換方法の基本手順 ＞＞＞
ここでは、図１６の流れ図におけるステップＳ４の画像変換段階の基本手順、すなわち、本発明の特徴となる正則画像への画像変換方法の基本手順を詳述する。図１７は、この画像変換段階の詳細な手順を示す流れ図であり、平面上に描かれた直線で構成される基準枠の内部に配置された被写体を、所定方向から撮影することにより得られる撮影画像を、当該平面上の基準点に立てた法線方向から見た正則画像に変換するための処理手順である。この図１７の各ステップに示されている処理は、実用上、コンピュータによって実行されることになる。

まず、ステップＳ１１は、画像入力段階の処理であり、図１６のステップＳ３の物体撮影段階で撮影された画像が、所定の画素値をもった画素を配列してなる画像データとして入力されることになる。図６の撮影系におけるカメラ６０として、デジタルカメラを用いるようにすれば、このデジタルカメラから出力される画像データをそのままコンピュータに取り込むようにすればよい。

ここでは便宜上、ステップＳ１１で入力された撮影画像が、二次元ｘｙ座標系上に定義された画素配列から構成されているものとし、より具体的には、図１８に示すような単純な画素配列からなる撮影画像が入力されたものとして、以下の説明を行うことにする。図１８に示す撮影画像は、ｘｙ座標系上に縦横行列状に多数の画素を配置してなるデータであり、ここでは説明を単純化するため、個々の画素には、「０」もしくは「１」のいずれかの画素値が与えられているものとする。すなわち、図１８に示す撮影画像は二値画像であり、図にハッチングを施して示す画素が画素値「１」をもつ画素（以下、黒画素と呼ぶ）であり、それ以外の画素が画素値「０」をもつ画素（以下、白画素と呼ぶ）である。ここでは、この図１８に示す撮影画像が、合計Ｎ個の画素から構成されているものとし、左上隅の画素から順に、画素Ｐ１，Ｐ２，Ｐ３，…，ＰＮと符号を付すことにする。なお、黒画素については、個々の画素の輪郭を示してあるが、白画素については、図が繁雑になるため、左上隅の白画素Ｐ１，Ｐ２，Ｐ３および右下隅の白画素ＰＮを除き、個々の白画素の輪郭は省略してある（図１８において、黒画素の背景となっている白地部分には、すべて白画素が配列されている）。

なお、ここでは、後述するように、撮影用ステージ３０上に描かれた基準枠３５の像から、当該基準枠３５を構成する直線を認識する例を説明するため、図１８に示す撮影画像は、基準枠３５の撮影像の直線部分の一部のみを示す画像になっている。図１８の黒画素を繋げてゆけば、１本の直線の存在が認識できるであろう。このようなとぎれとぎれの黒画素の分布に基づいて、１本の直線（基準枠３５を構成する直線）を認識するために、§５で述べたハフ変換の原理が利用されることになる。もちろん、実際の撮影画像は、たとえば、図１１に示す例のように、基準枠３５を構成する４本の辺３５Ａ，３５Ｂ，３５Ｃ，３５Ｄの像と物体４０の像とが含まれた複雑な画素構成になるので、図１８は、実際に得られる撮影画像の一部分のみを図示した例ということになる。

続いて、ステップＳ１２において、積算用二次元画素配列の定義を行う。ここで、積算用二次元画素配列は、後述するステップＳ１５において画素値の積算処理を行う際に用いられる画素配列であり、ξρ座標系上に定義された画素配列であるものとする。また、個々の画素は、いずれも初期画素値０を有しているものとする。このステップＳ１２は、いわばステップＳ１５で実行される画素値積算段階の準備段階というべき処理である。なお、ここで定義する積算用二次元画素配列のサイズは、直線を決定するための変数ξ，ρについて必要な精度を考慮して適宜設定すればよい。

ステップＳ１３では、パラメータｉが初期値１に設定され、ステップＳ１４，Ｓ１５の処理が、ステップＳ１６を経て繰り返し実行される。このとき、毎回、ステップＳ１７において、パラメータｉが１ずつ増加更新される。ここで、パラメータｉは、図１８に示す撮影画像上の画素を示すパラメータであり、ｉ＝１の場合は第１番目の画素Ｐ１，ｉ＝２の場合は第２番目の画素Ｐ２，…，ｉ＝Ｎの場合は第Ｎ番目の画素ＰＮを示すことになる。

ステップＳ１４は、§５で述べたハフ変換を利用して、ξρ座標上の線グラフμを演算によって求める線グラフ演算段階の処理である。図１２に示すとおり、ｘｙ座標系上の任意の直線Ｌａは、座標軸に対する向きを示す変数ξａと原点Ｏに対する変位を示す変数ρａとを用いて表わすことができ、ξρ座標系上では、１点λａとして表わすことができる。このような表現形式を採れば、図１４に示すとおり、ｘｙ座標系上の任意の１点Ｐを通る直線群は、ξρ座標系上では、１本の線グラフμとして表わすことができる。そこで、このステップＳ１４では、ステップＳ１１で入力した画像データを構成する１つの画素について、当該画素の基準位置を通る直線群のそれぞれについての変数（ξ，ρ）の組合わせを求め、二次元ξρ座標系上に各変数対（ξ，ρ）に対応する座標点をプロットし、これら座標点の集合により構成される線グラフμをξρ座標系上に求める処理が行われる。

すなわち、ステップＳ１４の処理は、パラメータｉを用いて説明すれば、第ｉ番目の画素Ｐｉについて、ξρ座標系上に線グラフμｉを求める処理ということができる。図１９は、このようにしてξρ座標上に求められた線グラフμｉの一例を示す平面図である。この図１９に示すξρ座標系上の線グラフμｉは、図１８に示すｘｙ座標系上の第ｉ番目の画素Ｐｉの基準位置を通る直線群を示すグラフということになる（図１４に示す線グラフμと点Ｐとの関係と同じ）。なお、ここで述べる実施形態の場合、「画素の基準位置」として、当該画素の中心点位置を採用するようにしているので、図１９に示す線グラフμｉは、図１８に示す画素Ｐｉの中心点を通る直線群を表わすグラフということになる。もちろん、「画素の基準位置」としては、必ずしも中心点位置を採用する必要はなく、たとえば、画素の左上隅の位置などを基準位置として用いるようにしてもかまわない。

次のステップＳ１５は、ステップＳ１４で求められた線グラフμｉ上の画素（ξρ座標系上に定義された積算用二次元画素配列上の画素）の画素値に、画素Ｐｉ（図１８に示すようなｘｙ座標系上に配列されている第ｉ番目の画素）の画素値を積算する画素値積算段階の処理である。既に述べたとおり、ステップＳ１２の準備段階において、ξρ座標系上に、各画素が初期画素値０を有する積算用二次元画素配列が定義されている。また、ステップＳ１４の線グラフ演算段階において、ξρ座標系上に、図１９に示すような線グラフμｉが求められている。ステップＳ１５の処理は、ステップＳ１２で準備した積算用二次元画素配列上に、ステップＳ１１で入力した画像データを構成する第ｉ番目の画素Ｐｉについて求められた線グラフμｉを重ね合わせ、この線グラフμｉ上に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算する処理ということになる。

図２０は、図１９に示すξρ座標上の線グラフμｉ上に位置する画素（ハッチング部分）を示す平面図である。ステップＳ１５の処理は、図２０にハッチングを施して示す画素の画素値に、図１８に示す画素Ｐｉの画素値を積算する処理ということになる。ここに示す例の場合、図１８に示す画素Ｐｉは、画素値「１」をもった黒画素であるから、図２０にハッチングを施したすべての画素の画素値に、画素値「１」が積算されることになる。別言すれば、ξρ座標系上に定義された積算用二次元画素配列を構成する画素のうち、図２０にハッチングを施して示す画素の画素値のみが「１」だけ増加することになる。

前述したとおり、ステップＳ１４およびＳ１５の処理は、ステップＳ１６およびＳ１７を経て、パラメータｉを１ずつ増加させながら繰り返し実行される。図２１は、図１８に示す画素Ｐ（ｉ＋１）の画素値を積算させる処理を示す平面図である。図２０に示す線グラフμｉが、図１８に示す画素Ｐｉの基準位置を通る直線群を示すグラフであったのに対し、図２１に示す線グラフμ（ｉ＋１）は、図１８に示す画素Ｐ（ｉ＋１）の基準位置を通る直線群を示すグラフであるため、ξρ座標上の被積算対象となる画素（図２０，図２１にハッチングを施して示す画素）は、それぞれ異なっている。ただ、図２０と図２１との双方においてともにハッチングが施された画素（線グラフμｉとμ（ｉ＋１）との交点付近に位置する画素）は、図１８に示す画素Ｐｉの基準位置と画素Ｐ（ｉ＋１）の基準位置との双方を通る直線に対応することになる。

図１８に示す画素Ｐ１，Ｐ２，Ｐ３等は、画素値「０」をもった白画素であるから、これらに対応するξρ座標系上の線グラフμ１，μ２，μ３の上に位置する画素について、ステップＳ１５で積算される画素値は「０」ということになる。したがって、ステップＳ１４，Ｓ１５の処理は、パラメータｉが白画素に対応している場合（たとえば、ｉ＝１，２，３，…の場合）は実行する意味がない。結局、理論上は、ステップＳ１４およびＳ１５の処理は、ステップＳ１６においてパラメータｉがＮに達するまで、合計Ｎ回（図１８に示す第１番目の画素Ｐ１から第Ｎ番目の画素ＰＮまで）繰り返し実行されることになるが、実用上は、ステップＳ１４，Ｓ１５の処理は、全Ｎ個の画素のうち、画素値「１」を有する黒画素についてのみ行えば足り、画素値「０」を有する白画素については実行する必要はない。

こうして、ステップＳ１６において、パラメータｉがＮに達すると、ステップＳ１６からステップＳ１８へと進み、基準枠位置予測段階が実行される。この基準枠位置予測段階は、撮影画像を得る際の幾何学的な撮影条件に基づいて、ｘｙ座標系上に配置された撮影画像上に現れるであろう基準枠の像の位置を、幾何学的な演算によって予測する処理である。ステップＳ１１で画像データとして入力された撮影画像は、§３で述べたとおり、特定の幾何学的な撮影条件の下で撮影された画像であり、理論的には、この撮影条件が正確に与えられれば、当該撮影条件のみに基づく幾何学的な演算により、撮影画像を正則画像に変換することが可能である。

具体的には、ここで述べる実施例の場合、図６に示すような撮影系を用いて撮影が行われているので（但し、撮影用ステージ３０上には、図１０に示すような矩形状の基準枠３５が描かれている）、撮影画像を得る際の幾何学的な撮影条件として、
（１）基準点Ｓに立てた法線Ｎと撮影装置（図６のカメラ６０）の光軸とのなす角θ（図６のθＶｓ）、
（２）この光軸の「基準枠が描かれた平面」（図６の撮影用ステージ３０の上面）への投影像（図６のＶｓ′）と基準点Ｓを通り「基準枠が描かれた平面」に含まれる所定の基準線ζ（図６のζｓ）とのなす角φ（図６のφＶｓ）、
（３）撮影装置（図６のカメラ６０）の光学系の焦点距離、
を与えることが可能である。そこで、ステップＳ１８の基準枠位置予測段階では、上記幾何学的な撮影条件に基づく幾何学的な演算により（実際には、この他にも、カメラの撮影倍率やＣＣＤ素子上の画素ピッチなどのカメラ側の撮影条件も考慮した演算がなされる。）、ステップＳ１１で画像データとして入力された撮影画像上に現れるであろう基準枠３５の像の位置を予測することが可能である。

この幾何学的演算は、図１０に示すように、撮影用ステージ３０を真上から見たときの基準枠３５の位置および形状に基づいて、図１１に示すように、撮影用ステージ３０を斜め方向（上記撮影条件で示される方向）から撮影したときの基準枠３５の位置および形状を予測する演算であり、一般に射影的正規化変換と呼ばれている公知の手法に基づく演算である。しかしながら、実際の撮影条件は理想的な撮影条件に対して誤差を生じるため、このステップＳ１８の基準枠位置予測段階で求めた基準枠の像は、正しい基準枠の像とは必ずしも一致しない。既に述べたとおり、従来は、この基準枠位置予測段階で求めた基準枠の像が正しい基準枠の像であるとの前提で、撮影画像を正則画像へ変換する処理を行っていたため、正確な変換処理を行うことができなかったわけである。本発明では、このステップＳ１８で求めた基準枠の像は、あくまでも基準枠が現れるであろう予測位置として取り扱われる。

続くステップＳ１９では、パラメータｊが初期値１に設定され、ステップＳ２０，Ｓ２１の処理が、ステップＳ２２を経て繰り返し実行される。このとき、毎回、ステップＳ２３において、パラメータｊが１ずつ増加更新される。ここで、パラメータｊは、基準枠を構成する直線を示すパラメータである。ここで述べる実施形態の場合、図１０に示すとおり基準枠３５は矩形であるため、合計４本の直線から構成されており、ｊ＝１，２，３，４の値をとることになる。たとえば、ｊ＝１の場合は辺３５Ａを示し、ｊ＝２の場合は辺３５Ｂを示し、ｊ＝３の場合は辺３５Ｃを示し、ｊ＝４の場合は辺３５Ｄを示すことになる。また、ステップＳ２２における判定基準Ｍは、この場合Ｍ＝４ということになる。

ステップＳ２０，Ｓ２１は、実測上予測点決定段階の処理であり、ここでは、ステップＳ１８において予測された基準枠３５の像を構成する各直線を示す変数（ξ，ρ）の組合わせについて、積算用二次元画素配列上に対応する座標点をそれぞれ幾何学的予測点εとしてプロットし、各幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大の画素の基準位置を、対応する直線についての実測上予測点と決定する処理が行われる。

この実測上予測点決定段階の処理の意味するところを説明する前に、まず、積算用二次元画素配列を構成する個々の画素の画素値が意味するところを説明しておく。積算用二次元画素配列は、ステップＳ１２において、ξρ座標系上に定義された画素配列であり、初期状態では、すべての画素の画素値は０に設定されている。ところが、ステップＳ１３〜Ｓ１６の処理を繰り返してゆくと、特定の画素の画素値は徐々に増加してゆく。そこで、各画素の画素値が、どのような場合に増加するのかをふりかえってみよう。

たとえば、図１８に示す第ｉ番目の画素Ｐｉについての積算処理では、図２０にハッチングを施して示す各画素の画素値が１ずつ増加することになる。ここで、図２０にハッチングを施して示す各画素は、線グラフμｉ上の画素であるから、これは、「ｘｙ座標上の画素Ｐｉ」の基準位置を通る直線群を示す「ξρ座標上の画素」ということになる。結局、ステップＳ１５において、ｘｙ座標上の特定の黒画素の画素値「１」が積算されるξρ座標上の画素とは、当該特定の黒画素の基準位置を通る直線を示す画素であるから、図１８に示すすべての黒画素の基準位置を通る共通の直線（ｘｙ座標上での直線）が存在するとすれば、そのような直線に対応するξρ座標上の画素は、ξρ座標上の全画素の中の最大画素値をとる画素ということになる。これは、図１５(b) の点γが、図１５(a) の直線Ｌに対応することになるのと同じ原理である。

いま、図１８に示すｘｙ座標系上の全Ｎ個の画素（撮影画像の全画素）についての画素値積算処理が完了した時点において（すなわち、ステップＳ１６でｉ＝Ｎと判断された時点において）、ξρ座標上に定義されている積算用二次元画素配列上で最大画素値を有する画素が、図２２に示すように、画素γであったとしよう。この場合、この画素γに対応するｘｙ座標上の直線は、図１８に示す黒画素のすべてを結ぶ直線の可能性が最も高い直線ということができる。たとえば、この画素γの基準位置（たとえば、中心位置）の座標値が（ξγ，ργ）であった場合、ｘｙ座標上に、変数（ξγ，ργ）の組合わせで示される直線Ｌを描けば、図２３に示すように、この直線Ｌは、図に示すほとんどの黒画素上を通る直線になる。別言すれば、図２２に示す画素γの最大画素値は、図２３において直線Ｌ上に位置する黒画素の各画素値の積算結果として得られたことになる。

このように、ξρ座標上の積算用二次元画素配列を構成する個々の画素の画素値は、当該画素に対応するｘｙ座標系上の直線が、撮影画像を構成する黒画素をいくつ通るかを示すパラメータということになる。したがって、最大画素値を有する画素γの座標値（ξγ，ργ）で表わされる直線は、ｘｙ座標上の撮影画像において、黒画素を結んで形成される直線の可能性が最も高い直線としての意味をもつ。かくして、図２２に示すように、積算用二次元画素配列上で最大画素値を有する画素γを決定すれば、その座標値（ξγ，ργ）により、図２３に示すように、ｘｙ座標上に直線Ｌを決定することができる。

このような方法で直線Ｌを決定するようにすれば、基準枠３５の像を構成する直線が、撮影画像上では、とぎれとぎれの黒画素によって構成されていたとしても、これを幾何学的な直線として認識することが可能になる。しかも、このように撮影画像上の情報から直接認識した基準枠３５の像は、幾何学的な撮影条件に基づいて予測した基準枠の像のような誤差を含まない正確な位置を示す指標として利用することができる。

しかしながら、「積算用二次元画素配列上で最大画素値を有する画素γを決定する」という手法のみで、基準枠３５の像を構成する直線を決定することは、実用上問題がある。第１の問題点は、基準枠３５が複数の直線から構成されているため、これら複数の直線を相互に区別して認識する必要がある点である。図１８に示す例は、説明の便宜上、１本の直線を示す黒画素の集合からなる撮影画像を示すものであったため、図２３に示すように、１本の直線Ｌのみが決定されれば十分であった。しかし、実際の基準枠３５は、４本の直線から構成されているため、１枚の撮影画像について、基準枠３５の像として４本の直線をそれぞれ決定しなければならない。

そして、第２の問題点は、撮影画像上には、基準枠３５の像のみが写っているわけではないという点である。実際の撮影は、図１０に示すように、撮影用ステージ３０上に描かれた基準枠３５の内部に被写体となる物体４０を載置し、これら全体をカメラで撮影することになる。このため、撮影画像には、基準枠３５のみならず、物体４０も写っていることになる。したがって、撮影画像上の全画素について、ステップＳ１３〜Ｓ１６の処理を繰り返し実行すると、物体４０上の直線要素も検出されてしまうことになる。また、実際には、様々な照明条件下で、様々な撮影方向から撮影が行われるため、撮影用ステージ３０上の意図しない部分に反射や陰影が生じることになり、これらが誤って基準枠３５の一部として認識されてしまう可能性もある。

ステップＳ１８で行われた基準枠位置予測段階は、このような問題を解決するための準備を行う処理ということができる。上述したとおり、この基準枠位置予測段階で予測した基準枠の像の位置は、通常、撮影条件に関する誤差を含んでいるため、正しいものにはならない。しかしながら、ここで予測した基準枠の像の位置は、本来の基準枠の像の位置から大きく外れることはない。すなわち、本来の基準枠の像は、ステップＳ１８で予測された位置から外れているとしても、その近傍の所定範囲内に位置していると考えることができる。

そこで、ステップＳ２０では、基準枠３５を構成する第ｊ番目の直線について、ξρ座標系上に幾何学的予測点εをプロットする。すなわち、既に、ステップＳ１８において、ｘｙ座標系上の４本の直線から構成される基準枠３５の像の位置が予測されているので、この４本の直線のうちの第ｊ番目の直線（たとえば、図１１に示す辺３５Ａ）について、座標軸ｘに対する角度ξεと、原点Ｏから当該直線に下した垂線ＯＦの長さρεとを求め、ξρ座標上に幾何学的予測点ε（ξε，ρε）をプロットすればよい。図２４は、このようにしてプロットされた幾何学的予測点εの一例を示す平面図である。

次に、ステップＳ２１において、プロットした幾何学的予測点εの近傍領域内で、最大画素値を有する画素を探し、当該画素の基準位置を実測上予測点γと決定する処理が行われる。具体的には、個々の画素の基準位置（たとえば、中心位置）が、近傍領域内に入る画素についての画素値を比較し、最大画素値を有する画素を決定すればよい。

図２４では、幾何学的予測点εの近傍領域として、図に一点鎖線で囲った領域を設定している。すなわち、幾何学的予測点εの座標値を（ξε，ρε）としたときに、所定の偏差Δξ，Δρを用いて、ξε−Δξ≦ξ≦ξε＋Δξ、ρε−Δρ≦ρ≦ρε＋Δρなる条件を満たす座標値（ξ，ρ）で示される領域が幾何学的予測点εについての近傍領域として設定されている。ここで、偏差Δξ，Δρとしては、前述した２つの問題点を解決するのに好ましい値を適宜設定すればよい。もちろん、幾何学的予測点εの近傍領域は、必ずしも図示のような矩形領域にする必要はなく、たとえば、幾何学的予測点εを中心として所定半径をもった円を近傍領域として設定することも可能である。

図２４に示す例において、たとえば、全画素の中で一番大きな画素値を有する画素が画素γ１であり、２番目に大きい画素値を有する画素が画素γ２であり、３番目に大きい画素値を有する画素が画素γ３であったとすると、ステップＳ２１では、近傍領域に所属する画素のうちの最大画素値を有する画素γ３が抽出され、この画素γ３の基準位置（ξγ，ργ）が、実測上予測点と決定されることになる。ここで、幾何学的な撮影条件に基づいて得られた幾何学的予測点ε（ξε，ρε）は、実測上予測点（ξγ，ργ）に対して図示の距離だけずれているが、このずれは、設定した理論的な撮影条件と、現実に撮影が行われた際の実際の撮影条件とのずれに相当する。続いて、図２３に示す例のように、ｘｙ座標系上に実測上予測点（ξγ，ργ）に応じた角度ξγおよび原点からの変位ργをもつ直線Ｌを求めれば、当該直線Ｌが、基準枠３５を構成する第ｊ番目の直線の像に相当することになる。

なお、図２４に示す例において、一番大きな画素値を有する画素γ１や、２番目に大きい画素値を有する画素γ２は、幾何学的予測点εから大きく外れてしまっているため、目的とする第ｊ番目の直線ではない別な直線に対応した画素か、物体４０を構成する直線に対応した画素か、あるいは、撮影時に意図せずに生じた陰影などの影響の結果として積算画素値が大きくなってしまった画素と考えられる。

結局、ステップＳ２０，Ｓ２１における実測上予測点決定段階の処理は、撮影画像に基づくハフ変換という直線認識の手法（ξρ座標上で最大画素値の画素を求める手法）と、幾何学的な撮影条件を手掛かりとする従来の画像変換の手法とを組み合わせ、従来の画像変換の手法で得られた直線の位置をξρ座標上に幾何学的予測点εとしてプロットし、この幾何学的予測点εの近傍領域の中で最大画素値を有する画素の位置を実測上予測点と決定し、撮影画像上に目的とする第ｊ番目の基準枠３５を構成する直線の像を求める処理ということができる。

こうして、パラメータｊを１ずつ増加させながらステップＳ２０，Ｓ２１の手順を繰り返し実行し、撮影画像上に基準枠３５を構成する直線の像を１本ずつ順に求めてゆき、全Ｍ本の直線（この例では、Ｍ＝４）が求まったら、ステップＳ２２を経て、ステップＳ２４へ進むことになる。

最後のステップＳ２４の処理は、二次元ｘｙ座標系上に、各実測上予測点の座標値（ξ，ρ）によって表わされる直線を描き、これらの直線の位置を基準枠３５の像の正しい位置として取り扱い、幾何学的な演算によって、ステップＳ１１で入力した撮影画像を正則画像に変換する処理である。すなわち、図９(a) に示すように、ｘｙ座標系の撮影画像上において、基準枠３５の正しい像が四角形ＡＢＣＤと認識できれば、前掲の射影的正規化変換などの公知の幾何学的演算手法により、当該撮影画像を正則画像に変換する処理を実行することができる。こうして得られた正則画像上では、基準枠３５の像は、図９(b) に示すような正則な四角形ＡＢＣＤとなる。

＜＜＜ §８．より実用的な実施形態 ＞＞＞
上述した§７では、本発明の特徴となる正則画像への画像変換方法の基本概念を単純な実例モデルを用いて説明した。ここでは、本発明のより実用的な実施形態をいくつか述べることにする。

（１） 撮影画像が階調画像である場合
これまで述べた基本的な実施形態では、図１７の流れ図におけるステップＳ１１で入力される撮影画像が二値画像である単純な例を示した。たとえば、図１８に示す撮影画像は、図にハッチングを施して示す黒画素とそれ以外の白画素との２種類の画素から構成される二値画像であった。しかしながら、物体の反射特性データを求めることを目的とした撮影では、通常、階調をもった撮影画像が利用される。このように、撮影画像が階調画像である場合にも、これまで述べてきた基本的な実施形態をそのまま適用した取り扱いが可能である。

たとえば、４段階の階調値をもった階調画像（２ビットの階調画像）の場合、個々の画素のもつ画素値は、「０」，「１」，「２」，「３」の４種類に増えることになる。ここで、画素値「０」をもった画素を白画素、画素値「１」をもった画素を淡画素、画素値「２」をもった画素を濃画素、画素値「３」をもった画素を黒画素と呼ぶことにし、撮影画像上に現れる直線が、図２５に示す例のように、白画素からなる背景上に、黒画素，濃画素，淡画素の組合わせで表現されていた場合を考えてみよう。実際、撮影用ステージ３０上に描かれた基準枠３５を、所定の解像度のデジタルカメラなどで撮影した場合、階調をもった撮影画像上の基準枠３５の像は、何種類かの画素値をもつ画素の集合体として表現されるのが一般的である。

この図２５に示す例の場合、個々の黒画素は、基準枠３５を構成する直線の像の最も確からしい位置を示しており、個々の濃画素は、若干精度の低い位置を示しており、個々の淡画素は、更に精度の低い位置を示していると考えられる。また、白画素は、基準枠３５を構成する直線の像が存在しない位置を示していると考えてよい。したがって、撮影画像が二値画像ではなく階調画像の場合も、個々の画素の画素値を、積算用二次元画素配列上の画素の画素値に積算する処理を行えば問題はない。

前述した二値画像を用いて説明した例（図１８の例）では、黒画素についての積算処理では画素値「１」が積算され、白画素についての積算処理では画素値「０」が積算された（実質的に、白画素については積算処理を実施しないのと同じ）。これに対して、図２５に示す階調画像を用いた場合、黒画素についての積算処理では画素値「３」が積算され、濃画素についての積算処理では画素値「２」が積算され、淡画素についての積算処理では画素値「１」が積算され、白画素についての積算処理では画素値「０」が積算されることになる（実質的に、白画素については積算処理を実施しないのと同じ）。これは、濃画素の位置や淡画素の位置にも、ある程度の確率で基準枠３５を構成する直線の像が存在する可能性があるため、当該確率に応じた画素値を積算した方が、より正確な結果が得られるであろうという考え方に基づいた手法である。

もちろん、実際には、より階調段階の多い階調画像が撮影画像として用いられるのが一般的である。たとえば、８ビットの階調画像の場合、個々の画素には、０〜２５５までの２５６通りの画素値が定義されることになる。この場合、基準枠３５を構成する直線の像は、たとえば、２４０〜２５５という範囲内の画素値をもった画素の集合体として表現されることになろう。この場合、画素値「２５５」をもった画素は、基準枠３５を構成する直線の像の最も確からしい位置を示しているものと考えられるが、画素値「２４０」をもった画素も、基準枠３５を構成する直線の像についてある程度の確からしい位置を示しているものと考えることができる。したがって、このような場合でも、各画素値をそのまま積算するような取り扱いを行えば、これまで述べた基本的な実施形態どおりの手順で、基準枠３５を構成する直線の像の位置を正確に決定することが可能である。

（２） 基準枠のバリエーション
これまで述べてきた基本的な実施形態では、図１０に示す例のように、撮影用ステージ３０の上面に、矩形からなる基準枠３５が描かれている例を示した。しかしながら、本発明で用いる基準枠は、必ずしも４辺を有する矩形図形にする必要はない。本発明における基準枠の役割は、図９(a) に示すように、斜めから撮影したときに像として得られる四角形ＡＢＣＤの幾何学的な形状に基づいて、これを図９(b) に示すような正則四角形に戻すための幾何学的変換（射影的正規化変換など）を特定するための手掛かりを与えることにある。このような幾何学的変換は、四角形の４頂点Ａ，Ｂ，Ｃ，Ｄの位置が特定されていれば実施可能であるので、基準枠３５は、必ずしも図形的な四角形である必要はない。

たとえば、図１０に示す基準枠３５は、３５Ａ，３５Ｂ，３５Ｃ，３５Ｄの４辺を有する四角形の枠であるが、その代わりに、３５Ａ，３５Ｂ，３５Ｃの３辺を有するＵ字形の枠を基準枠として用いてもかまわない。この場合、第４の辺３５Ｄは描かれていないが、Ｕ字形の枠によって、４頂点Ａ，Ｂ，Ｃ，Ｄを特定することは可能である。同様に、３５Ａ，３５Ｃの２線分のみからなる図形を基準枠として用いてもかまわない。この場合でも、２線分３５Ａ，３５Ｃの各端点として、４頂点Ａ，Ｂ，Ｃ，Ｄを特定することが可能である。

また、基準枠は、必ずしも線で描かれた図形によって構成する必要はない。たとえば、所定領域の内部と外部とのコントラスト差による境界線によって基準枠を構成することも可能である。図２６(a) は、このような境界線から構成された基準枠３５の一例を示す平面図である。この例では、撮影用ステージ３０の上面に、矩形領域３８が形成されている。ここで、この矩形領域３８は、その内部と外部とでコントラスト差が生じるような領域として形成されている。具体的には、たとえば、上面が白色の撮影用ステージ３０の上に、黒い矩形領域３８を形成すればよい。そうすれば、黒色領域（図にハッチングを施した部分）と、その周囲の白色領域との境界線として、矩形状の基準枠３５を形成することができる。

もっとも、このようにコントラスト差による境界線によって基準枠が構成されている場合は、撮影画像上には、たとえば図１８に示すような黒画素の集合体として基準枠の像を得ることはできず、黒画素の集合からなる領域と、白画素の集合からなる領域との境界線としてしか、基準枠を構成する直線を把握することができなくなる。そこで、この場合には、図１７のステップＳ１１における画像データの入力を行う際に、境界線からなる基準枠３５の像を抽出する処理を行う必要がある。

実際には、この基準枠３５の像を抽出する処理は、撮影画像に対する微分処理によって行うことができる。図２６(b) は、図２６(a) に示す撮影用ステージ３０を、図の横方向に走査したときの画素値の変化を示すグラフである。ここでは、白色の画素値を０，黒色の画素値を２５５とした例が示されている。図示のとおり、黒い矩形領域３８に対応する部分の画素値は２５５、その両側の白い領域に対応する部分の画素値は０となっている。もちろん、実際の撮影画像は、矩形領域３８の内部に被写体となる物品が載置された状態で撮影されるので、実際に得られる撮影画像の画素値分布は、このグラフのようにはならないが、矩形領域３８の境界部分において、画素値の急激な変化が生じることに変わりはない。

図２６(c) は、図２６(b) のグラフを微分したグラフである。微分を行うことにより、画素値の急激な変化が微分値の急激な上昇として現れることになり、矩形領域３８の境界部分を検出することが可能になる。なお、図２６(c) における微分値は絶対値で示してあるので、境界部分はいずれも上方に伸びる線として表わされている。結局、図２６(a) に示すように、所定領域の内部と外部とのコントラスト差による境界線によって基準枠を構成した場合は、画像入力段階で、撮影画像に対して微分処理を施して得られる微分画像を画像データとして入力すれば、これまで述べてきた基本的な実施形態をそのまま適用することが可能になる。

このように、図１７のステップＳ１１で入力する画像データは、必ずしも撮影画像そのものである必要はなく、撮影画像に所定の加工処理（たとえば、上述した微分処理や、その他のフィルタリング処理でもかまわない）を施した画像であってもよい。

（３） 画素値の被積算対象となるξρ座標上の画素
これまで述べた基本的な実施形態の場合、図１７の流れ図におけるステップＳ１４の線グラフ演算段階で、ｘｙ座標上の第ｉ番目の画素Ｐｉに対応させて、ξρ座標上に図１９に示すような線グラフμｉを求め、続くステップＳ１５の画素値積算段階で、図２０に示すように、ξρ座標上の積算用二次元画素配列上に線グラフμｉを重ね合わせ、この線グラフμｉ上に位置する画素（図２０にハッチングを施して示す画素）の画素値に、画素Ｐｉのもつ画素値を積算する処理を行った。

しかしながら、ステップＳ１５の画素値積算段階で画素値の被積算対象となるξρ座標上の画素は、必ずしも線グラフμｉ上に位置する画素に限定する必要はなく、線グラフμｉ上もしくはその近傍に位置する画素にまで拡張してかまわない。たとえば、図２０に示す例の場合、被積算対象となる画素（ハッチングを施した画素）は、いずれも画素内の一部に線グラフμｉが通過している画素に限られているが、対象となる画素をもう少し拡張し、線グラフμｉに対して所定の距離範囲内にある画素までを被積算対象となる画素に含ませるようにしてもかまわない。

図２７は、ξρ座標上の線グラフμｉの近傍の画素Ｔｄについても画素値を積算する変形例を説明する平面図である。たとえば、画素Ｔｄの基準位置（中心位置）と線グラフμｉとの距離ｄ（μｉ上の最近接点との距離）を「画素Ｔｄと線グラフμｉとの距離」と定義し、この距離ｄが予め設定した所定のしきい値以下となる画素Ｔｄを、画素値の被積算対象となる画素に含ませるようにすれば、図２７にハッチングを施した画素だけでなく、線グラフμｉとの距離ｄが所定のしきい値以下となる近傍の画素に対しても、画素Ｐｉのもつ画素値が積算されることになる。

なお、このように画素値の被積算対象となる画素を、線グラフμｉの近傍に位置する画素まで拡張する場合、線グラフμｉに対する近接度合いに応じて、積算すべき画素値に差をつけるのが好ましい。たとえば、図２７に示す例の場合、ハッチングを施した画素はいずれも線グラフμｉ上の画素であるのに対して、画素Ｔｄは線グラフμｉから距離ｄだけ離れた位置にある画素であるので、線グラフμｉに関連した画素値（画素Ｐｉのもつ画素値）を積算する場合、後者には、画素値の寄与割合を考慮して積算した方が理にかなっている。

そこで実用上は、線グラフμｉ上に位置する画素（図２７にハッチングを施した画素）の画素値には、画素Ｐｉのもつ画素値をそのまま積算し、線グラフμｉから所定の近傍距離ｄだけ離れた画素の画素値には、画素Ｐｉのもつ画素値に当該近傍距離ｄに応じた所定割合Ｒ（０≦Ｒ≦１の範囲をとり、近傍距離ｄが大きくなるほど小さくなる値）を乗じた値を積算するようにすればよい。たとえば、画素Ｐｉの画素値が２５５であった場合、図２７にハッチングを施して示す各画素に対しては、当該画素値２５５をそのまま積算し、近傍距離ｄだけ離れた位置にある画素Ｔｄに対しては、近傍距離ｄに応じて定まる所定割合Ｒ（０≦Ｒ≦１）を乗じた値「２５５×Ｒ」を積算するようにすればよい。

所定割合Ｒは、近傍距離ｄが大きくなるほど小さくなる値になれば、どのような方法で定義してもかまわないが、本願発明者は、近傍距離ｄが非常に小さいうちはＲは１に近く、近傍距離ｄがある程度大きくなるとＲが急激に低下するような関数により、Ｒとｄとの関係を定義するのが好ましいと考えている。そこで、実用上は、図２８に示すように、線グラフμｉの位置を中心としてガウス分布をとる関数を定義し、この関数に基づいて任意の近傍距離ｄに対する所定割合Ｒを決定するようにすればよい。

（４） 実測上予測点決定方法のバリエーション
これまで述べた基本的な実施形態の場合、図１７の流れ図におけるステップＳ２１の実測上予測点決定段階では、幾何学的予測点εの近傍領域内で「最大画素値」を有する画素を探し、当該画素の基準位置を実測上予測点と決定していた。しかしながら、ここで「最大画素値」を有する画素を探したのは、ｘｙ座標上の画像上において、「基準枠の像を構成する画素の画素値が、その背景となる画素の画素値よりも大きい」という設定がなされていることを前提としたためである。

たとえば、図１８に示す例の場合、基準枠の像を構成する黒画素の画素値は「１」、背景となる白画素の画素値は「０」という説明を行った。また、図２５に示す例の場合も、基準枠の像を構成する黒画素，濃画素，淡画素の画素値はそれぞれ「３」，「２」，「１」であり、背景となる白画素の画素値は「０」という説明を行った。すなわち、これまで述べてきた実施形態は、「背景部分の画素値に比べて、基準枠の像の部分の画素値が大きい」ことを前提としたものであった。

しかしながら、本発明を実施する上では、必ずしもこのような前提をとる必要はない。たとえば、ｘｙ座標上の画像が二値画像であった場合、基準枠の像を構成する画素の画素値を「０」、背景部分の画素の画素値を「１」とする設定を行ってもかまわない。また、０〜２５５の画素値を有する階調画像の場合であれば、基準枠の像を構成する画素の画素値が「０〜５０程度」、背景部分の画素の画素値が「２００〜２５５程度」に分布した画像を用いてもかまわない。ただ、このように、「背景部分の画素値に比べて、基準枠の像の部分の画素値が小さい画像」をｘｙ座標系上に入力して処理を行う場合、ξρ座標上では、「ｘｙ座標上における基準枠の像を構成する画素を通る直線」に対応する画素ほど、積算される画素値が小さくなる。したがって、ステップＳ２１の実測上予測点決定段階では、幾何学的予測点εの近傍領域内で「最大画素値」の代わりに「最小画素値」を有する画素を探し、当該画素の基準位置を実測上予測点と決定する必要がある。

また、前述した実施形態では、図１７のステップＳ１２において、初期画素値０をもった画素の集合体として、積算用二次元画素配列の定義を行っているが、初期画素値は必ずしも０に設定する必要はない。上述したとおり、実測上予測点を決定する上では、ξρ座標上に定義された積算用二次元画素配列の構成画素の中から、「最大画素値」もしくは「最小画素値」を有する画素を探すことになるので、画素間相互で画素値の比較が可能な環境が用意できていればよい。したがって、積算用二次元画素配列を構成する個々の画素の初期画素値は、すべてが同一の初期画素値となっていれば、どのような値に設定してもかまわない。

なお、ステップＳ２１の実測上予測点決定段階において、幾何学的予測点εについての所定の近傍領域に所属する画素のうち、「最大画素値」もしくは「最小画素値」を有する画素が複数存在した場合には、これら複数の画素の基準位置の重心位置を、対応する直線についての実測上予測点と決定するようにすればよい。たとえば、図２４に示す例では、一点鎖線で示す近傍領域内の画素γ３が「最大画素値」を有する画素である場合を説明した。ここで、もし、「最大画素値」を有する画素として、画素γ３と画素γ４との２つが存在した場合、双方の基準位置を実測上予測点としてしまうと、ｘｙ平面上に２本の直線が定義されてしまう。このような場合は、画素γ３の基準位置と画素γ４の基準位置との重心位置を実測上予測点として決定すればよい。

（５） 画素値の積算対象となるｘｙ座標上の画素
図１７の流れ図におけるステップＳ１３〜Ｓ１７の処理は、パラメータｉを１ずつ増加させながら繰り返し実行される手順であり、その意味するところは、ｘｙ座標上に入力された画像を構成する全Ｎ個の画素の１つ１つについて、ξρ座標上に線グラフを求め、当該線グラフ上もしくはその近傍に位置するξρ座標上の画素を被積算対象画素として、画素値の積算を行うことにある。したがって、この流れ図の手順によれば、ｘｙ座標上の第１番目の画素から第Ｎ番目の画素に至るまで、全Ｎ個の画素すべてを対象として、ステップＳ１４，Ｓ１５の処理が実行されることになる。

しかしながら、実際には、ステップＳ１４，Ｓ１５の処理は、必ずしも全Ｎ個の画素すべてについて実行する必要がないケースがある。たとえば、画素値「０」をもった画素については、ステップＳ１４，Ｓ１５を実行して画素値の積算処理を行ったとしても、積算対象となる画素の画素値が「０」であるから、実質的には無意味な処理になる。したがって、実用上、このようなケースでは、ステップＳ１４，Ｓ１５の処理は省略することができる。

また、画素値「０」をもった画素でなくても、実用上は、ステップＳ１４，Ｓ１５の処理を省略可能な画素もある。たとえば、０〜２５５の範囲の画素値をもつ画素の集合体からなる階調画像がｘｙ座標上に存在し、画素値０〜５０の範囲内の画素値は、ほとんど確実に背景部分の画素についての画素値であろうと予測されるような場合であれば、画素値０〜５０の範囲内の画素値をもつ画素については、ステップＳ１４，Ｓ１５の処理を省略しても大きな支障は生じない。

このようなケースを考慮した場合、図１７のステップＳ１４の線グラフ演算段階は、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ線グラフを求める演算を実行すれば足り、ステップＳ１５の画素値積算段階は、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ画素値の積算処理を実行すれば足りる。

なお、画素値の積算対象となるｘｙ座標上の画素を決定する際に考慮する要素として、当該画素の画素値の代わりに、当該画素の位置を用いることも可能である。たとえば、ステップＳ１８の基準枠位置予測段階は、ステップＳ１３よりも先に行っておくことが可能であり、そうした場合、ステップＳ１４，Ｓ１５の処理を実行する時点で、幾何学的な撮影条件に基づいて基準枠位置が既に予測されていることになる。もちろん、ここで予測されている基準枠位置は正確なものにはならないが、実際の基準枠位置は、予測されている基準枠位置の近傍の領域に存在すると考えられるので、当該近傍の領域を「考慮領域」と定義し、ｘｙ座標上に配列された画素のうち、当該「考慮領域」内に位置する画素のみを画素値の積算対象とし、それ以外の画素については、ステップＳ１４，Ｓ１５の処理を省略しても大きな支障は生じない。

たとえば、図１８に示す例の場合、前述した基本的実施形態では、全Ｎ個の画素すべてを画素値の積算対象としていたが、積算対象となる画素をその一部に絞り込むことが可能になる。すなわち、ステップＳ１８の基準枠位置予測段階によって、基準枠の予測位置を求めれば、それは図示の黒画素を結ぶ直線に近い位置にくるであろう。したがって、基準枠の予測位置の近傍に「考慮領域」を定義すれば、それは図示の黒画素を含んだ細長い領域になるであろう。ステップＳ１４，Ｓ１５の処理は、この細長い「考慮領域」内の画素についてのみ実行され、それ以外の画素については省略される。

要するに、ステップＳ１４の線グラフ演算段階で、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ線グラフを求める演算を実行し、ステップＳ１５の画素値積算段階で、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ画素値の積算処理を実行するようにすればよい。

（６） 実測上予測点の決定に失敗した取り扱い
これまで述べてきた変形例の内容も踏まえると、図１７のステップＳ２１では、幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素の基準位置を、実測上予測点と決定することになる。しかしながら、実際には、このような方法で実測上予測点を決定すると、基準枠を構成する直線の像とは全く無関係な直線に対応する点が、実測上予測点として誤検出されてしまう事態が生じやすい。特に、§３で述べたような反射特性データの作成を目的として、様々な撮影条件で多数の撮影画像が得られた場合、何枚かの撮影画像においては、照明光の反射像の影響を受け、ステップＳ２１で誤検出が生じる可能性がある。

たとえば、図６に示す撮影系において、照明光Ｌｓの入射角θＬｓ，方位角φＬｓ、反射光Ｖｓの入射角θＶｓ，方位角φＶｓの組合わせが特定の条件を満たすと、撮影用ステージ３０上の鏡面反射により、光源５０の像がそのままカメラ６０の撮像面に形成されてしまう場合がある。このような条件下で得られた撮影画像上には、光源５０の像が真っ白い反射領域として写り込み、基準枠の像は、いわゆる白飛びの状態となって認識することはできなくなる。ところが、このような撮影画像について図１７の流れ図に示す手順を実施すると、アルゴリズム上は、ステップＳ２１で実測上予測点の決定が行われてしまう。本来の基準枠の像が写っていない以上、こうして決定された実測上予測点は、本来の基準枠を構成する直線とは全く無関係な点になる。

これは、「画素値が最大もしくは最小の画素」というアルゴリズムにより実測上予測点の決定を行う以上、真っ白い反射領域の中で、いくらかでも直線パターンの存在が認識できる部分が、実測上予測点と認識されてしまうためである。図２４に示す例の場合、一点鎖線で囲った領域内の多くの画素が、たとえば、「０〜１００程度」の画素値をとっているところ、画素γ３だけが最大画素値「１００００」をとる、というように、最大画素値は他の画素値に比べてかなり突出した値になるのが一般的である。この突出度が高ければ高いほど正確な直線検出が行われたことを意味する。ところが、基準枠の像が白飛びの状態になってしまうと、図２４に示す一点鎖線で囲った領域内のすべての画素が、たとえば、「０〜１００程度」の画素値しかとらない現象が生じることになる。このような「ドングリの背比べ」のような状況でも、前掲のアルゴリズムに従う以上、たとえば最大画素値「１０１」をとる画素γ３が抽出され、その基準位置が実測上予測点として決定されてしまうことになる。もちろん、このような状況下で決定された実測上予測点は、基準枠を構成する直線の像を示すものにはなっていない。

このような誤検出を避けるためには、ステップＳ２１の実測上予測点決定段階で、「近傍領域内の最大画素値が所定のしきい値に満たない場合」もしくは「最小画素値が所定のしきい値を超えてしまう場合」には、実測上予測点の決定を行わず、正則画像への画像変換に失敗した取り扱いを行うようにすればよい。たとえば、上述の図２４に示す例のように、一般的には画素γ３だけが最大画素値「１００００」をとる、というケースであれば、たとえば、しきい値を５０００に設定しておき、「近傍領域内の最大画素値が５０００に満たない場合」には、正しい検出は行われなかったものと判断し、実測上予測点の決定を行わず、正則画像への画像変換に失敗した取り扱いを行うようにすればよい。そうすれば、最大画素値「１０１」をとる画素γ３が抽出され、その基準位置が実測上予測点として決定されてしまうような誤検出を避けることができる。

なお、１枚の撮影画像を正則画像に変換する、という観点からは、上述したように実測上予測点の決定に失敗すると、正則画像への変換を行うことができず、完全な失敗に終わらざるを得ないが、§３で述べたような反射特性データの作成を目的として、様々な撮影条件で多数の撮影画像が得られた場合であれば、何枚かの撮影画像について正則画像への変換に失敗したとしても、これを補間することが可能になる。

すなわち、特定の物体撮影画像を正則画像に変換する画像変換段階における実測上予測点決定段階で、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、上述したとおり、実測上予測点の決定を行わず、当該物体撮影画像に関する正則画像への画像変換に失敗した取り扱いを行うこととし、画像変換に失敗した取り扱いが行われた物体撮影画像についての正則画像については、撮影条件が近似する別な物体撮影画像についての正則画像に基づく補間を行うことにより求めるようにすればよい。

図２９は、§３で述べた反射特性データの作成プロセスにおいて、特定の撮影画像について正則画像への画像変換に失敗した場合の補間方法を示す平面図である。この図は、図６に示す撮影系における反射光Ｖｓの仰角θＶｓを、θＶ１＝０°〜θＶ６＝７５°の６通りに変化させ、方位角φＶｓを、φＶ１＝０°〜φＶ１２＝３３０°の１２通りに変化させた結果を表形式で示したものである。たとえば、この表における欄Ｅには、反射光Ｖｓの仰角をθＶ３＝３０°に設定し、方位角をφＶ５＝１２０°に設定したときの結果（正則画像に変換された画像）が配置されることになる。もちろん、実際には、照明光Ｌｓについても、仰角θＬｓを６通り、方位角φＬｓを１２通りに変化させた実測が行われるので、欄Ｅ内には、照明光Ｌｓについての７２通りのバリエーションを示す７２枚の正則画像が配置されることになる。

ここでたとえば、θＶ３＝３０°，φＶ５＝１２０°，θＬ４＝４５°，φＬ１１＝３００°という特定の撮影条件で撮影したときに、上述した基準枠の像の白飛び現象が起こり、当該撮影画像について正則変換に失敗したものとしよう。この場合、失敗した正則画像を、隣接する欄Ａ，Ｂ，Ｃ，Ｄ，Ｆ，Ｇ，Ｈ，Ｉ内の照明光Ｌｓについての仰角および方位角が同一の正則画像８枚（すなわち、撮影条件が近似する別な物体撮影画像についての正則画像）に基づく補間処理によって求めることが可能である。

より具体的には、欄Ａからは、θＶ２＝１５°，φＶ４＝９０°，θＬ４＝４５°，φＬ１１＝３００°という特定の撮影条件での結果として得られている正則画像を取り出し、欄Ｂからは、θＶ３＝３０°，φＶ４＝９０°，θＬ４＝４５°，φＬ１１＝３００°という特定の撮影条件での結果として得られている正則画像を取り出し、…、欄Ｉからは、θＶ４＝４５°，φＶ６＝１５０°，θＬ４＝４５°，φＬ１１＝３００°という特定の撮影条件での結果として得られている正則画像を取り出し、こうして取り出した８枚の正則画像に基づく補間処理（たとえば、８枚の画像の同一位置の画素の平均値を、補間画像の同一位置の画素の画素値とする補間処理）を行うことにより、θＶ３＝３０°，φＶ５＝１２０°，θＬ４＝４５°，φＬ１１＝３００°という撮影条件で得られる正則画像の代用として欄Ｅに配置可能な補間画像を得ることができる。

もちろん、補間に利用する正則画像は、必ずしも８枚である必要はなく、たとえば、縦横に隣接する欄Ｂ，Ｄ，Ｆ，Ｈ内の４枚の正則画像を用いてもよいし、斜めに隣接する欄Ａ，Ｃ，Ｇ，Ｉ内の４枚の正則画像を用いてもよい。

＜＜＜ §９．本発明に係る物体の反射特性データの作成装置 ＞＞＞
最後に、本発明に係る物体の反射特性データの作成装置の基本構成を、図３０に示すブロック図を参照しながら説明する。この装置は、図１６の流れ図に示す反射特性データの作成手順を実施するために利用可能な装置であり、物体の被測定面の所定位置に所定の入射方向から照明光を当てたときに、当該所定位置から所定の射出方向に向かう反射光の反射率を、被測定面の個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義したデータを、被測定面についての反射特性データとして作成する機能を有している。

この装置の主たる構成要素は、図示のとおり、撮影用ステージ３０、光源５０、カメラ６０、撮影条件設定部２１０、画像変換装置１００、微分処理部２２０、反射特性データ作成部２３０である。撮影用ステージ３０は、上面が平面をなし、この平面上に直線で構成される基準枠３５が描かれている。図示の例では、撮影用ステージ３０の上面に、物体を載置するための矩形が形成されており、この矩形の内部領域３８と外部領域とはコントラストに差が生じるように構成され、両領域の境界線によって基準枠３５が構成されている。

光源５０は、撮影用ステージ３０上に載置された物体を照明する機能を果たし、カメラ６０は、撮影用ステージ３０上に載置された物体を撮影する機能を果たす。図示の例の場合、カメラ６０としてデジタルカメラが用いられており、撮影画像はデジタル画像データとして出力される。

撮影条件設定部２１０は、光源５０と撮影用ステージ３０上に載置された物体の被測定面との位置関係を複数ｍ通りに変化させ、かつ、当該被測定面とカメラ６０との位置関係を複数ｎ通りに変化させることにより所望の撮影条件を設定する機能をもった構成要素である。このような種々の撮影条件については、図６の撮影系を参照して§３で説明したとおりである。具体的には、この撮影条件設定部２１０は、光源５０，カメラ６０，撮影用ステージ３０の相対位置を複数通りのバリエーションで変化させる機構と、これを駆動するモータなどの動力源と、これを制御するコンピュータなどによって構成することができる。この撮影条件設定部２１０で設定された幾何学的な撮影条件は、画像変換装置１００へデジタルデータとして与えられる。

カメラ６０で撮影された撮影画像は、デジタル画像データとして微分処理部２２０へと与えられ、ここで微分処理が施され、微分画像が画像変換装置１００内の画像入力部１１０へと入力される。微分処理部２２０で行われる微分処理の内容およびその目的は、図２６を参照して、§８（２）で説明したとおりである。なお、撮影用ステージ３０上に形成する基準枠が実線からなるパターンであった場合は、微分処理を行う必要がないので、微分処理部２２０は省略することができる。この場合、カメラ６０で得られた撮影画像は、画像入力部１１０に直接入力される。

画像変換装置１００は、図１７の流れ図に示す手順を実施する機能をもった装置であり、撮影用ステージ３０の上面に描かれた直線で構成される基準枠の内部に配置された被写体を、所定方向から撮影することにより得られる撮影画像を、カメラ６０から入力し、これを正則画像に変換する処理を行う装置である。また、反射特性データ作成部２３０は、この画像変換装置１００によって変換された正則画像に基づいて、物体の反射特性データを作成する構成要素である。

画像変換装置１００は、図示のとおり、画像入力部１１０，線グラフ演算部１２０，画素値積算部１３０，実測上予測点決定部１４０，正則変換部１５０，基準枠位置予測部１６０によって構成されている。もっとも、この画像変換装置１００は、実際には、コンピュータに専用のプログラムを組み込むことにより実現されるべき装置であり、上記各構成要素は、実用上は、コンピュータのハードウエアとソフトウエアとの組合わせによって実現されることになる。

画像入力部１１０は、カメラ６０から得られた撮影画像もしくは当該撮影画像に所定の加工処理を施した画像（図示の例の場合、微分処理部２２０により微分処理加工を施した微分画像）を、二次元ｘｙ座標系に所定の画素値をもった画素を配列してなる画像データとして入力する構成要素であり、図１７のステップＳ１１「画像入力段階」を実行する。実用上は、ここで入力された画像は、コンピュータのメモリ上に展開されることになる。

線グラフ演算部１２０は、図１７のステップＳ１４「線グラフ演算段階」を実行する構成要素であり、ｘｙ座標系上の任意の直線を、座標軸に対する向きを示す変数ξと原点に対する変位を示す変数ρを用いて表わす表現形式を用い、画像入力部１１０が入力した画像データを構成する個々の画素について、当該画素の基準位置を通る直線群のそれぞれについての変数（ξ，ρ）の組合わせを求め、二次元ξρ座標系上に各変数対（ξ，ρ）に対応する座標点をプロットし、これら座標点の集合により構成される線グラフμを各画素ごとにξρ座標系上に求める処理を行う。

ここで述べる実施形態の場合、線グラフ演算部１２０は、図１２(a) に示すように、ｘｙ座標系上の任意の直線Ｌａに、ｘｙ座標系の原点Ｏから垂線を下し、その足を点Ｆとしたときに、ｘｙ座標系の一軸ｘと線分ＯＦとのなす角度をξ、線分ＯＦの長さをρで表わし、２つの変数ξ，ρにより直線Ｌａを表わす表現形式を用いている。

画素値積算部１３０は、図１７のステップＳ１２「画素値積算段階の準備」およびステップＳ１５「画素値積算段階」を実行する構成要素である。すなわち、ξρ座標系上に、各画素が同一の初期画素値（たとえば、初期画素値０）を有する積算用二次元画素配列を定義し、この積算用二次元画素配列上に、画像入力部１１０がｘｙ座標上に入力した画像データを構成する第ｉ番目の画素Ｐｉについて線グラフ演算部１２０が求めた線グラフμｉを重ね合わせ、この線グラフμｉ上もしくはその近傍に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算する処理を実行する。実際には、コンピュータのメモリ上に積算用二次元画素配列が展開され、積算値はメモリ上に保存されることになる。

なお、§８（３）で述べたように、画素値積算部１３０による画素値の積算時には、線グラフμｉ上に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算するとともに、線グラフμｉから所定の近傍距離ｄだけ離れた画素の画素値に、画素Ｐｉのもつ画素値にその近傍距離ｄに応じた所定割合Ｒ（０≦Ｒ≦１の範囲をとり、近傍距離ｄが大きくなるほど小さくなる値）を乗じた値を積算するようにしてもかまわない。このとき、所定割合Ｒが、線グラフμの位置を中心としてガウス分布をとるように設定するとよい。

基準枠位置予測部１６０は、図１７のステップＳ１８「基準枠位置予測段階」を実行する構成要素である。すなわち、画像入力部１１０が入力した画像に関して、撮影条件設定部２１０から与えられる幾何学的な撮影条件に基づいて、ｘｙ座標系上に配置された撮影画像上に現れるであろう基準枠の像の位置を、幾何学的な演算によって予測する処理を実行する。具体的には、図６の撮影系を用いて撮影画像を得る際の幾何学的な撮影条件として、基準点Ｓに立てた法線Ｎとカメラ６０の光軸とのなす角θ、この光軸の「基準枠が描かれた平面」への投影像と基準点Ｓを通り「基準枠が描かれた平面」に含まれる所定の基準線ζとのなす角φ、カメラ６０と基準点Ｓとの距離が、撮影条件設定部２１０から幾何学的な撮影条件として与えられるので、これらに幾何学的な演算により基準枠の像の位置を予測する処理を実行する。

実測上予測点決定部１４０は、図１７のステップＳ２０，Ｓ２１「実測上予測点決定段階」を実行する構成要素である。すなわち、基準枠位置予測部１６０において予測された基準枠の像を構成する各直線を示す変数（ξ，ρ）の組合わせについて、積算用二次元画素配列上に対応する座標点をそれぞれ幾何学的予測点εとしてプロットし、各幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素の基準位置を、対応する直線についての実測上予測点と決定する。図２４には、幾何学的予測点εについての所定の近傍領域として、幾何学的予測点εの座標値を（ξε，ρε）としたときに、所定の偏差Δξ，Δρを用いて、ξε−Δξ≦ξ≦ξε＋Δξ、ρε−Δρ≦ρ≦ρε＋Δρなる条件を満たす座標値（ξ，ρ）で示される領域を用いた例が示されている。

なお、この実測上予測点決定部１４０では、§８（４）で述べたように、幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素が複数存在した場合には、これら複数の画素の基準位置の重心位置を、対応する直線についての実測上予測点と決定するようにしている。

正則変換部１５０は、図１７のステップＳ２４「正則変換段階」を実行する構成要素である。すなわち、二次元ｘｙ座標系上に、各実測上予測点の座標値（ξ，ρ）によって表わされる直線を描き、これらの直線の位置を正しい基準枠の像の位置として取り扱い、幾何学的な演算によって、カメラ６０から得られる撮影画像を正則画像に変換する処理を行う。このような正則変換が、基準枠の像を構成する矩形の４頂点の位置に基づく幾何学的な演算により実施できる点は、既に述べたとおりである。変換により得られた正則画像は、反射特性データ作成部２３０へ与えられる。

なお、線グラフ演算部１２０による線グラフの演算処理や、画素値積算部１３０による画素値の積算処理は、理論上は、画像入力部１１０が入力したｘｙ座標上の画像の全Ｎ個の画素について実行すればよいが、実用上は、§８（５）で述べたとおり、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ、もしくは、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ実行すると、演算負担を軽減させることができる。

また、実測上予測点決定部１４０には、§８（６）で述べたとおり、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、正則画像への画像変換に失敗した旨のメッセージを提示する機能をもたせておくのが好ましい。この場合、具体的には、画像変換装置１００から反射特性データ作成部２３０に対して、正則画像への画像変換に失敗した旨のエラー信号を出力するようにする。そして、反射特性データ作成部２３０には、エラー信号が出力されたために画像変換装置１００からは出力されなかった正則画像があった場合には、§８（６）で述べた手法により、撮影条件が近似する別な物体撮影画像についての正則画像に基づく補間を行う機能をもたせておけばよい。

テクスチャデータを利用した一般的なレンダリング処理の概念を示す斜視図である。 ＢＲＤＦモデルおよびＢＴＦモデルの原理を説明するための斜視図である。 ＢＴＦモデルで用いる６次元テクスチャデータの構造を示す平面図である。 ＢＴＦモデルにおける離散的な入射角定義の一例を示す正面図である。 ＢＴＦモデルにおける離散的な方位角定義の一例を示す正面図である。 ＢＴＦモデルで用いる６次元テクスチャデータを作成するための撮影系の構成を示す斜視図である。 図６に示す撮影系によって撮影された撮影画像のいくつかの例を示す平面図である。 図７に示す撮影画像に対して画像変換を施すことにより得られた正則画像を示す平面図である。 幾何学的な方法に基づいて、撮影画像を正則画像に変換する処理の一例を示す平面図である。 本発明に係る画像変換を利用するために用いる撮影用ステージ３０の一例を示す平面図である。 図１０に示す撮影用ステージ３０を用いた撮影により得られた撮影画像の一例を示す平面図である。 ｘｙ座標系とハフ変換用のξρ座標系との関係を示す平面図である。 ｘｙ座標系上の各直線とハフ変換用のξρ座標系上の各点との対応関係を示す平面図である。 ｘｙ座標系上の１点Ｐを通る直線群とハフ変換用のξρ座標系上の線グラフμとの対応関係を示す平面図である。 ｘｙ座標系上の複数の点Ｐ１〜Ｐ４を通る直線Ｌとハフ変換用のξρ座標系上の線グラフμ１〜μ４の交点γとの対応関係を示す平面図である。 本発明に係る物体の反射特性データの作成方法の基本手順を示す流れ図である。 本発明に係る正則画像への画像変換方法（図１６の流れ図のステップＳ４の段階）の基本手順を示す流れ図である。 図１７のステップＳ１１で入力された画像データを構成するｘｙ座標上の画素配列の一部を示す平面図である。 図１８に示すｘｙ座標上の第ｉ番目の画素Ｐｉに対応するξρ座標上の線グラフμｉを示す平面図である。 図１９に示すξρ座標上の線グラフμｉ上に位置する画素（ハッチング部分）を示す平面図である。 図１８に示す第（ｉ＋１）番目の画素Ｐ（ｉ＋１）に対応するξρ座標上の線グラフμ（ｉ＋１）上に位置する画素（ハッチング部分）を示す平面図である。 ξρ座標上の各画素について画素値の積算処理を行った後に求まる最大画素値を有する画素γを示す平面図である。 図２２に示す画素γの位置（ξγ，ργ）に対応して、ｘｙ座標上に描かれた直線Ｌを示す平面図である。 ξρ座標上の各画素について画素値の積算処理を行った後、幾何学的予測点εについての近傍領域に所属する画素のうちの最大画素値を有する画素γ３を決定する様子を示す平面図である。 図１７のステップＳ１１で入力された画像データが階調画像であった場合の当該画像データを構成するｘｙ座標上の画素配列の一部を示す平面図である。 撮影用ステージ３０の上面に、内部と外部とでコントラスト差が生じる矩形領域が形成されている場合に、境界線からなる基準枠３５を抽出する処理を示す図である。 ξρ座標上の線グラフμｉの近傍の画素Ｔｄについても所定の画素値を積算する変形例を説明する平面図である。 図２７に示す画素Ｔｄに積算すべき画素値を決定する際に用いるガウス分布曲線を示すグラフである。 正則画像への画像変換に失敗した場合の補間方法を示す平面図である。 本発明に係る物体の反射特性データの作成装置の構成を示すブロック図である。

符号の説明

１０：物体データ（三次元仮想物体）
１５：二次元投影画像
２０：テクスチャデータ（原テクスチャデータ）
３０：撮影用ステージ
３５：基準枠
３５Ａ〜３５Ｄ：基準枠の４辺
３８：矩形領域
４０：被写体（物体）
５０：光源
５１：代表点
６０：カメラ
１００：画像変換装置
１１０：画像入力部
１２０：線グラフ演算部
１３０：画素値積算部
１４０：実測上予測点決定部
１５０：正則変換部
１６０：基準枠位置予測部
２１０：撮影条件設定部
２２０：微分処理部
２３０：反射特性データ作成部
Ａ〜Ｄ：矩形の４頂点
ｄ：近傍距離（線グラフμと画素Ｔの基準位置との距離）
Ｅ：視点
Ｆ：垂線の足
Ｇ：光源
Ｈ：投影平面
Ｉ（Ｌ）：照明光の強度
Ｉ（Ｖ）：反射光の強度
Ｋ：反射係数
Ｋ（θＬ，φＬ，θＶ，φＶ）：反射係数
Ｋ（θＬ，φＬ，θＶ，φＶ，ｕ，ｖ）：反射係数
Ｌ：照明光／ｘｙ座標上の直線
Ｌ１〜Ｌ６：照明光
Ｌａ〜Ｌｃ：ｘｙ座標上の直線
Ｌ′：照明光の投影像
Ｌｓ：基準照明光
Ｌｓ′：基準照明光の投影像
Ｎ：法線
Ｏ：ｘｙ座標系の原点
Ｐ：投影平面上の画素／ｘｙ座標上の点
Ｐ１〜Ｐ４，Ｐｉ，Ｐ（ｉ＋１），ＰＮ：ｘｙ座標上の点／ｘｙ座標上の画素
Ｑ：サンプル点／画像上の１点
Ｒ：画素値に乗じる割合
Ｓ：基準点
Ｓ１〜Ｓ２４：流れ図の各ステップ
Ｔｄ：ξρ座標上の画素
Ｔ（ｕ，ｖ）：ｕｖ座標上の画素
ｕ，ｖ：テクスチャを定義する二次元座標系の各座標軸
Ｖ：反射光
Ｖ′：反射光の投影像
Ｖｓ：基準反射光
Ｖｓ′：基準反射光の投影像
Ｗ：基準面／被測定面
Ｘ，Ｙ，Ｚ：三次元座標系の各座標軸
α，β：投影平面Ｈ上の二次元座標系の各座標軸
γ：複数の線グラフの交点／最大画素値をもつ画素
γ１，γ２，γ３：ξρ座標上の画素
θＬ：照明光Ｌの入射角
θＬ１〜θＬ６：照明光の入射角
θＬｓ：基準照明光Ｌｓの入射角
θＶ：反射光Ｖの反射角
θＶｓ：基準反射光Ｖｓの反射角
ζ，ζｓ：基準線
λａ，λｂ，λｃ：ξρ座標上の点
φＬ：照明光Ｌの方位角
φＬ１〜φＬ１２：照明光Ｌの方位角
φＬｓ：基準照明光Ｌｓの方位角
φＶ：反射光Ｖの方位角
φＶｓ：基準反射光Ｖｓの方位角
μ，μ１〜μ４，μｉ，μ（ｉ＋１）：ξρ座標上の線グラフ
ξ，ρ：ハフ変換用の座標系の各座標軸
ξａ：ｘ軸と垂線ＯＦとのなす角
ρａ：垂線ＯＦの長さ
ξγ：ｘ軸と垂線ＯＦとのなす角／ξ座標軸上の座標値
ργ：垂線ＯＦの長さ／ρ座標軸上の座標値
ξε：ξ座標軸上の座標値
ρε：ρ座標軸上の座標値
Δξ，Δρ：偏差

Claims (25)

1. 物体の被測定面の所定位置に所定の入射方向から照明光を当てたときに、前記所定位置から所定の射出方向に向かう反射光の反射率を、前記被測定面の個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義したデータを、前記被測定面についての反射特性データとして作成する物体の反射特性データの作成方法であって、
   平面上に描かれた直線で構成される基準枠の内部に、被測定面を有する物体を載置する物体載置段階と、
   光源と前記被測定面とカメラとが所定の位置関係になるような撮影条件を、前記光源と前記被測定面との位置関係を複数ｍ通りに変化させ、かつ、前記被測定面と前記カメラとの位置関係を複数ｎ通りに変化させることにより、合計（ｍ×ｎ）通り設定する撮影条件設定段階と、
   設定された（ｍ×ｎ）通りの撮影条件のそれぞれについて、前記光源によって照明されている前記被測定面の画像を前記カメラで撮影する撮影処理を実行することにより、（ｍ×ｎ）枚の物体撮影画像を得る物体撮影段階と、
   前記（ｍ×ｎ）枚の物体撮影画像に対して、所定の画像変換方法を利用した画像変換を行い、（ｍ×ｎ）枚の正則画像を得る画像変換段階と、
   前記（ｍ×ｎ）枚の正則画像に基づいて、物体の反射特性データを作成する反射特性データ作成段階と、
   を有し、
   前記所定の画像変換方法は、
   前記基準枠の内部に配置された被写体を、所定方向から撮影することにより得られる撮影画像を、前記平面上の基準点に立てた法線方向から見た正則画像に変換する画像変換方法であって、
   前記撮影画像もしくは前記撮影画像に所定の加工処理を施した画像を、二次元ｘｙ座標系に所定の画素値をもった画素を配列してなる画像データとして入力する画像入力段階と、
   前記ｘｙ座標系上の任意の直線を、座標軸に対する向きを示す変数ξと原点に対する変位を示す変数ρを用いて表わす表現形式を用い、前記画像データを構成する個々の画素について、当該画素の基準位置を通る直線群のそれぞれについての変数（ξ，ρ）の組合わせを求め、二次元ξρ座標系上に各変数対（ξ，ρ）に対応する座標点をプロットし、これら座標点の集合により構成される線グラフμを各画素ごとに前記ξρ座標系上に求める線グラフ演算段階と、
   前記ξρ座標系上に、各画素が同一の初期画素値を有する積算用二次元画素配列を定義し、この積算用二次元画素配列上に、前記画像データを構成する第ｉ番目の画素Ｐｉについて求められた線グラフμｉを重ね合わせ、この線グラフμｉ上もしくはその近傍に位置する画素の画素値に、前記画素Ｐｉのもつ画素値を積算する処理を、第１番目の画素から第Ｎ番目の画素まで（但し、１≦ｉ≦Ｎ、Ｎは前記画像データに含まれる画素配列上の全画素数）繰り返し実行する画素値積算段階と、
   前記撮影画像を得る際の幾何学的な撮影条件に基づいて、前記ｘｙ座標系上に配置された撮影画像上に現れるであろう前記基準枠の像の位置を、幾何学的な演算によって予測する基準枠位置予測段階と、
   予測された前記基準枠の像を構成する各直線を示す変数（ξ，ρ）の組合わせについて、前記積算用二次元画素配列上に対応する座標点をそれぞれ幾何学的予測点εとしてプロットし、各幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素の基準位置を、対応する直線についての実測上予測点と決定する実測上予測点決定段階と、
   前記二次元ｘｙ座標系上に、前記各実測上予測点の座標値（ξ，ρ）によって表わされる直線を描き、これらの直線の位置を正しい基準枠の像の位置として取り扱い、幾何学的な演算によって前記撮影画像を前記正則画像に変換する正則変換段階と、
   を有することを特徴とする物体の反射特性データの作成方法。
2. 請求項１に記載の反射特性データの作成方法において、
   所定領域の内部と外部とのコントラスト差による境界線からなる基準枠を用いた撮影により撮影画像が得られた場合に、
   画像入力段階で、撮影画像に対して微分処理を施して得られる微分画像を画像データとして入力することを特徴とする物体の反射特性データの作成方法。
3. 請求項１または２に記載の反射特性データの作成方法において、
   線グラフ演算段階で、ｘｙ座標系上の任意の直線に、前記ｘｙ座標系の原点Ｏから垂線を下し、その足を点Ｆとしたときに、前記ｘｙ座標系の一軸と線分ＯＦとのなす角度をξ、線分ＯＦの長さをρで表わし、２つの変数ξ，ρにより前記直線を表わす表現形式を用いることを特徴とする物体の反射特性データの作成方法。
4. 請求項１〜３のいずれかに記載の反射特性データの作成方法において、
   画素値積算段階で、線グラフμ上に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算するとともに、線グラフμから所定の近傍距離ｄだけ離れた画素の画素値に、画素Ｐｉのもつ画素値に前記近傍距離ｄに応じた所定割合Ｒ（０≦Ｒ≦１の範囲をとり、近傍距離ｄが大きくなるほど小さくなる値）を乗じた値を積算することを特徴とする物体の反射特性データの作成方法。
5. 請求項４に記載の反射特性データの作成方法において、
   所定割合Ｒを、線グラフμの位置を中心としてガウス分布をとるように設定することを特徴とする物体の反射特性データの作成方法。
6. 請求項１〜５のいずれかに記載の反射特性データの作成方法において、
   線グラフ演算段階で、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ線グラフを求める演算を実行し、
   画素値積算段階で、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ画素値の積算処理を実行することを特徴とする物体の反射特性データの作成方法。
7. 請求項１〜６のいずれかに記載の反射特性データの作成方法において、
   線グラフ演算段階で、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ線グラフを求める演算を実行し、
   画素値積算段階で、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ画素値の積算処理を実行することを特徴とする物体の反射特性データの作成方法。
8. 請求項１〜７のいずれかに記載の反射特性データの作成方法において、
   基準枠位置予測段階で、撮影画像を得る際の幾何学的な撮影条件として、基準点に立てた法線と撮影装置の光軸とのなす角θと、前記光軸の「基準枠が描かれた平面」への投影像と前記基準点を通り前記「基準枠が描かれた平面」に含まれる所定の基準線ζとのなす角φと、前記撮影装置の光学系の焦点距離と、に基づく幾何学的な演算により基準枠の像の位置を予測することを特徴とする物体の反射特性データの作成方法。
9. 請求項１〜８のいずれかに記載の反射特性データの作成方法において、
   実測上予測点決定段階で、幾何学的予測点εについての所定の近傍領域として、幾何学的予測点εの座標値を（ξε，ρε）としたときに、所定の偏差Δξ，Δρを用いて、ξε−Δξ≦ξ≦ξε＋Δξ、ρε−Δρ≦ρ≦ρε＋Δρなる条件を満たす座標値（ξ，ρ）で示される領域を設定することを特徴とする物体の反射特性データの作成方法。
10. 請求項１〜９のいずれかに記載の反射特性データの作成方法において、
    実測上予測点決定段階で、幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素が複数存在した場合には、これら複数の画素の基準位置の重心位置を、対応する直線についての実測上予測点と決定することを特徴とする物体の反射特性データの作成方法。
11. 請求項１〜１０のいずれかに記載の反射特性データの作成方法において、
    実測上予測点決定段階で、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、正則画像への画像変換に失敗した取り扱いを行うことを特徴とする物体の反射特性データの作成方法。
12. 請求項１〜１１のいずれかに記載の反射特性データの作成方法において、
    矩形を示す基準枠を用いた撮影により撮影画像が得られた場合に、
    正則変換段階で、前記基準枠の像を構成する矩形の４頂点の位置に基づく幾何学的な演算により正則画像への変換を行うことを特徴とする物体の反射特性データの作成方法。
13. 請求項１〜１２のいずれかに記載の反射特性データの作成方法において、
    特定の物体撮影画像を正則画像に変換する画像変換段階における実測上予測点決定段階で、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、当該物体撮影画像に関する正則画像への画像変換に失敗した取り扱いを行い、
    画像変換に失敗した取り扱いが行われた物体撮影画像についての正則画像を、撮影条件が近似する別な物体撮影画像についての正則画像に基づく補間により求めることを特徴とする物体の反射特性データの作成方法。
14. 物体の被測定面の所定位置に所定の入射方向から照明光を当てたときに、前記所定位置から所定の射出方向に向かう反射光の反射率を、前記被測定面の個々の位置ごとに、それぞれ複数ｍ通りの入射方向および複数ｎ通りの射出方向の組み合わせによる（ｍ×ｎ）通りの場合について定義したデータを、前記被測定面についての反射特性データとして作成する物体の反射特性データの作成装置であって、
    上面が平面をなし、この平面上に直線で構成される基準枠が描かれている撮影用ステージと、
    前記撮影用ステージ上に載置された物体を照明するための光源と、
    前記撮影用ステージ上に載置された物体を撮影するためのカメラと、
    前記光源と前記物体の被測定面との位置関係を複数ｍ通りに変化させ、かつ、前記被測定面と前記カメラとの位置関係を複数ｎ通りに変化させることにより撮影条件を設定する撮影条件設定部と、
    所定の画像変換装置と、
    を備え、
    前記所定の画像変換装置は、
    前記基準枠の内部に配置された被写体を、所定方向から撮影することにより得られる撮影画像を、前記平面上の基準点に立てた法線方向から見た正則画像に変換する画像変換装置であって、
    前記撮影画像もしくは前記撮影画像に所定の加工処理を施した画像を、二次元ｘｙ座標系に所定の画素値をもった画素を配列してなる画像データとして入力する画像入力部と、
    前記ｘｙ座標系上の任意の直線を、座標軸に対する向きを示す変数ξと原点に対する変位を示す変数ρを用いて表わす表現形式を用い、前記画像データを構成する個々の画素について、当該画素の基準位置を通る直線群のそれぞれについての変数（ξ，ρ）の組合わせを求め、二次元ξρ座標系上に各変数対（ξ，ρ）に対応する座標点をプロットし、これら座標点の集合により構成される線グラフμを各画素ごとに前記ξρ座標系上に求める線グラフ演算部と、
    前記ξρ座標系上に、各画素が同一の初期画素値を有する積算用二次元画素配列を定義し、この積算用二次元画素配列上に、前記画像データを構成する第ｉ番目の画素Ｐｉについて求められた線グラフμｉを重ね合わせ、この線グラフμｉ上もしくはその近傍に位置する画素の画素値に、前記画素Ｐｉのもつ画素値を積算する処理を、第１番目の画素から第Ｎ番目の画素まで（但し、１≦ｉ≦Ｎ、Ｎは前記画像データに含まれる画素配列上の全画素数）繰り返し実行する画素値積算部と、
    前記撮影画像を得る際の幾何学的な撮影条件に基づいて、前記ｘｙ座標系上に配置された撮影画像上に現れるであろう前記基準枠の像の位置を、幾何学的な演算によって予測する基準枠位置予測部と、
    予測された前記基準枠の像を構成する各直線を示す変数（ξ，ρ）の組合わせについて、前記積算用二次元画素配列上に対応する座標点をそれぞれ幾何学的予測点εとしてプロットし、各幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素の基準位置を、対応する直線についての実測上予測点と決定する実測上予測点決定部と、
    前記二次元ｘｙ座標系上に、前記各実測上予測点の座標値（ξ，ρ）によって表わされる直線を描き、これらの直線の位置を正しい基準枠の像の位置として取り扱い、幾何学的な演算によって前記撮影画像を前記正則画像に変換する正則変換部と、
    を備え、
    前記カメラで撮影された撮影画像が前記画像変換装置の前記画像入力部へ与えられるように構成され、
    前記画像変換装置によって変換された正則画像に基づいて、物体の反射特性データを作成する反射特性データ作成部を更に有することを特徴とする物体の反射特性データの作成装置。
15. 請求項１４に記載の反射特性データの作成装置において、
    線グラフ演算部が、ｘｙ座標系上の任意の直線に、前記ｘｙ座標系の原点Ｏから垂線を下し、その足を点Ｆとしたときに、前記ｘｙ座標系の一軸と線分ＯＦとのなす角度をξ、線分ＯＦの長さをρで表わし、２つの変数ξ，ρにより前記直線を表わす表現形式を用いることを特徴とする物体の反射特性データの作成装置。
16. 請求項１４または１５に記載の反射特性データの作成装置において、
    画素値積算部が、線グラフμ上に位置する画素の画素値に、画素Ｐｉのもつ画素値を積算するとともに、線グラフμから所定の近傍距離ｄだけ離れた画素の画素値に、画素Ｐｉのもつ画素値に前記近傍距離ｄに応じた所定割合Ｒ（０≦Ｒ≦１の範囲をとり、近傍距離ｄが大きくなるほど小さくなる値）を乗じた値を積算することを特徴とする物体の反射特性データの作成装置。
17. 請求項１６に記載の反射特性データの作成装置において、
    所定割合Ｒが、線グラフμの位置を中心としてガウス分布をとるように設定されていることを特徴とする物体の反射特性データの作成装置。
18. 請求項１４〜１７のいずれかに記載の反射特性データの作成装置において、
    線グラフ演算部が、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ線グラフを求める演算を実行し、
    画素値積算部が、全Ｎ個の画素のうち、所定範囲内の画素値を有する画素についてのみ画素値の積算処理を実行することを特徴とする物体の反射特性データの作成装置。
19. 請求項１４〜１８のいずれかに記載の反射特性データの作成装置において、
    線グラフ演算部が、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ線グラフを求める演算を実行し、
    画素値積算部が、全Ｎ個の画素のうち、所定の考慮領域内に位置する画素についてのみ画素値の積算処理を実行することを特徴とする物体の反射特性データの作成装置。
20. 請求項１４〜１９のいずれかに記載の反射特性データの作成装置において、
    基準枠位置予測部が、撮影画像を得る際の幾何学的な撮影条件として与えられた、基準点に立てた法線と撮影装置の光軸とのなす角θと、前記光軸の「基準枠が描かれた平面」への投影像と前記基準点を通り前記「基準枠が描かれた平面」に含まれる所定の基準線ζとのなす角φと、前記撮影装置の光学系の焦点距離と、に基づく幾何学的な演算により基準枠の像の位置を予測することを特徴とする物体の反射特性データの作成装置。
21. 請求項１４〜２０のいずれかに記載の反射特性データの作成装置において、
    実測上予測点決定部が、幾何学的予測点εについての所定の近傍領域として、幾何学的予測点εの座標値を（ξε，ρε）としたときに、所定の偏差Δξ，Δρを用いて、ξε−Δξ≦ξ≦ξε＋Δξ、ρε−Δρ≦ρ≦ρε＋Δρなる条件を満たす座標値（ξ，ρ）で示される領域を用いることを特徴とする物体の反射特性データの作成装置。
22. 請求項１４〜２１のいずれかに記載の反射特性データの作成装置において、
    実測上予測点決定部が、幾何学的予測点εについての所定の近傍領域に所属する画素のうちの画素値が最大もしくは最小の画素が複数存在した場合には、これら複数の画素の基準位置の重心位置を、対応する直線についての実測上予測点と決定することを特徴とする物体の反射特性データの作成装置。
23. 請求項１４〜２２のいずれかに記載の反射特性データの作成装置において、
    実測上予測点決定部が、近傍領域内の最大画素値が所定のしきい値に満たない場合もしくは最小画素値が所定のしきい値を超えてしまう場合には、実測上予測点の決定を行わず、正則画像への画像変換に失敗した旨のメッセージを提示することを特徴とする物体の反射特性データの作成装置。
24. 請求項１４〜２３のいずれかに記載の反射特性データの作成装置において、
    撮影用ステージの上面に、物体を載置するための矩形が形成されており、前記矩形の内部領域と外部領域とはコントラストに差が生じるように構成され、両領域の境界線によって基準枠が構成されており、
    カメラで撮影された撮影画像に対して微分処理を実行する微分処理部が更に設けられており、微分処理後の画像が画像入力部へ与えられるように構成されており、
    正則変換部が、前記基準枠の像を構成する矩形の４頂点の位置に基づく幾何学的な演算により正則画像への変換を行うことを特徴とする物体の反射特性データの作成装置。
25. 請求項１４〜２４のいずれかに記載の反射特性データの作成装置において、
    実測上予測点決定部が、近傍領域内の最大画素値が所定のしきい値に満たない、もしくは最小画素値が所定のしきい値を超えてしまうと判断した場合には、正則画像への画像変換に失敗した旨のエラー信号を出力し、
    反射特性データ作成部が、前記エラー信号が出力されたために画像変換装置からは得られなかった正則画像を、撮影条件が近似する別な物体撮影画像についての正則画像に基づく補間により求めることを特徴とする物体の反射特性データの作成装置。