JP3962588B2 - 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、実在する対象物（実物体）の三次元画像を形成するために必要な表面属性データを生成する三次元画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
実物体をコンピュータグラフィクスによる三次元画像として再現するとき、特開２０００−３４８２１３号にて提案されているように三次元形状モデルの各部に、実物体をカメラで撮影した画像を貼り付ける手法がある。このような手法では、様々な視点から三次元画像を観察することができるようにするため、複数の方向から撮影された複数の画像を用意し、再現時に視点に対して適切な画像を選択して三次元形状モデルに貼り付けている。
【０００３】
但し、このような手法では、三次元画像として再現する実物体を撮影時と異なる照明状態とすることができない。また、カメラ画像にはもともと陰影やハイライトが含まれているため、カメラ画像を貼り付けた物体にさらに陰影やハイライトをつけようとすると不自然な画像になる。
【０００４】
そこで、SIGRAPH Computer Graphics Proceedings,Annual Conference Seriec,1997,p379-387『Object Shape and Reflectance Modeling from Observation』に記載されているように、照明方向や観測（撮影）方向による実物体の反射率の変化を双方向反射分布関数BRDF（Bi-directional Reflectance Distribution Function)で表し、BRDFに関数モデルを導入して反射定数により表す手法が採られるようになっている。
【０００５】
この手法では、三次元形状モデルの表面に配置される彩色部位の反射特性を反射定数として保持し、再現時には反射モデル関数に定数を代入計算することにより、比較的小さな彩色情報で任意の照明条件・視線方向での自然な陰影やハイライトの再現が可能になる。
【０００６】
なお、Phong反射モデルに代表されるように、多くの反射モデルは光の反射を散乱（拡散）反射成分と鏡面反射成分の線形和として考え、各々複数のパラメータにより表現される。
【０００７】
【発明が解決しようとする課題】
上記反射定数の推定は、光源方向又は視線（観測，撮影）方向を変えて撮影された複数の画像情報を利用して、彩色部位毎に行う。また、BRDFは二次元の広がりを持たない照明光による照明方向および観測方向に対する関数なので、光源としては部位光源や平行（無限遠）光源に近似可能な光源を用いている。
【０００８】
しかしながら、金属光沢物のようにごく狭い角度範囲でしか鏡面反射が現れない対象物では、上記複数の画像情報中で鏡面反射が観測されない彩色部位があり、この場合、その彩色部位では鏡面反射がないものと誤推定されるおそれがある。
【０００９】
これを避けるため、画像撮影時に鏡面反射の広がりよりも小さい角度間隔で撮影する必要があるが、画像情報の処理や撮影の手間が膨大になるという問題がある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明の三次元画像処理方法および装置では、実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された実物体の撮影画像情報を取得し、この撮影画像情報と撮影時の撮影環境情報（光源の輝度分布に関する情報、撮影を行う撮影装置の特性又は設定に関する情報、実物体と光源と撮影装置の位置及び向きに関する情報等）とに基づいて実物体の表面属性（特に、反射特性）を推定するようにしている。そして、本願第１の発明である三次元画像処理方法および装置では、推定される実物体の表面属性を、実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数で表している。また、本願第２の発明である三次元画像処理方法および装置では、照明光の輝度分布に依存した輝度分布型双方向反射分布関数を推定し、その後、輝度分布型双方向反射分布関数を実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数に変換している。
【００１１】
このように、実物体をその表面から見て２次元の広がりを持つ輝度分布を有する照明光で照明することにより、鏡面反射がより広い角度範囲で観測される。このため、比較的少数の撮影画像によって、鏡面反射が鋭い場合における表面属性の推定部位（彩色部位）での鏡面反射の観測漏れを防止し、正しい表面属性を推定することが可能となる。
【００１２】
なお、各推定部位で双方向反射分布関数BRDFを推定する場合には、この双方向反射分布関数BRDFは二次元の広がりを持たない一方向から照射された光に対して定義されるので、本発明では、撮影画像情報に基づいて得られる実物体の輝度変化を照明光の輝度分布でデコンボリューションすることにより双方向反射分布関数BRDFを推定する。
【００１３】
【発明の実施の形態】
（第１実施形態）
図１には、本発明の第１実施形態である三次元画像処理システムの構成を示している。本実施形態は、反射定数の推定の前に実物体の輝度変化を照明光の輝度分布でデコンボリュートし、双方向反射分布関数BRDFからphong 関数を得る方式のものである。
【００１４】
本実施形態の三次元画像処理システムは、対象物３をＣＣＤ等の撮像素子により撮影するデジタルカメラ（撮影装置）１と、対象物３を照明する面光源２と、対象物（実物体）３を載置する回転ステージ４と、レーザレーダ法、スリット光投影法、パターン投影法などを用いて対象物３の三次元形状を測定する三次元計測装置５と、この三次元計測装置５から入力された実測データに基づいて対象物３の立体形状情報である三次元形状モデルを生成するとともに、デジタルカメラ１から入力された画像情報に基づいて対象物３の表面属性（色や反射特性等の彩色情報）を推定するコンピュータ等からなる三次元画像処理装置６と、この三次元画像処理装置６により作成された対象物３のモデルデータから三次元のコンピュータグラフィクス（三次元画像）を作成し表示するコンピュータグラフィクス作成装置７とから構成されている。
【００１５】
なお、三次元画像処理装置６により生成される三次元形状モデルとしては、例えばポリゴンによる表面モデルあるいは異なる形状の表面形状要素の集合として表現することができる。
【００１６】
三次元計測装置５およびデジタルカメラ１はそれぞれ、対象物３からある程度離れた位置に配置され、回転ステージ４とともに回転する対象物３に対して一定の回転角度ごとに三次元形状計測および撮影を行い、三次元形状の実測データおよび画像情報を出力する。なお、図１では、三次元計測装置５とカメラ１とは別体構成となっているが、これらを一体構成としてもよい。また、三次元形状計測および撮影を行うタイミングはそれぞれ同時でもよいし別個でもよい。
【００１７】
次に、三次元画像処理システムにおける各処理について、図２を併せ用いて説明する。図２は三次元画像処理装置６内の構成を示したものである。三次元画像処理装置６は、画像情報取得部１０と、撮影環境情報取得部１１と、立体形状取得部１２と、彩色情報推定部１３と、モデルデータ記憶部１４とから構成されている。本実施形態では、モデルデータ記憶部１４は、図１に示すように、三次元画像処理装置本体とは別にモデルデータ記憶装置として設けられている。
【００１８】
（画像情報の取得）
まず、画像情報取得部１０においてカメラ１から画像情報を取得し、彩色情報推定部１３に出力する。
【００１９】
ここで、カメラ１による対象物３の撮影について図３を用いて説明する。本実施形態では、暗室内で回転ステージ４上に載置した対象物３を、面光源２から照射される、対象物３の表面において一定の二次元の広がりを持つ輝度分布を有した照明光で照らし、対象物３にカメラ１を向ける。
【００２０】
そして、回転ステージ４を回転させながら、一定の回転角度ごとに複数回撮影し、ＲＧＢの３つのカラーバンドからなる画像データを取得する。
【００２１】
この際、１回の撮影ごとにカメラ１と対象物３と面光源２の位置（配置）、面光源２（照明光）の輝度、カメラ１の画像特性などの撮影環境情報を記録しておく。
【００２２】
こうして対象物３を回転させながら複数回の撮影を行うことにより、対象物３に対する照明方向や観測方向が相対的に変化し、光源方向や視線方向を変えて撮影された複数の画像（画像群）が得られる。
【００２３】
なお、本実施形態では、対象物３を回転ステージ４上に載置する場合について説明しているが、対象物を複数の回転軸を持つ装置に設置してもよい。また、本実施形態では、カメラ１および面光源２を固定し、対象物３を回転させる場合について説明しているが、対象物３を固定しておき、カメラ１又は面光源２の位置や方向を変化させながら撮影してもよいし、カメラ１、面光源２および対象物３のうち二者以上の位置を変化させながら撮影してもよい。いずれにせよ、位置の変化や回転により、対象物３に対する光源方向や視線方向が異なる複数の画像を得られるようにすればよい。
【００２４】
(撮影環境情報の取得)
撮影環境情報取得部１１では、撮影ごとに、面光源２（照明光）の輝度分布に関する情報、カメラ１の特性又は設定に関する情報、カメラ１・対象物３・面光源２の位置や姿勢に関する情報などの撮影環境情報を取得し、彩色情報推定部１３に出力する。
【００２５】
撮影環境情報の一部は撮影時に記録せず、画像情報から推定してもよい。それには、撮影時に対象物３に固定したマーカーが対象物３と共に画像に写るようにしておく。対象物３上にマーカーの代用となる特徴部分があれば、それをマーカーとして用いてもよい。そして、撮影された画像上のマーカーの位置や色から撮影環境情報を推定し、彩色情報推定部１３に出力する。なお、ここでの推定法の例は、佐藤淳著『コンピュータビジョン』(コロナ社,1999)第６章に挙げられている。 (立体形状の取得)
立体形状取得部１２では、三次元測定装置５からの実測データに基づいて三次元形状モデルを生成し、彩色情報推定部１３に出力するとともに、三次元形状モデルをモデルデータ記憶部１４に記録する。
【００２６】
なお、三次元形状モデルは、画像撮影時にレンジファインダー等を用いて得てもよいし、画像情報から推定してもよい。或いは工業製品のように形状データが既知であれば、それを用いてもよい。
【００２７】
(彩色情報の推定)
彩色情報推定部１３では、入力された情報に基づいて彩色情報を推定し、得られた反射定数をモデルデータ記憶部１４に記録する。以下、図４のフローチャートを用いて彩色情報の推定法を示す。
【００２８】
まず、ステップ（図ではＳと略す）１で本フローを開始する。この後、三次元形状モデルの表面の彩色情報を推定する彩色部位（推定部位）ごとに以下の処理を繰り返す。
【００２９】
ステップ２では、入力された画像群の全ての画像に対し、各彩色部位における光源中心方向、観測方向および反射強度の対応を計算し、対応表を作成する。これには撮影時のカメラ１、対象物３、面光源２の位置情報およびカメラ１、面光源２の特性又は設定情報から、彩色部位における光源中心方向、観測方向および画像上の位置を算出し、画像上の明度から反射強度を得る。
【００３０】
画像上で平面が裏面であったり、他の部位の背後であったり、画像外であったりして反射強度が不明である場合は対応表には入れない。
【００３１】
ステップ３では、上記対応表の反射強度を光源中心方向ｌcと観測方向θoをパラメータとする関数BRDF ’(lc,θo) とみなし（以下、照明光の輝度分布を要素として含む値又は関数にはprime「’」を付けて表す）、照明光の輝度分布を各彩色部位における光源中心方向からの外れ角の関数ｌ(r) で表し、以下の式に基づいてデコンボリュートし、照明方向と観測方向の関数であって２次元の広がりを持たない光の反射率を与える双方向反射分布関数BRDF(θi,θo) に変換する。
【００３２】
【数１】

【００３３】
次に、ステップ４では、この双方向反射分布関数BRDFを反射モデル関数と照合する。反射モデルとしては、図５に示した Phongの反射モデルを使用し、上記ステップで得られた対応表中の各彩色部位における光源中心方向、観測方向および反射強度の対応をカラーバンドごとの反射率Ｒ_j，Ｇ_j，Ｂ_j と図１２に示す角度変数θ_j，ρ_j で表す。
【００３４】
なお、図１２において、θは彩色部位での法線方向と光源中心方向とのなす角度であり、ρはカメラ１による観測（撮影）方向と光源中心方向との中間のベクトル方向と上記法線とのなす角度である。
【００３５】
ここで、添え字ｊは画像番号（１，２…ｍ）を示す。また、Cd_R，Cd_G，Cd_B は散乱反射定数であり、Cs,nは鏡面反射定数である。そして、誤差ベクトルをεとすると、図１０に示す行列式が書ける。彩色部位；ｌの反射率が不明である場合は、行列式から対応する行を削除する。
【００３６】
そして、ステップ５において、誤差ベクトルεを最適な値にする定数の組である（Cd_R，Cd_G，Cd_B，Cs,n）を求め、モデルデータ記憶部１４に記録する。最適化には各種の数学的手法を用いることができるが、本発明はこの手法を限定するものではない。
【００３７】
例として、最小２乗法を用いる場合には、評価関数を誤差ベクトルεの自己内積ε・εが最小となる組を求める。評価関数は全ての誤差を等価に扱っているが、各値の信頼性を考慮した評価関数を設定してもよい。特に、cosθi，cosθoに比例する重み付けは有効である。
【００３８】
以上の処理を全ての彩色部位に対して行う。
【００３９】
（ＣＧ再現）
このようにしてモデルデータが得られた対象物３をコンピュータグラフィクスで生成表示する際には、コンピュータグラフィクス作成装置７において要求される仮想カメラ、仮想対象物、仮想光源の位置及び向き情報と、仮想カメラおよび仮想光源の特性又は設定情報と、モデルデータ記憶部１４に記録された三次元形状モデルとから各彩色部位における照明方向・観測方向・照明照度および生成画像上の表示位置を算出し、照明方向、観測方向およびモデルデータ記憶部１４に記録された反射定数を反射モデル関数に代入して反射率を計算する。そして、計算された反射率と照明照度の積を表示色として生成画像上の表示位置に描画する。これにより、任意の照明条件および視線方向での自然な陰影やハイライトが再現される。なお、本実施形態においては、カメラ１、面光源２、回転ステージ４、三次元測定装置５、三次元画像処理装置６およびコンピュータグラフィクス作成装置７を別体のものとして説明したが、これらを単一の装置として構成してもよい。
【００４０】
また、本実施形態のように三次元画像処理システムを複数の装置又は機器で構成する場合、装置又は機器間のデータのやり取りは、各種記録媒体や無線・有線のデータ通信手段によって行われる。
【００４１】
特に、コンピュータグラフィクス作成装置７を三次元画像処理装置６と別の装置として設けることにより、一度作成されたモデルデータを、複数のコンピュータグラフィクス作成装置で繰り返し利用できるメリットがある。
【００４２】
また、本実施形態では、反射モデル関数としてPhong反射モデルを用いる場合について説明したが、本発明では反射モデル関数をこれに限定するものではなく、他の反射モデル関数、例えばTorrance-Sparrowモデルを用いてもよい。つまり、反射率が散乱反射成分と鏡面反射成分の線形和として与えられ、それぞれ複数または１つの定数と角度変数とにより表現されるものであれば本発明に用いることができる。
【００４３】
また、本実施形態では、画像がＲ，Ｇ，Ｂの３色から構成される場合について説明したが、本発明では、単色、他の複数色、スペクトル情報、偏光情報等、対応した反射モデル関数が記述できるものであれば用いることができる。
【００４４】
さらに、本実施形態にて説明した彩色情報の推定法では、全ての反射定数が一意に求まるとは限らないが、この場合は、求まらない定数を持つ彩色部位の近傍の彩色部位の反射定数から補完したり、典型的な値で代用したりする等の手法を用いればよい。
【００４５】
（第２実施形態）
上記第１実施形態では、反射定数の推定前に実物体の輝度変化を照明光の輝度分布でデコンボリュートする場合について説明したが、輝度分布に依存した輝度分布型反射モデル関数で輝度分布型反射定数を推定した後に反射定数に一定の変換を施すことにより反射定数を推定してもよい。
【００４６】
なお、本実施形態の処理を行う三次元画像処理システムの構成も第１実施形態と同じであり、システムを構成する装置および機器には第１実施形態と同符号を付す。
【００４７】
以下、三次元画像処理システムでの各処理について説明する。
【００４８】
（画像情報の取得）
まず、画像情報取得部１０においてカメラ１から画像情報を取得し、彩色情報推定部１３に出力する。
【００４９】
ここで、カメラ１による対象物３の撮影について図６を用いて説明する。本実施形態では、暗室内で回転ステージ４上に載置した対象物３を、面光源２２から照射される、対象物３の表面において一定の二次元の広がりを持つ輝度分布を有し、かつその輝度分布が角度半径σ_L のガウシアンで近似される広がりを持った照明光で照らし、対象物３にカメラ１を向ける。
【００５０】
このような面光源２２としては、例えば背後からスポットライトを照射した磨りガラスを用いて構成することができる。
【００５１】
そして、回転ステージ４を回転させながら、複数の回転角度で対象物３を撮影し、ＲＧＢの３つのカラーバンドからなる画像データを取得する。
【００５２】
この際、１回の撮影ごとにカメラ１と対象物３と面光源２２の位置（配置）、面光源２２（照明光）の輝度、カメラ１の画像特性などの撮影環境情報を記録しておく。
【００５３】
こうして対象物３を回転させながら複数回の撮影を行うことにより、対象物３に対する照明方向や観測方向が相対的に変化し、光源方向や視線方向を変えて撮影された複数の画像（画像群）が得られる。
【００５４】
なお、本実施形態では、対象物３を回転ステージ４上に載置する場合について説明しているが、対象物を複数の回転軸を持つ装置に設置してもよい。また、本実施形態では、カメラ１および面光源２２を固定し、対象物３を回転させる場合について説明しているが、対象物３を固定しておき、カメラ１又は面光源２２の位置や方向を変化させながら撮影してもよいし、カメラ１、面光源２２および対象物３のうち二者以上の位置を変化させながら撮影してもよい。いずれにせよ、位置の変化や回転により、対象物３に対する光源方向や視線方向が異なる複数の画像を得られるようにすればよい。
【００５５】
(撮影環境情報の取得)
撮影環境情報取得部１１では、撮影ごとに、面光源２２（照明光）の輝度分布に関する情報、カメラ１の特性又は設定に関する情報、カメラ１・対象物３・面光源２２の位置や姿勢に関する情報などの撮影環境情報を取得し、彩色情報推定部１３に出力する。
【００５６】
撮影環境情報の一部は撮影時に記録せず、画像情報から推定してもよい。それには、撮影時に対象物３に固定したマーカーが対象物３と共に画像に写るようにしておく。対象物３上にマーカーの代用となる特徴部分があれば、それをマーカーとして用いてもよい。そして、撮影された画像上のマーカーの位置や色から撮影環境情報を推定し、彩色情報推定部１３に出力する。なお、ここでの推定法の例は、第１実施形態にて説明したように、佐藤淳著『コンピュータビジョン』(コロナ社,1999)第６章に挙げられている。
【００５７】
(立体形状の取得)
立体形状取得部１２では、三次元測定装置５からの実測データに基づいて三次元形状モデルを生成し、彩色情報推定部１３に出力するとともに、三次元形状モデルをモデルデータ記憶部１４に記録する。
【００５８】
なお、三次元形状モデルは、画像撮影時にレンジファインダー等を用いて得てもよいし、画像情報から推定してもよい。或いは工業製品のように形状データが既知であれば、それを用いてもよい。
【００５９】
(彩色情報の推定)
彩色情報推定部１３では、入力された情報に基づいて彩色情報を推定し、得られた反射定数をモデルデータ記憶部１４に記録する。以下、図９のフローチャートを用いて彩色情報の推定法を示す。
【００６０】
まず、ステップ（図ではＳと略す）２１で本フローを開始する。この後、三次元形状モデルの表面の彩色情報を推定する彩色部位（推定部位）ごとに以下の処理を繰り返す。
【００６１】
次に、ステップ２２で、画像群の全ての画像に対し、各彩色部位における光源中心方向、観測方向、反射強度の対応を計算し、対応表を作成する。これには撮影時のカメラ１、対象物３、面光源２２の位置情報およびカメラ１、面光源２２の特性又は設定情報から、彩色部位における光源中心方向、観測方向および画像上の位置を算出し、画像上の明度から反射強度を得る。
【００６２】
画像上で平面が裏面であったり、他の部位の背後であったり、画像外であったりして反射強度が不明である場合は対応表には入れない。
【００６３】
次に、ステップ２３では、上記対応表を輝度分布型反射モデル関数と照合する。輝度分布型反射モデルとしては、例えば図７に示す Gaussモデルを使用し、上記ステップで得られた対応表中の各彩色部位における光源中心方向、観測方向および反射強度の対応をカラーバンドごとの反射率Ｒ_j，Ｇ_j，Ｂ_j と図１２に示す角度変数θ_j，ρ_j で表す。
【００６４】
なお、図１２において、θは彩色部位での法線方向と光源中心方向とのなす角度であり、ρはカメラ１による観測（撮影）方向と光源中心方向との中間のベクトル方向と上記法線とのなす角度である。
【００６５】
また、添え字ｊは画像番号（１，２…ｍ）を示す。また、Cd_R，Cd_G，Cd_B は錯乱反射定数であり、Cs,σは鏡面反射定数である。そして、誤差ベクトルをεとすると、図１１に示す行列式が書ける。彩色部位の反射率が不明である場合は、行列式から対応する行を削除する。
【００６６】
そして、ステップ２４では、誤差ベクトルεを最適な値にする定数の組である（Cd_R，Cd_G，Cd_B，Cs',σ')を求める。最適化には各種の数学的手法を用いることができるが、本発明はこの手法を限定するものではない。
【００６７】
例として、最小２乗法を用いる場合には、評価関数を誤差ベクトルεの自己内積ε・εが最小となる組を求める。評価関数は全ての誤差を等価に扱っているが、各値の信頼性を考慮した評価関数を設定してもよい。
【００６８】
次に、ステップ２５では、ステップ２４で求めた輝度分布型反射定数の組（Cd_R，Cd_G，Cd_B，Cs',σ'） を２次元の広がりを持たない照明光を射出する平行（無限遠）光源や点光源等の光源に対する反射定数への変換を行う。
【００６９】
反射モデル関数としては図８に示すガウスモデルを用いる。散乱反射成分は照明光の広がりの影響をほとんど受けないものとし、先の（Cd_R，Cd_G，Cd_B）をデータ記録部１４に記録する。鏡面反射成分はガウス関数の合成則である
σ’^２＝σ ^２+σ_L ^２
σ^２Cs＝σ'^２Cs'
によりCs（ピーク強度） を求め、(Cs，σ)をデータ記録部１４に記録する。
【００７０】
なお、σは反射モデル関数の標準偏差、σ’は輝度分布型反射モデル関数の標準偏差、σ_L は照明光の輝度分布のガウス半径である。
【００７１】
以上の処理を全ての彩色部位に対して行う。
【００７２】
（ＣＧ再現）
このようにしてモデルデータが得られた対象物３をコンピュータグラフィクスで生成表示する際には、コンピュータグラフィクス作成装置７において要求される仮想カメラ、仮想対象物、仮想面光源の位置及び向き情報と、仮想カメラおよび仮想光源の特性又は設定情報と、モデルデータ記憶部１４に記録された三次元形状モデルとから各彩色部位における照明方向・観測方向・照明照度および生成画像上の表示位置を算出し、照明方向、観測方向およびモデルデータ記憶部１４に記録された反射定数を反射モデル関数に代入して反射率を計算する。そして、計算された反射率と照明照度の積を表示色として生成画像上の表示位置に描画する。これにより、任意の照明条件および視線方向での自然な陰影やハイライトが再現される。
【００７３】
なお、本実施形態においては、カメラ１、面光源２２、回転ステージ４、三次元計測装置５、三次元画像処理装置６およびコンピュータグラフィクス作成装置７を別体のものとして説明したが、これらを単一の装置として構成してもよい。
【００７４】
また、本実施形態のように三次元画像処理システムを複数の装置又は機器で構成する場合、装置又は機器間のデータのやり取りは、各種記録媒体や無線・有線のデータ通信手段によって行われる。
【００７５】
特に、コンピュータグラフィクス作成装置７を三次元画像処理装置６と別の装置として設けることにより、一度作成されたモデルデータを、複数のコンピュータグラフィクス作成装置で繰り返し利用できるメリットがある。
【００７６】
また、本実施形態では、反射モデル関数としてGaussモデルを用いて説明したが、ＣＧ再現時にはPhongモデルが便利な場合がある。GaussモデルとPhongモデルは変換式
σ²＝１／（ｎ＋５／６）
により、ほぼ対応づけられる。
【００７７】
また、これを用いてステップ２５で、σに代えてｎを記録してもよい。
【００７８】
また、本実施形態では、画像がＲ，Ｇ，Ｂの３色から構成される場合について説明したが、本発明では、単色、他の複数色、スペクトル情報、偏光情報等、対応した反射モデル関数が記述できるものであれば用いることができる。
【００７９】
さらに、本実施形態にて説明した彩色情報の推定法では、全ての反射定数が一意に求まるとは限らないが、この場合は、求まらない定数を持つ彩色部位の近傍の彩色部位の反射定数から補完したり、典型的な値で代用したりする等の手法を用いればよい。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、実物体をその表面から見て２次元の広がりを持つ輝度分布を有する照明光で照明するようにしたので、鏡面反射をより広い角度範囲で観測できる。このため、比較的少数の撮影画像によって、鏡面反射が鋭い場合における表面属性の推定部位（彩色部位）での鏡面反射の観測漏れを防止し、正しい表面属性を推定することができる。
【００８１】
したがって、本発明を用いて実物体の表面属性を推定すれば、任意の照明条件および視線方向での自然な陰影やハイライトが再現された三次元画像を作成することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である三次元画像処理システムの構成図である。
【図２】上記第１実施形態の三次元画像処理システムを構成する三次元画像処理装置の構成を示すブロック図である。
【図３】上記第１実施形態の三次元画像処理システムにおける実物体の画像情報取得の例を示す図である。
【図４】上記第１実施形態の三次元画像処理装置における彩色情報の推定処理を示すフローチャートである。
【図５】 Phong反射モデルの式である。
【図６】本発明の第２実施形態である三次元画像処理システムにおける実物体の画像情報取得の例を示す図である。
【図７】輝度分布型Gauss反射モデルの式である。
【図８】 Gauss反射モデルの式である。
【図９】上記第２実施形態の三次元画像処理装置における彩色情報の推定処理を示すフローチャートである。
【図１０】上記第１実施形態においてPhong反射モデルを適用した際の行列式である。
【図１１】上記第２実施形態においてPhong反射モデルを適用した際の行列式である。
【図１２】θ、ρの説明図である
【符号の説明】
１ デジタルカメラ
２，２２ 面光源
３ 対象物
４ 回転ステージ
５ 三次元測定装置
６ 三次元画像処理装置
７ コンピュータグラフィクス生成装置

Claims (16)

1. 実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された前記実物体の撮影画像情報を取得する画像情報取得手段と、
   この画像情報取得手段により取得した撮影画像情報と撮影時の撮影環境情報とに基づいて前記実物体の表面属性を推定する表面属性推定手段とを有し、
   前記表面属性推定手段において推定される前記実物体の表面属性は、前記実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数で表されることを特徴とする三次元画像処理装置。
2. 前記表面属性推定手段は、前記撮影画像情報に基づいて得られる前記実物体の輝度変化を前記照明光の輝度分布でデコンボリューションすることにより前記双方向反射分布関数を推定することを特徴とする請求項１に記載の三次元画像処理装置。
3. 前記双方向反射分布関数は反射モデル関数で表され、かつこの反射モデル関数は複数の反射定数を関数要素として有することを特徴とする請求項１又は２に記載の三次元画像処理装置。
4. 前記反射モデル関数は、散乱反射成分と鏡面反射成分とが線形結合した関数で表され、
   前記反射定数は、散乱反射成分に関する散乱反射定数と、鏡面反射成分に関する鏡面反射定数とを含むことを特徴とする請求項３に記載の三次元画像処理装置。
5. 実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された前記実物体の撮影画像情報を取得する画像情報取得手段と、
   この画像情報取得手段により取得した撮影画像情報と撮影時の撮影環境情報とに基づいて前記実物体の表面属性を推定する表面属性推定手段とを有し、
   前記表面属性推定手段は、前記照明光の輝度分布に依存した輝度分布型双方向反射分布関数を推定し、その後、輝度分布型双方向反射分布関数を前記実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数に変換することを特徴とする三次元画像処理装置。
6. 前記輝度分布型双方向反射分布関数が、前記照明光の輝度分布に依存した輝度分布型反射モデル関数で表され、この輝度分布型反射モデル関数は、複数の輝度分布型反射定数を関数要素として含んでおり、
   前記表面属性推定手段は、前記撮影画像情報と前記撮影環境情報とに基づいて前記輝度分布型反射定数を推定することを特徴とする請求項５に記載の三次元画像処理装置。
7. 前記輝度分布型反射モデル関数は、前記実物体の各部に対し、前記光源の中心方向と前記撮影画像情報を取得する際の前記実物体の撮影方向とをパラメータとして反射率を与える関数であって、前記双方向反射分布関数を前記照明光の輝度分布でコンボリュートしたものであることを特徴とする請求項６に記載の三次元画像処理装置。
8. 前記表面属性推定手段は、前記輝度分布型反射定数から前記実物体の表面の各部における２次元の広がりを持たない光による反射定数を推定することを特徴とする請求項６に記載の三次元画像処理装置。
9. 前記輝度分布型反射モデル関数は、散乱反射成分と鏡面反射成分とが線形結合した関数で表され、
   前記輝度分布型反射定数は、散乱反射成分に関する散乱反射定数と、鏡面反射成分に関する鏡面反射定数とを含むことを特徴とする請求項６に記載の三次元画像処理装置。
10. 前記輝度分布型反射モデル関数の鏡面反射成分はガウス関数であり、
    前記鏡面反射定数として少なくともピーク強度と標準偏差を持つことを特徴とする請求項９に記載の三次元画像処理装置。
11. 前記鏡面反射定数のうち標準偏差σは、前記輝度分布型反射モデル関数の標準偏差σ’と、前記照明光の輝度分布のガウス半径σ_L と、関係式σ’²＝σ² ＋σ_L ² とから求められることを特徴とする請求項１０に記載の三次元画像処理装置。
12. 請求項１から１１のいずれか１つに記載の三次元画像処理装置と、前記実物体を撮影して撮影画像情報を前記三次元画像処理装置に入力する撮影装置と、前記実物体に照明光を照射する光源とを有することを特徴とする三次元画像処理システム。
13. コンピュータ上で動作するプログラムであって、
    実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された前記実物体の撮影画像情報を取得する第１のステップと、
    この第１のステップで取得した撮影画像情報と撮影時の撮影環境情報とに基づいて前記実物体の表面属性を推定する第２のステップとを有し、
    前記第２のステップにおいて推定される前記実物体の表面属性は、前記実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数で表されることを特徴とする三次元画像処理プログラム。
14. コンピュータ上で動作するプログラムであって、
    実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された前記実物体の撮影画像情報を取得する第１のステップと、
    この第１のステップで取得した撮影画像情報と撮影時の撮影環境情報とに基づいて前記実物体の表面属性を推定する第２のステップとを有し、
    前記第２のステップにおいて、前記照明光の輝度分布に依存した輝度分布型双方向反射分布関数を推定し、その後、輝度分布型双方向反射分布関数を前記実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数に変換することを特徴とする三次元画像処理プログラム。
15. 実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された前記実物体の撮影画像情報を取得する第１のステップと、
    この第１のステップで取得した撮影画像情報と撮影時の撮影環境情報とに基づいて前記実物体の表面属性を推定する第２のステップとを有し、
    前記第２のステップにおいて推定される前記実物体の表面属性は、前記実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数で表されることを特徴とする三次元画像処理方法。
16. 実物体の表面から見て２次元の広がりを持つ輝度分布を有する光源から照明光が照射された前記実物体の撮影画像情報を取得する第１のステップと、
    この第１のステップで取得した撮影画像情報と撮影時の撮影環境情報とに基づいて前記実物体の表面属性を推定する第２のステップとを有し、
    前記第２のステップにおいて、前記照明光の輝度分布に依存した輝度分布型双方向反射分布関数を推定し、その後、輝度分布型双方向反射分布関数を前記実物体の表面の各部における２次元の広がりを持たない光源による反射率を与える双方向反射分布関数に変換することを特徴とする三次元画像処理方法。

Images