JP6776004B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、凹凸を有する被写体を撮像した撮像画像データから、被写体の光沢強度分布を取得する画像処理に関する。

近年、凹凸を有する被写体から色以外の情報を取得する技術が普及しつつある。凹凸を有する被写体から取得される情報は、撮像位置から被写体までの距離を示す情報、被写体の凹凸形状を示す情報、被写体の反射特性を示す情報など、多岐にわたる。凹凸を有する被写体から反射特性を示す情報を取得する場合、正反射方向が変化するため、反射光強度の２次元分布（以下、「光沢強度分布」と記す）を取得するためには、光源および受光素子の配置を調整する必要がある。

凹凸形状が複雑な形状であるほど、正反射方向が複雑に変化するため、高精度の光沢強度分布を取得するためには、光源および受光素子の配置を調整することは困難であった。特許文献１には、面光源を用いて凹凸形状を有する被写体を照射することにより、正反射方向の変化に伴う測定誤差を低減しつつ、被写体の光沢強度分布を取得する反射光測定方法を開示している。

特開２００５−２２７１９７号公報

しかしながら、特許文献１に記載の反射光測定方法は、テレセントリック光学系という特殊な光学系を用いて被写体からの反射光を測定するため、面光源の大型化や、面光源を被写体に近接配置することが困難であった。つまり、光沢強度分布を測定するため、面光源を用いて照射する領域を広くすることができなかった。そのため、凹凸を有する被写体から、光沢強度分布を示す情報を取得するのに膨大な時間を要していた。

本発明の画像処理装置は、面光源によって光が照射される、凹凸を有する被写体を撮像した撮像画像データを基に、光沢強度の分布を示す光沢強度分布画像データを生成する画像処理装置であって、前記面光源の位置を示す面光源位置情報と、前記被写体を撮像する撮像装置の位置を示す撮像位置情報と、前記被写体の面法線の角度範囲を示す面法線範囲情報と、に基づいて、前記被写体と同一の位置に前記面法線を有する仮想的な鏡面体を配置した場合に、前記面光源からの入射光に対する前記鏡面体における正反射光が前記撮像装置に受光される領域であって、かつ、前記撮像装置によって撮像される領域と同じかまたは狭い領域を、前記光沢強度の分布の測定領域として設定する設定手段と、前記撮像画像データの画素値に基づき、前記測定領域における前記光沢強度分布画像データを生成する生成手段と、を有することを特徴とする。

本発明の画像処理装置は、凹凸を有する被写体から、被写体の光沢強度分布を効率的に取得することができる。

実施形態１における画像処理システムの概略図である。 実施形態１における画像処理システムのハードウェア構成図である。 実施形態１における画像処理部のソフトウェア機能構成図である。 実施形態１における画像処理手順を示すフローチャートである。 実施形態１における画像処理手順を示すフローチャートである。 図６（ａ）は、θ_NH、ハーフベクトルＨ、面法線方向ベクトルＮを説明する模式図である。図６（ｂ）は、フレネル項Ｆが一定値Ｆ₀となる関係を説明するグラフである。図６（ｃ）は、幾何減衰項Ｇが一定値Ｇ₀となる関係を説明するグラフである。 実施形態１において、ベックマン分布Ｄの最大値を示すグラフである。 実施形態１において、画素値／光沢強度対応情報の算出手法の一例を示す模式図である。 実施形態１における各撮像条件下における画素値／光沢強度対応情報の例を示す図である。 実施形態１における測定領域を示す図である。 図１１（ａ）は、凹凸を有する被写体のイメージ図である。図１１（ｂ）は、点光源を用いて取得された光沢強度分布画像のイメージ図である。図１１（ｃ）は、近接配置した面光源を用いて取得された光沢強度分布画像のイメージ図である。 実施形態２における画像処理手順を示すフローチャートである。 実施形態２における測定領域を示す図である。 実施形態３において被写体の撮像対象領域が変化する態様を示した模式図である。 実施形態３における画像処理部のソフトウェア機能構成図である。 実施形態３における画像処理手順を示すフローチャートである。

［実施形態１］
以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

図１は、本実施形態の画像処理システム１の概略図である。図１に示すように、色材を付与した際に筆のタッチにより形成された凹凸と、凹凸の表面上に塗布されたニスとによって、光沢を有する油彩画を被写体１００とする。本実施形態では、このような被写体１００から光沢強度分布が取得される。図１に示される画像処理システム１において、被写体（油彩画）１００表面の略平面上の中心をＯとする。Ｏを原点とする３次元空間座標系において、被写体１００を撮像する撮像装置２０１は点Ｃに、縦１、横１の大きさを有する面光源２０２は点Ｌに配置される。さらに、撮像装置２０１は、光軸の向きを表すベクトルｎ_C＝（−１／√２，０，−１／√２）となる向きで配置されている。面光源２０２は、面法線の向きを表すベクトルｎ_L＝（０，０，−１）となる向きで配置されている。本実施形態において、面光源２０２は、白色画面を表示する液晶ディスプレイによって構成される。液晶ディスプレイの白色画面から発せられる光の輝度は画面内で均一であり、等方的に拡散する拡散光である。

図２は、本実施形態における画像処理システム１のハードウェア構成図である。撮像装置２０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタおよび、ＣＭＯＳやＣＣＤなどのセンサから構成される。撮像装置２０１は、被写体の光量を検知し、検知した光量に対してＡ／Ｄ変換を施し、データ転送経路であるバス２１６にデジタルデータを出力する。面光源２０２とフラッシュ２０３とは、被写体１００に光を照射する。ＲＯＭ２０４とＲＡＭ２０５とは、撮像や画像処理に必要なプログラム、データ、作業領域などをＣＰＵ２０６に提供する。ＣＰＵ２０６はＲＡＭ２０５をワークメモリとして、ＲＯＭ２０４やＲＡＭ２０５に格納されたプログラムを実行し、バス２１６を介して各機能ブロックを制御する。ＣＰＵ２０６が各機能ブロックを制御することにより、後述する種々の処理が実行される。撮像制御部２０７は、フォーカスを合わせる、シャッタを開く、絞りを調節するなどの、ＣＰＵ２０６から指示された撮像系の制御を行う。操作部２０８は、ボタンやモードダイヤルなどによって構成され、これらを介してユーザから入力された指示を受け付ける。ＣＧ生成部２０９は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）による文字やグラフィックなどを生成する。表示部２１０は、一般的には液晶ディスプレイが広く用いられ、ＣＧ生成部２０９や後述のデジタル信号処理部２１１、画像処理部２１５から受信した画像や文字を表示する。また、表示部２１０は、タッチスクリーン機能を有していてもよく、その場合は、表示部２１０を介して入力を受け付けたユーザ指示を、操作部２０８への入力として扱うことも可能である。デジタル信号処理部２１１は、撮像装置２０１から受信したデジタルデータに対してホワイトバランス処理、ガンマ処理、ノイズ低減処理などを施し、デジタル画像データを生成する。圧縮・伸長部２１２は、デジタル信号処理部２１１によって生成されたデジタル画像データを、ｊｐｅｇやｍｐｅｇなどの所定のファイルフォーマットに変換する。外部インターフェース２１３（以下「Ｉ／Ｆ」と記す）は、ＰＣその他メディア２１４（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなど）と、画像処理システム１とを接続するためのインターフェースである。画像処理部２１５は、撮像装置２０１から受信したデジタルデータ、またはデジタル信号処理部２１１によって生成されたデジタル画像データを用いて新たな画像データを生成し、生成した新たな画像データをバス２１６へ出力する。画像処理システム１における構成要素は上記以外にも存在するが、本実施形態の主眼ではないので説明を省略する。

図３は、本実施形態における画像処理部２１５のソフトウェア機能構成を示すブロック図である。本実施形態の画像処理アプリケーションソフトウェアが、ＣＰＵ２０６からの指令に基づき実行する処理手順について、図３を参照して説明する。

撮像画像データ入力受付部３０５は、入力端子３０１を介して、面光源２０２下において撮像装置２０１で撮像した撮像画像データの入力を受け付ける。入力を受け付けた撮像画像データは、さらに測定領域設定部３０８と、光沢強度分布画像データ生成部３１１とに出力される。面光源位置情報入力受付部３０６は、入力端子３０２を介して、撮像時の面光源位置情報を示すデータや信号の入力を受け付ける。入力を受け付けた面光源位置情報は、さらに測定領域設定部３０８と、対応情報算出部３０９とに出力される。撮像位置情報入力受付部３０７は、入力端子３０３を介して、撮像装置２０１の位置情報を示すデータや信号の入力を受け付ける。入力を受け付けた撮像位置情報は、さらに測定領域設定部３０８と、対応情報算出部３０９とに出力される。

測定領域設定部３０８は、撮像画像データと、面光源位置情報と、撮像位置情報とから、被写体１００のうち、光沢強度分布を測定する対象となる測定領域を設定する。測定領域を示す測定領域情報は、光沢強度分布画像データ生成部３１１に出力される。

対応情報算出部３０９は、面光源位置情報と、撮像位置情報と、基準となる光沢強度とから、種々の撮像条件下において画素値と、基準となる光沢強度とが対応付けられた画素値／光沢強度対応情報を算出し、対応情報保持部３１０に格納する。さらに、光沢強度分布画像データ生成部３１１からの要求に応じて、画素値／光沢強度対応情報は、当該情報を示すデータや信号として光沢強度分布画像データ生成部３１１に出力される。光沢強度分布画像データ生成部３１１は、撮像画像データと、測定領域情報と、画素値／光沢強度対応情報とから、光沢強度の分布を示す光沢強度分布画像データを生成する。生成された光沢強度分布画像データは、出力端子３１２から出力される。

（画像処理部の動作）
次に、本実施形態の画像処理部２１５における処理手順について、図４のフローチャートを参照して説明する。なお、図４に示されるフローチャートによる処理は、ＲＯＭ２０４に格納されたプログラムコードが展開され、ＣＰＵ２０６によって実行される。図５についても同様である。なお、以降で記す記号Ｓは、フローチャートにおけるステップであることを意味する。

Ｓ４０１において、撮像画像データ入力受付部３０５は、面光源２０２下において撮像装置２０１によって撮像された撮像画像データの入力を受け付ける。入力を受け付けた撮像画像データは、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ４０２において、面光源位置情報入力受付部３０６は、撮像時の面光源位置情報の入力を受け付ける。本実施形態の画像処理システム１では、図１に示される通り、点Ｌ（−１，０，１）の位置に、ｎ_L＝（１，０，−１）の向きで縦１、横１の大きさの液晶ディスプレイが配置されている。入力を受け付けた面光源位置情報は、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ４０３において、撮像位置情報入力受付部３０７は、撮像装置２０１の位置情報の入力を受け付ける。本実施形態の画像処理システム１では、図１に示される通り、点Ｃ（１，０，１）の位置に、ｎ_C＝（−１／√２，０，−１／√２）の向きで、撮像装置２０１が配置されている。入力を受け付けた撮像位置情報は、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ４０４において、測定領域設定部３０８は、撮像画像データと、面光源位置情報と、撮像位置情報とから、被写体１００のうち、光沢強度分布を測定する対象となる測定領域を設定する。被写体１００のうち、測定領域を設定する処理の詳細については、図５を参照して後述する。測定領域を示す測定領域情報は、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ４０５において、対応情報算出部３０９は、面光源位置情報と、撮像位置情報とによって特定される撮像条件下における、画素値／光沢強度対応情報を算出する。ここで、対応情報算出部３０９が、種々の撮像条件下における画素値／光沢強度対応情報を取得する手法について説明する。

本実施形態において、被写体１００として用いられる油彩画は、表面全体にニスが塗布されている。そのため、油彩画表面の全面にわたって一定の屈折率であるとみなすことができる。本実施形態では、例えば油彩画表面の全体にわたって屈折率η＝１．３とみなされるものとする。油彩画表面の屈折率は一定であるため、ニスのツヤによりもたらされる油彩画表面の反射特性は、油彩画表面の表面粗さに依存すると考えることができる。

本実施形態では、このような反射特性を表すために、ＢＲＤＦ（双方向反射率分布関数）モデルが用いられる。式（１）に示されるＢＲＤＦモデルでは、さらに、種々の方向に向いた微小面法線の分布で表面粗さを表す、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルが用いられる。

式（１）において、Ｄは、表面粗さを表す微小面法線の分布を示すベックマン分布である。ベックマン分布Ｄは以下の式（２）に示される。

式（２）において、ｍは表面粗さを表すパラメータであり、微小面の平均的な傾きを示す。θ_NHは、光源方向ベクトルと撮像方向ベクトルとの合成ベクトルであるハーフベクトルＨと、種々の方向に向いた微小面法線の分布のマクロ的な面法線方向ベクトルであるＮと、がなす角である。θ_NH、ハーフベクトルＨ、面法線方向ベクトルＮを説明する模式図を図６（ａ）に示す。本実施形態において、対応情報算出部３０９は、画素値／光沢強度対応情報を取得する際に、被写体１００を略平面とみなしてＮ＝（０，０，１）とする。

以下の式（３）に示すように、ベックマン分布Ｄは、マクロ的な面法線方向ベクトルＮを天頂方向とした上半球領域Ω_Nで積分すると１となるように規格化されている。

式（１）において、Ｆは、屈折率が異なる物質間の界面に光が入射したときの反射率を表すフレネル項である。前述の通り、本実施形態の被写体１００は、表面全体にニスが塗布されている油彩画であり、油彩画表面全体にわたって屈折率η＝１．３であるとみなされる。そのため、本実施形態の撮像条件では、面光源２０２からの光が入射する角度領域Ω_面光源においてフレネル反射の強度は一定であり、フレネル項Ｆは一定値Ｆ₀とみなすことができる。ここで、面光源からの光が入射する角度領域は、図１を例に説明すると、原点Ｏから面光源Ｌの左右端Ａ，Ｂへの光源方向ベクトルがなす角度によって区画される領域である。以後、本実施形態では、面光源からの光が入射する角度領域を、角度領域Ω_面光源と記す。本実施形態の撮像条件下において、角度領域Ω_面光源に対応するフレネル項Ｆが一定値Ｆ₀となる関係を説明する模式図を図６（ｂ）に示す。

式（１）において、Ｇは、微小面の凹凸部で生じる自己遮蔽・自己陰影による反射光の減衰を表す幾何減衰項である。幾何減衰項は、光源方向θが所定の角度範囲内である場合、一定値を示す特性を有する。本実施形態では、面光源２０２からの光が入射する角度領域Ω_面光源が、上記所定の角度範囲内であることを前提とし、幾何減衰項Ｇは一定値Ｇ₀（Ｇ₀＝１）であるとみなすことができる。本実施形態の撮像条件下において、角度領域Ω_面光源に対応する幾何減衰項Ｇが一定値Ｇ₀（Ｇ₀＝１）となる関係を説明する模式図を図６（ｃ）に示す。

式（１）において、ｎ_Cは、Ｓ４０３で入力を受け付けた撮像装置２０１の方向を表すベクトルであり、本実施形態では、ｎ_C＝（−１／√２，０，−１／√２）である。このような撮像装置２０１の方向を表すベクトルｎ_Cは、撮像位置情報の一形態であるといえる。このように、本実施形態においては、ＢＲＤＦモデルに基づいて被写体１００の反射特性を取得するが、表面粗さに応じて被写体１００の反射特性を表現可能なモデルであれば、どのようなモデルを用いてもよい。

以上説明した通り、本実施形態では、式（１）におけるフレネル項Ｆ、幾何減衰項Ｇ、撮像装置方向ベクトルｎ_C、マクロ的な面法線方向ベクトルＮは、一定とみなすことができる。従って、面光源下で撮像された撮像画像データにおける画素位置ごとの画素値は、面光源からの光が入射する角度領域でＢＲＤＦを積分した値（ＢＲＤＦ積分値）で表すことができ、さらにＢＲＤＦ積分値は、ベックマン分布Ｄを積分した値に比例する。角度領域Ω_面光源でベックマン分布Ｄを積分した値は、以下の式（４）に示される。

上述の通り、ベックマン分布Ｄは、マクロ的な面法線方向ベクトルＮを天頂方向とした上半球領域Ω_Nで積分すると１となるように規格化されている。本実施形態では、面光源を用いているため、面光源からの光が入射する角度領域Ω_面光源は上半球領域Ω_Nよりも必ず小さくなる。このとき、被写体１００の表面平滑度が高い場合、Ω_面光源領域におけるベックマン分布Ｄの積分値は１に近くなる。一方、被写体１００の表面平滑度が低い場合、Ω_面光源領域におけるベックマン分布Ｄの積分値は、被写体１００の表面平滑度が高い場合よりも小さい値となる。このようなベックマン分布Ｄの積分値の関係を以下の式（５）に示す。

式（５）において、Ｄ（θ_NH，ｍ_A）は、被写体１００の表面平滑度が高い場合のベックマン分布を示している。一方、式（５）において、Ｄ（θ_NH，ｍ_B）は、被写体１００の表面平滑度が低い（すなわち、表面が粗い）場合のベックマン分布を示している。

ここで、上述の通り、本実施形態では、フレネル項Ｆ₀，幾何減衰項Ｇ₀，カメラ方向ｎ_C，マクロ的な面法線方向Ｎはそれぞれ一定とみなすことができる。そのため、撮像画像データの画素位置に対応する光沢強度Ｉ_MAXは、ベックマン分布Ｄが最大となるときのＢＲＤＦによって表すことができる。光沢強度Ｉ_MAXと、ベックマン分布Ｄの最大値との関係を以下の式（６）に示す。

Ｄ_MAX（θ_NH，ｍ）は、表面粗さがｍのときのベックマン分布Ｄの最大値を示す。前述の通り、ベックマン分布Ｄの最大値Ｄ_MAX（θ_NH，ｍ）は、被写体１００の表面平滑度が高いほど大きな値となる。被写体１００の表面平滑度に応じたベックマン分布Ｄの最大値Ｄ_MAX（θ_NH，ｍ）は、以下の式（７）に示される。

図７に示される通り、Ｄ_MAX（θ_NH，ｍ_A）は曲線Ａに対応し、被写体１００の表面平滑度が高い場合のベックマン分布の最大値を示している。一方、Ｄ_MAX（θ_NH，ｍ_B）は曲線Ｂに対応し、被写体１００の表面平滑度が低い場合のベックマン分布の最大値を示している。

本実施形態では、種々の撮像条件下における画素値／光沢強度対応情報は、対応情報算出部３０９によってシミュレーションにより算出され、対応情報保持部３１０に予め格納される。以下、対応情報算出部３０９による画素値／光沢強度対応情報の算出手法について説明する。

本実施形態では、対応情報算出部３０９は、上述の式（２）（６）を用いて画素値／光沢強度対応情報を算出することができる。前述の通り、ある撮像条件下において、フレネル項Ｆ、幾何減衰項Ｇ、撮像装置方向ベクトルｎ_C、マクロ的な面法線方向ベクトルＮは、一定とみなすことができる。このとき、式（２）（６）において、Ｉ_MAXと、ｍとが未知の変数となる。対応情報算出部３０９は、未知の変数であるＩ_MAXに、基準となる光沢強度を入力し、それぞれのＩ_MAXの値に対応するｍの値を算出する。

次いで、対応情報算出部３０９は、算出したｍを式（２）（４）に入力することにより、Ｉ_MAXの値に対応するＢＲＤＦ積分値を算出することができる。本実施形態において、対応情報算出部３０９は、Ｉ_MAXの値に対応するＢＲＤＦ積分値を、８ビット（０〜２５５）の値にマッピングする。このように、対応情報算出部３０９は、入力を受け付けたＩ_MAXの値（基準となる光沢強度）から、対応するＢＲＤＦ積分値を算出することができ、これら対応情報を、画素値／光沢強度対応情報として、対応情報保持部３１０に格納する。

図８は、図１に示される撮像条件下において、画素値／光沢強度対応情報がシミュレーションによって算出される例を示した図である。図８において、対応情報算出部３０９は、Ｉ_MAXに０〜０．１５の値を入力し、Ｉ_MAX：０〜０．１５それぞれ対応するＢＲＤＦ積分値を算出している。符号８０１〜８０３は、０．０５，０．１０，０．１５の光沢強度Ｉ_MAXを有する仮想的なサンプルである。上記説明した通り、対応情報算出部３０９は、光沢強度Ｉ_MAXに対応するｍの値をそれぞれ算出し、次いで算出されたｍの値に基づいて、Ｉ_MAXの値に対応するＢＲＤＦ積分値を求めることができる。図８の例では、光沢強度Ｉ_MAX：０．０５，０．１０，０．１５それぞれについて、対応するＢＲＤＦ積分値：１５９，２０６，２２２が算出される。

図８で説明したシミュレーションによる画素値／光沢強度対応情報の算出は、撮像条件ごとに行われる。図９（ａ）（ｂ）（ｃ）は、本実施形態において異なる撮像条件の例を示す図であり、図９（ｄ）（ｅ）（ｆ）は、それぞれ図９（ａ）（ｂ）（ｃ）に対応する画素値／光沢強度対応情報の例を示す図である。このうち、図８で説明した撮像条件は図９（ｂ）に、図８で説明した画素値／光沢強度対応情報は図９（ｅ）にそれぞれ相当する。このように、本実施形態の対応情報算出部３０９は、撮像条件ごとの画素値／光沢強度対応情報を、あらかじめシミュレーションにより算出し、対応情報保持部３１０に格納することができる。対応情報算出部３０９は、Ｓ４０２において入力を受け付けた面光源位置情報と、Ｓ４０３において入力を受け付けた撮像位置情報との組み合わせに最も近い撮像条件を選択する。そして、光沢強度分布画像データ生成部３１１からの要求に応じて、選択された撮像条件に対応する画素値／光沢強度対応情報を出力する。

本実施形態では、未知の変数であるＩ_MAXに所望の値を入力し、それぞれのＩ_MAXの値から対応するＢＲＤＦ値を算出する態様について説明したが、光沢紙などの測定試料を撮像した撮像画像データに基づいて画素値／光沢強度対応情報を算出してもよい。この場合、光沢強度が既知の複数種類の測定試料を撮像した撮像画像データの画素値と、対応する光沢強度とを紐付けることにより、画素値／光沢強度対応情報を取得することができる。このような画素値／光沢強度対応情報の算出を、撮像条件ごとに行えばよい。なお、対応情報算出部３０９は、全ての光沢強度からＢＲＤＦ積分値を算出する必要はなく、一部の光沢強度についてのみＢＲＤＦ積分値を算出し、その他のＢＲＤＦ積分値については公知の線形補間を用いてＢＲＤＦ積分値を補間してもよい。

再び図４のフローチャートに戻り、Ｓ４０６において、光沢強度分布画像データ生成部３１１は、撮像画像データと、測定領域情報と、画素値／光沢強度対応情報とから、光沢強度の分布を示す光沢強度分布画像データを生成する。本実施形態において、光沢強度分布画像データ生成部３１１は、撮像画像データの測定領域における画素値を、光沢強度に変換することにより光沢分布画像データを生成する。生成された光沢強度分布画像データは、出力端子３１２から出力され、ＲＡＭ２０５などの記憶領域に格納される。光沢強度分布画像データの生成が終了すると（Ｓ４０６）、本フローチャートによる処理を終了する。

（測定領域設定部の動作）
次に、Ｓ４０４の測定領域設定処理の詳細手順について、図５のフローチャートを参照して説明する。Ｓ５０１において、測定領域設定部３０８は、面光源位置情報と、撮像位置情報とから、測定領域を設定する。本実施形態では、被写体１００と略同一の位置に平面鏡を配置した場合に、面光源２０２の正反射光が平面鏡に写り込む領域であって、撮像装置２０１によって捕捉される領域が、測定領域として設定される。

測定領域設定部３０８は、図１０（ａ）に示されるｘｙ座標系において、平面鏡に面光源２０２の正反射光が写り込むｘ方向の範囲Ｐ＜ｘ＜Ｑと、ｙ方向の範囲Ｒ＜ｙ＜Ｓとを算出し、算出したｘｙ範囲内の四角形の領域を測定領域１００１として設定する。

図１０（ｂ）は、ｙ軸方向を視点としたｙ＝０におけるｘｚ平面の断面図である。点Ｌ（−１，０，１）の位置に縦１横１の大きさの面光源Ｌ（面光源２０２）が配置されており、面光源Ｌの左右端を点Ａ，Ｂとする。面光源Ｌを平面鏡１００２の表面中心にｘ軸対称に折り返した鏡像をＬ’とし、鏡像Ｌ’の左右端の点Ａ’，Ｂ’とカメラレンズ中心の点Ｃとを結ぶ直線と、平面鏡１００２の表面との交点Ｐ，Ｑのｘ座標を以下の式（８）（９）に従い算出する。

ＯＡ’，ＯＢ’，ＯＣは点Ｏを原点とした点Ａ’，Ｂ’，Ｃの位置ベクトルである。ｔは０から１の間の値を取るパラメータであり、線分Ａ’Ｃ，Ｂ’Ｃ上の点の位置ベクトルを表す。図１０に示される撮像条件下では、式（８）（９）共にｔ＝０．５となり、Ｐ＝（−０．２５，０，０），Ｑ＝（０．２５，０，０）となる。ｙ方向の範囲Ｒ＜ｙ＜Ｓについても同様に算出することができ、算出したｘｙ範囲内の四角形の領域を測定領域として設定される。測定領域設定部３０８は、設定した測定領域を示す測定領域データをＲＡＭ２０５などの記憶領域に記憶し、再び図４のフローチャートに戻る。

図１１（ａ）は凹凸を有する被写体のイメージ図である。図１１（ａ）において、被写体における顔領域の反射強度は高く、胴体領域の反射強度は中程度であり、背景領域の反射強度は低くなっているイメージ図が示される。

図１１（ｂ）は点光源を用いて取得された光沢強度分布画像のイメージ図である。図１１（ｂ）の光沢強度分布画像を示す光沢強度分布画像データは、８ビットのグレースケール画像データである。図１１（ｂ）の光沢強度分布画像データでは、顔領域の中央のみで正反射光が観察されるため、対応する画素領域の画素値が２５５と高く、当該画素領域から離れるに従って徐々に画素値が低くなっている。点光源を用いて光沢強度分布画像データを取得した場合、顔領域の中央のみで正反射光が観察されるため、被写体の二次元方向に渡って光沢強度分布を取得するためには、顔領域の中央以外の領域においても繰り返し正反射光の測定が必要となる。このように、点光源を用いて正反射光を測定する従来の手法は煩雑であり、光沢強度分布画像データを取得するのに膨大な測定時間を必要とする。

図１１（ｃ）は近接配置した面光源を用いて取得された光沢強度分布画像のイメージ図である。図１１（ｃ）の光沢強度分布画像を示す光沢強度分布画像データも、８ビットのグレースケール画像データである。図１１（ｃ）の光沢強度分布画像データでは、顔領域は高い光沢強度を示す画素値２５５、胴体領域は中程度の光沢強度を示す画素値１２８、背景領域は低い光沢強度を示す画素値０となる。このように、本実施形態では、近接配置した面光源を用いて多方向の光源を被写体に入射することにより、短時間で光沢強度分布画像データを取得することができる。

また、本実施形態では、マクロ的な面法線Ｎ＝（０，０，１）として、面光源下で撮像した画像の画素値／光沢強度対応情報を算出したが、被写体の凹凸により面法線が傾いた撮像条件下で画素値／光沢強度対応情報を算出してもよい。また、本実施形態では、被写体中央における画素値／光沢強度対応データを算出し、測定領域内の画素値／光沢強度対応データを固定とした。変形例においては、測定領域内における各点それぞれで異なる画素値／光沢強度対応情報を用いてもよいし、それらの平均値を用いて画素値から光沢強度への変換を行ってもよい。

本実施形態では、種々の撮像条件下における画素値／光沢強度対応情報を予め算出し、対応情報保持部３１０に記憶しておく対応について説明した。別実施形態では、被写体１００を撮像する際に、面光源位置情報と、撮像位置情報と、光沢強度とから都度画素値／光沢強度対応情報を算出してもよい。

また、本実施形態では、面内の輝度が均一で等方に拡がる拡散光を放つ面光源を用いたが、面内にムラ特性や配光特性を有する面光源を用いてもよい。

［実施形態２］
実施形態１では、被写体１００と略同一の位置に平面鏡を配置した場合に、面光源２０２の正反射光が平面鏡に写り込む範囲を測定領域として設定し、設定した測定領域の光沢強度分布を取得する方法を説明した。本実施形態では、凹凸を有する被写体から、ユーザが設定する角度範囲内で光沢強度分布の測定領域を算出し、光沢強度分布を効率的に取得する方法について説明する。

図１２は、本実施形態における測定領域設定の処理手順を示すフローチャートである。以下、Ｓ４０４の測定領域設定の詳細手順について、図１２のフローチャートを参照して説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

Ｓ１２０１において、測定領域設定部３０８は、ユーザから入力を受け付けた被写体の面法線の角度範囲を示す面法線範囲情報から、面法線範囲を設定する。本実施形態において、測定領域設定部３０８は、ユーザから入力を受け付けた−５°〜＋５°の角度範囲を面法線範囲に設定する。測定領域設定部３０８は、取得した面法線範囲情報を、面法線範囲データとしてＲＡＭ２０５などの記憶領域に記憶する。

Ｓ１２０２において、測定領域設定部３０８は、面光源位置情報と、撮像位置情報と、面法線範囲情報とから、測定領域を設定する。本実施形態では、面法線範囲−５°〜＋５°の面法線を有する鏡面体を、被写体１００と略同一の位置に配置した場合に、面光源２０２の正反射光が鏡面体に写り込む領域であって、かつ撮像装置２０１によって撮像される領域が、測定領域として設定される。

具体的には、図１３（ａ）に示されるｘｙ座標系において、＋５°に傾いた面法線を有する鏡面体に面光源の正反射光が写り込むｘ方向の範囲Ｐ₊＜ｘ＜Ｑ₊と、ｙ方向の範囲Ｒ₊＜ｙ＜Ｓ₊とを算出する。同様に−５°に傾いた面法線を有する鏡面体に面光源の正反射光が写り込むｘ方向の範囲Ｐ_-＜ｘ＜Ｑ_-と、ｙ方向の範囲Ｒ_-＜ｙ＜Ｓ_-とを算出する。算出したｘ、ｙ方向の範囲（１３０１、１３０２）から、図１３（ａ）の斜線部に示される＋５°、−５°で算出したｘｙ範囲内の四角形の共通領域を測定領域として設定する。

まずは、鏡面体１３０３を＋５°傾けたときの測定領域のｘ方向の範囲Ｐ₊＜ｘ＜Ｑ₊を算出する。図１３（ｂ）は、ｙ軸方向を視点としたｙ＝０におけるｘｚ平面の断面図である。点Ｌ（−１，０，１）の位置に縦１横１の大きさの面光源Ｌ（面光源２０２）が配置されており、面光源Ｌの左右端を点Ａ，Ｂとする。また、面光源Ｌを鏡面体１３０３の表面中心にｘ軸対称に折り返した面光源の鏡像をＬ’とし、鏡像Ｌ’の左右端の点Ａ’，Ｂ’とする。このとき＋５°傾いた面法線を基準とした面光源の位置Ｌ₊を以下の式（１０）に従い算出する。

式（１０）において、ＯＬ，ＯＬ₊は点Ｏを原点とした点Ｌ，Ｌ₊の位置ベクトルである。Ｒｏｔ（φ，θ）は以下の式（１１）に示される、三次元位置をｘ軸周りに反時計方向にφ、ｙ軸周りに反時計方向にθ回転させる回転行列である。

同様に＋５°傾いた面法線を基準とした面光源Ｌ₊の左右端の点Ａ₊，Ｂ₊，撮像位置Ｃ₊を算出する。面法線がｚ軸と一致するように、面光源と撮像位置を面法線の傾きと逆方向に５°回転させることにより、面法線基準の面光源と撮像位置を算出することができる。また、面光源Ｌ₊を鏡面体１３０３の表面中心にｘ軸対称に折り返した面光源の鏡像をＬ₊’とし、鏡像Ｌ₊’の左右端の点をＡ₊’，Ｂ₊’とする。算出した面法線基準の面光源と撮像位置とから、カメラレンズ中心の点Ｃ₊とを結ぶ直線と鏡面体１３０３の表面との交点Ｐ₊，Ｑ₊のｘ座標を以下の式（１２），（１３）に従い算出する。

ＯＡ₊’，ＯＢ₊’，ＯＣ₊は点Ｏを原点とした点Ａ₊’，Ｂ₊’，Ｃ₊の位置ベクトルである。ｔは０から１の間の値を取るパラメータであり、線分Ａ₊’Ｃ₊，Ｂ₊’Ｃ₊上の点の位置ベクトルを表す。

ｙ方向の範囲Ｒ₊＜ｙ＜Ｓ₊と、−５°傾いた面法線を有する鏡面体に面光源の正反射が写り込むｘ方向の範囲Ｐ_―＜ｘ＜Ｑ_―と、ｙ方向の範囲Ｒ_―＜ｙ＜Ｓ_―についても同様に算出することができる。測定領域設定部３０８は、算出したｘ、ｙ方向の範囲内の四角形の共通領域を測定領域として設定する。測定領域設定部３０８は、設定した測定領域を示す測定領域データをＲＡＭ２０５などの記憶領域に記憶し、再び図４のフローチャートに戻る。

このように、本実施形態の画像処理システム１は、凹凸を有する被写体から、ユーザが設定する角度範囲内で光沢強度分布の測定領域を算出し、光沢強度分布を効率的に取得することができる。本実施形態では、ユーザが設定した被写体の面法線の範囲から測定領域を算出したが、ユーザからの設定入力以外の手法で被写体の面法線の範囲を取得してもよい。また、被写体中央における面法線基準の面光源と撮像位置とを算出し、測定領域内では面光源および撮像位置は一定であるとみなしたが、測定領域内の各点に対して算出した面法線基準の面光源と撮像位置とから、測定領域を算出してもよい。

本実施形態では、鏡面体が被写体と略同一の位置に配置された場合、面光源の正反射光が鏡面体に写り込む領域であって、撮像装置によって捕捉される領域が、測定領域として設定された。しかし、測定領域は、面光源の正反射光が鏡面体に写り込む領域に限定されない。例えば、被写体中央における画素値と光沢強度との組み合わせと、被写体上の各点の位置における、面光源、撮像位置、面法線の傾き条件下で取得される画素値と光沢強度との組み合わせとの差分が所定の閾値よりも小さい領域が測定領域として設定されてもよい。

本実施形態では、幾何減衰項Ｇは一定値Ｇ₀とみなしたが、幾何減衰項によって測定領域を設定してもよい。例えば、被写体１００と略同一の位置に測定試料を配置した場合に、測定試料上の微小な凹凸に伴う陰影および遮蔽による幾何減衰項Ｇと一定値Ｇ₀との誤差が所定の閾値よりも小さい領域を測定領域として設定してもよい。また、被写体表面の屈折率ηは面内均一、フレネル項Ｆは一定値Ｆ₀とみなしたが、フレネル項によって測定領域を設定してもよい。例えば、被写体１００と略同一の位置に測定試料を配置した場合に、測定試料上のフレネル反射によるフレネル項Ｆと一定値Ｆ₀との誤差が所定の閾値よりも小さい領域を測定領域として設定してもよい。

［実施形態３］
実施形態１、２では、撮像装置で撮像した画像の光沢強度分布を取得する方法について説明した。本実施形態では、可動ステージ等を用いて被写体の移動を繰り返すことにより、撮像装置の画角でカバーできる範囲よりも大きい被写体の光沢強度分布を取得する方法について説明する。図１４は、本実施形態において、可動ステージが可動することにより、可動ステージに載置された被写体の撮像対象領域が変化する態様を示した模式図である。図１４に示されるように、例えば、可動ステージをｘ方向に距離Δｘで３箇所、ｙ方向に距離Δｙで３箇所の計９箇所に逐次移動させることにより、各被写体位置Ｐｏｓ（ｉ）において光沢強度分布画像データを取得することができる。各光沢強度分布画像データを取得した後、各被写体位置Ｐｏｓ（ｉ）における光沢強度分布画像データをスティッチ処理することにより、撮像装置２０１の画角でカバーできる範囲よりも大きい被写体の光沢強度を取得することができる。

図１５は、本実施形態における画像処理部２１５のソフトウェア機能構成を示すブロック図である。本実施形態の画像処理アプリケーションソフトウェアが、ＣＰＵ２０６からの指令に基づき実行する処理手順について、図１５を参照して説明する。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

被写体位置情報入力受付部１５０３は、入力端子１５０１を介して撮像時の被写体の位置情報を示す被写体位置データや信号の入力を受け付ける。入力を受け付けた被写体位置情報は、スティッチ部１５０５に出力される。撮像装置パラメータ入力受付部１５０４は、入力端子１５０２を介して撮像時の撮像装置パラメータを示すデータや信号の入力を受け付ける。入力を受け付けた撮像装置パラメータは、スティッチ部１５０５に出力される。スティッチ部１５０５は、各被写体位置における光沢強度分布画像データと、被写体位置情報と、撮像装置パラメータとから、各光沢強度分布画像データをスティッチする。スティッチされた光沢強度分布画像データは、出力端子３１２から出力される。

次に、本実施形態の画像処理部２１５における処理手順について、図１６のフローチャートを参照して説明する。なお、図１６に示されるフローチャートによる処理は、ＲＯＭ２０４に格納されたプログラムコードが展開され、ＣＰＵ２０６によって実行される。なお、実施形態１と共通する部分については説明を簡略化ないし省略し、以下では本実施形態に特有な点を中心に説明する。

Ｓ１６０１において、被写体位置情報入力受付部１５０３は、被写体のが撮像された順番を示す変数ｉを初期化する。本実施形態では、ｉ＝１に初期化される。

Ｓ４０１〜Ｓ４０６は、実施形態１と同じため、説明を省略する。Ｓ１６０２において、被写体位置情報入力受付部１５０３は、ｉ番目の撮像時における被写体中央の位置を被写体位置データＰｏｓ（ｉ）として入力を受け付ける。入力を受け付けた被写体位置データＰｏｓ（ｉ）は、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ１６０３において、撮像装置パラメータ入力受付部１５０４は、ｉ番目の撮像時における撮像装置パラメータの入力を受け付ける。ここで、本実施形態の撮像装置パラメータは、レンズの焦点距離、光軸中心の画素位置、センサの画素ピッチなどの撮像装置２０１の撮像特性を示すパラメータである。入力を受け付けた撮像装置パラメータは、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ１６０４において、スティッチ部１５０５は、変数ｉがｉ＞１を満たすか判定する。ｉ＞１を満たす場合は、複数の被写体位置における光沢強度分布画像データをスティッチできると判定され、Ｓ１６０５に移行する。ｉ＞１を満たさない場合は、１箇所目の被写体位置における光沢強度分布画像データが取得されたと判定され、Ｓ１６０６に移行する。

Ｓ１６０５において、スティッチ部１５０５は、被写体位置データと、撮像装置パラメータとから、Ｐｏｓ（ｉ）における光沢強度分布画像データを公知の射影変換処理により幾何変換する。さらに、スティッチ部１５０５は、幾何変換処理が施されたＰｏｓ（ｉ）における光沢強度分布画像データと、既にスティッチされたＰｏｓ（１）〜Ｐｏｓ（ｉ−１）における光沢強度分布画像データと、を公知のαブレンディング処理によりスティッチする。スティッチ処理が施された光沢強度分布画像データは、ＲＡＭ２０５などの記憶領域に格納される。

Ｓ１６０６において、変数ｉを更新する。本実施形態ではｉ＝ｉ＋１のようにｉに１インクリメントされる。

Ｓ１６０７において、スティッチ部１５０５は、変数ｉがｉ＞ｎ−１を満たすか判定する。ｉ＞ｎ−１を満たすと判定された場合は、全ての被写体位置における光沢強度分布画像データがスティッチされたと判定され、本フローチャートによる処理を終了する。ｉ＞ｎ−１を満たさないと判定された場合は、再びＳ４０１に戻る。

以上説明した通り、本実施形態では、可動ステージ等を用いて光沢強度分布の取得と被写体の移動を繰り返すことにより、撮像装置２０１の画角でカバーできる範囲よりも大きい被写体の光沢強度分布を高速かつ高精度に取得することができる。なお、本実施形態では、可動ステージ上に被写体を配置して被写体を移動させることにより、撮像装置２０１の画角でカバーできる範囲よりも大きい被写体の光沢強度分布を取得したが、被写体を固定して面光源とカメラとを移動させてもよい。また、被写体位置と撮像装置パラメータとを用いて、射影変換により各被写体位置における光沢強度分布画像データを幾何変換したが、公知のテンプレートマッチングやＳＩＦＴ法を用いて各光沢強度分布画像データの対応点を検出し、幾何変換を行ってもよい。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・被写体
３０５・・撮像画像データ入力受付部
３０６・・面光源位置情報入力受付部
３０７・・撮像位置情報入力受付部
３０８・・測定領域設定部
３０９・・対応情報算出部
３１０・・対応情報保持部
３１１・・光沢強度分布画像データ生成部

Claims (8)

1. 面光源によって光が照射される、凹凸を有する被写体を撮像した撮像画像データを基に、光沢強度の分布を示す光沢強度分布画像データを生成する画像処理装置であって、
   前記面光源の位置を示す面光源位置情報と、前記被写体を撮像する撮像装置の位置を示す撮像位置情報と、前記被写体の面法線の角度範囲を示す面法線範囲情報と、に基づいて、前記被写体と同一の位置に前記面法線を有する仮想的な鏡面体を配置した場合に、前記面光源からの入射光に対する前記鏡面体における正反射光が前記撮像装置に受光される領域であって、かつ、前記撮像装置によって撮像される領域と同じかまたは狭い領域を、前記光沢強度の分布の測定領域として設定する設定手段と、
   前記撮像画像データの画素値に基づき、前記測定領域における前記光沢強度分布画像データを生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記面法線範囲情報は、ユーザから入力を受け付けた前記被写体の面法線の角度範囲を示すことを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体の複数の領域を撮像して得られる複数の前記撮像画像データを基に生成した複数の前記光沢強度分布画像データを、スティッチ処理するスティッチ手段をさらに有することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記生成手段は、前記画素値と、前記光沢強度とが対応付けられた画素値／光沢強度対応情報を参照し、前記撮像画像データにおける画素位置ごとの前記画素値を前記光沢強度に変換することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 基準となる光沢強度の入力を受け付ける入力受付手段と、
   前記面光源の位置を示す面光源位置情報と、前記撮像装置の位置を示す撮像位置情報と、前記基準となる光沢強度とに基づき、前記面光源からの光が前記被写体に入射する角度領域でＢＲＤＦを積分した値を前記画素値として算出し、前記基準となる光沢強度と算出された前記画素値とを対応付けることにより、前記画素値／光沢強度対応情報を算出する対応情報算出手段と、
   をさらに有することを特徴とする請求項４に記載の画像処理装置。
6. 前記画素値／光沢強度対応情報は、前記面光源位置情報と、前記撮像位置情報とによって特定される撮像条件ごとに算出されることを特徴とする請求項５に記載の画像処理装置。
7. 面光源によって光が照射される、凹凸を有する被写体を撮像した撮像画像データを基に、光沢強度分布を示す光沢強度分布画像データを生成する画像処理方法であって、
   前記面光源の位置を示す面光源位置情報と、前記被写体を撮像する撮像装置の位置を示す撮像位置情報と、前記被写体の面法線の角度範囲を示す面法線範囲情報と、に基づいて、前記被写体と同一の位置に前記面法線を有する仮想的な鏡面体を配置した場合に、前記面光源からの入射光に対する前記鏡面体における正反射光が前記撮像装置に受光される領域であって、かつ、前記撮像装置によって撮像される領域と同じかまたは狭い領域を、前記光沢強度分布の測定領域として設定する設定ステップと、
   前記撮像画像データの画素値に基づき、前記測定領域における前記光沢強度分布画像データを生成する生成ステップと、
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。