JP7599893B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、物体の反射特性を算出する技術に関する。

物体の素材や塗装の質感を表現するコンピュータグラフィックス（ＣＧ）の分野において、照明方向や観察方向によって変化する変角反射特性を表す双方向反射率関数ＢＲＤＦ、または二次元の変角反射特性を表すＳＶＢＲＤＦの測定データが利用されている。ＢＲＤＦは、Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎである。ＳＶＢＲＤＦは、Ｓｐａｔｉａｌｌｙ Ｖａｒｙｉｎｇ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎである。変角反射特性の１つであるＢＲＤＦを計測する方法が特許文献１に記載されている。特許文献１は、逐次幾何条件の変更と該幾何条件下における対象物からの反射光を受光（計測）する形態において、次に計測を行う幾何条件を既に計測したデータに基づいて導出する。

特開２０１３－１７４４６４号公報

しかしながら、一般に、幾何条件は、受光器または光源の位置を変えることによって制御するため、ハードウェア構成に基づく角度分解能の上限が存在する。このため、所望の変角反射特性が得られない場合がある。

そこで本発明は、反射特性の算出において角度分解能の不足に起因する精度低下を抑制するための処理を提供することを目的とする。

本発明の画像処理装置は、複数の異なる条件下で撮像された対象物の複数枚の撮像画像を取得する取得手段と、前記撮像画像に基づき、第１の空間分解能にて前記撮像画像の各画素位置に対応する前記対象物の反射特性を算出する第１の算出手段と、前記第１の算出手段により算出された反射特性の角度分解能が第１の閾値より小さい場合には、前記第１の算出手段により算出された反射特性に基づき、前記第１の空間分解能より低い第２の空間分解能にて前記対象物の反射特性を算出する第２の算出手段とを有する。

本発明によれば、反射特性の算出において角度分解能の不足に起因する精度低下を抑制することができる。

画像処理装置のハードウェア構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 画像処理装置が実行する処理を示すフローチャートである。 取得装置による撮像幾何条件を示す模式図である。 変角反射特性を示すデータの一例を示す図である。 座標に応じた投光角の違いを説明するための模式図である。 角度分解能不足の一例を説明するための図である。 一連の処理を経て出力されるデータを説明するための図である。 画像処理装置が実行する処理を示すフローチャートである。 算出される評価値を説明するための図である。 算出される評価値と角度分解能との関係を説明するための図である。 座標に応じて異なる測定点の一例を示す図である。 生成されるピーク画像の一例を示す図である。 表示されるＵＩの一例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、種々の変形および変更が可能である。なお、各図において、同一の部位ないし要素については同一の番号を付し、重複する説明は省略する。

＜＜実施形態１＞＞
本実施形態では、空間分解能と角度分解能を適応的に制御して、各座標における変角反射特性を導出する形態について説明する。

＜画像処理装置のハードウェア構成＞
図１は、本実施形態における画像処理装置１のハードウェア構成例を示すブロック図である。画像処理装置１は、例えばコンピュータによって構成される。画像処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、汎用Ｉ／Ｆ（インターフェース）１０４、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０５、およびＶＣ（ビデオカード）１０６を有する。これらは、互いにデータを送受信可能にするシステムバス１０７に接続されている。

ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２またはＨＤＤ（ハードディスクドライブ）１７などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０７を介して、各構成要素を制御する。なお、ＣＰＵ１０１が、ＲＯＭ１０２やＨＤＤ１７などに格納されたプログラムをＲＡＭ１０３に展開し、ＲＡＭ１０３に展開したプログラムを実行することにより、後述するフローチャートによる処理が行われる。

汎用Ｉ／Ｆ１０４は、例えばＵＳＢなどのシリアルバスインターフェースであり、シリアルバス１２を介して、マウスやキーボードなどの入力デバイス１３に接続される。ＳＡＴＡＩ／Ｆ１０５は、シリアルバスインターフェースであり、シリアルバス１６を介して、ＨＤＤ１７や各種記録メディアの読み書きを行う汎用ドライブ１８に接続される。ＣＰＵ１０１は、ＨＤＤ１７や汎用ドライブ１８にマウントされた各種記録メディアを各種データの格納場所として使用する。

ＶＣ１０６は、ビデオインターフェースであり、ディスプレイ１５に接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１５に表示し、入力デバイス１３を介して受け付けるユーザ指示などの入力を受信する。

＜画像処理装置の機能構成＞
図２は、画像処理装置１の機能構成例を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２またはＨＤＤ１７に格納されたプログラムを読み出して実行することによって、図２に示す機能構成要素として機能する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。

画像処理装置１は、撮像データ取得部２０１、第１の変角反射特性算出部２０２、変角反射特性判定部２０３、第２の変角反射特性算出部２０４、変角反射特性パラメータ導出部２０５、データ格納部２０６、ＵＩ表示部２０７、および特性値出力部２０８を有する。

撮像データ取得部２０１は、汎用Ｉ／Ｆ１０４を介して指示された撮像データ（複数枚の撮像画像および撮像幾何条件）を取得する。第１の変角反射特性算出部２０２は、撮像データを基に、サンプル（撮像対象物）の各座標位置について、複数の異なる角度条件下における反射強度を変角反射特性の測定点として算出する。変角反射特性判定部２０３は、変角反射特性において、鏡面反射を精度良く再現するに足る測定点数が得られているか否かの判定を行う。

第２の変角反射特性算出部２０４は、少なくとも変角反射特性判定部２０３にて否と判定した画素の変角反射特性について、近傍画素の変角反射特性を合成し、新たな変角反射特性を算出する。変角反射特性パラメータ導出部２０５は、変角反射特性を所定の関数にて近似するための変角反射特性パラメータを導出する。

データ格納部２０６は、ＨＤＤ１７や汎用ドライブ１８にマウントされた各種記録メディアによって構成され、撮像画像、あるいは、第１および第２の変角反射特性算出部２０２および２０４にて算出した変角反射特性等の情報を保持する。ＵＩ表示部２０７は、撮像データの取得に必要な情報と、処理の実行などの入力をユーザに促すＵＩとをディスプレイ１５に表示する。特性値出力部２０８は、変角反射特性パラメータを指定の形式にて出力する。各部における詳細な制御動作については後述する。

＜画像処理装置の動作＞
図３は、本実施形態における画像処理装置１の画像処理方法を示すフローチャートである。以下、図３を参照して本実施形態における画像処理装置１の処理内容の詳細を説明する。なお、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、ＲＡＭ１０３に展開したプログラムを実行することにより、図３のフローチャートにて示す処理が行われる。また、図３のフローチャートにて示す処理内容は、ユーザが入力デバイス１３を操作して指示を入力し、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。

Ｓ３０１では、撮像データ取得部２０１は、複数の異なる条件下で撮像された対象物（サンプル）の複数枚の撮像データをデータ格納部２０６から取得する。具体的には、撮像データ取得部２０１は、複数の異なる光源から対象物への投光角で撮像された複数枚の撮像データを取得する。撮像データは、複数枚の撮像画像と、各撮像画像の各画素に対応する光源の投光角度等を導出するための、光源、サンプル、照明位置を表す情報を含む。撮像データは、データ格納部２０６に予め記録されている。なお、撮像データは、入力デバイス１３を介してユーザが指示する。

図４を参照して、データ格納部２０６に記録されている撮像画像群の取得方法の一例を説明する。図４は、撮像画像を取得するための取得装置４の構成例を模式的に表した図である。はじめに、取得装置４の構成について説明する。照明装置４１０は、制御基板４１１上に複数の光源４１２が一定間隔で配置されている。各光源４１２は、個別に点灯制御することが可能である。光源４１２は、非テレセントリック光学系であり、方向によって異なる指向特性を持つ。例えば、光源４１２は、半値角６０度のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、９×９個のＬＥＤ４１２が制御基板４１１上に配置されている。軸４１３は、照明装置４１０のＬＥＤ４１２の配置面と垂直であり、同面の中心を通る軸とする。ＬＥＤ４１２は、それぞれ、ＬＥＤ４１２の配置面と垂直な方向を中心軸（最も明るい部分）とする。サンプル４２０は、試料台４３０に設置されたサンプルを表す。軸４２１は、サンプル４２０の面に対して垂直であり、サンプル４２０の面の中心を通る軸である。撮像装置４４０は、ＣＣＤイメージセンサを有する１バンドのモノクロカメラ、および、チルト機構のあるテレセントリックレンズから成るテレセントリック光学系を有し、光電変換により、サンプル４２０の撮像画像を生成する。これにより、ＣＣＤイメージセンサの各画素は、撮像装置４４０の光軸４４１と平行な方向の光のみを受光する。なお、軸４１３と軸４２１と軸４４１は、同一面上にある。軸４１３と軸４２１が成す角θ₀と、軸４２１と軸４４１が成す角θ₂が等しくなるよう、撮像装置４４０および照明装置４１０の姿勢が設定されている。ここで、角θ₀およびθ₂は、共に４５度であり、軸４４１は、撮像装置４４０のＣＣＤイメージセンサの中心画素を通る。説明を簡易にするため、以降では、２次元平面における取得装置４の動作および取得装置４にて取得した撮像画像の処理について説明する。また、撮像装置４４０にて得た撮像画像の各画素値は、ＣＣＤイメージセンサが受光する放射輝度値とのリニアリティが得られている。

続いて、取得装置４を用いた撮像画像の取得手順について説明する。照明装置４１０は、光源４１２の１つを点灯する。撮像装置４４０は、点灯した光源４１２によって照射されたサンプル４２０を撮像し、撮像画像を生成する。その後、照明装置４１０は、光源４１２を消灯する。取得装置４は、この一連の制御処理を、点灯する光源４１２を変えて順次実行する。これにより、撮像装置４４０は、複数の異なる投光角θ₁ごとに、サンプル４２０からの反射光分布を撮像画像として記録する。記録した画像は、ｔｉｆ形式のグレースケール画像であり、各画素値は、１６ビットに正規化された値（０～６５５３５）である。撮像画像は、何れもサンプル４２０の同領域を撮像した画像であり、同座標の画素値は、サンプル４２０の同位置の反射光を受光して得た画素値とみなすことができる。本実施形態では、取得装置４は、上述した手順にて撮像した対象物の撮像画像群と、対象物と同様の手順にて撮像した標準反射板の撮像画像群を取得する。サンプル４２０は、対象物または標準反射板である。標準反射板の撮像画像群は、光源４１２と被写体までの距離の違い、あるいは、光源４１２の配向特性などに依って生じる対象物への入射照度の違いを補正するキャリブレーションデータとして用いる。標準反射板は、変角反射特性が既知であるものとし、本実施形態では説明を簡易にするため、方向に依らず一定の反射特性を有する完全拡散反射として扱う。

撮像データ取得部２０１は、上記の撮像画像を取得する。また、撮像データ取得部２０１は、各投光角θ₁を算出するため軸４１３から光源４１２までの距離ｄ₁と、軸４１３上にて光源４１２からサンプル４２０までの距離ｄ₂と、受光角として軸４２１と軸４４１とが成す角度θ₂と、撮像装置４４０の解像度を取得する。ここで、各光源４１２には、あらかじめ識別番号ｉが付けられている。光源ｉを点灯して得た撮像画像と、光源ｉの位置を示す距離ｄ₁については、識別番号ｉによって対応付けることが可能である。

Ｓ３０２では、第１の変角反射特性算出部２０２は、上記の撮像データに基づき第１の空間分解能にて撮像画像の各画素位置に対応する対象物の変角反射特性を算出する。図５（ａ）および（ｂ）を参照して、算出する対象物の変角反射特性５０の測定点５０１について説明する。変角反射特性５０の横軸は、投光角θ₁を表す。変角反射特性５０の縦軸は、標準反射板にて補正された対象物の反射強度を表す。変角反射特性５０は、プロット可能な測定点５０１を有する。第１の変角反射特性算出部２０２は、変角反射特性５０の測定点５０１を、Ｓ３０１にて取得した撮像データ５１の画素５１１ごとに算出する。投光角θ₁の算出方法について、図６を参照して具体的に説明する。図６は、図４に示す取得装置４の構成の一部を示したものであり、同一の要素については同一の符号を付す。領域４２０ａ、４２０ｂおよび４２０ｃは、撮像装置４４０の解像度に基づいて対象物（サンプル）４２０を分割した領域である。各領域４２０ａ、４２０ｂおよび４２０ｃは、それぞれ撮像画像内の１画素に相当する。例えば、領域４２０ａ、４２０ｂ、４２０ｃの各々の長さｄ_s（ｍｍ）は、式（１）にて一様に計算することができる。

ここで、ＤＰＩは、撮像装置４４０の空間解像度であり、１インチ幅の中にある画素数（ｄｏｔｓ ｐｅｒ ｉｎｃｈ）を示す。投光角θ_bは、光源４１２ａから領域４２０ｂへの投光角θ₁を示す。投光角θ_cは、光源４１２ａから領域４２０ｃへの投光角θ₁を示す。このように、投光角θ₁は、領域４２０ｂおよび４２０ｃごとに、異なる投光角θ_bおよびθ_cになる。投光角θ₁は、式（２）にて計算することができる。

ここで、ｄ_sは、上述した撮像画像の１画素の長さ（ｍｍ）である。ｋは、軸４１３上の画素（撮像画像の中心画素）から対象画素までの画素数を示す。式（２）によれば、例えば、ｄ₂を３０ｍｍ、ｄ₁を０ｍｍ（軸４１３上の光源４１２を点灯）とした場合、軸４１３上の領域４２０ａへの投光角θ₁は４５．００度、隣接する領域４２０ｂへの投光角θ₁は４５．１１度となる。第１の変角反射特性算出部２０２は、画素位置に応じた投光角θ₁を算出することができる。なお、光源４１２のピッチを１ｍｍとし、領域４２０ａに隣接する光源４１２を照射した場合には、式（２）により、投光角θ₁は４６．９１と算出される。なお、上記のように、一般的な光源４１２のサイズおよび撮像装置４４０の解像度を鑑みた場合に、隣接画素間にて生じる投光角θ_１の差は、隣接光源位置間にて生じる投光角θ₁の差と比べて極小さくなる。

次いで、反射強度の算出方法について具体的に説明する。光源ｉを点灯して得た対象物の撮像画像Ｓ_iにおける座標位置（ｘ，ｙ）の画素値をＳ_i（ｘ，ｙ）、同様に、光源ｉを点灯して得た完全拡散反射板の撮像画像Ｒ_iにおける座標位置（ｘ，ｙ）の画素値をＲ_i（ｘ，ｙ）とする。このとき、反射強度Ｉ_i（ｘ，ｙ）は、式（３）により算出される。

ここで、ｃは固定値である。なお、標準反射板が完全拡散板と異なり、角度に応じて異なる特性を有している場合は、角度ごとの反射率の逆数をｃに代わり乗じる。また、各撮像画素値が輝度値に対する線形性が得られていない場合は、予めガンマ補正または１次元ＬＵＴ（ルックアップテーブル）を参照した変換を施した画素値を用いて式（３）が適用される。以上の処理を以って、第１の変角反射特性算出部２０２は、各撮像画像内の各画素に対応する投光角θ₁および反射強度Ｉ_i（ｘ，ｙ）を取得する。これにより、図５（ａ）に示すように、第１の変角反射特性算出部２０２は、任意の画素位置における変角反射特性５０の測定点５０１を算出する。

Ｓ３０３では、変角反射特性判定部２０３は、Ｓ３０２で算出された変角反射特性５０の角度分解能が閾値より小さいか否かを判定する。具体的には、変角反射特性判定部２０３は、Ｓ３０２で算出された変角反射特性５０の有効データ数をカウントし、変角反射特性５０の有効データ数が閾値以上であるか否かを判定する。

図７（ａ）～（ｄ）を参照して、有効データ数について説明する。グラフ７０は、対象物のある画素に対応した領域の真の変角反射特性７０１を示す曲線である。一般に、変角反射特性７０１は、受光角θ₂と等しい投光角θ₁（θ₁＝θ₂）近傍にて、反射強度のピークが検出される。このピーク値は、対象物の照明像の明るさを表す。変角反射特性７０１の曲線の半値幅は、対象物に映りこんだ照明像鮮明さを表す。ここで、映り込んだ照明像が鮮明なサンプルを、写像性が高いサンプルと表現する。

変角反射特性の測定データは、グラフ７１に示す測定点（プロット点）７１１に相当し、点灯した光源４１２の数と同数である。変角反射特性７１２は、変角反射特性の測定点７１１を基に近似した関数曲線であり、後述する変角反射特性パラメータ導出部２０５にて定義される。ここで、変角反射特性７１２のピーク近傍を鏡面反射成分と呼び、鏡面反射成分にて測定点７１１が多く得られた場合に、真の変角反射特性７０１を、精度良く関数近似することができる。

グラフ７２は、対象物のある画素に対応した領域の真の変角反射特性７２１を示す曲線である。変角反射特性７２１は、写像性が高く半値幅が小さい変角反射特性である。グラフ７３において、変角反射特性７３２は、変角反射特性の測定点７３１を基に近似した関数曲線である。グラフ７３に示す通り、鏡面反射成分にて、十分な数の測定点７３１が得られず、関数による近似精度が大きく低下する。

上記の有効データ数とは、鏡面反射成分における測定点の数を指す。有効データ数を検出するために、Ｓ３０３では、変角反射特性判定部２０３は、まず、各画素位置における変角反射特性５０の最大値と最小値を検出し、検出した最大値と最小値の平均値を算出する。次に、変角反射特性判定部２０３は、その平均値以上の反射強度を持つ測定点（有効データ）の数が閾値以上であるか否かを判定する。ここでは、平均値以上の反射強度を持つ測定点を、鏡面反射成分の測定点と見做す。

変角反射特性判定部２０３は、変角反射特性のデータ（測定点）のうちの反射強度が第２の閾値以上であるデータ数が第３の閾値以上である場合には、変角反射特性の角度分解能が第１の閾値以上であると判定する。また、変角反射特性判定部２０３は、変角反射特性のデータ（測定点）のうちの反射強度が第２の閾値以上であるデータ数が第３の閾値未満である場合には、変角反射特性の角度分解能が第１の閾値より小さいと判定する。

なお、上述の通り、測定点数は、撮像画像の枚数すなわち光源数に基づいて決定され、受光角θ₂の間隔（角度分解能）は、光源４１２のピッチおよび光源４１２と対象物との距離によって決定される。グラフ７３に示すような、測定点７３１の有効データ数の不足は、角度分解能の不足が一因であり、以降、有効データ数の不足を角度分解能の不足と同義とする。

変角反射特性判定部２０３は、Ｓ３０２で算出された変角反射特性５０の有効データ数が閾値以上である場合には、その変角反射特性５０の角度分解能が閾値以上であると判定し、Ｓ３０５に進む。また、変角反射特性判定部２０３は、Ｓ３０２で算出された変角反射特性５０の有効データ数が閾値未満である場合には、その変角反射特性５０の角度分解能が閾値より小さいと判定し、Ｓ３０４に進む。

Ｓ３０５では、変角反射特性パラメータ導出部２０５は、第１の変角反射特性算出部２０２により算出された変角反射特性の測定点を近似する関数ｆ_x,y（θ₁）のパラメータを導出し、Ｓ３０６に進む。関数ｆ_x,y（θ₁）は、式（４）により定義される。

関数ｆ_x,y（θ₁）は、係数ａ_x,yを加重係数とした分散σ_x,yと平均ｍ_x,yの正規分布関数である。Ｄは、拡散反射成分を表すオフセット量を示す。関数ｆ_x,y（θ₁）のパラメータは、係数ａ_x,yと分散σ_x,yと平均ｍ_x,yであり、変角反射特性の測定点と式（４）による推定値との累積二乗誤差が最小となるよう、公知の勾配降下法を使用した最適化処理を行うことによって導出される。導出した関数ｆ_x,y（θ₁）の曲線は、例えば、上述した図７（ａ）または（ｃ）の変角反射特性７０１または７２１に相当する。関数ｆ_x,y（θ₁）のパラメータは、変角反射特性７０１または７２１のパラメータに相当する。なお、関数ｆ_x,y（θ₁）は、正規分布関数以外に、例えばＣｏｏｋ－Ｔｏｒｒａｎｃｅモデルなどの公知のモデル式を用いてもよい。

Ｓ３０４では、第２の変角反射特性算出部２０４は、第１の変角反射特性算出部２０２により算出された隣接する画素位置の複数の変角反射特性の測定点を合成し、第２の空間分解能にて対象物の変角反射特性の測定点を算出する。第２の空間分解能は、Ｓ３０２の第１の空間分解能より低い。例えば、第２の変角反射特性算出部２０４は、隣接する２×２の画素の変角反射特性を合成し、新たな変角反射特性の測定点を算出する。これにより、変角反射特性の測定点数は、４倍に増加する。各測定点は、図６を参照して説明したように、投光角θ₁が異なるため、高い角度分解能を有する。したがって、後述する変角反射特性パラメータ導出部２０５にて導出する関数曲線にて、対象物の真の変角反射特性（特に鏡面反射成分）をより精度良く近似できる可能性が向上する。なお、第２の変角反射特性算出部２０４により算出される変角反射特性の測定点は、第１の変角反射特性算出部２０２により算出される変角反射特性の測定点と比較して、対象物面に対する空間分解能が１／２にまで低減される。その後、処理は、Ｓ３０５に進む。

Ｓ３０５では、変角反射特性パラメータ導出部２０５は、上記の式（４）に示すように、第２の変角反射特性算出部２０４により算出された変角反射特性の測定点を近似する関数ｆ_x,y（θ₁）のパラメータを導出する。関数ｆ_x,y（θ₁）のパラメータは、変角反射特性７０１または７２１のパラメータに相当する。その後、処理は、Ｓ３０６に進む。

Ｓ３０６では、特性値出力部２０８は、上記の関数ｆ_x,y（θ₁）のパラメータを出力する。図８（ａ）および（ｂ）を参照して、関数ｆ_x,y（θ₁）のパラメータ８１の形式を説明する。関数ｆ_x,y（θ₁）のパラメータ８１は、対象物の座標位置ｘおよびｙと、座標位置ｘおよびｙにおける関数ｆ_x,y（θ₁）のパラメータが対応付けられている。関数ｆ_x,y（θ₁）のパラメータは、係数ａ_x,yと分散σ_x,yと平均ｍ_x,yである。

関数ｆ_x,y（θ₁）のパラメータ８２は、係数ａ_x,yと分散σ_x,yと平均ｍ_x,yを画素値とし、対応する座標ｘおよびｙの画素に格納した画像データである。以降、この画像データをパラメータ画像と呼ぶ。例えば、特性値出力部２０８は、関数ｆ_x,y（θ₁）のパラメータ８１をｃｓｖ形式として保存し、関数ｆ_x,y（θ₁）のパラメータ８２をｔｉｆ形式のグレースケール画像として保存する。ここで、ｔｉｆ画像は、係数ａ_x,yと分散σ_x,yと平均ｍ_x,yに対応した３枚の画像が生成される。各画像内に格納されるパラメータは、最大値が２５５、最小値が０となるように、画像ごとに正規化される。

Ｓ３０３にて、有効データ数が閾値未満であると判定された場合には、パラメータ画像の解像度は、撮像データ取得部２０１にて取得した撮像画像の解像度の１／２、パラメータ画像の画素数は縦横共に撮像画像の画素数の１／２とする。なお、有効データ数が閾値以上であると判定された場合には、パラメータ画像の解像度および画素数は、撮像データ取得部２０１にて取得した撮像画像のものと同様である。特性値出力部２０８は、ｃｓｖ形式の関数ｆ_x,y（θ₁）のパラメータ８１とｔｉｆ形式の関数ｆ_x,y（θ₁）のパラメータ８２をデータ格納部２０６に保存する。ＵＩ表示部２０７は、関数ｆ_x,y（θ₁）のパラメータ８２の画像を表示すると同時に処理の完了を通知する。

上記説明したように、本実施形態の画像処理装置１は、各座標位置における有効データ数を求めることで、角度分解能が不足しているか否かを判定する。また、画像処理装置１は、有効データ数を増加するために、空間解像度を下げ、より低い空間分解能にて分けられた領域内の変角反射特性の測定点を算出する。これにより、画像処理装置１は、適応的に角度分解能を変更し、鏡面反射成分の近似精度の低下を抑制したデータを生成することができる。

＜＜実施形態２＞＞
実施形態１では、画像処理装置１は、各座標位置における有効データ数を基に空間分解能を所定量下げ、角度分解能を向上した。本実施形態では、算出した変角反射特性の空間周波数特性に基づいて、空間分解能の調整を行う方法について説明する。なお、本実施形態における画像処理装置１の機能構成は、実施形態１と同じである。本実施形態では、主に、変角反射特性判定部２０３による処理内容が実施形態１と相違する。したがって、後述する本実施形態の画像処理装置１の処理動作の説明においては、変角反射特性判定部２０３について主に説明する。

＜画像処理装置動作＞
図９（ａ）および（ｂ）は、本実施形態の画像処理装置１にて実行される処理の手順例を示すフローチャートである。以下、図９（ａ）および（ｂ）を参照して、本実施形態における画像処理装置１の処理内容の詳細を説明する。なお、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、ＲＡＭ１０３に展開したプログラムを実行することにより、図９（ａ）および（ｂ）のフローチャートにて示す処理が行われる。また、図９（ａ）および（ｂ）のフローチャートにて示す処理内容は、ユーザが入力デバイス１３を操作して指示を入力し、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。なお、各ステップにて、ＵＩ表示部２０７は、各種処理経過データを表示する。表示するＵＩおよびデータについては後述する。

Ｓ９０１では、撮像データ取得部２０１は、実施形態１と同様に、撮像データを取得する。撮像データは、複数枚の撮像画像と、各撮像画像の各画素に対応する光源の投光角度等を導出するための、光源、サンプル、照明位置を表す情報を含む。

Ｓ９０２では、第１の変角反射特性算出部２０２は、実施形態１と同様に、上記の撮像データを基に、各画素の変角反射特性を算出する。

Ｓ９０３では、変角反射特性パラメータ導出部２０５は、変角反射特性を近似する関数のパラメータを、実施形態１と同様にして導出する。

Ｓ９０４では、変角反射特性判定部２０３は、光源周波数帯のパワースペクトルを算出し、角度分解能が不足しているか否かを判定する。Ｓ９０４の処理動作の詳細については、図９（ｂ）を用いて後述する。角度分解能が不足している場合には、処理はＳ９０５に進み、角度分解能が不足していない場合には、処理はＳ９０６に進む。

Ｓ９０５では、第２の変角反射特性算出部２０４は、実施形態１と同様に、隣接する画素位置の複数の変角反射特性を合成し、新たな変角反射特性を算出する。さらに、第２の変角反射特性算出部２０４は、Ｓ９０２の第１の変角反射特性算出部２０２で算出された変角反射特性を、Ｓ９０５の第２の変角反射特性算出部２０４で算出された変角反射特性に置換（更新）する。Ｓ９０５の後、処理はＳ９０３へ戻る。したがって、Ｓ９０３～Ｓ９０５の処理は、Ｓ９０４にて角度分解能が不足していると判定される限り、繰り返し実行され、変角反射特性は逐次更新される。なお、第２の変角反射特性算出部２０４は、データ格納部２０６に初期値を０とするカウンタ値を格納し、Ｓ９０５が適用された場合に、カウンタ値を加算することで、Ｓ９０５の適用回数ｎを記録する。

Ｓ９０６では、特性値出力部２０８は、更新後の変角反射特性を示す各種パラメータおよびパラメータ画像を、実施形態１と同様にして生成し、出力する。パラメータ画像の空間解像度および縦横画素数は、いずれも撮像データ取得部２０１にて取得した撮像画像に対し、１／２ⁿとなる。ここで、ｎは、Ｓ９０５の処理が実行された回数を示す。

＜Ｓ９０４における変角反射特性判定部２０３の処理動作＞
変角反射特性判定部２０３によるＳ９０４の詳細について、図９（ｂ）を参照して説明する。図９（ｂ）は、図９（ａ）に示すＳ９０４にて実行される処理の詳細な手順例を示すフローチャートである。

Ｓ９０４１では、変角反射特性判定部２０３は、関数ｆ_x,y（θ₁）のパラメータにて規定する各座標の関数の最大値を取得し、その最大値を、対応する座標に格納した２次元マップを生成する。その２次元マップをピーク画像と呼ぶ。なお、ピーク画像の画素数および空間解像度は、Ｓ９０１にて取得した撮像画像の画素数および空間解像度、さらに、Ｓ９０５による処理の適応回数ｎを参照することで、Ｓ９０６と同様にして算出することができる。

Ｓ９０４２では、変角反射特性判定部２０３は、上記のピーク画像に対して２次元高速フーリエ変換（ＦＦＴ）処理を施すことによって、ピーク画像を周波数空間に変換し、ＦＦＴ画像を生成する。さらに、変角反射特性判定部２０３は、ＦＦＴ画像からＲＡＰＳ（Ｒａｄｉａｌｌｙ Ａｖｅｒａｇｅｄ Ｐｏｗｅｒ Ｓｐｅｃｔｒｕｍ）を算出する。ＲＡＰＳは、ＦＦＴ画像上の同一周波数を示すパワースペクトルの平均値である。図１０に、ＲＡＰＳのデータを示す。横軸は周波数ｃｙｃｌｅ／ｍｍを示し、縦軸はパワースペクトルの平均値を示す。横および縦軸上のプロット点群１０００あるいはプロット点が成すグラフ１００１をＲＡＰＳデータと呼ぶ。

Ｓ９０４３では、変角反射特性判定部２０３は、光源４１２の空間周波数帯域における上記のパワースペクトルの積分値を算出する。ここで、光源４１２の空間周波数帯域とは、上述した取得装置４における点灯光源４１２間の距離の逆数にて求まる光源４１２の空間周波数の近傍帯域を指す。例えば、図４を参照して説明した取得装置４において、点灯光源４１２が１ｍｍ間隔で均等配置されていた場合、光源４１２の空間周波数は１ｃｙｃｌｅ／ｍｍとなる。本実施形態では、光源４１２の空間周波数を中心とした±０．５ｃｙｃｌｅ／ｍｍ領域を光源４１２の空間周波数帯域とする。図１０の領域ｌｂは、光源４１２の空間周波数帯を示す。図１０の斜線部１００２は、領域ｌｂのパワースペクトルの積分領域を示す。Ｓ９０４３では、変角反射特性判定部２０３は、斜線部１００２の面積を算出する。以下、領域ｌｂのパワースペクトルの積分値を評価値と呼ぶ。

Ｓ９０４４では、変角反射特性判定部２０３は、評価値と予め定めた閾値を用いた判定を行う。変角反射特性判定部２０３は、評価値が閾値以上である場合には、Ｓ９０４５に進み、評価値が閾値未満である場合には、図９（ａ）のＳ９０５に進む。また、変角反射特性判定部２０３は、適用回数ｎが所定値を超えた場合にも、図９（ａ）のＳ９０５へ進む。

以上のように、変角反射特性判定部２０３は、変角反射特性の近似関数の各座標の最大値を周波数空間に変換し、その周波数空間のうちの第１の周波数帯域のパワースペクトルの積分値が第４の閾値以上である場合には、Ｓ９０４４に進む。この場合、変角反射特性判定部２０３は、変角反射特性の角度分解能が第１の閾値以上であると判定する。第１の周波数帯域は、光源４１２の空間周波数に基づく周波数帯域である。

また、変角反射特性判定部２０３は、上記の第１の周波数帯域のパワースペクトルの積分値が第４の閾値未満である場合には、変角反射特性の角度分解能が第１の閾値より小さいと判定し、Ｓ９０５に進む。

Ｓ９０４５では、変角反射特性判定部２０３は、ＵＩ表示部２０７を制御し、Ｓ９０４４による結果を表示する。それと同時に、変角反射特性判定部２０３は、Ｓ９０６またはＳ９０５の何れの処理に進むかを指示入力可能なＵＩを表示し、指示入力が為されると、その指示入力に基づいてＳ９０６またはＳ９０５に進む。本実施形態においては、パラメータを出力するか否かをユーザに指示させるためのＵＩを表示し、パラメータを出力する旨の指示を受け付けた場合はＳ９０６に進み、そうでなければＳ９０５に進む。

上記の評価値と角度分解能との関係について説明する。図１１は、図４にて示した取得装置４の一部を示す図である。イメージセンサ１１２０は、図４の撮像装置４４０のイメージセンサを示す。軸１１３１、１１３２および１１３３は、それぞれ、照明装置４１０の光源１１２１、１１２２および１１２３の配置面と垂直であり、光源１１２１、１１２２および１１２３を通る軸である。軸１１１１、１１１２および１１１３は、それぞれ、イメージセンサ１１２０の面と垂直であり、軸１１３１、１１３２および１１３３とサンプル４２０の面との交点ｘａ、ｘｂおよびｘｃで交わる軸である。イメージセンサ１１２０は、センサ素子ｙａ、ｙａ’、ｙｂおよびｙｃを有する。センサ素子ｙａ、ｙｂおよびｙｃは、それぞれ、軸１１１１、１１１２および１１１３が通るセンサ素子であり、交点ｘａ、ｘｂおよびｘｃにおいて投光角θ₁と受光角θ₂とが等しくなる反射光を受光する。一般に、完全拡散反射物を除いた反射物体において、角度方向（鏡面反射方向）への反射強度が最大となるため、センサ素子ｙａ、ｙｂおよびｙｃでの変角反射特性において、真の変角反射特性のピーク値またはピーク値に近い値を取得することができる。

図１２（ａ）および（ｂ）のグラフ１２１０および１２２０は、それぞれ、図１１のセンサ素子ｙａおよびｙａ’に対応した画素位置の変角反射特性を示す。ここで、センサ素子ｙａおよびｙａ’に対応するサンプル４２０の面は、同一の反射特性を有する。測定点１２１１および１２２１は、第１の変角反射特性算出部２０２にて算出した変角反射特性の測定点である。変角反射特性１２１２および１２２２は、対象物の真の変角反射特性である。近似関数１２１３および１２２３は、それぞれ、測定点１２１１および１２２１から導出した近似関数を表す。図１２（ａ）および（ｂ）では、対象物の写像性が高く、測定点１２２１は、変角反射特性１２２２の鏡面反射成分を表す測定点が得られていない、または、変角反射特性１２２２のピーク値に近い値が得られていない。そのため、変角反射特性１２２２と比べて低いピーク値を示す近似関数１２２３が導出される。

一方、センサ素子ｙａにて受光した画素値から算出される測定点１２２１は、図１１に示したように、光源１１２１の点灯時に鏡面反射方向にて交点ｘａの反射光を受光するため、変角反射特性１２１２のピーク値に近い値が得られる。そのため、変角反射特性１２１２と同等の高いピーク値を持つ近似関数１２１３を導出することができる。

以上のように、取得装置４の構成にて角度分解能が低い（例えば、光源配置間隔が大きい）場合に、真の変角反射特性のピーク値または近傍値を第１の変角反射特性算出部２０２にて取得することが一部領域で困難である。また、その一部領域は、光源配置に依存しており、上述した取得装置４の構成によれば、光源の配置周期と同周期で上記のピーク位置の低い領域が発現する。したがって、上記のピーク画像は、光源の配置周期と同周期で画素値の変動が観測され、光源４１２の空間周波数帯域におけるパワースペクトルないし上記の評価値が高い値を示す。

図１３（ａ）のグラフ１３１は、上記の例として、ピーク画像を１次元方向に走査して得た画素値を表すグラフを示す。グラフ１３１の横軸は、図１１のイメージセンサ１１２０の画素位置を表す。グラフ１３１の縦軸は、上記のピーク画像の画素値を表す。図１３（ｂ）のピーク画像１３２は、２次元のピーク画像の例を示す。ピーク画像１３２の画素値は、近似曲線のピーク値を示し、グラフ１３１と同様に、イメージセンサ１１２０の画素位置に応じた周期ムラを確認することができる。

図１４（ａ）および（ｂ）は、各ステップにてＵＩ表示部２０７がディスプレイ１５に表示するＵＩおよびデータを示す図である。ＵＩ１４１は、上記の一連処理の実行開始時に表示される。領域１４０１および１４０２は、撮像データ取得部２０１にて取得したサンプル（対象物）撮像画像およびリファレンス（標準反射板）撮像画像のファイル名をリスト表示する領域である。これらのファイルは、各領域１４０１および１４０２にファイルをドラッグアンドドロップ、または、読込ボタン１４０３および１４０４を押下することで表示されるダイアログ上にて指示する。これらのファイル名の末尾の番号は、点灯光源に対応した識別番号である。

領域１４０５には、領域１４０１または１４０２に表示されたファイルの中からユーザが任意に指示選択した画像が表示される。その指示選択は、入力デバイス１３のマウスを用い、任意のファイル名にカーソルを重ねてクリックすることで実現する。なお、照明装置４１０や撮像装置４４０に関する各種幾何条件は、設定ファイルとして予め作成し、ＵＩ１４１を起動する際に読み込まれる。

実行ボタン１４０６は、第１の変角反射特性算出部２０２ないし特性値出力部２０８にて行われる処理の実行を指示するためのボタンであり、押下されることで処理が開始される。処理が完了すると、領域１４０７に、プルダウンボタン１４０８にて選択されたパラメータ（特性値）を表すパラメータ画像が表示される。領域１４０７における任意の座標を指示選択すると、その座標における変角反射特性を領域１４０９に表示する。その指示選択は、入力デバイス１３のマウスを用い、任意のファイル名にカーソルを重ねてクリックすることで実現する。また、表示される変角反射特性は、上述した更新後の変角反射特性および近似関数が示す曲線を指す。終了ボタン１４１０は、一連の処理終了後に押下することで、ＵＩ１４１を閉じるためのボタンであり、処理中に押下された場合には、処理を中断して終了する。

なお、Ｓ９０４４にて角度分解能が不足と判定された場合に、ダイアログ１４２が表示され、領域１４１１にてその判定結果を表示する。ユーザが継続ボタン１４１２または終了ボタン１４１３を押下することで、Ｓ９０４またはＳ９０５に処理が移行する。なお、ダイアログ１４２が表示される（角度分解能が不足と判定された）際には、領域１４０７に上記のピーク画像が表示される。これにより、上記の光源周期の変動（解像度不足による周期ノイズ）をユーザが定性的に把握することができる。

以上説明したように、本実施形態における画像処理装置１は、算出した変角反射特性の空間周波数特性に基づいた評価値を導出し、その評価値によって角度分解能の不足を判定する。また、第２の変角反射特性算出部２０４は、その評価値が目標値に達するまで繰り返し処理する。これにより、角度分解能不足による鏡面反射成分の近似精度の低下、特に、光源周期ノイズを抑制したデータを生成することができる。さらに、ユーザは、可視化した光源周期ノイズを参照し、繰り返し処理の継続判断を行うことが可能となる。

＜他の実施形態＞
上記実施形態では、一般的なモノクロカメラを想定し、１チャネルについて説明したが、波長に応じて感度特性が異なる２つ以上のチャネルを有するカラーカメラであっても、チャネルごとに上記の実施形態の処理を適用することが可能である。

上記実施形態では、角度分解能が不足か否かを判定する際には、予めデータ格納部２０６に格納された閾値を用いたが、ＵＩを介してユーザが閾値を指示入力してもよい。また、判定対象である変角反射特性を成す測定点のデータに基づいて、適応的に閾値を算出してもよい。例えば、測定点のデータの最小値が小さい程、角度分解能が不足と判定し易いよう、閾値を小さくする形態であってもよい。ここで、その最小値を拡散反射成分と見做す。これにより、その拡散反射成分が大きい場合には、相対的に鏡面成分が小さいとの予測に基づいた動的な閾値設定を行うことができる。

上記実施形態では、判定結果に基づいて空間解像度の変更処理を施したが、その変更処理を適用するか否かに任意の制約事項を追加してもよい。例えば、空間解像度の下限値としてユーザが所望の値を設定することで、所望の空間解像度を担保することができる。

上記の実施形態１では、角度分解能不足と判定された変角反射特性が１つ以上存在する場合に、低解像度下の変角反射特性を導出したが、これに限定されない。実施形態１では、実施形態２と同様に、角度分解能が不足との判定される変角反射特性がなくなるまで、逐次空間分解能（解像度）を低下させた変角反射特性を算出および更新してもよい。さらに、判定対象とする変角反射特性のうち、角度分解能不足と判定された変角反射特性の占める割合が所定の閾値以下であることを反復処理の終了条件としてもよい。

上記実施形態では、角度分解能不足か否かを判定する際には、処理対象とする１つの変角反射特性のみを参照したが、第２の変角反射特性算出部２０４の処理が繰り返し実行される場合には、先に行われた処理前後の変角反射特性を比較することで判定してもよい。例えば、図５（ａ）のグラフ上に処理前後の変角反射特性をプロットした際の反転箇所をそれぞれカウントし、そのカウント値が処理後の変角反射特性にて増加した場合には、繰り返し処理を終了する判定機能を追加する。これにより、他の変角反射特性を有する領域を合成する可能性を抑制することができる。

上記実施形態では、有効データ数が足りない画素を少なくとも１つ検知した際に第２の変角反射特性算出部２０４による処理を実行したが、画素数に対して閾値を設けてもよい。例えば、総画素数に対する所定の割合以上の画素にて有効データ数が不足であると判定された場合に、第２の変角反射特性算出部２０４による処理を実行する形態であってもよい。

上記実施形態では、第１の変角反射特性算出部２０２は、撮像データから算出したが、受光角と反射特性とが対応付いた値を複数の異なる受光角について取得可能であれば、これに限定しない。

上記実施形態では、投光角の異なる撮像画像を取得したが、撮像装置４４０の位置を変えることで、受光角の異なる撮像画像を取得してもよい。

上記実施形態では、光源周期ノイズを定性的に知覚するため、ピーク画像を表示したが、光源周期ノイズの視認を容易とするため、ピーク画像に対してバンドパスフィルタを施した画像を生成し、これを表示してもよい。なお、バンドパスフィルタ、例えば、光源周期以外のパワースペクトルをカットするためのフィルタとする。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２０１ 撮像データ取得部、２０２ 第１の変角反射特性算出部、２０３ 変角反射特性判定部、２０４ 第２の変角反射特性算出部、２０５ 変角反射特性パラメータ導出部、２０８ 特性値出力部

Claims (13)

1. 複数の異なる条件下で撮像された対象物の複数枚の撮像画像を取得する取得手段と、
   前記撮像画像に基づき、第１の空間分解能にて前記撮像画像の各画素位置に対応する前記対象物の反射特性を算出する第１の算出手段と、
   前記第１の算出手段により算出された反射特性の角度分解能が第１の閾値より小さい場合には、前記第１の算出手段により算出された反射特性に基づき、前記第１の空間分解能より低い第２の空間分解能にて前記対象物の反射特性を算出する第２の算出手段と
   を有することを特徴とする画像処理装置。
2. 前記取得手段は、複数の異なる光源から前記対象物への投光角で撮像された複数枚の撮像画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記第２の算出手段により算出された反射特性を近似する関数のパラメータを導出する導出手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記導出手段は、前記角度分解能が前記第１の閾値より小さい場合には、前記第２の算出手段により算出された反射特性を近似する関数のパラメータを導出し、前記角度分解能が前記第１の閾値以上である場合には、前記第１の算出手段により算出された反射特性を近似する関数のパラメータを導出することを特徴とする請求項３に記載の画像処理装置。
5. さらに、前記関数のパラメータを出力する出力手段を有することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記出力手段は、前記関数のパラメータの値を画素値として有する画像を出力することを特徴とする請求項５に記載の画像処理装置。
7. 前記関数のパラメータは、正規分布関数の分散と平均を含むことを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. さらに、前記角度分解能が前記第１の閾値より小さいか否かを判定する判定手段を有し、
   前記第２の算出手段は、前記角度分解能が前記第１の閾値より小さいと前記判定手段が判定した場合に、前記第２の空間分解能にて前記対象物の反射特性を算出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記判定手段は、前記複数の異なる条件下での前記反射特性のデータのうちの反射強度が第２の閾値以上であるデータ数が第３の閾値以上である場合には、前記角度分解能が前記第１の閾値以上であると判定し、前記反射強度が前記第２の閾値以上であるデータ数が前記第３の閾値未満である場合には、前記角度分解能が前記第１の閾値より小さいと判定することを特徴とする請求項８に記載の画像処理装置。
10. 前記判定手段は、前記反射特性の近似関数の各座標の最大値を周波数空間に変換し、前記周波数空間のうちの第１の周波数帯域のパワースペクトルの積分値が第４の閾値以上である場合には、前記角度分解能が前記第１の閾値以上であると判定し、前記第１の周波数帯域のパワースペクトルの積分値が前記第４の閾値未満である場合には、前記角度分解能が前記第１の閾値より小さいと判定することを特徴とする請求項８に記載の画像処理装置。
11. 前記取得手段は、複数の異なる光源から前記対象物への投光角で撮像された複数枚の撮像画像を取得し、
    前記第１の周波数帯域は、前記光源の空間周波数に基づく周波数帯域であることを特徴とする請求項１０に記載の画像処理装置。
12. 複数の異なる条件下で撮像された対象物の複数枚の撮像画像を取得する取得ステップと、
    前記撮像画像に基づき、第１の空間分解能にて前記撮像画像の各画素位置に対応する前記対象物の反射特性を算出する第１の算出ステップと、
    前記第１の算出ステップで算出された反射特性の角度分解能が第１の閾値より小さい場合には、前記第１の算出ステップで算出された反射特性に基づき、前記第１の空間分解能より低い第２の空間分解能にて前記対象物の反射特性を算出する第２の算出ステップと
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images