WO2007029446A1

WO2007029446A1 - 画像処理方法、画像処理装置及び画像処理プログラム

Info

Publication number: WO2007029446A1
Application number: PCT/JP2006/315840
Authority: WO
Inventors: Kenji Kondo; Katsuhiro Kanamori; Kunio Nobori
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-09-01
Filing date: 2006-08-10
Publication date: 2007-03-15
Also published as: JP3955616B2; CN101044507A; US20070222781A1; JPWO2007029446A1; CN101044507B; US7626585B2

Abstract

　偏光画像取得部（１００）は主軸が互いに異なる偏光素子（１０１）を通して被写体を撮影する。入射面特定部（１０７）は画素毎に入射面を特定し、入射角算出部（１０８）は画素毎に入射角を算出する。分類部（１０９）は入射面及び入射角が類似である画素同士をクラスタリングする。反射成分分離部（１１０）は、クラスタリングされた各画素集合に対して、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して、反射成分分離を行う。

Description

明細書

画像処理方法、画像処理装置及び画像処理プログラム

技術分野

[0001] 本発明は、偏光フィルタを通して被写体を撮影した画像にぉ、て、拡散反射成分及び鏡面反射成分を、両者の確率的独立性を利用して分離する方法に関し、特に、一般の照明環境において反射成分分離を可能とする技術に属する。

背景技術

[0002] 物体力の反射光は、鏡面反射成分と拡散反射成分の 2成分の和として表現できる。この 2成分による反射は、非特許文献 1において、 2色性反射モデル (dichromatic reflection model)として提案されている。鏡面反射成分は、物体表面と空気層の間の境界で反射される光であり、拡散反射成分は、物体表面を通過して物体内部に入射した光が色素により反射を繰り返して再び空気中に戻ってきた光である。

[0003] 対応点探索や照度差ステレオ等の画像処理アルゴリズムの多くは拡散反射を前提にしており、鏡面反射は多くの画像処理アルゴリズムの性能低下要因となる。このため、鏡面反射成分と拡散反射成分を分離する技術が数多く提案されてきた。

[0004] 鏡面反射成分と拡散反射成分とを分離する手法では、 (A)反射光の色特性を利用するもの、（B)鏡面反射の偏光特性を利用するもの、の 2方式が数多く提案されてきた。

[0005] (A)は、被写体が誘電体の場合に、拡散反射光は物体色を反映し、鏡面反射光は照明色を反映することから、色ベクトルの違いを利用して両反射成分を分離するものである。しかしながら、物体色と照明色が類似している場合や、他の物体が相互反射により映り込んでいる場合には、うまく分離できないという問題がある。また、被写体が金属の場合には、金属の種類によってはフレネル係数の波長依存性が大きぐ鏡面反射光と照明光の色べ外ルがー致しないため色特性を利用した分離方法を適用できない。

[0006] 一方、（B)は、鏡面反射成分が多くの場合偏光しており、拡散反射成分が殆どの場合非偏光とみなせることを利用して両反射成分を分離するものである。偏光を利用した方式としては、非特許文献 2、非特許文献 3、特許文献 1、特許文献 2等が提案されている。これらの手法は偏光を用いた方法であるため、色特性を用いる方法とは異なり、照明色及び物体色に依存しな、で処理が行、得ると、う利点がある。

[0007] 非特許文献 2では、ガラスの表面で反射する光がガラスを通過してくる光よりも強く偏光していることを利用して、カメラに取り付けた偏光フィルタを回転させながら取り込んだ複数の画像力各画素の輝度最小値を求めることにより、ガラスに映り込んだ像とその背後にある物体からの像とを分離している。し力しながら、ガラスに映り込んだ像が良好に分離できるのは、ガラスへの入射角がブリュースタ角に近い場合のみである。

[0008] 非特許文献 3では、カメラに取り付けた偏光フィルタを回転させながら取り込んだ複数の画像において、画素毎に、輝度最小値及び最大値を求め、それらの比を基にフレネル係数の平行成分'垂直成分の比を推定して、入射角がブリュースタ角以外でも被写体からの鏡面反射光と拡散反射光を分離している。し力しながら、鏡面反射が存在する領域では拡散反射成分が一定であるという仮定を用いており、拡散反射によるテクスチャがある被写体には適用できない。

[0009] 特許文献 1では、照明側とカメラ側の両方に偏光フィルタを使用する。照明光を直線偏光させ、カメラ側に取り付けた偏光フィルタを回転させながら取り込んだ複数の画像において、画素毎に輝度最小値を求め、それらの最小値で構成される画像を拡散反射画像として記録するものである。この手法は、照明光が完全に偏光している場合、その鏡面反射光は入射角によらず完全に偏光する性質を利用している。しかしながら、この手法は完全偏光の照明以外力の鏡面反射光を取り除くことが出来ないので、無光沢'黒色の遮光箱内で利用しており、一般的な環境では使用することができない。

[0010] 特許文献 2では、鏡面反射成分と拡散反射成分間には確率的独立性があることを仮定して、偏光フィルタを通して撮影した複数の画像力ゝら両反射成分を分離する。この手法は、非特許文献 2とは異なり、ブリュースタ角以外でも反射成分分離が可能であり、また非特許文献 3とは異なり、拡散反射によるテクスチャがある被写体にも適用可能であり、さらに特許文献 1とは異なり、照明を偏光させる必要がない。 [0011] この特許文献 2の方法について以降説明を行うが、その前に物体力もの光の反射と偏光について一般的な説明を行っておく。

[0012] 先に触れた 2色性反射モデルによれば、物体からの反射光は、拡散反射成分と鏡面反射成分の 2成分の和で表現される。拡散反射成分 L は (数 1)で表される Lamb diff

ertianモデルで表現されることが多!、。

[数 1] = _ iiff 腿 [0, ( COS θ, )]

[0013] ここで、 Lは入射光の強度であり、 Θは入射角、 κ は物体の拡散反射率である。

i i diff

この拡散反射成分は、殆どの場合非偏光とみなすことができる。

[0014] 一方、鏡面反射成分 L は（数 2)で表される Torrance- Sparrowモデルで表現され spec

ることが多い。

[数 2]

L_spec =

[0015] ここで、 Lは Lambertianモデルの時と同じく入射光の強度であり、 Θ は物体表面の法線と視線方向のなす角度であり、 aは鏡面反射を形成するマイクロファセットの法線方向と物体表面の法線方向とのなす角であり、 σ は物体表面の粗さを表すパラメータである。また、 Fは反射エネルギについてのフレネル係数であり、マイクロファセットへの入射角 Θ '及び 2つの媒質の屈折率 7? , η の比である相対屈折率 7?に依存

1 2

する。媒質が誘電体の場合は実数となり、以後 nで表す。 Gは幾何減衰率であり、マイク口ファセットによる入射光の遮蔽 (masking)、反射光の遮蔽 (shadowing)の影響を表す。 cは拡散反射と鏡面反射の比率を表す定数である。

[0016] この鏡面反射成分は、光の入射面に対して平行な成分と垂直な成分に対するフレネル係数が異なることにより偏光する。平行成分と垂直成分に対する、反射エネルギにつ、てのフレネル係数は、それぞれ (数 3)、（数 4)のようになる。 tan²( - »,

[数 4]

[0017] ここで、 Θ はマイクロファセットに関する屈折角であり、 Snellの法則から (数 5)が成り立つ。

[数 5] sin θ' n₀

'- =— = η

sin θ" n_x

[0018] ここで、 n及び nは、それぞれ、入射側の媒質 1の屈折率，屈折側の媒質 2の屈折

1 2

率である。以後は、屈折率 nと nとの比を相対屈折率 nで表す。

2 1

[0019] 図 26に相対屈折率 n= l. 6の場合の、入射面に対する平行成分と垂直成分に対するフレネル係数のグラフを示す。

[0020] 以上から、非偏光である入射光に対する反射光の強度 Lは (数 6)のように表すこと力 Sできる。ここで、 L' は、（数 2)で表される鏡面反射成分 L から、フレネル強度 spec spec

反射率の項を除、たものである。

[数 6]

4 = L_dW + - {F_p (θ;, η) + F_S (θ;, η))ν_ψβε

[0021] 偏光フィルタを通して物体からの反射光を観測した場合、その強度は、偏光フィルタを通過する前の反射光のうち、偏光フィルタの主軸に平行な成分の強度となる。偏光フィルタを回転させながら物体力の反射光を観測した場合、その強度は偏光フィルタの主軸の角度に応じて、図 27のように sin関数的に変化する。図 26が示すように、殆どの入射角において、反射光の入射面に対する垂直成分は平行成分よりも大きくなる。よって、観測される鏡面反射成分強度は、偏光フィルタの主軸が入射面に平行な場合 (偏光フィルタの主軸と入射面のなす角 φが Oradの時）に最小となり、垂直な場合 (偏光フィルタの主軸と入射面のなす角 Φが π Z2radの時）に最大となる。また、拡散反射成分は、非偏光とみなすことができるので偏光フィルタの主軸方向によらず一定である。

[0022] Torrance- Sparrowモデルにおいては、入射光が物体表面上のマイクロファセットにより反射されることで鏡面反射が生じているとされている。即ち、観測画像の各画素における鏡面反射成分の入射面及び局所入射角は、光源方向とカメラ視線方向によつて決定され、物体表面の法線方向とは独立である。

[0023] 特許文献 2の方法は、光源が十分遠くにあり、カメラモデルとして正射影モデルを仮定している。この場合には、図 33のように、撮影画像における、鏡面反射を生じる全画素において入射面と局所入射角が同一であるとみなすことができる。ここで、「入射面が同一である」とは、図 5のような、注目している画素に対応する入射面を画像平面に投影した方向力鏡面反射を生じて、る画素にっ、て全て等、ことを表すものとする。また、同時に、物体の屈折率が一様であると仮定している。これらの仮定の下では、物体に対応する全画素のフレネル係数が同一となり、偏光フィルタを回転させたときの鏡面反射の輝度値変化は、全画素において同位相となる。

[0024] ここで、 Ι , Ι , Iをそれぞれ拡散反射画像ベクトル、鏡面反射画像ベクトル、観測画 d s

像ベクトルとすると、（数 7)の関係が成り立つ。尚、ベクトル I , I , Iは、いずれも画素 d s

数分の次元数を持つ列ベクトルである。 f )は、偏光フィルタの主軸と入射面がなす角度 Φの関数 (スカラー）である。

[数 7]

これらの関係を図示すると、図 28のようになる。観測画像ベクトルは、 f(0)Iと ί( π /2

) 1の範囲で増減することになる。異なった主軸を持った偏光フィルタを介して、複数

、例えば 2枚の画像ベクトル I , Iを観測した場合、図 29に示すように、その差 (I -I )

1 2 1 2 から、鏡面反射画像ベクトル Iの方向が得られる。よって、この差のベクトルに適当な定数 kを乗じて観測画像ベクトルカゝら減じれば、拡散反射画像ベクトル Iが得られる。

d

[0026] 特許文献 2の方法は、拡散反射画像ベクトル Iと鏡面反射ベクトル Iとの間の確率 d s

的独立性を仮定し、両ベクトルと係数 f )を得ている。具体的には、

(1)観測された複数の画像行べ外ルを要素に持つ行列を、最大階数分解を利用して積の形に分解する。

(2)任意の 2 X 2正則行列を導入し、拡散反射画像ベクトル候補と鏡面反射画像べクトル候補を仮決定する。

(3)両者の相互情報量を評価することにより、相互情報量が最小 (確率的独立性が最大）となる拡散反射画像ベクトル、鏡面反射画像ベクトル、係数 f( φ )行列を推定値として採用する。

特許文献 1 :特開平 11 41514号公報

特許文献 2：特許第 3459981号公報

非特許文献 1： S.Snafer, Using color to separate reflection components , Color Res earch and Applications, vol.10, no.4, pp.210— 218, 1985

非特許文献 2 :岩瀬正榭，山村毅，田中敏光，大西昇，「映り込み分離カメラシステム J ,電子情報通信学会論文誌 D-II, Vol.J81-D-II, No.6, pp.1224-1232, 1998年 6月非特干文献 3 : L.B.Wolff, Using Polarization to Separate Reflection components , Proc. IEEE Conf. CVPR, pp.363- 369, 1989

発明の開示

発明が解決しょうとする課題

[0027] 特許文献 2の方法では、図 33のように、平行光光源 (光源が十分遠くにある状態と等価）を仮定し、同時に、カメラモデルとして正射影モデルを仮定している。しかしながら、我々が普段生活をしている一般環境おいては、平行光の仮定は殆ど成り立たない。屋外においては、晴天の太陽光は平行光とみなせるものの、曇天の場合は空全体が拡散面光源の状態となり平行光とみなすことができない。また、室内においては、ある程度の大きさを持った照明器具が近距離にある場合や、複数の照明器具が存在する場合は平行光とみなすことができない。また、屋外又は室内において、相互反射が存在する場合は平行光とみなすことができない。 [0028] 図 30は、図 31に示す環境下で、なめらかな表面を持つゴム製の球体を撮影した画像である。図 31から分力るように、被写体のゴム球の左側方及び上方に蛍光灯照明が設置されている。図 30においては、図 31の蛍光灯照明 Aから、鏡面反射領域 1が、蛍光灯照明群 Bの一部から鏡面反射領域 2が、被写体のゴム球上に生じている。これらの鏡面反射は異なる方向力の照明によって生じており、照明環境全体では平行光とみなすことはできないので、カメラ前に設置した偏光フィルタを回転させたときの鏡面反射の輝度値変化が全画素において同位相にならない。図 30の小領域 1及び小領域 2における、カメラ前の偏光フィルタ角度に対する輝度値変化のグラフを図 32に示す。偏光フィルタは、ある基準方向を 0度とし、 180度まで 10度間隔で回転させた。領域 1と領域 2とでは、輝度値の位相がほぼ逆転していて、同位相にならないため、特許文献 2の方法では、このような照明環境下において鏡面反射を分離できない。

[0029] 前記の問題に鑑み、本発明は、一般の照明環境においても、偏光フィルタを通して被写体を撮影した画像から拡散 Z鏡面反射成分を分離することを課題とする。課題を解決するための手段

[0030] 本発明は、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影した複数の画像から、鏡面反射が生じている画素群について、画素毎に入射面を特定するとともに、入射角を算出し、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも 1つ以上の画素集合を形成し、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行!、、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するものである。

[0031] 本発明によると、鏡面反射が生じて、る画素群につ!、て、画素毎に、入射面及び入射角を求めた後、両者がそれぞれ類似している画素同士をクラスタリングし、クラスタリングされた各画素集合にぉ、て、確率的独立性を用いた反射成分分離を行う。すなわち、任意の照明下で撮影した画像において、様々な入射面および入射角の鏡面反射光が混在している場合であっても、入射面及び入射角の両方が類似している画素同士がクラスタリングされ、クラスタリングされた各画素集合において反射成分分離が行われる。このため、入射面及び入射角が画素毎にまちまちであっても、反射成分分離を精度良く実行することが可能となる。したがって、一般的な照明環境にて撮影された画像においても拡散反射成分及び鏡面反射成分を分離することができる

[0032] ただし、確率的独立性を用いた反射成分分離が可能となるためには、各画素集合において、被写体の屈折率が略一定であることが必要となる。また、被写体が、撮影画像の一画素に対応する局所領域において光学的に滑らかであるとき、一画素内で、入射面および入射角が一定とみなすことができるので、反射成分分離がより精度良く実行可能となる。

[0033] 図 34は、ある入射面において、非平行光の環境下で生じた鏡面反射光が中心射影のカメラに入射する様子を示している。図 34では、入射角でクラスタリングを行った結果、（ァ)、（ィ)、（ゥ)の 3通りに分類できたことを示している。（ァ)、（ィ)、（ゥ)のそれぞれで確率的独立性を用いた反射成分分離を行うことで、拡散反射成分と鏡面反射成分を分離することができる。

発明の効果

[0034] 本発明によると、一般の照明環境においても、偏光フィルタを通して被写体を撮影した画像から拡散 Z鏡面反射成分を分離することができる。

図面の簡単な説明

[0035] [図 1]図 1は、本発明の第 1の実施形態に係る画像処理装置の構成例を示すブロック図である。

[図 2]図 2は、本発明の第 1の実施形態に係る画像処理方法を示すフローチャートである。

[図 3]図 3は、本発明の第 1の実施形態における偏光フィルタの主軸方向を示す図である。

[図 4]図 4は、本発明の各実施形態における座標系を説明する図である。

[図 5]図 5は、鏡面反射の入射面を画像平面に射影してできる直線 (入射面方向）を示す図である。

[図 6]図 6は、鏡面反射の入射面を画像平面に射影してできる入射面方向を表現する角度を説明する図である。

[図 7]図 7は、入射面方向の 2次元分布を示す図である。

[図 8]図 8は、入射角の 2次元分布を示す図である。

[図 9]図 9は、本発明の第 1の実施形態における、クラスタリング時の距離尺度を決定する関数の例を示すグラフである。

[図 10]図 10は、被写体が球体のときのクラスタリング結果を示す図である。

[図 11]図 11は、本発明の第 1の実施形態の変形例に係る画像処理装置の構成例を示すブロック図である。

[図 12]図 12は、本発明の第 1の実施形態の変形例に係る画像処理方法を示すフロ一チャートである。

[図 13]図 13は、本発明の第 1の実施形態の変形例における偏光フィルタの主軸方向を示す図である。

[図 14]図 14は、鏡面反射を含む被写体上の領域を、偏光フィルタの主軸方向を変化させて観測した時の輝度値に、 sin関数をフィッティングさせた結果を示すグラフである。

[図 15]図 15は、被写体の 3次元姿勢及び 3次元位置を決定するために、入射面方向の 2次元分布を利用する様子を示した図である。

[図 16]図 16は、被写体の 3次元姿勢および 3次元位置の決定のため、入射面方向の

2次元分布のマッチングを行う様子を示した図である。

[図 17]図 17は、本発明の屈折率推定方法を示すフローチャートである。

[図 18]図 18は、屈折率を推定する際に利用する、偏光フィルタ主軸角度と鏡面反射輝度値の関係を示すグラフである。

[図 19]図 19は、偏光素子の主軸と入射面のなす角度に対する輝度値変化につ、て、 (a)反射成分分離前と (b)反射成分分離後 (鏡面反射成分のみ)との場合につ!、て表したグラフの例である。

[図 20]図 20は、鏡面反射成分の最小値 Is が閾値 Th以上である場合の、偏光素子 mm 2

の主軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。

[図 21]図 21は、鏡面反射成分の最小値 Is が閾値 Th未満である場合の、偏光素子の主軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。

[図 22]図 22は、本発明の第 2の実施形態に係る画像処理装置の構成例を示すプロック図である。

[図 23]図 23は、本発明の第 2の実施形態に係る画像処理方法を示すフローチャートである。

[図 24]図 24は、本発明の第 2の実施形態において、反射成分分離までを行う様子を示した図である。

[図 25]図 25は、 depth画像力も法線を算出する方法の例を示す図である。

[図 26]図 26は、相対屈折率が 1. 6の場合のフレネル強度反射率を示すグラフである

[図 27]図 27は、偏光フィルタ主軸角度と観測される輝度値の関係を示すグラフである

[図 28]図 28は、平行光照明'正射影カメラモデルの下で屈折率一様の被写体を、偏光フィルタ主軸を変化させながら観測した場合の、画像ベクトルの変化範囲を示す図である。

[図 29]図 29は、平行光照明 ·正射影カメラモデルの下で屈折率一様の被写体を、 2 通りの偏光フィルタ主軸で観測した場合の、 2つの画像ベクトル、拡散反射画像べクトル、鏡面反射画像ベクトルの関係を示す図である。

[図 30]図 30は、複数方向に照明が存在する環境下で球状の被写体を撮影した画像である。

[図 31]図 31は、図 30の画像を撮影した照明環境を示す図である。

[図 32]図 32は、図 30の被写体の鏡面反射領域における、偏光フィルタ角度と観測輝度値の関係を示すグラフである。

[図 33]図 33は、特許文献 2の方法が前提とする条件を図示した図である。

[図 34]図 34は、本発明において、入射角が等しい画素同士をクラスタリングした様子を示した図である。

符号の説明

100 偏光画像取得部 101 偏光素子

102 カメラ

106 法線算出部

107 入射面特定部

108 入射角算出部

109 分類部

110 反射成分分離部

発明を実施するための最良の形態

[0037] 本発明の第 1態様は、画像処理方法として、被写体を、主軸が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、前記撮影した複数の画像から、鏡面反射が生じている画素群について、画素毎に入射面を特定するステップと、前記撮影した複数の画像から、前記画素群について画素毎に入射角を算出するステツプと、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも 1つの画素集合を形成するステップと、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップと、を備えたものを提供する。

[0038] 本発明の第 2様態は、前記入射面特定ステップは、前記画素群の画素毎に被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射面を特定するステップと、を備えた第 1様態の画像処理方法を提供する。

[0039] 本発明の第 3様態は、前記入射角算出ステップは、前記画素群の画素毎に被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップと、を備えた第 1様態の画像処理方法を提供する。

[0040] 本発明の第 4様態は、前記法線ベクトルを算出するステップは、既知である前記被写体の 3次元形状データを用いて、撮影した前記画像における被写体の見えを基に、カメラ座標系における前記被写体の 3次元位置及び 3次元姿勢を推定するステップを備え、推定した前記被写体の 3次元位置及び 3次元姿勢を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出する第 2様態又は第 3様態の画像処理方法を提供する。

[0041] 本発明の第 5様態は、前記入射面特定ステップは、撮影した前記画像の数が 3以上のとき、前記画素群の画素毎に、前記偏光素子の主軸角度に対する輝度値変化の位相を検出するステップを備え、検出した位相から入射面を特定する第 1様態の画像処理方法を提供する。

[0042] 本発明の第 6様態は、前記入射角算出ステップは、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備え、前記法線ベクトルを算出するステップは、撮影した前記画像の数が 3以上のとき、前記入射面特定ステップにおいて前記画素群の画素毎に特定した入射面を画像平面に射影した方向の、第 1の 2次元分布を算出するステップと、既知である被写体の 3次元形状モデルを用いて、カメラ座標系における被写体の 3次元位置及び 3次元姿勢を仮定し、仮定した前記 3次元位置及び 3次元姿勢を有する前記 3次元形状モデルを射影した画像平面における画素毎に入射面を計算し、前記計算した入射面を画像平面に射影した方向の、第 2の 2次元分布を算出するステップと、前記第 1及び第 2の 2次元分布同士をマッチングさせることにより、前記被写体の 3次元位置及び 3 次元姿勢を決定するステップと、決定した前記被写体の 3次元位置及び 3次元姿勢を基に、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、を備えた第 5様態の画像処理方法を提供する。

[0043] 本発明の第 7様態は、前記入射面特定ステップの後に、前記画素群について、入射面が類似している画素同士を暫定的にクラスタリングして、少なくとも 1つの画素集合を形成する暫定クラスタリングステップを実行し、その後、前記反射成分分離ステツプを、前記暫定クラスタリングステップで形成された各画素集合において、実行し、その後、前記入射角算出ステップ、前記クラスタリングステップおよび前記反射成分分離ステップを、所定回数、繰り返し実行するものであり、前記入射角算出ステップは、前回実行された反射成分分離ステップによって得られた拡散反射成分を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線ベクトルとから、入射角を算出するステップとを備えたものである第 1様態の画像処理方法を提供する。

[0044] 本発明の第 8様態は、撮影した前記画像の数が 3以上のとき、前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値を算出し、前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角力前記被写体の屈折率を算出するステップをさらに備えた第 1様態の画像処理方法を提供する。

[0045] 本発明の第 9様態は、撮影した前記画像の数が 3以上のとき、前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最小値を算出し、前記最小値が予め定めた第 1の閾値より小さいとき、前記入射角算出ステップにおいて算出した前記注目画素における入射角はブリュースタ角であると判断し、このブリュースタ角力前記被写体の屈折率を算出するステップをさらに備えた第 1様態の画像処理方法を提供する。

[0046] 本発明の第 10様態は、撮影した前記画像の数が 3以上のとき、前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値とを算出し、前記最小値が予め定めた第 2 の閾値以上であるときは、前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角力前記被写体の屈折率を算出するステップをさらに備えた第 1様態の画像処理方法を提供する。

[0047] 本発明の第 11様態は、画像処理装置として、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影する偏光画像取得部と、前記偏光画像取得部によって、主軸方向が互いに異なる偏光素子を通して撮影された複数の画像から、鏡面反射が生じて、る画素群につ!、て画素毎に入射面を特定する入射面特定部と、前記複数の画像から、前記画素群について画素毎に入射角を算出する入射角算出部と、前記画素群について、前記入射面特定部により特定された入射面及び前記入射角算出部により特定された入射角の両方が類似している画素同士をクラスタリングして、少なくとも 1つの画素集合を形成する分類部と、前記分類部により形成された各画像集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行!、、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する反射成分分離部と、を備えたものを提供する。

[0048] 本発明の第 12様態は、画像処理プログラムとして、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影した複数の画像を取り込んで、当該複数の画像力鏡面反射が生じて、る画素群にっ、て画素毎に入射面を特定する処理と、前記複数の画像から、前記画素群について画素毎に入射角を算出する処理と、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも 1つの画素集合を形成する処理と、前記各画素集合にお!、て、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行い、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する処理と、をコンピュータに実行させるものを提供する。

[0049] 本発明の第 13態様では、画像処理方法として、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、前記撮影した画像から、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域を特定するステップと、前記撮影した複数の画像における前記領域から、鏡面反射が生じている画素群について、画素毎に、入射面を特定するステップと、前記撮影した複数の画像における前記領域から、前記画素群について、画素毎に、入射角を算出するステップと、前記画素群について、前記入射面及び入射角の両方が類似している画素同士をクラスタリングして、少なくとも 1つの画素集合を形成するステップと、前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行!、、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップとを備えたものを提供する。

[0050] 本発明の第 14態様では、前記被写体は、人の顔であり、前記領域特定ステップは、眼の領域または眼鏡のレンズの領域を、前記領域として特定するものである第 13 態様の画像処理方法を提供する。

[0051] 以下、本発明の実施の形態について、図面を参照して説明する。 [0052] まず、本発明の実施時における、各種条件を説明する。

[0053] 照明は、平行光である必要はない。即ち、照明が複数あってもよいし、 1つの照明は点光源でなく面光源であってもよい。他の被写体からの反射光は照明と見なすことができるので、他の被写体からの反射光も存在していてもよい。また、照明の分光特性や照明方向に関する知識も不要である。

[0054] 被写体は、屈折率が略一定であり、局所領域において光学的に滑らかな性質を持つとする。「屈折率が略一定」である必要性は、特許文献 2と同様である。即ち、被写体の撮影時、鏡面反射を生じている各画素について、屈折率が略一定であり、かつ、鏡面反射の入射面および入射角が揃っている場合は、各画素におけるフレネル係数が略一定となり、確率的独立性を利用した鏡面反射分離が可能となる。ここで、屈折率は厳密に一定である必要はなぐフレネル係数が一定と見なせることができ、確率的独立性を利用した鏡面反射分離が可能となる程度に略一定であればよい。

[0055] 「局所領域において光学的に滑ら力」であるとは、局所領域におけるマイクロファセットの法線がほぼ均一に揃っており、マイクロファセット法線と形状を表すマクロ法線が同一であるとみなせるということである。このような被写体上の鏡面反射が生じている局所領域を観測するとき、たとえ全周囲に面光源が存在したとしても、その局所領域の鏡面反射は一方向の入射光力も生じているといえる。即ち、カメラを用いて鏡面反射を観測する場合、撮影画像での一画素に対応する被写体上の局所領域では、マイクロファセット法線方向が全て揃っており、その結果、鏡面反射の入射面と入射角が全て揃っているということである。但し、局所領域で滑らかである必要はあるが、大局的に滑らかである必要はない。すなわち、マクロ法線が空間的に不連続に変化するような、稜線 (法線エッジ）が存在してヽても構わな、。

[0056] また、被写体の形状については、少なくとも鏡面反射が生じている領域におけるマクロ法線（=マイクロファセット法線)方向を知る必要がある。以下、第 1の実施形態では、既知の被写体の形状モデルを用いて、被写体の 3次元位置および 3次元姿勢を求めることにより、法線方向を求めている。第 2の実施形態では、分離した拡散反射成分を用いてステレオ視を行い、ステレオ視から求めた法線方向を用いて反射成分分離を行う処理を繰り返すことにより、法線方向を求めている。 [0057] カメラモデルに関しては、中心射影等の任意のモデルを用いることができる。

[0058] 表 1に、本発明と特許文献 2が前提とする各種条件の比較を示す。

[0059] [表 1]

[0060] (第 1の実施形態）

図 1は本発明の第 1の実施形態に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。この画像処理装置は、偏光画像取得部 100、フレームメモリ 104、法線算出部 105、形状データベース 106、入射面特定部 107、入射角算出部 108、分類部 109、反射成分分離部 110を備えている。偏光画像取得部 100は、偏光素子 101、カメラ 102及び、制御部 103を含む。

[0061] また、図 2は本発明の第 1の実施形態に係る画像処理方法のフローチャートである

[0062] 以下、図 1のブロック図及び図 2のフローチャートに従って、本実施形態に係る画像処理方法及び画像処理装置につ、て説明する。

[0063] まず、偏光画像取得部 100にお、て、被写体の画像を撮影する（SAO)。

[0064] 制御部 103は、偏光素子 101の主軸方向の角度を F通り（本実施形態では F = 2) 変化させると共に、異なった主軸方向に対してそれぞれ画像を撮影するようにカメラ 1 02の撮影タイミングを制御する。得られた F個の画像は、フレームメモリ 104に格納される。本実施形態では、偏光素子 101として直線偏光フィルタを使用し、直線偏光フィルタをモータ等により回転させることにより主軸の角度を変化させる。主軸角度は、図 3のように 0, Z2 (rad)の 2通りを用いる。本画像処理装置は、これらの角度の値を知る必要はない。また、カメラ 102として、鏡面反射の輝度が飽和しない露出条件にお、て、鏡面反射の存在する画素での拡散反射のテクスチャが十分取得可能なダイナミックレンジ及び量子化ビット数を有するものを用いる。また、予め、カメラキヤリブレーシヨンにより、焦点距離、画像中心座標、撮像素子の画素ピッチ及びレンズ歪みの内部パラメータを算出しておく。これらのパラメータは、法線算出ステップ SA1で使用する。

[0065] 撮影された 2枚の画像において、輝度値に予め定めた所定値以上の差が存在する画素には鏡面反射が存在すると判断する。 2枚の撮影画像を I (X, y), I (x, y)とする

1 2

と、（数 8)のように、被写体上の注目画素位置 (X , y )における輝度値 I (x , y ), I (x

P P 1 P 2 p

, y )に、所定値以上の輝度差 Thが生じている場合に、画素位置 (X , y )には鏡面反

P 1 P P 射が存在すると判断する。

[数 8]

[0066] 尚、偏光素子 101の主軸方向の角度が 3通り以上の場合は、輝度変化に正弦 (余弦）関数をフィッティングさせることで得られた振幅が所定値以上であることにより、鏡面反射が存在するカゝ否かを判断できる。

[0067] 以下の処理では、鏡面反射が生じている画素群のみを処理対象とする。

[0068] 尚、特許文献 2の方法ではカメラモデルとして正射影モデルを仮定して、たが、本発明の場合は、偏光素子の入射角依存性がない場合、中心射影 (透視投影)モデルも加えて使用可能である。例えば、有効入射角が ± 20度の偏光素子を用いる場合、画角 40度までの中心射影カメラを用いることができる。

[0069] ここでは、主軸角度として 0, π Ζ2のように直交する 2軸を用いた力観測される鏡面反射に輝度差が生じるような設定であれば、他の角度でもよい。

[0070] ここでは、物理的に偏光フィルタを回転させることにより、複数の偏光画像を取得した力例えば、特開平 11— 313242号公報に開示されているような、液晶を利用した、電気的に主軸方向を制御可能な素子を用いても良い。また、「 D.Barter, H.R.Tho mpson, and し. L.Richardson: Visible-Regime polarimetnc imager: a lully polarimetri c, real-time imaging system", Applied Optics— LP, Vol.42, No.9, pp.1620— 1628(2003 )Jに開示されているように、複数の撮像素子、複数の偏光フィルタと、光路を分離するプリズムとを用いることにより、主軸方向の互いに異なる偏光フィルタを通した画像を、同タイミングで取得してもよい。また、「J.Guo, and D.Brady: "Fabrication of thin- f ilm micro polarizer arrays for visible imaging polarimetry", Applied Optics- OT, Vol 39, No.10, ρρ.1486-1492(2000)」で開示されているように、主軸方向の互いに異なる微小偏光フィルタを、撮像素子の各画素上に並べた構成を持つ、微小偏光板アレイを用いてもよい。

[0071] 次に、法線算出部 105において、被写体上の法線方向を計算する（SA1)。本画像処理装置は、撮影対象となっている被写体の 3次元形状に関する知識を有する（形状データベース 106に予め記憶されている)ものとする。法線算出部 105は、形状データベース 106から被写体の 3次元形状データを取得し、撮影画像における被写体の見え (appearance)から、被写体の 3次元姿勢及び 3次元位置を推定する。被写体が人間の目の角膜である場合の、見えから 3次元位置及び 3次元姿勢を推定する [列力、「K.Nismno and b.K.Nayar: fhe World in an Eye , in Proc. of Computer Visi on and Pattern Recognition CVPR '04, vol.1, pp444- 451, Jul., 2004.」に開示されている。見えから 3次元位置及び 3次元姿勢を推定できる被写体は限られるが、そのような被写体であれば上記文献の手法を本発明に適用することが可能である。

[0072] 被写体の 3次元姿勢及び 3次元位置が推定されれば、被写体上の任意の位置において、カメラ座標系における単位法線ベクトル Ν = (η , η , n )が算出できる。以上

X Y Z

の処理を、撮影画像において鏡面反射が存在している全画素について繰り返し、被写体の法線ベクトル Nを算出する。

[0073] 尚特殊な例であるが、被写体が図 30で表されるような球体であれば、輪郭線に円をフィッティングするだけで、撮像された球体の各画素において、カメラ座標系での法線ベクトル Nを算出可能である。

[0074] 次に、入射面特定部 107において、被写体上の鏡面反射をカメラで観測している時の入射面を、鏡面反射が存在する画素毎に特定する（SA2)。予め求めておいた

、焦点距離、画像中心座標、画素サイズ及びレンズ歪みの内部パラメータを用いて、まず、被写体上の注目画素での視線方向ベクトル Vを決定する。視線方向ベクトル V の決定方法を、図 4を用いて説明する。

[0075] 図 4のように、カメラ座標系 Ο-Χ-Υ-Ζ,画像座標系 O -x-yを考える。カメラキヤリブレーシヨンにより求められた焦点距離を f、画像中心座標を (x。， y。)、 x方向， y方向の画素ピッチをそれぞれ d , dで表す。レンズ歪み、及び、撮像素子の設置ずれ (光軸と素子面が垂直でな、等）は補正済であるとする。被写体上の点 p に対応する、 ob]

注目画素 Pの座標を (X , y )とすると、被写体上の点 P への視線方向ベクトル Vは（

P P ob]

数 9)となる。

[数 9]

ここで、 c = H -x₍, + {d_y - {y_p -y + f²

[0076] よって、点 P を観測したときの入射面は、視線方向ベクトル Vとステップ SA1で算 ob]

出した法線ベクトル Nとを含む平面となる。この入射面を図 5のように画像平面に射影すると、図 6で表されるように角度 φで入射面方向を表現することができる。ここで、方向のみを考慮し、向きは考慮しないので 0≤ φ < πである。鏡面反射が存在している全画素について、以上の処理を行うと、図 7のように入射面方向を表す角度 φの 2次元分布が得られる。

[0077] 次に、入射角算出部 108において、被写体上の鏡面反射をカメラで観測している時の入射角を、鏡面反射が存在する画素毎に特定する（SA3)。ステップ SA1で算出した法線ベクトル Nと、ステップ SA2で算出した視線方向ベクトル Vから、（数 10)を用いて入射角 Θを算出する。入射角であるため 0≤ Θく π Ζ2である。鏡面反射が存在している全画素について、以上の処理を行うと、図 8のように入射角 Θの 2次元分布が得られる。

[数 10]

0 = cos~^l(N, V)

[0078] 次に、分類部 109において、入射面と入射角の両方がそれぞれ類似している画素同士をクラスタリングして、少なくとも 1つ以上の画素集合を形成する（SA4)。クラスタリング手法として任意の方法を用いることができる力ここでは k-meanアルゴリズムを用いる。まず、初期クラスタとして、 φ Θの 2次元空間内に、 C個のクラスタ中心（ φ , Θ )を均等に配置する（c = 0, · ··, C-l)。クラスタ数 Cは、予備実験において事前

0 cO

に決定しておく。鏡面反射が生じている画素数を κ個とすると、入射面方向 φ 及び k 入射角 0 を有する k番目の画素が属するクラスタ番号は、（数 11)を満たす c となる（ k kj k=0, · ··, K- 1)。

[数 11] c_k] = arg min (d ( - φ^ X - d{6_CJ - 6_k )) [0079] ここで、 jはクラスタリング回数を表し、初回は j = 0である。（φ , Θ )は、クラスタリング j回目の C番目のクラスタ中心を表す。 λは、入射面に関する距離と入射角に関する距離の影響の強さを決定するパラメータであり、ここではえ = 1とする。また、関数 d( X)は、図 9で表されるように、 x =士 π Ζ2のときに極大値をとり、 x = 0, 士 πのときに極小値 0をとる関数である。 Κ個の画素を全て C個のクラスタのどれかに属させた後は、クラスタ中心を更新（同時に jをインクリメント）し、繰り返しクラスタリングを行う。全クラスタ中心の移動距離が予め定めた距離閾値よりも小さくなればクラスタリングを終了する。尚、クラスタリング回数 jが予め定めた所定回数に達した場合にクラスタリングを終了するようにしてもよい。

[0080] ここまでの処理で、鏡面反射が生じている画素において、入射面と入射角の両方がそれぞれ類似している画素同士は同じ集合にクラスタリングされる。被写体が図 30で表されるような球体であり、球体の全面に鏡面反射が生じている場合には、クラスタリング結果は図 10のようになる。尚、被写体の形状が球体のような単純な形状でない場合は、画素位置が互いに離れていても、入射面及び入射角の両方が類似している場合には、同一のクラスタに分類されることもありうる。

[0081] 次に、反射成分分離部 110において、同一のクラスタに含まれる画素の集合毎に反射成分分離を行う（SA5)。同一のクラスタに含まれる画素同士は、入射面及び入射角がほぼ揃っているので、特許文献 2の方法を用いることができる。特許文献 2の方法は、特異値分解を利用しているが、一般的な独立成分分析の手法を用いることちでさる。

[0082] このように、入射面及び入射角がそれぞれ類似した画素同士にクラスタリングした後、確率的独立性を仮定した反射成分分離を行うことで、平行光以外の光源環境下でも反射成分分離が可能となる。

[0083] 反射成分分離を行うことで、拡散反射を利用する多くの画像処理アルゴリズムの前処理として利用可能である。また、物体の反射特性を計算機上に取り込み (modeling )、見えを正確に再現する (rendering)と、う CV (Computer Vision) /CG (Computer Graphics)の分野において、 modelingの第 1ステップとしても利用可能である。

[0084] 特に、虹彩認証は、虹彩力もの拡散反射光を入力として個人を同定する、画像処理 '認識アプリケーションの 1つである。虹彩画像の入力の際、角膜上で生じる、照明光の鏡面反射が、撮影画像における虹彩領域と重なることが課題の 1つになっている。角膜表面はある程度の曲率を有しており、周囲に存在する広範囲の光源が映り込むため、照明位置を調整することにより映り込みを防止することは難しい。ここで、

1)角膜表面は涙の膜に覆われており、屈折率一様、局所的に光学的滑らかという両特徴を有すること

2)人間の角膜形状'大きさは個人に係らずほぼ一定であるため、予め形状モデルを用意しておくことが容易であること

3)角膜による鏡面反射は周囲の光源の分布により生じ、虹彩による拡散反射は虹彩自体の反射率から生じることから、両者の確率的独立性が仮定できる

ということから、角膜による鏡面反射分離に対して、本発明を適用できる。

[0085] なお、虹彩認証の鏡面反射対策として、特開平 9— 212644号、特開平 10— 162 146号、特開平 11 203478号などの方法が提案されている力これらは主に、虹彩撮影装置に備えられた照明（近赤外光 LEDが多く用いられている）に対応するものである。屋外で虹彩認証を行う場合には、太陽光に近赤外成分が多く含まれ、太陽光に照らされた多くの物体が新たな光源としてほぼ全周囲から角膜表面に映り込むため、上記従来手法の適用が難しい。し力しながら、本発明は、このような屋外での虹彩認証に対しても適用可能である。

[0086] なお、顔画像における眼 (角膜)領域のように、全体の一部が、屈折率一様であり、かつ、光学的滑らかである被写体の場合は、前処理として、屈折率一様であり、かつ、光学的滑らかである領域を特定した後、特定した領域に対して本発明を適用すればよい。例えば、顔画像から眼領域を抽出する方法としては、虹彩認証や顔認証で用いられて、る既存の技術を利用することができる。

[0087] すなわち、被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影し、この撮影した画像から、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域を特定する。そして、以降の処理は、この特定した領域について実行する。例えば、被写体が人の顔である場合、眼の領域を、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域として特定すればよい。

[0088] また、顔画像認証にお!、て、眼鏡の着脱に対して認証を頑健にするために、色情報や形状情報から眼鏡フレーム領域を特定'除去し、除去された領域の周辺の色情報を用いて、除去された領域を補間することによって、眼鏡を着用していない顔画像を擬似的に生成する取り組みが行われている。このとき、眼鏡のフレーム領域は除去できるが、眼鏡のレンズ領域に映り込んだ周囲の像は色や形状が不定であるため特定'除去することができず、擬似的に生成された顔画像においてノイズとなってしまい、顔認証精度を低下させるという問題がある。そこで、特定された眼鏡のフレーム領域からレンズ領域をさらに特定し、レンズ領域に対して本発明を適用し鏡面反射成分を除去することによって、顔認証の精度をさらに向上させることが可能である。眼鏡のレンズは、局所的に光学的に滑らかであり、かつ、屈折率一様という条件を満たすと考えられるため、本発明を適用可能である。

[0089] 図 11は、第 1の実施形態の変形例に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。この画像処理装置は、図 1の入射面特定部 107の代わりに、位相検出部 111を備える。また、第 1の実施形態の変形例に係る画像処理方法のフローチャートとして図 12を用いる。

[0090] 以下、図 11のブロック図及び図 12のフローチャートに従って、第 1の実施形態の変形例に係る画像処理方法及び画像処理装置について説明する。

[0091] まず、偏光画像取得部 100にお、て、被写体の画像を撮影する（SBO)。制御部 1 03は、偏光素子 101の主軸方向の角度を F通り（本実施形態では F=4)変化させると共に、異なった主軸方向に対してそれぞれ画像を撮影するようにカメラ 102の撮影タイミングを制御する。得られた F個の画像は、設定された主軸方向の角度情報と共に、フレームメモリ 104に格納される。本実施形態では、偏光素子 101として直線偏光フィルタを使用し、直線偏光フィルタをモータ等により回転させることにより主軸の角度を変化させる。主軸角度は、図 13のように 0, π/4, πΖ2, 3 Z4(rad)の 4 通りを用いる。

[0092] 次に、位相検出部 111にて、撮影された画像の画素毎に入射面を特定する（SB1) 。フレームメモリ 104に格納された F( =4)枚の画像から、画素位置 (座標）毎に輝度値変化の位相を検出する。図 14は、ある画素位置において、偏光フィルタを回転させて観測した 4個の輝度値を sin関数にフィッティングさせた結果である。同図における白抜きの四角のプロットは、それぞれ、偏光フィルタの主軸を 0, π/4, π/2, 3 兀/4 (1)の4通りに設定した時の輝度計測値(2 =1, 2, 3, 4)である。実線は、輝度計測値 ζを (数 12)の sin関数にフィッティングさせたものである。

[数 12]

/{Α,Β,φ;θ)=Α^{2θ + φ) + Β

[0093] sin関数へのフィッティングは、計測値 zと (数 12)の関数との自乗誤差が最小となる基準で算出した。即ち、（数 13)を最小化するようなパラメータ A, B, φを求める。ここで、 F = 4であり、 Θ =0, θ =π/4, θ =π/2, θ =3πΖ4である。

1 2 3 4

[数 13]

!=1

[0094] (数 13)を最小化するには (数 14)を満たせばよい。（数 12)からも分力るように (数 1 4)は非線形連立方程式であるため、ここでは非線形最適化法の 1つである Levenber g— Marquardt法を用ヽ。 Levenberg— Marquardt法の詳糸田は、「J.J. More: l'he Leve nberg— Marquardt Algorithm: Implementation and Theory, in u.A. Watson (ed. , Le cture Notes in Mathematics 630, Springer— Verlag, Berlin, 1978, 105— 116.」に記載されて、るため説明を省略する。

[数 14]

BE 3E dE

dA B φ

[0095] 図 27で説明したように、鏡面反射をカメラで観測している場合、カメラ前方に設置した偏光素子の主軸を回転させて観測される輝度値は sin関数的に変化する。よって、偏光素子の主軸角度と sin関数の輝度値変化の関係 (数 12における位相 φ )から、入射面を画像平面に投影した方向が特定できることになる。図 5は、ある画素位置において鏡面反射を観測している場合の図である。特定した入射面を画像平面に投影すると、方向に関する情報が得られる。方向を表現するために、位相 φ (0≤ φ < π ) を用いることができる。図 14のような輝度値変化が観測できず輝度値がほぼ一定である画素に対しては、その画素には鏡面反射が生じていないと判断し、位相 φの情報を以降の処理に用いない。輝度値がほぼ一定であるかどうかは、例えば、（数 15) のように (数 12)における振幅 Αが予め定めた閾値 Thよりも小さいかどうかで判断できる。

[数 15]

A < Th

[0096] 次に、法線算出部 105において、被写体上の法線方向を計算する（SB2)。本画像処理装置は、撮影対象となっている被写体の 3次元形状に関する知識を有するものとする。法線算出部 105は、形状データベース 106から被写体の 3次元形状データを取得し、撮影画像における被写体の見え (appearance)から、カメラ座標系における被写体の 3次元姿勢及び 3次元位置を推定する。 3次元姿勢及び 3次元位置が推定されれば、被写体上の任意の位置において、カメラ座標系における単位法線べタトル Ν = (η , η , n )が算出できる。以上の処理を、撮影画像において鏡面反射が存在

X Y Z

して、る全画素につ、て繰り返し、被写体の法線ベクトル Nを算出する。 [0097] 本実施の形態では、被写体の 3次元姿勢及び 3次元位置を推定するために、被写体の見えにカ卩えて、被写体の表面法線ベクトルと視線方向ベクトルとを含む面である、入射面を画像平面に射影した方向（図 5)の 2次元分布を利用する。図 15に示すように、ステップ SB 1にて偏光素子を用いて実測した入射面を画像平面に投影した方向の 2次元分布 Aが得られている場合について考える。被写体の 3次元形状データを用いて、カメラ座標における 3次元姿勢及び 3次元位置を仮定すれば、照明方向が不明でも入射面が定義でき、入射面を画像平面に射影した方向の 2次元分布 Bが得られる。 3次元姿勢および 3次元姿勢は、 6次元ベクトル Xで表現することができる。

[0098] この 2次元分布 Aと 2次元分布 Bがー致するように、カメラ座標における 3次元姿勢及び 3次元位置 Xを更新すればよい。 3次元姿勢及び 3次元位置 Xを決定すれば、被写体上の法線が算出できる。

[0099] 図 16を用いて、入射面を画像平面に射影した方向の 2次元分布 A、 Bの一致度算出の様子を説明する。座標 G, j)における方向 φについて、偏光素子を用いて実測した Aと 3次元姿勢および 3次元位置 Xを仮定して得られた Bが存在して、る場合、対応する座標 G, j)での方向 φの類似度 s は (数 16)で表現できる。

1， ]

[数 16]

cos ( _; - _Βι； (χ)

，ゾ

[0100] (数 16)を用いると、 0≤s ≤1であり、 2つの方向 φ ， φ のなす角が 0の時は s =

i， j A B i, j

1，直交する時は類似度 s =0となる。

1， ]

[0101] 2次元分布 A, B同士の一致度は、（数 16)を用いて (数 17)で表すことができる。ここで、 Ωは、実測した画像について鏡面反射が生じている座標 (i, j)の集合である。

[数 17]

S{x) =

[0102] (数 17)が最大となるような、 3次元姿勢および 3次元位置 Xを求めた後、被写体上の法線を算出する。

[0103] 被写体上の法線が算出できた場合、以降の処理は、第 1の実施形態と同様にできる。

[0104] 尚、ここでは異なる主軸を持った偏光素子を通して撮影した画像の個数を F=4とした力サンプリング定理力も F≥ 3であればょ、。

[0105] 本実施の形態では、第 1の実施形態よりも 3次元位置および 3次元姿勢の推定のために利用できる情報が多くなるため、それらの推定が容易になるという利点がある。

[0106] (屈折率の推定）

本発明は、さまざまな方向から入射する照明光が、さまざまな法線を持った被写体で鏡面反射を生じる場合でも鏡面反射成分と拡散反射成分を分離することができる

。換言すれば、さまざまな入射角で生じた鏡面反射を分離することができる。この分離結果を利用して、屈折率は被写体に関して略一様であるという前提の下で、被写体の物理特性の一つである屈折率を推定可能である。この屈折率は画素単位で推定できるため、画素単位で推定した値の平均値や中間値を算出することで、より確からしい推定が可能になる。

[0107] 屈折率を推定することにより、非接触で物質の種類を推定することができる。また、屈折率は被写体の鏡面反射特性を決定するフレネル係数を決定するため、物体の反射特性を計算機上に取り込み (modeling)、見えを正確に再現する (rendering)という CV (Computer Vision) , CG (Computer Graphics)に貢献することができる。

[0108] 以下に、図 17のフローチャートを用いて屈折率推定方法を説明する。上述した本発明に係る反射成分分離を行って、既に鏡面反射成分と拡散反射成分が分離されているとする。

[0109] カメラの前方に設置した偏光素子の主軸方向を変化させて鏡面反射を含む画素を観測した場合、その輝度値は、主軸方向角度に対して sin関数的に変化することを図 27にて説明した。図 18からも分力るように、偏光素子の主軸と入射面が直交しているとき輝度値は最大となる。この時、偏光素子を通過する前の輝度値における拡散反射成分を I

d ,鏡面反射成分を I

sとした場合、偏光素子を通して観測される輝度 I

maxは（数 18)で表される。ここで用いる I , Iは、（数 7)で用いたベクトル I , Iとは異なりスカ

d s d s ラーである _c

[数 18]

+ —— ^s- ^ I 二 I

2 F s + F p ^s ここで、 F , Fはそれぞれ (数 3)、（数 4)で表される、反射エネルギについてのフレ

P s

ネル係数である。同様に、偏光素子の主軸と入射面が平行であるとき、輝度値は最小となり、この時、偏光素子を通して観測される輝度 I

minは (数 19)で表される。

[数 19]

2 F + F P, 異なる主軸を持った偏光素子を通して撮影した画像の個数 Fが 3以上であるとき、図 14のように、注目画素での輝度値変化に sin関数をフィッティングさせることにより、観測される輝度値変化の最大値 I

max及び最小値 I

minを求めることができることについては既に述べた。本発明の反射成分分離方法を用いた後、同様にして、それぞれ（数 20) , (数 21)で表される鏡面反射成分 Isの最大値 Is 、最小値 Is を求める（SD

max mm

0)。

[数 20]

I. 二 I.

F + F

[数 21]

図 19は、偏光素子の主軸と入射面のなす角度に対する輝度値変化について、 (a) 反射成分分離前と (b)反射成分分離後 (鏡面反射成分のみ)の場合につ、て表したグラフの例である。

[0113] 次に、最小値 Is が予め定めた閾値 Th以上であるかどうかを判定する（SD1)。閾

mm 2

値 Th以上である場合は、以下のステップ SD2を実行する。

2

[0114] 鏡面反射成分 Isの最大値 Is 、最小値 Is の比を計算すると (数 22)が得られる。

max min

[数 22] cos

COS

[0115] (数 5)のスネルの法則を利用すると、鏡面反射成分の最大値と最小値の比は、マイクロファセットへの局所入射角 Θ ' ,相対屈折率 nで表すことができる。被写体が光学的に滑らかである場合、局所入射角 Θ 'とマクロ法線に関する入射角 Θは等しい。入射角 θは画素毎に算出済であるため、鏡面反射を生じている画素位置毎に (数 23) を解くことにより、画素位置毎の相対屈折率 nが算出できる。

[数 23]

[0116] ここで、入射角がブリュースタ角に近い画素位置の場合はフレネル係数 F力^に近

P

づくため、鏡面反射成分の最小値 Is 力^に近づき、（数 23)の比の値は非常に大き

mm

くなり、相対屈折率 nの推定誤差が大きくなるために、上記の処理は行わない。つまり、閾値 Thは、 1/ls を数値計算に用いることができる力否かを判断するための閾

2 mm

値であり、最小値 is が閾値 Thよりも小さいときには、上記の処理は行わない。

mm 2

[0117] 図 20は、鏡面反射成分の最小値 Is が閾値 Th以上である場合の、偏光素子の主

mm 2

軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。この例では、鏡面反射成分の最小値 Is が閾値 Th以上であるため、（数 23)の比の値が所定の

mm 2

精度で計算できる。 [0118] ステップ SD1にて閾値 Th未満であった場合は、以下のステップ SD3以降を実行

2

する。

[0119] まず、最小値 Is が予め定めた閾値 Th未満であるかどうかを判定する（SD3)。閾

mm 3

値は Th≤Thの関係を満たすものとする。ここで、 Thく Thとした場合は、最小値 Is

3 2 3 2 m 力 Sさらに閾値 Thよりも小さい場合が存在する。その場合 (ステップ SD3にて Noの場 in 3

合）は、現在注目している画素位置については、ステップ SD2及び、後述するステツプ SD5の計算のそれぞれにお、て計算誤差が大き!/、と判断し、屈折率計算を行わない（SD6)。尚、 Th =Thとした場合において、ステップ SD1において閾値 Th未満

3 2 2 と判定されたときは、全て次のステップ SD4を実行する（ステップ SD3, SD6が省略される）。

[0120] ステップ SD3にて、最小値 Is が予め定めた閾値 Th未満であった場合、現在注

min 3

目している画素の入射角はブリュースタ角であると判断する（SD4)。つまり、閾値 Th

3 は最小値 Is 力 O (ゼロ）とみなすことができる力否かを判断する閾値である。

mm

[0121] 図 21は、鏡面反射成分の最小値 Is が閾値 Th未満である場合の、偏光素子の主

mm 3

軸と入射面のなす角度に対する輝度値変化を表したグラフの例である。この例では、鏡面反射成分の最小値 Is が Th未満であるため、現在注目して、る画素の入射角

mm 3

がブリュースタ角であると判断される。

[0122] そして、既に求められた、現在の注目画素における入射角 Θを利用して、（数 24) により相対屈折率 nを算出する（SD5)。

[数 24] n = tan θ_ί

[0123] 媒質 1が空気の場合、相対屈折率の値はそのまま媒質 2 (被写体)の屈折率となる。

本実施の形態では、複数の画素位置において独立に屈折率を算出した。また、被写体の屈折率は略一様であるという仮定があるので、算出した複数の屈折率の中間値又は平均値を計算することで、屈折率をよりロバストに推定可能である。

[0124] (第 2の実施形態）

図 22は、第 2の実施形態に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。第 1の実施形態及びその変形例で説明した、偏光画像取得部 100、偏光素子 101、カメラ 102、制御部 103、フレームメモリ 104、入射角算出部 108、位相検出部 111、分類部 109、反射成分分離部 110をそれぞれ 2つずつ備えている。添え字 a、 bを用いて 2組を区別する。また、法線算出部 105を 1つ備える。第 2の実施形態に係る画像処理方法のフローチャートとしては、図 23を用いる。

[0125] 以下、図 22のブロック図及び図 23のフローチャートに従って、第 2の実施形態に係る画像処理方法及び画像処理装置について説明する。

[0126] まず、偏光画像取得部 100a, 100bのそれぞれにおいて、被写体の画像を撮影する（SB0)。それぞれにおける処理は、第 1の実施形態の変形例におけるステップ SB 0と同様である。すなわち、偏光画像取得部 100a, 100bにて、それぞれ F (=4)個ずつの画像を撮影する。偏光画像取得部 100a, 100bによって撮影された画像セットを、それぞれ、画像セット A, Bと呼ぶ。また、 2台のカメラ 102a、 102bは、以降の法線算出ステップ SC4にてステレオ計測を行うために、予めカメラキャリブレーションを行っておくものとする。

[0127] 次に、位相検出部 11 la, 11 lbのそれぞれにおいて、撮影された画像セット A, B の画素毎に入射面を特定する（SB1)。それぞれにおける処理も、第 1の実施形態の変形例におけるステップ SB1と同様である。

[0128] 次に、反復回数のカウンタ rを 0にセットする（SC2)。

[0129] 次に、分類部 109a, 109bのそれぞれにおいて、画像セット A, Bのそれぞれに対して、入射面が類似している画素同士をクラスタリングする（SC3)。以降は、画像セット Aに対する処理を説明する力画像セット Bに対する処理も同様である。

[0130] クラスタリング手法として任意の方法を用いることができる力ここでは k-meanァルゴリズムを用いる。まず、初期クラスタとして、位相 φで張られる 1次元空間内に、 C個のクラスタ中心 φ を均等に配置する（c = 0, · ··, C -l) oクラスタ数 Cは、予備実験 c0 1 1

において事前に決定しておく。鏡面反射が生じている画素数を K個とすると、位相（入射面方向） φ を有する k番目の画素が属するクラスタ番号は、（数 25)を満たす c k kj とすることができる（k=0, ···, κ-ι)。

[数 25] cんゾ = arg i^n _ A ))

[0131] ここで、 jはクラスタリング回数を表す。現在は j = 0である。 φ は、クラスタリング j回目の c番目のクラスタ中心を表す。また、関数 d(x)は、図 9で表されるように、 x=士 π Ζ2のときに極大値をとり、 χ = 0, 士 πのときに極小値 0をとる関数である。 Κ個の画素を全て C個のクラスタのどれかに属させた後は、クラスタ中心を更新（同時に jをィンクリメント）し、繰り返しクラスタリングを行う。全クラスタ中心の移動距離が予め定めた距離閾値よりも小さくなればクラスタリングを終了する。尚、クラスタリング回数 jが予め定めた所定回数に達した場合にクラスタリングを終了するようにしてもょ、。

[0132] この段階では、鏡面反射が生じている画素を、入射面の方向が類似している画素同士にクラスタリングしただけであり、同一クラスタの中で入射角の大きさは類似して V、な、場合がある。被写体の法線方向が未知の場合は入射角が算出できな、ので、ここでは、暫定クラスタリングとして、画像平面の座標が近いもの同士を更にクラスタリングする。 C個のクラスタに対し、それぞれを更に C個のクラスタに分割する。結果

1 2

として C X C個のクラスタに分割されたことになる。クラスタリングの詳細については

1 2

省略する。

[0133] 以上の処理を、画像セット Bに対しても行う。

[0134] 次に、反射成分分離部 110a, 110bのそれぞれにおいて、画像セット A, Bのそれぞれおける、同一のクラスタに含まれる画素の集合毎に反射成分分離を行う (SC7) 。同一のクラスタに含まれる画素同士は、入射面がほぼ揃っている。また、画像平面での座標が近いもの同士をクラスタリングしているため、同一のクラスタに含まれる画素同士は入射角がほぼ揃っているとみなせる。よって、反射成分分離手法として特許文献 2の方法を用いることができる。特許文献 2の方法は特異値分解を利用してヽるが、一般的な独立成分分析の手法を用いることもできる。

[0135] この段階で、異なる 2つのカメラ 102a、 102bにより撮影された 2つの画像セット A, Bから、それぞれ拡散反射成分と鏡面反射成分とを分離した。図 24に、ここまでの処理の概要を図示する。ただし、被写体上に法線によるエッジがある場合は、同一のクラスタに含まれる画素同士は入射角が揃って!/、な、ために、反射成分分離の精度が低くなつている可能性がある。そのため、本実施の形態では、分離した拡散反射成分より法線を推定し、得られた法線を用いて反射成分分離をする処理 (ステップ SC4〜 SC7)を少なくとも 1回以上繰り返す。

[0136] 反復回数 rが上限 Rに達して!/ヽな、かのチェックを行!ヽ（SC8)、上限 R以上であれば終了する。そうでなければ rを 1だけインクリメントする（SC9)。

[0137] 次に、法線算出部 105にて、被写体上の法線方向を算出する（SC4)。ここでは、力メラ 102a, 102bのそれぞれにより撮影された画像セット A, B力も分離された、 2つの拡散反射画像を用いてステレオ視を行い、距離画像を得た後、法線方向を算出する。ステレオ視として、 area-basedステレオ視を用いることができる。ステレオ視に関しては、多くの文献に記載がある力例えば、「コンピュータビジョン技術評論と将来展望，松山隆司'久野義徳'井宫淳編，新技術コミュニケーションズ，第 8章ステレオ視」に概要が記載されて、るので、ここでは説明を省略する。

[0138] ステレオ視により、両カメラ 102a、 102bにより撮影した輝度画像に対応する depth 画像 Da(x, y) , Db(x, y)が得られる。ここで、（x, y)は、図 4で説明した画像平面における x、 y座標値であり、 depth画像の要素はカメラ座標系における Z座標値である。次に、 depth画像 Da(x, y)から法線画像 Na(x, y)を、 depth画像 Db(x, y)から法線画像 Nb(x, y)をそれぞれ生成する。法線画像の要素は、カメラ座標系（X, Υ, Z)における単位法線ベクトル方向（η , η , n )の 3次元となる。

X Y Z

[0139] d印 th画像力も法線画像を算出するさまざまな方法が提案されているが、ここでは以下のような方法を用いる。 depth画像において、図 25 (a)のように座標 (i, j)に注目した場合、 8近傍の depth値を利用して、図 25 (b)のように注目点と隣接 8点との間に三角面を定義する。そして、各三角面の単位法線ベクトルを算出し、それらの単位法線ベクトルの平均を計算することにより、注目画素 (i, j)の単位法線ベクトル Nを算出する。各三角面の法線ベクトル方向は、三角面を張る 2つのベクトルの外積から計算できる。以上の方法を、 depth画像 Da, Dbの全画素に対して適用することにより、法線画像 Na, Nbを得る。

[0140] 本実施の形態では、反射成分分離処理で得られた拡散反射画像をステレオ視に用いて、一度距離値を求め、その後、法線を算出したが、「L.B.Wolff, "Surface orien tation from two camera stereo with polarizers", in Proc. Opt. Illumination Image Sen sing Machine Vision IV, vol.1194 (Philadelphia, PA), Nov. 1989, pp.287- 297.」で開示されているように、鏡面反射の入射面を利用したステレオ視を用いて、法線を直接算出してもよい。この従来技術では、被写体上の同一点を 2台のカメラで観測している場合、 2台のカメラ両方で鏡面反射を観測する必要がある。 2個のカメラ画像における対応点検出には、先に説明した拡散反射成分を利用したステレオ視を用いることができる。対応点が分かれば、鏡面反射成分の輝度値変化から求めた入射面を利用したステレオ視により法線を算出することができる。

[0141] 次に、入射角算出部 108a, 108bのそれぞれにおいて、被写体上の鏡面反射を力メラで観測している時の入射角を、鏡面反射が存在する画素毎に特定する（SC5)。ここでの処理は、第 1の実施形態におけるステップ SA3と同様であるので詳細は省略する。

[0142] 次に、分類部 109a, 109bのそれぞれにおいて、画像セット A, Bのそれぞれに対して、入射面と入射角の両方がそれぞれ類似している画素同士をクラスタリングする（ SC6)。ここでの処理は、第 1の実施形態におけるステップ SA4と同様であるので詳細を省略する。

[0143] 次に、反射成分分離部 110a, 110bのそれぞれにおいて、画像セット A, Bのそれぞれおける、同一のクラスタに含まれる画素の集合毎に反射成分分離を行う (SC7) 。同一のクラスタに含まれる画素同士は、入射面がほぼ揃っている。また、入射角に関しては、 j = 0回目の反射成分分離で得られた拡散反射成分を利用して法線を算出しており、前回よりも入射角が揃ったクラスタリングが達成できている。よって、特許文献 2の方法を再度用いて、反射成分分離を行う。

[0144] 以上説明した、ステップ SC4〜SC7の各処理を、所定回数 Rに達するまで繰り返し行うことにより、精度の良い反射成分分離が行い得る。

[0145] 尚、第 2の実施形態に係る画像処理方法に従って反射成分分離を行った後に、上述した屈折率推定を行うことも可能である。

産業上の利用可能性

[0146] 本発明は、一般的な照明環境で撮影した画像について、拡散反射成分と鏡面反射成分とを分離するための画像処理方法を提供するので、拡散反射成分を利用する、多くの画像処理アルゴリズムの前処理として利用できる。また、物体の反射特性を計算機上に取り込み（modeling)、見えを正確に再現する (rendering)という CV (Comp uter Vision) /CG (Computer Graphics)の分野において、 modelingの第 1ステップとしても利用可能である。

Claims

請求の範囲

[1] 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、

前記撮影した複数の画像から、鏡面反射が生じている画素群について、画素毎に、入射面を特定するステップと、

前記撮影した複数の画像から、前記画素群について、画素毎に、入射角を算出するステップと、

前記画素群にっヽて、

ヽる画素同士をクラスタリングして、少なくとも 1つの画素集合を形成するステップと、

前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行!、、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離するステップとを備えた

ことを特徴とする画像処理方法。

[2] 請求項 1に記載の画像処理方法において、

前記入射面特定ステップは、

前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線べタトルとから、入射面を特定するステップとを備えた

ことを特徴とする画像処理方法。

[3] 請求項 1に記載の画像処理方法において、

前記入射角算出ステップは、

前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線べタトルとから、入射角を算出するステップとを備えた

ことを特徴とする画像処理方法。

[4] 請求項 2又は請求項 3に記載の画像処理方法にお、て、

前記法線ベクトル算出ステップは、

既知である前記被写体の 3次元形状データを用いて、撮影した前記画像における被写体の見えを基に、カメラ座標系における前記被写体の 3次元位置及び 3次元姿勢を推定するステップを備え、

推定した前記被写体の 3次元位置及び 3次元姿勢を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出するものである

ことを特徴とする画像処理方法。

[5] 請求項 1に記載の画像処理方法において、

前記入射面特定ステップは、撮影した前記画像の数が 3以上のとき、

前記画素群の画素毎に、前記偏光素子の主軸角度に対する輝度値変化の位相を検出するステップを備え、

検出した位相から、入射面を特定するものである

ことを特徴とする画像処理方法。

[6] 請求項 5に記載の画像処理方法において、

前記入射角算出ステップは、

前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線べタトルとから、入射角を算出するステップとを備え、

前記法線ベクトル算出ステップは、撮影した前記画像の数が 3以上のとき、前記入射面特定ステップにおいて前記画素群の画素毎に特定した入射面を画像平面に射影した方向の、第 1の 2次元分布を算出するステップと、

既知である被写体の 3次元形状モデルを用いて、カメラ座標系における被写体の 3 次元位置及び 3次元姿勢を仮定し、仮定した前記 3次元位置及び 3次元姿勢を有する前記 3次元形状モデルを射影した画像平面における画素毎に入射面を計算し、前記計算した入射面を画像平面に射影した方向の、第 2の 2次元分布を算出するステップと、

前記第 1及び第 2の 2次元分布同士をマッチングさせることにより、前記被写体の 3 次元位置及び 3次元姿勢を決定するステップと、

決定した前記被写体の 3次元位置及び 3次元姿勢を基に、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップとを備えたものであることを特徴とする画像処理方法。

[7] 請求項 1に記載の画像処理方法において、

前記入射面特定ステップの後に、

前記画素群について、入射面が類似している画素同士を暫定的にクラスタリングして、少なくとも 1つの画素集合を形成する暫定クラスタリングステップを実行し、その後、前記反射成分分離ステップを、前記暫定クラスタリングステップで形成された各画素集合において、実行し、

その後、前記入射角算出ステップ、前記クラスタリングステップ、および前記反射成分分離ステップを、所定回数、繰り返し実行するものであり、

前記入射角算出ステップは、

前回実行された反射成分分離ステップによって得られた拡散反射成分を用いて、前記画素群の画素毎に、被写体の法線ベクトルを算出するステップと、

前記画素群の画素毎に、当該画素に対応する被写体の法線ベクトルと視線べタトルとから、入射角を算出するステップとを備えたものである

ことを特徴とする画像処理方法。

[8] 請求項 1に記載の画像処理方法において、

撮影した前記画像の数が 3以上のとき、

前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最大値と最小値を算出し、

前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角から、前記被写体の屈折率を算出するステップをさらに備えた

ことを特徴とする画像処理方法。

[9] 請求項 1に記載の画像処理方法において、

撮影した前記画像の数が 3以上のとき、

前記画素群中の注目画素について、前記偏光素子の主軸角度に対する前記鏡面反射成分の輝度値変化から、当該輝度値の最小値を算出し、

前記最小値が予め定めた第 1の閾値より小さいとき、前記入射角算出ステップにおいて算出した前記注目画素における入射角はブリュースタ角であると判断し、このブリュースタ角から、前記被写体の屈折率を算出するステップをさらに備えたことを特徴とする画像処理方法。

[10] 請求項 1に記載の画像処理方法にぉ、て、

撮影した前記画像の数が 3以上のとき、

前記最小値が予め定めた第 2の閾値以上であるときは、前記最大値と前記最小値との比の値及び、前記入射角算出ステップにおいて算出した前記注目画素における入射角から、前記被写体の屈折率を算出するステップをさらに備えた

ことを特徴とする画像処理方法。

[11] 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影する偏光画像取得部と、

前記偏光画像取得部によって、主軸方向が互いに異なる偏光素子を通して撮影された複数の画像から、鏡面反射が生じている画素群について、画素毎に、入射面を特定する入射面特定部と、

前記複数の画像から、前記画素群について、画素毎に、入射角を算出する入射角算出部と、

前記画素群について、前記入射面特定部により特定された入射面及び前記入射角算出部により特定された入射角の両方が類似している画素同士をクラスタリングして、少なくとも 1つの画素集合を形成する分類部と、

前記分類部により形成された各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行、、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する反射成分分離部とを備えた

ことを特徴とする画像処理装置。

[12] 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通して撮影した複数の画像を取り込んで、当該複数の画像から、鏡面反射が生じている画素群について、画素毎に、入射面を特定する処理と、前記複数の画像から、前記画素群について、画素毎に、入射角を算出する処理と前記画素群にっヽて、

ヽる画素同士をクラスタリングして、少なくとも 1つの画素集合を形成する処理と、

前記各画素集合において、拡散反射成分と鏡面反射成分との間の確率的独立性を仮定して反射成分分離を行!、、各画素の輝度値を拡散反射成分と鏡面反射成分とに分離する処理と

をコンピュータに実行させる画像処理プログラム。

[13] 被写体を、任意の照明下で、主軸方向が互いに異なる偏光素子を通してカメラにより複数画像、撮影するステップと、

前記撮影した画像から、屈折率が一様であり、かつ、局所領域において光学的に滑らかである領域を特定するステップと、

前記撮影した複数の画像における前記領域から、鏡面反射が生じて、る画素群について、画素毎に、入射面を特定するステップと、

前記撮影した複数の画像における前記領域から、前記画素群について、画素毎に、入射角を算出するステップと、

前記画素群にっヽて、前記入射面及び入射角の両方が類似してヽる画素同士をクラスタリングして、少なくとも 1つの画素集合を形成するステップと、

ことを特徴とする画像処理方法。

[14] 請求項 13に記載の画像処理方法において、

前記被写体は、人の顔であり、

前記領域特定ステップは、眼の領域、または眼鏡のレンズの領域を、前記領域として特定するものである

ことを特徴とする画像処理方法。