JPWO2009147814A1 - 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 - Google Patents
法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 Download PDFInfo
- Publication number
- JPWO2009147814A1 JPWO2009147814A1 JP2009542858A JP2009542858A JPWO2009147814A1 JP WO2009147814 A1 JPWO2009147814 A1 JP WO2009147814A1 JP 2009542858 A JP2009542858 A JP 2009542858A JP 2009542858 A JP2009542858 A JP 2009542858A JP WO2009147814 A1 JPWO2009147814 A1 JP WO2009147814A1
- Authority
- JP
- Japan
- Prior art keywords
- polarization
- normal
- information
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
- G03B35/26—Stereoscopic photography by simultaneous viewing using polarised or coloured light separating different viewpoint images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
被写体を撮像することによって、被写体の表面における精度の高い法線情報を生成する。法線情報生成装置は、被写体を撮像することによって被写体の表面における法線情報をパッシブに生成する。法線情報生成装置は、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部とを有している。
Description
本発明は、被写体を撮像することによって被写体の表面における法線情報を生成する技術に関し、特に、複数視点から撮像した、偏光画像から法線情報を生成する技術に関する。さらに本発明は、生成した法線情報を利用して、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する技術に関する。
カメラ付き携帯電話やデジタルカメラ、デジタルムービーカメラなどは将来、ＨＤＴＶ並みに高精細化すると言われており、付加価値を求めて小型化も進行中である。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などの基本的な画像撮像の限界の問題が発生し、将来的には高精細化も限界に到達すると考えられる。その場合、不足する取得された被写体の画像情報に加えてコンピュータグラフィックスで画像生成に利用される各種物理特性に関係する情報量の付与を行なうことで画質を向上することが有効になる。そのためには、従来の２次元画像処理の枠を超え、被写体の３次元形状情報や、被写体を照明する光源の情報など、画像生成過程における物理情報を取得しなくてはならない。
形状情報の入力には、レーザ光やＬＥＤ光源を投光するレンジファインダや、２眼ステレオなどの距離計測システムが必要である。しかし、このような距離計測システムは大掛かりになる上に、たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかデータを取得できないという制約や、対象被写体が固形物で明るい拡散物体に限られるなどの制約がある。これでは、子供の運動会などの遠距離の屋外シーン撮像や、髪の毛や衣服が重要な人物撮像には利用できない。
また、これらの手法は３次元形状情報として奥行情報を取得する。しかし、画像生成過程における物理情報としては奥行情報ではなく、法線情報が非常に有効である。もちろん、これらの手法から求めた奥行情報から法線情報を取得することは広く行なわれているが（例えば、非特許文献１）、こうして求められた法線情報は精度が十分でないことが知られている（例えば、非特許文献２）。
つまり、屋外シーンや一般被写体において上記目的を達成するためには、完全にパッシブ（受動的）に法線情報を直接、センシング（計測）する方法が必要である。
法線情報を直接計測する手法としては、Ｐｈｏｔｏｍｅｔｒｉｃ ＳｔｅｒｅｏなどのいわゆるＳｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ法と偏光を利用した手法が知られている。しかし、前者は、光源位置が既知であるか、光源位置を変動させる必要があるため、アクティブなセンシング方法となり、パッシブなセンシング方法ということはできない。
偏光を利用した手法として、例えば、特許文献１では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら鏡面反射成分を観測する方法で被写体の局所的な法線情報を生成する方法が開示されている。被写体の表面法線は２つの自由度を有するが、これらは光の入射と反射の光線を包含する入射面と、入射面内での入射角という２つの角度を求めることにより法線を決定している。鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求めている。
また、非特許文献３では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら拡散反射成分を観測する方法で、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面の角度１自由度を求めている。拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求めている。
また、非特許文献４では、非特許文献３と同様の手法で角度１自由度を求め、さらに偏光度を直接、利用することで法線方向ベクトルを求めている。
さらに、非特許文献５では、偏光情報とＳｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ法を組み合わせることにより、テクスチャがない被写体に対しても、法線情報の計測を行なっている。
H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, and W. Stuetzle, "Surface reconstruction from unorganized points," Computer Graphics (SIGGRAPH '92 Proceedings), pp.71-78, 1992.
肥後智昭，宮崎大輔，池内克史，"陰影からの形状と反射パラメータの同時推定"，画像の認識・理解シンポジウム (MIRU2007)，pp.1093-1098，2007
Ondfej Drbohlav and Sara Radim，"Using polarization to determine intrinsic surface properties"，Proc. SPIE Vol.3826，pp.253-263，1999
G. A. Atkinson and E. R. Hancock, "Recovery of surface orientation from diffuse polarization," IEEE Transactions of Image Processing, Vol.15, No.6, pp.1653-1664, 2006
Gary A. Atkinson and Edwin R. Hancock，"Shape Estimation Using Polarization and Shading from Two Views"，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.29，Iss.11，pp.2001-2017，2007
しかしながら、上述したいずれの文献も、問題点を抱えている。具体的には以下のとおりである。
上記特許文献１の技術では、鏡面反射成分のみを対象にしているため、特殊な光源を利用しない限り、被写体全体の法線情報を取得することはできない。
また、非特許文献２の技術では、光源位置を変えた非常に多くの画像を必要とするため、パッシブな手法ではない。
また、非特許文献３の技術では、拡散反射成分の法線１自由度のみを対象にしており、鏡面反射成分のような反射特性の異なる領域では正確に法線情報を求めることができないという問題がある。また、非特許文献３の技術では、鏡面反射成分の影響を除去するため、光源をカメラ近傍に設置している。そのため、やはり特殊な光源が必要となり、パッシブな手法とは言いがたい。
さらに、非特許文献４では、偏光度から直接、法線方向ベクトルを求めている。しかし、偏光度情報は多重反射などの影響を非常に受けやすいため、適用できる被写体の材質や形状、さらに撮影環境が大幅に限定されてしまう。
また、非特許文献５では、被写体を回転テーブルに設置して撮影を行なうため、やはりパッシブな手法ではない。
また、近年のカメラでは高ダイナミックレンジ化が進んでいる。そのため、鏡面反射成分による偏光と拡散反射成分による偏光が同時に取得されるため、両者の領域に対して法線情報を取得する手法が必要である。
本発明による画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部とを有している。
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割してもよい。
前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成してもよい。
前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成してもよい。
前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成してもよい。
前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成してもよい。
前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去してもよい。
前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得してもよい。
前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成してもよい。
本発明による他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択してもよい。
前記画像処理装置は、前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えていてもよい。
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換えてもよい。
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換えてもよい。
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定してもよい。
前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変えてもよい。
前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。
前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変えてもよい。
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。
前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成してもよい。
前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択してもよい。
前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定してもよい。
前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定してもよい。
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部とを備えている。
前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成してもよい。
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択してもよい。
前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。
前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。
本発明による画像処理方法は、被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップとを包含する。
本発明によるコンピュータプログラムは、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、上述の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる。
本発明による視点変換画像生成装置は、複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部と、前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部とを備えている。
前記視点変換画像生成装置は、所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、複数の画像を合成して１枚の画像を生成する合成部と、画像を提示する提示部とをさらに備え、前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、前記提示部は、合成された画像を提示してもよい。
前記視点変換画像生成装置は、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元してもよい。
前記視点変換画像生成装置は、視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有していてもよい。
前記視点変換画像生成装置は、観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有していてもよい。
本発明による画像生成装置は、被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部とを備えている。
本発明によれば、被写体の偏光情報を利用することで、鏡面反射領域と拡散反射領域の領域分割が行われ、領域ごとに法線情報が生成される。これにより、広い領域についてパッシブに精度の高い法線情報を生成（または推定）できる。
添付の図面を参照しながら、本発明による法線情報生成装置および法線情報生成装置を備えた画像処理装置の実施形態を説明する。
以下に説明する各実施形態は、主として本発明による法線情報生成装置に関している。各実施形態の説明に先立って、まず法線情報生成装置を備えた画像処理装置の構成および動作を説明する。
図１は、本発明による画像処理装置５００の構成を示す。画像処理装置５００は、法線情報生成装置５０１と、画像撮像部５０２と、ＤＢ５０３と、画像処理部５０４と、提示部５０５とを備えている。
法線情報生成装置５０１は、後述の第１から第７の実施形態のいずれかにかかる法線情報生成装置である。法線情報生成装置５０１は、被写体の表面における法線情報を生成して出力する。この情報は、法線情報生成装置５０１によって推定された、画像内の法線方向ベクトルを示している。本明細書においては、法線情報生成装置５０１が法線情報（法線方向ベクトル）を生成することを「法線情報（法線方向ベクトル）を推定する」ということがある。
なお、法線情報生成装置５０１は１つの筐体に収められていてもよいし、または、画像撮像部５０２、ＤＢ５０３および画像処理部５０４とともに１つの筐体に収められていてもよい。前者の場合は、後述する画像撮像部５０２（カメラ）、提示部５０５（ディスプレイ）等の他の構成要素とともに、１つの画像処理システムとして実現されてもよい。
画像撮像部５０２は、たとえばカメラであり、被写体を撮像する。後述する各実施形態による各法線情報生成装置は画像撮像部を有しているため、当該画像撮像部を利用することにより、法線情報生成装置とは別に画像撮像部５０２を設ける必要はなく、省略してもよい。
ＤＢ５０３は、被写体情報等を保持している。提示部５０５は、たとえばディスプレイであり、画像処理部５０４で作成された画像をユーザに提示する。
画像処理部５０４は、画像撮像部５０２によって撮像された画像情報と、法線情報生成装置５０１によって推定された法線方向ベクトル情報と、前記ＤＢ５０３に保持されている被写体情報とを利用して、画像処理を行なう。
例えば、画像処理部５０４は、モデルベースの画像合成と呼ばれている手法を利用して画像処理を行なっても構わない。この手法は、被写体の法線情報やテクスチャ情報を取得し、さらに、光源情報、カメラ情報などを利用することで、自由な視点位置の画像や、任意の光源環境の画像を合成するものである。そのため、デジタルアーカイブや拡張現実の分野において、インタラクティブな画像提示方法として利用されている（例えば、Y. Sato, M. D. Wheeler, and K. Ikeuchi, "Object shape and reflectance modeling from observation", SIGGRAPH 97, pp.379-387, 1997）。法線情報生成装置５０１として、本実施形態の法線情報生成装置を利用することで、高精度なモデルベースの画像合成が可能である。
または、画像処理部５０４は、モデルベースの画像の高解像度化処理を行なっても構わない。学習を利用した画像処理において、学習時と画像合成時の視点位置や光源環境の変化が大きな問題とされていた。しかし、モデルベースの手法を導入することで、この問題を解決し、高精度な高解像度化処理が可能である。このような画像処理装置５００は、例えば、特許第４０８２７１４号公報などを利用すればよい。
または、画像処理部５０４は、ＦＡ（ファクトリー・オートメーション）などで広く利用されている、被写体の表面検査などに利用される画像処理を行なっても構わない。これは、理想的な表面法線方向と実際の表面法線方向を比較することで、被写体表面の傷などを検出する技術である。
図２は、画像処理装置５００が３次元形状情報を取得する手法を比較した図である。法線情報生成装置５０１は、３次元形状情報を構成する情報のうちの法線情報をパッシブに生成する。従来の偏光法等はアクティブに法線情報を求めるものであり、パッシブに生成する本発明とは相違する。３次元形状情報を構成する奥行情報については、本発明の対象ではないため、説明は省略する。
図３は、画像処理装置５００による処理の流れを示すフローチャートである。各ステップＳ６０１〜Ｓ６０５を囲む破線に対して付された参照符号５０１〜５０５は、上述の画像処理装置５００の構成要素の参照符号に対応しており、各構成要素が実行する処理であることを示している。
まず、画像撮像部５０２は、被写体表面の撮像を行なう（ステップＳ６０１）。法線情報生成装置５０１は、各実施形態に関連して後述されるいずれかの手法を利用することで、被写体表面の法線方向ベクトルｎｅを推定する（ステップＳ６０２）。
画像処理部５０４は、ＤＢ５０３に保持されている、被写体表面の理想法線方向ベクトルｎｉを取得する（ステップＳ６０３）。被写体表面の理想法線方向ベクトルｎｉは、例えば、被写体のＣＡＤ情報から作成した、形状情報として実現すればよい。ここで、ステップＳ６０１、ステップＳ６０２、ステップＳ６０３の順序は任意であり、順次実行してもよいし、もちろん、並列的に実行しても構わない。
画像処理部５０４は、法線情報生成装置５０１によって推定された被写体表面の法線方向ベクトルｎｅと、ＤＢ５０３に保持されていた被写体表面の理想法線方向ベクトルｎｉを比較することで、異常法線を検出する（ステップＳ６０４）。
この処理を具体的に説明すると、まず画像処理部５０４は、画像撮像部５０２で撮像された画像情報を利用して、理想法線方向ベクトルｎｉの形状情報の位置合わせを行なう。その後、画像処理部５０４は、法線方向ベクトルｎｅと理想法線方向ベクトルｎｉの差分を検出し、差分値が大きい法線方向ベクトルｎeを異常法線として検出する。画像情報を利用した形状情報の位置合わせは、公知の技術を利用すればよい。
提示部５０５は、画像撮像部５０２で撮像された被写体の画像に対し、画像処理部５０４によって検出された異常法線に対応する画素を強調し、ユーザに提示する（ステップＳ６０５）。このような画素の強調は、例えば、異常法線に対応する画素を赤い色で表示するなどの処理を行なえばよい。
なお、法線情報を利用して異常法線を検出する上述の処理は一例である。得られた法線情報を被写体の画像情報とともに利用することにより、画像生成に利用される各種物理特性に関係する情報量の付与を行なうことも可能である。これにより、被写体の画像情報のみを利用して表示されたコンピュータグラフィックスよりも高品質なコンピュータグラフィックスを提供することが可能になる。
以下、法線情報生成装置の各実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施の形態による法線情報生成装置の概要を説明する。
まず、本発明の第１の実施の形態による法線情報生成装置の概要を説明する。
図４は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、被写体を撮像することによって被写体の表面における法線情報を生成する。
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１を構成する偏光画像撮像部１０２および１０２−２、偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２、法線情報生成部１０７および出力部１２０を備えている。
このうち、第２の偏光画像撮像部１０２−２、第２の偏光情報取得部１０３−２、第２の領域分割部１０５−２、第２の法線１自由度推定部１０６−２の処理は、第１の偏光画像撮像部１０２、第１の偏光情報取得部１０３、第１の領域分割部１０５、第１の法線１自由度推定部１０６の処理と同等である。よって、以下の説明において、多くの場合、簡略化のために後者のみを用いて説明する。
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。
偏光画像撮像部１０２は、偏光主軸角度が異なる複数の偏光子を透過してくる光を受けることで、被写体の偏光画像を取得する。
偏光情報取得部１０３は、偏光画像撮像部１０２によって取得された偏光画像から、当該偏光画像を構成する画像領域のそれぞれについて、複数の偏光子の偏光主軸角度と複数の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する。
領域分割部１０５は、ステレオ偏光画像の輝度情報および偏光情報取得部１０３で生成されたステレオ偏光画像における偏光情報の少なくとも一方の情報における類似性（共通性）を利用して、偏光画像を、光学的に共通する領域ごとに分割する。具体的には、領域分割部１０５は、画像の輝度や偏光情報を利用して、当該画像領域を鏡面反射領域または拡散反射領域として領域分割を行なう。
法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、領域分割部１０５で分割された領域ごとに異なった処理を行なうことで、対応する被写体の表面での法線１自由度を推定する。
法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された複数の法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを生成する。
出力部１２０は、法線情報を出力する出力端子である。または、出力部１２０は、後述の図１１等に示される画像等とともに法線情報に基づく法線の画像を出力するディスプレイであってもよい。後者の場合には、出力部１２０は提示部５０５（図１）に対応する。
図５は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。図６は、図５に示されたパターン偏光子２０１と撮像素子２０２との関係を示した模式図である。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、複数のパターン偏光子２０１および２０１−２、複数の撮像素子２０２および２０２−２、メモリ２０３およびＣＰＵ２０４を備える。
パターン偏光子２０１、２０１−２は、図６に示されるように、偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を１組として２次元状に配置された偏光子の集まりである。図６において、パターン偏光子２０１、撮像素子２０２のみを示したが、これはパターン偏光子２０１−２、撮像素子２０２−２の場合も同様である。そのため、以下の説明では簡略化のためにパターン偏光子２０１、撮像素子２０２のみに関して詳述する。
撮像素子２０２は、図６に示されるように、パターン偏光子２０１を構成する個々の偏光子を透過した光を受ける２次元状に配置された画素（受光素子）の集まりである。パターン偏光子２０１は、撮像素子２０２の撮像面に平行に設置されることが望ましい。なお、パターン偏光子２０１における４個（４種類）の偏光子と、撮像素子２０２における対応する４個の画素とから、撮像単位２０５が構成される。この撮像単位２０５によって得られる画像は、偏光情報取得部１０３、領域分割部１０５、法線１自由度推定部１０６、ステレオ対応取得部１０４および法線情報生成部１０７における各処理の単位（「単位画像」）である。つまり、法線情報生成装置１００は、撮像単位２０５によって得られる単位画像（以下、「画素」ともいう。）ごとに、偏光情報の生成、領域分割および法線情報の生成を行なう。
メモリ２０３は、ＣＰＵ２０４の作業領域としてのＲＡＭおよびプログラム等が格納されたＲＯＭを含む。
ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを実行し、メモリ２０３にアクセスしたり、撮像素子２０２および２０２−２を制御するプロセッサである。
なお、図４に示された偏光画像撮像部１０２は、図５に示されたパターン偏光子２０１および撮像素子２０２によって実現される。同様に、図４に示された偏光画像撮像部１０２−２は、図５に示されたパターン偏光子２０１−２および撮像素子２０２−２によって実現される。
図４に示された偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２および法線情報生成部１０７は、図５に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。
たとえば、添付の図面のうちのフローチャートを用いて説明する制御処理はコンピュータに実行されるプログラムによって実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。法線情報生成装置、および、画像処理装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。
また、メモリ２０３は、偏光画像撮像部１０２および１０２−２で取得された偏光画像、偏光情報取得部１０３および１０３−２で生成された偏光情報、ステレオ対応取得部１０４で取得されたステレオ画像対応情報、領域分割部１０５および１０５−２で分割された領域分割情報、法線１自由度推定部１０６および１０６−２で推定された法線１自由度情報、法線情報生成部１０７で生成された法線情報、および、一時的に発生する各種パラメータ等を格納する作業領域としても使用される。
図７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体からの光を撮像素子で受けることで被写体を撮像し、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像輝度変化を利用して、第１の偏光情報を生成（取得）する（ステップＳ１０２）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体からの光を撮像素子で受けることで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成（取得）する（ステップＳ１０４）。
ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４の順序は任意であり、並列的に実行してもよい。もちろん、順次実行しても構わない。
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した第１の偏光画像、第２の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の領域分割部１０５および第２の領域分割部１０５−２は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報および第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報および第２の輝度情報を利用し、第１の偏光画像および第２の偏光画像を拡散反射成分領域および鏡面反射成分領域に領域分割する（ステップＳ１０６）。
第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０８）。ここで、ステップＳ１０７と、ステップＳ１０８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定する（ステップＳ１０９）。
次に、本実施の形態における法線情報生成装置１００の各構成要素の詳細な機能を説明する。
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。また、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。このようなキャリブレーションは、例えば、Ｔｓａｉの手法（Ｒｏｇｅｒ Ｙ．Ｔｓａｉ，"Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｍｉａｍｉ Ｂｅａｃｈ，ＦＬ，1986, pp.364-374）など、既存の手法を利用すればよい。
もちろん、このようなキャリブレーションは、パターン偏光子やレンズなどを含んだ状態で行なわれている。
次に、偏光画像撮像部１０２および１０２−２の詳細な機能を説明する。偏光画像撮像部１０２は、被写体からの光をパターン偏光子２０１を通して撮像素子２０２で受光することで、偏光情報を含んだ偏光画像を取得する。図８は、図６に示された撮像単位２０５を入射光方向から眺めた模式図である。本図において、各偏光子（各画素）内の直線は、各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像単位２０５は、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。そのため、撮像素子前方に偏光子を配置し、その偏光子を回転させながら撮像した、特許文献１と同様の画像を取得することができる。
このような特性は、例えば、『川嶋、佐藤、川上、長嶋、太田、青木、"パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発"、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合、表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。
この偏光画像の撮像に際しては、輝度のダイナミックレンジとビット数は、なるべく大きいこと（例えば１６ビット）が望ましい。
次に、偏光情報取得部１０３および１０３−２の詳細な機能を説明する。偏光情報取得部１０３は、偏光画像撮像部１０２が取得した偏光画像を利用して、偏光情報を生成する。
偏光子を透過した光の輝度は、偏光子の偏光主軸角によって変化することが知られている。図９は、異なる偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した光の輝度４０１〜４０４が１本の正弦関数カーブを形成する様子を示す。つまり、この正弦関数カーブは、図８の点２０６における偏光特性を示している。なお、偏光主軸角度の０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、実際には、多数の観測点から１８０度周期の正弦関数が最適値として１本決定されるのが好ましい。
この偏光情報取得部１０３は、偏光情報として、このカーブの振幅と位相情報を生成する。具体的には、パターン偏光子２０１の主軸角Φに対する反射光輝度Ｉを以下のように近似する。
ここで図９に示すように、数１におけるＡ、Ｂ、Ｃは定数であり、それぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、数１は以下のように展開できる。
ただし、
つまり、４画素のサンプル（Φi Ii）において、以下の数５を最小にするＡ、Ｂ、Ｃを求めれば正弦関数数１の近似ができる。ただし、Iiは、偏光板回転角Φi時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。
以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０３は、偏光情報として、以下の少なくとも１つの情報を取得する。
偏光度ρ
偏光位相φｍａｘ（０≦φｍａｘ≦π［ｒａｄ］）
偏光推定誤差Ｅ
偏光最大輝度値Ｉｍａｘ
偏光最小輝度値Ｉｍｉｎ
偏光度ρ
上述の各用語の定義は以下の通りである。
・偏光度ρ：光がどれだけ偏光しているかを表す指標；
・偏光位相φｍａｘ：偏光主軸角度に依存して変化する輝度が最大となる角度；
・偏光推定誤差Ｅ：４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計；
・偏光最大輝度値Ｉｍａｘ：パターン偏光子の主軸角Φを変化させた際にとりうる最大輝度値；
・偏光最小輝度値Ｉｍｉｎ：パターン偏光子の主軸角Φを変化させた際にとりうる最小輝度値。非偏光成分。
・偏光度ρ：光がどれだけ偏光しているかを表す指標；
・偏光位相φｍａｘ：偏光主軸角度に依存して変化する輝度が最大となる角度；
・偏光推定誤差Ｅ：４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計；
・偏光最大輝度値Ｉｍａｘ：パターン偏光子の主軸角Φを変化させた際にとりうる最大輝度値；
・偏光最小輝度値Ｉｍｉｎ：パターン偏光子の主軸角Φを変化させた際にとりうる最小輝度値。非偏光成分。
以下、上述の偏光情報に基づいて法線情報生成装置１００が生成した画像例を説明する。画像例では、球体である地球儀を被写体としている。図１０は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１および２０１−２との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、または、撮像素子２０２および２０２−２の間隔は５０ｃｍで ある。
図１１は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図１１（ａ）は被写体である地球儀の画像、図１１（ｂ）は図１１（ａ）の被写体に対する偏光度ρ１、図１１（ｃ）は図１１（ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図１１（ｄ）は図１１（ａ）の被写体に対する偏光推定誤差Ｅ１を示している。
また、図１２（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の各々を模式的に示した図（濃淡を明瞭化した図）である。図１３（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）に示す画像と、図１２（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ０１とＢ０１）との対応関係を示している。図１１（ａ）〜（ｄ）および図１３（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。また、図１４は、同様の処理を発泡スチロール製の頭部模型に対して行なった結果を示している。
これらの画像によれば、遮蔽エッジ付近で偏光度が大きいこと、被写体の影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。この偏光位相は、回転させて変化する輝度の最大値となる角度であり、被写体が拡散反射であった場合の出射面の情報である。
次に、ステレオ対応取得部１０４を説明する。ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を特定する。ただし「特定する」という意味は確定的に定めることを意味するのではなく、一応確からしいという意味において定めることを意味する。したがって、対応関係を「推定する」と言うこともできる。これは、例えば、輝度情報を利用した画像処理により検出することができる。この「特定する」という語と「推定する」という語の関係については、ステレオ対応取得部１０４のみならず、法線１自由度推定部１０６、１０６−２等についても同様である。
図１５は、本実施の形態におけるステレオ対応取得部１０４による処理の流れを示すフローチャートである。このフローチャートは、ステップＳ１０５に相当する。まず、複数画像において、特徴点の抽出を行なう（ステップＳ２０１）。求まった特徴点を利用して、複数画像間の対応付けを行なう（ステップＳ２０２）。しかし、このままでは特徴点が検出された、画像上の疎な画素のみしか対応付けがなされない。そこで、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう（ステップＳ２０３）。以下、それぞれの処理を詳述する。
ステップＳ２０１において、複数画像において、特徴点の抽出を行なう。この処理は、複数画像間の画素の対応付けを行なうために、特徴点と呼ばれる「対応付けしやすい点」を検出し、その特徴点の特徴と最もよく一致した点を複数画像間で探索することにより、複数画像間の画素の対応付けを行なうものである。
特徴点検出法としては、ＨａｒｒｉｓオペレーターやＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ） Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒなどさまざまな方法が知られているが、ここではＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）オペレーターを利用する（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004参照）。
ＳＩＦＴはスケールおよび回転に対して不変の特徴量として知られている。その処理は、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ処理を利用してスケール不変のキーポイントを抽出し、さらに画像の勾配方向ヒストグラムからオリエンテーションを算出し、オリエンテーションで正規化した特徴量を抽出するものである（詳しくは、藤吉弘亘，"Ｇｒａｄｉｅｎｔベースの特徴抽出 − ＳＩＦＴとＨＯＧ − "，情報処理学会 研究報告 ＣＶＩＭ 160, pp.211-224, 2007参照）。ここでは、偏光画像撮像部１０２と１０２−２で撮像された第１の偏光画像と第２の偏光画像のそれぞれにおいて、キーポイントを抽出し、オリエンテーションで正規化した特徴量を抽出する。
ステップＳ２０２において、第１の偏光画像と第２の偏光画像において、ステップＳ２０１で求めた特徴点の対応付けを行なう。これは、ステップＳ２０１で求めたキーポイントごとに、特徴量のユークリッド距離が最小となるキーポイントを別の画像から検出することで実現する。こうして対応付けられたキーポイントが対応点となる。もちろん、対応付けを行なう際、ステレオ画像の対応付けで広く用いられている、エピポーラ拘束を利用しても構わない。
ステップＳ２０３において、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう。この処理を説明する。まず、対応付けられた特徴点および対応点を利用し、第１の偏光画像と第２の偏光画像に対して、ドロネー三角形分割を行なう。こうして分割された三角形ごとに、対応点の補間処理を行なう。
図１６はこの処理を説明するための模式図である。図１６（ａ）において、点Ｐ０、Ｐ１、Ｐ２はＳＩＦＴにより検出された第１の画像での特徴点の画像上での座標値によって特定される点であり、また、ドロネー三角形分割により分割された三角形の３頂点である。また、図１６（ｂ）において、点Ｐ'０、Ｐ'１、Ｐ'２はそれぞれ特徴点Ｐ０、Ｐ１、Ｐ２に対応した第２の画像での対応点である。ここで、第１の偏光画像における三角形Ｐ０―Ｐ１―Ｐ２内の点Ｐｘにおける対応点を補間処理により求める。まず、以下の関係を満たす変数ａ，ｂを求める。
ただし、変数０≦ａ≦１，０≦ｂ≦１である。このとき、Ｐｘにおける対応点Ｐ'ｘは、次式で表される。
この処理を、必要なすべての画素に対して行なう。上述の数１１および数１２によれば、図１６（ａ）および（ｂ）に示す三角形の辺上の点を補間することができる。そしてさらに、補間された１点と当該三角形の２つの頂点、補間された２点と当該三角形の１つの頂点、または、補間された３点によって形成される各三角形に対して、上記数１１および数１２を適用すれば、補間により、当該三角形の内部の全ての点を求めることができる。そしてドロネー三角形分割により分割された全ての三角形に対して同様の処理を行うと、第１の画像および第２の画像の全ての点を補間により求めることができる。この結果、第１の画像と第２の画像の間で、画像全体での密な対応付けを行なうことができる。なお、ステップＳ２０３において、補間処理は画像上での座標を利用して行なったが、対応点から求めた３次元座標上で処理を行なうようにしても構わない。
以上の処理は、偏光画像を利用して対応付けを行なったが、もちろん、偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋２・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、視点移動による影響が大きい鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。もちろん、ステレオ対応点取得部１０４は、特徴点を利用するのではなく、画像処理のステレオ対応点取得処理において広く利用されている、ブロックマッチング法や、勾配法を利用するようにしてもかまわない。
次に、領域分割部１０５の詳細な機能を説明する。領域分割部１０５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域に領域分割する。
ここで、拡散反射と鏡面反射を説明する。被写体表面の反射特性は、「てかり」である鏡面反射成分と、マットな反射成分である拡散反射成分との和として表現されることが知られている。拡散反射成分は、被写体を照射する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
図１７および図１８は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分および拡散反射成分の偏光度を示したグラフである（例えば、「Ｌ．Ｂ． Ｗｏｌｆｆ ａｎｄ Ｔ． Ｅ． Ｂｏｕｌｔ、 "Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ"、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 Ｖｏｌ．１３、Ｎｏ．７、ｐｐ．６３５−６５７、 １９９１」参照）。図１７の横軸は入射角、縦軸は鏡面反射成分の偏光度を示している。また、図１８の横軸は出射角、縦軸は拡散反射成分の偏光度を示している。これらの図によれば、鏡面反射成分の偏光度は出射角に依存しないが、拡散反射成分の偏光度は出射角に依存することが理解される。よって、カメラを移動させて出射角を変化させた場合、鏡面反射成分では偏光度は変わらないが、拡散反射成分では偏光度が変化することがわかる。
また、拡散反射成分の輝度値Ｉｄは、以下のＬａｍｂｅｒｔｉａｎモデルに従うことが知られている。
ただし、ρｄは参照点の拡散反射率（アルベド）、ｎは参照点の法線方向ベクトル、Ｉｐは点光源強度、Ｌは光源の方向ベクトル、θは入射角（法線方向ベクトルと光源方向ベクトルのなす角）を表す。ベクトルの長さは１に正規化されている。
この式から、カメラを移動させることで出射角を変更した場合、拡散反射成分では輝度値が変化しないことがわかる。
一方、鏡面反射成分の輝度値Ｉｓは、以下の数１４〜数２２に示したＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルに従うことが知られている。
ここで、Ｅｉは入射照度、ρｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図１９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉｊは入射光の放射輝度である。また、Ｋｓは鏡面反射成分の係数である。これら式から、カメラを移動させることで出射角を変更した場合、鏡面反射成分では輝度値が変化することがわかる。
ところで、ステレオ対応取得部１０４により、すべての画素の対応点が既知である。以上のことから、ステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割できる。
ここで、Ｉｃ１は偏光情報取得部１０３で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。また、Ｉｃ２は偏光情報取得部１０３−２で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。ここで、Ｉｍａｘ＋Ｉｍｉｎは、パターン偏光子２０１が存在しない場合に撮像素子２０２で観測される輝度値である。また、Ｔｈｄは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、ＴｈＩは鏡面反射成分と拡散反射成分を輝度情報で判断するための閾値である。このような閾値は、実験的に決定すればよい。
図２０は上記領域分割基準を表した模式図である。図２０に示す４つの領域、すなわちＤＤ、ＳＤ、ＤＳ、ＳＳの各領域は、以下の成分を有するものとして分類される。
・ＤＤ領域：第１の画像、第２の画像ともに拡散反射成分。
・ＳＤ領域：第１の画像は鏡面反射成分、第２の画像は拡散反射成分。
・ＤＳ領域：第１の画像は拡散反射成分、第２の画像は鏡面反射成分。
・ＳＳ領域：第１の画像、第２の画像ともに鏡面反射成分。
・ＤＤ領域：第１の画像、第２の画像ともに拡散反射成分。
・ＳＤ領域：第１の画像は鏡面反射成分、第２の画像は拡散反射成分。
・ＤＳ領域：第１の画像は拡散反射成分、第２の画像は鏡面反射成分。
・ＳＳ領域：第１の画像、第２の画像ともに鏡面反射成分。
もちろん、このような領域分割は図２０に限ったものではなく、例えば、ＳＳ領域を除いた図２１のような領域分割基準を利用しても構わない。これは、上薬がかかった陶器のように、被写体の表面が非常に滑らかであり、鏡面反射成分が正反射領域近傍の限られた領域でのみ観測される場合に有効である。この場合、第１の画像と第２の画像におけるその対応点の両画像において鏡面反射が観測される場合は非常に少ない。
このときのステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割すればよい。
もちろん、領域分割部１０５は、画像のすべての画素を拡散反射成分または鏡面反射成分に分割し、処理を行なうようにしても構わない。例えば、被写体が石膏のような被写体の場合には、すべての画素が拡散反射成分であることは妥当である。また、例えば、被写体が光沢のある金属の場合には、すべての画素が鏡面反射成分であることは妥当である。
もちろん、領域分割部１０５は、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け和Ｉｍａｘ＋Ｉｍｉｎを利用するのではなく、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値などをＩｃ１，Ｉｃ２として利用するようにしても構わない。例えば、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。もちろん、偏光画像撮像部１０２において、パターン偏光子２０１を含まない輝度値が観測できる場合、その輝度値を利用するようにしても構わない。これは、図２２に示したように、パターン偏光子２０１において、偏光子を含まない画素を設けることで実現できる。
次に、法線１自由度推定部１０６の詳細な機能を説明する。法線１自由度推定部１０６は、領域分割部１０５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。法線１自由度とは、前述の入射面または出射面の角度情報である。
前述の通り、鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求められる。つまり、次式で与えられる。
ただし、φｍａｘは数７で求まる、偏光位相である。
一方、拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求められる。つまり、法線１自由度情報は以下のように与えられる。
こうして求まる、入射面または出射面の角度情報である法線１自由度情報φｎは、φｎまたは（φｎ＋π）という１８０度の不定性を持つ。
次に、法線情報生成部１０７の詳細な機能を説明する。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度φｎ１，φｎ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを生成する。
図２３はこの処理を説明するための模式図である。この図において、点Ｐは参照点であり、撮像素子２０２によって撮像された第１の画像の点Ｐに対応する画素と、撮像素子２０２−２によって撮像された第２の画像の点Ｐに対応する画素は、ステレオ対応取得部１０４によって既知である。また、第１の画像、第２の画像のそれぞれ対応する画素において、法線１自由度推定部１０６、１０６−２によって求められた法線１自由度は、φｎ１，φｎ２である。
撮像素子２０２、２０２−２はキャリブレーション済みであるため、相互の位置関係は既知である。そのため、入出射面Ｓ１、Ｓ２が計算できる。ここで、入出射面は参照点の入射面または出射面であり、入出射面Ｓ１とは、撮像素子２０２の焦点位置と数２５、数２６で求まる法線１自由度φｎ１の偏光主軸方向を通る平面、入出射面Ｓ２は、撮像素子２０２−２の焦点位置と数２５、数２６で求まる法線１自由度φｎ２の偏光主軸方向を通る平面である。
つまり、参照点の法線方向ベクトルｎは、入出射面Ｓ１、Ｓ２どちらにも含まれる。そのため、参照点の法線方向ベクトルｎは、これら２平面の交線として求められる。
しかし、法線１自由度情報φｎは、１８０度の不定性を持つため、こうして求められた法線方向ベクトルｎは、ｎ（ｎｘ， ｎｙ， ｎｚ）とｎ’（−ｎｘ， −ｎｙ， −ｎｚ）という１８０度の不定性を有する。この不定性を除去するために、参照点Ｐの法線方向ベクトルｎと視線ベクトルＶを利用する。具体的には、以下の関係式を満たす法線方向ベクトルを選択する。
数２７を満たさない場合、参照点Ｐは撮像素子２０２と反対方向を向いていることになり、参照点Ｐは撮像されないはずである。そのため、このような法線方向ベクトルは排除することができ、結果的に法線情報生成部１０７は不定性を排除することができる。
さらに、上記方法で求めた法線方向ベクトルに対し、空間的なフィルタリング処理を行なうことにより、法線情報生成部１０７で生じたノイズを除去するようにしても構わない。このような空間的なフィルタリング処理は、例えば、法線方向を量子化し、各画素の近傍の法線方向ベクトルのヒストグラムを作成し、その最頻値近傍の法線方向ベクトルのみで平均化処理を行なえばよい。
図２４〜図２８は、本実施の形態における法線情報生成装置１００による法線方向ベクトルを推定した結果を示している。図２４（ａ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光位相φｍａｘ１（０°が黒、１８０°が白）、図２４（ｃ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｄ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光位相φｍａｘ２（０°が黒、１８０°が白）を表している。また、第２の撮像素子２０２−２は、第１の撮像素子２０２の右側に配置されている。また、図２５（ａ）〜（ｄ）は、図２４の各図を模式的に示した図（濃淡を明瞭化した図）である。図２６（ａ）〜（ｄ）はそれぞれ、図２４（ａ）〜（ｄ）に示す画像と、図２５（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ１１とＢ１１）との対応関係を示している。図２４（ａ）〜（ｄ）および図２６（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。
図２７（ａ）〜（ｃ）は図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１０７が推定した法線方向ベクトルを可視化した法線画像を表している。法線方向ベクトルの各成分は−１から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。
図２７（ａ）は法線方向ベクトルのｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトルのｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトルのｚ成分の法線画像を示している。
また、図２８（ａ）〜（ｃ）は、図２７（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図２９（ａ）〜（ｃ）はそれぞれ、図２７（ａ）〜（ｃ）に示す画像と、図２８（ａ）〜（ｃ）に示す各領域との対応関係を示している。
法線方向ベクトルのｘ，ｙ，ｚ成分は、図３０に示すように、カメラ右方向にｘ方向、カメラ下方向にｙ方向、カメラ光軸方向にｚ方向である。図２７（ａ），図２８(ａ)より、ｘ成分法線画像では、画像中央部を除き、左側が黒く、右側につれて色が白くなり、定性的に正しい法線が取得されていることがわかる。また、図２７（ｂ）、図２８(ｂ)より、ｙ成分法線画像では、上側が黒く、下に行くにつれて色が白くなり、定性的に正しい法線が取得されていることがわかる。さらに、図２７（ｃ），図２８(ｃ)より、ｚ成分法線画像では、中央部が黒く、遮蔽エッジ近傍が灰色になっており、定性的に正しい法線が取得されていることがわかる。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、領域分割部１０５において、領域を鏡面反射成分領域か拡散反射成分領域かに分割するために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像のみから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ， Ｘ．Ｓ．Ｆａｎｇ， ａｎｄ Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ ｏｆ ｒｅｆｌｅｃｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ ｕｓｉｎｇ ｃｏｌｏｒ ａｎｄ ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
（第２の実施形態）
次に、本発明の第２の実施の形態における法線情報生成装置を説明する。本実施の形態における法線情報生成装置は、ステレオ対応が求まらないオクルージョン領域に対して、別の法線情報生成処理を行なうものである。
次に、本発明の第２の実施の形態における法線情報生成装置を説明する。本実施の形態における法線情報生成装置は、ステレオ対応が求まらないオクルージョン領域に対して、別の法線情報生成処理を行なうものである。
本実施の形態における法線情報生成装置は、実施形態１にかかる法線情報生成装置１００（図１）の構成と同じである。第１の実施形態との違いは領域分割部１０５と法線情報生成部１０７である。領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割し、法線情報生成部１０７は未対応領域のみ別の法線情報生成処理を行なう。遮蔽の影響により、ステレオ対応取得部１０４で対応が求まらない領域はオクルージョン領域と呼ばれ、ステレオ法では３次元形状情報が取得できない領域として知られている。しかし、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することにより、オクルージョン領域においても法線方向ベクトルの推定が可能である。この処理を説明する。
図３１、３２は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３１，３２において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
まず、領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割を行なう（ステップＳ１２１）。
図３３は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。このフローチャートは、図３１におけるステップＳ１２１に相当する。
まず、領域分割部１０５は、ステレオ対応取得部１０４の結果を利用し、参照画素が別画像と対応付けられているかを判断する（ステップＳ３０１）。参照画素が別画像と対応付けられていなかった場合（ステップＳ３０１でＮｏ）、領域分割部１０５は、参照画素はオクルージョンを起こしていると判断し、未対応領域として領域分割する（ステップＳ３０２）。一方、参照画素が別画像と対応付けられていた場合（ステップＳ３０１でＹｅｓ）、領域分割部１０５は、前述の通り、図２０の領域分割基準に基づき、領域分割を行なう（ステップＳ３０３）。
法線情報生成部１０７は、領域分割部１０５の領域分割結果に基づいて、法線情報を生成する処理を切り替える（ステップＳ１２２）。領域が未対応領域でなかった場合（ステップＳ１２２でＮｏ）、法線情報生成部１０７は、第１の実施例と同様の手法により、法線情報を生成する（ステップＳ１０７〜Ｓ１０９）。一方、領域が未対応領域であった場合（ステップＳ１２２でＹｅｓ）、法線情報生成部１０７は、未対応領域が遮蔽エッジ近傍の領域であることを利用して法線情報を取得する。具体的には、まず法線１自由度推定部１０６によって法線１自由度情報を推定する（ステップＳ１２３）こうして求めた法線１自由度情報と、遮蔽エッジ近傍の領域であることを利用し、近傍画素の法線情報から、未対応領域の法線方向ベクトルを推定する（ステップＳ１２４）。
図３４はオクルージョン領域である未対応領域と法線方向の関係を説明するための模式図である。この図において、撮像素子２０２と２０２−２は球体の被写体３０１を撮像している。この場合、各撮像素子によって未対応となる領域は、領域３０２および領域３０３である。領域３０２は撮像素子２０２−２からは観測されず、領域３０３は撮像素子２０２からは観測されない。そのため、領域３０２は撮像素子２０２、つまり第１の画像における未対応領域、領域３０３は撮像素子２０２−２、つまり第２の画像における未対応領域となる。未対応領域３０２、３０３はいずれかの画像ではオクルージョンが生じるということから、遮蔽エッジ近傍の領域であることがわかる。
遮蔽エッジ境界では、法線方向ベクトルが、図３０のｘ−ｙ平面上、つまり、光軸に直交する平面上に存在する。そのため、法線情報生成部１０７は、未対応領域の法線第２自由度はｘ−ｙ平面上であると仮定し、法線方向ベクトルを取得する。このとき、法線１自由度情報φｎは、１８０度の不定性を持つため、法線方向ベクトルｎは、n(nx, ny, ０)とn' (-nx, -ny, ０)という１８０度の不定性を有する。この不定性を除去するために、未対応領域近傍の法線方向ベクトルの連続性を利用する。具体的には、法線方向ベクトル候補 (nx, ny, ０)と(-nx, -ny, ０)それぞれに対して未対応領域近傍の法線方向ベクトルとの連続性を計算し、より連続性が保たれる法線方向ベクトル候補を法線方向ベクトルとして決定すればよい。具体的には、近傍の法線方向ベクトルとの内積値を計算し、その値が大きくなる法線方向ベクトル候補を法線方向ベクトルとして決定する。この処理により、図３４において破線の矢印として示す法線方向ベクトルが特定される。
また、法線１自由度推定部１０６によって法線１自由度情報を求めるためには、拡散反射成分または鏡面反射成分としての領域分割も必要である。これは、近傍領域の領域分割結果を利用すればよい。もちろん、遮蔽領域では鏡面反射が生じないと仮定し、拡散反射成分として処理を行なっても構わない。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
以上のように、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することで、従来手法では困難であった、オクルージョン領域においても法線方向ベクトルの推定が可能である。
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、領域分割部１０５において、鏡面反射成分と拡散反射成分の領域分割を行なうために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像の みから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ， Ｘ．Ｓ．Ｆａｎｇ， ａｎｄ Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ ｏｆ ｒｅｆｌｅｃｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ ｕｓｉｎｇ ｃｏｌｏｒ ａｎｄ ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
（第３の実施形態）
次に、本発明の第３の実施の形態における法線情報生成装置を説明する。
次に、本発明の第３の実施の形態における法線情報生成装置を説明する。
図３５は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、領域分割部１０５を持たず、代わりに、法線情報生成部１１７によって、複数の法線方向ベクトル候補を生成し、最適法線選択部１０８によって、複数の法線方向ベクトル候補の妥当性を評価することで、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
法線１自由度推定部１１６は、画素ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。この際、法線１自由度の求め方は前述のように画素が拡散反射成分か鏡面反射成分かで異なる。そこで、法線１自由度推定部１１６は、画素が拡散反射成分である場合の法線１自由度候補φｎｄと、画素が鏡面反射成分である場合の法線１自由度候補φｎｓの両方を、法線１自由度候補として推定する。具体的には、前述の通り、以下の式に基づいて、法線１自由度候補φｎｄ、φｎｓを推定する。
ただし、φｍａｘは数７で求まる、偏光位相である。ここで、数２８で示したφｎｄは数２６で示した画素が拡散反射成分であると仮定した場合の出射面の情報、数２９で示したφｎｓは数２５で示した画素が鏡面反射成分であると仮定した場合の入射面の情報である。
法線情報生成部１１７は、第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを推定する。各撮像素子２０２、２０２−２から、それぞれ２つの法線１自由度候補が求められているため、４通り（「φｎｄ１―φｎｄ２」「φｎｄ１―φｎｓ２」「φｎｓ１―φｎｄ２」「φｎｓ１―φｎｓ２」）の組み合わせから、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４が求まる。
最適法線選択部１０８は、法線情報生成部１１７が生成した４つの法線方向ベクトル候補から、最適なものを選択し、法線方向ベクトルｎとして推定する。この処理を説明する。
最適法線選択部１０８は、複数候補から画像全体として最適な法線方向ベクトルを推定するために、法線方向ベクトルの連続性を利用する。これは、以下の評価関数Ｅｖ（ｎ）が最小となる法線方向ベクトル候補を、画像全体で選択すればよい。
ここで、ｎ（ｘ，ｙ）は画素（ｘ，ｙ）での法線方向ベクトル、ｗｘ，ｗｙはそれぞれ画像の幅と高さである。もちろん、このような最小化処理は、拘束条件を利用することで、さらに正確な法線方向ベクトルを取得することが可能である。
最適な法線方向ベクトル候補を選択するための拘束条件を説明する。まず、複数カメラ間での鏡面反射成分と拡散反射成分の空間的な連続性を説明する。前述のように、鏡面反射成分は、撮像素子の位置（出射角）や、被写体の法線方向ベクトルの影響を受けやすい。また、図１７および１８で示した鏡面反射成分と拡散反射成分の偏光度、および、数１３、数１４〜数２２に示したＬａｍｂｅｒｔｉａｎモデル、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルから、鏡面反射成分や拡散反射成分の輝度情報や偏光情報は、撮像素子の移動や参照点の移動に対して、連続的な変化を行なうことがわかる。そのため、参照点Ｐに対して、第１の偏光画像、第２の偏光画像ともに拡散反射成分であった場合、その近傍点Ｐ"において、第１の偏光画像、第２の偏光画像ともに鏡面反射成分であることは非常に少ないと考えられる。つまり、参照点の空間的な変動に対して、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化する。最適法線選択部１０８は、この知見を拘束条件として利用する。この拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。さらにこの拘束条件は、光源が複数存在する場合にも有効である。本実施形態においては、隣接する画素同士に上述の拘束条件を適用している。
図３６はこの連続性を拘束条件として利用するための状態遷移図を示す。この図において、状態６０１は、第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定し、法線方向ベクトルを生成することを示している。また、状態６０２は、第１の偏光画像は拡散反射成分、第２の偏光画像は鏡面反射成分と仮定し、法線方向ベクトルを生成することを、状態６０３は、第１の偏光画像は鏡面反射成分、第２の偏光画像は拡散反射成分と仮定し、法線方向ベクトルを生成することを、状態６０４は、第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定し、法線方向ベクトルを生成することを示している。
各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化するため、参照点が６０１、つまり第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０４、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定して法線方向ベクトルが生成されることはありえない。また、参照点が６０２、つまり第１の偏光画像では拡散反射成分、第２の偏光画像では鏡面反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０３、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像は拡散反射成分と仮定して法線方向ベクトルが生成されることはありえない。したがって、最適法線選択部１０８は、以下の評価関数Ｅｖ２が最小となる法線方向ベクトル候補を、画像全体で選択することにより、法線方向ベクトルｎを選択する。
ただし、Ｅｖ１は次式で与えられる、図３６の状態遷移図による拘束条件であり、Ｃ２は拘束条件の重み係数である。
このような重み係数は、実験的に決定すればよく、例えば、Ｃ２＝２．０とすればよい。数３１は、図３６の状態遷移図に従わない場合、数３０の評価関数が大きな値となるような評価関数である。
このように、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続性を拘束条件として利用することで、最適な法線方向ベクトルを選択することができる。
また、別の拘束条件として、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が取得した、偏光情報を利用するようにしても構わない。この処理を説明する。
図１８より、拡散反射成分の偏光度は、出射角が小さい場合に０に近づく。そのため、偏光度が十分に小さな領域では、法線方向ベクトルｎが視線ベクトルＶに十分近いと考えられる。そのため、偏光度が十分に小さな領域では、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も視線ベクトルに近い候補を法線方向ベクトルｎとして選択すればよい。これは、例えば、閾値処理を行ない、偏光度がたとえば、０．０５より小さな領域に対して行なえばよい。もちろん、法線情報生成部１１７は、偏光度が十分に小さい領域では、法線１自由度推定部１１６が取得した法線１自由度情報を利用せず、法線方向ベクトルｎは視線ベクトルＶと等しいとするようにしても構わない。これは、偏光度が十分に小さな領域では、数５による偏光情報の取得処理が不安定になるため、法線１自由度推定部１１６が取得した法線１自由度情報は推定精度が低くなると考えられるためである。この拘束条件は、偏光度が低い領域に対して有効である。
もちろん、別の拘束条件として、前述の遮蔽エッジ領域の法線方向ベクトルを利用しても構わない。前述のように、遮蔽エッジ近傍では、法線方向ベクトルｎが図３０のｘ−ｙ平面に近づく。そのため、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最もｘ−ｙ平面に近い候補を法線方向ベクトルｎとして選択すればよい。この拘束条件は、遮蔽エッジ領域では非常に有効である。
また、偏光情報を利用した別の拘束条件として、偏光度情報を利用しても構わない。図１８に示したように、拡散反射成分においては、偏光度は出射角と屈折率により一意に決定される。そこで、被写体の屈折率が既知の場合、推定された法線方向ベクトルと図１８から求めた、推定された偏光度ρｅと、偏光情報取得部１０３によって求められた、計測された偏光度ρを比較し、その差が小さくなるという拘束を利用すればよい。また、図３０で示したように、光軸がｚ方向であることに着目すると、出射角θｅは法線方向ベクトルｎ（ｎｘ， ｎｙ， ｎｚ）を利用して、次式の関係から計算できる。
この拘束条件は、法線１自由度推定部１１６によって、法線１自由度候補がφｎｄと推定された場合のみ利用できる。
もちろん、光源方向が既知の場合（例えば、法線情報生成装置１００がフラッシュ機構を有し、フラッシュを投光しながら撮像を行なう場合）、図１７に示した、鏡面反射成分の偏光度を利用しても構わない。図１７に示したように、鏡面反射成分においては、偏光度は入射角と屈折率により一意に決定される。そこで、被写体の屈折率と光源方向ベクトルＬが既知の場合、推定された法線方向ベクトルと図１７から求めた、推定された偏光度と、偏光情報取得部１０３によって求められた、計測された偏光度を比較し、その差が小さくなるという拘束を利用すればよい。この場合、前述の拡散反射成分を仮定した場合との拘束条件と組み合わせることにより、法線方向ベクトル候補ｎｃ１〜ｎｃ４の評価を行なうことが可能である。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
もちろん、法線方向ベクトル候補ｎｃ１〜ｎｃ４と、計測された偏光度ρから図１７および１８を用いて求めた偏光度由来法線方向ベクトルを比較し、その差が小さくなるという拘束条件を利用しても構わない。この場合、図１７からは２つの偏光度由来法線方向ベクトルが求まるため、法線方向ベクトル候補ｎｃ１〜ｎｃ４と各偏光度由来法線方向ベクトルとの差分値において、より小さい差分値を小さくするという拘束条件を利用すればよい。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
もちろん、別の拘束条件として、奥行情報を利用するようにしても構わない。このような奥行情報は、ステレオ対応取得部１０４で求めた画像間での対応関係を利用して求められる。前述のように、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。そのため、ステレオ対応取得部１０４が取得したステレオ対応情報から、被写体の奥行情報を求めることができる。さらに、求まった奥行情報から法線方向を求めることができる。これは、例えば非特許文献１の技術を利用すればよい。具体的には、以下の処理を行なう。
まず、参照点Ｐ近傍に存在する、ｎ点の近傍点の３次元位置座標を（Ｘｉ，Ｙｉ，Ｚｉ）とする。ただし、ｉは１≦ｉ≦ｎである。これらの点は、ステレオ対応取得部１０４が求めた対応情報と、第１の撮像素子２０２、第２の撮像素子２０２−２の内部パラメータと外部パラメータを利用することで取得する。次に、近傍ｎ点の共分散行列Ｃを次式で計算する。
ただし、（Ｘａ，Ｙａ，Ｚａ）は近傍ｎ点の重心位置座標である。このとき、参照点Ｐの奥行由来法線方向ベクトルｎｄは、共分散行列Ｃの最小固有値に対応する固有ベクトルとして求められる。
前述のように、こうして求められた奥行由来法線方向ベクトルｎｄは十分な精度ではない。しかし、概略の法線としては利用可能である。そこで、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も奥行由来法線方向ベクトルｎｄに近い候補を法線方向ベクトルｎとして選択する。
このような奥行情報を利用した拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。
最適法線選択部１０８は、以上の拘束条件の少なくとも１つを利用しながら、画像全体での法線方向ベクトルの連続性を利用することで、最適な法線方向ベクトルを求める。
図３７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３７において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第１の法線１自由度推定部１１６は、偏光情報取得部１０３で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ１、φｎｓ１を推定する（ステップＳ１１７）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第２の法線１自由度推定部１１６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ２、φｎｓ２を推定する（ステップＳ１１８）。ここで、ステップＳ１０１〜ステップＳ１０２およびステップ１１７と、ステップＳ１０３〜ステップＳ１０４およびステップ１１８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１０４は、偏光画像撮像部１０２（１０２−２）で求まった偏光画像、偏光情報取得部１０３（１０３−２）で求まった偏光情報の少なくとも１つを利用して、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトル候補ｎｃ１〜ｎｃ４を推定する（ステップＳ１１９）。最適法線選択部１０８は、法線方向ベクトルの連続性などを利用して、法線方向ベクトル候補ｎｃ１〜ｎｃ４から最適な法線方向ベクトルｎを選択する（ステップＳ１２０）。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１１６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
（第４の実施形態）
次に、本発明の第４の実施の形態における法線情報生成装置を説明する。
次に、本発明の第４の実施の形態における法線情報生成装置を説明する。
図３８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、信頼性推定部１０９を有し、法線情報生成部１２７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルの信頼性を評価する。これは、第１の法線１自由度推定部１０６と第２の法線１自由度推定部１０６−２で推定された法線１自由度情報から推定するようにすればよい。
図３９は、推定した法線方向ベクトルの信頼性を説明するための模式図である。図２３に示したように、第１の実施形態の法線情報生成部１０７は、各偏光画像から求められた入出射面Ｓ１、Ｓ２の交線として、法線方向ベクトルｎを求める。しかし、以下の条件を満たす場合、入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となる。
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
上記の条件下では、入出射面Ｓ１、Ｓ２は同一平面Ｓ１２となり、その交線として法線方向ベクトルを一意に求めることはできない。そこで、信頼性推定部１０９は、入出射面Ｓ１と入出射面Ｓ２のなす入出射面角を計算し、入出射面角が大きい場合には信頼性があると判断し、入出射面角が小さい場合には信頼性がないと判断する。
法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性情報によって、法線方向ベクトル推定処理を切り替える。
図４０、図４１は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４０、図４１において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
信頼性推定部１０９は、第１の法線１自由度推定部１０６が推定した入出射面Ｓ１と第２の法線１自由度推定部１０６−２が推定した入出射面Ｓ２とのなす角度として、入出射面角φｓを計算する（ステップＳ１３０）。ここで、入出射面角φｓの値域は［０，π］である。
入出射面角の計算方法を説明する。図４２は入出射面角の計算方法を説明するための模式図である。第１の撮像素子２０２のカメラ座標系Ｃ１をｘｃ１−ｙｃ１−ｚｃ１とし、第２の撮像素子２０２−２のカメラ座標系Ｃ２をｘｃ２−ｙｃ２−ｚｃ２とする。また、いずれの座標系も図３０同様、カメラ左右方向にｘ方向、カメラ上下方向にｙ方向、カメラ光軸方向にｚ方向である。また、カメラ座標系Ｃ２からカメラ座標系Ｃ１への変換を表す回転行列をＲｃ２−ｃ１とする。さらに法線１自由度φｎや偏光位相φｍａｘは−ｙｃ方向が０（ｒａｄ）、ｘｃ方向がπ／２（ｒａｄ）となるように設定する。このとき、第１の法線１自由度推定部１０６で求まった法線１自由度をφｎ１、第２の法線１自由度推定部１０６−２で求まった法線１自由度をφｎ２とすると、入出射面角φｓは次式で求まる。
ここで、ｍｉｎ［Ａ，Ｂ］はＡとＢの最小値を選択する演算子であり、前述の通り、φｎ１，φｎ２が１８０度の不定性を有することに起因する。また、Ｃｏｓ-1（ｘ）は、−１≦ｘ≦１の場合、［０，π］の範囲をとる。また、数３５において、ｎφ１，ｎφ２は入出射面Ｓ１，Ｓ２の法線方向ベクトルである。ここで、φｎ１，φｎ２は面の傾き角であることに注意すると、ｎφ１，ｎφ２は次式で表される。
信頼性推定部１０９は、入出射面角φｓの大きさを評価する（ステップＳ１３１）。すなわち、信頼性推定部１０９は、入出射面角φｓの大きさと閾値Ｔｈφｓとを比較する。その結果、入出射面角φｓの大きさが閾値Ｔｈφｓより大きかった場合（ステップＳ１３１でＹｅｓ）、前述の通り、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。一方、入出射面角φｓの大きさが閾値Ｔｈφｓ以下であった場合（ステップＳ１３１でＮｏ）、信頼性推定部１０９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１２７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
また、入出射面角φｓの閾値Ｔｈφｓは実験的に決定すればよく、例えば、３（ｄｅｇ）を設定すればよい。
もちろん、法線情報生成部１２７は、ステップＳ１３２において、近傍の法線方向ベクトルを利用して法線方向ベクトルを取得するのではなく、例えば、前述の奥行由来法線方向ベクトルｎｄを利用するようにしても構わない。
もちろん、信頼性推定部１２９は、例えば、偏光情報取得部１０３が推定した偏光情報から信頼性を評価するようにしても構わない。ここでは、偏光情報取得部１０３が推定した偏光情報と法線情報生成部１４７が生成した法線方向ベクトルｎを比較することにより、信頼性を評価する処理を説明する。
図４３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
本実施形態における法線情報生成装置１００における法線情報生成部１４７は、まず、第１の実施形態の法線情報生成部１０７と同様の処理を行ない、法線方向ベクトルｎを推定する。信頼性推定部１２９は、法線情報生成部１４７が生成した法線方向ベクトルｎを偏光情報取得部１０３が推定した偏光情報と比較することで、法線方向ベクトルｎの信頼性を評価する。法線情報生成部１４７は、信頼性推定部１２９によって信頼性がないと評価された法線方向ベクトルｎを廃棄し、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する。
ここでは、偏光情報として偏光度ρを利用することで、信頼性を評価する方法を説明する。まず、前述のように、光源方向および被写体の屈折率が既知の場合を考える。領域分割部１０５によって、画素が鏡面反射成分または拡散反射成分と領域分割されていることに着目すると、前述の図１７、１８より、法線方向ベクトルｎから偏光度ρｅを推定できる。つまり、画素が鏡面反射成分の場合、参照点の法線方向ベクトル方向ｎおよび光源方向より、入射角が求まる。図１７より、入射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。一方、画素が拡散反射成分の場合、参照点の法線方向ベクトル方向ｎおよび数３３より、出射角が求まる。図１８より、出射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。ここで、領域分割部１０５の領域分割結果、および法線情報生成部１４７の法線方向ベクトルｎ推定結果が正しければ、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅは十分に近い値となる。そこで、信頼性推定部１２９は、ρとρｅの差分値を計算し、その差分値が大きい場合は信頼性が低い、差分値が小さい場合は信頼性が高いと判断する。
図４４および４５は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。なお、図４４および４５において、図７および図４１と共通のステップには図７および図４１と同一の符号を付しており、その詳細な説明を省略する。
まず、法線情報生成装置１００は、第１の実施形態と同様の処理を行ない、法線方向ベクトルｎを推定する（ステップＳ１０１〜Ｓ１０９）。信頼性推定部１２９は、前述のように、前記法線方向ベクトルｎと図１７および１８を利用することで、偏光度ρｅを推定する（ステップＳ１３５）。信頼性推定部１２９は、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅを比較することで、信頼性を評価する（ステップＳ１３６）。ここで、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが十分に近かった場合（ステップＳ１３６でＹｅｓ）、信頼性推定部１２９は、法線方向ベクトルｎは十分に信頼性が高いと判断し、処理を終了する。一方、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが大きく異なった場合（ステップＳ１３６でＮｏ）、信頼性推定部１２９は、法線方向ベクトルｎに信頼性がないと判断し、法線情報生成部１４７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１４７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
（第５の実施形態）
次に、本発明の第５の実施の形態における法線情報生成装置を説明する。第４の実施形態における法線情報生成装置との違いは、法線方向ベクトルから信頼性を評価するのではなく、領域分割部における領域分割結果から信頼性を評価することである。
次に、本発明の第５の実施の形態における法線情報生成装置を説明する。第４の実施形態における法線情報生成装置との違いは、法線方向ベクトルから信頼性を評価するのではなく、領域分割部における領域分割結果から信頼性を評価することである。
本実施形態による法線情報生成装置の処理は、図３８に示す第４の実施形態による法線情報生成装置の処理と同じである。本実施の形態における法線情報生成装置における信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルから信頼性を評価するのではなく、領域分割部１０５の領域分割結果から信頼性を評価する。ここでは、陰影領域を利用する処理を説明する。
陰影領域では、光線が複雑になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、陰影領域を領域分割し、信頼性推定部１０９は陰影領域を信頼性が低い領域と判断する。
図４６は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００における第１の領域分割部１１５および第２の領域分割部１１５−２は、画像を鏡面反射成分領域、拡散反射成分領域および陰影領域に分割する。信頼性推定部１１９は、第１の領域分割部１１５および第２の領域分割部１１５−２によって取得した領域分割結果に基づき、法線情報生成部１３７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
領域分割部１１５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する。ここで、陰影領域は輝度値が低いことと、カメラの移動に対して陰影は不変であることに着目する。すると、ステレオカメラにおける鏡面反射成分領域、拡散反射成分領域および陰影領域は、以下のように分割できる。
ここで、Ｔは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、Ｔｈｓは陰影の閾値である。本来、陰影の輝度値は０になるはずであるが、暗電流や環境光などの影響により、０にならない。このような閾値は、実験的に決定すればよい。
図４７は上記領域分割基準を表した模式図である。
もちろん、領域分割部１０５は、画像の輝度値を利用するのではなく偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋2・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などをＩｃ１，Ｉｃ２として利用するようにしても構わない。前述のように、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域が陰影領域であるか、そうでないかを判断すればよい。
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
図４８および４９は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４８および４９において、図４０および４１と共通のステップには図４０および４１と同一の符号を付しており、その詳細な説明を省略する。
領域分割部１１５は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報、第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報、第２の輝度情報を利用することで、図４７の領域分割基準に基づき、第１の画像、第２の画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する（ステップＳ１１６）。
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果が陰影領域かそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３３）。その結果、参照画素が陰影領域でなかった場合（ステップＳ１３３でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素が陰影領域であった場合（ステップＳ１３３でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
また、偏光情報を利用することで、陰影領域をさらにアタッチト・シャドウ（ａｔｔａｃｈｅｄ ｓｈａｄｏｗ）領域とキャスト・シャドウ（ｃａｓｔ ｓｈａｄｏｗ）領域に分割するようにしても構わない。ａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域は「陰領域」とも呼ばれ、ｃａｓｔ ｓｈａｄｏｗ領域は「影領域」とも呼ばれる。ｃａｓｔ ｓｈａｄｏｗ領域では、光線が複雑になり、偏光情報の信頼性が失われる。一方、ａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域では、鏡面反射成分に近い偏光特性を示す。
そこで、本実施形態の法線情報生成装置１００では、領域分割部によって、陰影領域をａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域とｃａｓｔ ｓｈａｄｏｗ領域に領域分割し、信頼性推定部１０９はｃａｓｔ ｓｈａｄｏｗ領域を信頼性が低い領域と判断する。この処理を詳述する。
まず、ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗを説明する。図５０はａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面３０５におかれた被写体３０１が、光源３０４に照らされている。この図において、符号３０６と３０７はどちらも陰影を示している。符号３０６は被写体３０１の法線が光源３０４を向いていないために生じるａｔｔａｃｈｅｄ ｓｈａｄｏｗであり、符号３０７は３０５において、遮蔽物である被写体３０１によって光が遮蔽されることによって生じるｃａｓｔ ｓｈａｄｏｗである。
次に、ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗの偏光特性の違いを説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件１が満たされた撮像シーンにおいて、撮像が行なわれると想定する。
条件１：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮像シーンでは成り立つ。
１． 屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２． 屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３． 屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
１． 屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２． 屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３． 屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。
この条件１が成り立つ場合において、まずａｔｔａｃｈｅｄ ｓｈａｄｏｗを考える。図５０で示したように、ａｔｔａｃｈｅｄ ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件１より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、ａｔｔａｃｈｅｄ ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図５１はこの様子を示した模式図である。
ところで、被写体表面の反射特性は、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
被写体が、てかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ，佐藤洋一，池内克史，柏木寛，"ハイライトの偏光解析にもとづく透明物体の表面形状測定"，電子情報通信学会論文誌D-II，Vol. J82-D-II，No.9，pp.1383-1390，1999）。そのため、ａｔｔａｃｈｅｄ ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。
鏡面反射成分と拡散反射成分の偏光度を示した、前述の図１７および１８から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことからも、偏光特性としても鏡面反射成分が支配的になると推測される。
また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図１７および１８からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ ｓｈａｄｏｗは、相対的に偏光度が高くなる。
次に、ｃａｓｔ ｓｈａｄｏｗについて考える。図５０で示したように、ｃａｓｔ ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件１を考慮すると、ｃａｓｔ ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図５２はこの様子を示した模式図である。
さらに、図１８で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。
以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
○ａｔｔａｃｈｅｄ ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗに分割する。
図５３は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５４は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光度ρの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光度ρの大きさと閾値Ｔｈρとを比較する。その結果、偏光度ρの大きさが閾値Ｔｈρ以上であった場合（ステップＳ１４１でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光度ρの大きさが閾値Ｔｈρより小さかった場合（ステップＳ１４１でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図１７および１８に示したように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図１７および１８で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈρとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１８より拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。
もちろん、偏光度の閾値Ｔｈρを実験的に決定するようにしても構わない。
以上のように、図４７および５３の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ ｓｈａｄｏｗおよびｃａｓｔ ｓｈａｄｏｗに分割する。
もちろん、陰影領域をａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。
図５５は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５６は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光推定誤差Ｅの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光推定誤差Ｅの大きさと閾値Ｔｈ＿Ｅｒｒとを比較する。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ１４４でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ１４４でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や（数１）の振幅成分Ａ、バイアス成分Cを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。
この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。
以上のように、図４７および５５の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ ｓｈａｄｏｗおよびｃａｓｔ ｓｈａｄｏｗに分割する。
法線１自由度推定部１０６は、前述のように、領域分割部１１５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。このとき、領域分割部１１５において、ａｔｔａｃｈｅｄ ｓｈａｄｏｗと分割された画素は、鏡面反射成分として、 法線１自由度情報φｎを数２５によって計算する。
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域がｃａｓｔ ｓｈａｄｏｗであるか、そうでないかを判断すればよい。
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
図４８および５７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５７において、図４９と共通のステップには図４９と同一の符号を付しており、その詳細な説明を省略する。
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果がｃａｓｔ ｓｈａｄｏｗかそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３４）。その結果、参照画素がｃａｓｔ ｓｈａｄｏｗ領域でなかった場合（ステップＳ１３４でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素がｃａｓｔ ｓｈａｄｏｗであった場合（ステップＳ１３４でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
もちろん、信頼性推定部１０９は、陰影領域を利用するのではなく、例えば、多重反射領域を利用するようにしても構わない。多重反射領域では、光線が複雑 になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、多重反射領域を領域分割し、信頼性推 定部１０９は多重反射領域を信頼性が低い領域と判断する。
領域分割部１１５によって、多重反射領域を領域分割するためには、例えば、色情報を利用すればよい。一般に、拡散反射成分の色ベクトルは物体色に等しく、鏡面反射成分の色ベクトルは光源色に等しい。ここでは、多重反射として２次反射を考える。２次反射とは、光源からの光が、領域Ａで反射し、その反射光がさらに領域Ｂを照射し、その領域Ｂを観測している状態を示す。この場合、領域Ａで拡散反射、領域Ｂで鏡面反射が生じている場合、領域Ｂで観測される色ベクトルは、領域Ａの物体色ベクトルと等しくなる。ここで、非偏光成分の色ベクトルは、物体色ベクトルとほぼ等しいと仮定する。このとき、領域Ｂで観測された偏光成分の色ベクトルが、領域Ｂの非偏光成分の色ベクトルとも異なり、さらに光源色ベクトルとも異なる場合、領域Ｂでは多重反射が生じていると判断することができる。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
（第６の実施形態）
次に、本発明の第６の実施の形態における法線情報生成装置を説明する。
次に、本発明の第６の実施の形態における法線情報生成装置を説明する。
図５８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有し、視点の異なる３枚以上の偏光画像（第１の偏光画像、第２の偏光画像、第３の偏光画像）を取得する。そのため、法線情報生成部１５７は、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。こうして求めた複数の法線方向ベクトル候補に対し、最適法線選択部１１８は、その妥当性を評価することで、法線方向ベクトルを選択する。２眼のみのステレオ偏光画像撮像部１０１を利用した場合、前述のように、カメラと参照点の３次元配置および参照点の法線方向ベクトルの関係によっては、法線方向ベクトルｎの推定が不定となる場合が存在する。本実施形態の法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を利用することで、この問題を解決するものである。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
ステレオ対応取得部１１４は、３眼以上のステレオ偏光画像撮像部１１１が取得した３視点以上の第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する。これは、前述の図１５で示した処理を、３視点以上の偏光画像に関して行なえばよい。
第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報や第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する。これは、前述の領域分割処理を、第１の画像と第２の画像、および／または、第１の画像と第３の画像、および／または、第２の画像と第３の画像に対して、順次または並列的に、行なうようにすればよい。
法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、複数の法線方向ベクトル候補を推定する。本実施形態に基づく法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有する。そのため、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。
最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、最適なものを選択することで、法線方向ベクトルｎを推定する。最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、法線１自由度推定部１０６で推定された法線１自由度情報を利用する。この処理を説明する。
前述のように、以下の条件を満たす場合、２眼のステレオ偏光画像から求めた入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となってしまう。
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
そこで、最適法線選択部１１８は、まず、第１の偏光画像から求めた入出射面Ｓ１と第２の偏光画像から求めた入出射面Ｓ２および第３の偏光画像から求めた入出射面Ｓ３のそれぞれのなす入出射面角を前述の数３５にしたがって計算する。ここで、入出射面Ｓ１と入出射面Ｓ２から求めた入出射面角をφｓ１２、入出射面Ｓ１と入出射面Ｓ３から求めた入出射面角をφｓ１３、入出射面Ｓ２と入出射面Ｓ３から求めた入出射面角をφｓ２３とする。こうして求めた入出射面角φｓ１２、φｓ１３およびφｓ２３において、最も値が大きいカメラ組を選択する。こうして選択されたカメラ組から法線方向ベクトルｎを前述のように取得する。こうして取得された法線方向ベクトルｎは、上記推定が不定となる条件に最も合わない、つまり、最も信頼性の高い法線方向ベクトルであると判断できる。
図５９および６０は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５９および６０において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第３の偏光画像撮像部１０２−３は、第３のパターン偏光子２０１−３を通して被写体を第３の撮像素子２０２−３で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ４０１）。第３の偏光情報取得部１０３−３は、第３の偏光画像撮像部１０２−３が撮像した第３の偏光画像の輝度変化を利用して、第３の偏光情報を生成する（ステップＳ４０２）。ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４と、ステップＳ４０１〜ステップＳ４０２の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１１４は、ステレオ偏光画像撮像部１１１が取得した第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する（ステップＳ４０３）。第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報、および／または、第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する（ステップＳ４０４）。第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された第１の偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ１を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された第２の偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ２を推定する（ステップＳ１０８）。第３の法線１自由度推定部１０６−３は、偏光情報取得部１０３−３で生成された第３の偏光情報を用いて、第３の領域分割部１０５−３で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ３を推定する（ステップＳ４０５）。ここで、ステップＳ１０７と、ステップＳ１０８と、ステップＳ４０５の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度情報を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定する（ステップＳ４０６）。最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、前述の入出射面角情報を利用することで、最適なものを選択し、選択された法線方向ベクトル候補を法線方向ベクトルｎとして選択する（ステップＳ４０７）。
もちろん、法線情報生成部１５７は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定するのではなく、２つの法線方向ベクトル候補ｎ１２およびｎ１３のみを推定するようにしても構わない。
また、図６１は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、３つ以上のパターン偏光子（第１のパターン偏光子２０１、第２のパターン偏光子２０１−２および第３のパターン偏光子２０１−３）、３つ以上の撮像素子（第１の撮像素子２０２、第２の撮像素子２０２−２および第３の撮像素子２０２−３）、メモリ２０３およびＣＰＵ２０４を備える。なお、図６１において、図５と共通の構成要素には図５と同一の符号を付しており、新しい構成要素は存在しないため、その詳細な説明を省略する。
図２７、６５および６８は本実施形態における法線情報生成部１５７によって推定した法線方向ベクトルを可視化した法線画像を示している。前述のように、法線方向ベクトルの各成分は-1から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。図２７は、撮像素子を水平方向に配置した、図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１２を可視化した法線画像を表している。
図２７（ａ）は法線方向ベクトル候補ｎ１２のｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトル候補ｎ１２のｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトル候補ｎ１２のｚ成分の法線画像を示している。また、図２８は、図２７の各図を模式的に示した図（濃淡を明瞭化した図）である。
以下、本実施の形態による法線情報生成装置１００を利用した画像生成例を説明する。例では、球体である地球儀を被写体としている。図６２は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１、２０１−２および２０１−３との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、および、パターン偏光子２０１および２０１−３の間隔は５０ｃｍである。パターン偏光子間の間隔は、撮像素子の間隔とほぼ同じである。
図６３（ａ）は、地球儀を被写体とし、偏光情報取得部１０３−３（偏光情報取得部１０３の上方より撮像）によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図６３（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３−３によって取得された偏光位相φｍａｘ３（０°が黒、１８０°が白）を表している。また、図６３（ｃ）および図６３（ｄ）は、図６３（ａ）および図６３（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。図６４（ａ）および（ｂ）はそれぞれ、図６３（ｃ）および（ｄ）に示す画像に対応する領域を示している。
図６５（ａ）〜（ｃ）は、撮像素子を垂直方向に配置した、図２４（ｂ）と図６３（ｂ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１３を可視化した法線画像を表している。図６５（ａ）は法線方向ベクトル候補ｎ１３のｘ成分の法線画像を示している。また、図６５（ｂ）は法線方向ベクトル候補ｎ１３のｙ成分の法線画像を示している。また、図６５（ｃ）は法線方向ベクトル候補ｎ１３のｚ成分の法線画像を示している。
また、図６６（ａ）〜（ｃ）は、図６５（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図６７（ａ）〜（ｃ）はそれぞれ、図６５（ａ）〜（ｃ）に示す画像と、図６６（ａ）〜（ｃ）に示す各領域との対応関係を示している。
図６８（ａ）〜（ｄ）は、本実施形態における最適法線選択部１１８によって選択された最適な法線方向ベクトルｎを可視化した法線画像を表している。図６８（ａ）は法線方向ベクトルｎのｘ成分の法線画像を示している。また、図６８（ｂ）は法線方向ベクトルｎのｙ成分の法線画像を示している。図６８（ｃ）は法線方向ベクトル候補ｎのｚ成分の法線画像を示している。また、図６８（ｄ）は最適法線選択部１１８が法線方向ベクトル候補ｎ１２と法線方向ベクトルｎ１３のいずれを選択したかを画素ごとに示した模式図である。この図において、法線方向ベクトル候補ｎ１２が選択された画素は白く、法線方向ベクトル候補ｎ１３が選択された画素は黒くなるような表現をしている。また、背景は灰色で示している。
また、図６９（ａ）〜（ｄ）は、図６８（ａ）〜（ｄ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図７０（ａ）〜（ｄ）はそれぞれ、図６８（ａ）〜（ｄ）に示す画像と、図６９（ａ）〜（ｄ）に示す各領域との対応関係を示している。
被写体が球体であるため、撮像素子を水平に並べた法線方向ベクトル候補ｎ１２を示した図２７では、球体の画面中央部水平領域において、ｘ成分法線画像が乱れていることがわかる（図２８（ａ）および図２９（ａ）における領域Ｇ３１）。この領域は、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、撮像素子を垂直に並べた法線方向ベクトル候補ｎ１３を示した図６５では、球体の画面中央部垂直領域において、ｙ成分法線画像が乱れていることがわかる（図６６（ｂ）および図６７（ｂ）における領域Ｇ４２）。この領域も、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、図６８（ｄ）より、最適法線選択部１１８は、画面中央部水平領域においては法線方向ベクトル候補ｎ１３を、画面中央部垂直領域においては法線方向ベクトル候補ｎ１２を選択しているため、「法線方向ベクトルｎの推定が不定となる条件」を回避していることがわかる。そのため、生成された法線方向ベクトルｎは、安定して推定されていることがわかる（図６８（ａ）〜（ｃ）参照）。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光情報を利用しても構わない。これは、例えば偏光度ρを利用するようにすればよい。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光度ρ１、ρ２およびρ３の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光度が低い場合には、偏光情報の信頼性がなくなるためである。偏光度が低い場合、偏光情報として偏光位相情報φｍａｘを取得することは非常に困難である。偏光度を利用した法線方向ベクトルの選択を行なうことで、上記の状態を回避でき、問題を解決することが可能である。
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光推定誤差Ｅを利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光推定誤差Ｅ１、Ｅ２およびＥ３の大きさを比較し、その下位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光推定誤差Ｅが大きい場合には、偏光情報の信頼性がなくなるためである。偏光推定誤差を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光画像撮像部１０２で取得した偏光画像を利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）の参照画素の輝度値の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光画像の輝度値が低い場合には、輝度分解能が小さくなるため、偏光情報の信頼性が低くなると考えられるためである。偏光画像を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
もちろん、法線情報生成部１５７は、複数の法線方向ベクトル候補を生成するのではなく、最適法線選択部１１８が選択した最適な法線方向ベクトルｎのみを生成するようにしても構わない。
図７１は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。なお、すべての構成要素は図５８と同一のため、図５８と同一の符号を付し、その説明を省略する。
図７２は、本実施形態における最適法線選択部１１８および法線情報生成部１５７の処理の流れを示すフローチャートである。
まず、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、入出射面角φｓ１２を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−２とする（ステップＳ５０１）。つぎに、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ１３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−３とする（ステップＳ５０２）。また、最適法線選択部１１８は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ２３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿２−３とする（ステップＳ５０３）。ここで、最適法線選択部１１８は、法線推定信頼度Ｃｏ＿１−２、Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０４）。まず、Ｃｏ＿１−２がＣｏ＿１−３以上であり、かつ、Ｃｏ＿１−２がＣｏ＿２−３以上である場合（ステップＳ５０４でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０５）、処理を終了する。また、Ｃｏ＿１−２がＣｏ＿１−３より小さい、またはＣｏ＿１−２がＣｏ＿２−３より小さかった場合（ステップＳ５０４でＮｏ）、最適法線選択部１１８は法線信頼度Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０６）。Ｃｏ＿１−３がＣｏ＿２−３以上であった場合（ステップＳ５０６でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０７）、処理を終了する。また、Ｃｏ＿２−３がＣｏ＿１−３より大きかった場合（ステップＳ５０６でＮｏ）、法線情報生成部１５７は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０８）、処理を終了する。
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
（第７の実施形態）
次に、本発明の第７の実施の形態における法線情報生成装置を説明する。
次に、本発明の第７の実施の形態における法線情報生成装置を説明する。
図７３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００において法線情報生成部１６７は、３つ以上の視点から求まった法線１自由度情報を利用して、法線方向ベクトルを推定する。なお、第６の実施形態における法線情報生成装置１００と同一の構成要素には、図７１と同一の符号を付し、その説明を省略する。
法線情報生成部１６７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、一つの法線方向ベクトルｎを推定する。これは、例えば、３つの入出射面Ｓ１、Ｓ２およびＳ３の法線方向と推定すべき法線方向ベクトルｎのなす角が最大（９０度）になるような法線方向ベクトルｎを生成すればよい。この処理を説明する。
まず、生成すべき法線方向ベクトルをｎとし、これは第１の撮像素子２０２でのカメラ座標系Ｃ１で表現されているとする。また、第２の撮像素子２０２−２でのカメラ座標系Ｃ２における法線方向ベクトルをｎ＿Ｃ２、第３の撮像素子２０２−３でのカメラ座標系Ｃ３における法線方向ベクトルをｎ＿Ｃ３とする。このとき、各カメラ座標上での法線方向ベクトルは、次式で表される。
ただし、Ｒｃ１−ｃ２はカメラ座標系Ｃ１からカメラ座標系Ｃ２への変換を表す回転行列、Ｒｃ１−ｃ３はカメラ座標系Ｃ１からカメラ座標系Ｃ３への変換を表す回転行列である。ここで、各撮像素子での法線１自由度をφｎ１、φｎ２およびφｎ３とすると、法線方向ベクトルｎは、以下の評価関数Ｅｖ３を最小化する法線方向ベクトルｎとして求められる。
図７４は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図７４において、図５９と共通のステップには図５９と同一の符号を付しており、その詳細な説明を省略する。
法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）および入出射面Ｓ３（第３の偏光画像より取得）から、前述の数４２を最小化することで、法線方向ベクトルｎを推定し（ステップＳ４０８）、処理を終了する。
もちろん、法線情報生成部１５７は、数４２を最小化することで、法線方向ベクトルｎを推定する際、前述の拘束条件をさらに評価関数Ｅｖ３に導入することで、大域的に安定した法線を求めるようにしても構わない。このような拘束条件としては、前述のように、例えば、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件など利用すればよい。例えば、法線方向ベクトルの連続性と鏡面反射成分と拡散反射成分の空間的な連続性を拘束条件として利用する場合、法線方向ベクトルｎは、以下の評価関数Ｅｖ４を最小化する法線方向ベクトルｎとして求められる。
ただし、Ｃ１およびＣ２は拘束条件の重み係数である。
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
また、数４２、数４３で示した評価関数を、法線方向ベクトルｎを推定するために用いるのではなく、例えば、ステレオ対応取得部１１４や領域分割部１０５が利用するようにしても構わない。領域分割部１０５が参照点を鏡面反射成分または拡散反射成分に分割する場合には、以下の処理を行なえばよい。まず、第１の法線１自由度推定部１０６、第２の法線１自由度推定部１０６−２および第３の法線１自由度推定部１０６−３は、参照点および対応点の法線１自由度候補（φ１ｎｄ、φ１ｎｓ）、（φ２ｎｄ、φ２ｎｓ）および（φ３ｎｄ、φ３ｎｓ）を求める。ここで、φ１ｎｄ、φ１ｎｓはそれぞれ、撮像素子２０２で撮像された第１の偏光画像に対して、拡散反射成分を仮定した場合の法線１自由度候補、鏡面反射成分を仮定した場合の法線１自由度候補である。上記の法線１自由度候補すべての組み合わせ（φ１ｎｄ―φ２ｎｄ―φ３ｎｄ、φ１ｎｄ―φ２ｎｄ―φ３ｎｓ、φ１ｎｄ―φ２ｎｓ―φ３ｎｄ、φ１ｎｄ―φ２ｎｓ―φ３ｎｓ、φ１ｎｓ―φ２ｎｄ―φ３ｎｄ、φ１ｎｓ―φ２ｎｄ―φ３ｎｓ、φ１ｎｓ―φ２ｎｓ―φ３ｎｄ、φ１ｎｓ―φ２ｎｓ―φ３ｎｓ）８通りにおいて、それぞれ数４２を最小にする法線方向ベクトル候補とその際の評価関数の値を計算する。領域分割部１０５、こうして求めた評価関数を最小にする組み合わせを領域分割結果として選択すればよい。もちろん、法線情報生成部１５７は、評価関数を最小とする組み合わせにおける法線方向ベクトル候補を法線方向ベクトルｎとして生成すればよい。
また、例えば、ステレオ対応点取得部１１４では、複数画像間での対応点を求める際、数４２や数４３が最小となる対応点を、例えば、エピポーラ線上を探索しながら検出するようにすればよい。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図６１）と同じである。よって、詳細な説明は省略する。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定される。
なお、法線情報生成装置も画像を処理している点において画像処理装置と呼んでもよい。ただし、その画像処理装置は、図１に示す画像処理装置とは異なる機能を有するものであることに留意されたい。
（第８の実施形態）
以下、本発明の第８の実施の形態による視点変換画像生成装置を説明する。
以下、本発明の第８の実施の形態による視点変換画像生成装置を説明する。
上述したいずれかの実施形態にかかる法線情報生成装置によれば、被写体の法線情報を得ることができる。本実施形態による視点変換画像生成装置は、この法線情報を利用して視点変換された画像（以下「視点変換画像」という。）を生成する。ここで、「視点変換」とは、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する処理をいう。視点変換することにより、同じ被写体を異なる方向から見た画像を得ることができる。
視点変換の実現方法としては、従来多眼カメラを用いて多視点画像を撮像し、それを補間する画像ベースの方法、および、被写体の3次元幾何モデルを取得してそれにテクスチャを貼り付けるモデルベースの方法がある。しかしながら、前者の方法は、高精細化のためには使用するカメラ数が相当数に増えてしまうこと、基本的には補間を用いるためカメラ群が存在しない任意視点からの視点変換が不可能であるという欠点がある。また、後者の方法では、被写体の高品質な3次元モデルの取得が困難という欠点がある。
一方、本発明に係る法線情報生成装置は、ステレオ偏光画像を用いることにより被写体法線を画素ベースで取得できる。このように画素ベースで法線が取得できる利点は、陰影から法線を復元する、いわゆるＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇの手法を除けば偏光を用いる手法は唯一の方法であるといってもよく、これを元に形状を復元することにより高精度な3次元モデルを生成し、モデルベースの視点変換を実施することが可能である。
本発明によれば、ステレオ偏光撮影という2眼カメラ系のみの撮像によって、実質的には多眼カメラで撮影したのと同等の多視点画像を生成し、さらに立体視画像を生成することなどが可能となる。その結果、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能となる。
図７５は、本実施の形態における視点変換画像生成装置７００のブロック図を示す。視点変換画像生成装置７００は、上述の第１から第７のいずれかの実施形態による法線情報生成装置１００を含んでいる。視点変換画像生成装置７００は、被写体から法線情報を抽出し、その情報を元にして被写体形状を復元し、さらに視点を変換した画像や光源を変換した画像を合成して提示する。
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１、ステレオ対応取得部１０４、および、法線情報生成部１０７を備えており、被写体の法線の情報を取得する。この処理の詳細は既に説明したため省略する。なお、以下の説明では、実施形態２で説明した技術内容によってステレオ視のオクルージョンにより法線が得られない領域を含めて被写体全域の法線の情報が取得されているものとする。
光源情報取得部７５０１では、撮影環境での光源情報を取得する。光源情報は最も簡単なモデルでは光源ベクトルＬ（２自由度）を仮定することができ、その取得には鏡面球を使う方法などを使うことができる。この方法は、たとえば、Mark W.Powell, Sudeep Sarker, and Dmity Goldgof:“A Simple Strategy for Calibratng the Geometry of Light Sources"、IEEE Transactin on pattern analysis and machine intelligence,Vol.23, No.9, septermber 2001,pp.1023-1026に記載されている。
光源情報変換部７５０２は、撮影時の光源ベクトルを自由に変化させ、異なる光源ベクトルを利用して、光源を変動させた画像を合成する。ただし本実施形態では光源変動は主たる機能ではなく、視点変換により光源が相対的に変化する効果を再現するために行うものである。
視線情報取得部７５０３は、カメラパラメータを使ってカメラの視点ベクトルを取得する。カメラパラメータは、カメラの世界座標での位置と向きという外部パラメータ、および、焦点距離やレンズ中心、レンズ歪などの内部パラメータからなる。これらのパラメータの取得は、ステレオ偏光画像撮像部の校正時に既出のＴｓａｉの手法などを使って実現されている。よって、詳細は省略する。
輝度画像変換部７５０４は、偏光画像を輝度画像に変換する。偏光画像撮像部が図８のような各画素上に設置された微小偏光板で構成されている場合、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素から得られる各輝度値は偏光情報を取得するために使われるが、これらを平均した値は偏光情報無しの輝度値となる。輝度画像変換部７５０４は、この平均処理により輝度画像を生成する。
形状復元部７５０５は、法線情報生成部１０７にて得られた被写体の法線情報と、ステレオ対応取得部１０４にて得られたステレオ対応からの被写体表面上にある離散的な特徴点の３次元座標とを用いて被写体形状を復元する。
法線情報生成装置１００が出力するのは、法線画像である。これは、（ｘ，ｙ）の２次元平面に３成分を有するベクトルである法線が分布する画像であり、確かに被写体の３Ｄ形状の一部を表現しているため、光源が変化した場合の画像生成には十分である。しかし視点変換を行う場合には被写体形状自身が変化し３Ｄ形状が変わるため、法線画像から形状復元を行う必要がある。以下、暗室内で撮影された地球儀の形状を復元する例を挙げて具体的に説明する。
図７６は、形状復元部７５０５の処理を示すフローチャートである。
ステップＳ７６０１では、形状復元部７５０５は、被写体マスク画像を作成する。これは被写体である地球儀の遮蔽エッジを確定し背景との分離を行うものである。任意のシーンにおいて背景と被写体の分離を行うことは困難である。しかしながら、適当なしきい値を設定して画像の輝度で２値化することにより被写体が分離できる。本実施形態では、このようにして得られた画像を被写体マスク画像として採用する。
ステップＳ７６０２では、形状復元部７５０５は、遮蔽エッジから順次勾配を積分して初期表面を生成する。以降、法線の表現には２自由度の勾配（ｐ，ｑ）空間を用いる。
図７７は、勾配が法線ベクトルＮから平行投影を仮定して得られる様子を示している。カメラ座標系をｘｙｚとすると、ｘｙ座標系が画面内に存在するとき、視点はＺ方向負向きに位置する。そこで、Ｎが接ベクトルｒｘ、ｒｙの外積の符号を変えたもので視点に向いているとすれば以下のような関係式として法線から勾配が得られる。
図７８を用いて、勾配（ｐ，ｑ）の具体的な積分を説明する。被写体内部はマスク画像で表現されるが、これを遮蔽エッジからの距離変換によって遮蔽エッジから次第に中心部へ向かって数値が大きくなるように順序付けしておく。初期設定としてＺをゼロクリアした後、積分該当画素について、距離が多くなる方向を求める（図７８（Ａ））。そして、その方向が周囲の斜め方向の場合（図７８（Ｂ））と周囲の上下左右の方向の場合（図７８（Ｂ））によって場合分けし、各々の場合に即して勾配（ｐ，ｑ）の順次演算を行う。この結果、地球儀の周囲から順次内側に向かって形状が復元される。この形状は撮像面上の画素座標系である奥行き画像Ｚ（ｙ，ｘ）で表される。
図７９は、法線画像（Ｎｘ，Ｎｙ，Ｎｚ）、およびマスク画像を入力して上記積分の結果、奥行き画像として表面が生成される過程を示す図である。このようにして初期表面が生成される。
ステップＳ７６０３では初期表面で求められる表面の形状精度は球の形状から程遠いため、再度勾配（ｐ、ｑ）を有する表面として形状を更新する。この方法では以下の積分を大域的に評価して最小化するZを求める。
この変分問題はＬａｎｇｒａｎｇｅ−Ｅｕｌｅｒ方程式に帰着する（Ｐｏｉｓｓｏｎ方程式）。
この式を離散化し、以下の逐次的な処理で最適解を求める。繰り返し処理は１３０Ｘ１３０画素の法線画像について１０００回程度実施する。
ステップＳ７６０４（図７６）では、形状復元部７５０５は、ステレオ対応点を制御点として導入する。本発明によれば偏光からの法線情報に加えて、２眼、または３眼ステレオ視によって求められた特徴点(以降「制御点」)の３次元位置情報を用いて被写体表面の形状を制御することができる。
図８０は、この様子を示しており、最もZ値が小さい（カメラに近い）制御点を基準点と考え、その画素座標点を対応する奥行き画像に対応させる変換を行うことにより、全制御点を一様に透視投影で上記の焦点面上の奥行き画像に埋め込む。
ステップＳ７６０５では、制御点拘束付きの最適化を行う。ここまでの処理で滑らかだが歪んだ表面上に制御点が不連続に埋め込まれている状態となっているため再度、勾配の拘束を使って逐次的に表面を更新する。このような制御点拘束付きの最適化処理としては、Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ （ＷＬＳ）という方法を用いる。この方法は、論文：Itsik Horovitz and Nahum Kiryati Tel Aviv University：“Depth from Gradient Fields and Control Points:Bias Correction in Photometric Stereo",Image and Vision Computing Vol.22,pp.681-694,2004に記載されている。
この方法では、対象画素から最も近い制御点からの影響を距離の逆数の重み関数として設定し、距離が近い場合には重みを大きく、距離が遠い場合には重みを小さくする。
具体的には
を最小化する。これをＺｉｊで微分してゼロとおく最小２乗法を用いると
となる。したがって、以下の式を繰り返し法で解くこととなる。
重み関数の関数形は任意であるが、今回は、
を用いる。ここでRは対象画素から最も近い制御点までの画像上の距離である。
制御点の拘束条件を具体的に実現するため繰り返し毎に、制御点を再度設定しなおしている。これをしないと繰り返しの後で得られる表面はほとんど制御点を反映しないものになってしまう。
ステップＳ７６０６（図７６）では、形状復元部７５０５は、「滑らかさ」優先形状復元を行う。この理由は以下のとおりである。ステップＳ７６０５までの処理により、形状が復元される。よって、拡散反射成分の視点変換は一応実現できている。しかしながら、表面を詳しく検討すると
・全体的に凹凸が激しい
・特に地球儀中央部の鏡面反射の偏光状態を拡散反射の偏光とみなしている部分の再現が特によくない。
という課題がある。拡散反射成分再現には、このような形状誤差は遮蔽エッジ部分を除きそれほど影響はない。しかし、鏡面反射のモデル化をする場合は極めて高精度で滑らかな曲面が必要であることが分かっているため、この形状誤差は問題となる。これに対し滑らかさ優先で復元した形状を微分し滑らかな法線を得る手法をとり、勾配空間（ｐ，ｑ）を用いた形状復元において、法線の影響を受ける項の重みを係数Wを使って制御することとした。具体的にはＷ＝０．５で生成した表面を用いて、鏡面反射再現には、こちらの形状を用いている。
・全体的に凹凸が激しい
・特に地球儀中央部の鏡面反射の偏光状態を拡散反射の偏光とみなしている部分の再現が特によくない。
という課題がある。拡散反射成分再現には、このような形状誤差は遮蔽エッジ部分を除きそれほど影響はない。しかし、鏡面反射のモデル化をする場合は極めて高精度で滑らかな曲面が必要であることが分かっているため、この形状誤差は問題となる。これに対し滑らかさ優先で復元した形状を微分し滑らかな法線を得る手法をとり、勾配空間（ｐ，ｑ）を用いた形状復元において、法線の影響を受ける項の重みを係数Wを使って制御することとした。具体的にはＷ＝０．５で生成した表面を用いて、鏡面反射再現には、こちらの形状を用いている。
ステップＳ７６０７では、形状復元部７５０５は、復元された奥行き画像からカメラ座標系の３次元空間内で表現された表面形状に変換する。
図８１は、上述の各処理によって形状が順次再現されていく様子を示す。この例は、地球儀の奥行き画像の複数の水平方向のプロファイルを示している。
図８１の（１）は法線を周囲から積分することで初期表面を作成した結果である。この結果にはかなりノイズが含まれている。図８１の（２）は勾配空間を用いて形状を最適化した結果である。この結果でも、曲線がまだ交差しているなど歪みが存在する。図８１の（３）ではステレオ制御点を導入して表面に拘束条件を課している。図８１の（４）では（３）で導入されたステレオ制御点を通り、かつ法線からの勾配空間の条件を両立する表面を最適化して表面形状を生成している。やや歪みはあるものの正しい３次元位置に局面が生成されていることが理解される。図８１の（５）は滑らかさ優先の条件で生成された表面を示し正確な形状からのずれはある。しかしながら、滑らかさは増加していることがわかる。
ＤＳ分離部７５０６（図７５）では、表面輝度を拡散反射成分と鏡面反分に分離する。これは異なる視点から被写体を観察すると、表面の反射輝度のうち、拡散反射成分（ランバート反射）は不変だが、鏡面反射成分は視点に従って移動したり輝度が大きく変化する現象を再現するためである。本発明では、ステレオ視の２視点を使う方法を採用した。この原理は図８２に示すとおりであり以下のようになる。
（１）Ｃａｍ１とＣａｍ２という２視点位置から被写体を見た画像８２０１，８２０２を取得する。
（２）Ｃａｍ２画像を視点変換して画像８２０３を生成する。画像８２０３は、Ｃａｍ１の視点位置からみたＣａｍ２の画像である（図８２では、「Ｃａｍ２画像＠Ｃａｍ１視点」と記載している。
（３）８２０１と８２０３の同じ撮像画素座標どうしを比較して、輝度が小さいほうを拡散反射成分として拡散反射成分画像８２０４を生成する。
（１）Ｃａｍ１とＣａｍ２という２視点位置から被写体を見た画像８２０１，８２０２を取得する。
（２）Ｃａｍ２画像を視点変換して画像８２０３を生成する。画像８２０３は、Ｃａｍ１の視点位置からみたＣａｍ２の画像である（図８２では、「Ｃａｍ２画像＠Ｃａｍ１視点」と記載している。
（３）８２０１と８２０３の同じ撮像画素座標どうしを比較して、輝度が小さいほうを拡散反射成分として拡散反射成分画像８２０４を生成する。
視点変換部７５０６では、カメラパラメータを用いてＣａｍ１またはＣａｍ２の拡散反射画像の成分のみを自在視点変換する。この処理は３Ｄ形状データ構造を前提としている。以下ではまず３Ｄ形状データ構造を説明する。
図８３は、形状復元部７５０５にて復元された被写体３Ｄ形状データ構造を示す。形状復元部７５０５は、３Ｄ形状データ構造を、画素ベースの３Ｄ位置座標（カメラ座標系）のデータ形式に作り変えて記憶する。具体的にはカメラ１において撮像座標系（Ｘ，Ｙ）の２Ｄ画素座標系に対して３Ｄ位置座標（Ｘｃ１，Ｙｃ１，Ｚｃ１）がテキスト形式にて格納される。この構造はカメラ視点から見える部分のみしかモデル化できない。しかしながら、最もシンプルな形での視点変換を実現できる。
被写体以外の背景部分には３Ｄ位置座標（−１，−１，−１）が埋め込まれる。
図８４は、この３Ｄ形状データ構造とカメラパラメータを用いて、視点変換を行う処理を説明するフローチャートである。なお、このフローチャートでは、視点変換を行う対象であるＣａｍ１画像が、拡散反射画像の場合と法線画像の場合の両方の説明をしていることに注意されたい。これは、図７５における視点変換部７５０７に、拡散反射画像と法線画像の２種の画像が入力されている構成に示されている。
まず、ステップＳ８４０１では、視点変換部７５０７は、Ｃａｍ１画像とＣａｍ１座標系での３Ｄ形状データを取得する。
ステップＳ８４０２では、視点変換部７５０７は、上記の３Ｄ形状データに格納されている３Ｄ位置座標をＣａｍ１座標系から世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）に変換する。この変換はカメラパラメータを用いることで可能となる。
ステップＳ８４０３では、視点変換部７５０７は、求めるべき新視点の画像上の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）を取得して実際の処理を開始する。
ステップＳ８４０４では、視点変換部７５０７は、同じくカメラパラメータを用いて画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に相当するカメラの視線と世界座標系の３Ｄ形状データとの最も近い点（Ｘ’ｗ，Ｙ’ｗ，Ｚ’ｗ）を探索処理する。
ステップＳ８４０５では、視点変換部７５０７は、求めた世界座標系に対応する元のＣａｍ１画像の画素値を求める。ステップＳ８４０６では、視点変換部７５０７は、Ｃａｍ１画像が拡散反射画像であるか法線画像であるかを判定する。画像が拡散反射画像であると判定されたときは、処理はステップＳ８４０７に進む。画像が法線画像であると判定されたときは処理はステップＳ８４０８に進む。
ステップＳ８４０７では、視点変換部７５０７は、Ｃａｍ１画素値である（ＲＧＢ）値をそのまま新視点の画像の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納する。これは拡散反射画像では、視点変換ではその輝度値が不変であるという性質によるものであり、ここでカラー画像でない場合にはモノクロ画素値を格納することになる。その後、処理はステップＳ８４０９に進む。
ステップＳ８４０８では、視点変換部７５０７は、カメラパラメータを用いて法線ベクトル成分を新視点へ座標系変換して同様に画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納して新視点での法線画像を生成する。その後、処理はステップＳ８４０９に進む。
ステップＳ８４０９では、すべての画素が生成されたかどうかを調べる。すべての画素が生成されていない場合には、ステップＳ８４０３に戻って処理を繰り返す。
図８５は、図８４のフローチャートにしたがって行われた処理の結果を示す。この図では、Ｃａｍ１画像からＣａｍＮの新視点画像が生成される処理の様子が対応付けて示されている。対応関係８５０１は、Ｃａｍ１画像の座標（Ｉ１，Ｊ１）と新視点画像であるＣａｍＮ画像の座標(Ｉｎｅｗ，Ｊｎｅｗ)との画像面上での関係を説明している。対応関係８５０２は、Ｃａｍ１画像が拡散反射画像の場合において、上記の２つの画素位置において（ＲＧＢ）のカラー画素値がそのまま格納されることを示している。対応関係８５０３は、Ｃａｍ１画像が法線画像の場合において、２つの画素位置でその画素値である法線ベクトルの成分（Ｎ１ｘ、Ｎ１ｙ，Ｎ１ｚ）が座標変換されて（Ｎｎｅｗｘ，Ｎｎｅｗｙ，Ｎｎｅｗｚ）となって格納されることを示している。
鏡面反射画像生成部７５０８（図７５）では、拡散反射画像の視点変換画像同様に視点変換された鏡面反射画像を物理的に生成して合成する。ここまでの処理によると、既に被写体から実際の鏡面反射成分を除去した拡散反射画像に対して視点変換が実施できている。本処理は、ここに光源、視点、被写体法線の幾何的関係と表面反射特性を用いる物理反射モデルを使って鏡面反射を再現することを目的として行われる。この処理は、本手法のようなモデルベースの視点変換独自機能といえる。
鏡面反射に視点変換を実施するためには、まず新視点のカメラ座標系において法線画像と光源ベクトルを得る必要がある。法線画像についてはすでに視点変換部７５０７において処理が行われている。よって、鏡面反射画像生成部７５０８は、あとは光源ベクトルをカメラパラメータを用いて座標変換すればよい。
次に、鏡面反射画像生成部７５０８は、物理反射モデルを利用して法線ベクトル、視線ベクトル、光源ベクトルと表面反射特性から反射輝度値を求めていく。
利用したモデルは以下の式で表現されるクック−トランスモデルである。これは法線ベクトルＮ、視点ベクトルＶ、ハーフベクトルと法線のなす角αを用いると以下のように分布関数Ｄがベックマン関数で表現される。このモデルにはトランス−スパローモデルなど別の鏡面反射モデルを使ってもかまわない。
図８６は、この幾何学的関係を示す。図８６は、光源ベクトルＬと視線ベクトルＶとの２等分ベクトルであるＨと、法線ベクトルＮとの間の角度αを説明している。このα＝０となる角度にて式５３のＤが最大値をとり、輝度が最大となる。表面の反射特性を表現するのは、粗さ係数ｍと輝度重み係数Ｋであるが、これらは実際に撮影する場合に被写体から取得してもよいし、以前の実験で同じ被写体（地球儀）について最適化されたパラメータを使ってもよい。ここでは以前の実験で同じ被写体について求めておいた値（ｍ＝０．０８３， ｋ＝６４１５．７９５）を用いる。なお、このパラメータは、反射パラメータデータベース７５０９に格納されているものとする。
最後に、ＤＳ合成部７５１０は、以上の処理で生成された視点変換された拡散反射画像と、おなじく視点変換された鏡面反射画像とを加算して視点変換画像を完成する。
２Ｄ／３Ｄ提示部７５１１は、たとえば、生成された自在視点変換画像を表示するディスプレイである。ディスプレイは、２Ｄ（平面）ディスプレイであってもよいし、３Ｄ（立体）ディスプレイの場合がある。
２Ｄディスプレイの場合には、ユーザがジョイステックや視点入力装置などの既知のインタフェースにて視点位置を指示すると、２Ｄ／３Ｄ提示部７５１１は、その視点位置に即した２Ｄ画像を表示を行う。
３Ｄ（立体）ディスプレイは、眼鏡有り立体視の固定視点ディスプレイおよび裸眼の多視点立体ディスプレイの両方を含んでいる。前者の場合には、２Ｄディスプレイの場合と同じインタフェースにて自在に視点が変わった立体画像を観察できる。後者の場合には、観察者は自在に視点を動かして立体像を観察できる。そこで、観察者がある視点で見た場合、その左右眼の２枚の視点画像を合成してその方向に提示することにより自在視点での立体視が可能になる。
図８７は、視点変換画像の表示例を示す。画像８７０１、８７０２はそれぞれ、偏光撮像された左右の入力画像を示す。画像８７０３、８７０４、８７０５は、左の入力画像８７０１を用いて任意視点へ合成された画像を示しており、それぞれ、入力画像の中間視点画像、左４５度への視点移動画像、右４５度への視点移動画像を示す。観察者の視点移動に伴って鏡面反射部分の位置が変わって再現されており、リアリティが向上する利点が得られていることがわかる。
図８８は、２Ｄディスプレイの場合の実カメラ視点と合成された仮想的な視点の幾何学的関係を示す。実カメラの配置で撮影された左画像と右画像の入力画像に対して、その左画像から、３点の仮想視点８８０１、８８０２、８８０３での画像が生成されており、それらが図８７の画像に対応している。
図８９は、同じ視点変換が３Ｄディスプレイで提示される場合の視点の幾何学的関係を示す。各仮想視点８８０１、８８０２、８８０３にて観察者の左眼と右眼に相当する２種類の仮想視点画像の対がさらに生成される。これらの画像は、既存の多視点３Ｄ（立体）ディスプレイに表示することができる。これによって観察者は自在に視線を動かしながら、多視点から被写体の立体像を観察できる。
本発明に係る法線情報生成装置は、被写体を撮像することによって被写体の表面における法線情報を生成する法線情報生成装置として、例えば、被写体の３次元形状情報を生成する装置や、その情報を利用して画像を高精細化する装置として、具体的には、デジタルスチルカメラ、デジタルムービーカメラ、監視カメラ などに有用である。特に、光学系や撮像素子の小型化によって画像の解像度が問題となるカメラ付き携帯電話、デジタルカメラ、デジタルムービーカメラなどの携帯型撮像装置が普及してきた今日における実用的意義は極めて高い。
また、本発明に係わる視点変換画像生成装置は、上記の法線情報生成装置の出力である法線画像を用いて被写体の形状を復元し、任意視点からの合成画像を生成することができるため、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能である。
１０１ ステレオ偏光画像撮像部
１０２ 偏光画像撮像部
１０３ 偏光情報取得部
１０４ ステレオ対応取得部
１０５ 領域分割部
１０６ 法線１自由度推定部
１０７ 法線情報生成部
１０８ 最適法線選択部
１０９ 信頼性推定部
１０２ 偏光画像撮像部
１０３ 偏光情報取得部
１０４ ステレオ対応取得部
１０５ 領域分割部
１０６ 法線１自由度推定部
１０７ 法線情報生成部
１０８ 最適法線選択部
１０９ 信頼性推定部
本発明は、被写体を撮像することによって被写体の表面における法線情報を生成する技術に関し、特に、複数視点から撮像した、偏光画像から法線情報を生成する技術に関する。さらに本発明は、生成した法線情報を利用して、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する技術に関する。
カメラ付き携帯電話やデジタルカメラ、デジタルムービーカメラなどは将来、ＨＤＴＶ並みに高精細化すると言われており、付加価値を求めて小型化も進行中である。しかし、光学系や撮像素子が小型化すると、感度やレンズ回折限界などの基本的な画像撮像の限界の問題が発生し、将来的には高精細化も限界に到達すると考えられる。その場合、不足する取得された被写体の画像情報に加えてコンピュータグラフィックスで画像生成に利用される各種物理特性に関係する情報量の付与を行なうことで画質を向上することが有効になる。そのためには、従来の２次元画像処理の枠を超え、被写体の３次元形状情報や、被写体を照明する光源の情報など、画像生成過程における物理情報を取得しなくてはならない。
形状情報の入力には、レーザ光やＬＥＤ光源を投光するレンジファインダや、２眼ステレオなどの距離計測システムが必要である。しかし、このような距離計測システムは大掛かりになる上に、たとえばカメラと被写体との距離がせいぜい数ｍ程度までしかデータを取得できないという制約や、対象被写体が固形物で明るい拡散物体に限られるなどの制約がある。これでは、子供の運動会などの遠距離の屋外シーン撮像や、髪の毛や衣服が重要な人物撮像には利用できない。
また、これらの手法は３次元形状情報として奥行情報を取得する。しかし、画像生成過程における物理情報としては奥行情報ではなく、法線情報が非常に有効である。もちろん、これらの手法から求めた奥行情報から法線情報を取得することは広く行なわれているが（例えば、非特許文献１）、こうして求められた法線情報は精度が十分でないことが知られている（例えば、非特許文献２）。
つまり、屋外シーンや一般被写体において上記目的を達成するためには、完全にパッシブ（受動的）に法線情報を直接、センシング（計測）する方法が必要である。
法線情報を直接計測する手法としては、Ｐｈｏｔｏｍｅｔｒｉｃ ＳｔｅｒｅｏなどのいわゆるＳｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ法と偏光を利用した手法が知られている。しかし、前者は、光源位置が既知であるか、光源位置を変動させる必要があるため、アクティブなセンシング方法となり、パッシブなセンシング方法ということはできない。
偏光を利用した手法として、例えば、特許文献１では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら鏡面反射成分を観測する方法で被写体の局所的な法線情報を生成する方法が開示されている。被写体の表面法線は２つの自由度を有するが、これらは光の入射と反射の光線を包含する入射面と、入射面内での入射角という２つの角度を求めることにより法線を決定している。鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求めている。
また、非特許文献３では、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、カメラのレンズ前に装着した偏光板を回転させながら拡散反射成分を観測する方法で、被写体の法線情報のうち、光の入射と反射の光線を包含する出射面の角度１自由度を求めている。拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求めている。
また、非特許文献４では、非特許文献３と同様の手法で角度１自由度を求め、さらに偏光度を直接、利用することで法線方向ベクトルを求めている。
さらに、非特許文献５では、偏光情報とＳｈａｐｅ Ｆｒｏｍ Ｓｈａｄｉｎｇ法を組み合わせることにより、テクスチャがない被写体に対しても、法線情報の計測を行なっている。
H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, and W. Stuetzle, "Surface reconstruction from unorganized points," Computer Graphics (SIGGRAPH '92 Proceedings), pp.71-78, 1992.
肥後智昭，宮崎大輔，池内克史，"陰影からの形状と反射パラメータの同時推定"，画像の認識・理解シンポジウム (MIRU2007)，pp.1093-1098，2007
Ondfej Drbohlav and Sara Radim，"Using polarization to determine intrinsic surface properties"，Proc. SPIE Vol.3826，pp.253-263，1999
G. A. Atkinson and E. R. Hancock, "Recovery of surface orientation from diffuse polarization," IEEE Transactions of Image Processing, Vol.15, No.6, pp.1653-1664, 2006
Gary A. Atkinson and Edwin R. Hancock，"Shape Estimation Using Polarization and Shading from Two Views"，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.29，Iss.11，pp.2001-2017，2007
しかしながら、上述したいずれの文献も、問題点を抱えている。具体的には以下のとおりである。
上記特許文献１の技術では、鏡面反射成分のみを対象にしているため、特殊な光源を利用しない限り、被写体全体の法線情報を取得することはできない。
また、非特許文献２の技術では、光源位置を変えた非常に多くの画像を必要とするため、パッシブな手法ではない。
また、非特許文献３の技術では、拡散反射成分の法線１自由度のみを対象にしており、鏡面反射成分のような反射特性の異なる領域では正確に法線情報を求めることができないという問題がある。また、非特許文献３の技術では、鏡面反射成分の影響を除去するため、光源をカメラ近傍に設置している。そのため、やはり特殊な光源が必要となり、パッシブな手法とは言いがたい。
さらに、非特許文献４では、偏光度から直接、法線方向ベクトルを求めている。しかし、偏光度情報は多重反射などの影響を非常に受けやすいため、適用できる被写体の材質や形状、さらに撮影環境が大幅に限定されてしまう。
また、非特許文献５では、被写体を回転テーブルに設置して撮影を行なうため、やはりパッシブな手法ではない。
また、近年のカメラでは高ダイナミックレンジ化が進んでいる。そのため、鏡面反射成分による偏光と拡散反射成分による偏光が同時に取得されるため、両者の領域に対して法線情報を取得する手法が必要である。
本発明による画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部とを有している。
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。
前記画像処理装置は、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部とをさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定してもよい。
前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割してもよい。
前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割してもよい。
前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成してもよい。
前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成してもよい。
前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成してもよい。
前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成してもよい。
前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去してもよい。
前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得してもよい。
前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成してもよい。
本発明による他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択してもよい。
前記画像処理装置は、前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えていてもよい。
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換えてもよい。
前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換えてもよい。
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定してもよい。
前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変えてもよい。
前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。
前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定してもよい。
前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変えてもよい。
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部とを備えている。
前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成してもよい。
前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択してもよい。
前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定してもよい。
前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定してもよい。
本発明によるさらに他の画像処理装置は、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部とを備えている。
前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成してもよい。
前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択してもよい。
前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。
前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受けてもよい。
本発明による画像処理方法は、被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップとを包含する。
本発明によるコンピュータプログラムは、被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、上述の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる。
本発明による視点変換画像生成装置は、複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部と、前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部とを備えている。
前記視点変換画像生成装置は、所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、複数の画像を合成して１枚の画像を生成する合成部と、画像を提示する提示部とをさらに備え、前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、前記提示部は、合成された画像を提示してもよい。
前記視点変換画像生成装置は、視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元してもよい。
前記視点変換画像生成装置は、視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有していてもよい。
前記視点変換画像生成装置は、観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有していてもよい。
本発明による画像生成装置は、被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、前記法線情報から前記被写体の３次元形状を復元する形状復元部とを備えている。
本発明によれば、被写体の偏光情報を利用することで、鏡面反射領域と拡散反射領域の領域分割が行われ、領域ごとに法線情報が生成される。これにより、広い領域についてパッシブに精度の高い法線情報を生成（または推定）できる。
添付の図面を参照しながら、本発明による法線情報生成装置および法線情報生成装置を備えた画像処理装置の実施形態を説明する。
以下に説明する各実施形態は、主として本発明による法線情報生成装置に関している。各実施形態の説明に先立って、まず法線情報生成装置を備えた画像処理装置の構成および動作を説明する。
図１は、本発明による画像処理装置５００の構成を示す。画像処理装置５００は、法線情報生成装置５０１と、画像撮像部５０２と、ＤＢ５０３と、画像処理部５０４と、提示部５０５とを備えている。
法線情報生成装置５０１は、後述の第１から第７の実施形態のいずれかにかかる法線情報生成装置である。法線情報生成装置５０１は、被写体の表面における法線情報を生成して出力する。この情報は、法線情報生成装置５０１によって推定された、画像内の法線方向ベクトルを示している。本明細書においては、法線情報生成装置５０１が法線情報（法線方向ベクトル）を生成することを「法線情報（法線方向ベクトル）を推定する」ということがある。
なお、法線情報生成装置５０１は１つの筐体に収められていてもよいし、または、画像撮像部５０２、ＤＢ５０３および画像処理部５０４とともに１つの筐体に収められていてもよい。前者の場合は、後述する画像撮像部５０２（カメラ）、提示部５０５（ディスプレイ）等の他の構成要素とともに、１つの画像処理システムとして実現されてもよい。
画像撮像部５０２は、たとえばカメラであり、被写体を撮像する。後述する各実施形態による各法線情報生成装置は画像撮像部を有しているため、当該画像撮像部を利用することにより、法線情報生成装置とは別に画像撮像部５０２を設ける必要はなく、省略してもよい。
ＤＢ５０３は、被写体情報等を保持している。提示部５０５は、たとえばディスプレイであり、画像処理部５０４で作成された画像をユーザに提示する。
画像処理部５０４は、画像撮像部５０２によって撮像された画像情報と、法線情報生成装置５０１によって推定された法線方向ベクトル情報と、前記ＤＢ５０３に保持されている被写体情報とを利用して、画像処理を行なう。
例えば、画像処理部５０４は、モデルベースの画像合成と呼ばれている手法を利用して画像処理を行なっても構わない。この手法は、被写体の法線情報やテクスチャ情報を取得し、さらに、光源情報、カメラ情報などを利用することで、自由な視点位置の画像や、任意の光源環境の画像を合成するものである。そのため、デジタルアーカイブや拡張現実の分野において、インタラクティブな画像提示方法として利用されている（例えば、Y. Sato, M. D. Wheeler, and K. Ikeuchi, "Object shape and reflectance modeling from observation", SIGGRAPH 97, pp.379-387, 1997）。法線情報生成装置５０１として、本実施形態の法線情報生成装置を利用することで、高精度なモデルベースの画像合成が可能である。
または、画像処理部５０４は、モデルベースの画像の高解像度化処理を行なっても構わない。学習を利用した画像処理において、学習時と画像合成時の視点位置や光源環境の変化が大きな問題とされていた。しかし、モデルベースの手法を導入することで、この問題を解決し、高精度な高解像度化処理が可能である。このような画像処理装置５００は、例えば、特許第４０８２７１４号公報などを利用すればよい。
または、画像処理部５０４は、ＦＡ（ファクトリー・オートメーション）などで広く利用されている、被写体の表面検査などに利用される画像処理を行なっても構わない。これは、理想的な表面法線方向と実際の表面法線方向を比較することで、被写体表面の傷などを検出する技術である。
図２は、画像処理装置５００が３次元形状情報を取得する手法を比較した図である。法線情報生成装置５０１は、３次元形状情報を構成する情報のうちの法線情報をパッシブに生成する。従来の偏光法等はアクティブに法線情報を求めるものであり、パッシブに生成する本発明とは相違する。３次元形状情報を構成する奥行情報については、本発明の対象ではないため、説明は省略する。
図３は、画像処理装置５００による処理の流れを示すフローチャートである。各ステップＳ６０１〜Ｓ６０５を囲む破線に対して付された参照符号５０１〜５０５は、上述の画像処理装置５００の構成要素の参照符号に対応しており、各構成要素が実行する処理であることを示している。
まず、画像撮像部５０２は、被写体表面の撮像を行なう（ステップＳ６０１）。法線情報生成装置５０１は、各実施形態に関連して後述されるいずれかの手法を利用することで、被写体表面の法線方向ベクトルｎｅを推定する（ステップＳ６０２）。
画像処理部５０４は、ＤＢ５０３に保持されている、被写体表面の理想法線方向ベクトルｎｉを取得する（ステップＳ６０３）。被写体表面の理想法線方向ベクトルｎｉは、例えば、被写体のＣＡＤ情報から作成した、形状情報として実現すればよい。ここで、ステップＳ６０１、ステップＳ６０２、ステップＳ６０３の順序は任意であり、順次実行してもよいし、もちろん、並列的に実行しても構わない。
画像処理部５０４は、法線情報生成装置５０１によって推定された被写体表面の法線方向ベクトルｎｅと、ＤＢ５０３に保持されていた被写体表面の理想法線方向ベクトルｎｉを比較することで、異常法線を検出する（ステップＳ６０４）。
この処理を具体的に説明すると、まず画像処理部５０４は、画像撮像部５０２で撮像された画像情報を利用して、理想法線方向ベクトルｎｉの形状情報の位置合わせを行なう。その後、画像処理部５０４は、法線方向ベクトルｎｅと理想法線方向ベクトルｎｉの差分を検出し、差分値が大きい法線方向ベクトルｎeを異常法線として検出する。画像情報を利用した形状情報の位置合わせは、公知の技術を利用すればよい。
提示部５０５は、画像撮像部５０２で撮像された被写体の画像に対し、画像処理部５０４によって検出された異常法線に対応する画素を強調し、ユーザに提示する（ステップＳ６０５）。このような画素の強調は、例えば、異常法線に対応する画素を赤い色で表示するなどの処理を行なえばよい。
なお、法線情報を利用して異常法線を検出する上述の処理は一例である。得られた法線情報を被写体の画像情報とともに利用することにより、画像生成に利用される各種物理特性に関係する情報量の付与を行なうことも可能である。これにより、被写体の画像情報のみを利用して表示されたコンピュータグラフィックスよりも高品質なコンピュータグラフィックスを提供することが可能になる。
以下、法線情報生成装置の各実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施の形態による法線情報生成装置の概要を説明する。
まず、本発明の第１の実施の形態による法線情報生成装置の概要を説明する。
図４は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、被写体を撮像することによって被写体の表面における法線情報を生成する。
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１を構成する偏光画像撮像部１０２および１０２−２、偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２、法線情報生成部１０７および出力部１２０を備えている。
このうち、第２の偏光画像撮像部１０２−２、第２の偏光情報取得部１０３−２、第２の領域分割部１０５−２、第２の法線１自由度推定部１０６−２の処理は、第１の偏光画像撮像部１０２、第１の偏光情報取得部１０３、第１の領域分割部１０５、第１の法線１自由度推定部１０６の処理と同等である。よって、以下の説明において、多くの場合、簡略化のために後者のみを用いて説明する。
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。
偏光画像撮像部１０２は、偏光主軸角度が異なる複数の偏光子を透過してくる光を受けることで、被写体の偏光画像を取得する。
偏光情報取得部１０３は、偏光画像撮像部１０２によって取得された偏光画像から、当該偏光画像を構成する画像領域のそれぞれについて、複数の偏光子の偏光主軸角度と複数の偏光子を透過した光の輝度との対応関係を用いて、受光した偏光に関する情報である偏光情報を生成する。
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する。
領域分割部１０５は、ステレオ偏光画像の輝度情報および偏光情報取得部１０３で生成されたステレオ偏光画像における偏光情報の少なくとも一方の情報における類似性（共通性）を利用して、偏光画像を、光学的に共通する領域ごとに分割する。具体的には、領域分割部１０５は、画像の輝度や偏光情報を利用して、当該画像領域を鏡面反射領域または拡散反射領域として領域分割を行なう。
法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、領域分割部１０５で分割された領域ごとに異なった処理を行なうことで、対応する被写体の表面での法線１自由度を推定する。
法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された複数の法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを生成する。
出力部１２０は、法線情報を出力する出力端子である。または、出力部１２０は、後述の図１１等に示される画像等とともに法線情報に基づく法線の画像を出力するディスプレイであってもよい。後者の場合には、出力部１２０は提示部５０５（図１）に対応する。
図５は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。図６は、図５に示されたパターン偏光子２０１と撮像素子２０２との関係を示した模式図である。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、複数のパターン偏光子２０１および２０１−２、複数の撮像素子２０２および２０２−２、メモリ２０３およびＣＰＵ２０４を備える。
パターン偏光子２０１、２０１−２は、図６に示されるように、偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を１組として２次元状に配置された偏光子の集まりである。図６において、パターン偏光子２０１、撮像素子２０２のみを示したが、これはパターン偏光子２０１−２、撮像素子２０２−２の場合も同様である。そのため、以下の説明では簡略化のためにパターン偏光子２０１、撮像素子２０２のみに関して詳述する。
撮像素子２０２は、図６に示されるように、パターン偏光子２０１を構成する個々の偏光子を透過した光を受ける２次元状に配置された画素（受光素子）の集まりである。パターン偏光子２０１は、撮像素子２０２の撮像面に平行に設置されることが望ましい。なお、パターン偏光子２０１における４個（４種類）の偏光子と、撮像素子２０２における対応する４個の画素とから、撮像単位２０５が構成される。この撮像単位２０５によって得られる画像は、偏光情報取得部１０３、領域分割部１０５、法線１自由度推定部１０６、ステレオ対応取得部１０４および法線情報生成部１０７における各処理の単位（「単位画像」）である。つまり、法線情報生成装置１００は、撮像単位２０５によって得られる単位画像（以下、「画素」ともいう。）ごとに、偏光情報の生成、領域分割および法線情報の生成を行なう。
メモリ２０３は、ＣＰＵ２０４の作業領域としてのＲＡＭおよびプログラム等が格納されたＲＯＭを含む。
ＣＰＵ２０４は、メモリ２０３に格納されたプログラムを実行し、メモリ２０３にアクセスしたり、撮像素子２０２および２０２−２を制御するプロセッサである。
なお、図４に示された偏光画像撮像部１０２は、図５に示されたパターン偏光子２０１および撮像素子２０２によって実現される。同様に、図４に示された偏光画像撮像部１０２−２は、図５に示されたパターン偏光子２０１−２および撮像素子２０２−２によって実現される。
図４に示された偏光情報取得部１０３および１０３−２、ステレオ対応取得部１０４、領域分割部１０５および１０５−２、法線１自由度推定部１０６および１０６−２および法線情報生成部１０７は、図５に示されたＣＰＵ２０４がメモリ２０３に格納されたプログラムを実行することによって実現される。
たとえば、添付の図面のうちのフローチャートを用いて説明する制御処理はコンピュータに実行されるプログラムによって実現され得る。そのようなコンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。法線情報生成装置、および、画像処理装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。
また、メモリ２０３は、偏光画像撮像部１０２および１０２−２で取得された偏光画像、偏光情報取得部１０３および１０３−２で生成された偏光情報、ステレオ対応取得部１０４で取得されたステレオ画像対応情報、領域分割部１０５および１０５−２で分割された領域分割情報、法線１自由度推定部１０６および１０６−２で推定された法線１自由度情報、法線情報生成部１０７で生成された法線情報、および、一時的に発生する各種パラメータ等を格納する作業領域としても使用される。
図７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体からの光を撮像素子で受けることで被写体を撮像し、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像輝度変化を利用して、第１の偏光情報を生成（取得）する（ステップＳ１０２）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体からの光を撮像素子で受けることで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成（取得）する（ステップＳ１０４）。
ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４の順序は任意であり、並列的に実行してもよい。もちろん、順次実行しても構わない。
ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した第１の偏光画像、第２の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の領域分割部１０５および第２の領域分割部１０５−２は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報および第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報および第２の輝度情報を利用し、第１の偏光画像および第２の偏光画像を拡散反射成分領域および鏡面反射成分領域に領域分割する（ステップＳ１０６）。
第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度を推定する（ステップＳ１０８）。ここで、ステップＳ１０７と、ステップＳ１０８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定する（ステップＳ１０９）。
次に、本実施の形態における法線情報生成装置１００の各構成要素の詳細な機能を説明する。
ステレオ偏光画像撮像部１０１は複数の偏光画像撮像部１０２からなり、視点の異なる複数の偏光画像を取得する。また、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。このようなキャリブレーションは、例えば、Ｔｓａｉの手法（Ｒｏｇｅｒ Ｙ．Ｔｓａｉ，"Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｍｉａｍｉ Ｂｅａｃｈ，ＦＬ，1986, pp.364-374）など、既存の手法を利用すればよい。
もちろん、このようなキャリブレーションは、パターン偏光子やレンズなどを含んだ状態で行なわれている。
次に、偏光画像撮像部１０２および１０２−２の詳細な機能を説明する。偏光画像撮像部１０２は、被写体からの光をパターン偏光子２０１を通して撮像素子２０２で受光することで、偏光情報を含んだ偏光画像を取得する。図８は、図６に示された撮像単位２０５を入射光方向から眺めた模式図である。本図において、各偏光子（各画素）内の直線は、各画素上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像単位２０５は、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素を持つ。パターン偏光子は、ＴＭ波が透過、ＴＥ波が反射（透過せず）という偏光特性を示す。そのため、撮像素子前方に偏光子を配置し、その偏光子を回転させながら撮像した、特許文献１と同様の画像を取得することができる。
このような特性は、例えば、『川嶋、佐藤、川上、長嶋、太田、青木、"パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発"、電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、２００６』に記載されたフォトニック結晶を用いて作成することができる。フォトニック結晶の場合、表面に形成された溝に平行な振動面を持つ光がＴＥ波、垂直な振動面を持つ光がＴＭ波となる。
この偏光画像の撮像に際しては、輝度のダイナミックレンジとビット数は、なるべく大きいこと（例えば１６ビット）が望ましい。
次に、偏光情報取得部１０３および１０３−２の詳細な機能を説明する。偏光情報取得部１０３は、偏光画像撮像部１０２が取得した偏光画像を利用して、偏光情報を生成する。
偏光子を透過した光の輝度は、偏光子の偏光主軸角によって変化することが知られている。図９は、異なる偏光主軸角度Ψｉ＝０°、４５°、９０°、１３５°の４種類の偏光子を透過した光の輝度４０１〜４０４が１本の正弦関数カーブを形成する様子を示す。つまり、この正弦関数カーブは、図８の点２０６における偏光特性を示している。なお、偏光主軸角度の０°と１８０°（π）は同一である。また、この正弦関数カーブを求める際、撮影ガンマ＝１となるカメラを用いるか、リニアリティ補正により撮影ガンマ＝１となるように補正することが望ましい。この４点は、１本の正弦関数カーブ上にちょうど乗るように描かれているが、実際には、多数の観測点から１８０度周期の正弦関数が最適値として１本決定されるのが好ましい。
この偏光情報取得部１０３は、偏光情報として、このカーブの振幅と位相情報を生成する。具体的には、パターン偏光子２０１の主軸角Φに対する反射光輝度Ｉを以下のように近似する。
ここで図９に示すように、数１におけるＡ、Ｂ、Ｃは定数であり、それぞれ、偏光子による輝度の変動カーブの振幅、位相、平均値を表現している。ところで、数１は以下のように展開できる。
ただし、
つまり、４画素のサンプル（Φi Ii）において、以下の数５を最小にするＡ、Ｂ、Ｃを求めれば正弦関数数１の近似ができる。ただし、Iiは、偏光板回転角Φi時の観測輝度を示している。またＮはサンプル数であり、ここでは、４である。
以上の処理により、正弦関数近似のＡ、Ｂ、Ｃの３パラメータが確定する。こうして求めたパラメータを利用して、偏光情報取得部１０３は、偏光情報として、以下の少なくとも１つの情報を取得する。
偏光度ρ
偏光位相φｍａｘ（０≦φｍａｘ≦π［ｒａｄ］）
偏光推定誤差Ｅ
偏光最大輝度値Ｉｍａｘ
偏光最小輝度値Ｉｍｉｎ
偏光度ρ
上述の各用語の定義は以下の通りである。
・偏光度ρ：光がどれだけ偏光しているかを表す指標；
・偏光位相φｍａｘ：偏光主軸角度に依存して変化する輝度が最大となる角度；
・偏光推定誤差Ｅ：４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計；
・偏光最大輝度値Ｉｍａｘ：パターン偏光子の主軸角Φを変化させた際にとりうる最大輝度値；
・偏光最小輝度値Ｉｍｉｎ：パターン偏光子の主軸角Φを変化させた際にとりうる最小輝度値。非偏光成分。
・偏光度ρ：光がどれだけ偏光しているかを表す指標；
・偏光位相φｍａｘ：偏光主軸角度に依存して変化する輝度が最大となる角度；
・偏光推定誤差Ｅ：４画素のサンプルについて観測された輝度と近似によって得られた上述の正弦関数から定まる輝度との差の合計；
・偏光最大輝度値Ｉｍａｘ：パターン偏光子の主軸角Φを変化させた際にとりうる最大輝度値；
・偏光最小輝度値Ｉｍｉｎ：パターン偏光子の主軸角Φを変化させた際にとりうる最小輝度値。非偏光成分。
以下、上述の偏光情報に基づいて法線情報生成装置１００が生成した画像例を説明する。画像例では、球体である地球儀を被写体としている。図１０は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１および２０１−２との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、または、撮像素子２０２および２０２−２の間隔は５０ｃｍで ある。
図１１は、球体である地球儀に対して、第１の偏光画像から求めた、偏光度ρ１、偏光位相φｍａｘ１および偏光推定誤差Ｅ１を画像として表示した図である。この図において、図１１（ａ）は被写体である地球儀の画像、図１１（ｂ）は図１１（ａ）の被写体に対する偏光度ρ１、図１１（ｃ）は図１１（ａ）の被写体に対する偏光位相φｍａｘ１（０°が黒、１８０°が白）、図１１（ｄ）は図１１（ａ）の被写体に対する偏光推定誤差Ｅ１を示している。
また、図１２（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）の各々を模式的に示した図（濃淡を明瞭化した図）である。図１３（ａ）〜（ｄ）は、図１１（ａ）〜（ｄ）に示す画像と、図１２（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ０１とＢ０１）との対応関係を示している。図１１（ａ）〜（ｄ）および図１３（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。また、図１４は、同様の処理を発泡スチロール製の頭部模型に対して行なった結果を示している。
これらの画像によれば、遮蔽エッジ付近で偏光度が大きいこと、被写体の影に覆われていない領域では偏光位相が１８０°周期で球体の周囲を時計回りに単調増加していることがわかる。この偏光位相は、回転させて変化する輝度の最大値となる角度であり、被写体が拡散反射であった場合の出射面の情報である。
次に、ステレオ対応取得部１０４を説明する。ステレオ対応取得部１０４は、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を特定する。ただし「特定する」という意味は確定的に定めることを意味するのではなく、一応確からしいという意味において定めることを意味する。したがって、対応関係を「推定する」と言うこともできる。これは、例えば、輝度情報を利用した画像処理により検出することができる。この「特定する」という語と「推定する」という語の関係については、ステレオ対応取得部１０４のみならず、法線１自由度推定部１０６、１０６−２等についても同様である。
図１５は、本実施の形態におけるステレオ対応取得部１０４による処理の流れを示すフローチャートである。このフローチャートは、ステップＳ１０５に相当する。まず、複数画像において、特徴点の抽出を行なう（ステップＳ２０１）。求まった特徴点を利用して、複数画像間の対応付けを行なう（ステップＳ２０２）。しかし、このままでは特徴点が検出された、画像上の疎な画素のみしか対応付けがなされない。そこで、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう（ステップＳ２０３）。以下、それぞれの処理を詳述する。
ステップＳ２０１において、複数画像において、特徴点の抽出を行なう。この処理は、複数画像間の画素の対応付けを行なうために、特徴点と呼ばれる「対応付けしやすい点」を検出し、その特徴点の特徴と最もよく一致した点を複数画像間で探索することにより、複数画像間の画素の対応付けを行なうものである。
特徴点検出法としては、ＨａｒｒｉｓオペレーターやＫＬＴ（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ） Ｆｅａｔｕｒｅ Ｔｒａｃｋｅｒなどさまざまな方法が知られているが、ここではＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）オペレーターを利用する（David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004参照）。
ＳＩＦＴはスケールおよび回転に対して不変の特徴量として知られている。その処理は、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ処理を利用してスケール不変のキーポイントを抽出し、さらに画像の勾配方向ヒストグラムからオリエンテーションを算出し、オリエンテーションで正規化した特徴量を抽出するものである（詳しくは、藤吉弘亘，"Ｇｒａｄｉｅｎｔベースの特徴抽出 − ＳＩＦＴとＨＯＧ − "，情報処理学会 研究報告 ＣＶＩＭ 160, pp.211-224, 2007参照）。ここでは、偏光画像撮像部１０２と１０２−２で撮像された第１の偏光画像と第２の偏光画像のそれぞれにおいて、キーポイントを抽出し、オリエンテーションで正規化した特徴量を抽出する。
ステップＳ２０２において、第１の偏光画像と第２の偏光画像において、ステップＳ２０１で求めた特徴点の対応付けを行なう。これは、ステップＳ２０１で求めたキーポイントごとに、特徴量のユークリッド距離が最小となるキーポイントを別の画像から検出することで実現する。こうして対応付けられたキーポイントが対応点となる。もちろん、対応付けを行なう際、ステレオ画像の対応付けで広く用いられている、エピポーラ拘束を利用しても構わない。
ステップＳ２０３において、ステップＳ２０２で対応付けされた特徴点間の補間処理を行なうことにより、画像全体での密な対応付けを行なう。この処理を説明する。まず、対応付けられた特徴点および対応点を利用し、第１の偏光画像と第２の偏光画像に対して、ドロネー三角形分割を行なう。こうして分割された三角形ごとに、対応点の補間処理を行なう。
図１６はこの処理を説明するための模式図である。図１６（ａ）において、点Ｐ０、Ｐ１、Ｐ２はＳＩＦＴにより検出された第１の画像での特徴点の画像上での座標値によって特定される点であり、また、ドロネー三角形分割により分割された三角形の３頂点である。また、図１６（ｂ）において、点Ｐ'０、Ｐ'１、Ｐ'２はそれぞれ特徴点Ｐ０、Ｐ１、Ｐ２に対応した第２の画像での対応点である。ここで、第１の偏光画像における三角形Ｐ０―Ｐ１―Ｐ２内の点Ｐｘにおける対応点を補間処理により求める。まず、以下の関係を満たす変数ａ，ｂを求める。
ただし、変数０≦ａ≦１，０≦ｂ≦１である。このとき、Ｐｘにおける対応点Ｐ'ｘは、次式で表される。
この処理を、必要なすべての画素に対して行なう。上述の数１１および数１２によれば、図１６（ａ）および（ｂ）に示す三角形の辺上の点を補間することができる。そしてさらに、補間された１点と当該三角形の２つの頂点、補間された２点と当該三角形の１つの頂点、または、補間された３点によって形成される各三角形に対して、上記数１１および数１２を適用すれば、補間により、当該三角形の内部の全ての点を求めることができる。そしてドロネー三角形分割により分割された全ての三角形に対して同様の処理を行うと、第１の画像および第２の画像の全ての点を補間により求めることができる。この結果、第１の画像と第２の画像の間で、画像全体での密な対応付けを行なうことができる。なお、ステップＳ２０３において、補間処理は画像上での座標を利用して行なったが、対応点から求めた３次元座標上で処理を行なうようにしても構わない。
以上の処理は、偏光画像を利用して対応付けを行なったが、もちろん、偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋２・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などを利用するようにしても構わない。特に、偏光最小輝度値Ｉｍｉｎを利用した場合、視点移動による影響が大きい鏡面反射成分の影響を小さくすることができるため、非常に有効である。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。もちろん、ステレオ対応点取得部１０４は、特徴点を利用するのではなく、画像処理のステレオ対応点取得処理において広く利用されている、ブロックマッチング法や、勾配法を利用するようにしてもかまわない。
次に、領域分割部１０５の詳細な機能を説明する。領域分割部１０５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域に領域分割する。
ここで、拡散反射と鏡面反射を説明する。被写体表面の反射特性は、「てかり」である鏡面反射成分と、マットな反射成分である拡散反射成分との和として表現されることが知られている。拡散反射成分は、被写体を照射する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
図１７および図１８は、それぞれ、被写体の屈折率ｎ＝１．１、１．３、１．５、２．０の場合における鏡面反射成分および拡散反射成分の偏光度を示したグラフである（例えば、「Ｌ．Ｂ． Ｗｏｌｆｆ ａｎｄ Ｔ． Ｅ． Ｂｏｕｌｔ、 "Ｃｏｎｓｔｒａｉｎｉｎｇ ｏｂｊｅｃｔ ｆｅａｔｕｒｅｓ ｕｓｉｎｇ ａ ｐｏｌａｒｉｚａｔｉｏｎ ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌ"、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 Ｖｏｌ．１３、Ｎｏ．７、ｐｐ．６３５−６５７、 １９９１」参照）。図１７の横軸は入射角、縦軸は鏡面反射成分の偏光度を示している。また、図１８の横軸は出射角、縦軸は拡散反射成分の偏光度を示している。これらの図によれば、鏡面反射成分の偏光度は出射角に依存しないが、拡散反射成分の偏光度は出射角に依存することが理解される。よって、カメラを移動させて出射角を変化させた場合、鏡面反射成分では偏光度は変わらないが、拡散反射成分では偏光度が変化することがわかる。
また、拡散反射成分の輝度値Ｉｄは、以下のＬａｍｂｅｒｔｉａｎモデルに従うことが知られている。
ただし、ρｄは参照点の拡散反射率（アルベド）、ｎは参照点の法線方向ベクトル、Ｉｐは点光源強度、Ｌは光源の方向ベクトル、θは入射角（法線方向ベクトルと光源方向ベクトルのなす角）を表す。ベクトルの長さは１に正規化されている。
この式から、カメラを移動させることで出射角を変更した場合、拡散反射成分では輝度値が変化しないことがわかる。
一方、鏡面反射成分の輝度値Ｉｓは、以下の数１４〜数２２に示したＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルに従うことが知られている。
ここで、Ｅｉは入射照度、ρｓ，λは波長λにおける鏡面反射成分の双方向反射率、ｎは被写体の法線方向ベクトル、Ｖは視線ベクトル、Ｌは光源方向ベクトル、Ｈは視線ベクトルと照明方向ベクトルの中間ベクトル、βは中間ベクトルＨと法線方向ベクトルｎの角度を表す（図１９参照）。また、Ｆλはフレネル方程式から求められる誘電体表面からの反射光の比であるフレネル係数、Ｄはマイクロファセット分布関数、Ｇは物体表面の凸凹による遮光の影響を表す幾何減衰率である。さらに、ｎλは被写体の屈折率、ｍは被写体表面の粗さを示す係数、Ｉｊは入射光の放射輝度である。また、Ｋｓは鏡面反射成分の係数である。これら式から、カメラを移動させることで出射角を変更した場合、鏡面反射成分では輝度値が変化することがわかる。
ところで、ステレオ対応取得部１０４により、すべての画素の対応点が既知である。以上のことから、ステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割できる。
ここで、Ｉｃ１は偏光情報取得部１０３で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。また、Ｉｃ２は偏光情報取得部１０３−２で取得した、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和Ｉｍａｘ＋Ｉｍｉｎを示している。ここで、Ｉｍａｘ＋Ｉｍｉｎは、パターン偏光子２０１が存在しない場合に撮像素子２０２で観測される輝度値である。また、Ｔｈｄは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、ＴｈＩは鏡面反射成分と拡散反射成分を輝度情報で判断するための閾値である。このような閾値は、実験的に決定すればよい。
図２０は上記領域分割基準を表した模式図である。図２０に示す４つの領域、すなわちＤＤ、ＳＤ、ＤＳ、ＳＳの各領域は、以下の成分を有するものとして分類される。
・ＤＤ領域：第１の画像、第２の画像ともに拡散反射成分。
・ＳＤ領域：第１の画像は鏡面反射成分、第２の画像は拡散反射成分。
・ＤＳ領域：第１の画像は拡散反射成分、第２の画像は鏡面反射成分。
・ＳＳ領域：第１の画像、第２の画像ともに鏡面反射成分。
・ＤＤ領域：第１の画像、第２の画像ともに拡散反射成分。
・ＳＤ領域：第１の画像は鏡面反射成分、第２の画像は拡散反射成分。
・ＤＳ領域：第１の画像は拡散反射成分、第２の画像は鏡面反射成分。
・ＳＳ領域：第１の画像、第２の画像ともに鏡面反射成分。
もちろん、このような領域分割は図２０に限ったものではなく、例えば、ＳＳ領域を除いた図２１のような領域分割基準を利用しても構わない。これは、上薬がかかった陶器のように、被写体の表面が非常に滑らかであり、鏡面反射成分が正反射領域近傍の限られた領域でのみ観測される場合に有効である。この場合、第１の画像と第２の画像におけるその対応点の両画像において鏡面反射が観測される場合は非常に少ない。
このときのステレオ画像（第１の画像、第２の画像）における鏡面反射成分と拡散反射成分は、以下のように分割すればよい。
もちろん、領域分割部１０５は、画像のすべての画素を拡散反射成分または鏡面反射成分に分割し、処理を行なうようにしても構わない。例えば、被写体が石膏のような被写体の場合には、すべての画素が拡散反射成分であることは妥当である。また、例えば、被写体が光沢のある金属の場合には、すべての画素が鏡面反射成分であることは妥当である。
もちろん、領域分割部１０５は、偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの重み付け和Ｉｍａｘ＋Ｉｍｉｎを利用するのではなく、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値などをＩｃ１，Ｉｃ２として利用するようにしても構わない。例えば、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。もちろん、偏光画像撮像部１０２において、パターン偏光子２０１を含まない輝度値が観測できる場合、その輝度値を利用するようにしても構わない。これは、図２２に示したように、パターン偏光子２０１において、偏光子を含まない画素を設けることで実現できる。
次に、法線１自由度推定部１０６の詳細な機能を説明する。法線１自由度推定部１０６は、領域分割部１０５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。法線１自由度とは、前述の入射面または出射面の角度情報である。
前述の通り、鏡面反射成分の入射面の情報は、偏光板を回転させて変化する輝度の最小値となる角度から求められる。つまり、次式で与えられる。
ただし、φｍａｘは数７で求まる、偏光位相である。
一方、拡散反射成分の出射面の情報は、偏光板を回転させて変化する輝度の最大値となる角度から求められる。つまり、法線１自由度情報は以下のように与えられる。
こうして求まる、入射面または出射面の角度情報である法線１自由度情報φｎは、φｎまたは（φｎ＋π）という１８０度の不定性を持つ。
次に、法線情報生成部１０７の詳細な機能を説明する。法線情報生成部１０７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度φｎ１，φｎ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを生成する。
図２３はこの処理を説明するための模式図である。この図において、点Ｐは参照点であり、撮像素子２０２によって撮像された第１の画像の点Ｐに対応する画素と、撮像素子２０２−２によって撮像された第２の画像の点Ｐに対応する画素は、ステレオ対応取得部１０４によって既知である。また、第１の画像、第２の画像のそれぞれ対応する画素において、法線１自由度推定部１０６、１０６−２によって求められた法線１自由度は、φｎ１，φｎ２である。
撮像素子２０２、２０２−２はキャリブレーション済みであるため、相互の位置関係は既知である。そのため、入出射面Ｓ１、Ｓ２が計算できる。ここで、入出射面は参照点の入射面または出射面であり、入出射面Ｓ１とは、撮像素子２０２の焦点位置と数２５、数２６で求まる法線１自由度φｎ１の偏光主軸方向を通る平面、入出射面Ｓ２は、撮像素子２０２−２の焦点位置と数２５、数２６で求まる法線１自由度φｎ２の偏光主軸方向を通る平面である。
つまり、参照点の法線方向ベクトルｎは、入出射面Ｓ１、Ｓ２どちらにも含まれる。そのため、参照点の法線方向ベクトルｎは、これら２平面の交線として求められる。
しかし、法線１自由度情報φｎは、１８０度の不定性を持つため、こうして求められた法線方向ベクトルｎは、ｎ（ｎｘ， ｎｙ， ｎｚ）とｎ’（−ｎｘ， −ｎｙ， −ｎｚ）という１８０度の不定性を有する。この不定性を除去するために、参照点Ｐの法線方向ベクトルｎと視線ベクトルＶを利用する。具体的には、以下の関係式を満たす法線方向ベクトルを選択する。
数２７を満たさない場合、参照点Ｐは撮像素子２０２と反対方向を向いていることになり、参照点Ｐは撮像されないはずである。そのため、このような法線方向ベクトルは排除することができ、結果的に法線情報生成部１０７は不定性を排除することができる。
さらに、上記方法で求めた法線方向ベクトルに対し、空間的なフィルタリング処理を行なうことにより、法線情報生成部１０７で生じたノイズを除去するようにしても構わない。このような空間的なフィルタリング処理は、例えば、法線方向を量子化し、各画素の近傍の法線方向ベクトルのヒストグラムを作成し、その最頻値近傍の法線方向ベクトルのみで平均化処理を行なえばよい。
図２４〜図２８は、本実施の形態における法線情報生成装置１００による法線方向ベクトルを推定した結果を示している。図２４（ａ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３によって取得された偏光位相φｍａｘ１（０°が黒、１８０°が白）、図２４（ｃ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図２４（ｄ）は、地球儀を被写体とし、偏光情報取得部１０３−２によって取得された偏光位相φｍａｘ２（０°が黒、１８０°が白）を表している。また、第２の撮像素子２０２−２は、第１の撮像素子２０２の右側に配置されている。また、図２５（ａ）〜（ｄ）は、図２４の各図を模式的に示した図（濃淡を明瞭化した図）である。図２６（ａ）〜（ｄ）はそれぞれ、図２４（ａ）〜（ｄ）に示す画像と、図２５（ａ）〜（ｄ）に示す各領域（たとえば（ａ）においては領域Ａ１１とＢ１１）との対応関係を示している。図２４（ａ）〜（ｄ）および図２６（ａ）〜（ｄ）においては、領域の色が白いほど輝度値が大きい。
図２７（ａ）〜（ｃ）は図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１０７が推定した法線方向ベクトルを可視化した法線画像を表している。法線方向ベクトルの各成分は−１から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。
図２７（ａ）は法線方向ベクトルのｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトルのｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトルのｚ成分の法線画像を示している。
また、図２８（ａ）〜（ｃ）は、図２７（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図２９（ａ）〜（ｃ）はそれぞれ、図２７（ａ）〜（ｃ）に示す画像と、図２８（ａ）〜（ｃ）に示す各領域との対応関係を示している。
法線方向ベクトルのｘ，ｙ，ｚ成分は、図３０に示すように、カメラ右方向にｘ方向、カメラ下方向にｙ方向、カメラ光軸方向にｚ方向である。図２７（ａ），図２８(ａ)より、ｘ成分法線画像では、画像中央部を除き、左側が黒く、右側につれて色が白くなり、定性的に正しい法線が取得されていることがわかる。また、図２７（ｂ）、図２８(ｂ)より、ｙ成分法線画像では、上側が黒く、下に行くにつれて色が白くなり、定性的に正しい法線が取得されていることがわかる。さらに、図２７（ｃ），図２８(ｃ)より、ｚ成分法線画像では、中央部が黒く、遮蔽エッジ近傍が灰色になっており、定性的に正しい法線が取得されていることがわかる。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、領域分割部１０５において、領域を鏡面反射成分領域か拡散反射成分領域かに分割するために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像のみから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ， Ｘ．Ｓ．Ｆａｎｇ， ａｎｄ Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ ｏｆ ｒｅｆｌｅｃｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ ｕｓｉｎｇ ｃｏｌｏｒ ａｎｄ ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
（第２の実施形態）
次に、本発明の第２の実施の形態における法線情報生成装置を説明する。本実施の形態における法線情報生成装置は、ステレオ対応が求まらないオクルージョン領域に対して、別の法線情報生成処理を行なうものである。
次に、本発明の第２の実施の形態における法線情報生成装置を説明する。本実施の形態における法線情報生成装置は、ステレオ対応が求まらないオクルージョン領域に対して、別の法線情報生成処理を行なうものである。
本実施の形態における法線情報生成装置は、実施形態１にかかる法線情報生成装置１００（図１）の構成と同じである。第１の実施形態との違いは領域分割部１０５と法線情報生成部１０７である。領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割し、法線情報生成部１０７は未対応領域のみ別の法線情報生成処理を行なう。遮蔽の影響により、ステレオ対応取得部１０４で対応が求まらない領域はオクルージョン領域と呼ばれ、ステレオ法では３次元形状情報が取得できない領域として知られている。しかし、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することにより、オクルージョン領域においても法線方向ベクトルの推定が可能である。この処理を説明する。
図３１、３２は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３１，３２において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
まず、領域分割部１０５は、ステレオ対応取得部１０４で対応が求まらない領域に対し、未対応領域として領域分割を行なう（ステップＳ１２１）。
図３３は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。このフローチャートは、図３１におけるステップＳ１２１に相当する。
まず、領域分割部１０５は、ステレオ対応取得部１０４の結果を利用し、参照画素が別画像と対応付けられているかを判断する（ステップＳ３０１）。参照画素が別画像と対応付けられていなかった場合（ステップＳ３０１でＮｏ）、領域分割部１０５は、参照画素はオクルージョンを起こしていると判断し、未対応領域として領域分割する（ステップＳ３０２）。一方、参照画素が別画像と対応付けられていた場合（ステップＳ３０１でＹｅｓ）、領域分割部１０５は、前述の通り、図２０の領域分割基準に基づき、領域分割を行なう（ステップＳ３０３）。
法線情報生成部１０７は、領域分割部１０５の領域分割結果に基づいて、法線情報を生成する処理を切り替える（ステップＳ１２２）。領域が未対応領域でなかった場合（ステップＳ１２２でＮｏ）、法線情報生成部１０７は、第１の実施例と同様の手法により、法線情報を生成する（ステップＳ１０７〜Ｓ１０９）。一方、領域が未対応領域であった場合（ステップＳ１２２でＹｅｓ）、法線情報生成部１０７は、未対応領域が遮蔽エッジ近傍の領域であることを利用して法線情報を取得する。具体的には、まず法線１自由度推定部１０６によって法線１自由度情報を推定する（ステップＳ１２３）こうして求めた法線１自由度情報と、遮蔽エッジ近傍の領域であることを利用し、近傍画素の法線情報から、未対応領域の法線方向ベクトルを推定する（ステップＳ１２４）。
図３４はオクルージョン領域である未対応領域と法線方向の関係を説明するための模式図である。この図において、撮像素子２０２と２０２−２は球体の被写体３０１を撮像している。この場合、各撮像素子によって未対応となる領域は、領域３０２および領域３０３である。領域３０２は撮像素子２０２−２からは観測されず、領域３０３は撮像素子２０２からは観測されない。そのため、領域３０２は撮像素子２０２、つまり第１の画像における未対応領域、領域３０３は撮像素子２０２−２、つまり第２の画像における未対応領域となる。未対応領域３０２、３０３はいずれかの画像ではオクルージョンが生じるということから、遮蔽エッジ近傍の領域であることがわかる。
遮蔽エッジ境界では、法線方向ベクトルが、図３０のｘ−ｙ平面上、つまり、光軸に直交する平面上に存在する。そのため、法線情報生成部１０７は、未対応領域の法線第２自由度はｘ−ｙ平面上であると仮定し、法線方向ベクトルを取得する。このとき、法線１自由度情報φｎは、１８０度の不定性を持つため、法線方向ベクトルｎは、n(nx, ny, ０)とn' (-nx, -ny, ０)という１８０度の不定性を有する。この不定性を除去するために、未対応領域近傍の法線方向ベクトルの連続性を利用する。具体的には、法線方向ベクトル候補 (nx, ny, ０)と(-nx, -ny, ０)それぞれに対して未対応領域近傍の法線方向ベクトルとの連続性を計算し、より連続性が保たれる法線方向ベクトル候補を法線方向ベクトルとして決定すればよい。具体的には、近傍の法線方向ベクトルとの内積値を計算し、その値が大きくなる法線方向ベクトル候補を法線方向ベクトルとして決定する。この処理により、図３４において破線の矢印として示す法線方向ベクトルが特定される。
また、法線１自由度推定部１０６によって法線１自由度情報を求めるためには、拡散反射成分または鏡面反射成分としての領域分割も必要である。これは、近傍領域の領域分割結果を利用すればよい。もちろん、遮蔽領域では鏡面反射が生じないと仮定し、拡散反射成分として処理を行なっても構わない。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
以上のように、本実施形態の法線取得方法では、領域分割部１０５によってオクルージョン領域を検出し、法線１自由度推定部１０６によって求めた法線１自由度情報を利用することで、従来手法では困難であった、オクルージョン領域においても法線方向ベクトルの推定が可能である。
なお、本実施の形態では、パターン偏光子２０１にフォトニック結晶が用いられたが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子であってもよい。また、パターン偏光子を利用せずに、撮像素子２０２の前方に装着した偏光板を回転させながら撮像することで、時系列的に偏光主軸の異なる輝度を取得するようにしても構わない。この方法は、例えば、特開平１１−２１１４３３号公報に開示されている。このような場合、個々の撮像素子２０２、２０２−２の前方にそれぞれ偏光子を配置するようにすればよい。もちろん、複数の撮像素子２０２、２０２−２を覆うような偏光子を１枚のみ利用するようにしても構わない。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、領域分割部１０５において、鏡面反射成分と拡散反射成分の領域分割を行なうために、ステレオ画像間の輝度差を利用したが、もちろん、個々の画像の みから行なうようにしても構わない。このような処理は、既知の手法、例えば、画像の色情報を利用する方法を利用すればよい（例えば、Ｓ．Ｋ．Ｎａｙａｒ， Ｘ．Ｓ．Ｆａｎｇ， ａｎｄ Ｔ．Ｂｏｕｌｔ，"Ｓｅｐａｒａｔｉｏｎ ｏｆ ｒｅｆｌｅｃｔｉｏｎ ｃｏｍｐｏｎｅｎｔｓ ｕｓｉｎｇ ｃｏｌｏｒ ａｎｄ ｐｏｌａｒｉｚａｔｉｏｎ", Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＩＪＣＶ)， Vol.21, No.3, pp.163-186, 1997参照）。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
（第３の実施形態）
次に、本発明の第３の実施の形態における法線情報生成装置を説明する。
次に、本発明の第３の実施の形態における法線情報生成装置を説明する。
図３５は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、領域分割部１０５を持たず、代わりに、法線情報生成部１１７によって、複数の法線方向ベクトル候補を生成し、最適法線選択部１０８によって、複数の法線方向ベクトル候補の妥当性を評価することで、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
法線１自由度推定部１１６は、画素ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。この際、法線１自由度の求め方は前述のように画素が拡散反射成分か鏡面反射成分かで異なる。そこで、法線１自由度推定部１１６は、画素が拡散反射成分である場合の法線１自由度候補φｎｄと、画素が鏡面反射成分である場合の法線１自由度候補φｎｓの両方を、法線１自由度候補として推定する。具体的には、前述の通り、以下の式に基づいて、法線１自由度候補φｎｄ、φｎｓを推定する。
ただし、φｍａｘは数７で求まる、偏光位相である。ここで、数２８で示したφｎｄは数２６で示した画素が拡散反射成分であると仮定した場合の出射面の情報、数２９で示したφｎｓは数２５で示した画素が鏡面反射成分であると仮定した場合の入射面の情報である。
法線情報生成部１１７は、第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することにより、法線方向ベクトルを推定する。各撮像素子２０２、２０２−２から、それぞれ２つの法線１自由度候補が求められているため、４通り（「φｎｄ１―φｎｄ２」「φｎｄ１―φｎｓ２」「φｎｓ１―φｎｄ２」「φｎｓ１―φｎｓ２」）の組み合わせから、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４が求まる。
最適法線選択部１０８は、法線情報生成部１１７が生成した４つの法線方向ベクトル候補から、最適なものを選択し、法線方向ベクトルｎとして推定する。この処理を説明する。
最適法線選択部１０８は、複数候補から画像全体として最適な法線方向ベクトルを推定するために、法線方向ベクトルの連続性を利用する。これは、以下の評価関数Ｅｖ（ｎ）が最小となる法線方向ベクトル候補を、画像全体で選択すればよい。
ここで、ｎ（ｘ，ｙ）は画素（ｘ，ｙ）での法線方向ベクトル、ｗｘ，ｗｙはそれぞれ画像の幅と高さである。もちろん、このような最小化処理は、拘束条件を利用することで、さらに正確な法線方向ベクトルを取得することが可能である。
最適な法線方向ベクトル候補を選択するための拘束条件を説明する。まず、複数カメラ間での鏡面反射成分と拡散反射成分の空間的な連続性を説明する。前述のように、鏡面反射成分は、撮像素子の位置（出射角）や、被写体の法線方向ベクトルの影響を受けやすい。また、図１７および１８で示した鏡面反射成分と拡散反射成分の偏光度、および、数１３、数１４〜数２２に示したＬａｍｂｅｒｔｉａｎモデル、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルから、鏡面反射成分や拡散反射成分の輝度情報や偏光情報は、撮像素子の移動や参照点の移動に対して、連続的な変化を行なうことがわかる。そのため、参照点Ｐに対して、第１の偏光画像、第２の偏光画像ともに拡散反射成分であった場合、その近傍点Ｐ"において、第１の偏光画像、第２の偏光画像ともに鏡面反射成分であることは非常に少ないと考えられる。つまり、参照点の空間的な変動に対して、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化する。最適法線選択部１０８は、この知見を拘束条件として利用する。この拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。さらにこの拘束条件は、光源が複数存在する場合にも有効である。本実施形態においては、隣接する画素同士に上述の拘束条件を適用している。
図３６はこの連続性を拘束条件として利用するための状態遷移図を示す。この図において、状態６０１は、第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定し、法線方向ベクトルを生成することを示している。また、状態６０２は、第１の偏光画像は拡散反射成分、第２の偏光画像は鏡面反射成分と仮定し、法線方向ベクトルを生成することを、状態６０３は、第１の偏光画像は鏡面反射成分、第２の偏光画像は拡散反射成分と仮定し、法線方向ベクトルを生成することを、状態６０４は、第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定し、法線方向ベクトルを生成することを示している。
各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続的に変化するため、参照点が６０１、つまり第１の偏光画像では拡散反射成分、第２の偏光画像も拡散反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０４、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像も鏡面反射成分と仮定して法線方向ベクトルが生成されることはありえない。また、参照点が６０２、つまり第１の偏光画像では拡散反射成分、第２の偏光画像では鏡面反射成分と仮定して法線方向ベクトルが生成された場合、その近傍では、６０３、つまり第１の偏光画像では鏡面反射成分、第２の偏光画像は拡散反射成分と仮定して法線方向ベクトルが生成されることはありえない。したがって、最適法線選択部１０８は、以下の評価関数Ｅｖ２が最小となる法線方向ベクトル候補を、画像全体で選択することにより、法線方向ベクトルｎを選択する。
ただし、Ｅｖ１は次式で与えられる、図３６の状態遷移図による拘束条件であり、Ｃ２は拘束条件の重み係数である。
このような重み係数は、実験的に決定すればよく、例えば、Ｃ２＝２．０とすればよい。数３１は、図３６の状態遷移図に従わない場合、数３０の評価関数が大きな値となるような評価関数である。
このように、各偏光画像の対応点の鏡面反射成分、拡散反射成分は連続性を拘束条件として利用することで、最適な法線方向ベクトルを選択することができる。
また、別の拘束条件として、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が取得した、偏光情報を利用するようにしても構わない。この処理を説明する。
図１８より、拡散反射成分の偏光度は、出射角が小さい場合に０に近づく。そのため、偏光度が十分に小さな領域では、法線方向ベクトルｎが視線ベクトルＶに十分近いと考えられる。そのため、偏光度が十分に小さな領域では、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も視線ベクトルに近い候補を法線方向ベクトルｎとして選択すればよい。これは、例えば、閾値処理を行ない、偏光度がたとえば、０．０５より小さな領域に対して行なえばよい。もちろん、法線情報生成部１１７は、偏光度が十分に小さい領域では、法線１自由度推定部１１６が取得した法線１自由度情報を利用せず、法線方向ベクトルｎは視線ベクトルＶと等しいとするようにしても構わない。これは、偏光度が十分に小さな領域では、数５による偏光情報の取得処理が不安定になるため、法線１自由度推定部１１６が取得した法線１自由度情報は推定精度が低くなると考えられるためである。この拘束条件は、偏光度が低い領域に対して有効である。
もちろん、別の拘束条件として、前述の遮蔽エッジ領域の法線方向ベクトルを利用しても構わない。前述のように、遮蔽エッジ近傍では、法線方向ベクトルｎが図３０のｘ−ｙ平面に近づく。そのため、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最もｘ−ｙ平面に近い候補を法線方向ベクトルｎとして選択すればよい。この拘束条件は、遮蔽エッジ領域では非常に有効である。
また、偏光情報を利用した別の拘束条件として、偏光度情報を利用しても構わない。図１８に示したように、拡散反射成分においては、偏光度は出射角と屈折率により一意に決定される。そこで、被写体の屈折率が既知の場合、推定された法線方向ベクトルと図１８から求めた、推定された偏光度ρｅと、偏光情報取得部１０３によって求められた、計測された偏光度ρを比較し、その差が小さくなるという拘束を利用すればよい。また、図３０で示したように、光軸がｚ方向であることに着目すると、出射角θｅは法線方向ベクトルｎ（ｎｘ， ｎｙ， ｎｚ）を利用して、次式の関係から計算できる。
この拘束条件は、法線１自由度推定部１１６によって、法線１自由度候補がφｎｄと推定された場合のみ利用できる。
もちろん、光源方向が既知の場合（例えば、法線情報生成装置１００がフラッシュ機構を有し、フラッシュを投光しながら撮像を行なう場合）、図１７に示した、鏡面反射成分の偏光度を利用しても構わない。図１７に示したように、鏡面反射成分においては、偏光度は入射角と屈折率により一意に決定される。そこで、被写体の屈折率と光源方向ベクトルＬが既知の場合、推定された法線方向ベクトルと図１７から求めた、推定された偏光度と、偏光情報取得部１０３によって求められた、計測された偏光度を比較し、その差が小さくなるという拘束を利用すればよい。この場合、前述の拡散反射成分を仮定した場合との拘束条件と組み合わせることにより、法線方向ベクトル候補ｎｃ１〜ｎｃ４の評価を行なうことが可能である。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
もちろん、法線方向ベクトル候補ｎｃ１〜ｎｃ４と、計測された偏光度ρから図１７および１８を用いて求めた偏光度由来法線方向ベクトルを比較し、その差が小さくなるという拘束条件を利用しても構わない。この場合、図１７からは２つの偏光度由来法線方向ベクトルが求まるため、法線方向ベクトル候補ｎｃ１〜ｎｃ４と各偏光度由来法線方向ベクトルとの差分値において、より小さい差分値を小さくするという拘束条件を利用すればよい。このような偏光度情報を利用した拘束条件は、正確な偏光度情報が取得できる場合に有効である。これは、求まった偏光度が高い場合や、多重反射が生じない、被写体が凸形状の場合である。
もちろん、別の拘束条件として、奥行情報を利用するようにしても構わない。このような奥行情報は、ステレオ対応取得部１０４で求めた画像間での対応関係を利用して求められる。前述のように、第１の撮像素子２０２と第２の撮像素子２０２−２はキャリブレーション処理が行なわれており、その内部パラメータや外部パラメータは既知である。そのため、ステレオ対応取得部１０４が取得したステレオ対応情報から、被写体の奥行情報を求めることができる。さらに、求まった奥行情報から法線方向を求めることができる。これは、例えば非特許文献１の技術を利用すればよい。具体的には、以下の処理を行なう。
まず、参照点Ｐ近傍に存在する、ｎ点の近傍点の３次元位置座標を（Ｘｉ，Ｙｉ，Ｚｉ）とする。ただし、ｉは１≦ｉ≦ｎである。これらの点は、ステレオ対応取得部１０４が求めた対応情報と、第１の撮像素子２０２、第２の撮像素子２０２−２の内部パラメータと外部パラメータを利用することで取得する。次に、近傍ｎ点の共分散行列Ｃを次式で計算する。
ただし、（Ｘａ，Ｙａ，Ｚａ）は近傍ｎ点の重心位置座標である。このとき、参照点Ｐの奥行由来法線方向ベクトルｎｄは、共分散行列Ｃの最小固有値に対応する固有ベクトルとして求められる。
前述のように、こうして求められた奥行由来法線方向ベクトルｎｄは十分な精度ではない。しかし、概略の法線としては利用可能である。そこで、最適法線選択部１０８は、４つの法線方向ベクトル候補ｎｃ１〜ｎｃ４の中から、最も奥行由来法線方向ベクトルｎｄに近い候補を法線方向ベクトルｎとして選択する。
このような奥行情報を利用した拘束条件は、被写体の広い領域で利用可能であるため、非常に有効である。
最適法線選択部１０８は、以上の拘束条件の少なくとも１つを利用しながら、画像全体での法線方向ベクトルの連続性を利用することで、最適な法線方向ベクトルを求める。
図３７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図３７において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第１の法線１自由度推定部１１６は、偏光情報取得部１０３で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ１、φｎｓ１を推定する（ステップＳ１１７）。次に、第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第２の法線１自由度推定部１１６−２は、偏光情報取得部１０３−２で生成された偏光情報を用いて、画素ごとに、対応する被写体の表面での法線１自由度候補φｎｄ２、φｎｓ２を推定する（ステップＳ１１８）。ここで、ステップＳ１０１〜ステップＳ１０２およびステップ１１７と、ステップＳ１０３〜ステップＳ１０４およびステップ１１８の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１０４は、偏光画像撮像部１０２（１０２−２）で求まった偏光画像、偏光情報取得部１０３（１０３−２）で求まった偏光情報の少なくとも１つを利用して、ステレオ偏光画像撮像部１０１が取得した複数の偏光画像において画素ごとの対応関係を推定する（ステップＳ１０５）。第１の法線１自由度推定部１１６で推定された法線１自由度候補φｎｄ１，φｎｓ１と、第２の法線１自由度推定部１１６−２で推定された法線１自由度候補φｎｄ２，φｎｓ２を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトル候補ｎｃ１〜ｎｃ４を推定する（ステップＳ１１９）。最適法線選択部１０８は、法線方向ベクトルの連続性などを利用して、法線方向ベクトル候補ｎｃ１〜ｎｃ４から最適な法線方向ベクトルｎを選択する（ステップＳ１２０）。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１１６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
（第４の実施形態）
次に、本発明の第４の実施の形態における法線情報生成装置を説明する。
次に、本発明の第４の実施の形態における法線情報生成装置を説明する。
図３８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、信頼性推定部１０９を有し、法線情報生成部１２７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルの信頼性を評価する。これは、第１の法線１自由度推定部１０６と第２の法線１自由度推定部１０６−２で推定された法線１自由度情報から推定するようにすればよい。
図３９は、推定した法線方向ベクトルの信頼性を説明するための模式図である。図２３に示したように、第１の実施形態の法線情報生成部１０７は、各偏光画像から求められた入出射面Ｓ１、Ｓ２の交線として、法線方向ベクトルｎを求める。しかし、以下の条件を満たす場合、入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となる。
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
上記の条件下では、入出射面Ｓ１、Ｓ２は同一平面Ｓ１２となり、その交線として法線方向ベクトルを一意に求めることはできない。そこで、信頼性推定部１０９は、入出射面Ｓ１と入出射面Ｓ２のなす入出射面角を計算し、入出射面角が大きい場合には信頼性があると判断し、入出射面角が小さい場合には信頼性がないと判断する。
法線情報生成部１２７は、信頼性推定部１０９が推定した信頼性情報によって、法線方向ベクトル推定処理を切り替える。
図４０、図４１は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４０、図４１において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
信頼性推定部１０９は、第１の法線１自由度推定部１０６が推定した入出射面Ｓ１と第２の法線１自由度推定部１０６−２が推定した入出射面Ｓ２とのなす角度として、入出射面角φｓを計算する（ステップＳ１３０）。ここで、入出射面角φｓの値域は［０，π］である。
入出射面角の計算方法を説明する。図４２は入出射面角の計算方法を説明するための模式図である。第１の撮像素子２０２のカメラ座標系Ｃ１をｘｃ１−ｙｃ１−ｚｃ１とし、第２の撮像素子２０２−２のカメラ座標系Ｃ２をｘｃ２−ｙｃ２−ｚｃ２とする。また、いずれの座標系も図３０同様、カメラ左右方向にｘ方向、カメラ上下方向にｙ方向、カメラ光軸方向にｚ方向である。また、カメラ座標系Ｃ２からカメラ座標系Ｃ１への変換を表す回転行列をＲｃ２−ｃ１とする。さらに法線１自由度φｎや偏光位相φｍａｘは−ｙｃ方向が０（ｒａｄ）、ｘｃ方向がπ／２（ｒａｄ）となるように設定する。このとき、第１の法線１自由度推定部１０６で求まった法線１自由度をφｎ１、第２の法線１自由度推定部１０６−２で求まった法線１自由度をφｎ２とすると、入出射面角φｓは次式で求まる。
ここで、ｍｉｎ［Ａ，Ｂ］はＡとＢの最小値を選択する演算子であり、前述の通り、φｎ１，φｎ２が１８０度の不定性を有することに起因する。また、Ｃｏｓ-1（ｘ）は、−１≦ｘ≦１の場合、［０，π］の範囲をとる。また、数３５において、ｎφ１，ｎφ２は入出射面Ｓ１，Ｓ２の法線方向ベクトルである。ここで、φｎ１，φｎ２は面の傾き角であることに注意すると、ｎφ１，ｎφ２は次式で表される。
信頼性推定部１０９は、入出射面角φｓの大きさを評価する（ステップＳ１３１）。すなわち、信頼性推定部１０９は、入出射面角φｓの大きさと閾値Ｔｈφｓとを比較する。その結果、入出射面角φｓの大きさが閾値Ｔｈφｓより大きかった場合（ステップＳ１３１でＹｅｓ）、前述の通り、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。一方、入出射面角φｓの大きさが閾値Ｔｈφｓ以下であった場合（ステップＳ１３１でＮｏ）、信頼性推定部１０９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１２７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１２７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
また、入出射面角φｓの閾値Ｔｈφｓは実験的に決定すればよく、例えば、３（ｄｅｇ）を設定すればよい。
もちろん、法線情報生成部１２７は、ステップＳ１３２において、近傍の法線方向ベクトルを利用して法線方向ベクトルを取得するのではなく、例えば、前述の奥行由来法線方向ベクトルｎｄを利用するようにしても構わない。
もちろん、信頼性推定部１２９は、例えば、偏光情報取得部１０３が推定した偏光情報から信頼性を評価するようにしても構わない。ここでは、偏光情報取得部１０３が推定した偏光情報と法線情報生成部１４７が生成した法線方向ベクトルｎを比較することにより、信頼性を評価する処理を説明する。
図４３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
本実施形態における法線情報生成装置１００における法線情報生成部１４７は、まず、第１の実施形態の法線情報生成部１０７と同様の処理を行ない、法線方向ベクトルｎを推定する。信頼性推定部１２９は、法線情報生成部１４７が生成した法線方向ベクトルｎを偏光情報取得部１０３が推定した偏光情報と比較することで、法線方向ベクトルｎの信頼性を評価する。法線情報生成部１４７は、信頼性推定部１２９によって信頼性がないと評価された法線方向ベクトルｎを廃棄し、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する。
ここでは、偏光情報として偏光度ρを利用することで、信頼性を評価する方法を説明する。まず、前述のように、光源方向および被写体の屈折率が既知の場合を考える。領域分割部１０５によって、画素が鏡面反射成分または拡散反射成分と領域分割されていることに着目すると、前述の図１７、１８より、法線方向ベクトルｎから偏光度ρｅを推定できる。つまり、画素が鏡面反射成分の場合、参照点の法線方向ベクトル方向ｎおよび光源方向より、入射角が求まる。図１７より、入射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。一方、画素が拡散反射成分の場合、参照点の法線方向ベクトル方向ｎおよび数３３より、出射角が求まる。図１８より、出射角と被写体の屈折率が既知であれば、偏光度ρｅが推定できる。ここで、領域分割部１０５の領域分割結果、および法線情報生成部１４７の法線方向ベクトルｎ推定結果が正しければ、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅは十分に近い値となる。そこで、信頼性推定部１２９は、ρとρｅの差分値を計算し、その差分値が大きい場合は信頼性が低い、差分値が小さい場合は信頼性が高いと判断する。
図４４および４５は、本実施の形態における領域分割部１０５による処理の流れを示したフローチャートである。なお、図４４および４５において、図７および図４１と共通のステップには図７および図４１と同一の符号を付しており、その詳細な説明を省略する。
まず、法線情報生成装置１００は、第１の実施形態と同様の処理を行ない、法線方向ベクトルｎを推定する（ステップＳ１０１〜Ｓ１０９）。信頼性推定部１２９は、前述のように、前記法線方向ベクトルｎと図１７および１８を利用することで、偏光度ρｅを推定する（ステップＳ１３５）。信頼性推定部１２９は、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅを比較することで、信頼性を評価する（ステップＳ１３６）。ここで、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが十分に近かった場合（ステップＳ１３６でＹｅｓ）、信頼性推定部１２９は、法線方向ベクトルｎは十分に信頼性が高いと判断し、処理を終了する。一方、偏光情報取得部１０３で求めた偏光度ρと推定された偏光度ρｅが大きく異なった場合（ステップＳ１３６でＮｏ）、信頼性推定部１２９は、法線方向ベクトルｎに信頼性がないと判断し、法線情報生成部１４７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１４７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
（第５の実施形態）
次に、本発明の第５の実施の形態における法線情報生成装置を説明する。第４の実施形態における法線情報生成装置との違いは、法線方向ベクトルから信頼性を評価するのではなく、領域分割部における領域分割結果から信頼性を評価することである。
次に、本発明の第５の実施の形態における法線情報生成装置を説明する。第４の実施形態における法線情報生成装置との違いは、法線方向ベクトルから信頼性を評価するのではなく、領域分割部における領域分割結果から信頼性を評価することである。
本実施形態による法線情報生成装置の処理は、図３８に示す第４の実施形態による法線情報生成装置の処理と同じである。本実施の形態における法線情報生成装置における信頼性推定部１０９は、法線情報生成部１２７が推定する法線方向ベクトルから信頼性を評価するのではなく、領域分割部１０５の領域分割結果から信頼性を評価する。ここでは、陰影領域を利用する処理を説明する。
陰影領域では、光線が複雑になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、陰影領域を領域分割し、信頼性推定部１０９は陰影領域を信頼性が低い領域と判断する。
図４６は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００における第１の領域分割部１１５および第２の領域分割部１１５−２は、画像を鏡面反射成分領域、拡散反射成分領域および陰影領域に分割する。信頼性推定部１１９は、第１の領域分割部１１５および第２の領域分割部１１５−２によって取得した領域分割結果に基づき、法線情報生成部１３７が正確に法線情報を推定できる領域と、信頼性が低い領域を推定する。法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性結果により法線情報推定処理を切り替えることにより、法線方向ベクトルを推定する。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
領域分割部１１５は、偏光情報取得部１０３が生成した偏光情報および／または偏光画像撮像部１０２が取得した輝度情報を利用し、画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する。ここで、陰影領域は輝度値が低いことと、カメラの移動に対して陰影は不変であることに着目する。すると、ステレオカメラにおける鏡面反射成分領域、拡散反射成分領域および陰影領域は、以下のように分割できる。
ここで、Ｔは本来のＬａｍｂｅｒｔｉａｎモデルからどれだけ離れているかを示す閾値であり、Ｔｈｓは陰影の閾値である。本来、陰影の輝度値は０になるはずであるが、暗電流や環境光などの影響により、０にならない。このような閾値は、実験的に決定すればよい。
図４７は上記領域分割基準を表した模式図である。
もちろん、領域分割部１０５は、画像の輝度値を利用するのではなく偏光情報取得部１０３および１０３−２で取得した、偏光最大輝度値Ｉｍａｘや偏光最小輝度値Ｉｍｉｎ、または偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの平均値や重み付け和（例えば、Ｉｍａｘ＋2・ＩｍｉｎやＩｍａｘ＋Ｉｍｉｎ）などをＩｃ１，Ｉｃ２として利用するようにしても構わない。前述のように、偏光最小輝度値Ｉｍｉｎを利用する場合、てかり成分の影響を少なくすることができる。また、Ｉｍａｘ＋Ｉｍｉｎは、偏光子を設置しなかった場合に撮像される画像と等価の画像である。そのため、この平均値を利用して画像処理を行なうことで、通常の偏光を利用しない場合と同様の処理を行なうことができる。
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域が陰影領域であるか、そうでないかを判断すればよい。
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
図４８および４９は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図４８および４９において、図４０および４１と共通のステップには図４０および４１と同一の符号を付しており、その詳細な説明を省略する。
領域分割部１１５は、第１の偏光情報取得部１０３および第２の偏光情報取得部１０３−２が生成した第１の偏光情報、第２の偏光情報、および／または、第１の偏光画像撮像部１０２および第２の偏光画像撮像部１０２−２が取得した第１の輝度情報、第２の輝度情報を利用することで、図４７の領域分割基準に基づき、第１の画像、第２の画像を拡散反射領域、鏡面反射領域および陰影領域に領域分割する（ステップＳ１１６）。
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果が陰影領域かそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３３）。その結果、参照画素が陰影領域でなかった場合（ステップＳ１３３でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素が陰影領域であった場合（ステップＳ１３３でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
また、偏光情報を利用することで、陰影領域をさらにアタッチト・シャドウ（ａｔｔａｃｈｅｄ ｓｈａｄｏｗ）領域とキャスト・シャドウ（ｃａｓｔ ｓｈａｄｏｗ）領域に分割するようにしても構わない。ａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域は「陰領域」とも呼ばれ、ｃａｓｔ ｓｈａｄｏｗ領域は「影領域」とも呼ばれる。ｃａｓｔ ｓｈａｄｏｗ領域では、光線が複雑になり、偏光情報の信頼性が失われる。一方、ａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域では、鏡面反射成分に近い偏光特性を示す。
そこで、本実施形態の法線情報生成装置１００では、領域分割部によって、陰影領域をａｔｔａｃｈｅｄ ｓｈａｄｏｗ領域とｃａｓｔ ｓｈａｄｏｗ領域に領域分割し、信頼性推定部１０９はｃａｓｔ ｓｈａｄｏｗ領域を信頼性が低い領域と判断する。この処理を詳述する。
まず、ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗを説明する。図５０はａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗという陰影の分類を説明するための模式図である。ここで、ある面３０５におかれた被写体３０１が、光源３０４に照らされている。この図において、符号３０６と３０７はどちらも陰影を示している。符号３０６は被写体３０１の法線が光源３０４を向いていないために生じるａｔｔａｃｈｅｄ ｓｈａｄｏｗであり、符号３０７は３０５において、遮蔽物である被写体３０１によって光が遮蔽されることによって生じるｃａｓｔ ｓｈａｄｏｗである。
次に、ａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗの偏光特性の違いを説明する。まず、地上で撮像されるほとんどの撮像シーンでは成り立つ、以下の条件１が満たされた撮像シーンにおいて、撮像が行なわれると想定する。
条件１：「被写体が存在する撮像シーンには、近傍に広い面を有する物体が存在し、ある広い面から被写体に関して反対方向には光源が存在する」
これは、例えば以下のような撮像シーンでは成り立つ。
１． 屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２． 屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３． 屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
１． 屋内シーンにおいて、被写体であるボールが机の上に置かれている。また、このボールは天井に設置された蛍光灯で照らされている。
２． 屋内シーンにおいて、被写体である人物が、床面に置かれた椅子に座っている。また、この人物は、窓から差し込んでくる太陽光で照らされている。
３． 屋外シーンにおいて、被写体である自動車が、道路上を走行している。この被写体は、太陽光で照らされている。
また、壁や建物も広い面を有するため、地上で撮像されるほとんどの撮像シーンではこの条件が成り立つ。
この条件１が成り立つ場合において、まずａｔｔａｃｈｅｄ ｓｈａｄｏｗを考える。図５０で示したように、ａｔｔａｃｈｅｄ ｓｈａｄｏｗは被写体の法線が光源と反対方向を向いているために生じる陰影である。ここで、条件１より、光源と反対方向には広い面が存在していることと、陰影領域には実際には多数の回り込み光（多重反射光）が存在していることを考慮すると、ａｔｔａｃｈｅｄ ｓｈａｄｏｗには、さまざまな方向から多重反射光が入射していると考えられる。つまり、ａｔｔａｃｈｅｄ ｓｈａｄｏｗが生じている画素の法線に対して、正反射となる多重反射光が存在すると考えられる。図５１はこの様子を示した模式図である。
ところで、被写体表面の反射特性は、てかりである鏡面反射成分と、マットな反射成分である拡散反射成分の和として表現されることが知られている。拡散反射成分は、被写体に投光する光源がいずれの方向に存在しても観測されるが、鏡面反射成分は、被写体の法線方向と視線方向に対し、ほぼ正反射方向に光源が存在する場合にのみ観測される、方向依存性の強い成分である。これは、偏光特性に関しても成り立つ。
被写体が、てかりである鏡面反射を生じる物体の場合、すべての方向から光が投光された場合、被写体は正反射成分である鏡面反射による影響を強く受けることが知られている（例えば、透明物体に関しては、斉藤めぐみ，佐藤洋一，池内克史，柏木寛，"ハイライトの偏光解析にもとづく透明物体の表面形状測定"，電子情報通信学会論文誌D-II，Vol. J82-D-II，No.9，pp.1383-1390，1999）。そのため、ａｔｔａｃｈｅｄ ｓｈａｄｏｗは鏡面反射の偏光特性を持つ。
鏡面反射成分と拡散反射成分の偏光度を示した、前述の図１７および１８から、すべての方向から光が入射された場合、拡散反射成分に比べ鏡面反射成分の偏光度が高くなることがわかる。このことからも、偏光特性としても鏡面反射成分が支配的になると推測される。
また、出射角が９０°に近い、遮蔽エッジなどを除外した場合、図１７および１８からわかるように、鏡面反射成分の偏光度は拡散反射成分に比べて高い。そのため、鏡面反射成分の反射特性を示すａｔｔａｃｈｅｄ ｓｈａｄｏｗは、相対的に偏光度が高くなる。
次に、ｃａｓｔ ｓｈａｄｏｗについて考える。図５０で示したように、ｃａｓｔ ｓｈａｄｏｗは何らかの遮蔽物によって光が遮蔽されることによって生じる陰影である。ここで、条件１を考慮すると、ｃａｓｔ ｓｈａｄｏｗは、広い面と近い法線方向を持った面に生じやすくなる。そのため、多重反射光はａｔｔａｃｈｅｄ ｓｈａｄｏｗに比べて限られた方向からしか入射しない。このことから、正反射方向に光源が存在する可能性は低いと考えられる。図５２はこの様子を示した模式図である。
さらに、図１８で示したように、拡散反射成分の偏光度は相対的に低い。このことから、ｃａｓｔ ｓｈａｄｏｗの偏光成分は比較的小さくなることがわかる。陰影領域では、輝度そのものが小さくなるため、小さな偏光成分を推定することは非常に困難である。そのため、ｃａｓｔ ｓｈａｄｏｗの偏光推定誤差は非常に大きくなる。
以上のことをまとめると、陰影領域の偏光特性は、以下のように分類される。
○ａｔｔａｃｈｅｄ ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
○ａｔｔａｃｈｅｄ ｓｈａｄｏｗ
・偏光度が高く、偏光推定誤差が小さい。
・多くの場合、鏡面反射特性を示す。
○ｃａｓｔ ｓｈａｄｏｗ
・偏光度が低く、偏光推定誤差が大きい。
・多くの場合、拡散反射特性を示す。
この分類基準を利用することで、陰影をａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗに分割する。
図５３は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５４は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光度ρの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光度ρの大きさと閾値Ｔｈρとを比較する。その結果、偏光度ρの大きさが閾値Ｔｈρ以上であった場合（ステップＳ１４１でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光度ρの大きさが閾値Ｔｈρより小さかった場合（ステップＳ１４１でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの偏光度の閾値Ｔｈρは、被写体の屈折率や被写体の法線方向、光源方向、視線方向などから設定するようにしても構わない。図１７および１８に示したように、被写体の鏡面反射成分偏光度や拡散反射成分偏光度は屈折率と入射角、出射角が求まれば一意に決定できる。そのため、図１７および１８で求まる鏡面反射成分偏光度や拡散反射成分偏光度をＴｈρとして利用すればよい。また、被写体の屈折率や被写体の法線方向、光源方向、視線方向などの情報が得られない場合、拡散反射成分偏光度がとりうる最大値をもとに閾値Ｔｈρとして決定しても構わない。例えば、屈折率２．０以上の被写体は存在しないと仮定すると、図１８より拡散反射成分偏光度の最大値は０．６程度と考えられるので、閾値Ｔｈρとして、０．８程度を設定すればよい。
もちろん、偏光度の閾値Ｔｈρを実験的に決定するようにしても構わない。
以上のように、図４７および５３の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ ｓｈａｄｏｗおよびｃａｓｔ ｓｈａｄｏｗに分割する。
もちろん、陰影領域をａｔｔａｃｈｅｄ ｓｈａｄｏｗとｃａｓｔ ｓｈａｄｏｗに分割する基準は、偏光推定誤差情報に限ったものではなく、例えば、偏光度情報であっても構わない。この処理を詳述する。
図５５は、図４７の画像分類基準において、陰影領域と分割された領域に対する陰影領域分割基準を示している。また、図５６は、陰影領域と分割された領域に対する、領域分割部１１５の処理の流れを示すフローチャートである。
画素が陰影領域であると判断された場合、領域分割部１１５は、偏光情報取得部１０３で取得された偏光推定誤差Ｅの大きさを評価する（ステップＳ１４１）。すなわち、領域分割部１１５は、偏光推定誤差Ｅの大きさと閾値Ｔｈ＿Ｅｒｒとを比較する。その結果、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒ以下であった場合（ステップＳ１４４でＮｏ）、領域分割部１１５は画素をａｔｔａｃｈｅｄ ｓｈａｄｏｗと判断し（ステップＳ１４２）、処理を終了する。一方、偏光推定誤差Ｅの大きさが閾値Ｔｈ＿Ｅｒｒより大きかった場合（ステップＳ１４４でＹｅｓ）、領域分割部１１５は画素をｃａｓｔ ｓｈａｄｏｗと判断し（ステップＳ１４３）、処理を終了する。このときの閾値Ｔｈ＿Ｅｒｒは撮像画像の輝度値や（数１）の振幅成分Ａ、バイアス成分Cを基準に決定すればよい。例えば、振幅成分Ａを基準に閾値Ｔｈ＿Ｅｒｒを決定する場合、以下のように決定すればよい。
この式は、偏光推定誤差Ｅが振幅成分Ａに対してどの程度、異なっているかを示している。ここで、Ｔｈ＿Ｅは適当な正の定数であり、実験的に決定すればよく、例えば、０．３を設定すればよい。また、Ｎは前述のサンプル数である。
以上のように、図４７および５５の領域分割基準を用いることにより、領域分割部１１５は、画像を拡散反射領域、鏡面反射領域、ａｔｔａｃｈｅｄ ｓｈａｄｏｗおよびｃａｓｔ ｓｈａｄｏｗに分割する。
法線１自由度推定部１０６は、前述のように、領域分割部１１５で分割された領域ごとに、偏光情報取得部１０３で生成された偏光情報を用いて、対応する被写体の表面での法線１自由度を推定する。このとき、領域分割部１１５において、ａｔｔａｃｈｅｄ ｓｈａｄｏｗと分割された画素は、鏡面反射成分として、 法線１自由度情報φｎを数２５によって計算する。
信頼性推定部１１９は、法線情報生成部１３７が推定する法線方向ベクトルの信頼性を評価する。これは、領域分割部１１５で分割された領域がｃａｓｔ ｓｈａｄｏｗであるか、そうでないかを判断すればよい。
法線情報生成部１３７は、信頼性推定部１１９が推定した信頼性情報によって、法線方向ベクトルの推定処理を切り替える。
図４８および５７は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５７において、図４９と共通のステップには図４９と同一の符号を付しており、その詳細な説明を省略する。
信頼性推定部１１９は、領域分割部１１５が分割した領域分割結果がｃａｓｔ ｓｈａｄｏｗかそうでないかを判断することで、推定された法線方向ベクトルの信頼性を判断する（ステップＳ１３４）。その結果、参照画素がｃａｓｔ ｓｈａｄｏｗ領域でなかった場合（ステップＳ１３４でＮｏ）、前述の通り、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２で推定された法線１自由度を、ステレオ対応取得部１０４で取得された画像の対応関係を利用して統合することで、法線方向ベクトルを推定し（ステップＳ１０９）、処理を終了する。参照画素がｃａｓｔ ｓｈａｄｏｗであった場合（ステップＳ１３４でＹｅｓ）、信頼性推定部１１９は、法線１自由度情報に信頼性がないと判断し、法線情報生成部１３７は、法線１自由度推定部１０６、１０６−２を統合することによる法線方向ベクトルの推定を行なわない。法線情報生成部１３７は、このような領域では、近傍の求まっている法線方向ベクトルを利用して、例えば、補間処理を行なうことで、法線方向ベクトルを取得する（ステップＳ１３２）。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図５）と同じである。よって、詳細な説明は省略する。
もちろん、信頼性推定部１０９は、陰影領域を利用するのではなく、例えば、多重反射領域を利用するようにしても構わない。多重反射領域では、光線が複雑 になり、偏光情報の信頼性が失われる。そこで、本実施形態の法線情報生成装置１００では、領域分割部１１５によって、多重反射領域を領域分割し、信頼性推 定部１０９は多重反射領域を信頼性が低い領域と判断する。
領域分割部１１５によって、多重反射領域を領域分割するためには、例えば、色情報を利用すればよい。一般に、拡散反射成分の色ベクトルは物体色に等しく、鏡面反射成分の色ベクトルは光源色に等しい。ここでは、多重反射として２次反射を考える。２次反射とは、光源からの光が、領域Ａで反射し、その反射光がさらに領域Ｂを照射し、その領域Ｂを観測している状態を示す。この場合、領域Ａで拡散反射、領域Ｂで鏡面反射が生じている場合、領域Ｂで観測される色ベクトルは、領域Ａの物体色ベクトルと等しくなる。ここで、非偏光成分の色ベクトルは、物体色ベクトルとほぼ等しいと仮定する。このとき、領域Ｂで観測された偏光成分の色ベクトルが、領域Ｂの非偏光成分の色ベクトルとも異なり、さらに光源色ベクトルとも異なる場合、領域Ｂでは多重反射が生じていると判断することができる。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を信頼性を利用して最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定できる。
（第６の実施形態）
次に、本発明の第６の実施の形態における法線情報生成装置を説明する。
次に、本発明の第６の実施の形態における法線情報生成装置を説明する。
図５８は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有し、視点の異なる３枚以上の偏光画像（第１の偏光画像、第２の偏光画像、第３の偏光画像）を取得する。そのため、法線情報生成部１５７は、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。こうして求めた複数の法線方向ベクトル候補に対し、最適法線選択部１１８は、その妥当性を評価することで、法線方向ベクトルを選択する。２眼のみのステレオ偏光画像撮像部１０１を利用した場合、前述のように、カメラと参照点の３次元配置および参照点の法線方向ベクトルの関係によっては、法線方向ベクトルｎの推定が不定となる場合が存在する。本実施形態の法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を利用することで、この問題を解決するものである。なお、第１の実施形態における法線情報生成装置１００と同一の構成要素には、図４と同一の符号を付し、その説明を省略する。
ステレオ対応取得部１１４は、３眼以上のステレオ偏光画像撮像部１１１が取得した３視点以上の第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する。これは、前述の図１５で示した処理を、３視点以上の偏光画像に関して行なえばよい。
第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報や第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する。これは、前述の領域分割処理を、第１の画像と第２の画像、および／または、第１の画像と第３の画像、および／または、第２の画像と第３の画像に対して、順次または並列的に、行なうようにすればよい。
法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、複数の法線方向ベクトル候補を推定する。本実施形態に基づく法線情報生成装置１００は、３眼以上のステレオ偏光画像撮像部１１１を有する。そのため、例えば、第１の偏光画像と第２の偏光画像から法線方向ベクトル候補ｎ１２を、第１の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ１３を、第２の偏光画像と第３の偏光画像から法線方向ベクトル候補ｎ２３を生成する。
最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、最適なものを選択することで、法線方向ベクトルｎを推定する。最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、法線１自由度推定部１０６で推定された法線１自由度情報を利用する。この処理を説明する。
前述のように、以下の条件を満たす場合、２眼のステレオ偏光画像から求めた入出射面Ｓ１、Ｓ２の交線は一意に求まらず、法線方向ベクトルｎは不定となってしまう。
［法線方向ベクトルｎの推定が不定となる条件］
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
参照点Ｐの法線方向ベクトルが以下の３点を通る平面上に存在。
・撮像素子２０２の焦点位置。
・撮像素子２０２−２の焦点位置。
・参照点Ｐ。
そこで、最適法線選択部１１８は、まず、第１の偏光画像から求めた入出射面Ｓ１と第２の偏光画像から求めた入出射面Ｓ２および第３の偏光画像から求めた入出射面Ｓ３のそれぞれのなす入出射面角を前述の数３５にしたがって計算する。ここで、入出射面Ｓ１と入出射面Ｓ２から求めた入出射面角をφｓ１２、入出射面Ｓ１と入出射面Ｓ３から求めた入出射面角をφｓ１３、入出射面Ｓ２と入出射面Ｓ３から求めた入出射面角をφｓ２３とする。こうして求めた入出射面角φｓ１２、φｓ１３およびφｓ２３において、最も値が大きいカメラ組を選択する。こうして選択されたカメラ組から法線方向ベクトルｎを前述のように取得する。こうして取得された法線方向ベクトルｎは、上記推定が不定となる条件に最も合わない、つまり、最も信頼性の高い法線方向ベクトルであると判断できる。
図５９および６０は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図５９および６０において、図７と共通のステップには図７と同一の符号を付しており、その詳細な説明を省略する。
まず、第１の偏光画像撮像部１０２は、第１のパターン偏光子２０１を通して被写体を第１の撮像素子２０２で受光することで、偏光情報を含んだ画像である第１の偏光画像を取得する（ステップＳ１０１）。第１の偏光情報取得部１０３は、第１の偏光画像撮像部１０２が撮像した第１の偏光画像の輝度変化を利用して、第１の偏光情報を生成する（ステップＳ１０２）。第２の偏光画像撮像部１０２−２は、第２のパターン偏光子２０１−２を通して被写体を第２の撮像素子２０２−２で受光することで、偏光情報を含んだ画像である第２の偏光画像を取得する（ステップＳ１０３）。第２の偏光情報取得部１０３−２は、第２の偏光画像撮像部１０２−２が撮像した第２の偏光画像の輝度変化を利用して、第２の偏光情報を生成する（ステップＳ１０４）。第３の偏光画像撮像部１０２−３は、第３のパターン偏光子２０１−３を通して被写体を第３の撮像素子２０２−３で受光することで、偏光情報を含んだ画像である第３の偏光画像を取得する（ステップＳ４０１）。第３の偏光情報取得部１０３−３は、第３の偏光画像撮像部１０２−３が撮像した第３の偏光画像の輝度変化を利用して、第３の偏光情報を生成する（ステップＳ４０２）。ここで、ステップＳ１０１〜ステップＳ１０２と、ステップＳ１０３〜ステップＳ１０４と、ステップＳ４０１〜ステップＳ４０２の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。ステレオ対応取得部１１４は、ステレオ偏光画像撮像部１１１が取得した第１の偏光画像、第２の偏光画像および第３の偏光画像において画素ごとの対応関係を推定する（ステップＳ４０３）。第１の領域分割部１０５、第２の領域分割部１０５−２および第３の領域分割部１０５−３は、第１の偏光情報取得部１０３、第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３が生成した第１の偏光情報、第２の偏光情報および第３の偏光情報、および／または、第１の偏光画像撮像部１０２、第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３が取得した第１の輝度情報、第２の輝度情報および第３の輝度情報を利用し、第１の画像、第２の画像および第３の画像を拡散反射領域および鏡面反射領域に領域分割する（ステップＳ４０４）。第１の法線１自由度推定部１０６は、偏光情報取得部１０３で生成された第１の偏光情報を用いて、第１の領域分割部１０５で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ１を推定する（ステップＳ１０７）。第２の法線１自由度推定部１０６−２は、偏光情報取得部１０３−２で生成された第２の偏光情報を用いて、第２の領域分割部１０５−２で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ２を推定する（ステップＳ１０８）。第３の法線１自由度推定部１０６−３は、偏光情報取得部１０３−３で生成された第３の偏光情報を用いて、第３の領域分割部１０５−３で分割された領域ごとに異なった処理を行なうことにより、対応する被写体の表面での法線１自由度情報として入出射面Ｓ３を推定する（ステップＳ４０５）。ここで、ステップＳ１０７と、ステップＳ１０８と、ステップＳ４０５の順序は任意であり、並列的に実行してもよいし、もちろん、順次実行しても構わない。法線情報生成部１５７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度情報を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定する（ステップＳ４０６）。最適法線選択部１１８は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３から、前述の入出射面角情報を利用することで、最適なものを選択し、選択された法線方向ベクトル候補を法線方向ベクトルｎとして選択する（ステップＳ４０７）。
もちろん、法線情報生成部１５７は、３つの法線方向ベクトル候補ｎ１２、ｎ１３およびｎ２３を推定するのではなく、２つの法線方向ベクトル候補ｎ１２およびｎ１３のみを推定するようにしても構わない。
また、図６１は、本実施の形態における法線情報生成装置１００が搭載されたカメラ２００のハードウェア構成例を示している。このカメラ２００は、法線情報を生成する機能を備える撮像装置であり、３つ以上のパターン偏光子（第１のパターン偏光子２０１、第２のパターン偏光子２０１−２および第３のパターン偏光子２０１−３）、３つ以上の撮像素子（第１の撮像素子２０２、第２の撮像素子２０２−２および第３の撮像素子２０２−３）、メモリ２０３およびＣＰＵ２０４を備える。なお、図６１において、図５と共通の構成要素には図５と同一の符号を付しており、新しい構成要素は存在しないため、その詳細な説明を省略する。
図２７、６５および６８は本実施形態における法線情報生成部１５７によって推定した法線方向ベクトルを可視化した法線画像を示している。前述のように、法線方向ベクトルの各成分は-1から１の範囲の値をもつため、法線画像では、法線方向ベクトルの各成分の０を灰色、負の方向に黒く、正の方向に白くなるような表現をしている。また、背景は黒色で示している。図２７は、撮像素子を水平方向に配置した、図２４（ｂ）と図２４（ｄ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１２を可視化した法線画像を表している。
図２７（ａ）は法線方向ベクトル候補ｎ１２のｘ成分の法線画像を示している。また、図２７（ｂ）は法線方向ベクトル候補ｎ１２のｙ成分の法線画像を示している。また、図２７（ｃ）は法線方向ベクトル候補ｎ１２のｚ成分の法線画像を示している。また、図２８は、図２７の各図を模式的に示した図（濃淡を明瞭化した図）である。
以下、本実施の形態による法線情報生成装置１００を利用した画像生成例を説明する。例では、球体である地球儀を被写体としている。図６２は、本願発明者らによる撮影時のカメラ２００と被写体との位置関係、および、カメラ２００内のパターン偏光子２０１、２０１−２および２０１−３との位置関係を示している。カメラ２００から被写体までは１６０ｃｍであり、パターン偏光子２０１および２０１−２の間隔、および、パターン偏光子２０１および２０１−３の間隔は５０ｃｍである。パターン偏光子間の間隔は、撮像素子の間隔とほぼ同じである。
図６３（ａ）は、地球儀を被写体とし、偏光情報取得部１０３−３（偏光情報取得部１０３の上方より撮像）によって取得された偏光最大輝度値Ｉｍａｘと偏光最小輝度値Ｉｍｉｎの和（Ｉｍａｘ＋Ｉｍｉｎ）、図６３（ｂ）は、地球儀を被写体とし、偏光情報取得部１０３−３によって取得された偏光位相φｍａｘ３（０°が黒、１８０°が白）を表している。また、図６３（ｃ）および図６３（ｄ）は、図６３（ａ）および図６３（ｂ）を模式的に示した図（濃淡を明瞭化した図）である。図６４（ａ）および（ｂ）はそれぞれ、図６３（ｃ）および（ｄ）に示す画像に対応する領域を示している。
図６５（ａ）〜（ｃ）は、撮像素子を垂直方向に配置した、図２４（ｂ）と図６３（ｂ）の偏光位相を利用して、法線情報生成部１５７が推定した法線方向ベクトル候補ｎ１３を可視化した法線画像を表している。図６５（ａ）は法線方向ベクトル候補ｎ１３のｘ成分の法線画像を示している。また、図６５（ｂ）は法線方向ベクトル候補ｎ１３のｙ成分の法線画像を示している。また、図６５（ｃ）は法線方向ベクトル候補ｎ１３のｚ成分の法線画像を示している。
また、図６６（ａ）〜（ｃ）は、図６５（ａ）〜（ｃ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図６７（ａ）〜（ｃ）はそれぞれ、図６５（ａ）〜（ｃ）に示す画像と、図６６（ａ）〜（ｃ）に示す各領域との対応関係を示している。
図６８（ａ）〜（ｄ）は、本実施形態における最適法線選択部１１８によって選択された最適な法線方向ベクトルｎを可視化した法線画像を表している。図６８（ａ）は法線方向ベクトルｎのｘ成分の法線画像を示している。また、図６８（ｂ）は法線方向ベクトルｎのｙ成分の法線画像を示している。図６８（ｃ）は法線方向ベクトル候補ｎのｚ成分の法線画像を示している。また、図６８（ｄ）は最適法線選択部１１８が法線方向ベクトル候補ｎ１２と法線方向ベクトルｎ１３のいずれを選択したかを画素ごとに示した模式図である。この図において、法線方向ベクトル候補ｎ１２が選択された画素は白く、法線方向ベクトル候補ｎ１３が選択された画素は黒くなるような表現をしている。また、背景は灰色で示している。
また、図６９（ａ）〜（ｄ）は、図６８（ａ）〜（ｄ）の各図を模式的に示した図（濃淡を明瞭化した図）である。図７０（ａ）〜（ｄ）はそれぞれ、図６８（ａ）〜（ｄ）に示す画像と、図６９（ａ）〜（ｄ）に示す各領域との対応関係を示している。
被写体が球体であるため、撮像素子を水平に並べた法線方向ベクトル候補ｎ１２を示した図２７では、球体の画面中央部水平領域において、ｘ成分法線画像が乱れていることがわかる（図２８（ａ）および図２９（ａ）における領域Ｇ３１）。この領域は、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、撮像素子を垂直に並べた法線方向ベクトル候補ｎ１３を示した図６５では、球体の画面中央部垂直領域において、ｙ成分法線画像が乱れていることがわかる（図６６（ｂ）および図６７（ｂ）における領域Ｇ４２）。この領域も、前述の「法線方向ベクトルｎの推定が不定となる条件」を満たす領域である。一方、図６８（ｄ）より、最適法線選択部１１８は、画面中央部水平領域においては法線方向ベクトル候補ｎ１３を、画面中央部垂直領域においては法線方向ベクトル候補ｎ１２を選択しているため、「法線方向ベクトルｎの推定が不定となる条件」を回避していることがわかる。そのため、生成された法線方向ベクトルｎは、安定して推定されていることがわかる（図６８（ａ）〜（ｃ）参照）。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光情報を利用しても構わない。これは、例えば偏光度ρを利用するようにすればよい。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光度ρ１、ρ２およびρ３の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光度が低い場合には、偏光情報の信頼性がなくなるためである。偏光度が低い場合、偏光情報として偏光位相情報φｍａｘを取得することは非常に困難である。偏光度を利用した法線方向ベクトルの選択を行なうことで、上記の状態を回避でき、問題を解決することが可能である。
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光情報取得部１０３で取得した偏光推定誤差Ｅを利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）から求めた偏光推定誤差Ｅ１、Ｅ２およびＥ３の大きさを比較し、その下位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光推定誤差Ｅが大きい場合には、偏光情報の信頼性がなくなるためである。偏光推定誤差を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
もちろん、最適法線選択部１１８は、複数の法線方向ベクトル候補から、最適なものを選択するために、偏光画像撮像部１０２で取得した偏光画像を利用しても構わない。これは、３つの偏光画像（第１の偏光画像、第２の偏光画像、および第３の偏光画像）の参照画素の輝度値の大きさを比較し、その上位２つに対応する画像を利用して求めた法線方向ベクトル候補を法線方向ベクトルｎとして選択すればよい。これは、偏光画像の輝度値が低い場合には、輝度分解能が小さくなるため、偏光情報の信頼性が低くなると考えられるためである。偏光画像を利用した法線方向ベクトルの選択を行なうことで、信頼性高く推定された偏光位相情報のみを利用して、法線方向ベクトルを生成することが可能である。
もちろん、法線情報生成部１５７は、複数の法線方向ベクトル候補を生成するのではなく、最適法線選択部１１８が選択した最適な法線方向ベクトルｎのみを生成するようにしても構わない。
図７１は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。なお、すべての構成要素は図５８と同一のため、図５８と同一の符号を付し、その説明を省略する。
図７２は、本実施形態における最適法線選択部１１８および法線情報生成部１５７の処理の流れを示すフローチャートである。
まず、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、入出射面角φｓ１２を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−２とする（ステップＳ５０１）。つぎに、最適法線選択部１１８は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ１３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿１−３とする（ステップＳ５０２）。また、最適法線選択部１１８は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、入出射面角φｓ２３を数３５によって計算し、これを法線推定信頼度Ｃｏ＿２−３とする（ステップＳ５０３）。ここで、最適法線選択部１１８は、法線推定信頼度Ｃｏ＿１−２、Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０４）。まず、Ｃｏ＿１−２がＣｏ＿１−３以上であり、かつ、Ｃｏ＿１−２がＣｏ＿２−３以上である場合（ステップＳ５０４でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０５）、処理を終了する。また、Ｃｏ＿１−２がＣｏ＿１−３より小さい、またはＣｏ＿１−２がＣｏ＿２−３より小さかった場合（ステップＳ５０４でＮｏ）、最適法線選択部１１８は法線信頼度Ｃｏ＿１−３およびＣｏ＿２−３の大きさを比較する（ステップＳ５０６）。Ｃｏ＿１−３がＣｏ＿２−３以上であった場合（ステップＳ５０６でＹｅｓ）、法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０７）、処理を終了する。また、Ｃｏ＿２−３がＣｏ＿１−３より大きかった場合（ステップＳ５０６でＮｏ）、法線情報生成部１５７は、入出射面Ｓ２（第２の偏光画像より取得）と入出射面Ｓ３（第３の偏光画像より取得）から、法線方向ベクトルｎを推定し（ステップＳ５０８）、処理を終了する。
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
以上のように、鏡面反射領域と拡散反射領域の領域分割を行ない、被写体の偏光情報を利用することで、被写体の偏光情報を利用して、分割された領域ごとに異なった処理を行なうことにより、広い領域についてパッシブに高精度な法線情報が推定できる。
（第７の実施形態）
次に、本発明の第７の実施の形態における法線情報生成装置を説明する。
次に、本発明の第７の実施の形態における法線情報生成装置を説明する。
図７３は、本実施の形態における法線情報生成装置１００の構成を示す機能ブロック図である。この法線情報生成装置１００において法線情報生成部１６７は、３つ以上の視点から求まった法線１自由度情報を利用して、法線方向ベクトルを推定する。なお、第６の実施形態における法線情報生成装置１００と同一の構成要素には、図７１と同一の符号を付し、その説明を省略する。
法線情報生成部１６７は、法線１自由度推定部１０６、１０６−２および１０６−３で推定された法線１自由度を、ステレオ対応取得部１１４で取得された画像の対応関係を利用して統合することで、一つの法線方向ベクトルｎを推定する。これは、例えば、３つの入出射面Ｓ１、Ｓ２およびＳ３の法線方向と推定すべき法線方向ベクトルｎのなす角が最大（９０度）になるような法線方向ベクトルｎを生成すればよい。この処理を説明する。
まず、生成すべき法線方向ベクトルをｎとし、これは第１の撮像素子２０２でのカメラ座標系Ｃ１で表現されているとする。また、第２の撮像素子２０２−２でのカメラ座標系Ｃ２における法線方向ベクトルをｎ＿Ｃ２、第３の撮像素子２０２−３でのカメラ座標系Ｃ３における法線方向ベクトルをｎ＿Ｃ３とする。このとき、各カメラ座標上での法線方向ベクトルは、次式で表される。
ただし、Ｒｃ１−ｃ２はカメラ座標系Ｃ１からカメラ座標系Ｃ２への変換を表す回転行列、Ｒｃ１−ｃ３はカメラ座標系Ｃ１からカメラ座標系Ｃ３への変換を表す回転行列である。ここで、各撮像素子での法線１自由度をφｎ１、φｎ２およびφｎ３とすると、法線方向ベクトルｎは、以下の評価関数Ｅｖ３を最小化する法線方向ベクトルｎとして求められる。
図７４は、本実施の形態における法線情報生成装置１００による処理の流れを示すフローチャートである。なお、図７４において、図５９と共通のステップには図５９と同一の符号を付しており、その詳細な説明を省略する。
法線情報生成部１５７は、入出射面Ｓ１（第１の偏光画像より取得）と入出射面Ｓ２（第２の偏光画像より取得）および入出射面Ｓ３（第３の偏光画像より取得）から、前述の数４２を最小化することで、法線方向ベクトルｎを推定し（ステップＳ４０８）、処理を終了する。
もちろん、法線情報生成部１５７は、数４２を最小化することで、法線方向ベクトルｎを推定する際、前述の拘束条件をさらに評価関数Ｅｖ３に導入することで、大域的に安定した法線を求めるようにしても構わない。このような拘束条件としては、前述のように、例えば、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件など利用すればよい。例えば、法線方向ベクトルの連続性と鏡面反射成分と拡散反射成分の空間的な連続性を拘束条件として利用する場合、法線方向ベクトルｎは、以下の評価関数Ｅｖ４を最小化する法線方向ベクトルｎとして求められる。
ただし、Ｃ１およびＣ２は拘束条件の重み係数である。
以上の説明は、撮像素子２０２が３個の場合を説明したが、もちろん４個以上の撮像素子を利用しても構わない。
また、数４２、数４３で示した評価関数を、法線方向ベクトルｎを推定するために用いるのではなく、例えば、ステレオ対応取得部１１４や領域分割部１０５が利用するようにしても構わない。領域分割部１０５が参照点を鏡面反射成分または拡散反射成分に分割する場合には、以下の処理を行なえばよい。まず、第１の法線１自由度推定部１０６、第２の法線１自由度推定部１０６−２および第３の法線１自由度推定部１０６−３は、参照点および対応点の法線１自由度候補（φ１ｎｄ、φ１ｎｓ）、（φ２ｎｄ、φ２ｎｓ）および（φ３ｎｄ、φ３ｎｓ）を求める。ここで、φ１ｎｄ、φ１ｎｓはそれぞれ、撮像素子２０２で撮像された第１の偏光画像に対して、拡散反射成分を仮定した場合の法線１自由度候補、鏡面反射成分を仮定した場合の法線１自由度候補である。上記の法線１自由度候補すべての組み合わせ（φ１ｎｄ―φ２ｎｄ―φ３ｎｄ、φ１ｎｄ―φ２ｎｄ―φ３ｎｓ、φ１ｎｄ―φ２ｎｓ―φ３ｎｄ、φ１ｎｄ―φ２ｎｓ―φ３ｎｓ、φ１ｎｓ―φ２ｎｄ―φ３ｎｄ、φ１ｎｓ―φ２ｎｄ―φ３ｎｓ、φ１ｎｓ―φ２ｎｓ―φ３ｎｄ、φ１ｎｓ―φ２ｎｓ―φ３ｎｓ）８通りにおいて、それぞれ数４２を最小にする法線方向ベクトル候補とその際の評価関数の値を計算する。領域分割部１０５、こうして求めた評価関数を最小にする組み合わせを領域分割結果として選択すればよい。もちろん、法線情報生成部１５７は、評価関数を最小とする組み合わせにおける法線方向ベクトル候補を法線方向ベクトルｎとして生成すればよい。
また、例えば、ステレオ対応点取得部１１４では、複数画像間での対応点を求める際、数４２や数４３が最小となる対応点を、例えば、エピポーラ線上を探索しながら検出するようにすればよい。
本実施の形態における法線情報生成装置１００が搭載されたカメラは、実施形態１にかかるカメラ２００（図６１）と同じである。よって、詳細な説明は省略する。
なお、本実施の形態では、偏光情報取得部１０３を第１の偏光画像撮像部１０２と第２の偏光画像撮像部１０２−２および第３の偏光画像撮像部１０２−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、領域分割部１０５を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
また、本実施の形態では、法線１自由度推定部１０６を第１の偏光情報取得部１０３と第２の偏光情報取得部１０３−２および第３の偏光情報取得部１０３−３それぞれに対し、個別に設けたが、同一モジュールとして実現しても、もちろん構わない。
以上のように、被写体の偏光情報を利用し、鏡面反射成分と拡散反射成分双方を仮定した法線１自由度候補を最適に統合することで、画素ごとに法線情報が生成されるため、広い領域についてパッシブに高精度な法線情報が推定される。
なお、法線情報生成装置も画像を処理している点において画像処理装置と呼んでもよい。ただし、その画像処理装置は、図１に示す画像処理装置とは異なる機能を有するものであることに留意されたい。
（第８の実施形態）
以下、本発明の第８の実施の形態による視点変換画像生成装置を説明する。
以下、本発明の第８の実施の形態による視点変換画像生成装置を説明する。
上述したいずれかの実施形態にかかる法線情報生成装置によれば、被写体の法線情報を得ることができる。本実施形態による視点変換画像生成装置は、この法線情報を利用して視点変換された画像（以下「視点変換画像」という。）を生成する。ここで、「視点変換」とは、被写体を撮影した時の視点位置とは異なる視点位置から見た画像を生成する処理をいう。視点変換することにより、同じ被写体を異なる方向から見た画像を得ることができる。
視点変換の実現方法としては、従来多眼カメラを用いて多視点画像を撮像し、それを補間する画像ベースの方法、および、被写体の3次元幾何モデルを取得してそれにテクスチャを貼り付けるモデルベースの方法がある。しかしながら、前者の方法は、高精細化のためには使用するカメラ数が相当数に増えてしまうこと、基本的には補間を用いるためカメラ群が存在しない任意視点からの視点変換が不可能であるという欠点がある。また、後者の方法では、被写体の高品質な3次元モデルの取得が困難という欠点がある。
一方、本発明に係る法線情報生成装置は、ステレオ偏光画像を用いることにより被写体法線を画素ベースで取得できる。このように画素ベースで法線が取得できる利点は、陰影から法線を復元する、いわゆるＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇの手法を除けば偏光を用いる手法は唯一の方法であるといってもよく、これを元に形状を復元することにより高精度な3次元モデルを生成し、モデルベースの視点変換を実施することが可能である。
本発明によれば、ステレオ偏光撮影という2眼カメラ系のみの撮像によって、実質的には多眼カメラで撮影したのと同等の多視点画像を生成し、さらに立体視画像を生成することなどが可能となる。その結果、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能となる。
図７５は、本実施の形態における視点変換画像生成装置７００のブロック図を示す。視点変換画像生成装置７００は、上述の第１から第７のいずれかの実施形態による法線情報生成装置１００を含んでいる。視点変換画像生成装置７００は、被写体から法線情報を抽出し、その情報を元にして被写体形状を復元し、さらに視点を変換した画像や光源を変換した画像を合成して提示する。
法線情報生成装置１００は、ステレオ偏光画像撮像部１０１、ステレオ対応取得部１０４、および、法線情報生成部１０７を備えており、被写体の法線の情報を取得する。この処理の詳細は既に説明したため省略する。なお、以下の説明では、実施形態２で説明した技術内容によってステレオ視のオクルージョンにより法線が得られない領域を含めて被写体全域の法線の情報が取得されているものとする。
光源情報取得部７５０１では、撮影環境での光源情報を取得する。光源情報は最も簡単なモデルでは光源ベクトルＬ（２自由度）を仮定することができ、その取得には鏡面球を使う方法などを使うことができる。この方法は、たとえば、Mark W.Powell, Sudeep Sarker, and Dmity Goldgof:“A Simple Strategy for Calibratng the Geometry of Light Sources"、IEEE Transactin on pattern analysis and machine intelligence,Vol.23, No.9, septermber 2001,pp.1023-1026に記載されている。
光源情報変換部７５０２は、撮影時の光源ベクトルを自由に変化させ、異なる光源ベクトルを利用して、光源を変動させた画像を合成する。ただし本実施形態では光源変動は主たる機能ではなく、視点変換により光源が相対的に変化する効果を再現するために行うものである。
視線情報取得部７５０３は、カメラパラメータを使ってカメラの視点ベクトルを取得する。カメラパラメータは、カメラの世界座標での位置と向きという外部パラメータ、および、焦点距離やレンズ中心、レンズ歪などの内部パラメータからなる。これらのパラメータの取得は、ステレオ偏光画像撮像部の校正時に既出のＴｓａｉの手法などを使って実現されている。よって、詳細は省略する。
輝度画像変換部７５０４は、偏光画像を輝度画像に変換する。偏光画像撮像部が図８のような各画素上に設置された微小偏光板で構成されている場合、偏光軸の回転角（Ψｉ＝０°、４５°、９０°、１３５°）の４種類の偏光方向を有する画素から得られる各輝度値は偏光情報を取得するために使われるが、これらを平均した値は偏光情報無しの輝度値となる。輝度画像変換部７５０４は、この平均処理により輝度画像を生成する。
形状復元部７５０５は、法線情報生成部１０７にて得られた被写体の法線情報と、ステレオ対応取得部１０４にて得られたステレオ対応からの被写体表面上にある離散的な特徴点の３次元座標とを用いて被写体形状を復元する。
法線情報生成装置１００が出力するのは、法線画像である。これは、（ｘ，ｙ）の２次元平面に３成分を有するベクトルである法線が分布する画像であり、確かに被写体の３Ｄ形状の一部を表現しているため、光源が変化した場合の画像生成には十分である。しかし視点変換を行う場合には被写体形状自身が変化し３Ｄ形状が変わるため、法線画像から形状復元を行う必要がある。以下、暗室内で撮影された地球儀の形状を復元する例を挙げて具体的に説明する。
図７６は、形状復元部７５０５の処理を示すフローチャートである。
ステップＳ７６０１では、形状復元部７５０５は、被写体マスク画像を作成する。これは被写体である地球儀の遮蔽エッジを確定し背景との分離を行うものである。任意のシーンにおいて背景と被写体の分離を行うことは困難である。しかしながら、適当なしきい値を設定して画像の輝度で２値化することにより被写体が分離できる。本実施形態では、このようにして得られた画像を被写体マスク画像として採用する。
ステップＳ７６０２では、形状復元部７５０５は、遮蔽エッジから順次勾配を積分して初期表面を生成する。以降、法線の表現には２自由度の勾配（ｐ，ｑ）空間を用いる。
図７７は、勾配が法線ベクトルＮから平行投影を仮定して得られる様子を示している。カメラ座標系をｘｙｚとすると、ｘｙ座標系が画面内に存在するとき、視点はＺ方向負向きに位置する。そこで、Ｎが接ベクトルｒｘ、ｒｙの外積の符号を変えたもので視点に向いているとすれば以下のような関係式として法線から勾配が得られる。
図７８を用いて、勾配（ｐ，ｑ）の具体的な積分を説明する。被写体内部はマスク画像で表現されるが、これを遮蔽エッジからの距離変換によって遮蔽エッジから次第に中心部へ向かって数値が大きくなるように順序付けしておく。初期設定としてＺをゼロクリアした後、積分該当画素について、距離が多くなる方向を求める（図７８（Ａ））。そして、その方向が周囲の斜め方向の場合（図７８（Ｂ））と周囲の上下左右の方向の場合（図７８（Ｂ））によって場合分けし、各々の場合に即して勾配（ｐ，ｑ）の順次演算を行う。この結果、地球儀の周囲から順次内側に向かって形状が復元される。この形状は撮像面上の画素座標系である奥行き画像Ｚ（ｙ，ｘ）で表される。
図７９は、法線画像（Ｎｘ，Ｎｙ，Ｎｚ）、およびマスク画像を入力して上記積分の結果、奥行き画像として表面が生成される過程を示す図である。このようにして初期表面が生成される。
ステップＳ７６０３では初期表面で求められる表面の形状精度は球の形状から程遠いため、再度勾配（ｐ、ｑ）を有する表面として形状を更新する。この方法では以下の積分を大域的に評価して最小化するZを求める。
この変分問題はＬａｎｇｒａｎｇｅ−Ｅｕｌｅｒ方程式に帰着する（Ｐｏｉｓｓｏｎ方程式）。
この式を離散化し、以下の逐次的な処理で最適解を求める。繰り返し処理は１３０Ｘ１３０画素の法線画像について１０００回程度実施する。
ステップＳ７６０４（図７６）では、形状復元部７５０５は、ステレオ対応点を制御点として導入する。本発明によれば偏光からの法線情報に加えて、２眼、または３眼ステレオ視によって求められた特徴点(以降「制御点」)の３次元位置情報を用いて被写体表面の形状を制御することができる。
図８０は、この様子を示しており、最もZ値が小さい（カメラに近い）制御点を基準点と考え、その画素座標点を対応する奥行き画像に対応させる変換を行うことにより、全制御点を一様に透視投影で上記の焦点面上の奥行き画像に埋め込む。
ステップＳ７６０５では、制御点拘束付きの最適化を行う。ここまでの処理で滑らかだが歪んだ表面上に制御点が不連続に埋め込まれている状態となっているため再度、勾配の拘束を使って逐次的に表面を更新する。このような制御点拘束付きの最適化処理としては、Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ （ＷＬＳ）という方法を用いる。この方法は、論文：Itsik Horovitz and Nahum Kiryati Tel Aviv University：“Depth from Gradient Fields and Control Points:Bias Correction in Photometric Stereo",Image and Vision Computing Vol.22,pp.681-694,2004に記載されている。
この方法では、対象画素から最も近い制御点からの影響を距離の逆数の重み関数として設定し、距離が近い場合には重みを大きく、距離が遠い場合には重みを小さくする。
具体的には
を最小化する。これをＺｉｊで微分してゼロとおく最小２乗法を用いると
となる。したがって、以下の式を繰り返し法で解くこととなる。
重み関数の関数形は任意であるが、今回は、
を用いる。ここでRは対象画素から最も近い制御点までの画像上の距離である。
制御点の拘束条件を具体的に実現するため繰り返し毎に、制御点を再度設定しなおしている。これをしないと繰り返しの後で得られる表面はほとんど制御点を反映しないものになってしまう。
ステップＳ７６０６（図７６）では、形状復元部７５０５は、「滑らかさ」優先形状復元を行う。この理由は以下のとおりである。ステップＳ７６０５までの処理により、形状が復元される。よって、拡散反射成分の視点変換は一応実現できている。しかしながら、表面を詳しく検討すると
・全体的に凹凸が激しい
・特に地球儀中央部の鏡面反射の偏光状態を拡散反射の偏光とみなしている部分の再現が特によくない。
という課題がある。拡散反射成分再現には、このような形状誤差は遮蔽エッジ部分を除きそれほど影響はない。しかし、鏡面反射のモデル化をする場合は極めて高精度で滑らかな曲面が必要であることが分かっているため、この形状誤差は問題となる。これに対し滑らかさ優先で復元した形状を微分し滑らかな法線を得る手法をとり、勾配空間（ｐ，ｑ）を用いた形状復元において、法線の影響を受ける項の重みを係数Wを使って制御することとした。具体的にはＷ＝０．５で生成した表面を用いて、鏡面反射再現には、こちらの形状を用いている。
・全体的に凹凸が激しい
・特に地球儀中央部の鏡面反射の偏光状態を拡散反射の偏光とみなしている部分の再現が特によくない。
という課題がある。拡散反射成分再現には、このような形状誤差は遮蔽エッジ部分を除きそれほど影響はない。しかし、鏡面反射のモデル化をする場合は極めて高精度で滑らかな曲面が必要であることが分かっているため、この形状誤差は問題となる。これに対し滑らかさ優先で復元した形状を微分し滑らかな法線を得る手法をとり、勾配空間（ｐ，ｑ）を用いた形状復元において、法線の影響を受ける項の重みを係数Wを使って制御することとした。具体的にはＷ＝０．５で生成した表面を用いて、鏡面反射再現には、こちらの形状を用いている。
ステップＳ７６０７では、形状復元部７５０５は、復元された奥行き画像からカメラ座標系の３次元空間内で表現された表面形状に変換する。
図８１は、上述の各処理によって形状が順次再現されていく様子を示す。この例は、地球儀の奥行き画像の複数の水平方向のプロファイルを示している。
図８１の（１）は法線を周囲から積分することで初期表面を作成した結果である。この結果にはかなりノイズが含まれている。図８１の（２）は勾配空間を用いて形状を最適化した結果である。この結果でも、曲線がまだ交差しているなど歪みが存在する。図８１の（３）ではステレオ制御点を導入して表面に拘束条件を課している。図８１の（４）では（３）で導入されたステレオ制御点を通り、かつ法線からの勾配空間の条件を両立する表面を最適化して表面形状を生成している。やや歪みはあるものの正しい３次元位置に局面が生成されていることが理解される。図８１の（５）は滑らかさ優先の条件で生成された表面を示し正確な形状からのずれはある。しかしながら、滑らかさは増加していることがわかる。
ＤＳ分離部７５０６（図７５）では、表面輝度を拡散反射成分と鏡面反分に分離する。これは異なる視点から被写体を観察すると、表面の反射輝度のうち、拡散反射成分（ランバート反射）は不変だが、鏡面反射成分は視点に従って移動したり輝度が大きく変化する現象を再現するためである。本発明では、ステレオ視の２視点を使う方法を採用した。この原理は図８２に示すとおりであり以下のようになる。
（１）Ｃａｍ１とＣａｍ２という２視点位置から被写体を見た画像８２０１，８２０２を取得する。
（２）Ｃａｍ２画像を視点変換して画像８２０３を生成する。画像８２０３は、Ｃａｍ１の視点位置からみたＣａｍ２の画像である（図８２では、「Ｃａｍ２画像＠Ｃａｍ１視点」と記載している。
（３）８２０１と８２０３の同じ撮像画素座標どうしを比較して、輝度が小さいほうを拡散反射成分として拡散反射成分画像８２０４を生成する。
（１）Ｃａｍ１とＣａｍ２という２視点位置から被写体を見た画像８２０１，８２０２を取得する。
（２）Ｃａｍ２画像を視点変換して画像８２０３を生成する。画像８２０３は、Ｃａｍ１の視点位置からみたＣａｍ２の画像である（図８２では、「Ｃａｍ２画像＠Ｃａｍ１視点」と記載している。
（３）８２０１と８２０３の同じ撮像画素座標どうしを比較して、輝度が小さいほうを拡散反射成分として拡散反射成分画像８２０４を生成する。
視点変換部７５０６では、カメラパラメータを用いてＣａｍ１またはＣａｍ２の拡散反射画像の成分のみを自在視点変換する。この処理は３Ｄ形状データ構造を前提としている。以下ではまず３Ｄ形状データ構造を説明する。
図８３は、形状復元部７５０５にて復元された被写体３Ｄ形状データ構造を示す。形状復元部７５０５は、３Ｄ形状データ構造を、画素ベースの３Ｄ位置座標（カメラ座標系）のデータ形式に作り変えて記憶する。具体的にはカメラ１において撮像座標系（Ｘ，Ｙ）の２Ｄ画素座標系に対して３Ｄ位置座標（Ｘｃ１，Ｙｃ１，Ｚｃ１）がテキスト形式にて格納される。この構造はカメラ視点から見える部分のみしかモデル化できない。しかしながら、最もシンプルな形での視点変換を実現できる。
被写体以外の背景部分には３Ｄ位置座標（−１，−１，−１）が埋め込まれる。
図８４は、この３Ｄ形状データ構造とカメラパラメータを用いて、視点変換を行う処理を説明するフローチャートである。なお、このフローチャートでは、視点変換を行う対象であるＣａｍ１画像が、拡散反射画像の場合と法線画像の場合の両方の説明をしていることに注意されたい。これは、図７５における視点変換部７５０７に、拡散反射画像と法線画像の２種の画像が入力されている構成に示されている。
まず、ステップＳ８４０１では、視点変換部７５０７は、Ｃａｍ１画像とＣａｍ１座標系での３Ｄ形状データを取得する。
ステップＳ８４０２では、視点変換部７５０７は、上記の３Ｄ形状データに格納されている３Ｄ位置座標をＣａｍ１座標系から世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）に変換する。この変換はカメラパラメータを用いることで可能となる。
ステップＳ８４０３では、視点変換部７５０７は、求めるべき新視点の画像上の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）を取得して実際の処理を開始する。
ステップＳ８４０４では、視点変換部７５０７は、同じくカメラパラメータを用いて画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に相当するカメラの視線と世界座標系の３Ｄ形状データとの最も近い点（Ｘ’ｗ，Ｙ’ｗ，Ｚ’ｗ）を探索処理する。
ステップＳ８４０５では、視点変換部７５０７は、求めた世界座標系に対応する元のＣａｍ１画像の画素値を求める。ステップＳ８４０６では、視点変換部７５０７は、Ｃａｍ１画像が拡散反射画像であるか法線画像であるかを判定する。画像が拡散反射画像であると判定されたときは、処理はステップＳ８４０７に進む。画像が法線画像であると判定されたときは処理はステップＳ８４０８に進む。
ステップＳ８４０７では、視点変換部７５０７は、Ｃａｍ１画素値である（ＲＧＢ）値をそのまま新視点の画像の画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納する。これは拡散反射画像では、視点変換ではその輝度値が不変であるという性質によるものであり、ここでカラー画像でない場合にはモノクロ画素値を格納することになる。その後、処理はステップＳ８４０９に進む。
ステップＳ８４０８では、視点変換部７５０７は、カメラパラメータを用いて法線ベクトル成分を新視点へ座標系変換して同様に画素位置（Ｉｎｅｗ，Ｊｎｅｗ）に格納して新視点での法線画像を生成する。その後、処理はステップＳ８４０９に進む。
ステップＳ８４０９では、すべての画素が生成されたかどうかを調べる。すべての画素が生成されていない場合には、ステップＳ８４０３に戻って処理を繰り返す。
図８５は、図８４のフローチャートにしたがって行われた処理の結果を示す。この図では、Ｃａｍ１画像からＣａｍＮの新視点画像が生成される処理の様子が対応付けて示されている。対応関係８５０１は、Ｃａｍ１画像の座標（Ｉ１，Ｊ１）と新視点画像であるＣａｍＮ画像の座標(Ｉｎｅｗ，Ｊｎｅｗ)との画像面上での関係を説明している。対応関係８５０２は、Ｃａｍ１画像が拡散反射画像の場合において、上記の２つの画素位置において（ＲＧＢ）のカラー画素値がそのまま格納されることを示している。対応関係８５０３は、Ｃａｍ１画像が法線画像の場合において、２つの画素位置でその画素値である法線ベクトルの成分（Ｎ１ｘ、Ｎ１ｙ，Ｎ１ｚ）が座標変換されて（Ｎｎｅｗｘ，Ｎｎｅｗｙ，Ｎｎｅｗｚ）となって格納されることを示している。
鏡面反射画像生成部７５０８（図７５）では、拡散反射画像の視点変換画像同様に視点変換された鏡面反射画像を物理的に生成して合成する。ここまでの処理によると、既に被写体から実際の鏡面反射成分を除去した拡散反射画像に対して視点変換が実施できている。本処理は、ここに光源、視点、被写体法線の幾何的関係と表面反射特性を用いる物理反射モデルを使って鏡面反射を再現することを目的として行われる。この処理は、本手法のようなモデルベースの視点変換独自機能といえる。
鏡面反射に視点変換を実施するためには、まず新視点のカメラ座標系において法線画像と光源ベクトルを得る必要がある。法線画像についてはすでに視点変換部７５０７において処理が行われている。よって、鏡面反射画像生成部７５０８は、あとは光源ベクトルをカメラパラメータを用いて座標変換すればよい。
次に、鏡面反射画像生成部７５０８は、物理反射モデルを利用して法線ベクトル、視線ベクトル、光源ベクトルと表面反射特性から反射輝度値を求めていく。
利用したモデルは以下の式で表現されるクック−トランスモデルである。これは法線ベクトルＮ、視点ベクトルＶ、ハーフベクトルと法線のなす角αを用いると以下のように分布関数Ｄがベックマン関数で表現される。このモデルにはトランス−スパローモデルなど別の鏡面反射モデルを使ってもかまわない。
図８６は、この幾何学的関係を示す。図８６は、光源ベクトルＬと視線ベクトルＶとの２等分ベクトルであるＨと、法線ベクトルＮとの間の角度αを説明している。このα＝０となる角度にて式５３のＤが最大値をとり、輝度が最大となる。表面の反射特性を表現するのは、粗さ係数ｍと輝度重み係数Ｋであるが、これらは実際に撮影する場合に被写体から取得してもよいし、以前の実験で同じ被写体（地球儀）について最適化されたパラメータを使ってもよい。ここでは以前の実験で同じ被写体について求めておいた値（ｍ＝０．０８３， ｋ＝６４１５．７９５）を用いる。なお、このパラメータは、反射パラメータデータベース７５０９に格納されているものとする。
最後に、ＤＳ合成部７５１０は、以上の処理で生成された視点変換された拡散反射画像と、おなじく視点変換された鏡面反射画像とを加算して視点変換画像を完成する。
２Ｄ／３Ｄ提示部７５１１は、たとえば、生成された自在視点変換画像を表示するディスプレイである。ディスプレイは、２Ｄ（平面）ディスプレイであってもよいし、３Ｄ（立体）ディスプレイの場合がある。
２Ｄディスプレイの場合には、ユーザがジョイステックや視点入力装置などの既知のインタフェースにて視点位置を指示すると、２Ｄ／３Ｄ提示部７５１１は、その視点位置に即した２Ｄ画像を表示を行う。
３Ｄ（立体）ディスプレイは、眼鏡有り立体視の固定視点ディスプレイおよび裸眼の多視点立体ディスプレイの両方を含んでいる。前者の場合には、２Ｄディスプレイの場合と同じインタフェースにて自在に視点が変わった立体画像を観察できる。後者の場合には、観察者は自在に視点を動かして立体像を観察できる。そこで、観察者がある視点で見た場合、その左右眼の２枚の視点画像を合成してその方向に提示することにより自在視点での立体視が可能になる。
図８７は、視点変換画像の表示例を示す。画像８７０１、８７０２はそれぞれ、偏光撮像された左右の入力画像を示す。画像８７０３、８７０４、８７０５は、左の入力画像８７０１を用いて任意視点へ合成された画像を示しており、それぞれ、入力画像の中間視点画像、左４５度への視点移動画像、右４５度への視点移動画像を示す。観察者の視点移動に伴って鏡面反射部分の位置が変わって再現されており、リアリティが向上する利点が得られていることがわかる。
図８８は、２Ｄディスプレイの場合の実カメラ視点と合成された仮想的な視点の幾何学的関係を示す。実カメラの配置で撮影された左画像と右画像の入力画像に対して、その左画像から、３点の仮想視点８８０１、８８０２、８８０３での画像が生成されており、それらが図８７の画像に対応している。
図８９は、同じ視点変換が３Ｄディスプレイで提示される場合の視点の幾何学的関係を示す。各仮想視点８８０１、８８０２、８８０３にて観察者の左眼と右眼に相当する２種類の仮想視点画像の対がさらに生成される。これらの画像は、既存の多視点３Ｄ（立体）ディスプレイに表示することができる。これによって観察者は自在に視線を動かしながら、多視点から被写体の立体像を観察できる。
本発明に係る法線情報生成装置は、被写体を撮像することによって被写体の表面における法線情報を生成する法線情報生成装置として、例えば、被写体の３次元形状情報を生成する装置や、その情報を利用して画像を高精細化する装置として、具体的には、デジタルスチルカメラ、デジタルムービーカメラ、監視カメラ などに有用である。特に、光学系や撮像素子の小型化によって画像の解像度が問題となるカメラ付き携帯電話、デジタルカメラ、デジタルムービーカメラなどの携帯型撮像装置が普及してきた今日における実用的意義は極めて高い。
また、本発明に係わる視点変換画像生成装置は、上記の法線情報生成装置の出力である法線画像を用いて被写体の形状を復元し、任意視点からの合成画像を生成することができるため、医療内視鏡分野やＩＴＳ分野、監視分野、さらには３Ｄムービーやｅ−ｃｏｍｍｅｒｃｅなどの分野まで応用範囲が広い技術に応用が可能である。
１０１ ステレオ偏光画像撮像部
１０２ 偏光画像撮像部
１０３ 偏光情報取得部
１０４ ステレオ対応取得部
１０５ 領域分割部
１０６ 法線１自由度推定部
１０７ 法線情報生成部
１０８ 最適法線選択部
１０９ 信頼性推定部
１０２ 偏光画像撮像部
１０３ 偏光情報取得部
１０４ ステレオ対応取得部
１０５ 領域分割部
１０６ 法線１自由度推定部
１０７ 法線情報生成部
１０８ 最適法線選択部
１０９ 信頼性推定部
Claims (43)
- 被写体を撮像することによって前記被写体の表面における法線情報をパッシブに生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを推定する法線情報生成部と
を有する、画像処理装置。 - 前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光光の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、請求項１に記載の画像処理装置。 - 前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像のいずれかに含まれる特徴点を特定し、前記特徴点に基づいて他の前記複数の偏光画像を探索することにより、前記複数の偏光画像の各々の間で対応付けられた特徴点を特定し、各特徴点に基づいて、前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、前記領域分割部で分割された各領域に対応する、被写体の表面での法線１自由度をそれぞれ推定する法線１自由度推定部と
をさらに備え、前記法線情報生成部は、前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、法線方向ベクトルを推定する、請求項１に記載の画像処理装置。 - 前記偏光情報取得部は、偏光情報として、偏光度、偏光位相、偏光推定誤差、偏光最大輝度値、偏光最小輝度値の少なくとも１つを生成する、請求項３に記載の画像処理装置。
- 前記領域分割部は、前記被写体の表面を、拡散反射領域および鏡面反射領域のいずれかに分割する、請求項４に記載の画像処理装置。
- 前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域および陰影領域のいずれかに分割する、請求項４に記載の画像処理装置。
- 前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、アタッチト・シャドウ領域およびキャスト・シャドウ領域のいずれかに分割する、請求項４に記載の画像処理装置。
- 前記領域分割部は、前記被写体の表面を、拡散反射領域、鏡面反射領域、ステレオ未対応領域およびオクルージョン領域のいずれかに分割する、請求項４に記載の画像処理装置。
- 前記法線１自由度推定部は、前記拡散反射領域については、前記対応関係において輝度が最大となる偏光主軸角度を、当該領域に対応する前記被写体の出射面の法線情報として生成する、請求項５から８のいずれかに記載の画像処理装置。
- 前記法線１自由度推定部は、前記ステレオ未対応領域およびオクルージョン領域については、法線方向ベクトルが光軸に直交する平面上に存在することに基づいて、法線方向ベクトルを生成する、請求項８に記載の画像処理装置。
- 前記法線１自由度推定部は、前記鏡面反射領域およびアタッチト・シャドウ領域については、前記対応関係において輝度が最小となる偏光主軸角度を、当該領域に対応する前記被写体の入射面の法線情報として生成する、請求項５から８のいずれかに記載の画像処理装置。
- 前記法線情報生成部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した入射面または出射面の交線を求めることによって、法線方向ベクトルを生成する、請求項９または請求項１１に記載の画像処理装置。
- 前記法線情報生成部は、生成された法線方向ベクトルと視線方向の相対関係を評価することによって、生成された法線方向ベクトルの不定性を除去する、請求項１２に記載の画像処理装置。
- 前記ステレオ対応取得部は、前記偏光情報取得部が取得した偏光最小輝度値を利用してステレオ画像の対応を取得する、請求項４に記載の画像処理装置。
- 前記法線情報生成部は、オクルージョン領域については、法線方向ベクトルは視線ベクトルと直交することを利用し、前記法線１自由度推定部で推定した入射面または出射面上において、視線ベクトルと直交するベクトルを法線方向ベクトルとして生成する、請求項８に記載の画像処理装置。
- 被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトル候補を生成する法線情報生成部と、
前記法線情報生成部によって生成された複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部と
を備えた、画像処理装置。 - 前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つに基づいて、最適な法線方向ベクトルを選択する、請求項１６に記載の画像処理装置。
- 前記法線情報生成部が生成した前記法線方向ベクトルの信頼性を推定し、前記信頼性の低さに応じて前記法線方向ベクトルを廃棄する信頼性推定部をさらに備えた、請求項３に記載の画像処理装置。
- 前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、奥行情報に基づいて求めた法線方向ベクトルに置き換える、請求項１８に記載の画像処理装置。
- 前記法線情報生成部は、信頼性の低さに応じて、前記法線方向ベクトルを、近傍の法線方向ベクトルから補間処理を行なうことによって求めた法線方向ベクトルに置き換える、請求項１８に記載の画像処理装置。
- 前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、法線方向ベクトルの信頼性を推定する、請求項１８に記載の画像処理装置。
- 前記信頼性推定部は、視点位置の異なる複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度の大きさに応じて、推定する法線方向ベクトルの信頼性の大きさを変える、請求項２１に記載の画像処理装置。
- 前記領域分割部は、前記被写体の表面を陰影領域として領域分割を行ない、
前記信頼性推定部は、前記領域分割部が陰影領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定する、請求項２１に記載の画像処理装置。 - 前記領域分割部は、前記被写体の表面をキャスト・シャドウ領域として領域分割を行ない、
前記信頼性推定部は、前記領域分割部がキャスト・シャドウ領域として領域分割した領域における法線方向ベクトルの信頼性を相対的により低く推定する、請求項２１に記載の画像処理装置。 - 前記信頼性推定部は、前記偏光情報取得部が取得した偏光情報、および、前記領域分割部の領域分割結果から法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差に応じて、法線方向ベクトルの信頼性を変える、請求項２１に記載の画像処理装置。
- 被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、
前記法線情報生成部によって生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する最適法線選択部
を備えた、画像処理装置。 - 前記法線情報生成部は、視点位置の異なる前記３つ以上の複数の偏光画像から、２つの偏光画像ごとに複数の法線方向ベクトル候補を生成する、請求項２６に記載の画像処理装置。
- 前記最適法線選択部は、前記ステレオ偏光画像撮像部が撮像した偏光画像、前記偏光情報取得部が取得した偏光情報、前記領域分割部の領域分割結果、前記法線１自由度推定部が推定した法線１自由度情報、および、前記法線情報生成部が生成した法線方向ベクトルの少なくとも１つに基づいて、前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択する、請求項２７に記載の画像処理装置。
- 前記最適法線選択部は、視点位置の異なる前記３つ以上の複数の偏光画像において、前記法線１自由度推定部が推定した法線１自由度情報である入射面または出射面のなす角度が最も大きい法線方向ベクトル候補を、最適な法線方向ベクトルとして推定する、請求項２８に記載の画像処理装置。
- 前記最適法線選択部は、前記信頼性推定部が推定した偏光度情報および前記領域分割部の領域分割結果に基づいて法線情報を計算し、計算された法線情報と前記法線情報生成部が生成した法線方向ベクトルとを比較し、その差が最小となる法線方向ベクトル候補を最適な法線方向ベクトルとして推定する、請求項２８に記載の画像処理装置。
- 被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、被写体の視点位置の異なる３つ以上の複数の偏光画像を取得するステレオ偏光画像撮像部と、
前記複数の偏光光に関する偏光情報を生成する偏光情報取得部であって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成する偏光情報取得部と、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部と、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割する領域分割部と、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定する法線１自由度推定部と、
前記法線１自由度推定部でそれぞれ推定された前記法線１自由度、および、前記ステレオ対応取得部で取得された前記複数の偏光画像の対応関係に基づいて、複数の法線方向ベクトルを推定する法線情報生成部と、
を備えた、画像処理装置。 - 前記法線情報生成部は、前記法線１自由度推定部で推定した複数の入射面または出射面とのなす角が最大となる方向ベクトルを法線情報ベクトルとして生成する、請求項３１に記載の画像処理装置。
- 前記法線情報生成部は、法線方向ベクトルの連続性、鏡面反射成分と拡散反射成分の空間的な連続性、偏光情報、遮蔽エッジ近傍領域の法線方向ベクトル、法線情報および奥行情報の少なくとも１つの情報を拘束条件として利用することにより、法線方向ベクトルを選択する、請求項３２に記載の画像処理装置。
- 前記ステレオ偏光画像撮像部は、偏光主軸角度が異なる複数の偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受ける、請求項１に記載の画像処理装置。
- 前記ステレオ偏光画像撮像部は、回転によって偏光主軸角度が可変である偏光子を回転させることにより、前記偏光子を透過した前記被写体からの光を、前記各視点位置において偏光方向が異なる複数の偏光光として受ける、請求項１に記載の画像処理装置。
- 被写体を撮像することによって前記被写体の表面における法線情報を生成する法線情報生成方法であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステップと、
前記複数の偏光光に関する偏光情報を生成するステップであって、前記複数の偏光画像の各々を構成する単位画像のそれぞれについて、前記複数の偏光画像の偏光角度および輝度の対応関係に基づいて、偏光情報を生成するステップと、
視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステップと、
前記複数の偏光画像の各々に対して、前記偏光情報に基づいて、鏡面反射成分を仮定した処理と拡散反射成分を仮定した処理とを切り替えることにより、対応する被写体の表面での複数の法線１自由度候補を推定するステップと、
前記偏光画像の輝度情報および前記複数の偏光光に関する偏光情報の少なくとも一方の情報についての類似性に基づいて、偏光画像を、光学的に共通する領域ごとに分割するステップと、
前記偏光情報に基づいて、前記領域分割部によって分割された領域ごとに処理を切り替えることにより、対応する被写体の表面での法線１自由度を推定するステップと、
推定された前記法線１自由度、および、前記複数の偏光画像の画素ごとの対応関係に基づいて、複数の法線方向ベクトルを推定するステップと、
生成された前記複数の法線方向ベクトル候補から、最適な法線方向ベクトルとして１つの候補を選択するステップと
を包含する、情報処理方法。 - 被写体を撮像することによって前記被写体の表面における法線情報を生成する画像処理装置のためのコンピュータプログラムであって、請求項３６に記載の方法に包含される各ステップを前記画像処理装置のコンピュータに実行させる、コンピュータプログラム。
- 複数の異なる視点位置で被写体を撮像することによって前記被写体の撮影時とは異なる任意視点位置からみた画像を合成する視点変換画像生成装置であって、
複数の異なる視点位置の各々において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、
前記法線情報から前記被写体の３次元形状を復元する形状復元部と、
前記３次元形状に基づいて、撮影された前記被写体の画像の視点位置を変換する視点変換部と
を備えた、視点変換画像生成装置。 - 所定の反射モデルによって、視点変換された画像から鏡面反射画像を生成する鏡面反射画像生成部と、
複数の画像を合成して１枚の画像を生成する合成部と、
画像を提示する提示部と
をさらに備え、
前記視点変換部は、前記被写体の画像から拡散反射成分と鏡面反射成分とを分離して得られる拡散反射画像および前記法線情報生成部から得られる法線画像の両方を視点変換し、
前記鏡面反射画像生成部は、視点変換された前記法線画像から鏡面反射画像を生成し、
前記合成部は、視点変換された前記拡散反射画像および生成された前記鏡面反射画像を合成し、
前記提示部は、合成された画像を提示する、請求項３８に記載の視点変換画像生成装置。 - 視点位置の異なる前記複数の偏光画像の画素ごとの対応関係を推定するステレオ対応取得部をさらに備え、
前記形状復元部は、前記法線情報生成部から得られる法線画像および前記ステレオ対応取得部から得られる前記複数の偏光画像間で対応する画素の特徴点に対応する３次元位置を用いて、前記被写体の３次元形状を復元する、請求項３８に記載の視点変換画像生成装置。 - 視点変換された２次元画像を、観察者の視点位置に応じて逐次２次元画面に表示する提示部を有する、請求項３８に記載の視点変換画像生成装置。
- 観察者の視点位置における２種類の視差画像を生成することにより、多視点で立体表示を行う提示部を有する、請求項３８に記載の視点変換画像生成装置。
- 被写体を撮像することによって前記被写体の形状を復元する画像生成装置であって、
各視点位置において偏光方向が異なる複数の偏光光を受け、視点位置の異なる複数の偏光画像を取得するステレオ偏光画像撮像部と、
視点位置の異なる前記複数の偏光画像に基づいて、被写体の法線方向ベクトルを法線情報として推定する法線情報生成部と、
前記法線情報から前記被写体の３次元形状を復元する形状復元部と
を備えた画像生成装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008145141 | 2008-06-02 | ||
| JP2008145141 | 2008-06-02 | ||
| PCT/JP2009/002416 WO2009147814A1 (ja) | 2008-06-02 | 2009-06-01 | 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4435867B2 JP4435867B2 (ja) | 2010-03-24 |
| JPWO2009147814A1 true JPWO2009147814A1 (ja) | 2011-10-20 |
Family
ID=41397897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009542858A Active JP4435867B2 (ja) | 2008-06-02 | 2009-06-01 | 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7948514B2 (ja) |
| JP (1) | JP4435867B2 (ja) |
| CN (1) | CN102047651B (ja) |
| WO (1) | WO2009147814A1 (ja) |
Families Citing this family (100)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4947593B2 (ja) * | 2007-07-31 | 2012-06-06 | Ｋｄｄｉ株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
| US8085987B2 (en) * | 2007-10-26 | 2011-12-27 | Ahmed Shalaby | Method and tool for surface texture evaluation |
| JP5115497B2 (ja) * | 2009-02-27 | 2013-01-09 | 富士通セミコンダクター株式会社 | 画像処理プログラム、画像処理装置および画像処理方法 |
| JP5440927B2 (ja) * | 2009-10-19 | 2014-03-12 | 株式会社リコー | 測距カメラ装置 |
| US9041770B2 (en) * | 2010-01-05 | 2015-05-26 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional image capture device |
| US8611674B1 (en) * | 2010-01-18 | 2013-12-17 | Disney Enterprises, Inc. | System and method for invariant-based normal estimation |
| US8315426B2 (en) * | 2010-03-12 | 2012-11-20 | Mitsubishi Electric Research Laboratories, Inc. | Method for handling pixel occlusions in stereo images using iterative support and decision processes |
| JP5615055B2 (ja) * | 2010-06-18 | 2014-10-29 | キヤノン株式会社 | 情報処理装置及びその処理方法 |
| JP4971531B2 (ja) * | 2010-07-21 | 2012-07-11 | パナソニック株式会社 | 画像処理装置 |
| US9485495B2 (en) * | 2010-08-09 | 2016-11-01 | Qualcomm Incorporated | Autofocus for stereo images |
| US8625931B2 (en) * | 2010-09-03 | 2014-01-07 | Adobe Systems Incorporated | Light space graphical model in shape from shading |
| WO2012078006A2 (ko) * | 2010-12-09 | 2012-06-14 | 삼성전자 주식회사 | 영상 처리 장치, 조명 처리 장치 및 그 방법 |
| JP5549605B2 (ja) * | 2011-01-13 | 2014-07-16 | 新日鐵住金株式会社 | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム |
| JP5793669B2 (ja) * | 2011-03-31 | 2015-10-14 | パナソニックＩｐマネジメント株式会社 | ３次元計測装置、および３次元計測方法 |
| US9082188B2 (en) | 2011-04-11 | 2015-07-14 | Hid Global Corporation | Optical topographic imaging |
| CN102760234B (zh) | 2011-04-14 | 2014-08-20 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
| US20160232704A9 (en) * | 2011-05-11 | 2016-08-11 | Daniel FONTIJNE | Apparatus and method for displaying an image of an object on a visual display unit |
| JP2012247356A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。 |
| KR101087180B1 (ko) * | 2011-06-22 | 2011-11-28 | 동국대학교 경주캠퍼스 산학협력단 | 신뢰성 있는 금속 표면 ３차원 형상 추출 기법 및 시스템 |
| JP5831024B2 (ja) * | 2011-08-04 | 2015-12-09 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US9438889B2 (en) | 2011-09-21 | 2016-09-06 | Qualcomm Incorporated | System and method for improving methods of manufacturing stereoscopic image sensors |
| JP6019568B2 (ja) * | 2011-11-28 | 2016-11-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| EP2801077B1 (en) | 2012-01-03 | 2023-11-29 | Ascentia Imaging, Inc. | Coded localization systems, methods and apparatus |
| US20130202190A1 (en) * | 2012-02-02 | 2013-08-08 | Sheng-Chun Niu | Image processing apparatus and image processing method |
| WO2013175686A1 (ja) * | 2012-05-22 | 2013-11-28 | パナソニック株式会社 | 撮像処理装置および内視鏡 |
| US8436853B1 (en) * | 2012-07-20 | 2013-05-07 | Google Inc. | Methods and systems for acquiring and ranking image sets |
| US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
| WO2014156202A1 (ja) * | 2013-03-29 | 2014-10-02 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| RU2573245C2 (ru) * | 2013-04-24 | 2016-01-20 | Общество С Ограниченной Ответственностью "Лаборатория Эландис" | Способ бесконтактного управления с помощью поляризационного маркера и комплекс его реализующий |
| US9772173B2 (en) * | 2013-06-27 | 2017-09-26 | Faro Technologies, Inc. | Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera |
| US20150371107A1 (en) * | 2014-06-23 | 2015-12-24 | Canon Kabushiki Kaisha | Material classification using brdf feature vector |
| US9367909B2 (en) | 2013-07-10 | 2016-06-14 | Canon Kabushiki Kaisha | Devices, systems, and methods for classifying materials based on a bidirectional reflectance distribution function |
| US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
| JP2015114307A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
| US9509905B2 (en) * | 2013-12-17 | 2016-11-29 | Google Inc. | Extraction and representation of three-dimensional (3D) and bidirectional reflectance distribution function (BRDF) parameters from lighted image sequences |
| WO2015102057A1 (ja) * | 2014-01-06 | 2015-07-09 | 富士通株式会社 | 画像処理方法、画像処理システム、およびプログラム |
| US9536351B1 (en) * | 2014-02-03 | 2017-01-03 | Bentley Systems, Incorporated | Third person view augmented reality |
| US9383550B2 (en) | 2014-04-04 | 2016-07-05 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| US9374516B2 (en) | 2014-04-04 | 2016-06-21 | Qualcomm Incorporated | Auto-focus in low-profile folded optics multi-camera system |
| KR102211862B1 (ko) * | 2014-04-09 | 2021-02-03 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 센서 시스템 |
| US9805510B2 (en) | 2014-05-13 | 2017-10-31 | Nant Holdings Ip, Llc | Augmented reality content rendering via albedo models, systems and methods |
| JP6471934B2 (ja) * | 2014-06-12 | 2019-02-20 | パナソニックＩｐマネジメント株式会社 | 画像認識方法、カメラシステム |
| US10013764B2 (en) | 2014-06-19 | 2018-07-03 | Qualcomm Incorporated | Local adaptive histogram equalization |
| US9294672B2 (en) | 2014-06-20 | 2016-03-22 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax and tilt artifacts |
| US9819863B2 (en) | 2014-06-20 | 2017-11-14 | Qualcomm Incorporated | Wide field of view array camera for hemispheric and spherical imaging |
| US9541740B2 (en) | 2014-06-20 | 2017-01-10 | Qualcomm Incorporated | Folded optic array camera using refractive prisms |
| US9386222B2 (en) | 2014-06-20 | 2016-07-05 | Qualcomm Incorporated | Multi-camera system using folded optics free from parallax artifacts |
| US9549107B2 (en) | 2014-06-20 | 2017-01-17 | Qualcomm Incorporated | Autofocus for folded optic array cameras |
| US10176625B2 (en) | 2014-09-25 | 2019-01-08 | Faro Technologies, Inc. | Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images |
| JP6351105B2 (ja) * | 2014-09-29 | 2018-07-04 | オリンパス株式会社 | 画像処理装置、撮像装置および画像処理方法 |
| KR101628493B1 (ko) * | 2014-10-10 | 2016-06-21 | 현대자동차주식회사 | 안경 착용자의 시선 추적 장치 및 그 방법 |
| US9832381B2 (en) | 2014-10-31 | 2017-11-28 | Qualcomm Incorporated | Optical image stabilization for thin cameras |
| WO2016088483A1 (ja) * | 2014-12-01 | 2016-06-09 | ソニー株式会社 | 画像処理装置と画像処理方法 |
| US9506744B2 (en) | 2014-12-16 | 2016-11-29 | Faro Technologies, Inc. | Triangulation scanner and camera for augmented reality |
| JP6456156B2 (ja) * | 2015-01-20 | 2019-01-23 | キヤノン株式会社 | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム |
| CN107251539B (zh) * | 2015-02-27 | 2020-10-16 | 索尼公司 | 成像装置、图像处理装置和图像处理方法 |
| US10444617B2 (en) | 2015-04-30 | 2019-10-15 | Sony Corporation | Image processing apparatus and image processing method |
| JP6897563B2 (ja) * | 2015-05-14 | 2021-06-30 | ソニーグループ株式会社 | 画像処理装置と画像処理方法およびプログラム |
| JP6671872B2 (ja) | 2015-06-22 | 2020-03-25 | キヤノン株式会社 | アダプタ装置、撮像装置および撮像システム |
| JP6488203B2 (ja) * | 2015-07-01 | 2019-03-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法 |
| JP6566749B2 (ja) | 2015-07-01 | 2019-08-28 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像素子、イメージセンサ、および情報処理装置 |
| JP6914001B2 (ja) | 2015-08-12 | 2021-08-04 | 株式会社ソニー・インタラクティブエンタテインメント | 撮像素子、イメージセンサ、撮像装置、および情報処理装置 |
| JP6556013B2 (ja) * | 2015-10-08 | 2019-08-07 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
| US11217009B2 (en) | 2015-11-30 | 2022-01-04 | Photopotech LLC | Methods for collecting and processing image information to produce digital assets |
| US10778877B2 (en) * | 2015-11-30 | 2020-09-15 | Photopotech LLC | Image-capture device |
| JP6532393B2 (ja) * | 2015-12-02 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
| US9741163B2 (en) | 2015-12-22 | 2017-08-22 | Raytheon Company | 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections |
| CN105719188B (zh) * | 2016-01-22 | 2017-12-26 | 平安科技（深圳）有限公司 | 基于多张图片一致性实现保险理赔反欺诈的方法及服务器 |
| EP3485464B1 (en) * | 2016-07-18 | 2023-09-06 | Universität Basel | Computer system and method for improved gloss representation in digital images |
| US10192345B2 (en) | 2016-07-19 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for improved surface normal estimation |
| JP2018029280A (ja) | 2016-08-18 | 2018-02-22 | ソニー株式会社 | 撮像装置と撮像方法 |
| JP6697986B2 (ja) * | 2016-09-07 | 2020-05-27 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像領域分割方法 |
| US10559085B2 (en) | 2016-12-12 | 2020-02-11 | Canon Kabushiki Kaisha | Devices, systems, and methods for reconstructing the three-dimensional shapes of objects |
| JP6663838B2 (ja) * | 2016-12-16 | 2020-03-13 | 日本電信電話株式会社 | 法線推定装置、法線推定方法、及び法線推定プログラム |
| CN106768891B (zh) * | 2016-12-28 | 2023-05-26 | 大连鉴影光学科技有限公司 | 一种基于反射图像方法检测物体表面法线误差的专用设备 |
| KR101923581B1 (ko) * | 2017-04-12 | 2018-11-30 | 한국과학기술원 | 수중 로봇을 이용한 선체 수중검사를 위한 스테레오 비전 기반 법선 벡터 추출 장치 및 그 방법 |
| US10462444B2 (en) * | 2017-04-17 | 2019-10-29 | Faro Technologies, Inc. | Three-dimensional inspection |
| WO2018211654A1 (ja) * | 2017-05-18 | 2018-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および法線情報取得方法 |
| US11250586B2 (en) | 2017-06-06 | 2022-02-15 | Sony Interactive Entertainment Inc. | Information processing apparatus and information processing method |
| CN109426760A (zh) * | 2017-08-22 | 2019-03-05 | 聚晶半导体股份有限公司 | 一种道路图像处理方法与道路图像处理装置 |
| TWI640960B (zh) * | 2017-08-22 | 2018-11-11 | 聚晶半導體股份有限公司 | 一種道路影像處理方法與道路影像處理裝置 |
| WO2019123795A1 (ja) * | 2017-12-21 | 2019-06-27 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
| TWI678680B (zh) | 2018-04-20 | 2019-12-01 | 宏碁股份有限公司 | 影像合成方法及智慧型裝置 |
| JP6934565B2 (ja) * | 2018-05-08 | 2021-09-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および被写体情報取得方法 |
| WO2019215820A1 (ja) * | 2018-05-08 | 2019-11-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および被写体情報取得方法 |
| US11676245B2 (en) | 2018-05-24 | 2023-06-13 | Sony Corporation | Information processing apparatus and method for processing information |
| EP3617999B1 (en) * | 2018-09-01 | 2023-04-19 | Tata Consultancy Services Limited | Systems and methods for dense surface reconstruction of an object using graph signal processing |
| US11776251B2 (en) | 2018-09-14 | 2023-10-03 | Sony Interactive Entertainment Inc. | Information processing apparatus and object detection method |
| JP7325949B2 (ja) | 2018-11-22 | 2023-08-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
| CN109598751B (zh) * | 2018-12-14 | 2023-05-23 | 强联智创(苏州)医疗科技有限公司 | 一种医学影像图片处理的方法、设备及装置 |
| JP2020098412A (ja) * | 2018-12-17 | 2020-06-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US11671580B2 (en) | 2019-05-14 | 2023-06-06 | Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College | System and method for reconstructing 3-D shapes of objects from reflection images |
| TWI720480B (zh) * | 2019-05-14 | 2021-03-01 | 真美滿有限公司 | 模擬展示系統 |
| DE112020004813B4 (de) * | 2019-10-07 | 2023-02-09 | Boston Polarimetrics, Inc. | System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation |
| CN110636197B (zh) * | 2019-10-15 | 2021-07-30 | 维沃移动通信（杭州）有限公司 | 拍摄处理方法及电子设备 |
| WO2021084907A1 (ja) * | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| EP4067811A4 (en) * | 2019-11-29 | 2023-12-27 | Machine Vision Lighting Inc. | SHAPE RECONSTRUCTION METHOD AND IMAGE MEASUREMENT DEVICE |
| WO2021117633A1 (ja) * | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | 撮像装置、情報処理装置、撮像方法、および情報処理方法 |
| JP7316611B2 (ja) | 2020-01-30 | 2023-07-28 | 富士通株式会社 | 推定処理プログラム、推定処理方法、及び情報処理装置 |
| CN112734824B (zh) * | 2021-01-26 | 2023-05-05 | 中国科学院空天信息创新研究院 | 一种基于广义光度立体模型的三维重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11211433A (ja) * | 1998-01-30 | 1999-08-06 | Toppan Printing Co Ltd | 成形品の表面形状測定方法及び測定システム |
| JP2006140553A (ja) * | 2004-11-10 | 2006-06-01 | Canon Inc | 立体画像生成プログラム、立体画像生成装置および立体画像生成方法 |
| WO2007029446A1 (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置及び画像処理プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5028138A (en) | 1989-05-23 | 1991-07-02 | Wolff Lawrence B | Method of and apparatus for obtaining object data by machine vision form polarization information |
| US6118475A (en) * | 1994-06-02 | 2000-09-12 | Canon Kabushiki Kaisha | Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape |
| KR100304784B1 (ko) * | 1998-05-25 | 2001-09-24 | 박호군 | 편광과광띠를이용한다자시청용3차원영상표시장치 |
| JP3747471B2 (ja) * | 2002-03-07 | 2006-02-22 | 株式会社高岳製作所 | 偏光方位検出型２次元受光タイミング検出装置およびそれを用いた表面形状計測装置 |
| JP4294264B2 (ja) | 2002-04-25 | 2009-07-08 | 有限会社オートクローニング・テクノロジー | 集積型光学素子 |
| CN100428805C (zh) * | 2005-12-15 | 2008-10-22 | 上海交通大学 | 仅用一幅平面标定物图像的摄像机标定方法 |
| JP4832187B2 (ja) * | 2006-07-03 | 2011-12-07 | 富士フイルム株式会社 | 高速偏光装置、およびこれを用いた高速複屈折測装置、立体画像表示装置 |
| CA2658080A1 (en) * | 2006-07-18 | 2008-01-24 | The Trustees Of The University Of Pennsylvania | Separation and contrast enhancement of overlapping cast shadow components and target detection in shadow using polarization |
-
2009
- 2009-06-01 JP JP2009542858A patent/JP4435867B2/ja active Active
- 2009-06-01 WO PCT/JP2009/002416 patent/WO2009147814A1/ja active Application Filing
- 2009-06-01 US US12/672,637 patent/US7948514B2/en active Active
- 2009-06-01 CN CN2009801199467A patent/CN102047651B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11211433A (ja) * | 1998-01-30 | 1999-08-06 | Toppan Printing Co Ltd | 成形品の表面形状測定方法及び測定システム |
| JP2006140553A (ja) * | 2004-11-10 | 2006-06-01 | Canon Inc | 立体画像生成プログラム、立体画像生成装置および立体画像生成方法 |
| WO2007029446A1 (ja) * | 2005-09-01 | 2007-03-15 | Matsushita Electric Industrial Co., Ltd. | 画像処理方法、画像処理装置及び画像処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102047651A (zh) | 2011-05-04 |
| US7948514B2 (en) | 2011-05-24 |
| US20100289878A1 (en) | 2010-11-18 |
| WO2009147814A1 (ja) | 2009-12-10 |
| CN102047651B (zh) | 2013-03-13 |
| JP4435867B2 (ja) | 2010-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4435867B2 (ja) | 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置 | |
| JP4435865B2 (ja) | 画像処理装置、画像分割プログラムおよび画像合成方法 | |
| US9872010B2 (en) | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video | |
| JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
| Swaminathan et al. | Nonmetric calibration of wide-angle lenses and polycameras | |
| JP4563513B2 (ja) | 画像処理装置及び擬似立体画像生成装置 | |
| JP4469021B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 | |
| EP2072947B1 (en) | Image processing device and image processing method | |
| Deschaintre et al. | Deep polarization imaging for 3D shape and SVBRDF acquisition | |
| US10547822B2 (en) | Image processing apparatus and method to generate high-definition viewpoint interpolation image | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| EP2335220A2 (en) | Method for distributed and minimum-support point matching in two or more images of 3d scene taken with video or stereo camera. | |
| JP7398819B2 (ja) | 三次元再構成の方法及び装置 | |
| JPH1069543A (ja) | 被写体の曲面再構成方法及び被写体の曲面再構成装置 | |
| JP2016114445A (ja) | ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置 | |
| JPH04130587A (ja) | ３次元画像評価装置 | |
| Swaminathan et al. | Polycameras: Camera clusters for wide angle imaging | |
| US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
| Feris et al. | Multiflash stereopsis: Depth-edge-preserving stereo with small baseline illumination | |
| Gribben et al. | Structured light 3D measurement of reflective objects using multiple DMD projectors | |
| Swaminathan et al. | Polycameas: Camera Clusters for Wide Angle Imaging CUCS-013-99 | |
| JP2006078291A (ja) | 全方位三次元計測装置 | |
| CN110418125B (zh) | 一种集成成像系统的元素图像阵列快速生成方法 | |
| Baldacci et al. | Stereo-browsing from Calibrated Cameras. | |
| Shruthiba et al. | A Survey on Depth Estimation for 3D Reconstruction of Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4435867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |