WO2018061508A1

WO2018061508A1 - 撮像素子、画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2018061508A1
Application number: PCT/JP2017/029503
Authority: WO
Inventors: 穎陸; 康孝平澤; 雄飛近藤; 俊海津; 哲平栗田; 沱庄
Original assignee: ソニー株式会社
Priority date: 2016-09-28
Filing date: 2017-08-17
Publication date: 2018-04-05

Abstract

距離（デプス）情報を取得するＴＯＦ画像と、法線情報を取得するための偏光画像を同一視点からの画像として取得可能とした構成を提供する。複数の異なる偏光方向の偏光を通過させる複数の偏光子と、複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子を有する撮像素子を用いてＴＯＦ画像と偏光画像を取得し、これらを統合して高精度デプス情報を生成する。

Description

撮像素子、画像処理装置、および画像処理方法、並びにプログラム

　本開示は、撮像素子、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には、物体の距離情報や形状情報を取得する撮像素子、画像処理装置、および画像処理方法、並びにプログラムに関する。

　物体の３次元形状や、物体までの距離情報を取得する方式として、アクティブ方式とパッシブ方式がある。
　アクティブ方式は、光を測定対象となる物体に照射して、物体からの反射光を取得し、この取得光に基づいて物体の３次元形状や距離を取得する方式である。
　具体例として、例えば、近赤外光等の赤外光を物体に照射し、その反射光を受光するまでの時間を計測して物体までの距離や、物体の形状を計測するＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式がある。

　また、パッシブ方式は、物体に対する光照射等を行うことなく距離や３次元形状を取得する方式である。
　具体例として、例えば、異なる位置から物体を撮影するステレオカメラを用いて、各撮影画像間の対応点を求めることで、物体までの距離や形状を計測するステレオ方式がある。
　また、複数の異なる偏光方向の複数の偏光画像を撮影し、これらの偏光画像から、物体の表面の法線方向を算出して、物体の３次元形状を求める手法が知られている。

　しかし、例えば、ステレオカメラを用いる手法では被写体の平坦部の対応点検出が困難となり、正確な距離（デプス）の取得が困難となるという問題がある。
　また、偏光画像を用いる手法では、物体の表面形状は取得できるが物体までの距離（デプス）を取得できないという問題がある。
　なお、本出願人は、特許文献１（特開２０１５－１１４３０７号公報）において、ステレオカメラを用いたステレオ方式と、偏光画像を用いる方式を組み合わせて、物体の距離や３次元形状を、より高精度に取得可能とした方式を開示した。

　ステレオ方式とは異なる上記のＴＯＦ方式は、距離（デプス）検出に際して、ステレオ方式のような対応点検出は不要であり、平坦部の距離（デプス）も計測可能であるというメリットがある。
　しかし、ＴＯＦ方式で用いる赤外光の受光素子は、ノイズ低減のために受光素子サイズを、ある程度大きく設定することが必要であり、物体のこまかな形状を把握できないという問題がある。
　また、ＴＯＦ方式と、偏光画像を用いる方式を組み合わせる構成とすると、ＴＯＦ方式に従った赤外光画像を撮影するカメラと、偏光画像を撮影するカメラを個別に用意することが必要となる。

　しかし、このように２つのカメラを用いて測定対象の物体を撮影する場合、各カメラは、異なる位置から画像を撮影することになり、視差が発生する。
　高精度な距離情報や３次元形状を得るためには、２つの画像の視差を考慮した画像処理が必須となり、処理が複雑化するという問題が発生する。
　また、２つのカメラを用いる構成では、装置の大型化、コストの増大という問題も発生する。

特開２０１５－１１４３０７号公報

　上述したように、ＴＯＦ方式は、ノイズ低減のために撮像素子の画素サイズを大きくすることが必要であり、この結果、解像度が低下するという問題がある。一方、偏光画像の撮影に用いる撮像素子の画素サイズは、現行の通常のカメラと同じような小さな画素サイズとすることが可能である。
　従って、例えば、ＴＯＦ方式によって得られた低解像度な距離情報と、高解像度な物体の法線情報を統合することで高精度な物体の距離情報（デプス）を取得することが可能となる。

　なお、デプスは物体までの距離情報であるが、デプスを利用して物体の３次元形状を算出することも可能である。
　以下では、ＴＯＦ方式によって得られるデプス情報をＴＯＦ情報（またはＴＯＦデプス）、偏光画像方式によって得られる情報を偏光情報（または法線情報）と呼ぶ。

　前述したように、ＴＯＦ情報と偏光情報を得るためには、各情報を得るための各画像を撮影する２つのカメラが必要であり、それぞれのカメラの視点が異なることになる。
　従って、ＴＯＦ情報と偏光情報を統合して最終的に高精度なデプス情報を算出するためには、各画像の視点位置を一致させる処理が必要となる。具体的には、例えば、ＴＯＦ情報を取得した画像の視点位置を、偏光画像の視点位置に変換する処理が必要となる。

　この視点変換処理には、ＴＯＦ情報取得用のＴＯＦカメラと、偏光画像取得用の偏光カメラのキャリブレーションが必要であり、キャリブレーション精度が統合処理結果である最終的なデプス情報の精度に大きな影響を与えることになる。
　また、キャリブレーションが精度よく行われても、ＴＯＦ情報に含まれるノイズにより、視点変換後のＴＯＦ情報と法線情報との位置が例えば数画素分をずれてしまう可能性がある。従って、位置ずれのあるＴＯＦ情報と偏光情報の統合結果の精度が低下するという問題がある。
　また、２つの異なる視点から撮影する２つの画像中には、一方の画像に含まれない画像領域、いわゆるオクルージョンが発生してしまい、このような領域では、２つの情報の統合処理を行っても形状が歪んでしまうといった問題がある。

　本開示は、例えば上記問題点に鑑みてなされたものであり、ＴＯＦ方式と、偏光画像方式を組み合わせて高精度な物体形状や距離、すなわちデプスを計測可能とした撮像素子、画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　複数の異なる偏光方向の偏光を通過させる複数の偏光子と、
　前記複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する偏光素子と、
　ＴＯＦ方式に従った距離情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子と、
　を有する撮像素子にある。

　さらに、本開示の第２の側面は、
　偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行する撮像部と、
　前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出するデプス推定部と、
　前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出する法線推定部と、
　前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成する高精度デプス生成部、
　を有する画像処理装置にある。

　さらに、本開示の第３の側面は、
　画像処理装置において実行する画像処理方法であり、
　撮像部が、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行する撮像ステップと、
　デプス推定部が、前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出するデプス推定ステップと、
　法線推定部が、前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出する法線推定ステップと、
　高精度デプス生成部が、前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成する高精度デプス生成ステップ、
　を実行する画像処理方法にある。

　さらに、本開示の第４の側面は、
　画像処理装置において実行する画像処理を実行させるプログラムであり、
　撮像部に、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行させる撮像ステップと、
　デプス推定部に、前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出させるデプス推定ステップと、
　法線推定部に、前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出させる法線推定ステップと、
　高精度デプス生成部に、前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成させる高精度デプス生成ステップ、
　を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、距離（デプス）情報を取得するＴＯＦ画像と、法線情報を取得するための偏光画像を同一視点からの画像として取得し、高精度デプス情報を生成可能とした構成が実現される。
　具体的には、複数の異なる偏光方向の偏光を通過させる複数の偏光子と、複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する偏光子と、ＴＯＦ方式に従った距離情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子を有する撮像素子を用いてＴＯＦ画像と偏光画像を取得し、これらを統合して高精度デプス情報を生成する。
　本構成により、距離（デプス）情報を取得するＴＯＦ画像と、法線情報を取得するための偏光画像を同一視点からの画像として取得し、高精度デプス情報を生成可能とした構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ＴＯＦ方式を適用したデプス算出処理の概要について説明する図である。偏光画像による法線算出処理の概要について説明する図である。偏光画像による法線算出処理の概要について説明する図である。偏光画像による法線算出処理の概要について説明する図である。偏光画像による法線算出処理の概要について説明する図である。ＴＯＦ方式による撮影画像と、偏光画像を取得し、これらの２つの情報を統合してデプス情報を取得する画像処理装置の構成例について説明する図である。高精度デプス生成部における高精度デプス情報の生成処理例について説明する図である。光電変換素子上に偏光子を設けた撮像素子を有するカメラの構成について説明する図である。偏光画像撮影カメラの有する偏光画像撮像素子の具体例を説明する図であるＴＯＦ情報と、偏光情報を併せて取得する撮像素子の一構成例を説明する図である。ＴＯＦ情報／偏光情報撮像素子の断面構成について説明する図である。フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサの構成と、ＲＧＢ各信号の取得例について説明する図である。ＴＯＦ情報／偏光情報撮像素子の具体的な半導体素子構成例について説明する図である。ＴＯＦ情報／偏光情報撮像カメラによりＴＯＦ方式による撮影画像と、偏光画像を取得し、これらの２つの情報を統合してデプス情報を取得する画像処理装置の構成例につい説明する図である。デプス推定部の実行する間接ＴＯＦ法によるデプス推定処理例について説明する図である。ＴＯＦ情報／偏光情報撮像素子における法線情報の取得可能な位置について説明する図である。高精度デプス生成部における高精度デプス情報の生成処理例について説明する図である。不定性解消部を有する高精度デプス生成部の構成例について説明する図である。不定性解消部の実行する法線情報の不定性解消処理の具体的処理例について説明する図である。解像度調整部を有する高精度デプス生成部の構成例について説明する図である。解像度調整部の実行する処理の一例について説明する図である。画像処理装置の実行する高精度デプス情報の生成処理シーケンスについて説明するフローチャートを示す図である。ＴＯＦ情報／偏光情報／色情報撮像カメラによりＴＯＦ方式による撮影画像と、偏光画像を取得し、これらの情報を統合してデプス情報を取得する画像処理装置の構成例につい説明する図である。ＴＯＦ情報／偏光情報／色情報撮像素子の構成例について説明する図である。ＴＯＦ情報／偏光情報／色情報取得部２４１に構成される撮像素子の構成例について説明する図である。画像処理装置の法線推定部の具体的な構成例と処理例について説明する図である。ＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。画像処理装置の法線推定部の具体的な構成例と処理例について説明する図である。鏡面反射における偏光度と天頂角との関係について説明する図である。画像処理装置の実行する高精度デプス情報の生成処理シーケンスについて説明するフローチャートを示す図である。ＴＯＦ情報／偏光情報撮像素子の複数の変形例について説明する図である。ＴＯＦ情報／偏光情報／色情報撮像素子の複数の変形例について説明する図である。画像処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の撮像素子、画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．ＴＯＦ方式によるデプス算出処理と、偏光画像方式によるデプス算出処理の概要について
　　２．ＴＯＦ情報と偏光情報を統合して高精度なデプス情報を算出する構成について
　　３．ＴＯＦ画像と、偏光画像を１つのカメラで撮影して高精度デプス情報を取得する構成について
　　３－１．光電変換素子上に偏光子を設けた撮像素子構成について
　　３－２．ＴＯＦ情報と、偏光情報を併せて取得する撮像素子構成について
　　４．高精度デプス生成部の詳細構成例について
　　４－１．不定性解消部を有する構成について
　　４－２．解像度調整部を有する構成について
　　５．画像処理装置の実行する高精度デプス情報の生成シーケンスについて
　　６．色情報を利用して高精度デプスマップを生成する実施例について
　　７．画像処理装置の実行する色情報を適用した高精度デプス情報の生成シーケンスについて
　　８．その他の実施例について
　　９．画像処理装置のハードウェア構成例について
　　１０．本開示の構成のまとめ

　　［１．ＴＯＦ方式によるデプス算出処理と、偏光画像方式による法線算出処理の概要について］
　まず、ＴＯＦ方式によるデプス算出処理と、偏光画像方式による法線算出処理の概要について説明する。

　前述したように、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式は、例えば、近赤外光等の赤外光を物体に照射し、その反射光を受光するまでの時間を計測して物体までの距離や物体形状を計測する方式である。
　図１を参照してＴＯＦ方式を適用したデプス算出処理の概要について説明する。

　このＴＯＦ方式には、いわゆるＴＯＦカメラ１０が用いられる。ＴＯＦカメラ１０は、近赤外光を被写体２０に照射する近赤外光照射部１１と、被写体２０から反射する近赤外光を撮像する近赤外光撮像素子１２を有する。

　なお、ＴＯＦカメラ１０による照射光としては、近赤外光以外の波長を有する光も利用可能であるが、多くの場合、人間には知覚されず、撮像素子による受光検出の容易な近赤外光（ＩＲ光）が用いられる。
　ＴＯＦ方式によるデプス検出を行う場合、近赤外光撮像素子１２を構成する各画素単位で近赤外光の照射タイミングから、受光タイミングまでの経過時間を計測する。

　図１に示す例では、近赤外光撮像素子１２は、（０，０）～（ｎ，ｎ）のｎ×ｎ画素を有し、これらのｎ×ｎ画素の各画素単位で近赤外光の照射タイミングから、受光タイミングまでの経過時間を計測する。
　各画素における近赤外光の受光タイミングは、被写体２０を構成する小領域ごとのカメラからの距離に応じて異なるものとなる。

　例えばＴＯＦカメラ１０から近い小領域からの反射光を受光する画素は、より早く反射光を受光する。一方、ＴＯＦカメラ１０から遠い小領域からの反射光を受光する画素は、遅れて反射光を受光する。
　これらの受光タイミングを各画素単位で算出することで、被写体２０のデプス情報（カメラからの距離や形状）を算出することができる。
　なお、被写体各領域におけるデプス情報を、被写体位置情報と、デプス情報との対応データとして記録したデータをデプスマップと呼ぶ。

　しかし、前述したように、ＴＯＦ方式によるデプス検出を行う場合、近赤外光の受光素子となる撮像素子の各画素の入力光には、多くのノイズ成分が含まれ、このノイズ成分の低減のために画素サイズを大きくすることが必要となる。この結果、解像度が低下してしまう。すなわち、１つのデプスデータを取得する被写体領域が広くなり、被写体の細かな形状等の解析できないという問題がある。

　図１（ａ）算出デプス例は、このＴＯＦデプスの解像度低下例について説明する図である。
　被写体の形状が丸みを帯びた面を有しているのにも関わらず、ＴＯＦ方式による算出デプス３０は階段状となっている。これは、近赤外光撮像素子１２を構成する画素サイズが大きいため、この画素サイズに撮影される被写体領域より小さな領域単位のデプスが取得できないためである。
　なお、図１（ａ）に示すＴＯＦデプスデータは、ＴＯＦデプスの解像度低下について理解しやすくするために誇張したデータとして示している。

　このような、解像度の低いＴＯＦデータに比較すると、偏光画像の撮影に用いる撮像素子の画素サイズは、現行の通常のカメラと同じような小さな画素サイズとすることが可能である。
　従って、例えば、ＴＯＦ方式によって得られた低解像度な距離情報と、高解像度な物体の法線情報を統合することで高精度な物体の距離情報（デプス）を取得することが可能となる。

　図２以下を参照して、偏光画像による法線算出処理の概要について説明する。
　図２に示すカメラ５０が、被写体２０の画像を撮影する。
　なお、偏光画像方式によって算出する法線は、例えば図２（ａ）に示す法線５５であり、被写体２０の表面各位置における垂直方向を示す線（方向ベクトル）である。
　偏光画像の撮影により、被写体各位置における法線情報を算出することができる。

　被写体各位置における法線情報を算出することで、被写体の各位置における表面の傾きが解析可能となり、各部位の傾き情報を連結することで被写体の３次元形状を求めることが可能となる。
　なお、被写体各領域における被写体位置情報と、法線情報との対応データを法線マップ（または法線情報マップ）と呼ぶ。

　図２に示すカメラ５０によって撮影される偏光画像に基づく法線情報算出処理の原理について、図３以下を参照して説明する。
　図３は、偏光画像の生成動作を説明する図である。図３に示すように、カメラ（ＣＭ）５０を用いて被写体（ＯＢ）２０の撮影を行う。
　ただし、カメラ（ＣＭ）５０は、カメラ（ＣＭ）５０の前方の偏光板（ＰＬ）５２を介して画像撮影を行うことで偏光画像を撮影する。

　この場合、カメラ（ＣＭ）５０で生成される偏光画像は、偏光板（ＰＬ）５２の回転に応じて被写体（ＯＢ）２０の輝度が変化することが知られている。ここで、偏光板（ＰＬ）５２を回転させたときの最も高い輝度をＩｍａｘ，最も低い輝度をＩｍｉｎとする。また、２次元座標におけるｘ軸とｙ軸を偏光板（ＰＬ）５２の平面方向としたとき、偏光板（ＰＬ）５２を回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υとする。偏光板（ＰＬ）５２は、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、拡散反射のモデルの場合、最大輝度Ｉｍａｘが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板（ＰＬ）５２を回転させたときに観測される輝度Ｉは（式１）のように表すことができる。なお、図４は、輝度（Ｉ）と偏光角（υ）の関係を例示している。

　上記（式１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉｍａｘと最小輝度Ｉｍｉｎおよび方位角φが変数となる。従って、変数が３つであることから、偏光方向が３方向以上の偏光画像の輝度を用いて、上記（式１）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φを判別する。

　また、物体表面法線を極座標系で表現して、法線情報を方位角φと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板（ＰＬ）５２を回転して得られた最小輝度Ｉｍｉｎと最大輝度Ｉｍａｘを用いて、以下の（式２）の演算を行うことで偏光度ρを算出できる。

　偏光度（ρ）と天頂角（θ）との関係は、フレネルの式から例えば図５に示す特性を有することが知られており、図５に示す特性から、偏光度ρに基づいて天頂角θを求めることができる。なお、図５に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。

　従って、偏光方向が３方向以上の偏光画像を利用することで、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて、最大輝度となる方位角φを判別することができる。この輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度ρを算出して、偏光度と天頂角の関係を示す特性曲線に基づいて、算出した偏光度ρに対応する天頂角θを判別する。
　このように、偏光方向が３方向以上の偏光画像に基づいて、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に求めることが可能となる。
　このように、法線情報は、被写体表面から垂直方向に延びるベクトルの方向ベクトル情報に相当する。

　なお、さらに、画素位置毎の偏光情報に基づいて、画素位置の位置情報（座標）と、法線情報（方位角φと天頂角θ）との対応データである法線マップを生成することができる。

　　［２．ＴＯＦ情報と偏光情報を統合して高精度なデプス情報を算出する構成について］
　先に説明したように、図１を参照して説明したＴＯＦカメラによるデプス情報の取得処理においては、ノイズ低減のために撮像素子の画素サイズを大きくすることが必要であり、この結果、解像度が低下するという問題がある。
　一方、図２～図５を参照して説明した偏光画像を利用した法線情報の取得処理に用いる撮像素子の画素サイズは、現行の通常のカメラと同じような小さな画素サイズとすることが可能である。
　従って、例えば、ＴＯＦ方式によって得られた低解像度な距離情報（デプス情報）と、高解像度な物体の法線情報を統合することで高精度な物体の距離情報（デプス情報）を取得することが可能となる。

　しかし、ＴＯＦ方式による撮影画像と、偏光画像を得るためには、２つのカメラが必要となる。２つのカメラを利用して画像撮影を行うと、各カメラの視点が異なることになる。
　このように、異なる位置から撮影された画像に基づくＴＯＦ情報と偏光情報を統合して高精度なデプス情報を算出するためには、各画像の視点位置を一致させるためのキャリブレーションが必要となり、キャリブレーション精度が不十分であると、統合処理結果である最終的なデプス情報の精度が低下してしまうという問題がある。
　また、キャリブレーションが精度よく行われても、ＴＯＦ情報に含まれるノイズにより、視点変換後のＴＯＦ情報と法線情報との位置が例えば数画素分をずれてしまう可能性がある。従って、位置ずれのあるＴＯＦ情報と偏光情報の統合結果の精度が低下するという問題がある。

　また、２つの異なる視点から撮影する２つの画像中には、一方の画像に含まれない画像領域、いわゆるオクルージョンが発生してしまい、このような領域では、２つの情報の統合処理を行っても形状が歪んでしまうといった問題がある。

　このような２つのカメラを利用して、ＴＯＦ方式による撮影画像と、偏光画像を取得し、これらの２つの情報を統合してデプス情報を取得する画像処理装置の構成例について、図６を参照して説明する。

　図６に示す画像処理装置６０において、ＴＯＦ情報取得部６１は、先に図１を参照して説明したＴＯＦカメラ１０と同様の構成であり、近赤外光を照射し、その反射光を近赤外光撮像素子で受光する。
　デプス推定部６２は、ＴＯＦ情報取得部６１の近赤外光撮像素子の各画素単位の受光信号に基づいて、各画素対応のデプス、すなわちカメラからの被写体までの距離を算出する。

　ただし、デプス推定部６２で算出可能なデプス情報は、ＴＯＦ情報取得部６１であるＴＯＦカメラのＴＯＦ撮像素子の画素サイズ単位の情報であり、比較的、粗いデプス情報となる。

　一方、偏光情報取得部６４は、先に図２、図３を参照して説明したカメラ５０と、偏光板５２によって構成され、偏光板を介した偏光を撮影する。
　なお、先に図３～図５を参照して説明したように、法線情報を取得するため、偏光板５２を回転させることで、少なくとも３種類の異なる偏光方向の偏光画像を撮影する。

　法線推定部６５は、偏光情報取得部６４の撮影した３種類以上の偏光画像に基づいて、先に図３～図５を参照して説明した法線情報取得処理を実行する。
　ここで得られる法線情報は、偏光情報取得部６４内のカメラの画素単位の法線情報であり、ＴＯＦ撮像素子の画素サイズよりも小さな画素単位の高密度な法線情報を取得することができる。

　しかし、図６に示す画像処理装置において、ＴＯＦ情報取得部６１を構成するＴＯＦカメラと、偏光情報取得部６４を構成する偏光画像撮影カメラは、同一位置に設置することはできないため、異なる位置に設置され、各カメラの視点が異なることになる。

　このように、異なる位置から撮影された画像に基づくＴＯＦ情報と偏光情報を統合して高精度なデプス情報を算出するためには、各画像の視点位置を一致させるためのキャリブレーションが必要となる。
　視点変換部６３は、この２つの画像の視点位置を一致させる処理を行う。具体的には、デプス推定部６２から出力される画素単位のデプス情報を、偏光情報取得部６４の撮影した偏光画像の画素位置に一致させるための処理を行う。

　この処理のためには、事前のカメラキャリブレーション処理が必要であり、予めＴＯＦ情報取得部６１を構成するＴＯＦカメラと、偏光情報取得部６４を構成する偏光画像撮影カメラ、これら２つのカメラで撮影した２つの画像を用いて、特徴点マッチング等を行い、２つの画像の視点位置を一致させるためのキャリブレーションパラメータを算出する。
　このパラメータに基づいて、デプス推定部６２から出力される画素単位のデプス情報を、偏光情報取得部６４の撮影した偏光画像の画素位置に一致させるための補正パラメータを算出する。この補正パラメータは、図示していないが、画像処理装置６０のメモリに格納しておく。

　視点変換部６３は、このメモリに格納された補正パラメータを入力し、デプス推定部６２から出力される画素単位のデプス情報を、偏光情報取得部６４の撮影した偏光画像の画素位置に一致させるための処理を行う。

　視点変換部６３は、偏光情報取得部６４の撮影した偏光画像の画素位置に一致させたデプス情報を高精度デプス生成部６６に出力する。
　高精度デプス生成部６６は、さらに、法線推定部６５の生成した偏光情報取得部６４内のカメラの画素単位の法線情報も入力し、これら２つの情報に基づいて高精度テデプス情報７２を生成して出力する。

　高精度デプス生成部６６における高精度デプス情報７２の生成処理例について、図７を参照して説明する。
　図７には、以下の各図を示している。
　（１）デプス推定部６２の生成データであるデプス情報（視点位置調整後）
　（２）法線推定部６５の生成データである法線情報
　（３）高精度デプス生成部６６の実行する統合処理例
　（４）高精度デプス生成部６６の生成データである高精度デプス情報７２

　なお、図７に示す例では、デプス推定部６２の生成するデプス情報も、法線推定部６５の生成する法線情報もデータ密度は同一である例である。図に示す画素ａ～ｅに対応するデプス情報と法線情報がそれぞれ生成されているものとする。
　このようにデータ密度が同じ場合でも、デプス推定部６２の生成するデプス情報と、法線推定部６５の生成する法線情報とを統合することで、より高精度なデプス情報を生成することが可能となる。

　図７（３）高精度デプス生成部６６の実行する統合処理例に示すように、高精度デプス生成部６６は、デプス推定部６２の生成するデプス情報と、法線推定部６５の生成する法線情報を統合することで、被写体の表面の傾斜角を推定して表面形状を決定する。
　デプス推定部６２の生成するデプス情報は、各画素ａ～ｅ単位で１つのデプスデータが設定され、各画素領域単位で均一な距離（デプス）となる。すなわち、図７（ａ）に示すように各画素領域単位の平面が設定される。
　しかし、法線推定部６５の生成する法線情報は、各画素領域単位の被写体表面に垂直な方向情報を有しており、各画素領域の画素単位で、被写体面の傾きを取得することができる。

　高精度デプス生成部６６は、各画素領域の画素単位の被写体面の傾き情報をデプス推定部６２の生成するデプス情報に統合することで、各画素ａ～ｅのデプスを修正する。
　この修正処理により、図７（４）に示す統合処理結果としての高精度デプス情報７２を生成して出力する。
　なお、図７に示す例は、デプス推定部６２の生成するデプス情報と、法線推定部６５の生成する法線情報のデータ密度は同一である例であるが、法線情報をさらに高密度データとすることで、さらに、高精度なデプス情報を生成することが可能となる。

　しかし、図６に示す構成は、ＴＯＦ方式による撮影画像と、偏光画像を得るための２つのカメラを用いた構成である。
　このような構成では、前述したように、各画像の視点位置を一致させるためのキャリブレーション処理が必須となり、キャリブレーション精度が不十分であると、統合処理結果として得られる高精度デプス情報７２の精度が低下してしまう。
　また、キャリブレーションが精度よく行われても、ＴＯＦ情報に含まれるノイズにより、視点変換後のＴＯＦ情報と法線情報との位置が例えば数画素分をずれてしまう可能性がある。従って、位置ずれのあるＴＯＦ情報と偏光情報の統合結果の精度が低下するという問題がある。

　図６に示す構成では、例えば、ＴＯＦ情報取得部６１となるＴＯＦカメラと、偏光情報取得部６４となるカメラの相対位置が変わるたびにキャリブレーションが行うことが必要となり、手間がかかる。また通常のＴＯＦカメラは、近赤外（ＩＲ）光を撮像するが、偏光画像の撮影カメラは可視光の撮像を行う構成であり、各々のカメラの撮影画像が異なり、例えば特徴点マッチング等の処理が困難となり、精度の高いキャリブレーション処理が困難であるという問題がある。

　また、２つの異なる視点から撮影する２つの画像中には、一方の画像に含まれない画像領域、いわゆるオクルージョンが発生してしまい、このような領域では、２つの情報の統合処理による精度向上の効果が得られないという問題がある。

　また、図６に示す構成における偏光情報取得部６４は、図２を参照して説明した構成、すなわち通常のカメラの前に偏光板を置いて回しながら撮影するといった処理が必要であり、偏光板の回転制御、撮影タイミング制御等を行うことが必要となり、装置の大型化、コスト高を招くという問題がある。

　　［３．ＴＯＦ画像と、偏光画像を１つのカメラで撮影して高精度デプス情報を取得する構成について］
　以下、上記のような問題点を解決した構成と処理について説明する。
　以下において説明する構成は、２つのカメラを用いることなく、１つのカメラのみで、ＴＯＦ方式による撮影画像であるＴＯＦ画像と、偏光方式による撮影画像である偏光画像を取得して高精度なデプス情報を取得可能とした構成である。

　２つのカメラを用いることなく、１つのカメラのみで、ＴＯＦ画像と、偏光画像を取得する構成とすれば、これら２つの画像は、同じ視点からの画像となり、各画像の視点位置合わせが不要となる。その結果、カメラ間の相対位置を取得するためのキャリブレーション処理も不要となる。
　また、これらの２つの画像を同じ撮像素子（センサ）上で取得する構成とすれば、２つの情報の同期制御が容易になるという利点もある。

　　（３－１．光電変換素子上に偏光子を設けた撮像素子構成について）
　偏光画像を撮影するための構成として、先に図２、図３を参照して説明した例では、図２に示すように、通常のカメラ５０の前に偏光板５２を置いた構成としていた。
　このような構成では、カメラの前の偏光板を回しながら撮影するといった処理が必要であり、偏光板の回転制御、撮影タイミング制御等を行うことが必要となり、装置の大型化、コスト高を招くという問題がある。

　まず、この問題を解決した構成として、光電変換素子上に偏光子を設けた撮像素子構成について説明する。
　なお、この撮像素子構成は、すでに本出願人が例えば特許文献１（特開２０１５－１１４３０７号公報）において開示した構成である。

　図８を参照して、光電変換素子上に偏光子を設けた撮像素子を有するカメラの構成について説明する。
　なお、本例においても、偏光画像の撮影に用いる撮像素子の画素サイズは、現行の通常のカメラと同じような小さな画素サイズとすることが可能である。
　従って、例えば、ＴＯＦ方式によって得られた低解像度な距離情報と、高解像度な物体の法線情報を統合することで高精度な物体の距離情報（デプス）を取得することが可能となる。

　図８に示す偏光画像撮影カメラ８０が、被写体２０の画像を撮影する。
　偏光画像撮影カメラ８０は、偏光画像撮像素子８２を有する。
　偏光画像撮像素子８２は、図に示すように画素（０，０）～（ｍ，ｍ）のｍ×ｍ画素を有する。
　前述のように、偏光画像の撮影に用いる撮像素子の画素サイズは、現行の通常のカメラと同じような小さな画素サイズとすることが可能である。

　すなわち、図８に示す偏光画像撮像素子８２の画素数ｍ×ｍは、例えば、先に図１を参照して説明したＴＯＦカメラ１０の近赤外光撮像素子１２の画素数ｎ×ｎより大きな数に設定可能であり、偏光画像撮像素子８２の画素サイズは、ＴＯＦカメラ１０の近赤外光撮像素子１２の画素サイズより小さな画素サイズとして構成することができる。

　この結果、例えば図８（ａ）に示す被写体表面各位置における垂直方向の線である法線５５は、ＴＯＦカメラ１０の算出可能なデプス情報より、さらに細かな領域単位で検出可能となる。
　なお、被写体各領域における法線情報を、被写体位置情報と、法線情報との対応データとして記録したデータを法線マップと呼ぶ。

　図９は、偏光画像撮影カメラ８０の有する偏光画像撮像素子８２の具体例を説明する図である。
　偏光画像撮像素子８２を構成する各画素には、それぞれ特定方向に偏光した光だけを通過させる光フィルタとして機能する偏光子が設けられている。偏光子の下に偏光子を通過した光を受光する光電変換素子が設けられている。

　偏光画像撮像素子８２を構成する各画素に設定される偏光子は、例えば２×２＝４画素を一単位として、これら４画素が、それぞれ異なる偏光方向の光のみを通過させる構成となっている。
　図９右下に示す偏光画像撮像素子８２の各画素に示すハッチングが偏光方向を示す。

　図９（ａ）偏光画像撮像素子の偏光方向例は、偏光画像撮像素子８２の各画素の偏光方向を矢印で示した図である。
　例えば、左上端の４つの画素ａ，ｂ，ｃ，ｄの偏光方向は以下の設定である。
　画素ａの偏光方向は、水平方向であり、画素ａは水平偏光のみを受光する。
　画素ｂの偏光方向は、右下斜め方向であり、画素ｂは右下斜め方向の偏光のみを受光する。
　画素ｃの偏光方向は、右上斜め方向であり、画素ｃは右上斜め方向の偏光のみを受光する。
　画素ｄの偏光方向は、垂直方向であり、画素ｄは垂直偏光のみを受光する。

　なお、上述の説明において、水平方向、右下斜め方向、右上斜め方向、垂直方向とは、カメラに対する方向であり、カメラの横方向を水平方向、カメラの縦方向を垂直方向とした場合の方向である。従って、カメラの傾きに応じて各画素の偏光方向は変化する。

　図９に示す例では、偏光画像撮像素子８２は、２×２＝４画素を一単位としてそれぞれ異なる偏光方向光を通過させる構成であり、このような４画素単位の構成が繰り返し設定されて、偏光画像撮像素子８２の全画素が構成される。

　偏光画像撮像素子８２は、２×２＝４画素単位で、４つの異なる偏光方向の偏光画像を撮影する構成であり、４つの異なる偏光画像を得ることができる。
　先に図３～図５を参照して説明したように、法線情報を取得するためには、先に説明した（式１）、（式２）に設定される３種類の未知数を明らかにすることが必要となる。このためには最低限３種類の偏光画像の取得が必要となるが、図９に示す偏光画像撮像素子８２は、２×２＝４画素単位で、４つの異なる偏光画像を取得する構成であり、先に説明した図３～図５や、（式１）、（式２）を適用した処理により、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に求めることが可能となる。
　さらに、画素位置の位置情報（座標）と、法線情報（方位角φと天頂角θ）との対応データである法線マップを生成することができる。

　　（３－２．ＴＯＦ情報と、偏光情報を併せて取得する撮像素子構成について）
　次に、ＴＯＦ方式による撮影画像から取得可能なＴＯＦ情報と、偏光子を介した撮影画像から取得可能な偏光情報を併せて取得する撮像素子構成について説明する。

　図１０は、ＴＯＦ情報と、偏光情報を併せて取得する撮像素子の一構成例を説明する図である。
　図１０には、以下の各図を示している。
　ＴＯＦ情報撮像素子１０１、
　偏光情報撮像素子１０２、
　ＴＯＦ情報／偏光情報撮像素子１０５、
　ＴＯＦ情報／偏光情報撮像カメラ１１０、

　ＴＯＦ情報撮像素子１０１は、先に図１を参照して説明したＴＯＦカメラ内に構成される近赤外光撮像素子１２と同様の撮像素子であり、近赤外光を受光して、各画素単位で受光した近赤外光の光量に応じた電荷を蓄積して出力する撮像素子である。
　図１０には、ＴＯＦ情報撮像素子１０１の一部画素領域である４画素ａ，ｂ，ｃ，ｄを示している。
　なお、以下において、ＴＯＦ情報を取得するための画素をＴＯＦ画素と呼ぶ。例えば、近赤外光を撮像する画素がＴＯＦ画素となる。
　図１０には、ＴＯＦ情報撮像素子１０１の４つのＴＯＦ画素ａ，ｂ，ｃ，ｄを示している。

　偏光情報撮像素子１０２は、先に図９を参照して説明した偏光画像撮像素子８２と同様の構成であり、４画素単位で、４種類の異なる偏光を受光し、各画素単位で受光した偏光に応じた電荷を蓄積して出力する撮像素子である。
　図１０には、偏光情報撮像素子１０２の一部画素領域である画素（０，０）～画素（７，７）の６４画素を示している。
　なお、以下において、偏光情報を取得するために用いられる画素を偏光画素と呼ぶ。
　図１０には、偏光情報撮像素子１０２の偏光画素（０，０）～偏光画素（７，７）の６４個の偏光画素を示している。

　なお、これら、ＴＯＦ画素を構成要素とするＴＯＦ情報撮像素子１０１、および偏光画素を構成要素とする偏光情報撮像素子１０２の２種類の撮像素子は、従来から知られた既存の撮像素子である。

　図１０に示すＴＯＦ情報／偏光情報撮像素子１０５は、新規構成を有する撮像素子であり、ＴＯＦ情報撮像素子１０１と、偏光情報撮像素子１０２の２つの特性を有する撮像素子である。
　なお、図に示すＴＯＦ情報／偏光情報撮像素子１０５の例は、ＴＯＦ情報撮像素子１０１の１つのＴＯＦ画素、すなわち、ＴＯＦ画素ａ，ｂ，ｃ，ｄの各々に対して、偏光情報撮像素子１０２の４×４＝１６個の偏光画素を対応付けた設定を持つ構成である。

　前述したように、ＴＯＦ情報撮像素子１０１は、赤外光成分を受光する構成であり、１つのＴＯＦ画素サイズは、ノイズ低減のために大きなサイズとすることが要求される。
　これに対して、偏光情報撮像素子１０２は可視光成分を受光する構成であり、通常のカメラと同様、高密度な画素構成とすることが可能であり、偏光画素の画素サイズは小さくすることができる。

　このような画素サイズの設定条件の違いに基づいて、図１０に示すように、ＴＯＦ情報／偏光情報撮像素子１０５は、ＴＯＦ情報撮像素子１０１の１つのＴＯＦ画素内に、偏光情報撮像素子１０２の４×４の偏光画素を設定した構成を有する。

　なお、ＴＯＦ情報／偏光情報撮像素子１０５は、このような対応関係に限らず、様々な対応付けが可能である。
　例えば、偏光情報撮像素子１０２の２×２＝４個の偏光画素と、ＴＯＦ情報撮像素子１０１の１つのＴＯＦ画素を対応付けた構成としてもよい。
　偏光情報撮像素子１０２の８×８＝１６この偏光画素と、ＴＯＦ情報撮像素子１０１の１つのＴＯＦ画素を対応付けた構成としてもよい。
　このような様々な設定が可能である。

　ＴＯＦ情報／偏光情報撮像素子１０５は、
　（ａ）近赤外光を受光して、受光した近赤外光の光量に応じた電荷を蓄積して出力する近赤外光光電変換素子によって構成されるＴＯＦ画素（近赤外光受光画素）、
　（ｂ）可視光成分からなる偏光を受光して、受光した可視光の光量に応じた電荷を蓄積して出力する可視光光電変換素子によって構成される偏光画素（可視光偏光受光画素）、
　これら２種類の光電変換素子（画素）を積層した構成を有する。
　なお、本明細書において、偏光画像を受光する光電変換素子を偏光画素、または偏光素子と呼ぶ。また、ＴＯＦ方式に従った距離情報（＝デプス情報）を取得するための被写体反射光を受光する光電変換素子をＴＯＦ画素、またはＴＯＦ素子と呼ぶ。

　ＴＯＦ情報／偏光情報撮像素子１０５の断面構成について、図１１を参照して説明する。
　図１１には、図１０を参照して説明したと同様、ＴＯＦ情報撮像素子１０１の１画素、すなわち、ＴＯＦ画素ａ，ｂ，ｃ，ｄの各々に対して、偏光情報撮像素子１０２の４×４＝１６個の偏光画素を対応付けた設定を持つＴＯＦ情報／偏光情報撮像素子１０５を示している。

　図１１に示す「断面拡大図」は、ＴＯＦ情報／偏光情報撮像素子１０５の右下の１つのＴＯＦ画素［ｄ］に含まれる４×４の偏光画素中、下から２番目の列の横並び４画素分の偏光画素領域についての断面拡大図である。

　図１１の断面拡大図に示すように、ＴＯＦ情報／偏光情報撮像素子１０５の断面は、上（撮像素子表面）から下（撮像素子内部）にかけて、以下の各層が構成された積層構成を有する。
　（１）シリコンレンズ、
　（２）偏光子、
　（３）可視光光電変換素子、
　（４）近赤外（ＩＲ）光光電変換素子
　ＴＯＦ情報／偏光情報撮像素子１０５は、これら（１）～（４）の各層を有する積層構成となっている。

　画像撮影によって撮像素子に入力する光は、シリコンレンズを介して、偏光子を通過し、可視光光電変換素子によって受光される。さらに、可視光光電変換素子を通過した光（近赤外光）が、近赤外（ＩＲ）光光電変換素子によって受光される。
　なお、近赤外（ＩＲ）光は、可視光成分より波長が長いため、可視光光電変換素子を通過して近赤外（ＩＲ）光光電変換素子まで到達することができる。

　図に示す例において、可視光光電変換素子は、Ｗ（ホワイト）画素であり、可視光画像としての白黒画像が撮影可能な画素として構成されている。
　なお、図１１に示す可視光光電変換素子を、カラー画像撮影可能なＲＧＢ画素の三層構成とすることも可能である。このようなＲＧＢ三層構成を持つ撮像素子については、後段で説明する。

　この図１１に示す断面構成を有するＴＯＦ情報／偏光情報撮像素子１０５は、以下の構成を有する。
　（ａ）複数の異なる偏光方向の偏光を通過させる複数の偏光子と、
　（ｂ）複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する光電変換素子である偏光素子、
　（ｃ）ＴＯＦ方式に従ったデプス（距離）情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子、
　これらの構成を有する撮像素子である。

　この図１１に示す断面構成を有するＴＯＦ情報／偏光情報撮像素子１０５を用いることで、近赤外光画像と、偏光画像を同時に撮影することが可能となり、近赤外光画像から取得可能なＴＯＦ情報、すなわちデプス情報と、偏光画像から取得可能な法線情報（偏光情報）の２つの異なる情報を、同一視点からの情報として同時に取得することができる。

　すなわち、図１０に示すように、このＴＯＦ情報／偏光情報撮像素子１０５を内蔵したＴＯＦ情報／偏光情報撮像カメラ１１０を用いて画像を撮影することで、同一視点からのデプス情報と、法線情報の２つの異なる情報を同時に取得することができる。

　このＴＯＦ情報／偏光情報撮像素子１０５は、半導体素子として構成することが可能である。
　図１１に示すＴＯＦ情報／偏光情報撮像素子１０５は、可視光（Ｗ）光電変換素子と、ＩＲ（赤外）光光電変換素子との積層構成であるが、このように、複数の異なる波長光に対応する光電変換素子を積層構成とした半導体素子の一例として、フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサが知られている。

　図１２を参照して、フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサの構成と、ＲＧＢ各信号の取得例について説明する。
　図１２に示すように、シリコンレンズを介して光、すなわち撮影対象からの反射光等が入射する。
　フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサは、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）上に、ｎウェル（ｎ－ｗｅｌｌ）、さらに、ｎウェル（ｎ－ｗｅｌｌ）上に、ｐウェル（ｐ－ｗｅｌｌ）、さらに、ｐウェル（ｐ－ｗｅｌｌ）上にエクステンション層としてのｎＬＤＤ（Ｌｉｇｈｔｌｙ　Ｄｏｐｅｄ　Ｄｒａｉｎ）を有する構成となっている。

　波長の長い赤色（Ｒ）光は、半導体表面から約２μｍまで形成された最下層のｎウェル（ｎ－ｗｅｌｌ）まで到達する。しかし、波長の短い青色（Ｂ）光は、半導体表面から約０．２μｍまで形成されたｎＬＤＤまでしか到達しない。
　フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサは、このような波長光の差異による光信号到達位置レベルの差を利用して、撮像信号として受光する光信号をＲＧＢ各信号に分離して取得するものである。

　最も波長の短い青色（Ｂ）光の受光信号は、半導体表面から約０．２μｍまで形成されたｎＬＤＤの蓄積電荷と、ｎＬＤＤの下層として半導体表面から０．２～０．６μｍの範囲に形成されたｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号として取得することができる。

　緑色（Ｇ）光の受光信号は、半導体表面から約０．２～０．６μｍまで形成されたｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷と、ｐウェル（ｐ－ｗｅｌｌ）層の下層として半導体表面から０．６～２．０μｍの範囲に形成されたｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号として取得することができる。

　最も波長の長い赤色（Ｒ）光の受光信号は、半導体表面から約０．６～０．２．０μｍまで形成されたｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷と、ｎウェル（ｎ－ｗｅｌｌ）層の下層にあるｐ基板（ｐ－ｓｕｂｓｔｒａｔｅ）層の蓄積電荷との差分電荷信号として取得することができる。

　このように、フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサは、複数の異なる波長光、具体的にはＲＧＢ各波長光に対応する光電変換素子を積層構成とした半導体素子であり、撮像素子を構成する１画素の各領域からＲＧＢの３つの色信号値を取得可能とした半導体撮像素子である。

　図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５は、このフォビオン（Ｆｏｖｅｏｎ）積層カラーセンサと同様、異なる波長光の信号値を同一画素領域から取得可能とした構成を有する。

　ただし、フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサは、全て可視光領域のＲＧＢ信号を取得する構成であるのに対し、ＴＯＦ情報／偏光情報撮像素子１０５は可視光信号と赤外光信号を取得する構成である点が異なる。
　さらに、フォビオン（Ｆｏｖｅｏｎ）積層カラーセンサは、１つの画素領域からＲＧＢの各信号の１つの画素値を取得する構成であるのに対して、ＴＯＦ情報／偏光情報撮像素子１０５は赤外光信号の一画素領域で、複数の可視光（Ｗ）信号を取得する構成とした点が大きく異なる。
　図１０、図１１に示すＴＯＦ情報／偏光情報撮像素子１０５は、赤外光信号の一画素領域で、複数の可視光（Ｗ）信号として、４×４＝１６の可視光偏光信号を取得する構成である。

　図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５の具体的な半導体素子構成例を図１３に示す。
　図１３に示す半導体構成は、先に図１１を参照して説明した「断面拡大図」と同じ領域の半導体素子断面図である。すなわち、図１１に示すＴＯＦ情報／偏光情報撮像素子１０５の右下の１つのＴＯＦ画素［ｄ］に含まれる４×４の偏光画素中、下から２番目の列の横並び４画素分についての半導体素子断面図である。

　図１３に示すように、シリコンレンズを介して光、すなわち撮影対象からの反射光が入射する。
　ＴＯＦ情報／偏光情報撮像素子１０５は、先に図１２を参照して説明したフォビオン（Ｆｏｖｅｏｎ）積層カラーセンサと同様の多層構成を有する。
　Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）上に、ｎウェル（ｎ－ｗｅｌｌ）、さらに、ｎウェル（ｎ－ｗｅｌｌ）上に、ｐウェル（ｐ－ｗｅｌｌ）を有する。
　このｐウェル（ｐ－ｗｅｌｌ）は、４つの偏光子ｈ１～ｈ４の各々に対応する位置に独立した４つのｐウェル（ｐ－ｗｅｌｌ）層として設けられている。

　波長の長い近赤外（ＩＲ）光は、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）上のｎウェル（ｎ－ｗｅｌｌ）、層まで到達する。しかし、近赤外（ＩＲ）光より波長の短い可視光（Ｗ）は、半導体表面の４つのｐウェル（ｐ－ｗｅｌｌ）層までしか到達しない。

　すなわち、４つの偏光子ｈ１～ｈ４各々を通過した偏光中の可視光（Ｗ）成分は、半導体表面の４つのｐウェル（ｐ－ｗｅｌｌ）層まで到達するが、さらに奥のｎウェル（ｎ－ｗｅｌｌ）層までは到達しない。
　しかし、４つの偏光子ｈ１～ｈ４各々を通過した偏光中に含まれる波長の長い近赤外（ＩＲ）光成分は、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）上のｎウェル（ｎ－ｗｅｌｌ）層まで到達する。
　これらの波長光に応じた光の到達位置の差異に基づいて、可視光（Ｗ）成分と近赤外（ＩＲ）光成分の各波長成分信号を取得する。

　図に示す例では、４つの偏光子ｈ１～ｈ４各々を通過した偏光中の可視光（Ｗ）成分は、半導体表面の４つのｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷と、ｐウェル（ｐ－ｗｅｌｌ）層の下層として形成されたｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号として取得することができる。

　なお、偏光子ｈ１，ｈ３は、偏光方向０°の偏光子であり、偏光子ｈ１，ｈ３以下の２つのｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷と、これらｐウェル（ｐ－ｗｅｌｌ）層の下層として形成されたｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号からは、偏光方向０°の可視光偏光成分信号が取得される。
　また、偏光子ｈ２，ｈ４は、偏光方向４５°の偏光子であり、偏光子ｈ２，ｈ４以下の２つのｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷と、これらｐウェル（ｐ－ｗｅｌｌ）層の下層として形成されたｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号からは、偏光方向４５°の可視光偏光成分信号が取得される。

　さらに、４つの偏光子ｈ１～ｈ４各々を通過した偏光中に含まれる波長の長い近赤外（ＩＲ）光成分は、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）上のｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷と、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）の蓄積電荷との差分電荷信号として取得することができる。

　このように、図１３に示す断面構造を持つ多層型の半導体素子を用いることで、近赤外光画像と、偏光画像を同時に撮影することが可能となる。
　図１０に示す例では、１つのＴＯＦ画素中に４×４＝１６個の偏光画素を設定した構成であり、各偏光画素は、４種類の異なる偏光子を２×２＝４画素単位で繰り返し、設定した構成を有する。

　このような構成を有する撮像素子を利用することで、近赤外光画像と、４つの異なる偏光信号成分を含む偏光画像を同一視点からの画像として同時に撮影可能となり、近赤外光画像から取得可能なＴＯＦ情報、すなわちデプス情報と、偏光画像から取得可能な法線情報の２つの異なる情報を、同一視点からの情報として同時に取得することができる。

　すなわち、先に図１０を参照して説明したように、図１０に示すように、このＴＯＦ情報／偏光情報撮像素子１０５を内蔵したＴＯＦ情報／偏光情報撮像カメラ１１０を用いて画像を撮影することで、同一視点からのデプス情報と、法線情報の２つの異なる情報を同時に取得することができる。

　図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５を内蔵したＴＯＦ情報／偏光情報撮像カメラ１１０を用いて画像を撮影して、ＴＯＦ方式による撮影画像と、偏光画像を取得し、これらの２つの情報を統合してデプス情報を取得する画像処理装置の構成例について、図１４を参照して説明する。

　図１４に示す画像処理装置２００は、ＴＯＦ情報／偏光情報取得部２０１、近赤外（ＩＲ）光照射部２０２、デプス推定部２０３、法線推定部２０４、高精度デプス推定部２０５を有する。

　ＴＯＦ情報／偏光情報取得部２０１は、撮像素子として、図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５と同様の構成を有する撮像素子を有する。
　すなわち、ＴＯＦ情報／偏光情報取得部２０１は、近赤外光画像と、複数の異なる偏光信号成分を含む偏光画像を同一視点からの画像として同時に撮影することを可能とした撮像素子を内蔵したカメラ（撮像部）を有する。

　ＴＯＦ情報／偏光情報取得部２０１は、先に図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５、すなわち、以下の構成を有する撮像素子による画像を撮影する。
　（ａ）複数の異なる偏光方向の偏光を通過させる複数の偏光子と、
　（ｂ）複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する光電変換素子である偏光素子、
　（ｃ）ＴＯＦ方式に従ったデプス（距離）情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子、
　ＴＯＦ情報／偏光情報取得部２０１は、これらの構成を有する撮像素子を用いて画像撮影を行う。

　近赤外（ＩＲ）光照射部２０２は、ＴＯＦ情報／偏光情報取得部２０１による画像撮影時に、近赤外（ＩＲ）光を照射する。
　なお、近赤外（ＩＲ）光照射部２０２による近赤外（ＩＲ）光の照射タイミングと、ＴＯＦ情報／偏光情報取得部２０１による画像撮影タイミング等の処理タイミングは、例えば、ユーザによる画像撮影指示の入力情報に応じて、図示しない制御部によって制御される。

　デプス推定部２０３は、先に図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の近赤外（ＩＲ）光光電変換素子、すなわちＴＯＦ画素からの出力信号を入力して、各ＴＯＦ画素対応のデプス、すなわちカメラからの被写体までの距離を算出する。

　デプス推定部２０３は、ＴＯＦ法によるデプス（被写体距離）算出を実行する。ＴＯＦ法は、先に図１を参照して説明したように、光源から出た光が被写体で反射し、受光素子であるセンサ、すなわちＴＯＦ画素に届くまでの光の飛行時間（遅れ時間）と光の速度（３×１０^８ｍ／ｓ）に基づいて、被写体までの距離（距離＝光の飛行時間×光の速度／２）を算出する手法である。

　なお、図１４に示す構成では、近赤外（ＩＲ）光照射部２０２の照射する近赤外光が被写体で反射し、ＴＯＦ情報／偏光情報取得部２０１のＴＯＦ画素に届くまでの時間（遅れ時間）が利用される。
　ＴＯＦ法は大きく二種類に分類されており、直接ＴＯＦ法と間接ＴＯＦ法がある。
　直接ＴＯＦ法は、受光素子であるＴＯＦ画素に入力する光子（フォトン）の数を数えて、直接光の遅れ時間を計測する。

　一方、間接ＴＯＦ法は、受光素子であるＴＯＦ画素が受光する時系列の近赤外（ＩＲ）光のサイン（Ｓｉｎ）波の１サイクルにおいて、４回サンプリングを実行し、４回のサンプリング点で得られた４点サンプリングデータからＳｉｎ波の位相遅れを検出し、光の遅れ時間を計測する方法である。

　図１５を参照して、デプス推定部２０３の実行する間接ＴＯＦ法によるデプス推定処理例について説明する。
　図１５に示すグラフは、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の近赤外（ＩＲ）光光電変換素子、すなわちＴＯＦ画素からの出力信号を示すグラフである。
　横軸が時間（ｔ）であり、縦軸が光パワーである。
　ＴＯＦ画素からの出力信号は、その強度がサイン（Ｓｉｎ）波に従った変化を持つ。
　このサイン（Ｓｉｎ）波に従った強度変化は、近赤外（ＩＲ）光照射部２０２の照射する近赤外光の強度変化に対応する。

　間接ＴＯＦ法では、図１５に示すように、ＴＯＦ画素からの出力信号から得られる時系列の近赤外（ＩＲ）光のサイン（Ｓｉｎ）波の１サイクルにおいて、４回サンプリングを実行し、４回のサンプリング点で得られた４点サンプリングデータからＳｉｎ波の位相遅れを検出する。
　このＳｉｎ波の位相遅れに相当する遅れ時間が、近赤外（ＩＲ）光照射部２０２の照射する近赤外光の照射タイミングから、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中のＴＯＦ画素の受光タイミングまでの経過時間であり、光の飛行時間（遅れ時間）（ｔ_ｄ）に相当する。

　図１５に示す例では、４回サンプリングで得られた値はａ０，ａ１，ａ２，ａ３である。この４点サンプリングを用いてＳｉｎ波の信号の位相遅れφを以下の（式３）で算出する。

　さらに、上記（式３）に従って、算出した位相遅れφを用いて、以下の（式４）に従って、光の飛行時間（＝遅れ時間）（ｔ_ｄ）を算出する。

　なお、上記（式４）において、
　ｆ_ｍは、ＴＯＦ画素に受光した近赤外（ＩＲ）光の周波数である。

　上記（式４）に従って、光の飛行時間（遅れ時間）（ｔｄ）を算出し、次に、算出した光の飛行時間（遅れ時間）（ｔｄ）と、光の速度（３×１０^８ｍ／ｓ）に基づいて、デプス（被写体距離）を以下の（式５）に従って算出する。
　デプス＝光の飛行時間×光の速度／２　　　・・・・・（式５）

　デプス推定部２０３は、このような手法で、ＴＯＦ法によるデプス（被写体距離）算出を実行する。なお、算出するデプスは、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子の画素単位の情報となる。
　すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の近赤外（ＩＲ）光光電変換素子に対応するＴＯＦ画素１つについて１つのデプス情報が取得され、デプス推定部２０３は、ＴＯＦ情報／偏光情報撮像素子１０５に含まれるＴＯＦ画素数分に相当する複数のデプス情報を算出する。
　さらに、デプス推定部２０３は、被写体各領域におけるデプス情報を、被写体位置情報に対応づけたデータであるデプスマップを生成して高精度デプスマップ生成部２０５に出力する。

　またデプス推定部２０３は、図１５に示すＳｉｎ波の位相遅れを算出するだけではなく、Ｓｉｎ波の振幅Ａも算出して出力する。
　振幅Ａは以下の（式６）に従って算出する。

　この振幅Ａは、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の近赤外（ＩＲ）光光電変換素子、すなわちＴＯＦ画素によって撮影される近赤外（ＩＲ）光画像の最大画素値に相当するデータとなる。

　次に、図１４に示す画像処理装置２００の法線推定部２０４の実行する法線算出処理について説明する。
　法線推定部２０４は、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の偏光画素の出力信号を入力して、これらの偏光画素値を利用した法線算出処理を実行する。

　法線推定部２０４の実行する法線算出処理は、原理的には、先に図３～図５を参照して説明した処理に従った法線算出処理と同様の処理である。
　先に図３～図５を参照して説明したように、法線情報を取得するためには、先に説明した（式１）、（式２）に設定される３種類の未知数を明らかにすることが必要となる。このためには最低限３種類の偏光画像の取得が必要となる。

　ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の偏光画素は、２×２＝４画素単位で、４つの異なる偏光画像を取得する構成であり、先に説明した（式１）、（式２）の３種類の未知数を明らかにすることが可能となり、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に求めることが可能となる。

　さらに、法線推定部２０４は、画素位置の位置情報（座標）と、法線情報（方位角φと天頂角θ）との対応データである法線マップを生成して、高精度デプス生成部２０５に出力する。

　なお、ＴＯＦ情報／偏光情報撮像素子１０５中の偏光画素は、２×２＝４画素単位で、４つの異なる偏光画像を取得可能であり、４画素単位で１つの法線情報を取得できる。この法線情報を取得するための４画素の設定は、図１６に示す４画素領域ａ１，ａ２のように、一画素ずつ、ずらして設定可能である。従って、ＴＯＦ情報／偏光情報撮像素子１０５中の偏光画素のほぼ全ての交点（図１６に示す白丸）に対応する法線情報を取得することができる。

　すなわち、偏光画素数とほぼ同数の法線情報を取得可能となる。このように、法線推定部２０４は、ほぼ偏光画素単位（座標位置としては偏光画素交点）の法線情報を生成して出力することができる。

　次に図１４に示す画像処理装置２００の高精度デプス生成部２０５の実行する処理について説明する。
　高精度デプス生成部２０５は、デプス推定部２０３の生成したＴＯＦ画素単位のデプス情報と、法線推定部２０４の生成した偏光画素単位（偏光画素交点単位）の法線情報を統合して高精度デプス情報２１０を生成して出力する。

　この高精度デプス生成部２０５における高精度デプス情報２１０の生成処理について図１７を参照して説明する。なお、この処理は、先に図７を参照して説明した処理と同様の処理である。
した処理と同様の処理である。
　図１７に示す（１）～（４）の各データは、図１４に示す以下の各構成部の出力にたいえお
図を示している。
　（１）デプス推定部２０３の生成データであるデプス情報
　（２）法線推定部２０４の生成データである法線情報
　（３）高精度デプス生成部２０５の実行する統合処理例
　（４）高精度デプス生成部２０５の生成データである高精度デプス情報２１０

　なお、図１７に示す例では、デプス推定部２０４の生成するデプス情報も、法線推定部２０５の生成する法線情報もデータ密度は同一としているが、図１０、図１１を参照して説明したＴＯＦ／偏光情報撮像素子１０５を用いた場合は、法線推定部２０５の生成する法線情報は、デプス推定部２０４の生成するデプス情報より高密度な情報とすることができる。この場合、図１７に示す例より、さらに高精度なデプス情報を生成できる。

　なお、この統合処理に際して、法線推定部２０５の生成する法線情報と、デプス推定部２０４の生成するデプス情報との密度を一致させる処理として解像度調整処理を行う構成例については、後段で図２０以下を参照して説明する。

　図１７（３）高精度デプス生成部２０５の実行する統合処理例に示すように、高精度デプス生成部２０５は、デプス推定部２０３の生成するデプス情報と、法線推定部２０４の生成する法線情報を統合することで、被写体の表面の傾斜角を推定して表面形状を決定する。
　デプス推定部２０３の生成するデプス情報は、各画素ａ～ｅ単位で１つのデプスデータが設定され、各画素領域単位で均一な距離（デプス）となる。すなわち、図１７（ａ）に示すように各画素領域単位の平面が設定される。
　しかし、法線推定部２０４の生成する法線情報は、各画素領域単位の被写体表面に垂直な方向情報を有しており、各画素領域の画素単位で、被写体面の傾きを取得することができる。

　高精度デプス生成部２０５は、各画素領域の画素単位の被写体面の傾き情報をデプス推定部２０３の生成するデプス情報に統合することで、各画素ａ～ｅのデプスを修正する。
　この修正処理により、図１７（４）に示す統合処理結果としての高精度デプス情報２１０を生成して出力する。

　図１４に示す構成は、ＴＯＦ方式による撮影画像と、偏光画像を得るために１つのカメラを用いた構成とすることができる。
　このような構成とすることで、各画像の視点位置を一致させるためのキャリブレーション処理が不要となる。

　例えば、先に図６を参照して説明した２つのカメラを用いる構成では、ＴＯＦ情報取得部６１となるＴＯＦカメラと、偏光情報取得部６４となるカメラの相対位置が変わるたびにキャリブレーションが行うことが必要となり、手間がかかる。
　また、２つの異なる視点から撮影する２つの画像中には、一方の画像に含まれない画像領域、いわゆるオクルージョンが発生してしまい、このような領域では、２つの情報の統合処理による精度向上の効果が得られないという問題がある。

　これに対して、図１４に示す構成では、ＴＯＦ情報／偏光情報取得部２０１は、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５を内蔵したカメラとして構成され、同一視点からのＴＯＦ画像と偏光画像を同時に取得することが可能となる。
　従って、視点位置合わせのキャリブレーション処理が不要となり、またＴＯＦ画像と偏光画像のいずれか一方のみが撮影されている領域のようなオクルージョン領域の発生も防止される。
　さらに、カメラを動かしながらの撮影も可能であり、さらに、動画を撮影し、撮影した動画からデプスを算出するといった処理も可能となる。

　　［４．高精度デプス生成部の詳細構成例について］
　次に、図１４に示す画像処理装置２００の構成要素である高精度デプス生成部２０５の詳細構成例について説明する。

　（４－１．不定性解消部を有する構成について）
　まず、図１８を参照して不定性解消部２２１を有する高精度デプス生成部２０５の構成例について説明する。

　図１８に示す画像処理装置２００は、先に図１４を参照して説明した画像処理装置２００の一構成要素である高精度デプス生成部２０５の一つの詳細構成例を示す図である。
　図１８に示すように、高精度デプス生成部２０５は、不定性解消部２２１、統合処理部２２２を有する。
　不定性解消部２２１は、法線推定部２０４の生成した法線マップの不定性を解消する処理を実行する。

　前述したように、法線推定部２０４は、画素位置の位置情報（座標）と、法線情報（方位角φと天頂角θ）との対応データである法線マップを生成して、高精度デプス生成部２０５に出力する。
　法線推定部２０４は、ＴＯＦ情報／偏光情報取得部２０１で取得された所望の視点位置からの被写体の偏光特性に基づく被写体の法線マップを生成する。法線マップ推定部２０４は、ＴＯＦ情報／偏光情報取得部２０１で取得された偏光特性すなわち偏光モデル式から、最高輝度となる方位角と偏光度に基づいて天頂角を画素毎に求めて、法線方向を示す法線情報（方位角と天頂角）を格納した法線マップを生成する。

　しかし、偏光解析による法線マップの法線情報は、偏光方向が１８０度、異なる場合、同一の情報に設定されてしまうという不定性を有する。
　すなわち、偏光方向が０度と１８０度の場合や、４５度と２２５度の場合には、いずれも同一の法線情報（方位角と天頂角）が出力されてしまう。
　不定性解消部２２１は、この法線推定部２０４の生成した法線情報（法線マップ）の不定性を解消する処理を実行する。

　図１９を参照して、不定性解消部２２１の実行する法線情報の不定性解消処理の具体的処理例について説明する。
　図１９（Ａ）に示すように、カメラ（ＣＭ）２２５で被写体（ＯＢ）２２７を、偏光板２２６を介して撮像する。ここで偏光板２２６の偏光方向を１８０度回転させると、偏光方向は、偏光板２２６回転前の元の偏光状態に戻る。

　例えば法線推定部２０４が、図１９（Ｂ）に示す法線方向（矢印で示す）からなる法線マップを高精度デプス生成部２０５に出力したものとする。
　図１９（Ｂ）に示すように被写体（ＯＢ）の上半分の領域ＧＡでは法線方向（矢印で示す）が正しい方向に設定されている。しかし、下半分の領域ＧＢでは法線方向が誤った逆方向に設定されている。これは、前述した１８０度の不定性に起因するものである。

　ここで、不定性解消部２２１は、デプス推定部２０３の生成したデプスマップを利用して、被写体（ＯＢ）の距離情報に基づく被写体表面の勾配方向（傾き）の判別を行う。
　このデプスマップの距離データを適用した被写体（ＯＢ）表面の勾配方向（傾き）の判別処理により、被写体（ＯＢ）２２７は、カメラ（ＣＭ）２２５の方向に突出した形状を有することを判別できる。

　不定性解消部２２１は、被写体（ＯＢ）２２７がカメラ（ＣＭ）２２５の方向に突出した形状であるとの判断に基づいて、法線推定部２０４の生成した法線マップ、すなわち、図１９（Ｂ）に示す法線マップの下半分の領域ＧＢの法線方向が誤って逆方向に設定されていると判定する。

　不定性解消部２２１は、この誤り判定に従って、図１９（Ｂ）に示す法線マップの下半分の領域ＧＢの法線方向を逆方向に修正する。
　この結果、図１９（Ｃ）に示すように、図１９（Ｂ）に示す法線マップの下半分の領域ＧＢの法線方向が正しい方向に修正される。

　このようにして、高精度デプス生成部２０５の不定性解消部２２１は、法線推定部２０４の生成した法線マップに対して、デプス推定部２０３の生成したデプスマップを利用した１８０度不定性の解消処理を実行して、被写体の表面形状を正しく示す修正された法線マップを生成する。

　高精度デプス生成部２０５の不定性解消部２２１の生成した正しい法線情報を有する法線マップは、統合処理部２２２に入力される。
　統合処理部２２２は、不定性解消部２２１の生成した正しい法線情報を有する法線マップと、デプス推定部２０３の生成したデプスマップを入力して高精度デプス情報２１０を生成して出力する。

　この統合処理部２２２における高精度デプス情報２１０の生成処理は、先に図１７を参照して説明した処理となる。なお、この統合処理においては、不定性解消部２２１の生成した正しい法線情報を有する法線マップが利用されることになり、誤った法線情報が利用されることなく、正しい高精度デプス情報２１０を生成して出力することが可能となる。

　　（４－２．解像度調整部を有する構成について）
　次に、図２０を参照して解像度調整部２３１を有する高精度デプス生成部２０５の構成例について説明する。

　図２０に示す画像処理装置２００は、先に図１４を参照して説明した画像処理装置２００の一構成要素である高精度デプス生成部２０５の一つの詳細構成例を示す図である。
　図２０に示すように、高精度デプス生成部２０５は、先に図１８を参照して説明した不定性解消部２２１、統合処理部２２２の前段に解像度調整部２３１を有する。
　解像度調整部２３１は、デプス推定部２０３の生成したデプスマップと、法線推定部２０４の生成した法線マップを入力して、これらの２つのマップの解像度を一致させる処理を行う。

　解像度調整部２３１の実行する処理の一例について、図２１を参照して説明する。
　図２１には、図２０に示す画像処理装置２００のＴＯＦ情報／偏光情報取得部２０１の有するＴＯＦ情報／偏光情報撮像素子１０５の構成を示している。
　このＴＯＦ情報／偏光情報撮像素子１０５は、先に図１１他を参照して説明したように、ＴＯＦ画素と偏光画素の積層構成を有しており、かつＴＯＦ画素と偏光画素の画素サイズおよび画素密度が異なっている。

　図２１に示すように、（ａ１）ＴＯＦ画素と、（ｂ１）偏光画素の画素サイズおよび画素密度が異なっている。
　この結果、（ａ１）ＴＯＦ画素から得られる（ａ２）デプス情報（ＴＯＦ情報）と、（ｂ２）偏光画素から得られる（ｂ２）法線情報（偏光情報）の密度、すなわち解像度が異なるものとなっている。
　この解像度の差が存在しても、統合処理による高精度デプスマップの生成処理は可能であるが、解像度の差を解消して同じ解像度を持つデプス情報と法線情報を利用することで、高速でかつ精度の高い統合処理を行うことが可能となる。

　解像度調整部２３１は、デプス情報と法線情報の解像度の差を解消して同じ解像度を持つデプス情報と法線情報を生成する。
　具体的には、例えば解像度の低い側の情報の解像度を、解像度の高い情報側の解像度に上げるアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）処理を行うことで解像度を一致させる。

　基本的には、ジョイント・バイラテラル・アップサンプリング（ＪＢＵ：ＪｏｉｎｔＢｉｌａｔｅｒａｌＵｐｓａｍｐｌｉｎｇ）や、バイラテラル・アップサンプリング（ＢＵ：ＢｉｌａｔｅｒａｌＵｐｓａｍｐｌｉｎｇ）等のアップサンプリング手法を適用する。

　図２１に示す例では、（ａ２）デプス情報（ＴＯＦ情報）が、（ｂ２）法線情報（偏光情報）より低解像度であり、（ａ２）デプス情報（ＴＯＦ情報）の解像度を、（ｂ２）法線情報（偏光情報）の解像度に一致させるため、（ａ２）デプス情報（ＴＯＦ情報）のアップサンプリング処理を行う。

　この処理において、例えば、（ｂ１）偏光画素を用いて撮影された偏光画像を適用する。すなわち、偏光画像から、図に示す（ｂ３）平均画像を生成する。（ｂ３）平均画像は、（ｂ１）偏光画素を用いて撮影された偏光画像を構成する領域単位の複数画素の画素値の平均値を、その領域の画素値として設定した画像である。
　この（ｂ３）平均画像に設定された画素値を参照画素情報、すなわちガイド（Ｇｕｉｄｅ）として、（ａ２）デプス情報（ＴＯＦ情報）のアップサンプリング処理、例えば上述したＪＢＵを適用して、図に示す（ａ３）解像度調整後デプス情報を生成する。

　解像度調整部２３１は、例えばこのような方法により、（ａ３）解像度調整後デプス情報を生成して、生成した（ａ３）解像度調整後デプス情報を、図２０に示す高精度デプス生成部２０５の不定性解消部２２１と、統合処理部２２２に出力する。
　また、（ｂ２）法線情報（偏光情報）については、不定性解消部２２１出力する。

　なお、図２１を参照して説明した解像度調整処理は一例であり、この他にも様々な方法を適用した解像度調整処理が可能である。例えば、以下のような手法が適用可能である。
　（１）偏光情報から得られた平均画像をガイド（Ｇｕｉｄｅ）情報として適用したＪＢＵを適用することで、ＴＯＦ画像から取得したデプス情報の解像度を、偏光画像から取得した法線情報の解像度に合わせる。
　（２）デプス情報の解像度をガイド（Ｇｕｉｄｅ）にしたＪＢＵを適用することで、偏光画像から取得した法線情報の解像度をＴＯＦ画像から取得したデプス情報の解像度に合わせる。
　（３）ＴＯＦ画像から取得したデプス情報と、偏光画像から取得した法線情報の双方を、予め規定した解像度に合わせる。

　なお、ＴＯＦ画像から取得したデプス情報と、偏光画像から取得した法線情報との位相と場所がずれている場合、直接どちらからどちらの解像度に合わせることができない。その際には、上記（３）の処理、すなわち、ＴＯＦ画像から取得したデプス情報と、偏光画像から取得した法線情報の双方を、予め規定した解像度に合わせる処理を行うことが望ましい。

　また、特にガイド（Ｇｕｉｄｅ）とする情報がなければ、ＪＢＵの変わりに、ＢＵを適用して補間を行う。
　また、解像度を合わせる際に、ＴＯＦ情報からの振幅輝度画像か、偏光情報からの平均輝度画像にも解像度を合わせて出力する構成としてもよい。なお、輝度情報があれば、統合処理部２２２における統合処理においてもこの輝度情報を適用した統合処理が可能となる。例えば、輝度情報を用いて、被写体の輪郭を抽出し、抽出した輪郭の情報を利用して、デプスと法線を融合した時に使われるデプスの不連続性を表すエッジ情報の精度を向上させることができる。エッジ情報が間違っていれば、例えば元々不連続な物体が融合処理後に形状が歪んで行く破綻が生じる。

　次に、図２０に示す画像処理装置２００の不定性解消部２２１の処理について説明する。
　不定性解消部２２１は、先に図１９を参照して説明した不定性解消処理を実行して、正しい法線情報を有する法線マップを生成して統合処理部２２２に出力する。
　統合処理部２２２は、不定性解消部２２１から入力する正しい法線情報から構成される法線マップと、解像度調整部２３１から入力する解像度調整後のデプスマップを入力して、高精度デプス情報２１０を生成して出力する。

　この統合処理部２２２における高精度デプス情報２１０の生成処理は、先に図１７を参照して説明した処理となる。なお、この統合処理においては、解像度調整部２３１において生成された同じ解像度を有するデプスマップと法線マップを適用した処理が実行される。また、不定性解消部２２１の生成した正しい法線情報を有する法線マップが利用されることになり、誤った法線情報が利用されることなく、正しい高精度デプス情報２１０を生成して出力することが可能となる。

　　［５．画像処理装置の実行する高精度デプス情報の生成シーケンスについて］
　次に、図２０に示す画像処理装置２００の実行する高精度デプス情報の生成処理シーケンスについて、図２２に示すフローチャートを参照して説明する。
　なお、図２２に示すフローに従った処理は、図２０に示す画像処理装置２００の制御部の制御の下で実行される。
　画像処理装置２００は、プログラム実行可能な例えばＣＰＵ等を有するデータ処理部を有し、データ処理部において画像処理装置２００の記憶部に格納されたプログラムを実行して、図２０に示す各処理部に対する処理実行命令の出力や処理タイミング制御等を行い、図２２に示すフローに従った処理を実行する。
　以下、図２２に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　画像処理装置は、まず、ステップＳ１０１において、図２０に示す画像処理装置２００のＴＯＦ情報／偏光情報取得部２０１による画像撮影を実行する。
　なお、画像は、静止画、動画のどちらでもよい。
　静止画を撮影した場合は撮影静止画に対して、以下の処理を実行する。動画を撮影する場合は、動画を構成するフレーム画像単位で、以下の処理を実行することが可能である。

　ＴＯＦ情報／偏光情報取得部２０１は、図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５による画像撮影を実行する。ＴＯＦ情報／偏光情報撮像素子１０５は、ＴＯＦ画素と、偏光画素の積層構成を有し、１回の撮影で同一視点からのＴＯＦ情報と偏光情報を取得することが可能である。

　　（ステップＳ１０２）
　次に、ステップＳ１０２において、図２０に示す画像処理装置２００のデプス推定部２０３が、ＴＯＦ情報を入力してデプス情報を生成する。

　デプス推定部２０３は、ＴＯＦ法によるデプス（被写体距離）算出を実行する。ＴＯＦ法は、先に図１を参照して説明したように、光源から出た光が被写体で反射し、受光素子であるセンサ、すなわちＴＯＦ画素に届くまでの光の飛行時間（遅れ時間）と光の速度（３×１０^８ｍ／ｓ）に基づいて、被写体までの距離（距離＝光の飛行時間×光の速度／２）を算出する手法である。
　擬態的には、例えば先に図１５を参照して説明した間接ＴＯＦ法によるデプス算出処理を実行する。

　なお、算出するデプスは、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の近赤外（ＩＲ）光光電変換素子に相当するＴＯＦ画素１つについて１つのデプスデータとなる。デプス推定部２０３は、ＴＯＦ情報／偏光情報撮像素子１０５に含まれるＴＯＦ画素数分に相当する複数のデプス情報を算出する。
　さらに、デプス推定部２０３は、被写体各領域におけるデプス情報を、被写体位置情報に対応づけたデータであるデプスマップを生成して高精度デプスマップ生成部２０５に出力する。

　　（ステップＳ１０３）
　次に、ステップＳ１０３において、図２０に示す画像処理装置２００の法線推定部２０４が、偏光情報を入力して法線情報を生成する。

　法線推定部２０４は、ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の偏光画素の出力信号を入力して、これらの偏光画素値を利用した法線算出処理を実行する。

　法線算出処理においては、先に説明した（式１）、（式２）に設定される３種類の未知数を明らかにすることが必要となる。このためには最低限３種類の偏光画像の取得が必要となる。
　ＴＯＦ情報／偏光情報取得部２０１の有する撮像素子、すなわち、図１０、図１１を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５中の偏光画素は、２×２＝４画素単位で、４つの異なる偏光画像を取得する構成であり、先に説明した図３～図５や、（式１）、（式２）を適用した処理により、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に求めることが可能となる。

　　（ステップＳ１０４）
　次に、ステップＳ１０４において、図２０に示す画像処理装置２００の高精度デプス生成部２０５の解像度調整部２３１が、デプス情報と偏光情報との解像度を一致させる解像度調整処理を実行する。

　解像度調整部２３１は、デプス推定部２０３の生成したデプス情報（デプスマップ）と、法線推定部２０４の生成した法線情報（法線マップ）を入力し、これらの解像度を一致させる処理を行う。

　この処理は、例えば先に図２１を参照して説明した処理であり、解像度調整部２３１は、デプス情報と法線情報の解像度の差を解消して同じ解像度を持つデプス情報と法線情報を生成する。
　具体的には、例えば解像度の低い側の情報の解像度を、解像度の高い情報側の解像度に上げるアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）処理を行うことで解像度を一致させる。

　　（ステップＳ１０５）
　次に、ステップＳ１０５において、図２０に示す画像処理装置２００の高精度デプス生成部２０５の不定性解消部２２１が、解像度一致処理後の法線情報の不定性解消処理を実行する。

　この処理は、先に図１９を参照して説明した法線情報の不定性解消処理である。
　前述したように、偏光解析による法線マップの法線情報は、偏光方向が１８０度、異なる場合、同一の情報に設定されてしまうという不定性を有する。
　すなわち、偏光方向が０度と１８０度の場合や、４５度と２２５度の場合には、いずれも同一の法線情報（方位角と天頂角）が出力されてしまう。
　不定性解消部２２１は、この法線推定部２０４の生成した法線マップの不定性を解消する処理を実行する。

　不定性解消部２２１は、まず、デプス推定部２０３の生成したデプスマップを利用して、被写体（ＯＢ）の距離情報に基づく被写体表面の勾配方向（傾き）の判別を行う。
　この被写体表面の勾配方向（傾き）の判別結果と、法線推定部２０４の生成した法線情報が整合するか否かを判定し整合していない場合は、法線情報が誤りであると判定し、法線方向を逆向きに修正する。
　この処理によって、法線推定部２０４の生成した法線情報は、全て正しい法線方向に設定され、不定性が解消される。

　　（ステップＳ１０６）
　最後に、ステップＳ１０６において、図２０に示す画像処理装置２００の高精度デプス生成部２０５の統合処理部２２２が、デプス情報と、不定性の解消された正しい法線情報の統合処理を実行して、高精度デプス情報を生成する。

　この統合処理部２２２における高精度デプス情報の生成処理は、先に図１７を参照して説明した処理となる。なお、この統合処理においては、不定性解消部２２１の生成した正しい法線情報を有する法線マップが利用されることになり、誤った法線情報が利用されることなく、正しい高精度デプス情報を生成して出力することが可能となる。

　　［６．色情報を利用して高精度デプスマップを生成する実施例について］
　次に、色情報を利用して高精度デプスマップを生成する実施例について説明する。
　本実施例では、法線推定部が実行する法線情報の算出処理において、被写体表面における鏡面反射成分と拡散反射成分を、撮像画像から取得した色情報を利用して判別し、鏡面反射成分の除去、あるいは、鏡面反射成分と拡散反射成分の重みづけ加算によって高精度な法線情報を取得する。
　さらに、この高精度な法線情報を利用して高精度デプスマップを生成する。

　先に図２、図３を参照して説明したように、法線情報（方位角φと天頂角θ）は、被写体表面から垂直方向に延びる法線ベクトルのベクトル方向情報に相当する。この法線情報を算出する処理は、図４、図５を参照して説明したように、偏光角と輝度変化との対応関係に基づいて行われる。具体的には、偏光フィルタを介して得られる被写体各位置の反射光の輝度を解析して法線情報を取得するものである。

　しかし、この被写体からの反射光には、拡散反射成分と鏡面反射成分が含まれる。
　偏光方向によって、拡散反射成分と鏡面反射成分はレベルが変化することが分かっており、また、鏡面反射は、照明によって生じることが多く、鏡面反射は拡散反射よりも偏光度が高く偏光しやすいという性質がある。

　従って、被写体表面の反射光は、その形状によって拡散反射成分と鏡面反射成分が、様々な異なる割合で混在することになり、単なる反射光から算出する法線情報には誤差が含まれることになる。
　以下の実施例は、この問題を解決するものであり、法線推定部が実行する法線情報の算出処理において、被写体表面における鏡面反射成分と拡散反射成分を、色情報を利用して判別し、鏡面反射成分の除去、あるいは、鏡面反射成分と拡散反射成分の重みづけ加算によって高精度な法線情報を取得可能とするものである。

　本実施例の画像処理装置２４０の一構成例を図２３に示す。
　図２３に示す画像処理装置２４０は、先に図２０を参照して説明した画像処理装置２００の構成とほぼ同様の構成を有する。
　異なる点は、図２３に示すＴＯＦ情報／偏光情報／色情報取得部２４１と、法線推定部２０４の構成である。

　ＴＯＦ情報／偏光情報／色情報取得部２４１は、画像を撮影するカメラを有するＴＯＦ情報／偏光情報／色情報取得部２４１であり、図２３示す構成ではＴＯＦ情報と、偏光情報と、さらに色情報を取得する構成を持つ。

　また、法線推定部２０４は、ＴＯＦ情報／偏光情報／色情報取得部２４１の取得した色情報を利用して高精度な法線情報を生成する構成を有する。
　法線推定部２０４の詳細構成と処理については、図２６以下を参照して後段で説明する。

　まず、ＴＯＦ情報／偏光情報／色情報取得部２４１の構成について説明する。
　ＴＯＦ情報／偏光情報／色情報取得部２４１はＴＯＦ情報と、偏光情報と、さらに色情報を取得する撮像素子を有する。
　ＴＯＦ情報／偏光情報／色情報取得部２４１に構成される撮像素子の構成例について、図２４を参照して説明する。

　図２４には、ＴＯＦ情報／偏光情報／色情報取得部２４１に構成されるＴＯＦ情報／偏光情報／色情報撮像素子２５０の拡大断面図を示している。
　図２４には、ＴＯＦ画素ａ，ｂ，ｃ，ｄの各々に対して、４×４＝１６個の偏光画素とＲＧＢ画素を対応付けた設定を持つＴＯＦ情報／偏光情報／色情報撮像素子２５０を示している。

　図２４に示す「断面拡大図」は、ＴＯＦ情報／偏光情報／色情報撮像素子２５０の右下の１つのＴＯＦ画素［ｄ］に含まれる４×４の偏光画素中、下から２番目の列の横並び４画素分の偏光画素領域についての断面拡大図である。

　図２４の断面拡大図に示すように、ＴＯＦ情報／偏光情報／色情報撮像素子２５０の断面は、上（撮像素子表面）から下（撮像素子内部）にかけて、以下の各層が構成された積層構成を有する。
　（１）シリコンレンズ、
　（２）偏光子、
　（３）青色（Ｂ）光光電変換素子
　（４）緑色（Ｇ）光光電変換素子
　（５）赤色（Ｒ）光光電変換素子
　（６）近赤外（ＩＲ）光光電変換素子
　ＴＯＦ情報／偏光情報／色情報撮像素子２５０は、これら（１）～（６）の各層を有する積層構成となっている。

　画像撮影によって撮像素子に入力する光は、シリコンレンズを介して、偏光子を通過し、青色（Ｂ）光光電変換素子によって受光される。
　さらに、青色（Ｂ）光光電変換素子を通過した光が、緑色（Ｇ）光光電変換素子によって受光される。
　さらに、緑色（Ｇ）光光電変換素子を通過した光が、赤色（Ｒ）光光電変換素子によって受光される。さらに、赤色（Ｒ）光光電変換素子を通過した光（近赤外光）が、近赤外（ＩＲ）光光電変換素子によって受光される。

　なお、ＲＧＢ信号によって構成される可視光成分と、近赤外（ＩＲ）光の波長は、短い順から、以下の順番となる。
　Ｂ＜Ｇ＜Ｒ＜ＩＲ
　すなわち、ＴＯＦ情報／偏光情報／色情報撮像素子２５０は、波長の短い光成分の吸収領域を素子表面近くに配置し、波長の長い光成分の吸収領域を素子の奥に設定した構成を持つ。
　この波長に基づく素子設定構成は、先に図１２を参照して説明したフォビオン（Ｆｏｖｅｏｎ）のカラーセンサと同様である。

　この図２４に示す断面構成を有するＴＯＦ情報／偏光情報／色情報撮像素子２５０は、以下の構成を有する。
　（ａ）複数の異なる偏光方向の偏光を通過させる複数の偏光子と、
　（ｂ）複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、ＲＧＢ３色の偏光画像を取得するＲＧＢ光電変換素子であるＲＧＢ偏光素子、
　（ｃ）ＴＯＦ方式に従ったデプス（距離）情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子、
　これらの構成を有する撮像素子である。

　この図２４に示す断面構成を有するＴＯＦ情報／偏光情報／色情報撮像素子２５０を用いることで、近赤外光画像と、偏光画像、さらにＲＧＢ色信号からなるカラー画像を同時に撮影することが可能となる。
　すなわち、近赤外光画像から取得可能なＴＯＦ情報、すなわちデプス情報と、偏光画像から取得可能な法線情報の２つの異なる情報のみならず、色情報（ＲＧＢ）単位の偏光画像を同一視点からの情報として同時に取得することができる。

　このＴＯＦ情報／偏光情報／色情報撮像素子２５０は、半導体素子として構成することが可能である。
　ＴＯＦ情報／偏光情報／色情報撮像素子２５０の具体的な半導体素子構成例を図２５に示す。
　図２５に示す半導体構成は、先に図２４を参照して説明した「断面拡大図」と同じ領域の半導体素子断面図である。すなわち、図２４に示すＴＯＦ情報／偏光情報／色情報撮像素子２５０の右下の１つのＴＯＦ画素［ｄ］に含まれる４×４の偏光画素中、下から２番目の列の横並び４画素分についての半導体素子断面図である。

　図２５に示すように、シリコンレンズを介して光、すなわち撮影対象からの反射光等が入射する。
　ＴＯＦ情報／偏光情報／色情報撮像素子２５０は、先に図１２を参照して説明したフォビオン（Ｆｏｖｅｏｎ）積層カラーセンサと同様の多層構成を有する。
　層構成は、最下層から上に向かって以下の構成である。
　（１）ｎ層基板（ｎ－ｓｕｂｓｔｒａｔｅ）
　（２）Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）
　（３）ｎウェル（ｎ－ｗｅｌｌ）
　（４）ｐウェル（ｐ－ｗｅｌｌ）
　（５）ｎＬＤＤ（Ｌｉｇｈｔｌｙ　Ｄｏｐｅｄ　Ｄｒａｉｎ）

　上記の（１）～（５）の各層中、
　（３）ｎウェル（ｎ－ｗｅｌｌ）
　（４）ｐウェル（ｐ－ｗｅｌｌ）
　（５）ｎＬＤＤ（Ｌｉｇｈｔｌｙ　Ｄｏｐｅｄ　Ｄｒａｉｎ）
　これらの３つの上位層は、４つの偏光子ｈ１～ｈ４の各々に対応する位置に独立した４つの独立積層構成として設けられている。

　波長の長い近赤外（ＩＲ）光は、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）まで到達する。しかし、近赤外（ＩＲ）光より波長の短い可視光であるＲＧＢ各波長光は、Ｐ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）まで到達しない。

　赤（Ｒ）色信号は、ｎウェル（ｎ－ｗｅｌｌ）まで到達する。
　緑（Ｇ）色信号は、ｐウェル（ｐ－ｗｅｌｌ）まで到達する。
　青（Ｂ）色信号は、ｎＬＤＤ（Ｌｉｇｈｔｌｙ　Ｄｏｐｅｄ　Ｄｒａｉｎ）まで到達する。
　これらの波長光に応じた光の到達位置の差異に基づいて、ＲＧＢ各成分と近赤外（ＩＲ）光成分の各波長成分信号を個別に取得する。

　図に示す例では、４つの偏光子ｈ１～ｈ４各々を通過した偏光中の青（Ｂ）色信号成分は、半導体表面の４つのｎＬＤＤ（Ｌｉｇｈｔｌｙ　Ｄｏｐｅｄ　Ｄｒａｉｎ）層の蓄積電荷と、ｎＬＤＤ（Ｌｉｇｈｔｌｙ　Ｄｏｐｅｄ　Ｄｒａｉｎ）層の下層として形成されたｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号として取得することができる。

　緑（Ｇ）色信号成分は、ｐウェル（ｐ－ｗｅｌｌ）層の蓄積電荷と、ｐウェル（ｐ－ｗｅｌｌ）層の下層として形成されたｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷との差分電荷信号として取得することができる。

　赤（Ｒ）色信号成分は、ｎウェル（ｎ－ｗｅｌｌ）層の蓄積電荷と、ｎウェル（ｎ－ｗｅｌｌ）層の下層として形成されたＰ層基板（ｐ－ｓｕｂｓｔｒａｔｅ）の蓄積電荷との差分電荷信号として取得することができる。

　なお、偏光子ｈ１，ｈ３は、偏光方向０°の偏光子であり、偏光子ｈ１，ｈ３以下では、偏光方向０°の可視光偏光成分信号としてのＲＧＢ各色信号が取得される。
　また、偏光子ｈ２，ｈ４は、偏光方向４５°の偏光子であり、偏光子ｈ２，ｈ４以下では、偏光方向４５°の可視光偏光成分信号としてのＲＧＢ各色信号が取得される。

　このように、図２５に示す断面構造を持つ多層型の半導体素子を用いることで、近赤外光画像と、偏光画像としてのＲＧＢ画像を同時に撮影することが可能となる。
　図１０に示す例では、１つのＴＯＦ画素中に４×４＝１６個の偏光画素を設定した構成であり、各偏光画素は、４種類の異なる偏光子を２×２＝４画素単位で繰り返し、設定した構成を有する。

　このような構成を有する撮像素子を利用することで、近赤外光画像と、４つの異なる偏光信号成分を含む偏光ＲＧＢ画像を同一視点からの画像として同時に撮影可能となり、近赤外光画像から取得可能なＴＯＦ情報、すなわちデプス情報と、偏光ＲＧＢ画像から取得可能な法線情報の２つの異なる情報を、同一視点からの情報として同時に取得することができる。

　図２３に示す画像処理装置２４０の法線推定部２０４は、ＲＧＢカラー画像として取得した偏光画像を利用して高精度な法線情報を生成する処理を行う。
　具体的には、法線推定部２０４が実行する法線情報の算出処理において、被写体表面における鏡面反射成分と拡散反射成分を、色情報を利用して判別し、鏡面反射成分の除去、あるいは、鏡面反射成分と拡散反射成分の重みづけ加算によって高精度な法線情報を取得可能とするものである。
　高精度デプス生成部２０５は、この高精度な法線情報を利用して高精度デプス情報２１０を生成する。

　図２３に示す画像処理装置２４０の法線推定部２０４の具体的な構成例と処理例について、図２６以下を参照して説明する。
　なお、図２６に示す法線推定部２０４は、被写体表面における鏡面反射成分を除去して高精度な法線情報を取得可能とした構成例である。
　図２８に示す法線推定部２０４は、鏡面反射成分と拡散反射成分の平均化や重みづけ加算によって高精度な法線情報を取得可能とした構成例である。

　まず、図２６を参照して被写体表面における鏡面反射成分を除去して高精度な法線情報を取得可能とした法線推定部２０４の構成と処理について説明する。
　この構成は、鏡面反射を除去した偏光画像から法線情報を生成することで、屋外などにおいて問題となる鏡面反射の影響が軽減された法線情報を生成することを可能とした構成である。

　図２６に示すように、法線推定部２０４は、補正処理部２６１、鏡面反射除去部２６２、高精度法線情報生成部２６３を有する。

　ＴＯＦ情報／偏光情報／色情報取得部２４１が撮影したＲＧＢ各色のカラー偏光画像は、法線推定部２０４の補正処理部２６１に入力される。
　補正処理部２６１は、このＲＧＢ偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく鏡面反射除去部２６２で処理を行うことができるように色毎のゲイン調整を行う。補正処理部２６１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行い、補正後の偏光画像を鏡面反射除去部２６２へ出力する。

　鏡面反射除去部２６２は、鏡面反射の影響を軽減するため、補正後の偏光画像から鏡面反射成分を除去する。鏡面反射除去部２６２は、鏡面反射成分の除去された偏光画像すなわち拡散反射成分を抽出した偏光画像を法線情報生成部２６３へ出力する。

　鏡面反射は、撮像シーンにおいて支配的な光源が原因となって発生している。また、ホワイトバランス補正処理では、例えば照明の色に合わせて補正値を調整するため、鏡面反射を発生させる照明の色は無彩色になっていると考えられる。

　この場合、照明の色を表すＲＧＢ値は同じ値となり、色差を求めることで鏡面反射成分を除去することが可能となる。従って、鏡面反射除去部２６２は、補正処理部２６１によってホワイトバランス補正等がなされた偏光画像から、以下の（式７）に基づき、同一偏光画素の位置毎に色差Ｉ'υｐｏｌを求める。

　鏡面反射除去部２６２は、このような処理を同一偏光画素毎に、同一偏光画素内の赤色画素の画素値Ｒυｐｏｌと緑色画像の画素値Ｇυｐｏｌと青色画素の画素値Ｂυｐｏｌを用いて行い、鏡面反射成分が除去された画像である拡散反射成分のみの偏光画像を生成する。

　また、鏡面反射除去部２６２は、例えば、光源が白色であるという仮定のもとで光源による鏡面反射成分が除かれた偏光画像を生成する。
　なお、鏡面反射成分の除去処理においては、例えば、以下に示す（式８）に従った処理を実行してもよい。

　まず、上記の（式８ａ）に基づき色空間をＲＧＢ空間からＭ空間に変換して、さらに、（式８ｂ）に基づき鏡面反射成分が除去された画像を生成する。
　次に、鏡面反射成分が除去された画像を（式８ｃ）に基づきＭ空間からＲＧＢ空間に戻すことで、鏡面反射成分が除かれた偏光画像を生成できる。

　さらに、鏡面反射除去部２６２は、ＨＳＶ空間に射影したときに一つの色相（ｈｕｅ）空間において、拡散反射成分は彩度（ｓａｔｕｒａｔｉｏｎ）と輝度（ｉｎｔｅｎｓｉｔｙ）が比例の関係にあることを利用した鏡面反射成分除去処理を実行してもよい。

　この処理について、図２７を参照して説明する。
　図２７はＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。鏡面反射除去部２６２は、ＲＧＢ空間を変換した図２７（Ａ）に示すＨＳＶ空間を用いて、色相毎に彩度と輝度の関係を図２７（Ｂ）のようにプロットする。また、鏡面反射除去部２６２は、図２７（Ｃ）に示すように、近似された直線ＬＡに対して、輝度が予め設定した所定量より高い成分を鏡面反射成分として除去する。

　鏡面反射除去部２６２は、例えば上記処理によって、鏡面反射成分を除去する処理を行い、鏡面反射成分を除去した偏光画像を高精度法線情報生成部２６３に出力する。

　高精度法線情報生成部２６３は、鏡面反射除去部２６２から、鏡面反射成分が除去された偏光画像すなわち拡散反射成分のみを示す偏光画像を入力して、この偏光画像を利用して法線情報を生成する。

　高精度法線情報生成部２６３の入力する偏光画像には、鏡面反射成分が含まれないため、より高い精度の法線情報、すなわち高精度法線情報を生成することが可能となる。
　なお、高精度法線情報生成部２６３の実行する法線算出処理は、先に説明した（式１）、（式２）を適用して実行され、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に算出する。
　さらに、高精度法線情報生成部２６３は、画素位置の位置情報（座標）と、法線情報（方位角φと天頂角θ）との対応データである高精度法線情報からなる法線マップを生成して、高精度デプス生成部２０５に出力する。

　高精度デプス生成部２０５は、先に図１７を参照して説明した処理を実行する。なお、この統合処理においては、高精度法線情報生成部２６３が生成した高精度法線情報が利用されることになり、より精度の高い高精度デプス情報２１０の生成、出力処理が可能となる。

　次に、図２８を参照して、もう一つの法線推定部２０４の構成と処理例について説明する。
　図２８に示す法線推定部２０４は、鏡面反射成分と拡散反射成分の平均化処理や重みづけ加算によって高精度な法線情報を取得可能とした構成例である。
　図２８に示すように、法線推定部２０４は、補正処理部２７１、反射成分分離部２７２、鏡面反射法線算出部２７３、拡散反射法線算出部２７４、法線情報統合部２７５を有する。

　ＴＯＦ情報／偏光情報／色情報取得部２４１が撮影したＲＧＢ各色のカラー偏光画像は、法線推定部２０４の補正処理部２７１に入力される。
　補正処理部２７１は、このＲＧＢ偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく反射成分分離部２７２以降の処理部で処理を行うことができるように色毎のゲイン調整を行う。補正処理部２７１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行い、補正後の偏光画像を反射成分分離部２７２へ出力する。

　反射成分分離部２７２は、鏡面反射成分と拡散反射成分を分離する。反射成分分離部２７２では、先に説明した図２６の鏡面反射除去部２６２の実行する処理として説明した鏡面反射成分除去処理と同様の処理を実行することで、偏光画像中に含まれる反射光中の鏡面反射成分と、拡散反射成分を分離する。
　反射成分分離部２７２は、鏡面反射成分の偏光画像を鏡面反射法線算出部２７３、拡散反射成分の偏光画像を拡散反射法線算出部２７４へ出力する。

　鏡面反射法線算出部２７３は、偏光方向が３方向以上の鏡面反射成分の偏光画像の輝度を用いて鏡面反射法線情報を算出する。
　なお、鏡面反射法線情報の算出処理には、鏡面反射対応の偏光モデル式を利用する。
　先に説明した（式１）は、拡散反射モデル対応の偏光モデル式であり、この（式１）とは異なる以下の（式９）を利用する。

　鏡面反射の場合、最小輝度Ｉｓｍｉｎが観測されたときの偏光角υｐｏｌを方位角φｓとする。このような定義を行うと、偏光板を回転させたときに観測される輝度Ｉｓｐｏｌ、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、上記（式９）のように表すことができる。

　上記（式９）において、偏光角υｐｏｌが偏光画像の生成時に明らかであり、最大輝度Ｉｓｍａｘと最小輝度Ｉｓｍｉｎおよび方位角φｓが変数となる。従って、鏡面反射法線算出部２７３は、変数が３つであることから、偏光方向が３方向以上の鏡面反射成分を表す偏光画像の輝度を用いて上記（式９）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最小輝度となる方位角φｓを判別する。

　また、物体表面法線を極座標系で表現して、法線情報を方位角φｓと天頂角θｓとする。なお、天頂角θｓはｚ軸から法線に向かう角度、方位角φｓは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉｓｍｉｎと最大輝度Ｉｓｍａｘを用いても以下の（式１０）の演算を行うことで偏光度ρｓを算出できる。

　鏡面反射における偏光度と天頂角との関係は、図２９に示す特性を有することが知られており、図２９に示す特性から偏光度ρｓに基づいて天頂角を１または２つ判別できる。なお、図２９に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。また、図２９では、２つの天頂角θｓ１，θｓ２が判別された場合を例示している。

　従って、鏡面反射法線算出部２７３は、偏光方向が３方向以上のそれぞれの反射成分の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて方位角φｄ，φｓを判別する。また、鏡面反射法線算出部２７３は、輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度を算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度に対応する天頂角θｄ，θｓを判別する。このように、鏡面反射法線算出部２７３は、偏光方向が３方向以上の偏光画像に基づき、被写体の法線情報（方位角と天頂角）を画素位置毎に求めて法線情報を生成する。

　鏡面反射法線算出部２７３は、判別した方位角φｓと天頂角θｓを示す情報を鏡面反射法線情報として法線情報統合部２７５へ出力する。なお、鏡面反射法線算出部２７３は、後述するように、法線情報統合部２７５の統合処理で、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合、最小輝度Ｉｓｍｉｎと最大輝度Ｉｓｍａｘを法線情報統合部２７５へ出力する。また、鏡面反射法線算出部２７３は、法線情報統合部２７５の統合処理で、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合、フィッティング誤差Ｅｓを法線情報統合部２７５へ出力する。フィッティング誤差Ｅｓは、所定の輝度変化を示す（式９）の偏光モデル式へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差についての積算値または平均値等を用いる。

　一方、拡散反射法線算出部２７４は、偏光方向が３方向以上の拡散反射成分の偏光画像の輝度を用いて、前述の（式１）に示す偏光モデル式へのフィッティングを行い、輝度と偏光角の関係を示すフィッティング後の関数に基づき最大輝度となる方位角φｄを判別する。
　なお、拡散反射法線情報に関するパラメータについては、鏡面反射法線情報に関するパラメータと区別するため（ｄ）を付記して記載する。鏡面反射法線情報に関するパラメータについては（ｓ）を付記する。

　拡散反射法線算出部２７４は、拡散反射光の最小輝度Ｉｄｍｉｎと最大輝度Ｉｄｍａｘを用いて前述の（式２）の演算を行うことで偏光度ρｄを算出して、図２９に示す特性から偏光度ρｄに基づいて天頂角θｄを判別する。拡散反射法線算出部２７４は、判別した方位角φｄと天頂角θｄを示す情報を法線情報として法線情報統合部２７５へ出力する。

　なお、拡散反射法線算出部２７４は、後述するように、法線情報統合部２７５の統合処理で、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合、最小輝度Ｉｄｍｉｎと最大輝度Ｉｄｍａｘを法線情報統合部２７５へ出力する。また、拡散反射法線算出部２７４は、法線情報統合部２７５の統合処理で、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合、フィッティング誤差Ｅｄを法線情報統合部２７５へ出力する。フィッティング誤差Ｅｄは、所定の輝度変化を示す（式１）の関数へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差の積算値または平均値等を用いる。

　法線情報統合部２７５は、鏡面反射法線算出部２７３で生成された法線情報と拡散反射法線算出部２７４で生成された法線情報の統合処理を行う。法線情報統合部２７５は、法線情報の統合処理として、例えば取得した法線情報を平均化する。具体的には、以下の（式１１）に基づいて統合処理を行い、方位角φｄｓを生成する。なお、鏡面反射法線算出部２７３では天頂角θｓ１，θｓ２が判別される場合があるため、（式１１）に示すように、天頂角θｓ１，θｓ２と天頂角θｄを適用した条件式による場合分けに基づく天頂角θｄｓの決定処理を実行する。

　また、法線情報統合部２７５は、鏡面反射法線算出部２７３で生成された法線情報と拡散反射法線算出部２７４で生成された法線情報に対して、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けで統合処理を行ってもよい。重み付けは、例えば偏光角の違いによって生じる輝度変化を用いてもよく、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いてもよい。

　次に、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合について説明する。法線情報統合部２７５は、偏光角の違いによって生じる輝度変化が大きい反射成分を支配的な反射成分とする。すなわち、法線情報統合部２７５は、反射成分毎の輝度の振幅を算出して振幅が大きい方を選択することで、法線情報を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。（式１２）は拡散反射成分の振幅Ａｄの算出式、（式１３）は鏡面反射成分の振幅Ａｓの算出式を示している。
　Ａｄ＝Ｉｄｍａｘ－Ｉｄｍｉｎ　　　・・・（式１２）
　Ａｓ＝Ｉｓｍａｘ－Ｉｓｍｉｎ　　　・・・（式１３）

　法線情報統合部２７５は、以下に示す（式１４）に示すように、拡散反射成分の振幅と鏡面反射成分の振幅を用いた重み付けで統合処理を行い、方位角φｄｓを生成する。また、法線情報統合部２７５は、（式１４）に示すように、拡散反射成分の振幅と鏡面反射成分の振幅を用いた重み付けで統合処理を行い、天頂角θｄｓを生成する。

　次に、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合について説明する。法線情報統合部２７５は、所定の輝度変化に対する誤差であるフィッティング誤差が少ない方を選択することで、法線情報を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。法線情報統合部２７５は、以下の（式１５）に示すように、拡散反射成分のフィッティング誤差Ｅｄと鏡面反射成分のフィッティング誤差Ｅｓを用いた重み付けで統合処理を行い、方位角φｄｓを生成する。また、法線情報統合部２７５は、（式１５）に示すように、拡散反射成分のフィッティング誤差Ｅｄと鏡面反射成分のフィッティング誤差Ｅｓを用いた重み付けで統合処理を行い、天頂角θｄｓを生成する。

　また、法線情報統合部２７５は、法線情報の統合として拡散反射成分の偏光画像から生成した法線情報と鏡面反射成分の偏光画像から生成した法線情報の何れかを選択してもよい。ここで、法線情報統合部２７５は、拡散反射と鏡面反射の何れか支配的である反射の法線情報を選択する。法線情報統合部２７５は、例えば、偏光角の違いによって生じる輝度変化の大きい反射を支配的であるとして、拡散反射成分の振幅Ａｄと鏡面反射成分の振幅Ａｓのいずれか振幅が大きい方の法線情報を選択する。また、法線情報統合部２７５は、偏光角の違いによって生じる所定の輝度変化に対する誤差の少ない反射が支配的であるとして、拡散反射成分のフィッティング誤差Ｅｄと鏡面反射成分のフィッティング誤差Ｅｓのいずれか誤差が少ない方の法線情報を選択する。また、法線情報統合部２７５は、周囲の法線情報との誤差を判別して、誤差が少ない方の法線情報を選択してもよい。また、法線情報統合部２７５は、これらの方法を組み合わせて法線情報の選択を行ってもよく、他の方法も組み合わせて法線情報の選択を行うようにしてもよい。さらに、鏡面反射成分の法線情報が選択されて、上述のように２つの天頂角θｓ１，θｓ２が判別されている場合、法線情報統合部２７５は、拡散反射成分の法線情報で示された天頂角θｄとの角度差が少ない方の天頂角を、天頂角θｓ１，θｓ２から選択する。

　このようにして、図２８に示す法線推定部２０４は、鏡面反射成分と拡散反射成分を判別してより高い精度の法線情報、すなわち高精度法線情報を生成することが可能となる。
　図２８に示す法線推定部２０４が生成した高精度法線情報は、図２３に示す高精度デプス生成部２０５に出力される。

　高精度デプス生成部２０５は、先に図２０を参照して説明した画像処理装置２００の高精度デプス生成部２０５と同様の処理を実行する。
　すなわち、解像度調整部２３１におけるデプス情報と法線情報の解像度調整処理、不定性解消部２２１による法線情報の不定性解消処理を実行し、その後、統合処理部２２２において、デプス情報と法線情報の統合処理により高精度デプス情報２１０の生成を行う。

　統合処理部２２２では、先に図１７を参照して説明した処理を実行する。なお、この統合処理においては、高精度法線情報生成部２６３が生成した高精度法線情報が利用されることになり、より精度の高い高精度デプス情報２１０の生成、出力処理が可能となる。

　　［７．画像処理装置の実行する色情報を適用した高精度デプス情報の生成シーケンスについて］
　次に、図２３に示す画像処理装置２４０の実行する高精度デプス情報の生成処理シーケンスについて、図３０に示すフローチャートを参照して説明する。
　なお、図３０に示すフローに従った処理は、図２３に示す画像処理装置２４０の制御部の制御の下で実行される。
　画像処理装置２４０は、プログラム実行可能な例えばＣＰＵ等を有するデータ処理部を有し、データ処理部において画像処理装置２４０の記憶部に格納されたプログラムを実行して、図２３に示す各処理部に対する処理実行命令の出力や処理タイミング制御等を行い、図３０に示すフローに従った処理を実行する。
　以下、図３０に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　画像処理装置は、まず、ステップＳ２０１において、図２３に示す画像処理装置２４０のＴＯＦ情報／偏光情報／色情報取得部２４１による画像撮影を実行する。
　なお、画像は、静止画、動画のどちらでもよい。
　静止画を撮影した場合は撮影静止画に対して、以下の処理を実行する。動画を撮影する場合は、動画を構成するフレーム画像単位で、以下の処理を実行することが可能である。

　ＴＯＦ情報／偏光情報／色情報取得部２４１は、図２４～図２５を参照して説明したＴＯＦ情報／偏光情報撮像素子２５０による画像撮影を実行する。ＴＯＦ情報／偏光情報／色情報撮像素子２５０は、ＴＯＦ画素と、偏光画素としてのＲＧＢ画素の積層構成を有し、１回の撮影で同一視点からのＴＯＦ情報とＲＧＢ各色の偏光情報を取得することが可能である。

　　（ステップＳ２０２）
　次に、ステップＳ２０２において、図２３に示す画像処理装置２４０のデプス推定部２０３が、ＴＯＦ情報を入力してデプス情報を生成する。

　なお、算出するデプスは、ＴＯＦ情報／偏光情報／色情報取得部２４１の有する撮像素子、すなわち、図２４、図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０中の近赤外（ＩＲ）光光電変換素子、すなわちＴＯＦ画素１つについて１つのデプスデータであり、デプス推定部２０３は、ＴＯＦ情報／偏光情報／色情報撮像素子２５０に含まれるＴＯＦ画素数分に相当する複数のデプス情報を算出する。
　さらに、デプス推定部２０３は、被写体各領域におけるデプス情報を、被写体位置情報に対応づけたデータであるデプスマップを生成して高精度デプスマップ生成部２０５に出力する。

　　（ステップＳ２０３）
　次に、ステップＳ２０３において、図２３に示す画像処理装置２４０の法線推定部２０４が、偏光情報を入力して法線情報を生成する。
　本実施例では、法線推定部２０４は、図２６、または図２８を参照した構成を有し、偏光情報を入力して、鏡面反射成分と拡散反射成分を分離し、分離結果を利用した
高精度法線情報を生成する。

　法線推定部２０４は、ＴＯＦ情報／偏光情報／色情報取得部２４１の有する撮像素子、すなわち、図２４、図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０中のＲＧＢ画素の出力信号、すなわちＲＧＢ各色の偏光画像を入力して、これらを利用した法線算出処理を実行する。

　法線算出処理においては、先に、図２６～図２９を参照して説明したように、被写体表面における鏡面反射成分と拡散反射成分を、色情報を利用して判別し、鏡面反射成分の除去、あるいは、鏡面反射成分と拡散反射成分の重みづけ加算によって高精度な法線情報を算出する。

　　（ステップＳ２０４）
　次に、ステップＳ２０４において、図２３に示す画像処理装置２４０の高精度デプス生成部２０５の解像度調整部２３１が、デプス情報と偏光情報との解像度を一致させる解像度調整処理を実行する。

　　（ステップＳ２０５）
　次に、ステップＳ２０５において、図２３に示す画像処理装置２４０の高精度デプス生成部２０５の不定性解消部２２１が、解像度一致処理後の法線情報の不定性解消処理を実行する。

　　（ステップＳ２０６）
　最後に、ステップＳ２０６において、図２３に示す画像処理装置２４０の高精度デプス生成部２０５の統合処理部２２２が、デプス情報と、不定性の解消された正しい法線情報の統合処理を実行して、高精度デプス情報を生成する。

　　［８．その他の実施例について］
　上述した実施例では、撮像素子として２種類の撮像素子を適用した構成と処理について説明した。以下の２種類の撮像素子である。
　（Ａ）、図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５である。
　（Ｂ）図２４～図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０である。

　本開示の高精度デプス情報生成処理において適用可能な撮像素子は、これら２種類以外にも様々な構成が可能である。
　図３１、図３２を参照して本開示の高精度デプス情報生成処理において適用可能な撮像素子の構成例について説明する。

　図３１には、先に、図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５の複数の変形例を示している。
　図１０～図１３を参照して説明したＴＯＦ情報／偏光情報撮像素子１０５は、４×４の偏光画素領域に１つのＴＯＦ画素を積層した構成である。

　図３１には、以下の（１）～（４）の変形例を示している。
　（１）１ＴＯＦ画素／４偏光画素積層型
　（２）１ＴＯＦ画素／１偏光画素積層型
　（３）１ＴＯＦ画素／２×４偏光画素積層型
　（４）ＴＯＦ画素／偏光画素並列配置型

　（１）１ＴＯＦ画素／４偏光画素積層型は、１つのＴＯＦ画素に対して、２×２＝４個の偏光画素を積層した構成を持つＴＯＦ情報／偏光情報撮像素子である。
　（２）１ＴＯＦ画素／１偏光画素積層型は、１つのＴＯＦ画素に対して、１つの偏光画素を積層した構成を持つＴＯＦ情報／偏光情報撮像素子である。
　（３）１ＴＯＦ画素／２×４偏光画素積層型は、１つのＴＯＦ画素に対して、２×４＝８個の偏光画素を積層した構成を持つＴＯＦ情報／偏光情報撮像素子である。

　（４）ＴＯＦ画素／偏光画素並列配置型は、１つのＴＯＦ画素の周囲に偏光画素を並列配置した構成を持つＴＯＦ情報／偏光情報撮像素子である。
　この並列配置型の構成では、偏光画素が検出する光は可視光に限らず、ＴＯＦ画素と同様の近赤外光を検出する構成とすることができる。

　これら（１）～（４）のＴＯＦ情報／偏光情報撮像素子は、いずれもほぼ同一視点からのＴＯＦ画像と偏光画像を取得し、ＴＯＦ画像に基づくデプスマップと、偏光画像に基づく法線情報を取得可能であり、取得したデプスマップと、法線情報の統合処理により、高精度デプスマップを生成することが可能となる。
　これら（１）～（４）のＴＯＦ情報／偏光情報撮像素子は、いずれも先に説明した図１４、図１８、図２０の画像処理装置２００のＴＯＦ情報／偏光情報取得部２０１を構成するカメラに内蔵する撮像素子として利用することができる。

　次に、図３２を参照して、先に、図２４～図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０の複数の変形例について説明する。
　図２４～図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０は、４×４の偏光画素領域に１つのＴＯＦ画素を積層した構成であり、かつ、各偏光画素は、ＲＧＢ各色の偏光画像を取得可能な構成である。

　図３２には、以下の（１）～（２）の変形例を示している。
　（１）ＲＧＢ画素並列配置型
　（２）ＴＯＦ画素／ＲＧＢ偏光画素並列配置型

　（１）ＲＧＢ画素並列配置型は、１つのＴＯＦ画素に対して、２×２＝４個の偏光画素を積層した構成である点は、図２４～図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０と同様である。

　ただし、図２４～図２５を参照して説明したＴＯＦ情報／偏光情報／色情報撮像素子２５０は、１つの偏光画素に対してＲＧＢ全色の偏光画像を取得する構成であるが、図３２（１）に示するＲＧＢ画素並列配置型は、１つの偏光画素領域で取得可能な色情報はＲＧＢいずれか一色となる。
　ＲＧＢ各色は、２×２の偏光画素単位で配列されている。なお、この色配列はベイヤ配列であり、従来からのカメラに多く用いられている。

　（２）ＴＯＦ画素／ＲＧＢ偏光画素並列配置型は、１つのＴＯＦ画素の周囲に偏光画素を並列配置した構成を持ち、かつ、ＲＧＢ各色は、（１）と同様、２×２の偏光画素単位で配列した構成である。

　これら（１）～（２）のＴＯＦ情報／偏光情報／色情報撮像素子は、いずれもほぼ同一視点からのＴＯＦ画像とＲＧＢ各色の偏光画像を取得し、ＴＯＦ画像に基づくデプスマップと、ＲＧＢ偏光画像に基づくＲＧＢ各色対応の偏光情報を取得可能である。

　ＲＧＢ各色対応の偏光情報を利用することで、先に図２６～図２９を参照して説明した反射光成分と拡散光成分の分離処理が可能となり、これらの分離結果を用いた高精度な法線情報を取得することが可能となる。さらに、取得したデプスマップと、高精度法線情報の統合処理により、高精度デプスマップを生成することが可能となる。
　これら（１）～（２）のＴＯＦ情報／偏光情報／色情報撮像素子は、いずれも先に説明した図２３の画像処理装置２４０のＴＯＦ情報／偏光情報／色情報取得部２４１を構成するカメラに内蔵する撮像素子として利用することができる。

　　［９．画像処理装置のハードウェア構成例について］
　次に、図３３を参照して画像処理装置のハードウェア構成例について説明する。
　なお、図３３に示すハードウェア構成は、上述した実施例において説明した画像処理装置として利用可能な一構成例であるＰＣ（パーソナルコンピュータ）のハードウェア構成に相当する。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。なお、入力部３０６は画像撮像部を備えた構成してもよく、また撮像装置からの画像を入力する入力部を備えた構成としてもよい。
　ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。

　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

　　［１０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　複数の異なる偏光方向の偏光を通過させる複数の偏光子と、
　前記複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する偏光素子と、
　ＴＯＦ方式に従ったデプス（距離）情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子と、
　を有する撮像素子。

　（２）　前記偏光素子と、前記ＴＯＦ素子は、積層構成を有する（１）に記載の撮像素子。

　（３）　前記偏光素子と、前記ＴＯＦ素子は、並列配置構成を有する（１）に記載の撮像素子。

　（４）　１つの偏光子と、該１つの偏光子対応の１つの偏光素子によって規定される偏光画素の画素サイズは、
　１つのＴＯＦ素子によって規定されるＴＯＦ画素の画素サイズ以下である（１）～（３）いずれかに記載の撮像素子。

　（５）　１つのＴＯＦ素子によって規定される１つのＴＯＦ画素上に、
　複数の偏光素子が並列に配置され、
　さらに、前記複数の偏光素子各々の上に異なる偏光方向を有する偏光子が配置された構成を有する（１）または（２）に記載の撮像素子。

　（６）　前記偏光子は、少なくとも３種類の複数の異なる偏光方向の偏光を通過させる複数の偏光子によって構成されている（１）～（５）いずれかに記載の撮像素子。

　（７）　前記撮像素子は、２×２画素領域に４種類の異なる偏光方向の偏光を通過させる４種類の偏光子を有し、
　前記偏光素子は、前記４種類の偏光子の各々に対応して設定され、２×２画素領域で４種類の異なる偏光情報を取得する構成である（１）～（６）いずれかに記載の撮像素子。

　（８）　前記偏光素子は、可視光または近赤外光に基づく光電変換信号を出力し、
　前記ＴＯＦ素子は、近赤外光に基づく光電変換信号を出力する（１）～（７）いずれかに記載の撮像素子。

　（９）　前記偏光素子は、ＲＧＢ各色対応の可視光に基づく光電変換信号を出力する３種類の光電変換素子によって構成されている（１）～（８）いずれかに記載の撮像素子。

　（１０）　前記３種類の光電変換素子は、積層構成を有する（９）に記載の撮像素子。

　（１１）　偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行する撮像部と、
　前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出するデプス推定部と、
　前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出する法線推定部と、
　前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成する高精度デプス生成部、
　を有する画像処理装置。

　（１２）　前記高精度デプス生成部は、
　前記法線推定部の算出した法線情報を入力し、法線情報に含まれる不定性を解消する不定性解消処理を実行し、その後、前記デプス情報との統合処理を実行する（１１）に記載の画像処理装置。

　（１３）　前記高精度デプス生成部は、
　前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報の解像度を一致させる解像度調整処理を実行し、その後、前記デプス情報との統合処理を実行する（１１）または（１２）に記載の画像処理装置。

　（１４）　前記法線推定部は、
　前記偏光素子の出力信号から、鏡面反射成分と、拡散反射成分を分離して、分離信号に基づく高精度法線情報を算出する（１１）～（１３）いずれかに記載の画像処理装置。

　（１５）　前記偏光素子は、ＲＧＢ各色対応の可視光に基づく光電変換信号を出力する３種類の光電変換素子によって構成され、
　前記法線推定部は、
　前記偏光素子のＲＧＢ各色対応の偏光画像信号を利用して、鏡面反射成分と、拡散反射成分を分離して、分離信号に基づく高精度法線情報を算出する（１１）～（１４）いずれかに記載の画像処理装置。

　（１６）　前記撮像部内の撮像素子は、
　前記偏光素子と、前記ＴＯＦ素子との積層構成を有する（１１）～（１５）いずれかに記載の画像処理装置。

　（１７）　前記撮像部内の撮像素子は、
　前記偏光素子と、前記ＴＯＦ素子との並列配置構成を有する（１１）～（１５）いずれかに記載の画像処理装置。

　（１８）　前記撮像部内の撮像素子は、
　２×２画素領域に４種類の異なる偏光方向の偏光を通過させる４種類の偏光子を有し、
　前記偏光素子は、前記４種類の偏光子の各々に対応して設定され、２×２画素領域で４種類の異なる偏光情報を取得する構成である（１１）～（１６）いずれかに記載の画像処理装置。

　（１９）　画像処理装置において実行する画像処理方法であり、
　撮像部が、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行する撮像ステップと、
　デプス推定部が、前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出するデプス推定ステップと、
　法線推定部が、前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出する法線推定ステップと、
　高精度デプス生成部が、前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成する高精度デプス生成ステップ、
　を実行する画像処理方法。

　（２０）　画像処理装置において実行する画像処理を実行させるプログラムであり、
　撮像部に、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行させる撮像ステップと、
　デプス推定部に、前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出させるデプス推定ステップと、
　法線推定部に、前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出させる法線推定ステップと、
　高精度デプス生成部に、前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成させる高精度デプス生成ステップ、
　を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、距離（デプス）情報を取得するＴＯＦ画像と、法線情報を取得するための偏光画像を同一視点からの画像として取得し、高精度デプス情報を生成可能とした構成が実現される。
　具体的には、複数の異なる偏光方向の偏光を通過させる複数の偏光子と、複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する偏光素子と、ＴＯＦ方式に従ったデプス（距離）情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子を有する撮像素子を用いてＴＯＦ画像と偏光画像を取得し、これらを統合して高精度デプス情報を生成する。
　本構成により、距離（デプス）情報を取得するＴＯＦ画像と、法線情報を取得するための偏光画像を同一視点からの画像として取得し、高精度デプス情報を生成可能とした構成が実現される。

　　１０　ＴＯＦカメラ
　　１１　近赤外光照射部
　　１２　近赤外光撮像素子
　　２０　被写体
　　３０　ＴＯＦデプス
　　５０　カメラ
　　５２　偏光板
　　５５　法線
　　６０　画像処理装置
　　６１　ＴＯＦ情報取得部
　　６２　デプス推定部
　　６３　視点変換部
　　６４　偏光情報取得部
　　６５　法線推定部
　　６６　高精度デプス生成部
　　７１　視点変換パラメータ
　　７２　高精度デプス情報
　　８０　偏光画像撮影カメラ
　　８２　偏光画像撮像素子
　１０１　ＴＯＦ情報撮像素子
　１０２　偏光情報撮像素子
　１０５　ＴＯＦ情報／偏光情報撮像素子
　２００　画像処理装置
　２０１　ＴＯＦ情報／偏光情報取得部
　２０２　近赤外（ＩＲ）光照射部
　２０３　デプス推定部
　２０４　法線推定部
　２０５　高精度デプス生成部
　２１０　高精度デプス情報
　２２１　不定性解消部
　２２５　カメラ
　２２６　偏光板
　２２７　被写体
　２３１　解像度調整部
　２４１　ＴＯＦ情報／偏光情報／色情報取得部
　２５０　ＴＯＦ情報／偏光情報／色情報撮像素子
　２６１　補正処理部
　２６２　鏡面反射除去部
　２６３　高精度法線情報生成部
　２７１　補正処理部
　２７２　反射成分分離部
　２７３　鏡面反射法線算出部
　２７４　拡散反射法線算出部
　２７５　法線情報統合部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims

　複数の異なる偏光方向の偏光を通過させる複数の偏光子と、
　前記複数の偏光子各々に対応して設定された光電変換素子であり、各偏光子を介した入射光を受光して、偏光画像を取得する偏光素子と、
　ＴＯＦ方式に従った距離情報を取得するための被写体反射光を受光する光電変換素子であるＴＯＦ素子と、
　を有する撮像素子。
　前記偏光素子と、前記ＴＯＦ素子は、積層構成を有する請求項１に記載の撮像素子。
　前記偏光素子と、前記ＴＯＦ素子は、並列配置構成を有する請求項１に記載の撮像素子。
　１つの偏光子と、該１つの偏光子対応の１つの偏光素子によって規定される偏光画素の画素サイズは、
　１つのＴＯＦ素子によって規定されるＴＯＦ画素の画素サイズ以下である請求項１に記載の撮像素子。
　１つのＴＯＦ素子によって規定される１つのＴＯＦ画素上に、
　複数の偏光素子が並列に配置され、
　さらに、前記複数の偏光素子各々の上に異なる偏光方向を有する偏光子が配置された構成を有する請求項１に記載の撮像素子。
　前記偏光子は、少なくとも３種類の複数の異なる偏光方向の偏光を通過させる複数の偏光子によって構成されている請求項１に記載の撮像素子。
　前記撮像素子は、２×２画素領域に４種類の異なる偏光方向の偏光を通過させる４種類の偏光子を有し、
　前記偏光素子は、前記４種類の偏光子の各々に対応して設定され、２×２画素領域で４種類の異なる偏光情報を取得する構成である請求項１に記載の撮像素子。
　前記偏光素子は、可視光または近赤外光に基づく光電変換信号を出力し、
　前記ＴＯＦ素子は、近赤外光に基づく光電変換信号を出力する請求項１に記載の撮像素子。
　前記偏光素子は、ＲＧＢ各色対応の可視光に基づく光電変換信号を出力する３種類の光電変換素子によって構成されている請求項１に記載の撮像素子。
　前記３種類の光電変換素子は、積層構成を有する請求項９に記載の撮像素子。
　偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行する撮像部と、
　前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出するデプス推定部と、
　前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出する法線推定部と、
　前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成する高精度デプス生成部、
　を有する画像処理装置。
　前記高精度デプス生成部は、
　前記法線推定部の算出した法線情報を入力し、法線情報に含まれる不定性を解消する不定性解消処理を実行し、その後、前記デプス情報との統合処理を実行する請求項１１に記載の画像処理装置。
　前記高精度デプス生成部は、
　前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報の解像度を一致させる解像度調整処理を実行し、その後、前記デプス情報との統合処理を実行する請求項１１に記載の画像処理装置。
　前記法線推定部は、
　前記偏光素子の出力信号から、鏡面反射成分と、拡散反射成分を分離して、分離信号に基づく高精度法線情報を算出する請求項１１に記載の画像処理装置。
　前記偏光素子は、ＲＧＢ各色対応の可視光に基づく光電変換信号を出力する３種類の光電変換素子によって構成され、
　前記法線推定部は、
　前記偏光素子のＲＧＢ各色対応の偏光画像信号を利用して、鏡面反射成分と、拡散反射成分を分離して、分離信号に基づく高精度法線情報を算出する請求項１１に記載の画像処理装置。
　前記撮像部内の撮像素子は、
　前記偏光素子と、前記ＴＯＦ素子との積層構成を有する請求項１１に記載の画像処理装置。
　前記撮像部内の撮像素子は、
　前記偏光素子と、前記ＴＯＦ素子との並列配置構成を有する請求項１１に記載の画像処理装置。
　前記撮像部内の撮像素子は、
　２×２画素領域に４種類の異なる偏光方向の偏光を通過させる４種類の偏光子を有し、
　前記偏光素子は、前記４種類の偏光子の各々に対応して設定され、２×２画素領域で４種類の異なる偏光情報を取得する構成である請求項１１に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　撮像部が、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行する撮像ステップと、
　デプス推定部が、前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出するデプス推定ステップと、
　法線推定部が、前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出する法線推定ステップと、
　高精度デプス生成部が、前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成する高精度デプス生成ステップ、
　を実行する画像処理方法。
　画像処理装置において実行する画像処理を実行させるプログラムであり、
　撮像部に、偏光画像を取得する偏光素子と、ＴＯＦ方式に従った距離情報を取得するためのＴＯＦ画像を取得するＴＯＦ素子を有する撮像素子による画像撮影を実行させる撮像ステップと、
　デプス推定部に、前記撮像部から、前記ＴＯＦ素子の出力信号を入力して、被写体の距離情報であるデプス情報を算出させるデプス推定ステップと、
　法線推定部に、前記撮像部から、前記偏光素子の出力信号を入力して、被写体の法線情報を算出させる法線推定ステップと、
　高精度デプス生成部に、前記デプス推定部の算出したデプス情報と、前記法線推定部の算出した法線情報を統合して高精度デプス情報を生成させる高精度デプス生成ステップ、
　を実行させるプログラム。