JP6821028B2

JP6821028B2 - 撮像装置および画像データ読み出し方法

Info

Publication number: JP6821028B2
Application number: JP2019533870A
Authority: JP
Inventors: 征志中田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2017-08-04
Filing date: 2017-08-04
Publication date: 2021-01-27
Anticipated expiration: 2037-08-04
Also published as: US20200213487A1; US11252315B2; JPWO2019026287A1; WO2019026287A1

Description

本発明は撮影により被写空間の状態に係る情報を取得する技術に関する。

ユーザの体やマーカーをカメラで撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。撮影画像における像を検出し解析することにより、被写体やカメラ自体の位置や動きを取得したり被写体の属性を認識したりする技術は、ゲーム装置や情報端末に搭載されたカメラのみならず、防犯カメラ、車載カメラ、ロボット搭載カメラなどを含むシステムにおいても広く導入されている。

欧州特許出願公開第０９９９５１８号明細書

上述のような技術において、被写体までの距離を正確に特定することは常に重要な課題である。しかしながら一般に距離の情報を得るには、複雑なカメラシステムや多大な信号処理時間が必要となる。画像撮影とともに距離値を取得する代表的な技術として、ステレオカメラにより左右の視点から同時に撮影したステレオ画像を用い、その対応点の視差から三角測量の原理で距離を求める手法がある。この手法はステレオ画像から特徴点が検出できることが前提となるため、単色で平坦な面など特徴点が乏しい被写体の場合、精度が悪化したり距離が求められなかったりすることがある。

またステレオ画像の双方に同じ特徴点が表れている必要があるため、左右の視点の一方からのみ見える箇所についても距離値を得ることができない。さらにステレオカメラの出力データをそれぞれ処理する必要があり、単眼のカメラと比較し多くの処理リソースや消費電力を要する。

赤外線を照射し反射光を検出するまでの時間に基づき距離値を算出するＴＯＦ（Time Of Flight）や、ドット状の赤外線をパターン照射し、それを特徴点としてステレオ画像から距離を求めるなど参照光を用いた技術では、太陽光下で検出精度が悪化するという課題がある。参照光を利用しない場合も、室内か屋外か、照明の数や明るさなど、撮影環境における光の状態によって撮影画像が変化し、画像解析の精度に影響を与えることがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて、被写体に係る情報を容易かつ精度よく取得できる技術を提供することにある。本発明の別の目的は、撮影画像からの各種情報の取得を安定した精度で行える技術を提供することにある。

本発明のある態様は撮像装置に関する。この撮像装置は、マイクロレンズと、マイクロレンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を含む偏光子層と、偏光子層を透過した光を電荷に変換する単位である光電変換部と、を含む画素の配列において、１つの前記マイクロレンズに対応する画素領域を分割してなる複数の部分領域のそれぞれに、前記光電変換部を配置した画素を含む撮像素子を備えたことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は情報処理装置が、複数視点の撮影画像からそれぞれ取得された距離画像のデータを撮像装置から取得するステップと、複数視点の距離画像を統合することにより、被写体の３次元空間での位置に係る情報を生成するステップと、３次元空間での位置に係る情報を用いて出力データを生成し出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を用いて、被写体に係る情報を容易かつ精度よく取得できる。また、撮影画像からの各種情報の取得を安定した精度で行える。

本実施の形態における撮像装置の構成を概念的に示す図である。本実施の形態の撮像装置が備える画素の構造例を示す図である。本実施の形態の撮像素子における画素配列を例示する図である。本実施の形態におけるイメージセンサの構造の概略を示す図である。本実施の形態において、位相差により距離情報を取得する原理を説明するための図である。本実施の形態で取得される画像と焦点距離の関係を説明するための図である。図６のケースにおける焦点距離と位相差の関係を模式的に示す図である。本実施の形態における画像処理部の機能ブロックを示す図である。本実施の形態の画像処理部における撮影画像の変遷を模式的に示す図である。本実施の形態における画像処理部が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。本実施の形態における偏光子とフォトダイオードの位置的関係を説明するための図である。本実施の形態における撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示す図である。本実施の形態において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。本実施の形態において偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。本実施の形態において、偏光子を設ける画素値における偏光子のバリエーションを示す図である。本実施の形態において、一画素に設けるフォトダイオードのバリエーションを示す図である。本実施の形態において、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示す図である。本実施の形態において、被写体情報生成部が左右視点の距離画像を統合する処理を説明するための図である。本実施の形態において、撮像装置を移動させながら撮影することにより、３次元空間における被写体の状態情報を取得する手法を説明するための図である。本実施の形態における、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示す図である。

図１は、本実施の形態における撮像装置の構成を概念的に示す図である。撮像装置１２は、結像光学系１４、絞り１８、撮像素子２０、および画像処理部２２を含む。結像光学系１４は被写体の像を撮像素子２０の撮像面に結像させる合焦レンズを含む一般的な構成を有する。なお図では１枚のレンズで代表させて示している。絞り１８は開口部を有し、その口径を変化させることにより、入射する光の量を調整する一般的な構成を有する。

撮像素子２０は画素の２次元配列を含み、入射した光の強さを電荷に変換して画像処理部２２に出力する。本実施の形態における画素は少なくとも、マイクロレンズ、偏光子、フォトダイオードを一体的に積層させた構造を有する。ここで１つのマイクロレンズに対し複数のフォトダイオードを設けることにより、入射光を２つの画像に分割してなる位相差画像を取得する。以後の説明では１つのマイクロレンズに対応する領域を１つの画素領域とする。

つまり１画素に対し複数のフォトダイオードを設ける。なおフォトダイオードは入射した光の強度を電荷に変換する機構の代表例であるが、本実施の形態をこれに限る趣旨ではない。すなわちフォトダイオードの代わりにいかなる光電変換機構を採用しても、本実施の形態を同様に実現でき、光を電荷に変換する１単位の機構を各フォトダイオードの代わりに用いることができる。また偏光子は全ての画素に設けてもよいし、一部の画素に離散的に設けてもよい。

画像処理部２２は、撮像素子２０から出力された光の輝度の２次元分布を用いて画像処理を行い、一般的なカラー画像と、被写体までの距離を画素値として表した距離画像を生成する。なお撮像装置１２にはさらに、ユーザによる操作手段と、操作内容に応じて撮影動作や撮影条件の調整動作などを実行する機構が設けられていてよい。また撮像装置１２は、ゲーム機など外部の情報処理装置と、有線または無線により通信を確立し、生成したデータを送信したりデータ送信要求などの制御信号を受信したりする機構を有していてよい。ただしこれらの機構は一般的な撮像装置と同様でよいため説明は省略する。

図２は撮像装置１２が備える画素の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。また同図では隣接した２画素分の断面構造を例示している。画素１１０はマイクロレンズ層１１２、カラーフィルタ層１１４、偏光子層１１６、および光電変換層１１８を含む。マイクロレンズ層１１２は画素ごとに設けられ、絞り１８を経て入射した光を集光する。

カラーフィルタ層１１４は、画素ごとに異なる色の光を透過する。偏光子層１１６は、複数の線状の導体部材、例えばタングステンやアルミなどの部材（ワイヤ）を入射光の波長より小さい間隔でストライプ状に配列させたワイヤグリッド型偏光子を含む。マイクロレンズ層１１２により集光されカラーフィルタ層１１４を透過した光が偏光子層１１６に入射すると、偏光子のラインと平行な方向の偏光成分は反射され、垂直な偏光成分のみが透過する。

透過した偏光成分を光電変換層１１８で電荷に変換することにより偏光輝度が取得される。図示するようなワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などに開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。なお同図では偏光子として、図面の奥行き方向に伸張するワイヤの断面を表しているが、偏光子の主軸角度は４通りとし、それに応じてワイヤの向きも異なる。

また図示するように偏光子層１１６には、画素によって偏光子を備える領域と備えない領域があってよい。偏光子を設けない領域では、カラーフィルタ層１１４を透過した光がそのまま光電変換層１１８に入射する。光電変換層１１８は一般的なフォトダイオードを含み、入射した光を電荷として出力する。上述したように本実施の形態では、１つのマイクロレンズに対しフォトダイオードを複数設けることにより、合焦レンズの異なる領域を透過した光を別々に電荷に変換する。

そのようにして検出した光の位相差に基づき焦点検出を行う技術は位相差オートフォーカスの一手法として実用化されている（例えば特開２０１３−１０６１９４号公報参照）。本実施の形態では当該位相差を利用して被写体までの距離を取得する。１画素に設けた複数のフォトダイオードによる検出値を合計すれば、一般的な撮像装置における１画素分の輝度が得られる。すなわち図２に示した画素の構成によれば、一般的なカラー画像、距離画像、偏光画像を同時に得ることができる。

図３は、撮像素子２０における画素配列を例示している。同図は撮像素子２０の一部の領域を上面から見たときの各層の組み合わせを模式的に示しており、縦長の長方形が１つのフォトダイオード（例えばフォトダイオード１２０）を示している。左右２つのフォトダイオードの対が１画素（例えば画素１２２）に対応する。またカラーフィルタ層１１４におけるカラーフィルタはベイヤ配列とし、画素ごとに赤、緑、青のいずれかの光を検出する。図ではそれぞれ「Ｒ」、「Ｇ」、「Ｂ」の文字で示している。

また太線枠で示した画素１２４ａ、１２４ｂには偏光子を設ける。これらの画素１２４ａ、１２４ｂにおける太い斜線は偏光子を構成するワイヤを示している。すなわち画素１２４ａ、１２４ｂは、異なる主軸角度の偏光子を備えている。図では主軸角度が互いに直交する２種類の偏光子が例示されているが、さらに別の画素を利用して、４５°おきの主軸角度を有する４種類の偏光子を設ける。

各偏光子は、ワイヤの方向に直交する方向の偏光成分を透過する。これにより下層に設けたフォトダイオードは、４５°おきの４方向の偏光成分の輝度を表す電荷を出力する。当該画素から偏光輝度のみを得る場合は、１画素に設けた２つのフォトダイオードからの検出値を合計してよい。ベイヤ配列においては緑（Ｇ）に割り当てられる画素の密度が最も高いため、この例では、偏光子を設ける画素を緑の画素としている。

これにより、偏光子を設ける画素を比較的近接させることができ、同じ色の複数方位の偏光輝度を高い分解能で得ることができる。これを偏光方位ごとに分離して補間することにより４方向の偏光画像が得られる。当該偏光画像を利用すれば、被写体表面の法線ベクトルを求めることができる。法線ベクトルは被写体表面の微小面積の傾斜を表していため、これを利用すれば、位相差に基づき取得される、特徴点における距離値を補間できる。同じ撮像装置１２による同一視点の撮影画像から、位相差による距離値と法線ベクトルが同時に得られるため、位置合わせ等の必要なく正確な補間を実現できる。

なお画像表示などの目的でカラー画像を用いることがない場合、画素１１０からカラーフィルタ層１１４を除いた構成としてもよい。この場合、輝度画像、距離画像、および法線画像を得ることができる。あるいはカラーフィルタを、シアンやマゼンダなどの染料系フィルタとしてもよい。また図３に示した配列はあくまで例示であり、本実施の形態の画素配列をこれに限る趣旨ではない。例えば偏光子を設ける画素の密度をさらに高くしてもよいし、全ての画素に偏光子を設けてもよい。

図４は本実施の形態におけるイメージセンサの構造の概略を示している。イメージセンサ１７０は画素部１７２と、周辺回路としての行走査部１７４、水平選択部１７６、列走査部１８０、制御部１７８を含む。画素部１７２は図２で示したような画素をマトリクス状に配列させてなる。

光電変換層１１８における各フォトダイオードは、行ごとに行走査部１７４、列ごとに水平選択部１７６および列走査部１８０に接続されている。行走査部１７４はシフトレジスタやアドレスデコーダなどによって構成され、各画素を行単位で駆動する。行走査部１７４によって選択走査された画素から出力される信号は水平選択部１７６に供給される。水平選択部１７６は、アンプや水平選択スイッチなどによって構成される。

列走査部１８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部１７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部１８０による選択走査により、水平選択部１７６に供給された各画素からの信号が外部へ出力される。制御部１７８は、タイミング信号を生成し、水平選択部１７６および列走査部１８０などの駆動タイミングを制御する。

本実施の形態のある態様では、偏光子を含む画素と含まない画素が存在する。この場合、偏光子を含む画素は入射光の一部を反射するため、偏光子を含まない画素よりフォトダイオードに到達する光の強度が小さくなる。また、偏光子を含む画素と含まない画素とでは、前者の方が得られる情報が多くなる。これらのことを考慮し、図示するような周辺回路を偏光子の有無によって２つに分け、データ読み出しのタイミングや間隔を独立に制御できるようにしてもよい。

例えば偏光子を含む画素のフレームレートを小さくし、電荷の蓄積時間を他の画素より長くすることにより、画像平面全体で同レベルの輝度が得られるようにする。このようにすると、偏光子の有無にかかわらず画像全体を均一に扱える。あるいは逆に、偏光子を含む画素のフレームレートを高くしてもよい。この場合、高レートで出力される偏光の輝度分布を用いて、法線ベクトルの分布を高い頻度で求めることにより、被写体の面の動きの検出感度を上げることができる。データ読み出しのタイミングをどのように制御するかは、後段の処理内容や求められる検出感度などに応じて決定してよい。

図５は、位相差により距離情報を取得する原理を説明するための図である。同図は被写体１３０からの光が、結像光学系１４の合焦レンズ１３２を経て撮像素子２０の撮像面１３４に入射する経路を、撮像空間の上側から見た状態を示している。状態（ａ）、（ｂ）、（ｃ）は、撮像面１３４から被写体１３０までの距離が異なり、状態（ｂ）における被写体１３０が、ピントが合った位置、すなわちピント面１３８にあるとする。

つまり状態（ｂ）では、図示するように、被写体１３０の一点から出た光が、撮像面１３４において一点に結像する。したがって被写体１３０の一点は１つの画素に対応し、１画素に２つのフォトダイオードを設けても、それらにより検出される光束は被写体１３０の略同一の点からのものである。一方、被写体１３０が状態（ａ）のようにピント面１３８より奥にあったり、状態（ｃ）のようにピント面１３８より手前にあったりすると、光が一点に結像する位置が撮像面１３４からずれる。

その結果、合焦レンズ１３２を左右（図の上下）に２分割してなる領域のどちらを通過したかで、その光束を捉える画素にずれが生じる。図の右側に拡大して示すように、マイクロレンズ１３６を透過した光のうち図の上側からの光は図の下側のフォトダイオード１３８ｂを介して、図の下側からの光は図の上側のフォトダイオード１３８ａを介して検出される。以後、フォトダイオードの対のうち、撮像面から見て左側のフォトダイオード（例えばフォトダイオード１３８ａ）を左フォトダイオード、右側のフォトダイオード（例えばフォトダイオード１３８ｂ）を右フォトダイオードとも呼ぶ。

結果として、各画素のうち左フォトダイオードにより検出された輝度のみを抽出してなる画像と、右フォトダイオードにより検出された輝度のみを抽出してなる画像とでは、光束を捉える画素のずれに応じたずれが生じる。当該ずれ量は、被写体１３０とピント面１３８との距離に依存する。また被写体１３０がピント面１３８より撮像面１３４に近いか遠いかで、ずれる方向が逆転する。以後、左フォトダイオードおよび右フォトダイオードにより検出された輝度をそれぞれ画素値とする２つの画像を「位相差画像」、両者における同じ被写体の像のずれ量を「位相差」と呼ぶ。

図６は、本実施の形態で取得される画像と焦点距離の関係を説明するための図である。同図は、顔と立方体が存在する空間を撮影したときの位相差画像を模式的に示しており、左右の画像のうち左が左フォトダイオードにより検出された画像、右が右フォトダイオードにより検出された画像である。このうち（ａ）は、顔に焦点が合っている場合である。この場合、顔の像は位相差画像の双方において左端からＢの距離にあり位相差が生じていない。一方、立方体の像には（Ａ’−Ａ）の位相差が生じている。（ｂ）は立方体に焦点が合っている場合である。この場合、立方体の像は位相差画像の双方において画像の左端からＡの距離にあり位相差が生じていない。一方、顔の像にはＢ’−Ｂの位相差が生じている。

上述のとおり、被写体が焦点距離より近いか遠いかでずれる方向が逆になるため、位相差は負の値をとり得る。図７は、図６のケースにおける焦点距離と位相差の関係を模式的に示している。図の実線は顔の位相差、破線は立方体の位相差を、焦点距離に対する変化として示している。ただし実際には光学系の様々な要因により、位相差の特性は図示するものに限らない。焦点距離がＦ１のとき、図６の（ａ）で示したように顔の位相差は０であり、立方体にはＡ’−Ａの位相差が生じる。焦点距離がＦ２のときは、図６の（ｂ）で示したように立方体の位相差は０であり、顔にはＢ’−Ｂの位相差が生じる。

すなわち被写体までの距離が固定値のとき、焦点距離によって位相差が一意に定まる。換言すれば、焦点距離と位相差が定まれば、被写体までの距離を特定できる。焦点距離は、一般的な撮像装置における合焦機能と同様に取得できる。また焦点距離（ピント面）からの被写体の距離と位相差との関係は、既知の距離にある被写体を実際に撮影した画像から実験的に求めたものをテーブルとして準備しておく。これにより、観測された位相差に基づきピント面からの距離を求め、さらに焦点距離を加算することで、撮像面から被写体までの距離を算出できる。

次に、偏光画像から法線ベクトルを得る手法について説明する。複数方向の偏光成分の画像を利用して被写体の様々な情報を取得する技術は従来、研究が進められている。被写体表面の法線ベクトルを求める方法についても、例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９−５８５３３号公報などに開示されており、本実施の形態ではそれらを適宜採用してよい。以下、概要を説明する。

まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

ここでｎは対象物の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θ_ｐｏｌとの関係から、当該画素に写る対象物の法線ベクトルが求められ、像全体として法線ベクトル分布を得ることができる。例えばゲームのコントローラなど対象物を限定できる態様においては、その色や材質に基づき鏡面反射と拡散反射のうち適切なモデルを採用することにより、より高い精度で法線を求めることができる。一方、鏡面反射と拡散反射を分離する手法が様々に提案されているため、そのような技術を適用してより厳密に法線を求めてもよい。

図８は、本実施の形態における画像処理部２２の機能ブロックを示している。同図及び後述する図１７、図２０に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、バッファメモリなどの構成で実現でき、ソフトウェア的には、メモリに格納されるプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理部２２は、撮像素子２０から輝度の２次元データを取得し所定の前処理を実施する画素値取得部３２、実際の焦点距離を取得する焦点距離取得部３０、位相差に基づき距離画像を生成する特徴点距離取得部３４、複数方位の偏光輝度から法線画像を生成する法線画像生成部３６、位相差に基づく距離値を、法線ベクトルを用いて補完し距離画像を生成する距離画像生成部３８、画素値の欠陥を補正する欠陥補正部４０、デモザイク処理によりカラー画像を生成するカラー画像生成部４２、および、距離画像とカラー画像のデータを出力する出力部４４を備える。

画素値取得部３２は、撮像素子２０が検出した輝度信号を２次元データとして取得し、Ａ／Ｄ変換、クランプ処理など所定の前処理を施す。焦点距離取得部３０は、撮像装置２が備える図示しない合焦機能などにおいて取得されている焦点距離をメモリから読み出す。焦点距離の調整が可能な環境においては、焦点距離が変化する都度、そのデータを読み出す。焦点距離を固定とする装置においては、その設定値を初期に取得しておく。

特徴点距離取得部３４は、位相差検出部４６、距離値取得部４８、および距離対応テーブル５０を含む。位相差検出部４６は、画素値取得部３２が取得した画素値のうち、左フォトダイオードおよび右フォトダイオードにより検出された画素値を分離して位相差画像を生成する。このとき、ベイヤ配列のまま全ての画素を処理対象としてもよいし、緑の画素のみを処理対象とするなどでもよい。そして両者の特徴点を抽出し、被写体における同じ特徴点を表す位置を特定することにより、特徴点ごとに位相差を取得する。

距離対応テーブル５０は、ピント面からの距離と位相差とを対応づけた距離対応テーブルを格納する。距離値取得部４８は、位相差検出部４６が取得した位相差に基づき距離対応テーブルを参照し、位相差に対応する距離値を取得する。そして焦点距離取得部３０から取得した焦点距離に加算することにより、撮像面からの距離の絶対値を特徴点ごとに取得する。

法線画像生成部３６は、画素値取得部３２が取得した画素値のうち、偏光子を備えた画素の値を抽出し、さらに偏光子の主軸角度ごとに分離、補間することにより、複数方位の偏光画像を生成する。このとき、一つの画素に設けられた２つのフォトダイオードによる検出値を合計して１つの画素値とする。また各方位の偏光輝度を補間することにより、画像平面上の同じ位置座標に対し複数方位の偏光輝度を取得する。そして方位に対する偏光輝度の変化に基づき、式１から式４を用いて法線ベクトルを算出する。

法線画像生成部３６は、画素ごとに得られた法線ベクトルの３要素を画素値とする法線画像を生成する。この画像は基本的には、撮影画像と同じ解像度を持つことができる。一方、法線ベクトルや後段の距離画像に求められる解像度によっては、撮影画像より低い解像度で法線画像を生成してもよい。

距離画像生成部３８は、特徴点距離取得部３４が生成した、特徴点に対する距離値を、法線画像生成部３６が生成した法線画像を用いて補完することにより、被写体表面の距離を画素値として表した距離画像を生成する。すなわち特徴点距離取得部３４は、位相差が判明するような被写体の像の輪郭や表面の模様などの特徴点については距離値を取得できるものの、単色で滑らかな物体表面など特徴点が抽出しづらい領域の距離を算出することが難しい。

一方、法線画像生成部３６は、物体表面の傾きを微小面積ごとに詳細に取得できる。したがって、特徴点距離取得部３４が取得した特徴点における距離値を始点として、法線画像生成部３６が取得した法線ベクトルに基づく傾斜を順次与えていくことで、法線ベクトルを得たのと同様の解像度で距離を求めることができる。欠陥補正部４０は、画素値取得部３２が取得した画素値のうち、偏光子を備える画素の画素値を補正する。

偏光子を備える画素は、偏光子の主軸角度と同じ方位の偏光成分を反射するため、フォトダイオードへ到達する光は、撮像面へ入射した光より強度が低くなっている。したがって当該画素の輝度を、周囲の画素と同程度のレベルになるように補正することで、カラー画像の一部の画素が黒点となるのを防ぐ。補正処理として、周辺の画素値を用いて補間してもよいし、偏光子による光量の低下割合を実験などにより求めておき、それに基づく定数を該当する画素値に乗算するようにしてもよい。なお欠陥補正部４０においても、一対のフォトダイオードによる検出値を合計し１つの画素値として扱う。

カラー画像生成部４２は、欠陥補正後の画像をデモザイク処理することにより、１画素が色の３要素の値を有するカラー画像を生成する。すなわち図３で示すようなベイヤ配列で得られている画素値を色ごとに補間することで、全ての画素が３要素を有するようにする。この処理には一般的なデモザイクの手法を適用できる。出力部４４は、少なくとも距離画像生成部３８が生成した距離画像のデータと、カラー画像生成部４２が生成したカラー画像のデータを取得し、順次外部の装置に送信する。

あるいは出力部４４は、メモリや記録媒体などにそれらのデータを一旦格納し、ユーザ操作などに応じた適切なタイミングで外部の装置に送信したり、ユーザが持ち出したりできるようにしてもよい。本実施の形態では、同程度の解像度でカラー画像と距離画像を同時に取得できるため、それらを用いて様々な情報処理を精度よく行える。例えば被写体の３次元空間での位置が、その色と共に判明するため、それらを一旦、仮想空間に配置し、ヘッドマウントディスプレイを装着したユーザの視点に応じて表示画像を再構成できる。このとき左視点用の画像と右視点用の画像を生成し、ヘッドマウントディスプレイの表示画面を２分割してなる左右の領域に表示すれば、仮想現実や拡張現実を実現できる。

なお出力部４４は、法線画像生成部３６が生成した法線画像をさらに出力してもよい。法線の情報は被写体の像そのものより高い感度で被写体の姿勢の変化を表すため、動き検出に用いることができる。なお図示するように撮像装置１２の画像処理部２２において、カラー画像とともに距離画像を生成できるようにすると、それを用いて各種処理を実施する情報処理装置の負荷を抑えられるとともに、当該装置での消費電力を抑えることができる。

一方、距離画像生成部３８や、特徴点距離取得部３４、法線画像生成部３６の少なくともいずれかを、撮像装置１２以外の情報処理装置に設けるようにしてもよい。あるいは図示するような機能の少なくとも一部の機能を有するロジック回路を画素配列の下層に設け、積層型のイメージセンサとしてもよい。これにより、当該イメージセンサ内で多くの画像処理が完結するため、処理を高速化できるとともに、後段の処理が軽量化され大型の演算器を設ける必要がなくなる。

図９は、画像処理部２２における撮影画像の変遷を模式的に示している。まず画素値取得部３２は画像２２０のような撮影画像のデータを取得する。図示する例では被写体として立方体が写っている。取得するデータは厳密には、左フォトダイオードおよび右フォトダイオードにより検出した、自然光あるいは偏光の輝度の情報を含む。特徴点距離取得部３４は上述のとおり特徴点の位相差を取得し、それと焦点距離とから特徴点に対する距離値のデータ２２２を生成する。

図示するデータ２２２は、距離値が小さいほど高い輝度とし、距離値が得られない箇所は最低輝度とする距離画像の形式で表している。この場合、被写体である立方体のうち輝度勾配の高いエッジ部分が特徴点として抽出され、さらに位相差画像における位相差が判明する部分のみ、距離値を得ることができる。図３で示すように、一対のフォトダイオードを、１画素の領域に対し左右に配置すると、位相差は画像平面の水平方向に表れる。そのためデータ２２２に示すように、水平方向のエッジについては正確な位相差が特定できず、距離値も不定となる。

一方、法線画像生成部３６は、複数方位の偏光画像を用いて法線画像２２４を生成する。図では立方体表面の法線ベクトルの分布の一部を矢印で示しているが、実際には法線ベクトルを画素単位で求めることができる。距離画像生成部３８は、位相差に基づく距離値のデータ２２２で得られているエッジ部分の距離を始点として、法線ベクトルに基づく表面の傾斜を画素単位で適用していく。その結果、データ２２２におけるエッジの間が平面であることや、距離値が得られなかった水平方向のエッジ部分を含めた表面の距離値が判明する。

これにより、立方体表面のうち撮影画像として見えている部分について、ワールド座標系における位置情報２２６を取得することができる。距離画像生成部３８は、このような３次元空間での被写体表面の位置座標に係る情報を生成してもよいし、画像平面に距離値を表した距離画像を生成してもよい。

次に、これまで述べた構成によって実現できる画像処理部２２の動作について説明する。図１０は、本実施の形態における画像処理部２２が、撮影された画像から各種データを生成、出力する処理手順を示すフローチャートである。まず画素値取得部３２は、撮像素子２０から、各フォトダイオードにより検出された輝度のデータを取得する（Ｓ１０）。得られた輝度データは、特徴点距離取得部３４、法線画像生成部３６、欠陥補正部４０に供給される。

特徴点距離取得部３４は、左フォトダイオードおよび右フォトダイオードにより検出された輝度を分離して位相差画像を生成し、特徴点の対応をとることで位相差を取得する（Ｓ１４）。そして位相差と焦点距離に基づき特徴点を構成する画素に対する距離値を特定する（Ｓ１６）。法線画像生成部３６は、偏光を検出している画素の値を抽出するとともにそれを偏光子の主軸角度ごとに分離し補間することで、複数方位の偏光画像を生成する（Ｓ１８）。そして同じ位置における偏光輝度の方位依存性を取得することにより、法線ベクトルを画素ごと、あるいはそれより大きい単位で算出し、法線画像を生成する（Ｓ２０）。

距離画像生成部３８は、位相差によって距離値が求められない箇所について、法線画像を用いて距離値を求めることにより、距離値が補完された距離画像を生成する（Ｓ２２）。一方、欠陥補正部４０は、偏光を検出している画素の輝度レベルを、その他の画素と同レベルとなるように増幅させる欠陥補正を行う（Ｓ２４）。カラー画像生成部４２は、補正されたベイヤ配列の画像をデモザイク処理することによりカラー画像を生成する（Ｓ２６）。

出力部４４は、カラー画像と距離画像のデータを順次、外部の装置あるいはメモリなどに出力する（Ｓ２８）。このとき同時に法線画像のデータも出力してよい。出力先の装置からの要求に従って出力対象を切り替えてもよい。ユーザ操作などにより撮影やデータ出力を終了させる必要がなければ、Ｓ１０からＳ２８までの処理を画像フレーム単位で繰り返す（Ｓ３０のＮ）。処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ３０のＹ）。

なお距離画像生成部３８がＳ２２において距離画像を生成する際は、所定数の複数の画像フレームに対し生成した距離画像を蓄積し、それらを平均化したデータをその時点での距離画像として、当該複数の画像フレームに対応する時間間隔で出力するようにしてもよい。これにより、１つの画像フレームから生成した距離画像に含まれるノイズ成分の割合を軽減でき、精度の高い距離画像を出力できる。距離画像を蓄積するフレーム数は、求められる精度や時間分解能などに鑑み実験などにより最適値を求めておく。あるいは実際の撮影画像の輝度レベルなどに応じて、フレーム数を適応的に変化させてもよい。

本実施の形態の撮像素子には、一対のフォトダイオードの上層に偏光子を設けた構造が含まれる。位相差を正確に求めるには一対のフォトダイオードで同等の輝度レベルを検出していることが前提となるが、偏光子のレイアウトによってはそのバランスが崩れることが考えられる。図１１は、偏光子とフォトダイオードの位置的関係を説明するための図である。図は偏光子層２３０ａ、２３０ｂ、２３０ｃとフォトダイオードの対２３２ａ、２３２ｂ、２３２ｃの積層構造の断面と、上面から見たそれらの位置関係２３４ａ、２３４ｂ、２３４ｃを示している。

まず（ａ）のように偏光子層２３０ａに偏光子を設けない画素の場合、入射光が損失なくフォトダイオードに到達する。したがってフォトダイオードの対により検出する輝度レベルは同等である。（ｂ）や（ｃ）のように偏光子層２３０ｂ、２３０ｃに偏光子が存在する画素では、偏光子のワイヤでの反射によりフォトダイオードに到達する光は入射光の５割ほどになる。２つのフォトダイオードによる検出値を合計して画素値とし、カラー画像を生成する際は、上述のとおり所定値を乗算したり周囲の検出値を用いて補間したりすることにより、周囲の画素と同等の輝度レベルにできる。

一方、（ｂ）のように偏光子のワイヤ配列が、画素の縦方向の中心線２３６に対し非対称となっていると、一対のフォトダイオード２３２ｂに相対するワイヤによる被覆面積が左右で異なってしまう。これにより、一対のフォトダイオード間で検出感度に差が生じることになる。このような画素を含めて位相差画像を生成すると、正確に位相差を検出できない可能性がある。ワイヤの面積比に基づく所定値を、感度が低い方のフォトダイオードによる検出値に乗算することによりレベルを均質化することも考えられるが、ノイズをも増幅してしまい位相差の精度が向上するとは限らない。

したがって（ｃ）に示すように、画素の縦方向の中心線２３６に対し対称となるように偏光子のワイヤを配列させることが望ましい。これにより、１つの画素内でフォトダイオードにより検出される輝度レベルへの偏光子による影響を軽減できる。偏光子による光の検出感度差は、撮像素子２０の面内における画素の位置によっても生じる。図１２は、撮像面上の異なる位置における偏光子のワイヤ配列を模式的に示している。

上段の側面図に示すように、撮像素子２０中心近傍の画素２４０ａでは、光がほぼ垂直に入射する一方、中心からの距離が大きくなるほど入射角度（ＣＲＡ；チーフレイアングル）が大きくなる。そのため周辺部ほど偏光子のワイヤによる実効的な遮蔽効果が大きくなり、光が入射しづらくなる結果、中心部と比較し光の検出感度が低くなる。このことは、上述した位相差画像における輝度レベルのバランスのみならず、偏光を用いた法線画像や、偏光輝度を補正して生成するカラー画像においても面内分布を生じさせる。

そのため好適には、撮像素子２０上の位置によって偏光子の形状を変化させ、フォトダイオードにおける検出感度を均一にする。図示する例では中心部の画素２４０ａと比較し、周辺部の画素２４０ｂ、２４０ｃの偏光子のワイヤの幅を細くすることで入射光の損失を少なくしている。実際には中心部からの距離に応じてワイヤ幅を徐々に細くしていく。あるいは中心からの距離に応じてワイヤ高を低くしたり、幅と高さの双方を変化させたりしてもよい。

またはワイヤの配列全体を、中心線に対し線対称に微小量だけシフトさせてもよい。例えば撮像素子２０上の左側の画素２４０ｂはワイヤ配列全体を左側へ、右側の画素２４０ｃはワイヤ配列全体を右側へシフトさせる。このようにしても光の入射量を角度に応じて高めることができる。ワイヤの幅、高さ、配列のシフト量は、実際の撮影画像において面内分布を最小限とするように値を最適化する。この際、図１１で説明したように、一対のフォトダイオードの感度差も最小となるようにする。

これまで述べた態様では、全てのフォトダイオードによる検出値を個々に読み出し、画像処理部２２において必要なデータを抽出したり補間したりした。この場合、一般的な画素値と比較し、データの読み出しに多くの時間を要し、フレームレートに制約が生じることが考えられる。そのため、読み出し単位を偏光子の有無によって異ならせ、読み出しに要する時間を短縮することが考えられる。図１３、図１４は、偏光子の有無によって読み出し単位を異ならせる場合の、データの単位と各種情報の生成経路を説明するための図である。

図１３の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６４として読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値をそれぞれ読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０における合算された検出値はそのままカラー画像の生成に用いることができる（Ｓ５０）。

偏光子を設けた画素２６２に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ５２）。またこの段階で各検出値を合算し、画素単位の値２６６とすることで（Ｓ５４）、偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ５６、Ｓ５８）。この場合、偏光子を設けた画素のみから、偏光情報と位相差情報を取得することになる。偏光子を設けた画素２６２の割合が低く、かつ比較的照度が高い環境においては、図示するような経路とすることにより、精度をある程度保ちつつ読み出し時間を削減でき、高速化を実現できる。

図１４の場合、偏光子を設けない画素２６０については、２つのフォトダイオードによる検出値をそれぞれ読み出す。一方、偏光子を設けた画素２６２については、２つのフォトダイオードによる検出値を合算し、画素単位の値２６８として読み出す。それらのデータは画素値取得部３２を経て各機能ブロックに供給される。偏光子を設けない画素２６０に対する２つのフォトダイオードのそれぞれにより検出された値は位相差画像の生成に用いる（Ｓ６０）。またこの段階で各検出値を合算し、画素単位の値２７０とすることで（Ｓ６２）、カラー画像の生成に用いる（Ｓ６４）。

偏光子を設けた画素２６２における合算された検出値はそのまま偏光画像の生成に用いたり、カラー画像における当該画素のカラー値の決定に用いたりする（Ｓ６６、Ｓ６８）。この場合、位相差情報は偏光子を設けた画素以外から取得することになる。この場合、図１３の場合と比較し位相差情報の感度を上げることができるため、照度が低い環境でも精度を維持することができる。このように偏光子の有無によって読み出し単位を異ならせることにより、必要な情報を取得しつつ読み出し時間を削減できる。

なお求められる情報の種類や精度、解像度によっては、図１３、図１４で示した処理を全て行わなくてもよい。例えば偏光子を設けた画素の値はカラー画像の生成には用いず、偏光子のない周囲の画素値を補間するようにしてもよい。また各種データに必要な精度や解像度、周囲の照明環境、処理時間の制限などに応じて、読み出し単位やデータ生成の経路を最適化してよい。照度を計測したりデータ伝送のための通信環境を計測したりして、その結果に応じて切り替えてもよい。

図１５は、偏光子を設ける画素値における偏光子のバリエーションを示している。まず（ａ）に示す４種類の画素は、これまで述べたように１画素に対し１つの主軸角度の偏光子を設けている。そして主軸角度を４５°おきに異ならせることにより、図示するような４種類の画素となる。これらの画素を等間隔、あるいは近接させて撮像素子２０に配置する。偏光子を設ける画素を分散させると、反射によって輝度レベルが低くなる画素も分散するため、偏光子を設けない画素によって位相差画像やカラー画像を生成した場合に、補間によって精度よく穴を埋めることができる。

一方、図示するような４種類の画素を２行２列の４画素などに近接させて配置すると、方位による偏光輝度の変化をほぼ同じ位置で正確に取得できるため、法線ベクトルの精度を高めることができる。（ｂ）に示す４種類の画素は、フォトダイオードの対の片方に対応する領域のみに、４方向の主軸角度の偏光子を設けている。この場合、偏光子のない状態での輝度を同じ画素領域の他方のフォトダイオードから取得できるため、偏光子によって低くなった輝度レベルを正確に増幅させることができる。

このようにすると位相差も比較的正確に取得できるため、撮像素子２０の全体を（ｂ）に示すような画素で構成することも考えられる。また（ｃ）に示す画素は、フォトダイオードの対に対応する領域のそれぞれに、主軸角度の異なる偏光子を設けている。図示する例では、主軸角度が９０°異なる偏光子をそれぞれ対とする２種類の画素を示している。

位相差から距離値を取得する処理は、左右のフォトダイオードによる検出値の分布を比較することを基本としている。一方、偏光情報から法線ベクトルを取得する処理は、主軸角度が異なる偏光子を透過してなる光の検出値を比較する処理を含む。そのため（ｃ）に示すような偏光子とすると、左右のフォトダイオードによる検出値を比較する点において、位相差を取得する処理と法線を取得する処理を共通化できるため、駆動回路をより単純化できる。

図１６は、一画素に設けるフォトダイオードのバリエーションを示している。これまで述べた例では、画素領域を縦方向に２分割した左右の領域に、フォトダイオードを１つずつ配置した。この場合、位相差は画像平面の水平方向のみに表れる。そのため図９で説明したように、水平方向のエッジなど一部の特徴点については位相差が不定となり距離値を得ることができない。そこで図示するように、１つの画素（例えば画素２８０）を縦横双方向に２分割してなる４つの領域に、フォトダイオードを１つずつ配置してもよい。

この場合、縦に隣接する２つのフォトダイオードによる検出値を合算すれば、これまで述べた左フォトダイオード、右フォトダイオードと同じ位相差画像が得られ、水平方向成分の位相差を取得できる。一方、横に隣接する２つのフォトダイオードによる検出値を合算すれば、上側のフォトダイオードと下側のフォトダイオードで位相差画像が得られ、垂直方向成分の位相差を取得できる。結果として、特徴点の方向によらず距離値を求めることができる。

なお図示する例では、各画素に１つの主軸角度の偏光子を設けているが、図１５に示したように、フォトダイオード単位で偏光子の主軸角度を異ならせたり、偏光子の有無を制御したりしてもよい。また偏光子のない画素についても、同様に４分割した領域ごとにフォトダイオードを設けてよい。そのような偏光子のない画素とある画素とを周期的に配置してもよい。

またカラーフィルタについても、画素内で同じ色としてもよいし、フォトダイオードごとに色を異ならせてもよい。このほか、横方向に２分割した上下の領域に１つずつフォトダイオードを設けてもよいし、画素領域を２行２列より細かく分割し、それぞれの領域にフォトダイオードを配置してもよい。

撮像装置１２の変形例として、これまで述べた構成を有する撮像装置を２つ設け、ステレオカメラとして実現させてもよい。図１７は、撮像装置をステレオカメラで構成したときの、システムの機能ブロックの構成を示している。このシステムは、撮像装置３００と情報処理装置３０２を含む。

撮像装置３００は、第１撮像部１２ａ、第２撮像部１２ｂを備える。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれ図１で示した撮像装置１２に対応し、それらを所定の間隔を有するように左右に配置することで撮像装置３００とする。以後の説明では第１撮像部１２ａを左視点、第２撮像部１２ｂを右視点のカメラとする。第１撮像部１２ａ、第２撮像部１２ｂはそれぞれが、図８で示した機能を有する画像処理部を備える。したがって撮像装置３００の第１撮像部１２ａからは左視点の距離画像とカラー画像のデータが、第２撮像部１２ｂからは右視点の距離画像とカラー画像のデータが出力される。

情報処理装置３０２は、撮像装置３００から画像のデータを取得する画像データ取得部３０４、それらを統合して被写体の位置や姿勢に係る総合的な情報を生成する被写体情報生成部３０６、およびその情報を用いて出力データを生成する出力データ生成部３０８を備える。画像データ取得部３０４は、少なくとも左右の視点のそれぞれに対し取得された距離画像とカラー画像のデータを撮像装置３００から取得する。

被写体情報生成部３０６は、撮像装置３００から取得した距離画像を統合することにより、被写体の位置、姿勢、形状などに係る最終的な情報を生成する。すなわち被写体のうち第１撮像部１２ａ、第２撮像部１２ｂの一方の視点からは見えない部分について、他方の距離画像を用いてデータを補填することにより、距離が不定の部分を最小限にする。被写体情報生成部３０６はさらに、左右視点のカラー画像あるいは左右視点の輝度画像を用いて三角測量の原理により別途、距離画像を生成し統合してもよい。

出力データ生成部３０８は、左右視点のカラー画像と距離画像を用いて表示画像など出力すべきデータを生成する。表示画像を生成する場合は、出力時にリニアマトリックス（カラーマトリックス）やガンマ補正など一般的な処理を施し表示装置に出力する。図１８は、被写体情報生成部３０６が左右視点の距離画像を統合する処理を説明するための図である。同図上段に示すように、２つの立方体３２２ａ、３２２ｂが存在する３次元空間３２０を左右の視点Ｌ、Ｒから撮影すると、左視点画像３２４ａおよび右視点画像３２４ｂが得られる。

第１撮像部１２ａおよび第２撮像部１２ｂが単独で距離値を取得できる領域は、それぞれ左視点画像３２４ａおよび右視点画像３２４ｂに像として表れる部分に限られる。図示する例では、立方体３２２ｂの左側面は左視点Ｌからのみ見え、立方体３２２ａの右側面は右視点Ｒからのみ見えるため、それらの距離値はどちらか一方の距離画像のみに含まれる。したがって被写体情報生成部３０６は、一方の距離画像で値が得られていない被写体上の領域に、他方の距離画像の値を当てはめることで、距離値が不定の領域を削減する。

その結果、３次元空間３２０により近いモデル空間を再現することができる。つまり被写体情報生成部３０６は、複数視点の距離画像を統合することにより、視点が１つに限定されないワールド座標系での被写体の位置に係る情報を生成できる。当該位置は、被写体表面の微少領域ごとに得られるため、結果として被写体の姿勢や形状についても求めていることになる。

なお両視点から見える領域については、２つの距離値が得られているため、それらの平均値を距離値とするなどにより精度を高めることができる。さらに被写体情報生成部３０６は、左右視点のカラー画像を用いて自らも距離画像を生成し、その結果をさらに統合してもよい。この場合、両視点から見える領域についてさらに距離値が得られるため、結果として当該領域については３つの距離値が得られることになる。それらの平均値を距離値とすれば、より精度を高めることができる。ただし要求される精度によっては、カラー画像を用いた距離画像の生成を省略することで処理時間を短縮できる。

なお被写体情報生成部３０６は、さらに別の手段により距離値の穴を埋めたり、精度をさらに高めたりしてもよい。例えばニューラルネットワークを用いた機械学習としてディープラーニング（深層学習）の技術が実用化されつつある。これを利用し、カラー画像における色やその変化、像の形状などから、距離値やその変化を導出できるように、被写体情報生成部３０６に学習させる。そして実際に取得されたカラー画像を用いて、撮像装置の視点から見えない領域の距離値を推定したり、見えている領域の距離値を補正して精度を高めたりしてもよい。

この手法は単眼の撮像装置１２が出力する距離画像のデータに対しても同様の効果を発揮するため、撮像装置１２と接続した図示しない情報処理装置に同機能を有する被写体情報生成部を設けてもよい。この機能は、撮像装置の視点が限定されている場合や輝度が十分でない撮影環境などにおいて、距離値が得られる領域を広げたり精度を高めたりするのに特に有効である。なお被写体情報生成部３０６を含む情報処理装置３０２の機能や、撮像装置３００の一部の機能を、ネットワークに接続されている他の装置に設けたり、複数の装置で分担させたりして演算を行わせてもよい。このとき情報処理装置３０２や図示しない表示装置は、その結果を順次取得し、それに応じて適宜自らの処理を行ったり画像を表示したりしてもよい。

また図１７で示したように、撮像装置３００をステレオカメラとすることで、単眼の撮像装置では見えない領域の距離値を得ることができる。これを発展させ、撮像装置１２を可動とすることで、距離値が得られる領域をさらに拡張させてもよい。図１９は、撮像装置１２を移動させながら撮影することにより、３次元空間における被写体の位置、姿勢、形状などの状態情報を取得する手法を説明するための図である。

図示する例は、被写体である立方体を中心とする円軌道で撮像装置１２を移動させる様子を示している。ここで撮像装置１２には加速度センサを設け、撮影時刻、撮影画像、および３次元空間での撮像装置１２の位置や姿勢を対応づけて記録していく。そして所定レートの各撮影時刻における視点に対し得られるカラー画像と距離画像に基づき、図１８の３次元空間３２０のようなモデル空間を、取得されたデータで埋めていく。このような処理は撮像装置１２内部の距離画像生成部３８で実施してもよいし、情報処理装置３０２の被写体情報生成部３０６で実施してもよい。

撮像装置１２の内部で実施するようにすると、情報処理装置３０２の処理の負荷を軽減でき、処理時間の増大を抑えられる。なお撮像装置１２の移動のさせ方は図示するものに限らない。例えば最終的に表示させたい画像に対する仮想視点の可動範囲と対応する範囲に限定して撮像装置１２を移動させてもよい。あるいは撮像装置１２を自転させることにより全方位に対し撮影画像を得るようにしてもよい。またこのように撮像装置１２を移動させながら取得したデータのうち、距離値については特徴点に対する値のみを蓄積していくなどの工夫によって、メモリ消費を抑えることができる。

あるいは撮像装置１２を移動させる代わりに、３つ以上の撮影画像を配置させても同様の情報を得ることができる。この場合も図示するのと同様に、光軸が被写体近傍に収束するように複数の撮像装置１２を向き合うように設置する。あるいはそれとは逆向きに、光軸が外側に発散するように撮像装置１２を設置してもよい、これらの場合は、同時刻におけるカラー画像と距離画像が複数の視野で得られるため、それらをスティッチング処理によりつなぎ合わせて広角の情報としてもよい。このとき、設置した複数の撮像装置のうちの一部のみ、図８で示した機能ブロックを有する撮像装置１２としてもよい。

例えば実空間において特に詳細な情報を得たい被写体を撮影する撮像装置のみ、距離画像を生成する機能を設け、それ以外の撮像装置はカラー画像のみを生成する。このようにすることで、例えば広いスタジアムの様子を全方位に渡り撮影しつつ、競技者などメインの被写体については位置や姿勢を詳細に求めることができる。これにより、加工や仮想オブジェクトの重畳など後段の処理を高精度に行うなど、処理リソースを必要な対象に集中させることができる。

本実施の形態の撮像素子の構成によれば、偏光子を透過した光を２つのフォトダイオードにより検出するため、偏光画像の位相差を取得することができる。これを利用すると、位相差を用いた合焦機能の精度を高めることができる。図２０は、偏光の位相差を利用して合焦する機能を有する撮像装置の機能ブロックを示している。撮像装置４００は、各フォトダイオードによる検出値を取得する画素値取得部４０２、偏光子を設けた画素の２つフォトダイオードによる検出値から偏光画像の位相差を検出する偏光位相差検出部４０４、および偏光の位相差に基づきレンズの位置を調整し適切な位置に合焦させる合焦部４０６を備える。

画素値取得部４０２は、少なくとも偏光子を備えた画素におけるフォトダイオードによる検出値を読み出し、Ａ／Ｄ変換やクランプ処理など所定の前処理を実施する。偏光位相差検出部４０４は、左フォトダイオードおよび右フォトダイオードにより検出される偏光輝度分布を分離し、それぞれに対し４方位の偏光画像を生成する。そして式２を用いて得られる偏光度を画像平面に表した偏光度画像、あるいは偏光度から得られる法線ベクトルを画像平面に表した法線画像を、位相差画像として生成する。図にはそのようにして生成された、偏光を用いた位相差画像４１０ａ、４１０ｂを示している。

また図の下段には、一般的な自然光の位相差画像４１２ａ、４１２ｂを比較用に示している。図示する例では円板状の被写体が写っている。被写体の表面が単色で比較的滑らかな形状の場合、一般的な自然光の位相差画像４１２ａ、４１２ｂでは、被写体の輪郭線が特徴点として得られる一方、被写体表面については情報が乏しい。照明によっては被写体表面に凹凸があっても輝度の変化が小さく特徴点として捉えられないこともある。そのためこれらの画像４１２ａ、４１２ｂの特徴点の位置を矢印に示すように特定し、その位相差から合焦させる場合、情報の乏しさから正確な調整ができないことが考えられる。

一方、偏光度あるいは法線ベクトルを表した位相差画像４１０ａ、４１０ｂは、被写体表面の起伏を表すため、自然光の画像より形状に対する感度が高く、照明の影響を受けにくい。そのため、見かけは一様な像であっても、図示するように形状に応じた変化が画像として表れる。したがって、矢印で示すように位相差の根拠となる特徴点の位置がより多く得られる。これらの位置関係を統合して位相差を導出し、それに基づき合焦処理を行えば、より正確かつ迅速な調整を実現できる。

合焦部４０６は一般的な合焦処理と同様、位相差に基づきレンズの適切な位置を導出し調整を実施する。なお図示した撮像装置４００は、合焦機能のみに着目した機能ブロックを示しているが、図８で示した画像処理部２２と組み合わせることにより、高精度に合焦させてなる輝度データに基づく距離画像やカラー画像を出力できるようにしてもよい。

以上述べた本実施の形態によれば、撮像素子として、１つのマイクロレンズに対し複数のフォトダイオードを設けるとともに、少なくとも一部のマイクロレンズとフォトダイオードの中間層に、偏光子を設けた構造とする。これにより偏光画像と位相差画像を同時に取得できる。そして位相差に基づき被写体の特徴点における距離を求め、偏光から得られる法線ベクトルを用いて特徴点の間の距離を補完することにより、単眼カメラでありながら撮影画像の広い領域に対し距離値を得ることができる。

一般的なステレオカメラを用いた測距技術では、一方の視点の画像に写っていても他方の視点の画像に写っていない被写体上の面については距離が不定になってしまう。本実施の形態の上記手法によれば、撮影画像に写っていれば距離を導出できるため、場合によってはステレオカメラを用いるより多くの距離データが得られる。このためステレオカメラの代わりとして用いることができ、測距機能を有する撮像装置を小型化できる。

また、そのような撮像装置をステレオカメラとして実現すれば、左右の撮影画像の結果を統合できるため、さらに広い範囲の距離値が得られ、３次元空間における被写体の位置や姿勢を精度よく再現できる。さらに左右視点のカラー画像を用いて従来どおり距離画像を求め統合することにより、距離情報の精度をより向上させることができる。これらの手法は赤外光など特定の波長帯の光に依存しないため、屋外などでも同様に情報を得ることができる。

また偏光子を設ける画素と設けない画素を適切に制御できるため、従来通りの輝度レベルでカラー画像や位相差画像を生成することができる。これにより、後段の処理が制限されるといったことなくあらゆる情報処理への応用が可能である。また、位相差に基づく距離値の取得、偏光に基づく法線画像の生成、および、それらを統合して距離画像を生成する処理は基本的に、画像平面の行単位あるいは数行単位で行えるため、ラインバッファを用いることにより撮像装置内の演算回路で実装できる。そのため各種データを用いた情報処理や表示処理を行う装置と機能を分担でき、高いフレームレートでの撮影や表示に対応させることができる。

さらに偏光の位相差を取得できるため、自然光の画像では特徴点として抽出されないような起伏の乏しい被写体表面であっても、形状の変化を特徴点として高い感度で抽出できる。したがって位相差の根拠となる情報を多く得ることができ、従来の合焦機能の精度をより高めることができる。なおステレオカメラとして実現する場合も、偏光度画像や法線画像を利用することにより、自然光の輝度画像より多くの特徴点が得られるため、左右視点の画像から対応点を取得することによる距離画像の生成精度も高めることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態ではフォトダイオードを用いたが、光を電荷に変換する機構であれば、検出主体はフォトダイオードに限らない。例えば一部、または全てのフォトダイオードを、有機光電変換膜としてもよい。例えば国際公開２０１４／１５６６５９号などに記載される公知技術を用いて、有機光電変換膜の材料や構造を適宜決定することができる。

また、赤外線など所定の波長帯の光を照射することによる測距技術と組み合わせてもよい。すなわち撮像装置１２に参照光を照射する機構を設け、フォトダイオードによってその反射光を検出する。参照光をランダムなパターンで照射することにより、特徴点の乏しい被写体表面でも特徴点を作り出すことができる。画像処理部における処理は本実施の形態と同様であるが、位相差の根拠となる特徴点が多いため、位相差に基づく距離値を、より多くの箇所で取得できる。したがって法線ベクトルを用いた補完の精度が向上し、より正確に距離の情報を得ることができる。撮像装置１２にさらに照度センサを設け、照度が所定値より低い場合に参照光を照射するようにして、照度低下による解析精度の悪化を防止してもよい。

さらに本実施の形態における撮像装置は、カラー画像の取得が主たる機能である一般的なカメラで実現してもよいし、撮像機能を有するその他の装置に設けてもよい。例えば高機能携帯電話、携帯端末、パーソナルコンピュータ、カプセル内視鏡、ウェアラブル端末などに設けてもよい。このような装置においてカラー画像を取得する必要がない場合、欠陥補正部４０やカラー画像生成部４２の機能を省略し、距離画像のみを出力するようにしてもよい。この場合、撮像素子のカラーフィルタ層を省略してもよい。

また本実施の形態の撮像素子は原則として、全ての画素領域を部分領域に分割し、それぞれにフォトダイオードを配置したが、部分領域に分割せず１つのマイクロレンズに対応させて１つのフォトダイオードを設けた画素が含まれていてもよい。例えば偏光子を設けた画素については１つのフォトダイオードを設けてもよい。この場合、位相差画像はその他の画素から取得する。あるいは逆に、偏光子を設けた画素のみ複数のフォトダイオードを設けてもよい。いずれの場合も、本実施の形態で述べた検出値の合算処理を省略して、同様の効果を得ることができる。

１２撮像装置、２０撮像素子、２２画像処理部、３０焦点距離取得部、３２画素値取得部、３４特徴点距離取得部、３６法線画像生成部、３８距離画像生成部、４０欠陥補正部、４２カラー画像生成部、４４出力部、４６位相差検出部、４８距離値取得部、１１０画素、１１２マイクロレンズ層、１１４カラーフィルタ層、１１６偏光子層、１１８光電変換層、３００撮像装置、３０２情報処理装置、３０４画像データ取得部、３０６被写体情報生成部、３０８出力データ生成部、４００撮像装置、４０２画素値取得部、４０４偏光位相差検出部、４０６合焦部。

以上のように本発明は、撮像装置、ゲーム装置、携帯端末、パーソナルコンピュータ、ウェアラブル端末など各種電子機器と、それを含むシステムなどに利用可能である。

Claims

マイクロレンズと、
前記マイクロレンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を含む偏光子層と、
前記偏光子層を透過した光を電荷に変換する単位である光電変換部と、
を含む画素の配列において、１つの前記マイクロレンズに対応する画素領域に、共通の波長帯の光を電荷に変換する複数の前記光電変換部を配置した画素を含む、撮像素子を備え、
前記偏光子層は、前記偏光子を備える画素領域と備えない画素領域を含み、
前記偏光子を備える画素領域と備えない画素領域のいずれか一方に備えた複数の光電変換部の電荷を合算して読み出すように制御する読み出し制御部をさらに備えたことを特徴とする撮像装置。
前記読み出し制御部は、前記偏光子を備える画素領域と備えない画素領域とで、電荷を読み出すタイミングを異ならせることを特徴とする請求項１に記載の撮像装置。
前記撮像素子の撮像面における位置によって、前記偏光子の形状および前記画素領域内での位置の少なくともいずれかが変化していることを特徴とする請求項１または２に記載の撮像装置。
前記偏光子層は、前記偏光子を備える各画素領域において、前記偏光子を備える領域と備えない領域を含むことを特徴とする請求項１から３のいずれかに記載の撮像装置。
前記偏光子層は、前記偏光子を備える各画素領域を分割してなる部分領域によって、主軸角度が異なる偏光子を含むことを特徴とする請求項１から３いずれかに記載の撮像装置。
各画素領域における同位置の前記光電変換部による検出値をそれぞれ抽出し、その分布を比較することにより被写体の特徴点の位相差を取得したうえ、当該位相差に基づき前記特徴点の距離値を特定する特徴点距離取得部と、
前記偏光成分の検出値に基づき被写体の法線ベクトルの分布を取得する法線画像生成部と、
前記特徴点の距離値と前記法線ベクトルの分布を用いて、被写体の距離情報を生成する距離画像生成部と、
を含む画像処理部をさらに備えたことを特徴とする請求項１から５のいずれかに記載の撮像装置。
前記特徴点距離取得部は、前記距離値を特定するのに用いる検出値の出力元を、前記偏光子を備える画素領域および前記偏光子を備えない画素領域のいずれかとすることを特徴とする請求項６に記載の撮像装置。
前記撮像素子と前記画像処理部を含む撮像部を、視点が異なるように複数備えたことを特徴とする請求項６または７に記載の撮像装置。
前記撮像素子と前記画像処理部を含む撮像部と、カラー画像を撮影し出力する別の撮像部と、を視点が異なるように備えたことを特徴とする請求項６または７に記載の撮像装置。
前記距離画像生成部は、前記撮像素子が所定のフレームレートで撮影した画像フレームごとに、被写体の距離値を画素値とする距離画像を前記距離情報として生成するとともに、所定数の画像フレームに対し生成した前記距離画像を平均した画像を、前記所定数の画像フレームに対応する時間間隔で出力することを特徴とする請求項６から９のいずれかに記載の撮像装置。
前記撮像素子は、前記画素の配列と、前記画像処理部の少なくとも一部の処理を実施するロジック回路と、を積層した構造を有することを特徴とする請求項６から１０のいずれかに記載の撮像装置。
複数の前記撮像部のそれぞれから前記距離情報を取得し、それらを統合して被写体の３次元空間での位置に係る情報を生成し出力する情報処理装置をさらに備えたことを特徴とする請求項８に記載の撮像装置。
前記情報処理装置は複数の前記撮像部のそれぞれから、前記検出値の２次元分布に基づく撮影画像のデータをさらに取得し、それらの視差に基づき生成した距離情報を、さらに統合することを特徴とする請求項１２に記載の撮像装置。
前記情報処理装置は複数の前記撮像部のそれぞれから、前記検出値の２次元分布に基づく撮影画像のデータをさらに取得し、前記被写体のうち前記複数の撮像部のいずれによっても撮像されない領域の距離値を、前記撮影画像と、機械学習により得た被写体の像と距離値の関係とに基づき推定し、前記被写体の３次元空間での位置に係る情報を補完することを特徴とする請求項１２に記載の撮像装置。
前記撮像装置が異なる視点から撮影して生成した前記距離情報を順次取得し、それらを統合して被写体の３次元空間での位置に係る情報を生成し出力する情報処理装置をさらに備えたことを特徴とする請求項６または７に記載の撮像装置。
マイクロレンズと、
前記マイクロレンズを透過した光のうち所定方位の偏光成分を透過させる偏光子を含む偏光子層と、
前記偏光子層を透過した光を電荷に変換する単位である光電変換部と、
を含む画素の配列において、１つの前記マイクロレンズに対応する画素領域に、共通の波長帯の光を電荷に変換する複数の前記光電変換部を配置した画素を含む、撮像素子を備えた撮像装置において、
前記光電変換部がそれぞれ光電変換を行うステップと、
前記光電変換部により得られた電荷を読み出す際、前記偏光子層に含まれる、前記偏光子を備える画素領域と備えない画素領域のいずれか一方に備えた複数の光電変換部の電荷を合算して読み出すステップと、
を含むことを特徴とする画素データ読み出し方法。