JPWO2013054469A1 - 奥行き推定撮像装置および撮像素子 - Google Patents

Abstract

本発明の一態様に係る奥行き推定撮像装置は、複数の光感知セル１０が撮像面に配列された撮像素子２と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材１と、複数の光感知セル１０から出力される信号を処理する信号処理部とを備えている。透光性部材１は、少なくとも一部の光を反射する第１のミラー１ａを内部に有し、第１のミラー１ａと同一の反射特性を有する第２のミラー１ｂを上面に有している。第１のミラー１ａの反射面は、透光性部材１の上面に対して傾斜している。第２のミラー１ｂの反射面は、前記上面に平行である。第１のミラー１ａおよび第２のミラー１ｂは、被写体の一点から前記光学レンズを通して入射した光束が、第１のミラー１ａで反射され、さらに第２のミラー１ｂで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の一点の奥行きに応じて、照射される前記領域が異なるように配置されている。

Description

本願は１つの光学系と１つの撮像素子とを用いて被写体の奥行き情報を取得する単眼の３次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がり、さらには、被写体の奥行きを推定できる撮像装置も開発され始めている。

被写体の奥行き情報の取得に関して、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術が存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。

ライトフィールドカメラでは、奥行き情報を算出することができるが、マイクロレンズの数によって解像度が決まるため、撮像素子の画素数から決まる解像度よりも解像度が低下するという課題がある。その課題に対して、特許文献１には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。

また、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献２に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられる。マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。

特開平１１−９８５３２号公報 特開２００８−１６７３９５号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

本発明の実施形態は、従来技術とは異なる構成を有する撮像素子を用いて、奥行き情報を取得し得る撮像技術を提供する。

本発明の一態様による奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、を備える。前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、前記第２のミラーの反射面は、前記上面に平行である。前記第１のミラーおよび前記第２のミラーは、被写体の一点から前記光学レンズを通して入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の一点の奥行きに応じて、照射される前記領域が異なるように配置されている。

本発明の他の態様による奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、被写体の一部から前記光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、を備えている。前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１のミラーと同一の反射特性を有する第３のミラーを有している。前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、前記第３のミラーの反射面は、前記上面と平行である。前記第１のミラー、前記第２のミラー、および前記第３のミラーは、前記被写体の前記一部から前記光学レンズを通して前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている。

上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の実施形態によれば、従来とは異なる撮像素子を用いて被写体の奥行きを示す情報を得ることができる。特に、赤外光を反射し、可視光を透過させるミラーと、赤外カットフィルタとを組み合わせた実施形態によれば、赤外光によって奥行き情報を算出でき、可視光によって解像度低下のない通常の画像を得ることができる。すなわち、単眼カメラで奥行き情報と通常の画像とを得ることが可能となる。

例示的な実施形態１における撮像装置の構成図である。 例示的な実施形態１における撮像部の模式図である。 例示的な実施形態１における透光板の平面図である。 例示的な実施形態１における透光板のＡ−Ａ’線断面図である。 例示的な実施形態１における撮像素子の平面図である。 例示的な実施形態１における撮像の原理を説明するための模式図である。 図５Ａの部分拡大図である。 例示的な実施形態１における透光板への光の入射の様子を示す概念図である。 例示的な実施形態１における撮影動作を示すフローチャートである。 例示的な実施形態１における透光板の第１の変形例を示す平面図である。 例示的な実施形態１における透光板の第２の変形例を示す平面図である。 図４ＡにおけるＢ−Ｂ’線断面図である。 例示的な実施形態１における透光板の第３の変形例を示す断面図である。 例示的な実施形態１における透光板の第４の変形例を示す断面図である。 例示的な実施形態２における透光板の平面図である。 例示的な実施形態２における透光板の基本構成を示す平面図である。 例示的な実施形態２における透光板のＡ−Ａ’線断面図である。 例示的な実施形態２における透光板のＢ−Ｂ’線断面図である。 例示的な実施形態２における透光板への光入射の様子を示す概念図である。 例示的な実施形態２における撮影動作を示すフローチャートである。

本発明の例示的な実施形態の概要は以下のとおりである。

本発明の一態様に係る奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部とを備える。前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、前記第２のミラーの反射面は、前記上面に平行であり、前記第１のミラーおよび前記第２のミラーは、被写体の一点から前記光学レンズを通して入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている。

ある態様において、前記信号処理部は、前記複数の光感知セルから出力される光電変換信号に基づいて前記光束によって照射された前記領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部をさらに備えている。

ある態様において、前記奥行き情報生成部は、予め用意された、前記光束によって照射された前記領域のサイズと、前記被写体の前記一点の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する。

ある態様において、前記透光性部材の上面に平行な面に投影された前記第１のミラーの形状は、リング状または円状である。

ある態様において、前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラーを囲むように位置している。

ある態様において、前記透光性部材は、前記第１のミラーを含む同一の反射特性、形状、および前記上面に対する傾斜角を有する複数のミラーからなる第１ミラー群を内部に有し、前記第１ミラー群の各ミラーは、各ミラーによって反射された光束が、前記第２ミラーによってさらに反射され、前記撮像面の互いに異なる領域を照射するように配置されている。

ある態様において、前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラー群の各ミラーを囲むように位置している。

ある態様において、前記第１のミラーおよび前記第２のミラーの少なくとも一方は、光透過性を有している。

ある態様において、前記第１のミラーおよび前記第２のミラーは、特定の波長域の光を反射させ、その他の波長域の可視光を透過させる特性を有している。

ある態様において、前記奥行き推定撮像装置は、前記特定の波長域の光をカットする光学フィルタと、前記光学フィルタを前記被写体から前記撮像素子までの光路上に着脱することができるフィルタ駆動部とをさらに備えている。

ある態様において、前記奥行き推定撮像装置は、前記光学フィルタが前記光路上に挿入された第１の状態と、前記光学フィルタが前記光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている。

ある態様において、前記信号処理部は、前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、前記第１の状態において前記複数の光感知セルから出力された光電変換信号と、前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記特定の波長域の光によって照射された前記撮像面の領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部とを有している。

ある態様において、前記特定の波長域の光は赤外光である。

ある態様において、前記特定の波長域の下限は、６５０ｎｍよりも長い。

本発明の他の態様に係る撮像素子は、複数の光感知セルが２次元的に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置された透光性部材とを備える。前記透光性部材は、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する。前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、前記第２のミラーの反射面は、前記上面に平行である。前記第１のミラーおよび前記第２のミラーは、被写体の一点から入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記光感知セルアレイの一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている。

本発明の他の態様に係る奥行き推定撮像装置は、複数の光感知セルが撮像面に配列された撮像素子と、前記撮像面に集光するように配置された光学レンズと、前記撮像面上に配置された透光性部材であって、被写体の一部から前記光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、前記複数の光感知セルから出力される光電変換信号を処理する信号処理部とを備える。前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有する。前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、前記第３のミラーの反射面は、前記上面と平行である。前記第１のミラー、前記第２のミラー、および前記第３のミラーは、前記被写体の前記一部から前記光学レンズを通して前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、前記被写体の前記一部から前記光学レンズを通して前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている。

ある態様において、前記信号処理部は、前記第１から第３の光感知セル群から出力される光電変換信号に基づいて、前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部を有している。

ある態様において、前記奥行き情報生成部は、予め用意された、前記第１から第３の光感知セル群の各々によって検知される受光量のピーク値または受光量分布と、前記被写体の前記一部の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する。

ある態様において、前記光束分割領域は、形状および大きさが互いに等しい前記第１の部分領域、前記第２の部分領域、前記第３の部分領域、および第４の部分領域から構成され、前記第３のミラーは、前記第３および第４の部分領域の上面に同じパターンで配置されている。

ある態様において、前記光束分割領域の上面に垂直な方向から見たとき、前記第１から第４の部分領域は、２行２列に配列されている。

ある態様において、前記第１の部分領域は、１行２列目に位置し、前記第２の部分領域は、２行１列目に位置し、前記第３の部分領域は、１行１列目に位置し、前記第４の部分領域は、２行２列目に位置している。

ある態様において、前記第３のミラーは、各部分領域の上面において、円状またはリング状の開口部を有している。

ある態様において、前記第３のミラーは、前記第１の部分領域の上面において、リング状の第１の開口部を有し、前記第２の部分領域の上面において、前記第１の開口部とは大きさの異なるリング状の第２の開口部を有し、前記第３の部分領域の上面において、円状の開口部を有している。

ある態様において、前記第１のミラーは、前記第１の開口部を通して入射した光束を反射し、前記第１の開口部によって囲まれた前記第３のミラーの部分に向けるように配置され、前記第２のミラーは、前記第２の開口部を通して入射した光束を反射し、前記第２の開口部によって囲まれた前記第３のミラーの部分に向けるように配置されている。

ある態様において、前記特定の波長域は、赤外光の波長域である。

ある態様において、前記特定の波長域の下限は、６５０ｎｍよりも長い。

ある態様において、前記第１から第３のミラーは、前記特定の波長域以外の可視光を透過させる特性を有している。

ある態様において、前記透光性部材は、前記光束分割領域を含む同一構造の複数の光束分割領域を有している。

ある態様において、前記奥行き推定撮像装置は、前記特定の波長域の光をカットする光学フィルタと、前記光学フィルタを光路上に着脱することができるフィルタ駆動部とをさらに備えている。

ある態様において、前記奥行き推定撮像装置は、前記光学フィルタが光路上に挿入された第１の状態と、前記光学フィルタが光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている。

ある態様において、前記信号処理部は、前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、前記第１の状態において前記複数の光感知セルから出力された光電変換信号と前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部とを有している。

本発明の他の態様に係る撮像素子は、複数の光感知セルが２次元的に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置された透光性部材であって、被写体の一部から入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材とを備える。前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有する。前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、前記第３のミラーの反射面は、前記上面と平行である。前記第１のミラー、前記第２のミラー、および前記第３のミラーは、前記被写体の前記一部から前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、前記被写体の前記一部から前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、前記被写体の前記一部から前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている。

以下、添付の図面を参照しながら、本発明のより具体的な実施形態を説明する。以下の説明において、同一または対応する要素には同一の符号を付している。

（実施形態１）
まず、第１の実施形態による奥行き推定撮像装置（以下、単に「撮像装置」と呼ぶ。）を説明する。本実施形態の詳細を説明する前に、まず本実施形態の基本概念を簡単に説明する。

本実施形態による撮像装置は、撮像面に複数の光感知セルが配列された撮像素子と、撮像素子の撮像面に集光するように配置された光学レンズと、撮像面上に配置された透光性部材と、複数の光感知セルから出力された信号を処理する信号処理部とを備えている。透光性部材は、その内部および上面に、それぞれ第１のミラーと第２のミラーとを有している。ここで「上面」とは、透光性部材の表面のうち、撮像素子がある側とは反対側の表面を指す。第１のミラーおよび第２のミラーは、入射光の一部を反射するように設計されている。これらのミラーは、典型的には、特定の波長域の光を反射させ、他の波長域の光を透過させる特性を有するが、ハーフミラーのように、波長域によらず光を分離するミラーであってもよい。第１のミラーは、透光性部材の内部に設けられ、その反射面は、透光性部材の上面に対して傾斜している。第２のミラーは、その反射面が、透光性部材の上面に平行になるように透光性部材上に配置されている。

このように構成された撮像装置に被写体の一点から光が入射すると、光学レンズを透過した光の一部は、第１のミラーでまず反射され、第２のミラーでさらに反射され、撮像素子の撮像面の一部の領域を照射する。ここで、照射される領域は、当該被写体の一点の奥行き、即ち、撮像装置からの距離に依存する。これは、奥行きが異なると、透光性部材に入射する光の入射角が異なり、その結果、第１および第２のミラーで反射される光の進行方向が異なるからである。

本実施形態では、撮像素子の撮像面に入射して光電変換される光のうち、第１および第２のミラーによって反射されて入射した光の成分を抽出することにより、当該成分の光によって照射された領域の形状やサイズが検出される。検出結果を解析することにより、被写体の奥行きを示す情報を得ることができる。奥行き情報を生成する具体的な処理については後述する。

本実施形態では、撮像装置自身が画像処理部を備え、被写体の奥行きを示す情報（奥行き情報）を生成する。しかし、撮像装置自身が奥行き情報を生成しない場合であっても、撮像によって取得した光電変換信号（以下、「画素信号」と呼ぶこともある。）を他の装置に送ることにより、当該他の装置が奥行き情報を生成することが可能である。本明細書では、そのような、自身は奥行き情報自体を生成しないが、奥行き情報を生成するための情報を提供する撮像装置も、「奥行き推定撮像装置」と呼ぶ。

以下、本実施形態のより具体的な構成および動作を説明する。

図１は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。撮像装置は、静止画のみならず動画を生成する機能を備えていてもよい。

撮像部１００は、撮像面上に配列された複数の光感知セルから構成される光感知セルアレイを備える固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、赤外光を反射させるミラー（以下、「赤外反射ミラー」と呼ぶ。）が配置された透光板１と、撮像素子２の撮像面上に像を形成するための光学レンズ３と、赤外カットフィルタ４と、赤外カットフィルタ４を光学レンズ３および透光板１の間に出し入れするフィルタ駆動部４ａとを備えている。なお、透光板１は撮像素子２の撮像面上に装着されている。本実施形態では透光板１が上記の透光性部材として機能する。撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。なお、フィルタ駆動部４ａが赤外カットフィルタ４を挿入する位置は、必ずしも光学レンズ３と透光板１との間である必要はなく、被写体から撮像素子２までの光路上の任意の位置に着脱できるように赤外カットフィルタ４を駆動するように構成されていればよい。

信号処理部２００は、撮像部１００から出力された信号を処理して解像度の低下のない通常画像および被写体の奥行き情報を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、通常画像を生成する画像生成部７ａと、奥行き情報を生成する奥行き情報生成部７ｂとを有している。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、透光板１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。

以下、撮像部１００の構成をより詳細に説明する。説明の中で、撮像領域の位置や方向を説明する場合は、図中に示すｘｙｚ座標を用いる。撮像素子１０の撮像面を「ｘｙ平面」とし、撮像面における水平方向に「ｘ軸」、撮像面における垂直方向に「ｙ軸」、撮像面に垂直な方向に「ｚ軸」をとる。なお、「水平方向」および「垂直方向」とは、生成される画像の横方向および縦方向にそれぞれ対応する撮像面上の方向を意味する。

図２は、撮像部１００におけるレンズ３、赤外カットフィルタ４、透光板１、および撮像素子２の配置関係を模式的に示す図である。撮像の際、赤外カットフィルタ４は、フィルタ駆動部４ａによってｘ方向にシフトされる。赤外カットフィルタ４が透光板１上の領域に入ったときには、撮像素子２への入射光の赤外光成分は除去される。逆に、赤外カットフィルタ４が当該光学系の透光板１上の領域から出たときには、入射光に含まれる赤外光成分は除去されずにそのまま撮像素子２の撮像面に入射する。本実施形態の撮像装置は、赤外カットフィルタ４を透光板１上の領域に入れた状態で取得した画素信号から通常の画像を生成する。以下、この動作を行うモードを「通常撮影モード」と呼ぶ。一方、撮像装置は、赤外カットフィルタを透光板１上の領域から出した状態で取得した画素信号から被写体の奥行きを算出する。以下、この動作を行うモードを「奥行き推定モード」と呼ぶ。

レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。レンズ３は、公知のレンズであり、赤外カットフィルタ４の有無に関わらず、入射光を集光し、撮像素子２の撮像面に結像させる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような例に限られるものではない。例えば、レンズ３と赤外カットフィルタ４およびフィルタ駆動部４ａの配置関係が入れ替わってもよい。また、本実施形態では、赤外カットフィルタ４の出し入れ方向はｘ方向であるが、入射光の赤外光成分を遮光できれば、その方向は任意である。すなわち、赤外カットフィルタ４の可動方向はｙ方向でもよいし、ｘ方向およびｙ方向とは異なる方向でも構わない。

図３Ａは、透光板１の平面図である。透光板１の表面の大部分は赤外反射ミラー１ｂに覆われ、部分的に赤外反射ミラー１ｂに覆われていない円形の部分（以下、「赤外反射開口部」と呼ぶ）を有する。本実施形態では、透光板１は、透明ガラス材質で出来ており、撮像素子２の光感知部上に装着されている。透光板１は、ガラスに限らず、透光性の部材であればどのような材質で形成されていてもよい。

図３Ｂは、図３ＡにおけるＡ−Ａ’線断面図である。透光板１は、その内部に反射面が傾斜した輪状の赤外反射ミラー１ａを有する。この赤外反射ミラー１ａは輪状であるため、その中心部分には赤外光を反射する部分がなく、中心部を透過する光はそのまま撮像素子２の光感知セル１０に入射する。本実施形態では、赤外反射ミラー１ａ、１ｂが、それぞれ上記の第１および第２のミラーとして機能する。

赤外反射ミラー１ａ、１ｂは、ともに赤外光を主に反射し、その他の波長域の可視光を透過させる特性を有する。本明細書において、「赤外光」とは、例えば６５０ｎｍより長い波長を有する電磁波を指す。このような赤外反射ミラー１ａ、１ｂを用いることにより、人間が視認できる可視光については反射されずに撮像素子２に入射させることができる。

図３Ｂに示される赤外反射ミラー１ａ、１ｂを含む透光板１は、公知のリソグラフィおよびエッチング技術により、薄膜の堆積およびパターニングを実行して製造され得る。例えば、まず、透明基板上に複数の円錐台状の突起部を形成する。次に、赤外光のみを反射し、その他の可視光を透過させるように各層の屈折率および膜厚が設計された誘電体多層膜を堆積する。堆積された多層膜の不要部をエッチングによって除去することにより、赤外反射ミラー１ａを形成する。その上にさらに透明層を堆積し、上面が平らになるように成形する。最後に、赤外反射ミラー１ａと同一の反射／透過特性をもつ誘電体多層膜を、赤外反射ミラー１ａ上の領域を除いて形成することにより、赤外反射ミラー１ｂを形成する。このような方法により、透光板１を作製することができる。作製された透光板１は、撮像素子２の撮像面に接合され、撮像素子２と一体化されていてもよい。そのため、本実施形態における透光板１を備えた撮像素子が独立して製造、販売等される場合もあり得る。

図４は、撮像素子２の撮像部に行列状に配列された複数の光感知セル１０から構成される光感知セルアレイの一部を示している。各光感知セル１０は、典型的にはフォトダイオードを有し、光電変換によって各々の受光量に応じた光電変換信号を出力する。

以上の構成により、通常撮影モードでは、露光中に撮像装置に入射する光は、レンズ３、赤外カットフィルタ４、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４により赤外光成分が除去されるため、入射光は透光板１の表面あるいは内部に設けられている赤外反射ミラー１ａ、１ｂに影響されることなく光電変換される。

一方、奥行き推定モードでは、露光中に撮像装置に入射する光は、レンズ３、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４を介さないため、以下で説明するように、入射光は透光板１の表面あるいは内部に作られている赤外反射ミラー１ａ、１ｂによる影響が現れる。

各光感知セル１０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、通常撮影モードでは、送られてきた信号に基づいて画像を生成する。その結果、解像度の低下のない通常の画像が得られる。一方、奥行き推定モードでは、画像処理部７は、以下に示す処理により、奥行き情報を算出する。なお、通常の画像の生成は、画像処理部７内の画像生成部７ａによって行われ、奥行き情報の生成は、画像処理部７内の奥行き情報生成部７ｂによって行われる。

以下、奥行き推定モードについて詳しく説明する。但し、このモードに入る直前に、撮像装置は、通常撮影モードで画像を１枚撮像しておく。奥行き推定モードでは、入射光はレンズ３を介して透光板１に直接入射するが、入射光の赤外光成分の大半は赤外反射ミラー１ｂによって反射する。しかしながら、透光板１の赤外反射開口部に入射した赤外光成分は、直接光感知セル１０に入射、あるいは赤外反射ミラー１ａで反射され、さらに赤外反射ミラー１ｂで反射されて光感知セル１０に入る。本実施形態では、ｘ方向およびｙ方向とも、約２０画素に１つの割合で赤外反射開口部が設けられる。ここで、１画素とは、１つの光感知セルが配置された領域を指す。また、その２０画素の範囲内に赤外反射ミラー１ａ、１ｂによって反射された赤外光が入るように、透光板１の厚さと赤外反射ミラー１ａの形状および位置とが設計されている。このような赤外反射開口部における光学構造により、その中心直下では赤外光成分が多く、またその周辺部も赤外反射ミラー１ａと１ｂとの反射により、赤外光成分が多くなる。本実施形態では、赤外反射開口部直下を中心として、その周辺に現れる赤外光成分による輪状画像の半径を調べることにより、撮像装置から被写体までの距離を推定することができる。

以下、図５Ａ〜５Ｃを参照しながら、本実施形態における距離推定の原理を説明する。図５Ａは、被写体５０における点５０ａからの光線（実線）と、点５０ａよりも撮像装置から遠方に位置する点５０ｂからの光線（破線）が光学レンズ３によって集束され、撮像素子２に入射する様子を模式的に示す概念図である。図５Ａでは、撮像装置の構成要素のうち、光学レンズ３および撮像素子２以外の構成要素の図示は省略されている。図５Ｂは、図５Ａの撮像素子２の撮像面付近の部分拡大図である。この例では、点５０ａから入射する光線（実線）については、光感知セル１０が配列された撮像面の位置で合焦している。一方、点５０ｂから入射する光線（破線）については、光感知セル１０や透光板１が設けられた位置よりも被写体に近い位置で合焦している。このため、赤外反射ミラー１ａ、１ｂによる赤外光の反射のされ方が、両者で異なる。このように、透光板１へ入射する光の集束状態および赤外反射ミラー１ａ、１ｂによる反射のされ方は、被写体の奥行きによって異なる。

図５Ｃは、被写体の一点から透光板１へ入射する光の集束状態および赤外反射ミラー１ａ、１ｂによる反射のされ方が当該被写体の一点の奥行きによって異なることをより詳細に示す概念図である。図５Ｃにおいて、入射光がレンズ３により絞り込まれ、結像中心が透光板１の表面よりも撮像素子２側にある場合の光線経路を点線で示している。この場合、光線はｘ１からｘ２へと進む。また、図５Ｃにおいて、入射光の結像中心が透光板１上にあり、入射光が透光板１の上面に対してほぼ垂直に入射するとみなせる場合の光線経路を一点鎖線で示している。この場合、光線はｙ１からｙ２へと進む。さらに、図５Ｃにおいて、入射光の結像中心が透光板１よりも被写体側にある場合の光線経路を二点鎖線で示している。この場合、光線はｚ１からｚ２へと進む。これらの光線は撮像素子２の撮像面上では輪状の領域を照射することになり、画像としても輪状の画像が現れる。これらの集束状態の異なる３種類の光束によって形成される画像の形状は互いに異なる。

以上のことから、入射光の結像状況により、赤外反射ミラー１ａと１ｂとによる輪状画像の半径が変わる。ここで、撮像装置から被写体までの距離、結像状況、輪状画像の半径の対応関係を実験やシミュレーションによって予め調べておけば、その対応関係を利用して被写体の奥行きを求めることができる。そのような対応関係を規定する情報は、予めメモリ３０等の記録媒体に格納され得る。奥行き情報生成部７ｂは、撮像によって得られた画像から輪状画像を検出し、その半径を計測することにより、計測した半径と、上記対応関係を示す情報とに基づいて、撮像装置から被写体までの距離を算出できる。

次に、奥行き推定モードにおける撮像装置の動作を説明する。以下の説明では、被写体は静止状態とする。撮像装置は、まず、画像を１枚撮像し、メモリ３０に保存する。この画像をＩＭＧａとする。但し、予め当該モードに入る直前に通常撮影モードで撮像した画像ＩＭＧｂもメモリ３０に保存しておく。次に画像処理部７において、画像ＩＭＧａと画像ＩＭＧｂとのフレーム間差分処理を行う。ここで、奥行き推定モードにおける撮像では、撮像素子２は、赤外反射開口部に対向する領域およびその周辺領域では可視光および赤外光を受光し、それ以外の領域では可視光のみを受光する。一方、通常撮影モードでは、撮像素子２は、受光領域の全域で、可視光しか受光しない。このため、上記フレーム間差分処理により、赤外反射開口部から入射した赤外光による画像ＩＭＧｉを検出できる。画像ＩＭＧｉは赤外反射開口部の中心部直下で明度が高く、また赤外反射開口部の中心部を中心として輪状の画像が現れる。画像処理部７における奥行き情報生成部７ｂは、輪状画像の検出およびその半径の計測を行い、予め作成しておいた輪状画像の半径と撮像装置から被写体までの距離との関係を規定したデータベースを参照して、被写体までの距離を求める。さらに、画像処理部７における奥行き情報生成部７ｂは、画像ＩＭＧｂと共に、各赤外反射開口部の位置に対応した画像ＩＭＧｂ上の位置と算出した奥行き情報とを、インターフェース部８を介して外部に出力する。本実施形態では、赤外反射開口部ごとに輪状画像が得られるため、各輪状画像の半径から、被写体の各点の奥行きを求めることができる。奥行き情報生成部７ｂは、当該被写体の各点の奥行きの分布を求めることにより、当該分布を画像化した奥行き画像を生成して出力してもよい。

以上の動作をまとめると、図６のフローチャートによって表される。まず、撮像装置は、通常撮影モードで撮影を行い、可視光画像ＩＭＧｂを生成する（ステップＳ６１）。次に、奥行き推定モードで撮影を行い、可視・赤外光画像ＩＭＧａを生成する（ステップＳ６２）。その後、奥行き情報生成部７ｂは、ＩＭＧａとＩＭＧｂとの間でフレーム間差分演算処理を行うことにより、赤外光画像ＩＭＧｉを生成する（ステップＳ６３）。そして、ＩＭＧｉにおける輪状パターンの検出および各輪状パターンについて半径の計測を行う（ステップＳ６４）。続いて、計測した半径から、予め用意された半径−被写体距離間の関係を規定したデータベースを参照して、被写体までの距離を求める（ステップＳ６５）。最後に、当該被写体の距離情報を出力する（Ｓ６６）。

以上のように、本実施形態では、赤外カットフィルタ４が光路上に挿入された第１の状態（通常撮影モード）と、赤外カットフィルタ４が光路上から外された第２の状態とで、連続して２回の撮像が行われる。この２連続の撮像は、図１に示す信号発生／受信部５によってフィルタ駆動部４ａおよび素子駆動部６の動作が制御されることによって実現される。本実施形態の撮像装置は、奥行き情報の算出には赤外光を利用し、通常の画像取得には可視光を用いるという特徴を有する。撮像素子２の撮像面上に、上面の大部分は赤外反射ミラー１ｂに覆われ、複数の赤外反射開口部を有する透光板１を装着することにより、撮像画像から赤外光による画像を検出することができる。そして、検出した形状と、予め求められた形状と奥行きとの対応関係を規定する情報とに基づいて、被写体までの奥行き情報を算出できるという効果がある。奥行きの情報量は、赤外反射開口部の数によって決まるため、赤外反射開口部の数が多いほど奥行き情報は多くなり、少なければ奥行き情報も少なくなる。本実施形態ではさらに、奥行き情報と共に、解像度低下のない通常画像が得られるという効果も有する。

なお、本実施形態では、透光板１の大部分を赤外反射ミラー１ｂで覆ったが、そのような構成に限るものではない。赤外反射ミラー１ａ、１ｂによる反射光が、限られた範囲内の光感知セル群に入射するように構成されていれば、どのような形態でもよい。例えば、図７に示すように、限定された領域に赤外反射ミラー１ｂを配置しても構わない。この例では、透光板１において、赤外反射ミラー１ａ、１ｂが設けられていない領域は、赤外光に対して透明であってもよいし、遮光性を有していてもよい。また、本実施形態では、約２０画素に１つの割合で赤外反射開口部を設けたが、これはあくまでも設計値の一例である。赤外反射開口部の数をさらに増やせば、奥行き情報をより詳細に算出できる。一方、赤外反射開口部の配置が密になりすぎると、隣接する輪状パターン同士が重なり合い、奥行きの推定が困難になる恐れがある。したがって、この設計値は要求される奥行き情報の仕様によって決まるものである。さらに、奥行き推定モードにおいて、赤外カットフィルタ４を撮像光学系から外し、事前に画像を１枚撮像したが、赤外カットフィルタ４の代わりに赤外光だけを透過させる赤外透過フィルタを撮像光学系に挿入しても良い。その場合、画像ＩＭＧｉが直接得られるため、事前の画像撮像やフレーム間差分処理が不要となる。この場合、赤外反射ミラー１ａ、１ｂの一方または両方は、赤外光を反射する特性を有していればよく、光透過性を有してなくてもよい。

また、透光板１に関して、上記の実施形態の構成以外にも、例えば、図８Ａおよび図８Ｂに示す透光板１を用いても構わない。図８Ａは、透光板１の平面図であり、図８Ｂは、図８ＡにおけるＢ−Ｂ’線断面図である。この例では、赤外反射開口部全域が赤外反射ミラー１ａで覆われ、赤外反射ミラー１ａの形状は傘状になっている。このような形状でも、赤外反射ミラー１ａと１ｂとの反射光による輪状の画像が得られるため、同様の処理によって奥行き情報を算出できる。

また、他の例として、図９あるいは図１０に示す断面構造を有する透光板１を用いてもよい。図９に示す例では、赤外カットフィルタ４を撮像光学系に常に挿入しておき、ハーフミラー１ｃを用い、ハーフミラー１ｃの反射光を透光板１と外部の空気層との界面１ｄで全反射させ、光感知セル１０へ入射させる。ハーフミラー１ｃで反射し光感知セル１０へ入射した光の部分は明度が高いため、その部分を検出すれば、奥行き情報を算出でき得る。但し、この場合、画像としては、ハーフミラー１ｃの影響を受けた画像となるため、画像にボケが生じる。その影響を受けない画像を得るには、ハーフミラー１ｃ下の領域近辺のＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を予め求めておき、それを用いた画像復元処理を画像処理部７の処理に含める必要がある。図９に示す例では、ハーフミラー１ｃが上記の第１のミラーに対応し、透光板１と空気層との界面１ｄが第２のミラーに対応する。このように、本願明細書における「ミラー」は、必ずしも特定波長域の光を透過させる光学系である必要はない。

図１０に示す例では、赤外反射ミラー１ａと１ｂとの反射光が赤外反射ミラー１ｂ直下に集光するように赤外反射ミラー１ａの傾斜状態を変えたものである。このような構造にした場合、輪状画像は赤外反射ミラー１ａ直下の内側に現れるが、上記と同様の処理を行うことによって被写体の奥行き情報を算出できる。

なお、以上の実施形態において、赤外光を反射する赤外反射ミラー１ａ、１ｂの代わりに、他の波長域の光を反射する光学部材を用いてもよい。その場合、赤外カットフィルタ４の代わりに、当該波長域の光をカットする光学フィルタを用いれば、同様の処理によって奥行き情報を得ることができる。なお、そのような構成において通常画像を得る場合には、赤外光の除去のため、赤外カットフィルタ４を配置した上で、当該波長域の光をカットする光学フィルタを併せて配置され得る。

また、上記の実施形態では、透光板１の上面に平行な平面に赤外反射ミラー１ａを投影すると、円状またはリング状の形状になるが、必ずしもこのような形状である必要はない。赤外反射ミラー１ａの形状は、例えば傾斜した平板状またはストライプ状であってもよい。さらに、赤外反射ミラー１ａ、１ｂを透光板１の上面に平行な面に投影したとき、赤外反射ミラー１ｂが赤外反射ミラー１ａの周囲を囲むように位置している必要はなく、両者による光の反射が生じれば、どのような配置であってもよい。

以上の実施形態では、２つのミラーによって反射された光束によって照射された撮像面上の領域の半径を検知することによって被写体の奥行きが求められたが、必ずしも当該領域の半径に基づく必要はない。半径ではなく、面積や光感知セル数に基づいて奥行きを求めてもよい。また、当該領域の形状や受光量の分布と奥行きとが相関するように透光板１が構成されている場合、予め形状と奥行きとの対応関係を調べておけば、当該領域のサイズではなく、形状や受光量の分布に基づいて奥行きを求めることも可能である。なお、被写体の一点からの光束によって照射される領域は、複数の光感知セルから出力される光電変換信号の強度によって評価することができる。例えば、一定強度以上の光電変換信号を出力する光感知セルの分布によって照射領域の形状やサイズを検出できる。また、信号強度の分布から、照射領域の受光量分布を得ることができる。

以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。

（実施形態２）
次に、第２の実施形態による撮像装置を説明する。本実施形態の詳細を説明する前に、まず本実施形態の撮像装置の基本概念を簡単に説明する。

本実施形態による撮像装置は、撮像面に複数の光感知セルが配列された撮像素子と、撮像素子の撮像面に集光するように配置された光学レンズと、撮像面上に配置された透光性部材と、複数の光感知セルから出力された信号を処理する信号処理部とを備えている。透光性部材は、被写体の一部から光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有している。光束分割領域は、第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成される。光束分割領域は、その内部に第１のミラーおよび第２のミラーを有し、その上面に第３のミラーを有している。ここで、「上面」とは、透光性部材の表面のうち、撮像素子がある側とは反対側の表面を指す。第１から第３のミラーは、同一の反射特性を有しており、特定の波長域の光を反射させるように設計されている。

「特定の波長域」は、例えば下限が６５０ｎｍより長い赤外光の波長域であるが、可視光の波長域であってもよい。

第１のミラーは、第１の部分領域内に設けられ、第２のミラーは、第２の部分領域内に設けられている。第１および第２のミラーの反射面は、光束分割領域の上面に対して傾斜している。一方、第３のミラーの反射面は、光束分割領域の上面と平行である。

このように構成された撮像装置の光束分割領域に被写体の一部から光学レンズを通して入射した上記の特定波長域の光束は、以下の経路を辿る。光束分割領域の第１の部分領域に入射した光束の少なくとも一部は、まず内部の第１のミラーで反射され、さらに上面の第３のミラーで反射されて第１の光感知セル群を照射する。光束分割領域の第２の部分領域に入射した光束の少なくとも一部は、まず内部の第２のミラーで反射され、さらに上面の第３のミラーで反射されて第２の光感知セル群を照射する。光束分割領域の第３の部分領域に入射した光束の少なくとも一部は、第１および第２のミラーで反射されることなく第３の光感知セル群を照射する。ここで、第１から第３の光感知セル群は、典型的には、第１から第３の部分領域にそれぞれ対向する撮像面上の領域内に位置する複数の光感知セルである。光電変換信号の重畳を防ぐため、第１から第３の光感知セル群は、互いに重複していないことが好ましい。

ここで、第１から第３のミラーは、第１から第３の光感知セル群によって検知される受光量分布が互いに異なるように配置されている。すなわち、同一の被写体の点から光学レンズを通して１つの光束分割領域に入射した光束は、第１の部分領域、第２の部分領域、第３の部分領域内で互いに異なる反射作用を受けた結果、光量の空間分布が変化する。これは、例えば第１から第３の光感知セル群について、セル数、照射領域の形状、出力のピーク値、出力の平均値、出力の分散等が互いに異なるという結果となって現れる。

さらに、第１から第３の部分領域における反射作用が互いに異なるため、各光感知セル群によって検知される受光量分布は、当該被写体の一部の奥行きに応じて変化する。これは、被写体の当該一部の奥行きが異なると、光束分割領域に入射する光の入射角が異なり、その結果、各反射ミラーで反射される光の進行方向が異なるからである。このことは、各光感知セル群によって検知される受光量分布と奥行きとの間に相関関係があることを意味する。

本実施形態では、撮像素子の撮像面に入射して光電変換される光のうち、第１から第３のミラーによって反射されて入射した光の成分を抽出することにより、当該成分の光によって照射された各光感知セル群の受光量分布やピーク値などが検出される。検出結果を解析することにより、被写体の奥行きを示す情報（奥行き情報）を得ることができる。奥行き情報を生成する具体的な処理については、後述する。

本実施形態では、撮像装置自身が画像処理部を備え、被写体の奥行きを示す情報（奥行き情報）を生成する。しかし、撮像装置自身が奥行き情報を生成しない場合であっても、撮像によって取得した光電変換信号を他の装置に送ることにより、当該他の装置が奥行き情報を生成することが可能である。上記のように、そのような、自身は奥行き情報自体を生成しないが、奥行き情報を生成するための情報を提供する撮像装置も、「奥行き推定撮像装置」と呼ぶ。

以下、本実施形態における撮像装置の具体的な構成および動作を説明する。本実施形態における撮像装置の全体構成は、図１に示す構成と同様である。本実施形態では、透光板１の構成および画像処理部７による処理が実施形態１と異なる。以下、実施形態１と異なる点を中心に説明し、同一の事項についての説明は省略する。

図１１Ａは、透光板１の一部の構成を示す平面図である。透光板１の表面の大部分は赤外反射ミラー１ｂに覆われ、部分的に赤外反射ミラー１ｂに覆われていない円形状またはリング形状の赤外反射開口部を有している。本実施形態における透光板１は、複数の光束分割領域１ｕの集合である。以下の説明では、１つの光束分割領域１ｕには、被写体の一部分から光学レンズ３を通してほぼ一様と見なせる光束が入射するものと仮定する。本実施形態における光束分割領域１ｕは、当該光束に含まれる赤外の波長域の光束を４つの部分光束に分けてそれぞれ異なる光感知セル群に照射させるように設計されている。本実施形態では、透光板１は透明ガラス材質で出来ており、撮像素子２の複数の光感知セル上に装着されている。透光板１は、ガラスに限らず、透光性の部材であればどのような材質で形成されていてもよい。

図１１Ｂは、透光板１の１つの光束分割領域１ｕを示す平面図である。光束分割領域１ｕは４つの部分領域から構成され、それらは２行２列に配列されている。図１１Ｂでは、４つの部分領域は、点線で区切られて示されているが、実際にはそのような境界が明確に存在するわけではない。１行２列目に位置する第１の部分領域１ｕ−１には、その上面に、リング状の第１の赤外反射開口部を有する赤外反射ミラー１ｂが配置され、その内部に、第１の赤外反射開口部を通過した赤外光を反射させる赤外反射ミラー１ａ−１が配置されている。２行１列目に位置する第２の部分領域１ｕ−２には、その上面に、上記とは異なる大きさのリング状の第２の赤外反射開口部を有する赤外反射ミラー１ｂが配置され、その内部に、第２の赤外反射開口部を通過した赤外光を反射させる赤外反射ミラー１ａ−２が配置されている。１行１列目に位置する第３の部分領域１ｕ−３と、２行２列目に位置する第４の部分領域１ｕ−４とは、同一のパターンを有している。第３の部分領域１ｕ−３および第４の部分領域１ｕ−４の上面には、円形状の赤外反射開口部を有する赤外反射ミラー１ｂが配置されている。

図１１Ｃは、図１１ＢにおけるＡ−Ａ'線断面図である。図１１Ｃにおいて、透光板１の右側半分は第１の部分領域１ｕ−１であり、左側半分は第３の部分領域１ｕ−３である。第１の部分領域１ｕ−１の内部に、反射面が上面に対して傾斜したリング状の赤外反射ミラー１ａ−１が配置されている。赤外反射フィルタ１ａ−１は、反射された赤外光が第１の赤外反射開口部に囲まれた赤外反射ミラー１ｂの部分に向かうように傾斜角および上面からの深さが設計されている。赤外反射ミラー１ａ−１によって反射された赤外光は、赤外反射ミラー１ｂの当該部分でさらに反射され、撮像素子２の複数の光感知セル１０の一部に入射する。一方、第３の部分領域１ｕ−３の内部には反射ミラーは設けられていない。このため、第３の部分領域１ｕ−３における円形の赤外反射開口部を通過した赤外光は、その後反射されることなく複数の光感知セル１０の一部を照射する。

図１１Ｄは、図１１ＢにおけるＢ−Ｂ'線断面図である。図１１Ｄにおいて、透光板１の左側半分は第２の部分領域１ｕ−２であり、右側半分は第４の部分領域１ｕ−４である。第２の部分領域１ｕ−２の内部に、反射面が上面に対して傾斜したリング状の赤外反射ミラー１ａ−２が配置されている。赤外反射フィルタ１ａ−２は、反射された赤外光が第２の赤外反射開口部に囲まれた赤外反射ミラー１ｂの部分に向かうように傾斜角および上面からの深さが設計されている。赤外反射ミラー１ａ−２によって反射された赤外光は、赤外反射ミラー１ｂの当該部分でさらに反射され、撮像素子２の複数の光感知セル１０の一部に入射する。一方、第４の部分領域１ｕ−４の内部には反射ミラーは設けられていない。このため、第４の部分領域１ｕ−４における円形の赤外反射開口部を通過した赤外光は、その後反射されることなく複数の光感知セル１０の一部を照射する。

本実施形態では、赤外反射ミラー１ａ−１、１ａ−２、１ｂが、それぞれ上記の第１、第２、第３のミラーとして機能する。本実施形態のように、第１から第３のミラーの各々は、複数の部分に分割されていてもよい。

赤外反射ミラー１ａ−１、１ａ−２、１ｂは、いずれも赤外光を主に反射し、その他の波長域の可視光を透過させる特性を有する。上記のように、「赤外光」とは、例えば６５０ｎｍより長い波長を有する電磁波を指す。このような赤外反射ミラー１ａ−１、１ａ−２、１ｂを用いることにより、人間が視認できる可視光については反射されずに撮像素子２に入射させることができる。

図１１Ｃおよび図１１Ｄに示される赤外反射ミラー１ａ−１、１ａ−２、１ｂを含む透光板１は、公知のリソグラフィおよびエッチング技術により、薄膜の堆積およびパターニングを実行することにより、製造され得る。例えば、まず、透明基板上の所定の位置に２種類の円錐状の凹部を、一定のパターンで形成する。次に、赤外光のみを反射し、その他の可視光を透過させるように各層の屈折率および膜厚が設計された誘電体多層膜を堆積する。堆積された多層膜の不要部をエッチングによって除去することにより、赤外反射ミラー１ａ−１、１ａ−２が形成される。その上にさらに透明層を堆積し、上面が平らになるように成形する。最後に、赤外反射ミラー１ａ−１、１ａ−２と同一の反射／透過特性をもつ誘電体多層膜を、赤外反射ミラー１ａ−１、１ａ−２上の領域を除いて形成することにより、赤外反射ミラー１ｂを形成する。このような方法により、透光板１を作製することができる。作製された透光板１は、撮像素子２の撮像面に接合され、撮像素子２と一体化されていてもよい。

以上の構成により、赤外カットフィルタ４を光路上に挿入して撮影する通常撮影モードでは、露光中に撮像装置に入射する光は、レンズ３、赤外カットフィルタ４、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４により赤外光成分が除去されるため、入射光は透光板１の表面あるいは内部に設けられている赤外反射ミラー１ａ−１、１ａ−２、１ｂに影響されることなく光電変換される。

一方、赤外カットフィルタ４を光路上から外して撮影する奥行き推定モードでは、露光中に撮像装置に入射する光は、レンズ３、透光板１を通して撮像素子２の撮像面上に結像され、各光感知セル１０によって光電変換される。このモードでは、赤外カットフィルタ４を介さないため、以下で説明するように、入射光は透光板１の表面あるいは内部に設けられている赤外反射ミラー１ａ−１、１ａ−２、１ｂによる影響が現れる。

各光感知セル１０によって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出される。信号処理部２００における画像処理部７は、通常撮影モードでは、送られてきた信号に基づいて画像を生成する。その結果、解像度の低下のない通常の画像が得られる。一方、奥行き推定モードでは、画像処理部７は、以下に示す処理により、奥行き情報を算出する。なお、通常の画像の生成は、画像処理部７内の画像生成部７ａによって行われ、奥行き情報の生成は、画像処理部７内の奥行き情報生成部７ｂによって行われる。

以下、奥行き推定モードについて詳しく説明する。但し、このモードに入る直前に、撮像装置は、通常撮影モードで画像を１枚撮像しておく。奥行き推定モードでは、入射光はレンズ３を介して直接透光板１に入射するが、入射光の赤外光成分の大半は赤外反射ミラー１ｂによって反射される。しかしながら、透光板１の赤外反射開口部に入射した赤外光成分は、直接光感知セル１０に入射、あるいは赤外反射ミラー１ａ−１、１ａ−２で反射され、さらに赤外反射ミラー１ｂで反射されて光感知セル１０に入射する。透光板１の基本単位である１つの光束分割領域のサイズは、例えば、ｘ、ｙ方向のそれぞれについて、約２０画素分のサイズである。なお、１つの光束分割領域のサイズは、上記の例に限らず、各部分領域を透過した赤外光が複数の光感知セルを照射するようなサイズであればよい。また、その範囲内に赤外反射ミラー１ａ−１、１ａ−２、１ｂによって反射された赤外光が入るよう、透光板１の厚さと赤外反射ミラー１ａ−１、１ａ−２の形状および位置が設定されている。このような赤外反射開口部における光学構造により、その中心直下では赤外光成分が多く検出される。

本実施形態では、１つの光束分割領域の１行１列目と２行２列目の部分領域が同じ構造であり、その内部に赤外反射フィルタは設けられていない。一方、１行２列目と２行１列目の部分領域は、その内部に赤外反射フィルタ１ａ−１、１ａ−２を有しており、それらの形状や配置が異なっている。図１１Ｃに示すように、１行２列目のパターンでは１行１列目のパターンより結像点が短い。一方、図１１Ｄに示すように、２行１列目のパターンでは１行１列目のパターンより結像点が長い。その結果、上面から結像点までの距離が互いに異なる３つの結像状態を作ることができる。

一般に３つの結像状態の異なる画像があれば、それらから被写体までの距離を推定することができる。結像状態の異なる画像では、結像点が光感知セルに近い程その信号量が大きいため、第１から第３の部分領域にそれぞれ対向する第１から第３の光感知セル群から出力される信号量のピーク値は互いに異なる。また、被写体の奥行きが異なれば、それらの信号量のピーク値の比も変化する。そこで、本実施形態では、各部分領域に対向する光感知セル群から出力される光電変換信号のピーク値と、撮像装置から被写体までの距離との対応関係を予め実験やシミュレーションによって調べておき、それらの関係を示す情報を、データベース化しておく。そのようなデータベースは、例えばメモリ３０等の記録媒体に格納され得る。これにより、奥行き情報生成部７ｂは、３種類の結像状態を光電変換信号に基づいて観測し、予め求められた対応関係に従って被写体の奥行きを推定することができる。当該データベースは、例えば、「第１の光感知セル群からの画素信号のピーク値：第２の光感知セル群からの画素信号のピーク値：第３の光感知セル群からの画素信号のピーク値：奥行き」のような比を表す情報である。なお、本実施形態では、第３の部分領域１ｕ−３と第４の部分領域１ｕ−４とが同一の構造を有しているため、これらに対向する撮像面上の領域に位置する光感知セルの信号の平均値が利用される。

ここで、図１２を参照しながら、被写体の一部分から光学レンズ３を通して１つの部分領域に入射した赤外光によって照射される光感知セル群の受光量分布が、被写体の当該一部分の奥行きによって異なることを説明する。例として、第１の部分領域１ｕ−１に赤外光が入射する場合を想定する。図１２は、被写体の一部分から第１の部分領域１ｕ−１へ入射する光の集束状態が被写体の当該一部分の奥行きによって異なることを示す概念図である。まず、入射光がレンズ３により絞り込まれ、結像中心が透光板１より撮像素子２側にある場合の光線経路を点線で示す。この場合、光線はｘ１からｘ２へと進む。入射光の結像中心が透光板１上にあり、入射光が透光板１の上面に対してほぼ垂直に入射するとみなせる場合の光線経路を一点鎖線で示す。この場合、光線はｙ１からｙ２へと進む。入射光の結像中心が透光板１よりも上部にある場合の光線経路を二点鎖線で示す。この場合、光線はｚ１からｚ２へと進む。これらの光線は撮像素子２の撮像面上では異なる光量分布をもつことになるため、光感知セル群によって検出される受光量分布も異なる。以上のように、被写体の一部分から光学レンズ３を通して１つの部分領域に入射した赤外光によって照射される光感知セル群の受光量分布は、被写体の当該一部分の奥行きによって異なる。

次に、奥行き推定モードにおける撮像装置の動作を説明する。以下の説明では、被写体は静止状態とする。撮像装置は、まず、画像を１枚撮像し、メモリ３０に保存する。この画像をＩＭＧａとする。但し、予め当該モードに入る直前に通常撮影モードで撮像した画像ＩＭＧｂもメモリ３０に保存しておく。次に画像処理部７において、画像ＩＭＧａと画像ＩＭＧｂとのフレーム間差分処理を行う。ここで、奥行き推定モードにおける撮像では、撮像素子２は、赤外反射開口部に対向する領域およびその周辺領域では可視光および赤外光を受光し、それ以外の領域では可視光のみを受光する。一方、通常撮影モードでは、撮像素子２は、受光領域の全域で、可視光しか受光しない。このため、上記フレーム間差分処理により、赤外反射開口部から入射した赤外光による画像ＩＭＧｉを検出できる。画像処理部７における奥行き情報生成部７ｂは、各部分領域の直下の光電変換信号を計測し、予め作成しておいた画素信号のピーク値と撮像装置から被写体までの距離との関係を表すデータベースから、被写体までの距離を求める。さらに画像処理部７における奥行き情報生成部７ｂは、画像ＩＭＧｂと共に、各赤外反射開口部の位置に対応した画像ＩＭＧｂ上の位置と算出した奥行き情報とを、インターフェース部８を介して外部に出力する。奥行情報生成部７ｂは、当該被写体の各点の奥行きの分布を求めることにより、当該分布を画像化した奥行き画像を生成して出力してもよい。

以上の動作をまとめると、図１３のフローチャートによって表される。まず、撮像装置は、通常撮影モードで撮影を行い、可視光画像ＩＭＧｂを生成する（ステップＳ１３１）。次に、奥行き推定モードで撮影を行い、可視・赤外光画像ＩＭＧａを生成する（ステップＳ１３２）。その後、奥行き情報生成部７ｂは、ＩＭＧａとＩＭＧｂとの間でフレーム間差分演算処理を行うことにより、赤外光画像ＩＭＧｉを生成する（ステップＳ１３３）。そして、ＩＭＧｉにおける信号のピーク値を計測する（ステップＳ１３４）。続いて、計測したピーク値から、予め用意されたピーク値−被写体距離間の関係を規定したデータベースを参照して、被写体までの距離を求める（ステップＳ１３５）。最後に、当該被写体の距離情報を出力する（Ｓ１３６）。

以上のように、本実施形態では、赤外カットフィルタ４が光路上に挿入された第１の状態（通常撮影モード）と、赤外カットフィルタ４が光路上から外された第２の状態とで、連続して２回の撮像が行われる。この２連続の撮像は、図１に示す信号発生／受信部５によってフィルタ駆動部４ａおよび素子駆動部６の動作が制御されることによって実現される。本実施形態の撮像装置は、奥行き情報の算出には赤外光を利用し、通常の画像取得には可視光を用いるという特徴を有する。撮像素子２の撮像面上に、上面の大部分は赤外反射ミラー１ｂに覆われ、内部に赤外反射ミラー１ａ−１、１ａ−２が配置された複数の赤外反射開口部を有する透光板１を装着することにより、撮像画像から赤外光による画像を検出することができる。そして、透光板１の各部分領域に対応する光感知セル群によって検出された受光量分布に基づいて、奥行き情報を算出できるという効果がある。奥行きの情報量は、光束分割領域１ｕの数によって決まるため、光束分割領域１ｕの数が多いほど奥行き情報は多くなる。本実施形態ではさらに、奥行き情報と共に、解像度低下のない通常画像が得られるという効果も有する。

なお、本実施形態では、奥行き推定モードにおいて、赤外カットフィルタ４を撮像光学系から外し、事前に画像を１枚撮像したが、赤外カットフィルタ４の代わりに赤外光だけを透過させる赤外透過フィルタを撮像光学系に挿入しても良い。その場合、画像ＩＭＧｉが直接得られるため、事前の画像撮像やフレーム間差分処理が不要となる。この場合、赤外反射ミラー１ａ−１、１ａ−２、１ｂは、赤外光を反射する特性を有していればよく、光透過性を有してなくてもよい。

また、赤外光を反射する赤外反射ミラー１ａ−１、１ａ−２、１ｂの代わりに、他の波長域の光を反射する光学部材を用いてもよい。その場合、赤外カットフィルタ４の代わりに、当該波長域の光をカットする光学フィルタを用いれば、同様の処理によって奥行き情報を得ることができる。なお、そのような構成において通常画像を得る場合には、赤外光の除去のため、赤外カットフィルタ４を配置した上で、当該波長域の光をカットする光学フィルタが併せて配置され得る。

また、本実施形態では、透光板１の上面に平行な平面に投影された赤外反射ミラー１ａ−１、１ａ−２は、リング状の形状を有するが、必ずしもこのような形状である必要はなく、例えば平板状であってもよい。さらに、赤外反射ミラー１ａ−１、１ａ−２、１ｂを、上面に平行な平面に投影したとき、赤外反射ミラー１ｂが赤外反射ミラー１ａ−１、１ａ−２の周囲を囲むように位置している必要はなく、これらによる光の反射が生じれば、どのような配置であってもよい。

本実施形態では、光束分割領域１ｕの各部分領域に対応する光感知セル群によって検出される受光量のピーク値の比に基づいて被写体の一部分の奥行き情報が求められるが、他の情報に基づいて奥行き情報を求めてもよい。例えば、本実施形態では、赤外反射開口部ごとに輪状画像が得られるため、各輪状画像の半径の比から、被写体の各点の奥行きを求めてもよい。また、各光感知セル群によって検出される受光量分布自体を利用してもよい。例えば、各光感知セル群によって検出される受光量の平均値や分散から奥行きを求めてもよい。その場合、各光感知セル群によって検出される受光量分布と奥行きとの対応関係を規定する情報を予め求めておけばよい。

本実施形態では、透光板１は、２次元状に配列された複数の光束分割領域１ｕを有しているが、透光板１は、最低限１つの光束分割領域１ｕを有していればよい。１つの光束分割領域が設けられていれば、被写体の一点の奥行きを求めることができる。また、１つの光束分割領域１ｕは、図１１Ｂに示すような２行２列の配列を有している必要はなく、任意の配列でよい。また、１つの光束分割領域１ｕは、４つの部分領域に分かれている必要はなく、少なくとも３つの部分領域に分割されていればよい。

本実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。

本発明の実施形態にかかる撮像装置は、撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。

１ 透光板
１ａ、１ｂ、１ａ−１、１ａ−２ 赤外反射ミラー
１ｃ ハーフミラー
１ｕ 光束分割領域
１ｕ−１、１ｕ−２、１ｕ−３、１ｕ−４ 部分領域
２ 固体撮像素子
３ レンズ
４ 赤外カットフィルタ
４ａ フィルタ駆動部
５ 信号発生／受信部
６ 素子駆動部
７ 画像処理部
７ａ 画像生成部
７ｂ 奥行き情報生成部
８ インターフェース部
１０ 光感知セル
３０ メモリ
１００ 撮像部
２００ 信号処理部

Claims (32)

1. 複数の光感知セルが撮像面に配列された撮像素子と、
   前記撮像面に集光するように配置された光学レンズと、
   前記撮像面上に配置された透光性部材であって、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有する透光性部材と、
   前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、
   を備え、
   前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、
   前記第２のミラーの反射面は、前記上面に平行であり、
   前記第１のミラーおよび前記第２のミラーは、被写体の一点から前記光学レンズを通して入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記撮像面の一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている、
   奥行き推定撮像装置。
2. 前記信号処理部は、前記複数の光感知セルから出力される光電変換信号に基づいて前記光束によって照射された前記領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部をさらに備えている、請求項１に記載の奥行き推定撮像装置。
3. 前記奥行き情報生成部は、予め用意された、前記光束によって照射された前記領域のサイズと、前記被写体の前記一点の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する、請求項２に記載の奥行き推定撮像装置。
4. 前記透光性部材の上面に平行な面に投影された前記第１のミラーの形状は、リング状または円状である、請求項１から３のいずれかに記載の奥行き推定撮像装置。
5. 前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラーを囲むように位置している、請求項１から４のいずれかに記載の奥行き推定撮像装置。
6. 前記透光性部材は、前記第１のミラーを含む同一の反射特性、形状、および前記上面に対する傾斜角を有する複数のミラーからなる第１ミラー群を内部に有し、
   前記第１ミラー群の各ミラーは、各ミラーによって反射された光束が、前記第２ミラーによってさらに反射され、前記撮像面の互いに異なる領域を照射するように配置されている、
   請求項１から５のいずれかに記載の奥行き推定撮像装置。
7. 前記透光性部材の上面に平行な面に投影された前記第２のミラーは、前記面に投影された前記第１のミラー群の各ミラーを囲むように位置している、請求項６に記載の奥行き推定撮像装置。
8. 前記第１のミラーおよび前記第２のミラーの少なくとも一方は、光透過性を有している、請求項１から７のいずれかに記載の奥行き推定撮像装置。
9. 前記第１のミラーおよび前記第２のミラーは、特定の波長域の光を反射させ、その他の波長域の可視光を透過させる特性を有している、請求項１から８のいずれかに記載の奥行き推定撮像装置。
10. 前記特定の波長域の光をカットする光学フィルタと、
    前記光学フィルタを前記被写体から前記撮像素子までの光路上に着脱することができるフィルタ駆動部と、
    をさらに備えている、請求項９に記載の奥行き推定撮像装置。
11. 前記光学フィルタが前記光路上に挿入された第１の状態と、前記光学フィルタが前記光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている、請求項１０に記載の奥行き推定撮像装置。
12. 前記信号処理部は、
    前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、
    前記第１の状態において前記複数の光感知セルから出力された光電変換信号と、前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記特定の波長域の光によって照射された前記撮像面の領域を検知することにより、前記被写体の前記一点の奥行きを示す情報を生成する奥行き情報生成部と、
    を有している、請求項１１に記載の奥行き推定撮像装置。
13. 前記特定の波長域の光は赤外光である、請求項９から１２のいずれかに記載の奥行き推定撮像装置。
14. 前記特定の波長域の下限は、６５０ｎｍよりも長い、請求項９から１３のいずれかに記載の奥行き推定撮像装置。
15. 複数の光感知セルが２次元的に配列された光感知セルアレイと、
    前記光感知セルアレイに対向して配置された透光性部材と、
    を備え、
    前記透光性部材は、少なくとも一部の光を反射する第１のミラーを内部に有し、前記第１のミラーと同一の反射特性を有する第２のミラーを上面に有し、
    前記第１のミラーの反射面は、前記透光性部材の上面に対して傾斜しており、
    前記第２のミラーの反射面は、前記上面に平行であり、
    前記第１のミラーおよび前記第２のミラーは、被写体の一点から入射した光束が、前記第１のミラーで反射され、さらに前記第２のミラーで反射されて前記光感知セルアレイの一部の領域を照射することにより、前記被写体の前記一点の奥行きに応じて、照射される前記領域が異なるように配置されている、
    撮像素子。
16. 複数の光感知セルが撮像面に配列された撮像素子と、
    前記撮像面に集光するように配置された光学レンズと、
    前記撮像面上に配置された透光性部材であって、被写体の一部から前記光学レンズを通して入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、
    前記複数の光感知セルから出力される光電変換信号を処理する信号処理部と、
    を備え、
    前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有し、
    前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、
    前記第３のミラーの反射面は、前記上面と平行であり、
    前記第１のミラー、前記第２のミラー、および前記第３のミラーは、
    前記被写体の前記一部から前記光学レンズを通して前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、
    前記被写体の前記一部から前記光学レンズを通して前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、
    前記被写体の前記一部から前記光学レンズを通して前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、
    前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている、
    奥行き推定撮像装置。
17. 前記信号処理部は、前記第１から第３の光感知セル群から出力される光電変換信号に基づいて、前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部を有している、請求項１６に記載の奥行き推定撮像装置。
18. 前記奥行き情報生成部は、予め用意された、前記第１から第３の光感知セル群の各々によって検知される受光量のピーク値または受光量分布と、前記被写体の前記一部の奥行きとの対応関係を規定する情報を参照することによって前記奥行きを示す情報を生成する、請求項１７に記載の奥行き推定撮像装置。
19. 前記光束分割領域は、形状および大きさが互いに等しい前記第１の部分領域、前記第２の部分領域、前記第３の部分領域、および第４の部分領域から構成され、
    前記第３のミラーは、前記第３および第４の部分領域の上面に同じパターンで配置されている、
    請求項１６から１８のいずれかに記載の奥行き推定撮像装置。
20. 前記光束分割領域の上面に垂直な方向から見たとき、
    前記第１から第４の部分領域は、２行２列に配列されている、請求項１９に記載の奥行き推定撮像装置。
21. 前記第１の部分領域は、１行２列目に位置し、
    前記第２の部分領域は、２行１列目に位置し、
    前記第３の部分領域は、１行１列目に位置し、
    前記第４の部分領域は、２行２列目に位置している、
    請求項２０に記載の奥行き推定撮像装置。
22. 前記第３のミラーは、各部分領域の上面において、円状またはリング状の開口部を有している、請求項１６から２１のいずれかに記載の奥行き推定撮像装置。
23. 前記第３のミラーは、前記第１の部分領域の上面において、リング状の第１の開口部を有し、前記第２の部分領域の上面において、前記第１の開口部とは大きさの異なるリング状の第２の開口部を有し、前記第３の部分領域の上面において、円状の開口部を有している、請求項２２に記載の奥行き推定撮像装置。
24. 前記第１のミラーは、前記第１の開口部を通して入射した光束を反射し、前記第１の開口部によって囲まれた前記第３のミラーの部分に向けるように配置され、
    前記第２のミラーは、前記第２の開口部を通して入射した光束を反射し、前記第２の開口部によって囲まれた前記第３のミラーの部分に向けるように配置されている、
    請求項２３に記載の奥行き推定撮像装置。
25. 前記特定の波長域は、赤外光の波長域である、請求項１６から２４のいずれかに記載の奥行き推定撮像装置。
26. 前記特定の波長域の下限は、６５０ｎｍよりも長い、請求項１６から２５のいずれかに記載の奥行き推定撮像装置。
27. 前記第１から第３のミラーは、前記特定の波長域以外の可視光を透過させる特性を有している、請求項１６から２６のいずれかに記載の奥行き推定撮像装置。
28. 前記透光性部材は、前記光束分割領域を含む同一構造の複数の光束分割領域を有している、請求項１６から２７のいずれかに記載の奥行き推定撮像装置。
29. 前記特定の波長域の光をカットする光学フィルタと、
    前記光学フィルタを光路上に着脱することができるフィルタ駆動部と、
    をさらに備えている、請求項１６から２８のいずれかに記載の奥行き推定撮像装置。
30. 前記光学フィルタが光路上に挿入された第１の状態と、前記光学フィルタが光路上から外れた第２の状態とで、連続して２回の撮像を行うように、前記フィルタ駆動部および前記撮像素子を制御する制御部をさらに備えている、請求項２９に記載の奥行き推定撮像装置。
31. 前記信号処理部は、
    前記第１の状態において前記複数の光感知セルから出力された光電変換信号に基づいて画像を生成する画像生成部と、
    前記第１の状態において前記複数の光感知セルから出力された光電変換信号と前記第２の状態において前記複数の光感知セルから出力された光電変換信号との差分演算を含む処理によって前記被写体の前記一部の奥行きを示す情報を生成する奥行き情報生成部と、
    を有している、
    請求項３０に記載の奥行き推定撮像装置。
32. 複数の光感知セルが２次元的に配列された光感知セルアレイと、
    前記光感知セルアレイに対向して配置された透光性部材であって、被写体の一部から入射した特定の波長域の光束を少なくとも３つの光束に分ける光束分割領域を有する透光性部材と、
    を備え、
    前記光束分割領域は、上面が同一平面上に位置する第１の部分領域、第２の部分領域、および第３の部分領域を含む少なくとも３つの部分領域から構成され、前記第１の部分領域の内部に前記特定の波長域の光を反射させる第１のミラーを有し、前記第２の部分領域の内部に前記第１のミラーと同一の反射特性を有する第２のミラーを有し、各部分領域の上面に前記第１および第２のミラーと同一の反射特性を有する第３のミラーを有し、
    前記第１および第２のミラーの反射面は、前記光束分割領域の上面に対して傾斜しており、
    前記第３のミラーの反射面は、前記上面と平行であり、
    前記第１のミラー、前記第２のミラー、および前記第３のミラーは、
    前記被写体の前記一部から前記第１の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第１のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第１の光感知セル群を照射し、
    前記被写体の前記一部から前記第２の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記第２のミラーで反射され、さらに前記第３のミラーで反射されて前記複数の光感知セルに含まれる第２の光感知セル群を照射し、
    前記被写体の前記一部から前記第３の部分領域に入射した前記特定の波長域の光束の少なくとも一部が、前記複数の光感知セルに含まれる第３の光感知セル群を照射することにより、
    前記第１の光感知セル群、前記第２の光感知セル群、および前記第３の光感知セル群によって検知される受光量分布が、互いに異なり、かつ前記被写体の前記一部の奥行きに応じて異なるように配置されている、
    撮像素子。

Images