JPWO2013179538A1 - 奥行き推定撮像装置 - Google Patents

Abstract

撮像装置は、各々が入射光を回折させる回折領域１Ｄ１、１Ｄ２、入射光を回折させずに透過させる透明領域１ＣＬＲ、および回折領域１Ｄ１、１Ｄ２の少なくとも一部に重なるように配置された偏光領域１Ｐ１、１Ｐ２を有する複数の部分１ＡＢから構成される光透過部１と、各々が第１の光感知セル、第２の光感知セル、および前記第１の光感知セルに対向する位置に配置された偏光フィルタを有する複数の単位要素が撮像面上に２次元的に配列された撮像素子と、前記撮像面に、前記透明領域を透過した光による像、および前記回折領域を透過した光による像を形成するように構成された結像部とを備える。

Description

本願は、１組の光学系と１つの撮像素子を用いて被写体の奥行き情報を取得するための単眼の三次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。

例えば、特許文献１、２には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いて複数視点画像を取得する方式が開示されている。また、特許文献３〜５には、複数の色フィルタが設けられた絞り（光束制限板）を用いて複数視点画像を取得する方式が開示されている。

上記の特許文献１〜５に開示された方式は、単眼のカメラによって主に複数視点画像を生成する際に利用される。一方、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術も存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。

ライトフィールドカメラでは、奥行き情報を算出することができるが、マイクロレンズの数によって解像度が決まるため、撮像素子の画素数から決まる解像度よりも解像度が低下するという課題がある。その課題に対して、特許文献６には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。しかしながら、この技術では、撮像系が２つ必要であり、サイズおよびコストの面で課題がある。

上記の課題に対して、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献７に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられ、マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。しかしながら、この手法では、マイクロレンズの焦点距離を制御するという高度な制御技術が必要である。

一方、奥行き情報の取得に主眼を置いた技術も特許文献８、９に紹介されている。これらの技術では、カメラの前に配置された回折格子を通して撮像し、回折格子を透過した０次回折光による画像（０次光画像）と高次の回折光による画像（高次光画像）との位置ずれ量に基づいて、被写体から回折格子までの距離が計測される。

特開昭６２−２９１２９２号公報 特開昭６２−２１７７９０号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２００３−１３４５３３号公報 特開平１１−９８５３２号公報 特開２００８−１６７３９５号公報 特表平２−５０２３９８号公報 特開２０１１−２３８７号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

従来のライトフィールドカメラでは、奥行き情報を得ることはできるが、画像の解像度が低下するという課題がある。その課題を解決するためには、上記の特許文献６、７の技術のように光学系の改良が必要であるが、改良するためには、撮像系を２つ用いる、あるいはマイクロレンズの焦点距離を制御しなければならないという課題がある。

また、特許文献８、９に開示されているような回折格子を利用した奥行き計測の方法では、０次光画像と高次光画像とを分離することが困難であるため、被写体までの距離を正確に計測できない場合が起こり得るという課題がある。例えば、特許文献９に開示された方法によれば、回折画像の輝度勾配に基づいて、０次光画像と１次光画像とを識別してそれらのずれ量が計測される。そして、そのずれ量に基づいて、被写体の奥行きが求められる。しかし、実際には、０次光画像および１次光画像のような輝度レベルの異なる２つの画像のマッチングを正確に行うことは困難である。

本発明の１つの実施形態は、従来技術とは異なる光学系および信号処理を用いて、解像度の低下を抑えた画像と奥行き情報とを取得し得る撮像技術を提供する。また、本発明の他の実施形態は、同一被写体が含まれているが、輝度レベルの異なる複数の画像のマッチングを容易に行うことができる画像処理技術を提供する。

上記課題を解決するために、本発明の一実施形態に係る奥行き推定撮像装置は、各々が入射光を回折させる回折領域、入射光を回折させずに透過させる透明領域、および前記回折領域の少なくとも一部に重なるように配置された偏光領域を有する複数の部分から構成される光透過部と、各々が第１の光感知セル、第２の光感知セル、および前記第１の光感知セルに対向する位置に配置された偏光フィルタを有する複数の単位要素が撮像面上に２次元的に配列された撮像素子と、前記撮像面に、前記透明領域を透過した光による像、および前記回折領域を透過した光による像を形成するように構成された結像部と、前記撮像素子から出力された信号を処理する信号処理部とを備える。

上述の一般的かつ特定の態様は、システム、方法、およびコンピュータプログラムを用いて実装され、または、システム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の一実施形態によれば、回折光による画像と直進光による画像とを分離できるため、それらの画像に基づいて、被写体までの奥行きを算出することが可能となる。また、他の実施形態によれば、同一被写体が含まれている複数の画像のマッチングを容易に行うことが可能となる。

例示的な実施形態における撮像装置の構成図 例示的な実施形態における撮像部の模式図 例示的な実施形態１における透光板の平面図 図３ＡにおけるＡ−Ａ’線断面図 図３ＡにおけるＢ−Ｂ’線断面図 例示的な実施形態における撮像素子の基本画素構成図 例示的な実施形態における撮像素子の平面図 例示的な実施形態における撮像によって取得した画像の例を示す模式図 ２つの回折光画像を直接光画像に近づけた状態を示す模式図 ２つの回折光画像を直接光画像にさらに近づけてほぼ重なった状態を示す図 例示的な実施形態１における奥行き情報の生成処理を示すフローチャート 例示的な実施形態１における奥行き情報の生成処理の他の例を示すフローチャート 例示的な実施形態１における画素シフト数とＲ／Ｂ着色量との関係を示すグラフ 例示的な実施形態における透光板の変形例を示す平面図 例示的な実施形態における透光板の他の変形例を示す平面図 例示的な実施形態２における透光板の平面図 図１０ＡにおけるＣ−Ｃ’線断面図

本発明の例示的な実施形態の概要は以下のとおりである。

（１）本発明の一実施形態に係る奥行き推定撮像装置は、各々が入射光を回折させる回折領域、入射光を回折させずに透過させる透明領域、および前記回折領域の少なくとも一部に重なるように配置された偏光領域を有する複数の部分から構成される光透過部と、各々が第１の光感知セル、第２の光感知セル、および前記第１の光感知セルに対向する位置に配置された偏光フィルタを有する複数の単位要素が撮像面上に２次元的に配列された撮像素子と、前記撮像面に、前記透明領域を透過した光による像、および前記回折領域を透過した光による像を形成するように構成された結像部と、前記撮像素子から出力された信号を処理する信号処理部とを備える。

（２）ある態様において、前記撮像面上における前記単位要素の配列方向をｘ方向およびｙ方向とするとき、前記回折領域は、ｎ次回折光（ｎは１以上の整数）を主に発生させ、前記ｎ次回折光が、前記撮像面上において、前記透明領域を透過した光が入射する位置よりもｘ方向またはｙ方向にシフトした位置に入射するように構成されている。

（３）項目（２）に記載の奥行き推定撮像装置のある態様において、前記回折領域を第１の回折領域と呼び、前記偏光領域を第１の偏光領域と呼び、前記偏光フィルタを第１の偏光フィルタと呼ぶとき、前記光透過部の前記複数の部分は、ｎ次回折光を主に発生させる第２の回折領域、および前記第２の回折領域の少なくとも一部に重なるように配置され、前記第１の偏光領域とは偏光透過軸の方向が異なる第２の偏光領域をさらに有し、前記撮像素子の前記単位要素は、第３の光感知セル、および前記第３の光感知セルに対向して配置され、前記第１の偏光フィルタとは偏光透過軸の方向が異なる第２の偏光フィルタをさらに有している。

（４）項目（３）に記載の奥行き推定撮像装置のある態様において、前記第１および第２の回折領域は、前記第１の回折領域から出射される前記ｎ次回折光、および前記第２の回折領域から出射される前記ｎ次回折光が、前記撮像面上において、前記透明領域を透過した光が入射する位置に対して対称な位置に入射するように構成されている。

（５）項目（１）に記載の奥行き推定撮像装置のある態様において、前記回折領域は、０次回折光および±ｎ次回折光（ｎは１以上の整数）を発生させるように構成され、前記偏光領域は、前記＋ｎ次回折光の経路上に配置された第１の偏光領域と、前記−ｎ次回折光の経路上に配置され、前記第１の偏光領域とは偏光透過軸の方向が異なる第２の偏光領域とを有し、前記撮像素子の前記単位要素は、さらに第３の光感知セル、および前記第３の光感知セルに対向して配置され、前記第１の偏光フィルタとは偏光透過軸の方向が異なる第３の偏光フィルタをさらに有している。

（６）項目（３）から（５）のいずれかに記載の奥行き推定撮像装置のある態様において、前記第１の偏光領域および前記第２の偏光領域の一方の偏光透過軸の方向は、前記第１の偏光フィルタおよび前記第２の偏光フィルタの一方の偏光透過軸の方向に等しい。

（７）項目（３）から（６）のいずれかに記載の奥行き推定撮像装置のある態様において、前記第１の偏光領域の偏光透過軸の方向は、前記第２の偏光領域の偏光透過軸の方向に直交し、前記第１の偏光フィルタの偏光透過軸の方向は、前記第２の偏光フィルタの偏光透過軸の方向に直交している。

（８）項目（１）または（２）に記載の奥行き推定撮像装置のある態様において、前記信号処理部は、前記第１の光感知セルから出力された信号、および前記第２の光感知セルから出力された信号に基づいて、前記回折領域を透過した光による第１の画像と、前記透明領域を透過した光による第２の画像とを生成する画像処理部を有している。

（９）項目（６）に記載の奥行き推定撮像装置のある態様において、前記画像処理部は、前記第１の画像における被写体の位置と、前記第２の画像における前記被写体の位置とのずれに基づいて、前記被写体の奥行きを示す情報を生成する。

（１０）項目（３）から（５）のいずれかに記載の奥行き推定撮像装置のある態様において、前記信号処理部は、前記第１の光感知セルから出力された第１の信号、前記第２の光感知セルから出力された第２の信号、および前記第３の光感知セルから出力された第３の信号に基づいて、前記第１の回折領域を透過した光による第１の画像と、前記第２の回折領域を透過した光による第２の画像と、前記透明領域を透過した光による第３の画像とを生成する画像処理部を有している。

（１１）項目（８）に記載の奥行き推定撮像装置のある態様において、前記画像処理部は、前記第１の画像における被写体の位置と、前記第３の画像における前記被写体の位置とのずれ、および前記第２の画像における前記被写体の位置と、前記第３の画像における前記被写体の位置とのずれに基づいて、前記被写体の奥行きを示す情報を生成する。

以下、本発明のより具体的な実施形態について、図面を参照しながら説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の符号を付している。

（実施形態１）
まず、本発明の第１の実施形態による奥行き推定撮像装置を説明する。図１は、本実施形態における撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。撮像装置は、静止画のみならず動画を生成する機能を備えていてもよい。

撮像部１００は、撮像面上に配列された複数の光感知セル（以下、「画素」と呼ぶこともある。）を備える固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、部分的に回折格子領域および偏光領域を有する透光板（光透過部）１と、撮像素子２の撮像面上に像を形成するための光学レンズ（結像部）３と、赤外カットフィルタ４とを備えている。なお、透光板１は、光学レンズ３の前に配置されているが、光学レンズ３の後部に配置されていてもよい。撮像素子２は、その上に偏光フィルタを配置した画素とそうでない画素とを有している。撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造され得る。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成され得る。

信号処理部２００は、撮像部１００から出力された信号を処理して複数の画像を生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した画像信号および奥行き情報を外部に送出するインターフェース（ＩＦ）部８とを備えている。画像処理部７は、撮像部１００から出力された信号に基づいて画像情報を生成する画像生成部７ａと、奥行き情報を生成する奥行き情報生成部７ｂとを有している。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部１００から得られた信号を記録すると共に、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の奥行き推定撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、透光板１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。

以下、撮像部１００の構成を詳細に説明する。以下の説明において、撮像領域の位置や方向を説明する場合は、図中に示すｘｙ座標を用いる。

図２は、撮像部１００における光学レンズ３、赤外カットフィルタ４、透光板１、および撮像素子２の配置関係を模式的に示す図である。光学レンズ３は、単一のレンズに限らず、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。光学レンズ３は、公知のレンズであり、入射光を集光し、撮像素子２の撮像部に結像させる。なお、図２に示す各構成要素の配置関係はあくまでも一例であって、本発明はこのような例に限られるものではない。例えば、光学レンズ３と赤外カットフィルタ４の配置関係が入れ替わっても問題ないし、光学レンズ３と透光板１とが一体に構成されていても構わない。また、本実施形態では可視光の画像を取得することを前提にしているため、赤外カットフィルタ４が設けられているが、赤外光画像を取得する用途（例えば、夜間用監視カメラ）では、赤外カットフィルタ４は不要である。

図３Ａは、透光板１の平面図である。透光板１上には、回折格子領域が市松状（チェック状）に配置されている。図３Ａに示すように、透光板１の回折格子領域は、２次元的に配列された複数の基本構成１ＡＢを有している。基本構成１ＡＢは、２行２列に配置された４つの領域から構成されている。基本構成１ＡＢにおいて、１行１列目には回折格子によって構成される回折領域１Ｄ１が配置され、１行２列目および２行１列目には透明部材によって構成される透明領域１ＣＬＲが配置され、２行２列目には回折格子によって構成される回折領域１Ｄ２が配置されている。

この透光板１の寸法は、例えば直径１０ｍｍ〜３０ｍｍであり、基本構成１ＡＢのサイズは、例えば１００μｍ×１００μｍ〜１０００μｍ×１０００μｍである。ただし、これらのサイズは例示であり、後述する機能が実現できる限り、これらのサイズに限定されない。

回折領域１Ｄ１はブレーズ型（ブレーズド型とも呼ぶ。）の回折格子（ｂｌａｚｅｄ ｇｒａｔｉｎｇ）であり、入射光を水平方向（ｘ方向）にγ度傾けるように設計されている。回折領域１Ｄ２もブレーズ型の回折格子であり、入射光を水平方向に−γ度傾けるように設計されている。また、これらの回折領域１Ｄ１、１Ｄ２には、それぞれ偏光フィルタ（偏光領域）が重ねて配置されている。透明領域１ＣＬＲは、透光性の部材、例えばガラス、プラスチック、セロファン等で形成され得る。

図３Ｂは図３ＡのＡ−Ａ’線断面図であり、図３Ｃは図３ＡのＢ−Ｂ’線断面図である。図３Ｂに示すように、回折領域１Ｄ１の背部（撮像素子２側）には、偏光フィルタ１Ｐ１が重ね合わせられている。また、図３Ｃに示すように、回折領域１Ｄ２の背部には、偏光フィルタ１Ｐ２が重ね合わせられている。これらの偏光フィルタ１Ｐ１、１Ｐ２は、偏光透過軸の方向（偏光方向）が９０度異なっている。図３Ｂ、３Ｃでは、簡単のため、回折領域１Ｄ１、１Ｄ２は長方形の断面形状を有するように描かれているが、実際のブレーズ型回折格子は、ノコギリ波状の断面形状を有する。この形状を適切に設計することにより、特定の方向に回折光を出射させることができる。なお、図３Ｂ、３Ｃに示す構成とは逆に、回折領域１Ｄ１、１Ｄ２が偏光フィルタ１Ｐ１、１Ｐ２の背部にそれぞれ配置されていてもよい。

図３Ｂ、３Ｃには、回折領域１Ｄ１、１Ｄ２に垂直に入射して回折される例示的な光線が記載されている。本実施形態では、回折領域１Ｄ１、１Ｄ２は、１次回折光を主に発生させ、他の次数の回折光は殆ど発生させないように設計されている。このため、図３Ｂ、３Ｃにおいて矢印で示されている方向に１次回折光が出射する。なお、回折領域１Ｄ１、１Ｄ２の特性はこのような例に限定されず、他の次数の回折光が発生してもよい。また、回折領域１Ｄ１、１Ｄ２から１次回折光ではなく、２次回折光のような他の次数の回折光が主に出射してもよい。

図４は、撮像素子２の基本画素構成を示す平面図である。図示されるように、本実施形態における撮像素子２は、２行２列に配置された４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを有する基本画素構成を有している。１行１列目の光感知セル２ａに対向する位置には偏光フィルタ２Ｐ１が配置され、２行２列目の光感知セル２ｄに対向する位置には偏光フィルタ２Ｐ２が配置されている。１行２列目と２行１列目の光感知セル２ｂ、２ｃの上には偏光フィルタは配置されていない。これらの偏光フィルタ２Ｐ１、２Ｐ２は、偏光方向が互いに９０度異なっている。また、偏光フィルタ２Ｐ１、２Ｐ２は、それぞれ偏光フィルタ１Ｐ１、１Ｐ２の偏光方向に対して角度θだけ異なっている。

図５は、撮像素子２の撮像面上に行列状に配列された複数の光感知セルからなる光感知セルアレイ２０の一部と、それらの上に配置された偏光フィルタアレイとを模式的に示す平面図である。各光感知セルは、典型的にはフォトダイオードを含み、光電変換によって各々の受光量に応じた光電変換信号を出力する。本実施形態では、２行２列の光感知セル２ａ〜２ｄおよびそれらに対向する偏光フィルタ２Ｐ１、２Ｐ２が１つの単位要素を構成し、複数の単位要素が撮像面に２次元的に配列されている。

以上の構成により、露光中に撮像装置に入射する光は、透光板１、レンズ３、赤外カットフィルタ４を通して撮像素子２の撮像面上に結像され、光感知セル２ａ〜２ｄによって光電変換される。これらの光電変換信号に基づいて、画像処理部７の画像生成部７ａは、画像を生成する。

図６Ａは、撮像によって得られる画像のイメージを示す図である。図６Ａは、鍵を撮像した場合の例を示しており、実線は被写体からの直接光による画像、破線は回折光による画像を表している。この画像は、直接光による画像と、回折光による２つの画像とが合成された画像であると言える。ここで、「直接光による画像」とは、透光板１の透明領域１ＣＬＲを通過する光によって形成される画像を意味する。また、「回折光による画像」とは、透光板１の回折領域１Ｄ１、１Ｄ２からそれぞれ出射した１次回折光によって形成される画像を意味する。以下の説明では、直接光による画像を「直接光画像」と呼び、回折光による２つの画像を「回折光画像」と呼ぶことがある。

図６Ａに示すイメージ図では、直接光による画像に対して回折光による画像が水平方向（図における左右方向）にずれている。このずれは、回折領域１Ｄ１から出射される回折光の進行方向が＋ｘ方向に傾き、回折領域１Ｄ２から出射される回折光の進行方向が−ｘ方向に傾いていることに起因する。また、２つの回折領域１Ｄ１、１Ｄ２は、それらの回折光が、撮像面上において、透明領域１ＣＬＲを透過した光が入射する位置に対して対称な位置に入射するように構成されているため、２つの回折光画像は、直接光画像に対して対称な位置に現れる。直接光画像に対する回折光画像のずれは、透光板１から被写体までの距離に依存し、当該距離が長くなるほど大きくなる。したがって、回折光による画像の直接光による画像に対する水平方向のずれの大きさを検出すれば、被写体の距離を求めることができる。

本実施形態では、回折光による画像の水平方向のずれの大きさと被写体の距離との相関関係を示す情報（例えばテーブルや関数）が予めメモリ３０等の記録媒体に記録されている。この相関関係に基づいて、画像処理部７における奥行き情報生成部７ｂは、ずれの大きさから被写体距離を算出することができる。この相関関係は、被写体の距離を変えながらテスト撮影を何度か行うことによって求めてもよい。

次に、光感知セル２ａ、２ｂ、２ｃ、２ｄにおける光電変換によって出力された信号をそれぞれＳ２ａ、Ｓ２ｂ、Ｓ２ｃ、Ｓ２ｄとして、本実施形態における信号処理を説明する。ここで、簡単のため、入射光は非偏光であるとして、回折領域１Ｄ１、１Ｄ２は入射光を１００％回折させると仮定する。そして、偏光フィルタ１Ｐ１、１Ｐ２、２Ｐ１、２Ｐ２が存在しないと仮定した場合に、透明領域１ＣＬＲ、回折領域１Ｄ１、回折領域１Ｄ２を通って１つの光感知セルに入射する光の量（強度）を、それぞれＤ０、Ｄ１、Ｄ２で表す。ただし、Ｄ０、Ｄ１、Ｄ２は、透光板１の単位面積あたりの量であるとする。さらに、偏光フィルタ１Ｐ１、１Ｐ２、２Ｐ１、２Ｐ２に非偏光の光が入射するときの透過率をＴ１、偏光フィルタの偏光方向と同一の方向に偏光した光がその偏光フィルタに入射するときの透過率をＴ２とする。すなわち、偏光方向が揃った２枚の偏光フィルタに非偏光の光が入射するときの透過率はＴ１×Ｔ２で表される。Ｔ１およびＴ２は、０＜Ｔ１＜１、０＜Ｔ２＜１を満たす実数である。

露光中、被写体からの光は、まず透光板１を透過する。透明領域１ＣＬＲは透光板１の全面積の１／２を占め、回折領域１Ｄ１、１Ｄ２は、透光板１の全面積の１／４を占める。回折領域１Ｄ１、１Ｄ２には、それぞれ偏光フィルタ１Ｐ１、１Ｐ２が重ね合わせられているため、それらの透過率は、偏光フィルタ１Ｐ１、１Ｐ２の透過率で決まり、Ｔ１で表される。したがって、上部に偏光フィルタが設けられていない光感知セル２ｂ、２ｃには、Ｄ０／２＋Ｔ１（Ｄ１＋Ｄ２）／４に比例する量の光が入射し、この量に比例する大きさの光電変換信号が出力される。

一方、偏光フィルタ２Ｐ１が配置された光感知セル２ａについては、偏光フィルタ２Ｐ１の影響により、仮に非偏光の光が入射した場合には、その透過光は入射光のＴ１倍に制限される。しかし、実際には偏光フィルタ２Ｐ１には、被写体から透明領域１ＣＬＲを透過したＤ０／２に比例する量の光、回折領域１Ｄ１および偏光フィルタ１Ｐ１を透過した（Ｄ１×Ｔ１×ｃｏｓ²θ）／４に比例する量の光、および回折領域１Ｄ２および偏光フィルタ１Ｐ２を透過した（Ｄ２×Ｔ１×ｓｉｎ²θ）／４に比例する量の光が入射する。このため、光感知セル２ａは、（Ｄ０×Ｔ１）／２＋（Ｄ１×Ｔ１×ｃｏｓ²θ×Ｔ１）／４＋（Ｄ２×Ｔ１×ｓｉｎ²θ×Ｔ２）／４に比例する信号を発生させる。

同様に、偏光フィルタ２Ｐ２が上部に配置された光感知セル２ｄに関しては、偏光フィルタ２Ｐ２の影響により、仮に非偏光の光が入射した場合には、その透過光は入射光のＴ１倍に制限される。しかし、実際には偏光フィルタ２Ｐ２には、被写体から透明領域１ＣＬＲを透過したＤ０／２に比例する量の光、回折領域１Ｄ１および偏光フィルタ１Ｐ１を透過した（Ｄ１×Ｔ１×ｓｉｎ²θ）／４に比例する量の光、および回折領域１Ｄ２および偏光フィルタ１Ｐ２を透過した（Ｄ２×Ｔ１×ｃｏｓ²θ）／４に比例する量の光が入射する。そのため、光感知セル２ｄは、（Ｄ０×Ｔ１）／２＋（Ｄ１×Ｔ１×ｓｉｎ²θ×Ｔ１）／４＋（Ｄ２×Ｔ１×ｃｏｓ²θ×Ｔ２）／４に比例する信号を発生させる。

撮像素子２の各画素への入射光量と発生する信号との間の比例定数を１とすれば、Ｓ２ａ、Ｓ２ｂ（＝Ｓ２ｃ）、Ｓ２ｄは、それぞれ以下の式１〜３で表される。さらに、式１〜３は、行列を用いて式４で表される。ただし、式４では、式１〜３の右辺のみを４倍にしている。

式４における３×３行列の逆行列を式４の両辺に左から掛けると、以下の式５が得られる。

式５における３×３の逆行列と画素信号Ｓ２ａ〜Ｓ２ｄとを用いて、被写体からの直接光による画像信号Ｄ０、および回折光による画像信号Ｄ１、Ｄ２を得ることができる。すなわち、式５を利用すれば、撮像によって取得した画像信号Ｓ２ａ〜Ｓ２ｄを直接光の信号Ｄ０によって構成される画像と回折光の信号Ｄ１、Ｄ２によって構成される２つの画像とに分離できる。以下の説明では、簡単のため、信号Ｄ０、Ｄ１、Ｄ２に基づく画像を、それぞれ「Ｄ０画像」、「Ｄ１画像」、「Ｄ２画像」と呼ぶことがある。

上記の処理は、画像処理部７における画像生成部７ａによって実行される。各光感知セルによって出力された光電変換信号は、信号発生／受信部５を介して信号処理部２００に送出され、画像生成部７ａに送られる。画像生成部７ａは、上記の演算処理を行い、直接光の信号Ｄ０および回折光の信号Ｄ１、Ｄ２を単位要素ごとに計算し、直接光による画像と回折光による２つの画像とを生成する。

このように、本実施形態によれば、直接光による画像と回折光による２つの画像とを分離することができる。このため、これらの画像を利用して被写体の奥行き情報を得ることができる。また、直接光によるＤ０画像は、解像度の低下を抑えた通常の画像として扱うことができる。

奥行き情報の算出は画像処理部７の奥行き情報生成部７ｂで行われる。本実施形態では、直接光の信号Ｄ０によって構成される画像、および回折光の信号Ｄ１、Ｄ２によって構成される２つの画像を疑似的に色画像として扱う。具体的には、Ｄ０画像を緑（Ｇ）画像、Ｄ１画像を赤（Ｒ）画像、Ｄ２画像を青（Ｂ）画像として扱い、これらの色画像について、ホワイトバランスおよびカラー化処理を行う。そして、そのカラー化結果が白に近づくようにＤ１、Ｄ２画像をＤ０画像に近づける方向（水平方向）にずらし、各画像のずれ量を検出する。これは、本来、Ｄ０、Ｄ１、Ｄ２から構成される３つの画像が同じ画像で、ずれも無ければ、ホワイトバランスをとり、カラー化処理を行っても、着色は発生しないという原理に基づく。

以下、Ｄ０画像に対するＤ１画像およびＤ２画像のずれ量を算出して奥行き情報を求める処理の具体例を説明する。ここでは、撮像の結果、図６Ａに示す画像が得られた場合を例に説明を行う。

奥行き情報生成部７ｂは、まずＤ０画像、Ｄ１画像、およびＤ２画像をそれぞれ緑（Ｇ）画像、赤（Ｒ）画像、および青（Ｂ）画像としてカラー画像を作り、ホワイトバランスを取る。この処理の際、赤系のホワイトバランス係数α０、および青系のホワイトバランス係数β０を決定する。この処理を数式で表すと、以下の式６、７で表現できる。ここで、Ｄ０（ｘ、ｙ）、Ｄ１（ｘ、ｙ）、Ｄ２（ｘ、ｙ）は、それぞれＤ０画像、Ｄ１画像、Ｄ２画像における画素の位置（ｘ，ｙ）における信号値を示しており、Σは全画素の総和を表す。

次に、ホワイトバランス係数α０、β０を用いて、以下の式８、９に示すＣｒ（ｘ，ｙ）、Ｃｂ（ｘ，ｙ）を、それぞれ赤および青の色信号として生成する。

そして、以下の式１０に示す演算により、信号Ｃｒ、Ｃｂの絶対値の加算結果Ｃｓを求める。

信号Ｃｓは、Ｄ０画像に対するＤ１画像およびＤ２画像の色ずれの程度を示す指標として用いられる。奥行き情報生成部７ｂは、２つの回折光画像を直接光画像の方向に１ピクセルずつずらし、その都度、式８〜１０に示す演算を繰り返す。この処理は、Ｃｓが最小になるまで行われる。

Ｃｓが最小になるということは、３つの画像のずれが最小であることを意味する。奥行き情報生成部７ｂは、初期状態から色ずれが最小になった状態までにずらした総ピクセル数をＤ０画像に対するＤ１、Ｄ２画像のずれ量として決定する。そして、そのずれ量と、テーブルまたは関数としてメモリ３０に予め記録された相関情報とに基づいて、被写体の撮像装置からの距離（奥行き情報）を決定する。

図６Ｂは、この処理の途中経過を示しており、初期状態に比べて、回折光画像が直接光画像に近づいている様子が示されている。また、図６Ｃは、色ずれが最小になった状態、すなわち、３つの画像のマッチングがほぼ完了した状態を示している。図６Ａ〜６Ｃに示すような画像を表示装置に表示しながら上記の処理を実行するようにすれば、ユーザーは、これらの画像のマッチングの程度を視覚的に判断することができる。このため、従来にない容易なマッチング処理が可能になる。

図７Ａは、上記の奥行き情報算出処理の流れを示すフローチャートである。奥行き情報生成部７ｂは、まずステップＳ７０１において、画像生成部７ａが生成したＤ０画像、Ｄ１画像、Ｄ２画像をメモリ３０から取得し、式１０に示す信号Ｃｓを計算する。ここで、Ｄ０、Ｄ１、Ｄ２画像をそのまま処理するのではなく、奥行き推定の対象とする被写体を含む一部の画像領域を切り出して処理してもよい。そのようにすれば、処理ステップを少なくすることができる。次に、ステップＳ７０２において、Ｄ１画像およびＤ２画像をＤ０画像に１ピクセル近づけ、再び信号Ｃｓを計算する。続いて、ステップＳ７０３において、Ｃｓの値が前回の値に比べ、減少したか否かを判定する。ここで、Ｃｓの値が減少した場合は、再びステップＳ７０２を実行し、Ｄ１画像およびＤ２画像をＤ０画像にさらに１ピクセル近づけて同様の計算を行う。以上の処理を、ステップＳ７０３において、Ｃｓの値が増加に転じるまで、すなわち、Ｃｓの値が最小値に達したと判定するまで繰り返す。Ｃｓの値が増加に転じた場合、ステップＳ７０４に進み、奥行き情報生成部７ｂは、これまでにずらした総ピクセル数と、相関情報とに基づいて、被写体の奥行き情報を生成する。ここで、「奥行き情報」とは、撮影時における撮像装置から被写体までの距離を示す情報であり、例えば当該距離を示す数値や記号で表される。

図８は、ずらしたピクセル数（画素シフト数）と信号Ｃｓ（Ｒ／Ｂ着色量）の値との関係の一例を示す図である。この例では、画素シフト数が７のときにＲ／Ｂ着色量が最小になっている。このため、シフト数７がずれ量として決定される。

以上の処理により、奥行き情報を求めることができる。なお、この例では、Ｄ１、Ｄ２画像を１ピクセルずつシフトさせているが、一度にシフトさせるピクセル数は１ピクセルに限らず、２ピクセル以上でもよい。また、この例では奥行き情報生成部７ｂが自動的にＣｓが最小になる状態までＤ１、Ｄ２画像をシフトさせる処理を行っているが、この処理をユーザーからの指示に応じて実行するようにしてもよい。例えば、ユーザーがシフトさせるピクセル数を指定し、その結果を表示画面に表示させてもよい。また、例えばユーザーが画面を確認しながら、Ｄ１、Ｄ２画像をＤ０画像に徐々に近づける操作を行い、その結果が逐次、画面に表示されるような形態でもよい。この場合、Ｃｓの値が最小になった時点で、その旨の表示と、回折光画像のずれ量および奥行き量の計算結果とを画面に表示するように奥行き情報生成部７ｂが構成されていれば利便性が高い。

以上の処理において、式１０に示す信号Ｃｓは、画像全体の色ずれ量を表しており、画像内の特定の被写体の部分についてのずれ量を正確に表しているわけではない。そのため、上記の処理だけでは特定被写体の正確なずれ量を決定できない可能性がある。そこで、本実施形態における奥行き情報生成部７ｂは、さらに以下の処理を行ってもよい。

図７Ｂは、この追加の処理の流れを示すフローチャートである。奥行き情報生成部７ｂは、図７ＡにおけるステップＳ７０３でＮｏと判定した後、ステップＳ８０１において、Ｄ０画像、Ｄ１画像、Ｄ２画像の各々を水平方向にＭ分割、垂直方向にＮ分割し、Ｍ×Ｎ個の部分画像を作る。ここで、Ｍ、Ｎは、２以上の整数であり、各画像は、例えば１００×１００程度の部分画像に分割され得る。ここで、Ｄ０画像、Ｄ１画像、Ｄ２画像の部分画像を、それぞれｚＤ０（ｘ、ｙ）、ｚＤ１（ｘ、ｙ）、ｚＤ２（ｘ、ｙ）で表す。但し記号「ｚ」は部分画像の番号を表し、ｚ＝１〜Ｍ×Ｎである。

次に、奥行き情報生成部７ｂは、ステップＳ８０２において、既に計算したホワイトバランス係数α０、β０を用いて、Ｄ０画像、Ｄ１画像、Ｄ２画像の部分画像の組み合わせを変えながら、着色の最も少ない部分画像の組み合わせを選出する。具体的には、まず、選択した部分画像の組み合わせに関して、式８、９に示す演算と同様の演算を行う。すなわち、以下の式１１、１２に示すｉｊＣｒ（ｘ，ｙ）、ｉｋＣｂ（ｘ，ｙ）を色信号として生成する。ここで、ｉ，ｊ，ｋを正の整数として、部分画像の番号をｚ＝ｉ，ｊ，ｋとし、Ｄ０画像、Ｄ１画像、Ｄ２画像の各部分画像をｉＤ０（ｘ，ｙ）、ｊＤ１（ｘ，ｙ）、ｋＤ２（ｘ，ｙ）と表している。

そして、以下の式１３に示す演算により、信号ｉｊＣｒ、ｉｋＣｂの絶対値の加算結果ｉｊｋＣｓを求める。ただし、式１３における総和Σは部分画像に含まれる全画素について行われる。

奥行き情報生成部７ｂは、（ｉ，ｊ，ｋ）の組み合わせを変えながら、ｉｊｋＣｓを計算し、その値を最小にする部分画像の組み合わせを選択する。このようにして選択した部分画像の組み合わせについて、Ｄ０画像の部分画像に対するＤ１またはＤ２画像の部分画像のｘ方向のずれ量は、先に求めたずれ量に加算され、最終的なずれ量として取り扱われる。

次に、奥行き情報生成部７ｂは、ステップＳ８０３において、選択した部分画像の組み合わせについて、再度、式６、７と同様の演算を行ってホワイトバランス係数α０、β０を決定する。以前に求めたα０、β０は画像全体について決定した係数であり、理想的な係数ではない。すなわち、Ｄ０画像を基準としてＤ１、Ｄ２画像は右または左にシフトしており、Ｄ１、Ｄ２画像の左端または右端の部分はＤ０画像には存在しないことから、以前に求めたα０、β０は誤差を含む。理想的ではないホワイトバランス係数α０、β０を用いて生成した合成画像は正確な白色にはならない。そこで、奥行き情報生成部７ｂは、選択した部分画像に基づいて、より正確なホワイトバランス係数α０、β０を求める。Ｄ０、Ｄ１、Ｄ２の各々から抽出された部分画像は、いずれも同一の被写体部分に関する画像であることから、これらの部分画像から求められるα０、β０は、以前に求めたものよりも理想的な係数である。

奥行き情報生成部７ｂは、続くステップＳ８０４において、改めて決定したホワイトバランス係数α０、β０を用いて、式１０に基づき、画像全体についてのＣｓを再度計算する。ステップＳ８０５において、その計算結果が予め定められた閾値よりも小さければ「ＯＫ」と判定し、閾値以上であれば「ＮＧ」と判定する。「ＯＫ」と判定した場合、奥行き情報生成部７ｂは、ステップＳ８０６において、Ｄ０画像の部分画像とＤ１またはＤ２画像の部分画像との間のｘ方向のずれ量を、先に求めたずれ量に加算し、最終的なずれ量として決定する。そして、ステップＳ８０７において、そのずれ量に基づいて着目する被写体の奥行き情報を算出する。

ステップＳ８０５において「ＮＧ」と判定した場合、奥行き情報生成部７ｂは、ステップＳ８０８において、奥行き情報が取得できない旨を画面に表示する。なお、この画面表示の代わりに、図７ＡにおけるステップＳ７０４で求めた総ピクセル量に基づく距離情報を出力してもよい。

このように、奥行き情報生成部７ｂは、３つの画像を用いてカラー画像処理を行い、奥行き情報を決定する。直接光画像に対する回折光画像のずれ量を求めることにより、被写体の相対的な奥行き情報を算出できる。

以上のように、本実施形態によれば、撮像光学系に回折格子１Ｄ１、１Ｄ２と偏光フィルタ１Ｐ１、１Ｐ２とを重ねた光学領域（透光板１）を設け、撮像素子２にも偏光フィルタ２Ｐ１、２Ｐ２を配置した画素を配置することにより、被写体からの直接光による画像と回折光による画像とを重畳的に撮像できる。そして、画素間演算によりそれらの画像を分離できる。さらに、分離した画像から抽出した適当な部分画像の組み合わせに対して、ホワイトバランスとカラー化の処理を行うことにより、直接光による画像と回折光による画像とのずれ量を算出でき、その結果、被写体の奥行き情報を算出できる。

なお、本実施形態では、透光板１に関して、回折領域１Ｄ１、１Ｄ２が図３Ａに示すように透光板１の全面に配列された構成にしたが、これに限定されるものではない。例えば、図９Ａに示すように、２つの結合した領域１ａに分けてもよいし、図９Ｂに示すように、３つ以上の分離した領域１ａに分けても問題ない。この場合、領域１ａは、図３Ａにおける透光板１と同様、複数の基本構成１ＡＢによって構成され、領域１ａ以外の部分は透明領域である。このような構成にすれば、図３Ａに示す構成に比べ、回折光の量は減少するが、直接光の量は増加するため、通常画像を高い感度で取得する用途に適している。なお、この例でも、透光板１における基本構成１ＡＢは２行２列のものに限定されない。

また、本実施形態では、２つの偏光フィルタ１Ｄ１、１Ｄ２に関して、偏光方向が互いに直交するものを用いたが、直交しなくとも式４、５と同様の関係式が作れれば問題ない。また、撮像素子２における偏光フィルタ２Ｄ１、２Ｄ２に関しても、それらの偏光方向のなす角度は直交している必要はない。上記の構成を一般化して、透光板１における偏光フィルタ１Ｄ１、１Ｄ２の偏光透過軸同士のなす角度をΦ１、撮像素子２における偏光フィルタ２Ｄ１、２Ｄ２の偏光透過軸同士のなす角度をΦ２とすると、式４、５は、それぞれ以下の式１４、１５に変形される。

角度θ、Φ１、Φ２は既知であるため、画像生成部７ａは、式１５に基づく演算を撮像素子１の単位要素ごとに行うことにより、Ｄ０画像、Ｄ１画像、およびＤ２画像を生成することができる。

加えて、透光板１および撮像素子２は、２種類の偏光フィルタを有さず、１種類の偏光フィルタだけを有していても構わない。その場合、透光板１は、１種類の回折領域を有していればよい。但し、その場合、式４の関係式における３行３列の行列の代わりに２行２列の行列を使うことになる。簡単な例として、図３Ａにおける偏光フィルタ１Ｐ２が偏光フィルタ１Ｐ１と同一特性であり、図４における偏光フィルタ２Ｐ２が偏光フィルタ２Ｐ１と同一特性である場合を考える。すると、撮像素子２において、１行２列または２行１列の画素単位で処理することができ、式４、５は、以下の式１６、１７に書き替えられる。

この場合、画像生成部７ａは、式１７に基づいて信号Ｄ０、Ｄ１を求めることにより、直接光の画像と回折光の画像とを得ることができる。その後のカラー化処理では、回折光の画像をマゼンタ（赤と青の混色）画像として利用すれば問題ない。この場合、奥行き情報生成部７ｂは、式６〜９において、Ｄ１（ｘ，ｙ）＝Ｄ２（ｘ，ｙ）、α０＝β０、Ｃｒ（ｘ，ｙ）＝Ｃｂ（ｘ，ｙ）として、回折光によるＤ１画像がＤ０画像に近づくようにＤ１画像を水平方向にずらしながら、式１０に示す信号Ｃｓを計算すればよい。また、図７Ｂに示す処理についても同様に適用できる。

また、撮像素子２における偏光フィルタに関しては、基本構成を市松配列に限定するものではなく、縦ストライプ、横ストライプ状の配列でも構わない。例えば、図４に示す偏光フィルタ２Ｐ１、２Ｐ２が同一の行または列に配列されていてもよい。

本実施形態における透光板１の回折領域１Ｄ１、１Ｄ２は、１次回折光を主に発生させるが、他の次数の回折光を主に発生させるように構成されていてもよい。本明細書において、回折領域が「ｎ次回折光（ｎは１次以上の整数）を主に発生させる」とは、その回折領域から出射される回折光について、ｎ次回折光が全回折光の８０％以上を占めることを意味する。各回折領域は、全回折光に対してｎ次回折光が占める割合が、好ましくは９０％以上、さらに好ましくは９５％以上になるように設計される。

また、本実施形態では、回折領域１Ｄ１、１Ｄ２は、各々から発生したｎ次回折光が、撮像面上において、透明領域１ＣＬＲを透過した光が入射する位置よりもｘ方向にシフトした位置に入射するように構成されているが、本発明はこのような例に限定されない。例えば、ｎ次回折光が、直接入射光よりも撮像面上においてｙ方向にシフトした位置や、斜め方向にシフトした位置に入射するように回折領域１Ｄ１、１Ｄ２を構成してもよい。

また、本実施形態では、Ｄ０画像を緑画像、Ｄ１画像を赤画像、Ｄ２画像を青画像として取り扱ったが、このような色の割当は便宜上のものであり、他の色の組み合わせを用いてもよい。それぞれの画像を異なる色の画像として処理する限り、どのような色の組み合わせを用いてもよい。例えば、Ｄ０画像を緑画像ではなく赤画像とし、Ｄ１画像を青画像、Ｄ２画像を緑画像として処理してもよい。

（実施形態２）
次に、本発明の第２の実施形態による奥行き推定撮像装置を説明する。本実施形態は、透光板１の構成を除けば実施形態１と同様である。以下、実施形態１と異なる点を中心に説明し、同様の点についての説明は省略する。

図１０Ａは、本実施形態における透光板１を示す平面図である。図１０Ｂは、図１０ＡのＣ-Ｃ’線断面図である。本実施形態においても回折格子領域の基本構成１ＣＣは市松状であるが、これは必須要件ではない。透光板１の基本構成１ＣＣにおいて、１行１列目と２行２列目には回折領域１Ｄ４が設けられている。１行２列目および２行１列目には透明領域１ＣＬＲが設けられている。回折領域１Ｄ４は透明部材に直線状の溝を形成したものであり、ここではライン型の回折格子と呼ぶ。この回折格子は、入射光を水平方向に±γ度傾けるように設計されている。図１０Ｂでは、被写体からの直接光を０次光、直接光の向きに対してγ度傾いた光を＋１次光、−γ度傾いた光を−１次光と記している。なお、回折領域１Ｄ４は±１次光の代わりに他の次数の回折光を主に発生させるように構成されていてもよい。

また、このライン型の回折領域１Ｄ４には部分的に偏光フィルタ１Ｐ１、１Ｐ２が重ねて配置されている。偏光フィルタ１Ｐ１、１Ｐ２は、ライン型の回折領域１Ｄ４からの±１次光が通過する位置に配置されている。なお、偏光フィルタ１Ｐ１、１Ｐ２の偏光方向は、本実施形態においても互いに直交しているが、直交していなくてもよい。このように、本実施形態では、回折領域１Ｄ４における１つの溝に対応して２つの偏光フィルタ１Ｐ１、１Ｐ２が配置されている。これにより、±１次光は偏光され、０次光は偏光されずにそのまま透過する。

本実施形態で用いるライン型の回折領域１Ｄ４は、被写体からの直接光である０次光も透過させるため、実施形態１の構成と比較して、光感知セル２ａ、２ｄの信号量は減少し、光感知セル２ｂ、２ｃの信号量は増加する。このことは、実施形態１における透光板１における透明領域１ＣＬＲ、回折領域１Ｄ１、１Ｄ２の面積比が変わった事と等価であり、設計事項である。そのため、それらの設計値を式４に反映させれば、実施形態１と全く同じ処理で、被写体の奥行き情報を算出できる。

以上のように、本実施形態によると、撮像光学系の構成および信号処理は実施形態１と同じで、回折格子はライン型で、回折光の透過領域に偏光フィルタを配置させた透光板１を用いることにより、実施形態１と同様、被写体の奥行き情報を算出できる。

なお、本実施形態では、透光板１に関して、図１０Ａに示す回折領域１Ｄ４の配置形状を採用したが、これに限定されるものではない。例えば、回折領域を図９Ａに示すように２つの結合した領域１ａに分けてもよいし、図９Ｂに示すように３つ以上の分離した領域１ａに分けても問題ない。透光板１および撮像素子２の基本構成についても、２行２列に限定するものではない。また、利用する２種類の偏光フィルタに関しても、偏光方向が互いに直交するものに限らず、式４の関係式が作れればどのような偏光フィルタを用いても問題ない。撮像素子２における偏光フィルタに関しても、基本構成を市松状の配列に限定するものではなく、縦ストライプ配列や横ストライプ配列でも構わない。その他の変形例についても、実施形態１と同様に適用できる。

（実施形態３）
次に、第３の実施形態を説明する。本実施形態は、撮像系を有しない画像処理装置に関する。実施形態１では、撮像装置自身が画像生成処理、および直接光画像と回折光画像との間のマッチング処理を行い、回折光画像の直接光画像に対するずれ量を求めたが、この処理を撮像装置とは異なる他の装置に実行させてもよい。その場合、撮像装置自身は、図１に示す画像処理部７を有している必要はない。

本実施形態における画像処理装置の構成は、図１における信号処理部２００の構成と同様である。画像処理装置は、撮像装置に内蔵され得る他、例えばパーソナルコンピュータや携帯情報端末といったコンピュータによって実現され得る。

画像処理装置は、例えば図２〜５、または図１０Ａ、１０Ｂに示す構成を有する撮像装置によって生成された画素信号を受け取り、Ｄ０画像、Ｄ１画像、Ｄ２画像に分離した上で、例えば図７Ａに示す奥行き推定処理を実行する。あるいは、図７ＡのステップＳ７０１〜Ｓ７０３の処理および図７Ｂに示す処理を行ってもよい。これにより、被写体の奥行き情報を生成できる。

なお、本実施形態の画像処理は、実施形態１、２における撮像部１００を有する撮像装置によって取得された画像に限らず、同一被写体を異なる視点から撮影した複数の画像のように、マッチングを要する任意の画像に適用できる。特に、輝度レベル（コントラスト）の異なる複数の画像のマッチングを行う場合、公知の方法では正確なマッチングを行うことは困難であるが、本実施形態によれば、正確かつ容易にマッチングが可能である。本実施形態では、複数の画像に異なる色を割り当てて処理するため、それらの画像をディスプレイに表示しながら処理することにより、ユーザーは、これらの画像のマッチングの程度を視覚的に判断することができる。このため、従来にない容易なマッチング処理が可能である。そのような画像処理装置は、奥行き情報を生成することなく、複数の画像のずれ量を示す情報、またはマッチング後の合成画像を出力するように構成されていてもよい。

以上のように、本実施形態の画像処理装置は、同一の被写体が含まれた複数の画像のマッチングを容易に実現できるという効果がある。そのため、奥行き情報の生成に限らず、画像のマッチングが必要な用途に広く適用することができる。

本発明の実施形態にかかる奥行き推定撮像装置は、例えばデジタルカメラ、デジタルムービー、放送用の固体カメラ、産業用の固体監視カメラのような全てのカメラに有効である。

１ 透光板
１ＡＢ、１ＣＣ 透光板の基本構成部
１Ｄ１、１Ｄ２、１Ｄ４ 回折領域
１Ｐ１、１Ｐ２、２Ｐ１、２Ｐ２ 偏光フィルタ（偏光領域）
１ＣＬＲ 透明領域
２ 固体撮像素子
２ａ、２ｂ、２ｃ、２ｄ 光感知セル
３ 光学レンズ
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像処理部
７ａ 画像生成部
７ｂ 奥行き情報生成部
８ インターフェース部
３０ メモリ
１００ 撮像部
２００ 信号処理部

Claims (11)

1. 各々が入射光を回折させる回折領域、入射光を回折させずに透過させる透明領域、および前記回折領域の少なくとも一部に重なるように配置された偏光領域を有する複数の部分から構成される光透過部と、
   各々が第１の光感知セル、第２の光感知セル、および前記第１の光感知セルに対向する位置に配置された偏光フィルタを有する複数の単位要素が撮像面上に２次元的に配列された撮像素子と、
   前記撮像面に、前記透明領域を透過した光による像、および前記回折領域を透過した光による像を形成するように構成された結像部と、
   前記撮像素子から出力された信号を処理する信号処理部と、
   を備える奥行き推定撮像装置。
2. 前記撮像面上における前記単位要素の配列方向をｘ方向およびｙ方向とするとき、
   前記回折領域は、ｎ次回折光（ｎは１以上の整数）を主に発生させ、前記ｎ次回折光が、前記撮像面上において、前記透明領域を透過した光が入射する位置よりもｘ方向またはｙ方向にシフトした位置に入射するように構成されている、請求項１に記載の奥行き推定撮像装置。
3. 前記回折領域を第１の回折領域と呼び、前記偏光領域を第１の偏光領域と呼び、前記偏光フィルタを第１の偏光フィルタと呼ぶとき、
   前記光透過部の前記複数の部分は、ｎ次回折光を主に発生させる第２の回折領域、および前記第２の回折領域の少なくとも一部に重なるように配置され、前記第１の偏光領域とは偏光透過軸の方向が異なる第２の偏光領域をさらに有し、
   前記撮像素子の前記単位要素は、第３の光感知セル、および前記第３の光感知セルに対向して配置され、前記第１の偏光フィルタとは偏光透過軸の方向が異なる第２の偏光フィルタをさらに有している、
   請求項２に記載の奥行き推定撮像装置。
4. 前記第１および第２の回折領域は、前記第１の回折領域から出射される前記ｎ次回折光、および前記第２の回折領域から出射される前記ｎ次回折光が、前記撮像面上において、前記透明領域を透過した光が入射する位置に対して対称な位置に入射するように構成されている、請求項３に記載の奥行き推定撮像装置。
5. 前記回折領域は、０次回折光および±ｎ次回折光（ｎは１以上の整数）を発生させるように構成され、
   前記偏光領域は、前記＋ｎ次回折光の経路上に配置された第１の偏光領域と、前記−ｎ次回折光の経路上に配置され、前記第１の偏光領域とは偏光透過軸の方向が異なる第２の偏光領域とを有し、
   前記撮像素子の前記単位要素は、さらに第３の光感知セル、および前記第３の光感知セルに対向して配置され、前記第１の偏光フィルタとは偏光透過軸の方向が異なる第３の偏光フィルタをさらに有している、
   請求項１に記載の奥行き推定撮像装置。
6. 前記第１の偏光領域および前記第２の偏光領域の一方の偏光透過軸の方向は、前記第１の偏光フィルタおよび前記第２の偏光フィルタの一方の偏光透過軸の方向に等しい、請求項３から５のいずれかに記載の奥行き推定撮像装置。
7. 前記第１の偏光領域の偏光透過軸の方向は、前記第２の偏光領域の偏光透過軸の方向に直交し、
   前記第１の偏光フィルタの偏光透過軸の方向は、前記第２の偏光フィルタの偏光透過軸の方向に直交している、請求項３から６のいずれかに記載の奥行き推定撮像装置。
8. 前記信号処理部は、前記第１の光感知セルから出力された信号、および前記第２の光感知セルから出力された信号に基づいて、前記回折領域を透過した光による第１の画像と、前記透明領域を透過した光による第２の画像とを生成する画像処理部を有している、請求項１または２に記載の奥行き推定撮像装置。
9. 前記画像処理部は、前記第１の画像における被写体の位置と、前記第２の画像における前記被写体の位置とのずれに基づいて、前記被写体の奥行きを示す情報を生成する、請求項６に記載の奥行き推定撮像装置。
10. 前記信号処理部は、前記第１の光感知セルから出力された第１の信号、前記第２の光感知セルから出力された第２の信号、および前記第３の光感知セルから出力された第３の信号に基づいて、前記第１の回折領域を透過した光による第１の画像と、前記第２の回折領域を透過した光による第２の画像と、前記透明領域を透過した光による第３の画像とを生成する画像処理部を有している、請求項３から５のいずれかに記載の奥行き推定撮像装置。
11. 前記画像処理部は、前記第１の画像における被写体の位置と、前記第３の画像における前記被写体の位置とのずれ、および前記第２の画像における前記被写体の位置と、前記第３の画像における前記被写体の位置とのずれに基づいて、前記被写体の奥行きを示す情報を生成する、請求項８に記載の奥行き推定撮像装置。

Images