JP5879549B2 - ライトフィールド撮像装置、および画像処理装置 - Google Patents

Description

本願は１つの光学系と１つの撮像素子とを用いて複数視点画像を生成する単眼の３次元撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られてきた。このため、僅かの年数で撮像素子の画素数が１００万画素程度から１０００万画素以上へと著しく増加している。さらに、撮像によって得られる画像の質も飛躍的に向上している。一方、表示装置に関しては、薄型の液晶やプラズマによるディスプレイにより、場所を取らず、高解像度で高コントラストの表示が可能になり、高い性能が実現されている。このような映像の高品質化の流れは、２次元画像から３次元画像へと広がりつつある。昨今では、偏光メガネを必要とするが、高画質の３次元表示装置が開発され始めている。

３次元撮像技術に関して、単純な構成をもつ代表的な方式として、２つのカメラから構成される撮像系を用いて、右目用の画像および左目用の画像をそれぞれ取得するという方式がある。このような、いわゆる２眼撮像方式では、カメラを２つ用いるため、撮像装置が大型になり、コストも高くなり得る。そこで、１つのカメラを用いて視差を有する複数の画像（以下、「複数視点画像」と呼ぶことがある。）を取得する方式（単眼撮像方式）が研究されている。

例えば、特許文献１、２には、透過軸の方向が互いに直交する２枚の偏光板と回転する偏光フィルタとを用いて複数視点画像を取得する方式が開示されている。また、特許文献３〜５には、複数の色フィルタが設けられた絞り（光束制限板）を用いて複数視点画像を取得する方式が開示されている。

上記の特許文献１〜５に開示された方式は、単眼のカメラによって主に複数視点画像を生成する際に利用される。一方、複数のマイクロレンズを備えた単眼のカメラを用いて奥行き情報を取得し、その情報に基づいて、取得後の画像の焦点位置を自由に変えることができる技術も存在する。そのような技術は、ライトフィールド・フォトグラフィーと呼ばれ、それを用いた単眼カメラは、ライトフィールドカメラと呼ばれる。ライトフィールドカメラでは、撮像素子上に複数のマイクロレンズが配置される。各マイクロレンズは、複数の画素を覆うように配置される。撮像後、取得した画像情報から、入射光の方向に関する情報を算出することにより、被写体の奥行きを推定できる。そのようなカメラは、例えば非特許文献１に開示されている。

ライトフィールドカメラでは、奥行き情報を算出することができるが、マイクロレンズの数によって解像度が決まるため、撮像素子の画素数から決まる解像度よりも解像度が低下するという課題がある。その課題に対して、特許文献６には、２つの撮像系を用いて解像度を向上させる技術が開示されている。この技術では、入射光を２分割し、分割したそれぞれの入射光を、空間的に１／２ピッチずつずれて配列されたマイクロレンズ群を有する撮像系で撮像し、その後取得された画像を合成することによって解像度を向上させる。しかしながら、この技術では、撮像系が２つ必要であり、サイズおよびコストの面で課題がある。

上記の課題に対して、１つの撮像系を用いて通常撮像モードとライトフィールド・フォトグラフィーに基づくモードとを切り換える技術が特許文献７に開示されている。この技術によれば、印加電圧に応じて焦点距離が変化するマイクロレンズが用いられ、マイクロレンズの焦点距離が、前者のモードでは無限大に設定され、後者のモードでは、所定の距離に設定される。このような機構により、解像度の高い画像と奥行き情報とを得ることができる。しかしながら、この技術では、マイクロレンズの焦点距離を変化させる機構と、それを制御する機構とが必要である上、高解像度画像と奥行き情報とが同時には得られないという課題がある。

特開昭６２−２９１２９２号公報 特開昭６２−２１７７９０号公報 特開２００２−３４４９９９号公報 特開２００９−２７６２９４号公報 特開２００３−１３４５３３号公報 特開平１１−９８５３２号公報 特開２００８−１６７３９５号公報

Ｒｅｎ Ｎｇ，ｅｔ ａｌ，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

ライトフィールドカメラでは、奥行き情報を得ることはできるが、画像の解像度が低下するという課題がある。その課題を解決するためには、上記の特許文献６、７の技術のように光学系の改良が必要であるが、仮に改良したとしても、撮像系が２つ必要であったり、高解像度画像と奥行き情報とが同時に得られないという課題がある。

本願は、上記の課題に鑑み、従来技術とは異なる光学系および信号処理を用いて、高解像度画像と奥行き情報とを同時に取得できる撮像技術を提供する。

上記課題を解決するために、本発明の一態様によるライトフィールド撮像装置は、各々が、分光透過率特性が互いに異なる第１の種類の画素および第２の種類の画素を含む、複数の単位ブロックが撮像面に配列された撮像素子と、前記撮像素子の撮像面に対向するように配置された光透過部であって、複数の互いに離間した部分領域から構成される第１の透光領域、および前記第１の透光領域とは分光透過率特性が異なる第２の透光領域を有する光透過部と、第１の焦点距離を有する第１の結像領域、および前記第１の焦点距離よりも長い第２の焦点距離を有する第２の結像領域を少なくとも有する結像部とを備えている。前記光透過部と前記結像部との距離は、前記第１の焦点距離に等しく、前記撮像素子の撮像面と前記結像部との距離は、前記第２の焦点距離に等しい。

本発明の実施形態によれば、撮像素子の撮像面で焦点が合った状態で撮像でき、かつ、２種類の透光領域をそれぞれ入射した光による画像情報を分離できる。このため、これらの画像情報から、被写体の奥行き情報と、高解像度画像とを同時に得ることが可能となる。

実施形態１〜３における撮像装置の概略構成を示す図である。 実施形態１における光学レンズ、透光板、および撮像素子の配置関係を示す模式図である。 実施形態１における透光板の正面図である。 実施形態１におけるカラー固体撮像素子の基本色構成を示す図である。 実施形態１における透光板の分光透過率特性を示す図である。 実施形態１における光学レンズによる結像状況を示した概観図である。 実施形態２における光学レンズによる結像状況を示した概観図である。 実施形態２におけるカラー固体撮像素子の基本色構成を示す図である。 実施形態３における光学レンズによる結像状況を示した概観図である。

本発明の例示的な実施形態の概要は以下のとおりである。

（１）本発明の一態様によるライトフィールド撮像装置は、各々が、分光透過率特性が互いに異なる第１の種類の画素および第２の種類の画素を含む、複数の単位ブロックが撮像面に配列された撮像素子と、前記撮像素子の撮像面に対向するように配置された光透過部であって、複数の互いに離間した部分領域から構成される第１の透光領域、および前記第１の透光領域とは分光透過率特性が異なる第２の透光領域を有する光透過部と、第１の焦点距離を有する第１の結像領域、および前記第１の焦点距離よりも長い第２の焦点距離を有する第２の結像領域を少なくとも有する結像部とを備える。前記光透過部と前記結像部との距離は、前記第１の焦点距離に等しく、前記撮像素子の撮像面と前記結像部との距離は、前記第２の焦点距離に等しい。

（２）項目（１）に記載のライトフィールド撮像装置のある態様において、前記第１および第２の種類の画素の分光透過率特性は、それぞれ前記第１および第２の透光領域の分光透過率特性と同一である。

（３）項目（１）または（２）に記載のライトフィールド撮像装置のある態様において、前記複数の部分領域は、前記第２の透光領域に囲まれている。

（４）項目（１）から（３）のいずれかに記載のライトフィールド撮像装置のある態様において、前記複数の部分領域は、等間隔で行列状に配列されている。

（５）項目（１）から（４）のいずれかに記載のライトフィールド撮像装置のある態様において、前記複数の部分領域の各々の形状は円形である。

（６）項目（１）から（５）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第１の透光領域の光入射側には、マイクロレンズが配置されている。

（７）項目（１）から（６）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第１の透光領域の分光透過率特性を表す第１の関数、および前記第２の透光領域の分光透過率特性を表す第２の関数は、ともに可視光の波長域において複数の極大値を有し、各関数が極大値をとる波長は、互いに異なっている。

（８）項目（１）から（７）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第１の透光領域の分光透過率特性を表す第１の関数、および前記第２の透光領域の分光透過率特性を表す第２の関数の少なくとも一方は、赤、緑、青の各波長域において極大値を有する。

（９）項目（１）から（８）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第１の透光領域の分光透過率特性および前記第２の透光領域の分光透過率特性の一方は、波長依存性を有していない。

（１０）項目（９）に記載のライトフィールド撮像装置のある態様において、前記第１の透光領域および前記第２の透光領域の一方は、透明である。

（１１）項目（１）から（８）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第２の透光領域は、複数の色フィルタの集合から構成されている。

（１２）項目（１１）に記載のライトフィールド撮像装置のある態様において、前記複数の色フィルタは、マゼンタフィルタおよび緑フィルタの組み合わせ、または赤フィルタ、緑フィルタ、および青フィルタの組み合わせのいずれかから構成されている。

（１３）項目（１）から（１２）のいずれかに記載のライトフィールド撮像装置のある態様において、前記撮像素子の各単位ブロックは、互いに異なる色の光を検知する第３の種類の画素および第４の種類の画素をさらに含む。

（１４）項目（１）から（１２）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第１の種類の画素は、赤の波長域の光を検知する画素、緑の波長域の光を検知する画素、および青の波長域の光を検知する画素から構成され、前記第２の種類の画素は、赤、緑、青の全ての波長域の光を検知する１つの画素から構成されている。

（１５）項目（１）から（１４）のいずれかに記載のライトフィールド撮像装置のある態様において、前記第１の結像領域は前記結像部の周辺部に位置し、前記第２の結像領域は前記結像部の中央部に位置する。

（１６）項目（１）から（１５）のいずれかに記載のライトフィールド撮像装置は、ある態様において、前記第１の結像領域の光入射側に配置され、前記第１の透光領域と同一の分光透過率特性を有する第１の透光性部材と、前記第２の結像領域の光入射側に配置され、前記第２の透光領域と同一の分光透過率特性を有する第２の透光性部材とをさらに備える。

（１７）項目（１）から（１６）のいずれかに記載のライトフィールド撮像装置は、ある態様において、前記第１および第２の種類の画素からそれぞれ出力された画素信号に基づいて、前記第１の透光領域に入射する光による第１の画像情報、および前記第２の透光領域に入射する光による第２の画像情報を生成する画像処理部をさらに備える。

（１８）項目（１７）に記載のライトフィールド撮像装置のある態様において、前記画像処理部は、前記第１の画像情報に基づいて、被写体の奥行き情報を生成する。

（１９）項目（１７）または（１８）に記載のライトフィールド撮像装置のある態様において、前記撮像素子の各単位ブロックは、互いに異なる色の光を検知する第３の種類の画素および第４の種類の画素をさらに含み、前記画像処理部は、前記第３および第４の種類の画素からそれぞれ出力された画素信号と、前記第２の画像情報とに基づいて、カラー画像を生成する。

（２０）本発明の一態様による画像処理装置は、項目（１）から（１９）のいずれかに記載のライトフィールド撮像装置から出力された信号に基づいて、前記第１の透光領域に入射する光による第１の画像情報と、前記第２の透光領域に入射する光による第２の画像情報とを生成する。

以下、図面を参照しながら本発明のより具体的な実施形態を説明する。以下の説明において、複数の図にわたって共通または対応する要素には同一の符号を付している。以下の説明において、画像を示す信号または情報を単に「画像」と称する場合がある。

（実施形態１）
まず、本発明の第１の実施形態による撮像装置を説明する。図１は、本実施形態におけるライトフィールド撮像装置（以下、単に「撮像装置」と呼ぶ。）の概略構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部１００と、撮像部１００で生成された信号に基づいて画像を示す信号（画像信号）を生成する信号処理部２００とを備えている。

撮像部１００は、撮像面上に配列された複数の光感知セルを備えるカラー固体撮像素子２（以下、単に「撮像素子」と呼ぶ。）と、透過率の波長依存性（分光透過率特性）が互いに異なる２種類の透光領域を有する透光板１（光透過部）と、撮像素子２の撮像面２ａ上に像を形成するための円形の光学レンズ３（結像部）と、赤外カットフィルタ４とを備えている。撮像部１００はまた、撮像素子２を駆動するための基本信号を発生するとともに撮像素子２からの出力信号を受信して信号処理部２００に送出する信号発生／受信部５と、信号発生／受信部５によって生成された基本信号に基づいて撮像素子２を駆動する素子駆動部６とを備えている。撮像素子２は、典型的にはＣＣＤまたはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部５および素子駆動部６は、例えばＣＣＤドライバなどのＬＳＩから構成されている。

信号処理部２００は、撮像部１００から出力された信号を処理して高解像度画像と奥行き情報とを生成する画像処理部７と、画像信号の生成に用いられる各種のデータを格納するメモリ３０と、生成した高解像度画像および奥行き情報を外部に送出する画像インターフェース（ＩＦ）部８とを備えている。画像処理部７は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。あるいは、画像処理部７は、専用のハードウェアから構成されていてもよい。メモリ３０は、ＤＲＡＭやＳＲＡＭなどの公知の半導体メモリによって構成され得る。メモリ３０は、撮像部１００から得られた信号を記録するとともに、画像処理部７によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像インターフェース部８を介して不図示の記録媒体や表示部などに送出される。

なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、上記の構成は一例であり、本実施形態において、透光板１、撮像素子２、画像処理部７以外の構成要素は、公知の要素を適宜組み合わせて用いることができる。

以上の構成により、入射光は、光学レンズ３、赤外カットフィルタ４、透光板１を通して撮像素子２の撮像面２ａで結像され、光電変換される。光電変換された画像信号は、信号発生／受信部５を通して画像処理部７に送られる。この画像信号は、画像処理部７によって透光板１の各領域に入射した光による画像を示す信号に分離され、高解像度画像と奥行き情報とが生成される。生成されたこれらの情報は、画像インターフェース部８を介して外部に送出される。

図２は、撮像部１００における光学レンズ３、透光板１、および撮像素子２の配置関係を模式的に示す図である。図２では、光学レンズ３、透光板１、および撮像素子２以外の構成要素は省略されている。また、図２では、各要素は単純化して描かれており、これらの要素のサイズ、形状、および要素間の距離は、必ずしも実際のものを反映していない。例えば、光学レンズ３は、複数のレンズ群から構成されたレンズユニットであり得るが、図２では簡単のため、単一のレンズとして描かれている。図２では透光板１と撮像素子２とは分離して描かれているが、透光板１と撮像素子２とは一体となって構成されていてもよい。以下の説明では、図中に示すｘｙ座標を用いる。

図３は、本実施形態における透光板１の正面図である。透光板１は、複数のピンホール形状の微小な部分領域からなる透光領域１ａと、その他の部分からなる透光領域１ｂとを有し、透光領域１ａ、１ｂは分光透過率特性が互いに異なる。本実施形態では、透光領域１ａの各部分領域は円形であり、ｘ方向およびｙ方向のそれぞれについて、一定の間隔で配列されている。本実施形態では、透光領域１ａと透光領域１ｂとの総面積比は１：１０程度であるが、本発明はこのような例に限られるものではない。

各部分領域のサイズは、例えば直径約１０μｍ〜２０μｍに設定され、それらの配置間隔は、約４０μｍ〜５０μｍに設定され得る。また、各部分領域の位置は、透光板１を撮像素子２の撮像面２ａに射影した場合、各部分領域の中心が、いずれかの画素の中心と一致していることが好ましい。なお、透光領域１ａの部分領域の数、形状、大きさ、配置間隔は、この例に限られるものではない。透光領域１ａは、少なくとも２つの互いに離間した部分領域を有し、それらの領域を透過した光が、撮像素子２の撮像面２ａ上に同一被写体の、視差を有する複数の像を形成する限り、どのように構成されていてもよい。そのような複数の像が形成されていれば、後述するように、パターンマッチングを行い、それぞれの対応点がそれぞれの画像の中心からどの程度ずれているかを解析することにより、奥行きを算出することができる。また、透光領域１ａの各部分領域の形状は円形に限られない。

図４は、撮像素子２の撮像面２ａに行列状に配列された複数の画素の一部を示している。本実施形態では、４つの画素を１つの単位ブロック６０とし、複数の単位ブロック６０が撮像面２ａに配列されている。１つの画素は、光感知セルと、それに対向して光入射側に配置された透過フィルタとを含んでいる。このように、本明細書では、１つの光感知セルおよびそれに対向して配置された１つの透過フィルタの組み合わせを「画素」と呼ぶ。各光感知セルは、典型的にはフォトダイオードを含み、光電変換によって各々の受光量に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶ。）を出力する。

図４に示すように、本実施形態における透過フィルタの配列は、２行２列を基本とする配列である。１行１列目には赤要素Ｒが、２行１列目には青要素Ｂが、１行２列目には透明要素Ｗ１が、２行２列目には透明要素Ｗ２が配置されている。

ここで、赤要素Ｒおよび青要素Ｂは、それぞれ赤および青の波長域の光を主に透過させるフィルタである。本明細書では、約４００ｎｍ〜約５００ｎｍを青の波長域、約５００ｎｍ〜約６００ｎｍを緑の波長域、約６００ｎｍ〜約７００ｎｍを赤の波長域と定義する。なお、この定義はあくまで便宜上のものであり、どの波長域をどの色と定義するかはどのように定めてもよい。

透明要素Ｗ１、Ｗ２は、分光透過率特性が互いに異なっており、いずれも完全透明ではないものの、赤、緑、青のいずれの色成分の光も、少なくとも一部は透過するように設計されている。本実施形態では、透明要素Ｗ１およびそれに対向する光感知セルが第１の種類の画素に相当し、透明要素Ｗ２およびそれに対向する光感知セルが第２の種類の画素に相当する。

撮像素子２の画素数および画素サイズは、任意に選択することができる。ただし、個々の画素のサイズが小さすぎると、感度が低下し、後述するパターンマッチングの精度が低下するため、感度上問題のない画素サイズを選択する必要がある。本実施形態では、一例として、撮像面の有効エリアのサイズは６．４ｍｍ×４．８ｍｍ、画素数は１５０万画素とする。

透光板１における透光領域１ａ、１ｂ、および撮像素子２の透明要素Ｗ１、Ｗ２は、例えば誘電体多層膜によって作製され得る。誘電体多層膜を用いることにより、所望の波長の光について透過率が極大または極小となる透過フィルタを作成することができる。また、撮像素子２の赤要素Ｒおよび青要素Ｂは、公知の顔料等を用いて作製され得る。

図５は、本実施形態における透光板１の透光領域１ａ、１ｂの分光透過率特性を表すグラフである。図中において、横軸は波長λ（ｎｍ）を表し、縦軸は透過率Ｔｒ（％）を表している。図５に示すように、透光領域１ａの分光透過率特性は、近似的に三角関数Ｓｉｎの２乗の特性であり、透光領域１ｂの分光透過率特性は、近似的に三角関数Ｃｏｓの２乗の特性になっている。すなわち、両者の波形は同様であるが、位相は９０度異なっている。本実施形態では、撮像素子２の透明要素Ｗ１の分光透過率特性は透光領域１ａの特性と等しく、透明要素Ｗ２の分光透過率特性は透光領域１ｂの特性と等しくなるように設計されている。このように、本実施形態における透光領域１ａ、１ｂ、透明要素Ｗ１、Ｗ２の分光透過率特性を示す関数は、いずれも赤、緑、青の各波長域において、極大値をもつ。

透光板１は、例えば以下のようにして作製され得る。まず、第１の透明基板上に屈折率の異なる複数の誘電体材料からなる薄膜の積層構造（誘電体多層膜）を複数形成し、第１の透光領域１ａを作製する。また、第２の透明基板上に、上記とは異なる分光透過率特性を有する誘電体多層膜を、第１の透光領域１ａに対応する位置以外の位置に形成し、第２の透光領域１ｂを作製する。作製したこれらの２つの構造物を接合することにより、透光板１を作製することができる。

撮像素子２の透明要素Ｗ１、Ｗ２は、例えば誘電体材料からなる１０層程度の薄膜をパターニングによって形成することにより作製され得る。透明要素Ｗ１と透明要素Ｗ２とで、一部の薄膜の膜厚を変えることにより、想定する分光特性を実現することが可能である。

図６は、光学レンズ３による結像の状況を示した概観図である。本実施形態では、光学レンズ３は長焦点レンズであり、透光板１および撮像素子２の撮像面２ａの両方が光学レンズ３の焦点範囲内に含まれる。より具体的には、光学レンズ３は、部分的に曲率が異なっており、光学レンズ３の周辺部（第１の結像領域）を通った光は透光板１上に結像し、それよりも内側の部分（第２の結像領域）を通った光は撮像素子２の撮像面２ａ上に結像する。言い換えれば、第１の結像領域の焦点距離ｆ１は、光学レンズ３と透光板１との距離に等しく、第２の結像領域の焦点距離ｆ２は、光学レンズ３と撮像素子２の撮像面２ａとの距離に等しい。このように、本実施形態における光学レンズ３は、１つのレンズでありながら、２以上の焦点を有している。なお、本明細書では、ある距離が１つの焦点距離に等しいとは、両者が厳密に一致する場合に限らず、当該距離が当該焦点距離の前後１５％以内に含まれる場合も含むものとする。本実施形態では、光学レンズ３は、周辺部の焦点距離が短く、中央部の焦点距離が長くなるように設計されているが、この例に限らず、２以上の焦点距離を有する光学系であればよい。

図６において、破線は透光板１上で焦点が合った光線を表しており、実線は後方の撮像素子２の撮像面２ａ上で焦点が合った光線を表している。前者の光線は、透光領域１ａを透過した、謂わばピンホール画像を形成する。このピンホール画像は、透光領域１ａに写された画像を単純に引き伸ばした画像である。一方、後者の光線は、最も解像度が高い画像を形成する。以上の状況が示すように、撮像素子２の各画素（光感知セル）は、ピンホール画像と高解像度画像とを同時に取得することができる。

以下、透光板１を介して被写体を撮像したときの動作および画像処理部７で行われる信号処理を説明する。ここで、撮像素子２のＲ要素を透過して光電変換される光による信号をＲｓ、Ｂ要素を透過して光電変換される光による信号をＢｓ、Ｗ１要素を透過して光電変換される光による信号をＷ１ｓ、Ｗ２要素を透過して光電変換される光による信号をＷ２ｓで表す。

被写体から入射する光のうち、赤色成分および青色成分は、透光板１の透光領域１ａまたは１ｂ、レンズ３、赤外カットフィルタ４、赤要素Ｒまたは青要素Ｂを通して撮像素子２で光電変換され、信号Ｒｓ、信号Ｂｓが生成される。同様に、被写体の白成分（赤、緑、青の全成分）は、撮像素子２のＷ１要素およびＷ２要素を通して光電変換され、信号Ｗ１ｓ、Ｗ２ｓが生成される。信号Ｗ１ｓ、Ｗ２ｓの量は、透光領域１ａ、１ｂへの入射光量の差によって異なる。その理由は、Ｗ１要素とＷ２要素とは、分光透過率特性が互いに異なると共に、それらはそれぞれ透光領域１ａ、１ｂの特性と等しいためである。仮に透光領域１ａ、１ｂの総面積比を１：１とすると、Ｗ１要素は透光領域１ｂを透過した光よりも透光領域１ａを透過した光を多めに透過させ、Ｗ２要素は透光領域１ａを透過した光よりも透光領域１ｂを透過した光を多めに透過させる。

以下、本実施形態における光電変換信号Ｗ１ｓ、Ｗ２ｓを説明する。まず、透光板１の透光領域１ａおよびＷ１要素を透過して光電変換される光による信号Ｗ１ａｓと、透光領域１ｂおよびＷ１要素を透過して光電変換される光による信号Ｗ１ｂｓとを説明する。上記のように、透光領域１ａおよびＷ１要素の透過率は近似的に三角関数Ｓｉｎの２乗に比例し、透光領域１ｂおよびＷ２要素の透過率は近似的に三角関数Ｃｏｓの２乗に比例する。その比例係数を含めた光電変換効率をｋとし、透光領域１ａ、１ｂの総面積比を１：Ｓとする。ここでは、透光領域１ａ、１ｂには同じ強度の無彩色光（波長依存性のない光）が入射するものと仮定する。この場合、信号Ｗ１ａｓは、透光領域１ａおよびＷ１要素の透過率の積分に比例するため、以下の式１で表される。一方、信号Ｗ１ｂｓは、透光領域１ｂおよびＷ１要素の透過率の積分に比例するため、以下の式２で表される。ここで、積分は可視光の全波長域（例えばλ＝４００ｎｍ〜７００ｎｍ）にわたって行われる。

ここで、式１、式２の計算を容易にするため、図５に基づき、積分範囲を可視光の４００〜７００ｎｍとし、波長λが４００ｎｍの場合を角度θ＝０ラジアン、波長λが５００ｎｍの場合を角度θ＝πラジアンとするデータに置き換えると、式１、式２は、それぞれ以下の式３、式４に書き直すことができる。

式３、式４は、さらに、それぞれ以下の式５、式６のように変形される。

同様に、信号Ｗ２ａｓは、透光領域１ａおよびＷ２要素の透過率の積分に比例するので、以下の式７で表される。一方、信号Ｗ２ｂｓは、透光領域１ｂおよびＷ２要素の透過率の積分に比例するので、以下の式８で表される。

ここで、式７の右辺の積分演算と式２の右辺の積分演算とは同一であるため、それらの積分計算結果は等しくなる。式８については、上記と同様に積分変数λをθに変換して計算すると、以下の式９に示す結果が得られる。

以上の結果から、Ｗ１ａｓ：Ｗ１ｂｓ＝１：Ｓ／３であり、Ｗ２ａｓ：Ｗ２ｂｓ＝１／３：Ｓであることがわかる。実際には、透光領域１ａ、１ｂには同じ強度の光が入射するわけではない。そこで、透光領域１ａ、１ｂ、Ｗ１要素、Ｗ２要素のすべてが完全透明であると仮定したときに、透光領域１ａ、１ｂを透過して着目する画素で光電変換される光の強度を示す信号を、それぞれＩＭＧ（ａ）、ＩＭＧ（ｂ）と表す。すると、それらと画素信号Ｗ１ｓ、Ｗ２ｓとの関係は、以下の式１０で表される。ここで、比例係数は省略している。

さらに、式１０の右辺の２行２列の行列の逆行列を両辺にかけることによって以下の式１１が得られる。

画像処理部７は、式１１に示す演算により、画素信号Ｗ１ｓ、Ｗ２ｓから、透光領域１ａ、１ｂに入射した光による信号成分を単位ブロックごとに求める。これにより、各領域に入射する光によって形成される画像を生成することができる。また、透光領域１ａを通して得られるピンホール画像を利用し、奥行き情報を算出することができる。具体的には、光学レンズ３、ピンホール群（透光領域１ａ）、撮像素子２の幾何学的な位置関係が予めわかっているため、それらの位置関係、および、あるピンホール画像とその周辺のピンホール画像との間の視差量に基づいて、奥行き情報が算出される。

ここで、ピンホール画像とは、透光領域１ａの各部分領域を透過する光によって撮像面２ａ上に形成された像に基づく画像である。上記の信号ＩＭＧ（ａ）によって表される画像は、複数のピンホール画像の集合であると言える。これらのピンホール画像は、同一の被写体を表す画像であるが、部分領域の位置の違いに起因する視差を有している。その視差を検出することにより、奥行き情報を算出することができる。例えば、あるピンホール画像Ａと隣接するピンホール画像Ｂには共通の部分画像が存在する。その部分画像を公知のパターンマッチングによって検出した結果、検出した部分画像がピンホール画像Ａではその中心から距離ＸＡだけ離れ、ピンホール画像Ｂではその中心から距離ＸＢだけ離れていたとする。その差｜ＸＡ−ＸＢ｜が視差量を表している。視差量は、被写体の奥行きによって変わるので、予め視差量と奥行きとの関係を理論的または実験的に求めておけば、視差量から奥行きを算出できる。

一方、上記演算処理結果のＩＭＧ（ｂ）は高解像度画像として用いられる。但し、信号ＩＭＧ（ｂ）に基づく画像は透光領域１ａを透過した光情報を含んでいないため、当該情報が損失している。そこで、さらに画質を向上させるために、信号ＩＭＧ（ａ）の情報の一部または全部をＩＭＧ（ｂ）の情報に加えてもよい。すなわち、ｋ´を０以上１以下の整数として、信号ＩＭＧ（ｂ）の代わりに信号ＩＭＧ（ｂ）＋ｋ´ＩＭＧ（ａ）を用いて高解像度画像を生成してもよい。

次に、高解像度画像のカラー信号処理を説明する。撮像素子２から得られる画素信号Ｗ１ｓ、Ｗ２ｓ、Ｒｓ、Ｂｓのうち、上記演算によって得られたＩＭＧ（ｂ）、あるいはＩＭＧ（ａ）＋ｋ´ＩＭＧ（ｂ）は輝度信号として処理され、Ｒｓ、Ｂｓは色信号として処理される。撮像素子２によって得られた画素信号は、画像処理部７に送られ、そこで画素信号Ｗ１ｓ、Ｗ２ｓから、上記の式１１に基づいて２つの画像信号ＩＭＧ（ａ）、ＩＭＧ（ｂ）が生成される。画像処理部７は、輝度信号ＹＬをＹＬ＝ＩＭＧ（ｂ）＋ｋ´×ＩＭＧ（ａ）とし、色差信号（Ｒｓ−ＹＬ）および（Ｂｓ−ＹＬ）を生成する。これらの色差信号に対してホワイトバランス調整を行った後、それらを複合カラー画像信号とする。

画像処理部７は、その後、以下の式１２に示すマトリックス演算処理を行うことにより、ＲＧＢ信号を生成する。ここで、生成するＲ信号、Ｇ信号、Ｂ信号をそれぞれｃＩＭＧ（ｒ）、ｃＩＭＧ（ｇ）、ｃＩＭＧ（ｂ）で表し、マトリックス係数をＭ１１〜Ｍ３３で表す。マトリックス係数Ｍ１１〜Ｍ３３は、予めシミュレーションによって求められた既知の値である。

以上のように、本実施形態の撮像装置は、長焦点の光学レンズ３、互いに分光透過率特性の異なる２領域を有しその内１領域はピンホール形状の群から成る透光板１、および当該透光板１と同様の光学特性を有する２種類の透明要素を含む撮像素子２が用いられる。このような構成により、奥行き情報を算出できると共に、高解像度画像も得ることができる。さらに、高解像度画像のカラー化も図れるという優れた効果を有する。

なお、本実施形態では、透明要素Ｗ１、Ｗ２以外に色要素として赤要素Ｒおよび青要素Ｂを用いたが、これらに限定されるものではなく、異なる色であれば如何なる色要素を用いても構わない。例えば、赤要素Ｒおよび青要素Ｂの代わりに、緑光を主に透過させる緑要素Ｇ、赤光および緑光を主に透過させる黄要素Ｙｅ、緑光および青光を主に透過させるシアン要素Ｃｙ、および赤光および青光を主に透過させるマゼンタ要素Ｍｇのいずれかを用いてもよい。また、カラーの高精細画像が必要ない場合は、画像処理部７は、カラー画像生成処理を行う必要はなく、撮像素子２に赤要素Ｒ、青要素Ｂが設けられている必要もない。加えて、各画素の配置に関しても、図４に示す配置に限定されるものではない。

また、透光板１の透光領域１ａ、１ｂ、および撮像素子２の透明要素Ｗ１、Ｗ２の分光透過率特性は、図５に示す三角関数に近似した特性でなくとも、式１０で示した行列演算において、当該行列の逆行列が求まる分光透過率特性であれば問題ない。言い換えれば、要素Ｗ１に対向する光感知セルおよび要素Ｗ２に対向する光感知セルが、ともに第１の透光領域１ａを透過した光と、第２の透光領域１ｂを透過した光とが重畳した光を受け、かつその受光量が互いに異なっていれば問題はない。例えば、透光領域１ａ、１ｂの一方の分光透過率特性が、波長依存性を有してなくてもよい。さらに、透光領域１ａ、１ｂの一方が透明であってもよい。なお、本明細書において、透明とは、赤、緑、青のいずれの色成分についても８５％以上の透過率を有する特性をいう。

さらに、透光板１の透光領域１ａの位置にマイクロレンズが配置されていてもよい。透光領域１ａにマイクロレンズが配置されている場合でも、本実施形態と同様の効果を得ることができる。なお、マイクロレンズが配置されている場合、集光効果がさらに高くなるという効果がある。これにより、感度が向上し、取得される画像が明るくなるため、上記の画像マッチングによる奥行算出の精度が向上するという利点がある。

また、透光板１の透光領域１ｂの全体は、一様な分光透過率特性を有している必要はなく、部分によって異なる分光透過率特性を有していてもよい。例えば、透光領域１ｂは、複数の色フィルタの集合から構成されていてもよい。複数の色フィルタとして、マゼンタフィルタおよび緑フィルタの組み合わせや、赤フィルタ、緑フィルタ、および青フィルタの組み合わせを用いることができる。このような構成により、透光領域１ｂ全体として、本実施形態と同様の特性をもたせることができる。

（実施形態２）
次に本発明の第２の実施形態を説明する。本実施形態では、光学レンズ３および撮像素子２の基本色構成が上記実施形態１とは異なり、それ以外は実施形態１と同じである。以下、実施形態１と異なる点を中心に説明し、同様の事項についての説明は省略する。

図７は、本実施形態における光学レンズ３による結像の状況を示す図である。本実施形態では、光学レンズ３は周辺部３ａと中央部３ｂとで焦点距離が異なる。レンズ周辺部３ａでは焦点距離が相対的に短く、レンズ中央部３ｂでは焦点距離が相対的に長い。その特性から、レンズ周辺部３ａについては透光板１上で被写体の焦点が合い、レンズ中央部３ｂについては撮像素子２の撮像面２ａ上で被写体の焦点が合うように光学レンズ３、透光板１、撮像素子２が配置されている。

図８は、本実施形態における撮像素子２の基本色構成を示す図である。その色構成は２行２列を基本とし、１行１列目が赤要素（Ｒ）、２行１列目が青要素（Ｂ）、１行２列目が緑要素（Ｇ）、２行２列目は透明要素（Ｗ２）である。透明要素Ｗ２は実施形態１における透明要素Ｗ２と同じである。ここで、Ｂ要素の分光透過率特性は、図５に示す透光領域１ａの４００〜５００ｎｍにおける特性と同じである。Ｇ要素における分光透過率特性は、図５に示す透光領域１ａの５００〜６００ｎｍにおける特性と同じである。Ｒ要素における分光透過率特性は、図５に示す透光領域１ａの６００〜７００ｎｍにおける特性と同じである。すなわち、Ｒ、Ｇ、Ｂ各要素の分光透過率特性を合算させた結果は、実施形態１における透光領域１ａおよび透明要素Ｗ１の特性と同じである。一方、透光板１は実施形態１における透光板１と同じである。本実施形態では、Ｒ要素、Ｇ要素、Ｂ要素、およびそれらに対向する３つの光感知セルが第１の種類の画素に相当し、Ｗ２要素およびそれに対向する光感知セルが第２の種類の画素に相当する。

以下、本実施形態における信号処理を、上記の実施形態１における処理と対比しながら説明する。実施形態１では、撮像素子２はＷ１要素を有し、その信号が用いられたが、本実施形態ではＷ１要素の代わりにＲ、Ｇ、Ｂ要素の信号を合算させた結果をＷ１ｓ信号として扱う。そうすることによって、Ｗ１要素及びＷ２要素に関わる演算は実施形態１における演算とまったく同じになる。その結果、本実施形態においても、透光領域１ａを透過して得られる画像信号ＩＭＧ（ａ）と透光領域１ｂを透過して得られる画像信号ＩＭＧ（ｂ）とは、式１１で表される。

また、画像のカラー化についても、実施形態１と全く同様の方法で行うことができる。すなわち、画像処理部７は、まず信号Ｗ１ｓとＷ２ｓとにより、信号ＩＭＧ（ａ）、ＩＭＧ（ｂ）を作り、輝度信号ＹＬ（＝ＩＭＧ（ｂ）＋ｋ´×ＩＭＧ（ａ））、色差信号（Ｒｓ−ＹＬ）、（Ｂｓ−ＹＬ）を生成する。これらの色差信号に対してホワイトバランス調整を行った後、それらを複合カラー画像信号とする。その後、式１２に基づくマトリックス演算処理を行い、ＲＧＢ信号を生成する。また、画像処理部７は、上記のカラー化処理の代わりに、画素信号Ｒｓ、Ｇｓ、Ｂｓをそのまま赤、緑、青のカラー信号として処理してもよい。

以上のように本実施形態によれば、周辺部３ａと中央部３ｂとで焦点距離が異なる光学レンズ３を用いて、レンズ周辺部３ａについては透光板１上で、レンズ中央部３ｂについては撮像素子２の撮像面２ａ上で焦点が合うように光学レンズ３、透光板１、撮像素子２が配置される。その上で、撮像素子２のＲ要素、Ｇ要素、Ｂ要素の分光透過率特性の合算を図５に示す透光領域１ａの特性と同じにすることにより、実施形態１と同様の効果を得ることができる。

なお、本実施形態では、図８に示すように、撮像素子２の基本色構成はＲ要素、Ｇ要素、Ｂ要素、およびＷ２要素を含むこととしたが、実施形態１のように、図４に示す構成を用いてもよい。また、図８に示す配置は唯一のものではなく、それらの配置が変わっていても問題はない。また、透光板１及び撮像素子２の分光透過率特性は、式１０に示す行列演算において、当該行列の逆行列が求まる分光透過率特性であれば上記の分光透過率特性でなくとも問題はない。但し、式１１に示す演算で演算結果が負になる場合は、行列要素の比率を変える行列をさらに乗算することにより、演算結果が負にならないようにすることができる。また、本実施形態においても、透光板１の透光領域１ａの代わりにマイクロレンズを当該位置に配置しても同様な効果を得ることができる。

（実施形態３）
次に、本発明の第３の実施形態について説明する。本実施形態では、実施形態２における光学レンズ３の光入射側の面（前面）に、透光板１の２種類の透光領域と同様の分光透過率特性を有する２種類の透光性部材が配置される。具体的には、図９に示すように、レンズ３の周辺部３ａの前面に透光板１の透光領域１ａと同じ分光透過率特性を有する透光性部材１ａａが配置され、レンズ３の中央部３ｂの前面に透光板１の透光領域１ｂと同じ分光透過率特性を有する透光性部材１ｂｂが配置される。それ以外の構成および処理は、実施形態２におけるものと同様である。

上記の構成により、透光板１の透光領域１ａにはレンズ中央部３ｂからの入射光が削減され、一方、透光板１の透光領域１ｂにはレンズ周辺部３ａからの入射光が削減される。その結果、透光領域１ａを透過した光と透光領域１ｂを透過した光の分離性が高くなり、奥行き情報の算出精度および高解像度画像の画質が向上する。なお、具体的な処理は上記の実施形態と同じであるため、説明を省略する。

以上のように、本実施形態によれば、実施形態２における構成要素に加え、さらに、光学レンズ３の周辺部３ａの前面に配置された、透光板１の透光領域１ａと同じ分光透過率特性を有する透光性部材１ａａと、光学レンズ３の中央部３ｂの前面に配置された、透光板１の透光領域１ｂと同じ分光透過率特性を有する透光性部材１ｂｂとが配置される。このような構成により、奥行き情報の算出精度と高解像度画像の画質とを向上させることができる。

以上の実施形態では、撮像装置に内蔵された画像処理部７が画像処理を行うものとしたが、撮像装置とは独立した他の装置に当該画像処理を実行させてもよい。例えば、上記の各実施形態における撮像部１００を有する撮像装置によって取得した信号を、他の装置（画像処理装置）に入力し、上記の信号演算処理を規定するプログラムを当該画像処理装置に内蔵されたコンピュータに実行させることによっても同様の効果を得ることができる。外部の画像処理装置に画像処理を実行させる場合、撮像装置は画像処理部を備えていなくてもよい。

本発明の実施形態にかかるライトフィールド撮像装置は、固体撮像素子を用いたすべてのカメラに有効である。例えば、デジタルカメラやデジタルビデオカメラ等の民生用カメラや、産業用の固体監視カメラ等に利用できる。

１ 透光板
１ａ、１ｂ 透光領域
１ａａ、１ｂｂ 透光性部材
２ カラー固体撮像素子
２ａ 撮像面
３ 光学レンズ
３ａ レンズ周辺部
３ｂ レンズ中央部
４ 赤外カットフィルタ
５ 信号発生／受信部
６ 素子駆動部
７ 画像処理部
８ 画像インターフェース部
３０ メモリ
１００ 撮像部
２００ 信号処理部

Claims (20)

1. 各々が、分光透過率特性が互いに異なる第１の種類の画素および第２の種類の画素を含む、複数の単位ブロックが撮像面に配列された撮像素子と、
   前記撮像素子の撮像面に対向するように配置された光透過部であって、複数の互いに離間した部分領域から構成される第１の透光領域、および前記第１の透光領域とは分光透過率特性が異なる第２の透光領域を有する光透過部と、
   第１の焦点距離を有する第１の結像領域、および前記第１の焦点距離よりも長い第２の焦点距離を有する第２の結像領域を少なくとも有する結像部と、
   を備え、
   前記光透過部と前記結像部との距離は、前記第１の焦点距離に等しく、前記撮像素子の撮像面と前記結像部との距離は、前記第２の焦点距離に等しい、
   ライトフィールド撮像装置。
2. 前記第１および第２の種類の画素の分光透過率特性は、それぞれ前記第１および第２の透光領域の分光透過率特性と同一である、請求項１に記載のライトフィールド撮像装置。
3. 前記複数の部分領域は、前記第２の透光領域に囲まれている、請求項１または２に記載のライトフィールド撮像装置。
4. 前記複数の部分領域は、等間隔で行列状に配列されている、請求項１から３のいずれかに記載のライトフィールド撮像装置。
5. 前記複数の部分領域の各々の形状は円形である、請求項１から４のいずれかに記載のライトフィールド撮像装置。
6. 前記第１の透光領域の光入射側には、マイクロレンズが配置されている、請求項１から５のいずれかに記載のライトフィールド撮像装置。
7. 前記第１の透光領域の分光透過率特性を表す第１の関数、および前記第２の透光領域の分光透過率特性を表す第２の関数は、ともに可視光の波長域において複数の極大値を有し、各関数が極大値をとる波長は、互いに異なっている、請求項１から６のいずれかに記載のライトフィールド撮像装置。
8. 前記第１の透光領域の分光透過率特性を表す第１の関数、および前記第２の透光領域の分光透過率特性を表す第２の関数の少なくとも一方は、赤、緑、青の各波長域において極大値を有する、請求項１から７のいずれかに記載のライトフィールド撮像装置。
9. 前記第１の透光領域の分光透過率特性および前記第２の透光領域の分光透過率特性の一方は、波長依存性を有していない、請求項１から８のいずれかに記載のライトフィールド撮像装置。
10. 前記第１の透光領域および前記第２の透光領域の一方は、透明である、請求項９に記載のライトフィールド撮像装置。
11. 前記第２の透光領域は、複数の色フィルタの集合から構成されている、請求項１から８のいずれかに記載のライトフィールド撮像装置。
12. 前記複数の色フィルタは、マゼンタフィルタおよび緑フィルタの組み合わせ、または赤フィルタ、緑フィルタ、および青フィルタの組み合わせのいずれかから構成されている、請求項１１に記載のライトフィールド撮像装置。
13. 前記撮像素子の各単位ブロックは、互いに異なる色の光を検知する第３の種類の画素および第４の種類の画素をさらに含む、請求項１から１２のいずれかに記載のライトフィールド撮像装置。
14. 前記第１の種類の画素は、赤の波長域の光を検知する画素、緑の波長域の光を検知する画素、および青の波長域の光を検知する画素から構成され、
    前記第２の種類の画素は、赤、緑、青の全ての波長域の光を検知する１つの画素から構成されている、
    請求項１から１２のいずれかに記載のライトフィールド撮像装置。
15. 前記第１の結像領域は前記結像部の周辺部に位置し、前記第２の結像領域は前記結像部の中央部に位置する、請求項１から１４のいずれかに記載のライトフィールド撮像装置。
16. 前記第１の結像領域の光入射側に配置された、前記第１の透光領域と同一の分光透過率特性を有する第１の透光性部材と、
    前記第２の結像領域の光入射側に配置された、前記第２の透光領域と同一の分光透過率特性を有する第２の透光性部材と、
    をさらに備える、請求項１から１５のいずれかに記載のライトフィールド撮像装置。
17. 前記第１および第２の種類の画素からそれぞれ出力された画素信号に基づいて、前記第１の透光領域に入射する光による第１の画像情報、および前記第２の透光領域に入射する光による第２の画像情報を生成する画像処理部をさらに備える、請求項１から１６のいずれかに記載のライトフィールド撮像装置。
18. 前記画像処理部は、前記第１の画像情報に基づいて、被写体の奥行き情報を生成する、請求項１７に記載のライトフィールド撮像装置。
19. 前記撮像素子の各単位ブロックは、互いに異なる色の光を検知する第３の種類の画素および第４の種類の画素をさらに含み、
    前記画像処理部は、前記第３および第４の種類の画素からそれぞれ出力された画素信号と、前記第２の画像情報とに基づいて、カラー画像を生成する、請求項１７または１８に記載のライトフィールド撮像装置。
20. 請求項１から１９のいずれかに記載のライトフィールド撮像装置から出力された信号に基づいて、前記第１の透光領域に入射する光による第１の画像情報と、前記第２の透光領域に入射する光による第２の画像情報とを生成する画像処理装置。

Images