JPWO2013038598A1 - 撮像素子、撮像装置および画像処理装置 - Google Patents

Abstract

上下方向の視差画像データおよび左右方向の視差画像データを取得するには、それぞれの視点に対応する位置に個別に撮像装置を用意する必要があった。
そこで、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子に設けられる開口マスクとを備え、ｎ個（ｎは４以上の整数）の光電変換素子を一組とする光電変換素子群が周期的に配列され、開口マスクの開口は、光電変換素子群の二次元配列に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられた撮像素子を提供する。

Description

本発明は、撮像素子、撮像装置および画像処理装置に関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

上下方向の視差画像データおよび左右方向の視差画像データを取得するには、それぞれの視点に対応する位置に個別に撮像装置を用意する必要があった。

本発明の第１の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子に設けられる開口マスクとを備え、ｎ個（ｎは４以上の整数）の光電変換素子を一組とする光電変換素子群が周期的に配列され、開口マスクの開口は、光電変換素子群の二次元配列に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられている。

本発明の第２の態様における撮像装置は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子に設けられる開口マスクとを備え、ｎ個（ｎは４以上の整数）の光電変換素子を一組とする光電変換素子群が周期的に配列され、開口マスクの開口は、それぞれの光電変換素子に対する相対的な位置を維持したまま仮想的に一つの光電変換素子上に重ね合わせると、当該仮想的な光電変換素子に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられている。

本発明の第３の態様における撮像装置は、上記の撮像素子と、撮像素子の姿勢を検出する姿勢検出部と、検出部により検出された姿勢に基づいて、選択回路に特定の光電変換素子を選択させ、加算器に特定の光電変換素子からの電気信号を加算させる制御部と、撮像素子の加算器から出力される画像信号を処理する画像処理部とを備える。

本発明の第４の態様における画像処理装置は、上記の撮像素子から出力される電気信号に基づく出力画像データを取得する出力画像データ取得部と、撮像素子の開口の位置に関する開口位置情報を取得する開口情報取得部と、開口位置情報に基づいて出力画像データを処理することにより視差画像データを生成する視差画像データ生成部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 垂直視差を与える撮像素子の一部を拡大した様子を表す概略図である。 Ｙ方向の視差画像を生成する処理を説明する概念図である。 本実施形態に係る撮像素子の一部を拡大した様子を表す概略図である。 一組の光電変換素子群を含む繰り返しパターンを示す図である。 繰り返しパターンに含まれる視差画素と被写体の関係を説明する概念図である。 横方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。 縦方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。 撮像素子の回路構成を示す概念図である。 他の例としての一組の光電変換素子群を含む繰り返しパターンの画素配列を示す図である。 異なる方向の視差を与える視差画素加算を説明する概念図である。 カラーフィルタパターンと繰り返しパターンの組み合わせの例を説明する図である。 他の撮像素子の一部を拡大した様子を表す概略図である。 一組の光電変換素子群を含む繰り返しパターンを示す図である。 異なる方向の視差を与える視差画素加算を説明する概念図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、ＡＦセンサ２１１、ＲＯＭ２２１および姿勢センサ２２２を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向を＋Ｘ軸方向、紙面上方向を＋Ｙ軸方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。ＲＯＭ２２１は、不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記憶している。

次に、撮像素子１００の構成について詳細に説明する。図２は、本実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。

図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹｅＣｙＭｇの補色フィルタの組合せであっても良い。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。

輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子８００の一部を拡大した様子を表す概略図である。撮像素子８００は、本実施形態おいて採用される撮像素子１００とは異なるが、説明の都合上、まず撮像素子８００について説明する。また、ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＸ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子８００の全体は、−Ｘ側から＋Ｘ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子８００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子８００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子８００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の−Ｘ側の端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、＋Ｘ側の端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと−Ｘ側の端の画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、＋Ｘ側の端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子８００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの−Ｘ側の端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて−Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて−Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子８００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子８００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子８００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子８００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子８００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、Ｘ軸方向に６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、紙面左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、Ｘ軸方向に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子８００上において、Ｘ軸方向に６画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、Ｘ軸方向、つまり水平視差画像が得られる。

しかし、撮像素子８００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｘ軸方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施してＸ軸方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データがＸ軸方向に１／６に間引かれた画像であるので、Ｘ軸方向の解像度は、Ｙ軸方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、Ｘ軸方向に視差を有する６視点の水平視差画像を生成することができる。

上記の例では、開口部１０４が−Ｘ側から＋Ｘ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とするＸ軸方向の繰り返しパターン１１０が周期的に配列される例を説明した。この場合、図５を用いて説明したようにＸ軸方向の視差である水平視差を与える６つの視差画像が得られる。一方、開口部１０４のシフト方向と繰り返しパターン１１０の配列を変更すれば、Ｙ軸方向の視差である垂直視差を与える視差画像を得ることができる。図６は、垂直視差を与える撮像素子９００の一部を拡大した様子を表す概略図である。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＹ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子９００の全体は、＋Ｙ側から−Ｙ側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子９００は、一組の光電変換素子群を含むＹ軸方向の繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図６における撮像素子９００は、繰り返しパターン１１０の単位で見れば、図３で説明した撮像素子８００における繰り返しパターン１１０を９０度回転した繰り返しパターン１１０を有すると言える。したがって、図４で説明した光学的な関係は、図６における撮像素子９００に対しても同様である。すなわち、Ｙ軸方向に配列される繰り返しパターン１１０の開口部１０４ａから１０４ｆに対応して、Ｙ軸方向に６つの視差像が形成されることになる。したがって、それぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、垂直方向に視差を与える視差画像が得られる。

図７は、Ｙ軸方向の視差画像を生成する処理を説明する概念図である。図は、紙面左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、Ｙ軸方向に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子９００上において、Ｙ軸方向に６画素おき、かつ、Ｘ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、Ｙ軸方向、つまり垂直視差画像が得られる。

しかし、撮像素子９００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｙ軸方向の画素数が１／６に間引かれた結果となり、横長の画像データが生成されてしまう。そこで、補間処理を施してＹ軸方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データがＹ軸方向に１／６に間引かれた画像であるので、Ｙ軸方向の解像度は、横方向の解像度よりも低下している。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、Ｙ軸方向に視差を有する６視点の垂直視差画像を生成することができる。

図３における撮像素子８００および図６における撮像素子９００は、一列方向に開口部１０４がシフトさせており、その方向に沿った視差を与える視差画像群を出力した。しかし、撮像素子は、繰り返しパターン１１０の配列と、それぞれの光電変換素子１０８に対応する開口マスク１０３における開口部１０４の配置によっては、ＸＹの二次元方向に視差を与える視差画像群を出力することができる。本実施形態で採用する撮像素子１００は、このような撮像素子である。

図８は、本実施形態に係る撮像素子１００の一部を拡大した様子を表す概略図である。撮像素子１００は、縦２つ横２つから成る４つの視差画素を構成する光電変換素子群を一組とする繰り返しパターン１１０が、周期的に配列されている。そして、一つの繰り返しパターン１１０に含まれるそれぞれの視差画素は、互いに異なる方向へ偏位した開口部１０４を有する開口マスク１０３を備える。

図９は、一つの繰り返しパターン１１０に対応する視差画素を示す図である。４つの視差画素は、繰り返しパターン１１０に対して右上に配列されているＵＲ画素、右下に配列されているＤＲ画素、左下に配列されているＤＬ画素および左上に配列されているＵＬ画素から成る。ＵＲ画素は、画素中心に対して右上方向へ偏位した開口部１０４１を有する開口マスク１０３を備える。ＤＲ画素は、画素中心に対して右下方向へ偏位した開口部１０４２を有する開口マスク１０３を備える。ＤＬ画素は、画素中心に対して左下方向へ偏位した開口部１０４３を有する開口マスク１０３を備える。ＵＬ画素は、画素中心に対して左上方向へ偏位した開口部１０４４を有する開口マスク１０３を備える。

これらの開口部１０４１〜１０４４のそれぞれは、繰り返しパターン１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されている。換言すれば、開口部１０４１〜１０４４のそれぞれは、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して定められる直交する縦横の２軸のそれぞれについて、互いに線対称となるように偏位して位置づけられている。つまり、開口部１０４１と開口部１０４２のペアおよび開口部１０４４と開口部１０４３のペアは、それぞれｘ軸に対して線対称となる位置に配置されており、また、開口部１０４４と開口部１０４１のペアおよび開口部１０４３と開口部１０４２のペアは、それぞれｙ軸に対して線対称となる位置に配置されている。

図１０は、繰り返しパターン１１０に含まれる視差画素と被写体３０の関係を説明する概念図である。繰り返しパターン１１０における開口部１０４１〜１０４４のそれぞれは、被写体光束全体の断面領域において二次元方向に規定される４つの部分領域のいずれかを通過する部分光束を通過させて各々の光電変換素子へ導く。

具体的には、図１０（ａ）に示すように、例えばＵＲ画素における開口部１０４１は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域Ｐ_ＵＲを通過した部分光束のみを通過させて、ＵＲ画素の光電変換素子１０８へ導く。同様に、ＤＲ画素における開口部１０４２は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域Ｐ_ＤＲを通過した部分光束のみを通過させて、ＤＲ画素の光電変換素子１０８へ導く。また、ＤＬ画素における開口部１０４３は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域Ｐ_ＤＬを通過した部分光束のみを通過させて、ＤＬ画素の光電変換素子１０８へ導く。また、ＵＬ画素における開口部１０４４は、被写体３０の微小領域Ｏから放射された光束のうち、撮影レンズ２０の瞳における部分領域Ｐ_ＵＬを通過した部分光束のみを通過させて、ＵＬ画素の光電変換素子１０８へ導く。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、４つの部分領域Ｐ_ＵＲ、Ｐ_ＤＲ、Ｐ_ＤＬおよびＰ_ＵＬのうちのいずれかの部分領域から射出された被写体光束を受光した画素の出力は、それぞれ視差画像を形成する。

具体的には、画像処理部２０５は、ＵＲ画素の出力を寄せ集めて視差画像データＩｍ＿ＵＲを生成し、ＤＲ画素の出力を寄せ集めて視差画像データＩｍ＿ＤＲを生成し、ＤＬ画素の出力を寄せ集めて視差画像データＩｍ＿ＤＬを生成し、ＵＬ画素の出力を寄せ集めて視差画像データＩｍ＿ＵＬを生成する。これらの視差画像間において、被写体が焦点面に存在すれば、その像は、相対的に同一位置に現れる。一方、焦点面より遠い位置に存在すれば、例えば図１０（ｂ）に示すように、その像は、Ｉｍ＿ＵＲで右上方向、Ｉｍ＿ＤＲで右下方向、Ｉｍ＿ＤＬで左下方向、Ｉｍ＿ＵＬで左上方向へ相対的にずれた位置に現れる。また、焦点面より近い位置に存在すれば、その像は、Ｉｍ＿ＵＲで左下方向、Ｉｍ＿ＤＲで左上方向、Ｉｍ＿ＤＬで右上方向、Ｉｍ＿ＵＬで右下方向へ相対的にずれた位置に現れる。なお、このような４つの視差画像データのそれぞれは、画素数は全体の画素数に対して１／４になるものの、正方画素である上下左右の視差画素のいずれかを寄せ集めて生成されるので、アスペクト比は維持されている。

もちろん、図１０（ｂ）で示すように、画像処理部２０５は、それぞれの視差画素の出力を別個に寄せ集めて４つの視差画像を生成しても良いが、観察者である人間の視覚特性に合わせて視差画像を生成することがより好ましい。具体的には、人間の眼球は左右方向に配置されているので、観察される視差画像も眼球の配置に対応する左右方向に視差を与えるほうが好ましい。一方、撮影時においてユーザは、デジタルカメラ１０を被写体に対して横画角に構える場合もあれば、縦画角に構える場合もある。したがって、横画角で撮影された場合でも、縦画角で撮影された場合でも、画像処理部２０５が生成する視差画像データは、観察時において横方向に視差を与えることが好ましい。そこで、本実施形態における撮像素子１００は、このような視覚特性に合致する方向に対して視差を与える視差画像を出力すべく、視差画素の加算処理を行う。

図１１は、横方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。図１１（ａ）は、加算する視差画素のペアを示す図である。横方向に視差を与える視差画像を出力する場合には、ＵＲ画素の出力とＤＲ画素の出力を加算し、ＵＬ画素の出力とＤＬ画素の出力を加算する。すなわち、ＵＲ画素とＤＲ画素の組み合わせ、およびＵＬ画素とＤＬ画素の組み合わせを、それぞれペア画素として扱う。

具体的には、ＵＲ画素の開口部１０４１とＤＲ画素の開口部１０４２の組み合わせを、繰り返しパターン１１０において右側へ偏位した一つの開口部であるＧＲ開口部１１０１とみなし、ＵＲ画素とＤＲ画素の加算出力を、あたかも一つの右視差画素からの出力であると扱う。同様に、ＵＬ画素の開口部１０４４とＤＬ画素の開口部１０４３の組み合わせを、繰り返しパターン１１０において左側へ偏位した一つの開口部であるＧＬ開口部１１０２とみなし、ＵＬ画素とＤＬ画素の加算出力を、あたかも一つの左視差画素からの出力であると扱う。

このように仮想的な右視差画素からの出力および左視差画素からの出力をそれぞれ寄せ集め、アスペクト調整のための補間処理を施すと、図１１（ｂ）に示すような左右方向に視差を与える画像としての右視差画像データＩｍ＿ＧＲと左視差画像データＩｍ＿ＧＬを取得できる。ユーザがデジタルカメラ１０を横画角で構えて撮影した場合にこれらの視差画像データが生成されれば、再生画像は、横方向に視差を与えるいわゆるステレオ画像となる。

図１２は、縦方向に視差を与える視差画素加算と出力される視差画像の関係を説明する概念図である。図１２（ａ）は、加算する視差画素のペアを示す図である。縦方向に視差を与える視差画像を出力する場合には、ＵＬ画素の出力とＵＲ画素の出力を加算し、ＤＬ画素の出力とＤＲ画素の出力を加算する。すなわち、ＵＬ画素とＵＲ画素の組み合わせ、およびＤＬ画素とＤＲ画素の組み合わせを、それぞれペア画素として扱う。

具体的には、ＵＬ画素の開口部１０４４とＵＲ画素の開口部１０４１の組み合わせを、繰り返しパターン１１０において上側へ偏位した一つの開口部であるＧＵ開口部１１０３とみなし、ＵＬ画素とＵＲ画素の加算出力を、あたかも一つの上視差画素からの出力であると扱う。同様に、ＤＬ画素の開口部１０４３とＤＲ画素の開口部１０４２の組み合わせを、繰り返しパターン１１０において下側へ偏位した一つの開口部であるＧＤ開口部１１０４とみなし、ＤＬ画素とＤＲ画素の加算出力を、あたかも一つの下視差画素からの出力であると扱う。

このように仮想的な上視差画素からの出力および下視差画素からの出力をそれぞれ寄せ集め、アスペクト調整のための補間処理を施すと、図１２（ｂ）に示すような上下方向に視差を与える画像としての上視差画像データＩｍ＿ＧＵと下視差画像データＩｍ＿ＧＤを取得できる。ただし、ユーザがデジタルカメラ１０を縦画角で構えて撮影した場合は、これらの画像データは、観察時において縦方向に再生される。すなわち、これらの再生画像は、図１２（ｃ）に示すように、図１２（ｂ）の視差画像が９０度回転させた、横方向に視差を与えるステレオ画像となる。この場合、これらの視差画像は、横方向に視差を与ええる縦画角の右視差画像データＩｍ＿ＧＲと左視差画像データＩｍ＿ＧＬとして扱うことができる。

図１３は、撮像素子１００の回路構成を示す概念図である。ＵＲ画素、ＤＲ画素、ＤＬ画素およびＵＬ画素のそれぞれに対応する光電変換素子１０８は、それぞれ増幅器６１０に接続されている。増幅器６１０の出力側にはゲートスイッチ６１１が連接されており、ゲートスイッチ６１１は、制御線６１２からの選択制御信号により開閉される。ゲートスイッチ６１１が閉じられると、増幅された画像信号は信号線６１３を通って加算器６１４へ到達する。

一つの信号線６１３に対して閉じられるゲートスイッチ６１１は一つである。例えば、図１０で説明した視差画像データＩｍ＿ＵＲを生成する場合は、ＵＲ画素の光電変換素子１０８からの画像信号のみを選択制御信号により一つずつ選択して順次信号線６１３へ転送し、加算器６１４で何ら加算することなく、Ａ／Ｄ変換回路２０２へ出力する。なお、選択制御信号は、駆動部２０４を介して制御部２０１から伝送される。Ａ／Ｄ変換回路２０２でデジタル化された画像信号は画像データとして画像処理部２０５へ送られ、画像処理部２０５は、これを予め定められたフォーマットの画像データへ変換して視差画像データＩｍ＿ＵＲを完成させる。視差画像データＩｍ＿ＤＲ、Ｉｍ＿ＤＬおよびＩｍ＿ＵＬも同様に生成できる。

一方、例えば図１１で説明した視差画像データＩｍ＿ＧＲを生成する場合は、まず、ＵＲ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。加算器６１４は、このＵＲ画像信号を保持する。次に、ペアとなるＤＲ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。そして加算器６１４は、保持していたＵＲ画像信号に、転送されてきたＤＲ画像信号を加算して、Ａ／Ｄ変換回路２０２へ出力する。これをペア画素ごとに繰り返す。なお、この場合も選択制御信号は、駆動部２０４を介して制御部２０１から伝送される。Ａ／Ｄ変換回路２０２でデジタル化された画像信号は画像データとして画像処理部２０５へ送られ、画像処理部２０５は、これを予め定められたフォーマットの画像データへ変換して視差画像データＩｍ＿ＧＲを完成させる。視差画像データＩｍ＿ＧＬも同様に生成できる。

また、例えば図１２で説明した視差画像データＩｍ＿ＧＵを生成する場合は、まず、ＵＲ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。加算器６１４は、このＵＲ画像信号を保持する。次に、ペアとなるＵＬ画素の光電変換素子１０８からの画像信号を選択制御信号により選択して信号線６１３へ転送する。そして加算器６１４は、保持していたＵＲ画像信号に、転送されてきたＵＬ画像信号を加算して、Ａ／Ｄ変換回路２０２へ出力する。これをペア画素ごとに繰り返す。なお、この場合も選択制御信号は、駆動部２０４を介して制御部２０１から伝送される。Ａ／Ｄ変換回路２０２でデジタル化された画像信号は画像データとして画像処理部２０５へ送られ、画像処理部２０５は、これを予め定められたフォーマットの画像データへ変換して視差画像データＩｍ＿ＧＵを完成させる。視差画像データＩｍ＿ＧＤも同様に生成できる。

制御部２０１は、視差画像データとしてＩｍ＿ＧＲとＩｍ＿ＧＬの組み合わせで出力させるか、あるいは、Ｉｍ＿ＧＵとＩｍ＿ＧＤの組み合わせで出力させるかを、姿勢センサ２２２によって検出されるデジタルカメラ１０（ひいては撮像素子１００）の姿勢により決定する。すなわち、デジタルカメラ１０の向きが横向きであると検出された場合は、出力される画像は横画角で観察されるものとして、視差画像データとしてＩｍ＿ＧＲとＩｍ＿ＧＬの組み合わせで出力する。一方、デジタルカメラ１０の向きが縦向きであると検出された場合は、出力される画像は縦画角で観察されるものとして、視差画像データとしてＩｍ＿ＧＵとＩｍ＿ＧＤの組み合わせで出力する。制御部２０１は、駆動部２０４を介して制御線６１２に選択制御信号を与えることにより、上記の組み合わせによる出力を実現する。

本実施形態に係る撮像素子１００の画素配列は、図９で示す縦２つ横２つから成る４つの視差画素を一つの繰り返しパターン１１０とする画素配列に限らない。図１４は、他の例としての一組の光電変換素子群を含む繰り返しパターン１１０の画素配列を示す図である。この例における撮像素子１００は、縦３つ横３つから成る９つの視差画素を構成する光電変換素子群を一組とする繰り返しパターン１１０が、周期的に配列されている。

９つの視差画素は、繰り返しパターン１１０に対して、上段の右から左へそれぞれ配列されているＵＲ画素、ＵＣ画素、ＵＬ画素、中段の右から左へそれぞれ配列されているＣＲ画素、ＣＣ画素、ＣＬ画素、下段の右から左へそれぞれ配列されているＤＲ画素、ＤＣ画素、ＤＬ画素から成る。ＵＲ画素は、画素中心に対して右上方向へ偏位した開口部１０５１を有する開口マスク１０３を備える。ＣＲ画素は、画素中心に対して右方向へ偏位した開口部１０５２を有する開口マスク１０３を備える。ＤＲ画素は、画素中心に対して右下方向へ偏位した開口部１０５３を有する開口マスク１０３を備える。ＤＣ画素は、画素中心に対して下方向へ偏位した開口部１０５４を有する開口マスク１０３を備える。ＤＬ画素は、画素中心に対して左下方向へ偏位した開口部１０５５を有する開口マスク１０３を備える。ＣＬ画素は、画素中心に対して左方向へ偏位した開口部１０５６を有する開口マスク１０３を備える。ＵＬ画素は、画素中心に対して左上方向へ偏位した開口部１０５７を有する開口マスク１０３を備える。ＵＣ画素は、画素中心に対して上方向へ偏位した開口部１０５８を有する開口マスク１０３を備える。ＣＣ画素は、画素中心に位置する開口部１０５０を有する開口マスク１０３を備える。

これらの開口部１０５０〜１０５８のそれぞれは、繰り返しパターン１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されている。換言すれば、開口部１０５０〜１０５８のそれぞれは、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して定められる直交する縦横の２軸のそれぞれについて、互いに線対称となるように偏位して位置づけられている。つまり、開口部１０５１、１０５２、１０５３のグループ、開口部１０５８、１０５０、１０５４のグループ、および開口部１０５７、１０５６、１０５５のグループは、それぞれｘ軸に対して線対称となる位置に配置されている。また、開口部１０５７、１０５８、１０５１のグループ、開口部１０５６、１０５０、１０５２のグループ、および開口部１０５５、１０５４、１０５３のグループは、それぞれｙ軸に対して線対称となる位置に配置されている。

図１５は、図１４の撮像素子１００において、異なる方向の視差を与える視差画素加算を説明する概念図である。撮像素子１００の視差画素の出力を、その開口部の種類ごとに個別に寄せ集めれば、９つの視差画像データを取得することができる。また、図１１および図１２を用いて説明した概念により視差画素加算を行えば、視覚特性に合致する方向に対して視差を与える視差画像データを取得することもできる。

図１５（ａ）は、横方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。横方向に視差を与える視差画像を出力する場合には、ＵＲ画素の出力、ＣＲ画素の出力およびＤＲ画素の出力を加算し、ＵＣ画素の出力、ＣＣ画素の出力およびＤＣ画素の出力を加算し、ＵＬ画素の出力、ＣＬ画素の出力およびＤＬ画素の出力を加算する。すなわち、ＵＲ画素、ＣＲ画素およびＤＲ画素の組み合わせ、ＵＣ画素、ＣＣ画素およびＤＣ画素の組み合わせ、ＵＬ画素、ＣＬ画素およびＤＬ画素の組み合わせを、それぞれグループ画素として扱う。

それぞれのグループ画素の加算出力をあたかも一つの右視差画素、中視差画素および左視差画素からの出力として、それぞれ寄せ集め、アスペクト調整のための補間処理を施すと、左右方向に視差を与える画像としての右視差画像データＩｍ＿ＧＲ、中視差画像データＩｍ＿ＧＣおよび左視差画像データＩｍ＿ＧＬを取得できる。ユーザがデジタルカメラ１０を横画角で構えて撮影した場合にこれらの視差画像データが生成されれば、横画角で再生される再生画像は、横方向に視差を与える三視差画像となる。なお、ＵＣ画素、ＣＣ画素およびＤＣ画素の開口部１０５８、１０５０、１０５４のそれぞれは、左右方向に対しては偏位していないが、部分領域からの部分光束を光電変換素子１０８へ導いていることから、これらのグループ画素も視差画素（中視差画素）として扱う。

図１５（ｂ）は、縦方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。縦方向に視差を与える視差画像を出力する場合には、ＵＬ画素の出力、ＵＣ画素の出力およびＵＲ画素の出力を加算し、ＣＬ画素の出力、ＣＣ画素の出力およびＣＲ画素の出力を加算し、ＤＬ画素の出力、ＤＣ画素の出力およびＤＲ画素の出力を加算する。ユーザがデジタルカメラ１０を縦画角で構えて撮影した場合にこれらの視差画像データが生成されれば、縦画角で再生される再生画像は、横方向に視差を与える三視差画像となる。なお、ＬＣ画素、ＣＣ画素およびＲＣ画素の開口部１０５６、１０５０、１０５２のそれぞれは、上下方向に対しては偏位していないが、部分領域からの部分光束を光電変換素子１０８へ導いていることから、これらのグループ画素も視差画素として扱う。

また、この配列においては、斜め方向に視差を与える視差画素加算も行い得る。図１５（ｃ）および図１５（ｄ）は、斜め方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。この場合、中央のグループ画素が３視差画素の組み合わせであるのに対して、両脇のグループ画素が２視差画素の組み合わせであるので、加算された画像信号の輝度値を調整する処理を施す。

以上の説明においては、撮像素子１００は、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみから成るイメージセンサであるとした。しかし、撮像素子１００が図２に示す構造を有するカラーイメージセンサである場合は、撮像素子１００は、カラーフィルタパターンと繰り返しパターン１１０が組み合わされて、視差画素と視差なし画素が混在する構造となる。以下にその具体例を示す。

図１６は、カラーフィルタパターン１１００と繰り返しパターン１１１０の組み合わせの例を説明する図である。ここでは、図９で示したＵＲ画素、ＤＲ画素、ＤＬ画素およびＵＬ画素がカラーフィルタパターン１１００と組み合わされる例により説明する。

カラーフィルタパターン１１００として、ここではベイヤー配列を採用する。ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色フィルタが割り当てられた画素をＢ画素とする。

視差画素であるＵＲ画素、ＤＲ画素、ＤＬ画素およびＵＬ画素は、いずれもＧｂ画素に割り当てられる。具体的には、ＵＲ画素は、右上のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置され、ＤＲ画素は、右下のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置され、ＤＬ画素は、左下のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置され、ＵＬ画素は、左上のカラーフィルタパターン１１００におけるＧｂ画素に重ねて配置されている。したがって、カラーフィルタパターン１１００が上下左右に４組連なった周期パターン１１２０が、カラーフィルタおよび視差画素の組み合わせに対する最小周期単位となる。

この場合の繰り返しパターン１１１０においても、やはり、これらの開口部１０４１〜１０４４のそれぞれは、繰り返しパターン１１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されている。したがって、これらの画素を互いに加算することにより、上述のような視差画像を出力することができる。

この撮像素子１００の配列に対して、視差なし画素を寄せ集めれば２Ｄ画像を生成することができる。ただし、Ｇｂ画素は視差画素であるので、２Ｄ画像データとして空格子となるＧｂ画素の画素値は、Ｇｒ画素の画素値によって補間する。また、カラーフィルタパターン１１００はベイヤー配列でなくても良く、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更しても良い。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

以上の実施形態においては、撮像素子１００が制御線６１２と加算器６１４を備えることにより、アナログ信号により画素加算を行うことができた。しかし、例えば加算器６１４を備えない撮像素子１００が組み込まれたデジタルカメラ１０であっても、出力画像データに対して画像処理を施すことにより、デジタル的に画素加算を行って視差画像データを新たに生成することができる。

このような処理は、制御部２０１と画像処理部２０５の協働によりデジタルカメラ１０で完結して行うこともできるし、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、デジタルカメラ１０、外部のパーソナルコンピュータ等の機器は画像処理装置として機能する。

このような後処理を実行する場合、画像処理装置としてのパーソナルコンピュータ等は、撮像素子１００から出力される電気信号によって形成された出力画像データを取得する出力画像データ取得部と、撮像素子１００の開口部１０４の位置に関する開口位置情報を取得する開口情報取得部と、当該開口情報を参照して出力画像データを処理することにより視差画像データを生成する視差画像データ生成部を備える。

出力画像データ取得部は、パーソナルコンピュータであれば、外部通信ユニット、メモリカード読取ユニット等が相当する。出力画像データ取得部は、加算処理が施されていない、例えば図１０（ｂ）に示す視差画像データＩｍ＿ＵＲ、Ｉｍ＿ＤＲ、Ｉｍ＿ＤＬ、Ｉｍ＿ＵＬを取得する。開口情報取得部は、データの受け取りについてこれらのユニットを共用しても良いし、別個に取得部を設けても良い。開口情報は、例えば、いずれの画素がＵＲ画素であるかといった、視差画素の種類と位置が記述された情報である。視差画像データ生成部は、例えば視差画像データＩｍ＿ＵＲ、Ｉｍ＿ＤＲ、Ｉｍ＿ＤＬ、Ｉｍ＿ＵＬから、開口情報に従ってそれぞれの画素に対して加算処理を施し、視差画像データＩｍ＿ＧＲとＩｍ＿ＧＬ、および、Ｉｍ＿ＵＧとＩｍ＿ＤＧの少なくともいずれかを生成する。

このとき、視差画像データ生成部は、いずれの視差画像データを生成するかを、さまざまな情報から決定することができる。例えば、画像処理装置が、画像信号を出力した時点における撮像素子１００の姿勢情報を取得する取得部を備えれば、視差画像データ生成部は、その姿勢情報に従って、Ｉｍ＿ＧＲとＩｍ＿ＧＬの組み合わせで視差画像データを生成するか、Ｉｍ＿ＵＧとＩｍ＿ＤＧの組み合わせで視差画像データを生成するかを決定することができる。

また、画像処理装置が、例えば視差画像データＩｍ＿ＵＲ、Ｉｍ＿ＤＲ、Ｉｍ＿ＤＬ、Ｉｍ＿ＵＬを処理することにより被写体の奥行き情報を示すデプスマップを生成するデプスマップ生成部を備えるのであれば、生成したデプスマップに基づいていずれの視差画像データを生成するかを決定しても良い。例えば、視差画像データ生成部は、デプスマップにおいて奥行き差が最も大きく現れる境界に対して直交する方向を探索し、この方向に視差を与える視差画像データを生成する。

また、視差画像データ生成部は、撮像素子１００からの出力信号を、視差画像データに分けて取得するのではなく、そのままの配列における画素値を示すＲＡＷ画像データを取得し、そのうちの視差画素の画素値を参照していずれの視差画像データを生成するかを決定しても良い。具体的には、視差画像データ生成部は、隣接する視差画素間の画素値の差を算出し、統計的に差が最も大きくなる方向を探索して、この方向に視差を与える視差画像データを生成する。

以上説明した実施形態においては、開口部のそれぞれは、繰り返しパターン１１０の中心を通る横軸として定められるｘ軸と、縦軸として定められるｙ軸のそれぞれに対して、互いに線対称となる位置に配置されていた。換言すれば、開口部のそれぞれは、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して定められる直交する縦横の２軸のそれぞれについて、互いに線対称となるように偏位して位置づけられていた。しかし、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して直接的に２軸を定義しなくても、撮像素子が以下に説明するような開口部の偏位構造を有するのであれば、上述の撮像素子と同様に、視覚特性に合致する方向に対して視差を与える視差画像データを取得することもできる。

図１７は、他の撮像素子１２００の一部を拡大した様子を表す概略図である。撮像素子１２００は、それぞれの画素が六方最密充填格子に配列された、いわゆるハニカム構造を有する撮像素子である。そして、図示するように隣接する６画素が繰り返しパターン１１０を構成する視差画素として定義される。６つの視差画素は、繰り返しパターン１１０に対して、上段の右から左へそれぞれ配列されているＵＲ画素、ＵＣ画素、ＵＬ画素、下段の右から左へそれぞれ配列されているＤＲ画素、ＤＣ画素、ＤＬ画素から成る。

ＵＲ画素は、画素中心に対して右上方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＤＲ画素は、画素中心に対して右下方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＤＣ画素は、画素中心に対して下方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＤＬ画素は、画素中心に対して左下方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＵＬ画素は、画素中心に対して左上方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。ＵＣ画素は、画素中心に対して上方向へ偏位した、三角形の開口部１０４を有する開口マスク１０３を備える。

カラーフィルタは、繰り返しパターン１１０を構成する視差画素に隣接する視差なし画素に設けられる。図示するように、青色フィルタが割り当てられたＢ画素、緑色フィルタが割り当てられたＧ画素、赤色フィルタが割り当てられたＲ画素が上下に隣接して配列される。

図１８は、一組の光電変換素子群を含む繰り返しパターン１１０を示す図である。特に、図１８（ａ）は、一つの繰り返しパターン１１０を抽出して示す図である。図示するように、繰り返しパターン１１０を構成する光電変換素子群の二次元配列に対して直交するｘ軸とｙ軸を定めても、開口部のそれぞれは、ｙ軸に対しては線対称となる位置に配置されているものの、ｘ軸に対しては線対称となる位置に配置されていない。つまり、各画素は、六方最密充填格子に配列されているので、ＵＣ画素とＤＣ画素が左右に隣接する画素よりもｙ軸方向に半画素分ずれており、ｘ軸に対しては線対称性が崩れている。

しかし、図１８（ｂ）の左図に示すように、それぞれの開口部をそれぞれの光電変換素子に対する相対的な位置を維持したまま仮想的に一つの光電変換素子上に重ね合わせると、開口部のそれぞれは、当該仮想的な光電変換素子に対して定められる直交するｘ軸およびｙ軸のそれぞれについて互いに線対称となるように偏位して位置づけられていると言える。なお、このように寄せ集められた開口部の全体は、図１８（ｂ）の右図に示すように、視差なし画素の開口部とほぼ同一となることが好ましい。すなわち、各開口部は、視差無し画素の開口の１／６の大きさを有することが好ましい。なお、繰り返しパターン１１０を構成する視差画素のそれぞれの開口部は、上述の撮像素子と同様に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられている。
図１９は、撮像素子１２００において、異なる方向の視差を与える視差画素加算を説明する概念図である。撮像素子１２００の視差画素の出力を、その開口部の種類ごとに個別に寄せ集めれば、６つの視差画像データを取得することができる。また、図１１および図１２を用いて説明した概念により視差画素加算を行えば、視覚特性に合致する方向に対して視差を与える視差画像データを取得することもできる。

図１９（ａ）は、横方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。横方向に視差を与える視差画像を出力する場合には、ＵＲ画素の出力およびＤＲ画素の出力を加算し、ＵＣ画素の出力およびＤＣ画素の出力を加算し、ＵＬ画素の出力およびＤＬ画素の出力を加算する。すなわち、ＵＲ画素およびＤＲ画素の組み合わせ、ＵＣ画素およびＤＣ画素の組み合わせ、ＵＬ画素およびＤＬ画素の組み合わせを、それぞれグループ画素として扱う。

それぞれのグループ画素の加算出力をあたかも一つの右視差画素、中視差画素および左視差画素からの出力として、それぞれ寄せ集め、アスペクト調整のための補間処理を施すと、左右方向に視差を与える画像としての右視差画像データＩｍ＿ＧＲ、中視差画像データＩｍ＿ＧＣおよび左視差画像データＩｍ＿ＧＬを取得できる。ユーザがデジタルカメラ１０を横画角で構えて撮影した場合にこれらの視差画像データが生成されれば、横画角で再生される再生画像は、横方向に視差を与える三視差画像となる。

図１９（ｂ）は、縦方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。縦方向に視差を与える視差画像を出力する場合には、ＵＬ画素の出力、ＵＣ画素の出力およびＵＲ画素の出力を加算し、ＤＬ画素の出力、ＤＣ画素の出力およびＤＲ画素の出力を加算する。ユーザがデジタルカメラ１０を縦画角で構えて撮影した場合にこれらの視差画像データが生成されれば、縦画角で再生される再生画像は、横方向に視差を与える二視差画像となる。

また、この配列においては、斜め方向に視差を与える視差画素加算も行い得る。図１９（ｃ）および図１９（ｄ）は、斜め方向に視差を与える視差画素加算について、加算する視差画素のグループを示す図である。

以上説明したハニカム構造における撮像素子１２００は、視差なし画素にカラーフィルタを割り当てたが、もちろん視差画素にカラーフィルタを割り当てる構成であっても良い。また、ある色のカラーフィルタを視差なし画素に割り当て、他の色のカラーフィルタを視差画素に割り当てても良い。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２２１ ＲＯＭ、６１０ 増幅器、６１１ ゲートスイッチ、６１２ 制御線、６１３ 信号線、６１４ 加算器、８００、９００ 撮像素子、１０４１、１０４２、１０４３、１０４４、１０５０、１０５１、１０５２、１０５３、１０５４、１０５５、１０５６、１０５７、１０５８ 開口部、１１００ カラーフィルタパターン、１１０１ ＧＲ開口部、１１０２ ＧＬ開口部、１１０３ ＧＵ開口部、１１０４ ＧＤ開口部、１１１０ 繰り返しパターン、１１２０ 周期パターン、１２００ 撮像素子

Claims (10)

1. 入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
   前記光電変換素子に設けられる開口マスクと
   を備え、
   ｎ個（ｎは４以上の整数）の前記光電変換素子を一組とする光電変換素子群が周期的に配列され、
   前記開口マスクの開口は、前記光電変換素子群の二次元配列に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられた撮像素子。
2. 入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
   前記光電変換素子に設けられる開口マスクと
   を備え、
   ｎ個（ｎは４以上の整数）の前記光電変換素子を一組とする光電変換素子群が周期的に配列され、
   前記開口マスクの開口は、それぞれの前記光電変換素子に対する相対的な位置を維持したまま仮想的に一つの光電変換素子上に重ね合わせると、当該仮想的な光電変換素子に対して定められる直交する２軸のそれぞれについて互いに線対称となるように偏位して位置づけられた撮像素子。
3. 前記開口マスクの開口は、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられた請求項１または請求項２に記載の撮像素子。
4. それぞれの前記光電変換素子群から互いに対応する少なくとも２つの前記光電変換素子を選択する選択回路と、
   前記選択回路により選択された前記少なくとも２つの前記光電変換素子からの前記電気信号を前記光電変換素子群ごとにそれぞれ加算する加算器と
   を備える請求項１から請求項３のいずれか一項に記載の撮像素子。
5. 請求項４に記載の撮像素子と、
   前記撮像素子の姿勢を検出する姿勢検出部と、
   前記検出部により検出された姿勢に基づいて、前記選択回路に特定の前記光電変換素子を選択させ、前記加算器に前記特定の前記光電変換素子からの前記電気信号を加算させる制御部と、
   前記撮像素子の前記加算器から出力される画像信号を処理する画像処理部と
   を備える撮像装置。
6. 請求項１から３のいずれか一項に記載の撮像素子から出力される前記電気信号に基づく出力画像データを取得する出力画像データ取得部と、
   前記撮像素子の前記開口の位置に関する開口位置情報を取得する開口情報取得部と、
   前記開口位置情報に基づいて前記出力画像データを処理することにより視差画像データを生成する視差画像データ生成部と
   を備える画像処理装置。
7. 前記視差画像データ生成部は、前記出力画像データにおいて前記光電変換素子群に対応する画素群の、互いに対応する少なくとも２つの画素の画素値を、前記開口情報に基づいてそれぞれ加算して前記視差画像データを生成する請求項６に記載の画像処理装置。
8. 前記出力画像データを処理することにより被写体の奥行き情報を示すデプスマップを生成するデプスマップ生成部を備え、
   前記視差画像データ生成部は、前記デプスマップに基づいて前記少なくとも２つの画素を選択する請求項７に記載の画像処理装置。
9. 前記視差画像データ生成部は、隣接する画素間の画素値の差に基づいて前記少なくとも２つの画素を選択する請求項７に記載の画像処理装置。
10. 前記撮像素子が前記電気信号を出力したときの前記撮像素子の姿勢に関する姿勢情報を取得する姿勢情報取得部を備え、
    前記視差画像データ生成部は、前記姿勢情報に基づいて前記少なくとも２つの画素を選択する請求項７に記載の画像処理装置。

Images