JP6118058B2 - 固体撮像素子、撮像装置、及び制御方法 - Google Patents

Description

本発明は、固体撮像素子、撮像装置、及び制御方法に関し、特に両眼立体視に係る画像を撮影可能な固体撮像素子に関する。

観察者に立体を知覚させる画像提示方法の１つに、左眼と右眼での像の違い、即ち両眼視差を有する両眼立体視用の画像をそれぞれの眼球に対して提示する方法がある。このような画像は、所謂ステレオカメラのように、基線長を有して配設された、光軸中心の異なる２つの光学系を有する撮像装置により撮影可能である。

また両眼立体視用の画像を撮影する撮像装置には、固体撮像素子の各画素の光電変換素子を例えば水平方向に二分することで、分割された光電変換素子の各々に、光学系の射出瞳を二分した各領域の通過光束を光電変換させる方式を採用するものもある。このような撮像装置によれば、各光束の重心間距離分の基線長を有して配設された２つの光学系を有する撮像装置の撮影画像と等価な両眼立体視用の画像が撮影可能である。

なお、固体撮像素子の各画素の光電変換素子を二分することで光軸中心の異なる像を取得する方法は、両眼立体視用の画像の撮影以外にも、被写体の焦点検出にも利用されている。即ち、取得された２種類の画像信号間における像のずれ量に基づき、被写体への合焦度合いを検出することができる。特許文献１には、光電変換素子を水平方向及び垂直方向の各々に二分可能な構造を有することで、モード切替により水平方向または垂直方向の各々についての合焦度合いを検出可能な固体撮像素子が開示されている。

特開２００７−３２５１３９号公報

一方、上述したような各画素の光電変換素子が水平方向に二分されている固体撮像素子を有する撮像装置を、光軸周りに９０度回転させて撮影する、所謂縦位置撮影を行った場合、撮影画像も同様に回転されて鑑賞されることが考えられる。しかしながら、固体撮像素子において光電変換素子が二分されている方向は縦位置撮影では垂直方向となるため、撮影画像を回転した場合に観察者は立体を好適に知覚することができなかった。これは、鑑賞する際の観察者の眼球配置に対して、視差が与えられる方向（像のずれ方向）が異なることによる。

特許文献１の固体撮像素子は、モード切替によって撮影画像である両眼立体視用の画像について、像のずれ方向を変更することができる。しかしながら、撮影画像の鑑賞方法は観察者の趣向に依るため、例えば横位置撮影を行って得られた撮影画像を９０度回転させて鑑賞する場合には、同様の問題が発生する。つまり、両眼立体視用の画像における像のずれ方向は、観察者の鑑賞方法によって動的に変更される必要があるが、特許文献１のような固体撮像素子では撮影画像について後から像のずれ方向を変更することはできなかった。

本発明は、上述の問題点に鑑みてなされたものであり、撮影後に像のずれ方向を変更可能な両眼立体視用の画像を撮影できる固体撮像素子、撮像装置、及び制御方法を提供することを目的とする。

前述の目的を達成するために、本発明の固体撮像素子は、以下の構成を備える。
２次元格子構造を有して複数の画素が配置され、各画素が光軸方向に第１の層と第２の層を含む複数の層に分離された光電変換手段を有する固体撮像素子であって、各画素につき、第１の層に含まれる光電変換手段と第２の層に含まれる光電変換手段とは、互いに直交する被分割方向に２分割され、分割されたそれぞれの領域で撮像レンズの異なる瞳領域を通過した光を受光するフォトダイオードを含むことを特徴とする。

このような構成により本発明によれば、撮影後に像のずれ方向を変更可能な両眼立体視用の画像を撮影することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係る固体撮像素子１０２の回路構成を示した図 本発明の実施形態１に係る単位画素の光電変換部の構造を示した図 本発明の実施形態１に係る単位画素の回路構成を示した図 本発明の実施形態１の固体撮像素子１０２における光電変換部の配置を示した図 本発明の実施形態の固体撮像素子１０２における光電変換部の各層の分割状態を示した図 本発明の実施形態に係るデジタルカメラ１００で実行される撮影処理を例示したフローチャート 本発明の実施形態に係る画像メモリ１０８に格納する２種類の両眼立体視用の画像信号対を示した図 本発明の実施形態２に係る単位画素の光電変換部の構造を示した図 本発明の実施形態２の固体撮像素子１０２における光電変換部の配置を示した図 本発明の実施形態２の固体撮像素子１０２における光電変換部の各層の分割状態を示した図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、本発明の固体撮像素子を有するデジタルカメラ１００に、本発明を適用した例を説明する。しかし、本発明は、本発明の固体撮像素子を有する任意の機器に適用可能である。

《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

システム制御部１１３は、例えばＣＰＵであり、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的にはシステム制御部１１３は、ＲＯＭ１１５に記憶された各ブロックの動作プログラムを読み出してＲＡＭ１１４に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１１５は、例えば書き換え可能な不揮発性メモリである。ＲＯＭ１１５は、デジタルカメラ１００が有する各ブロックの動作プログラムに加え、カラーマトリックス演算用の行列係数をはじめとする、各ブロックの動作に必要なパラメータ等を記憶する。またＲＡＭ１１４は、揮発性メモリである。ＲＡＭ１１４は、各ブロックの動作プログラムを展開する展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

固体撮像素子１０２は、複数の画素が行方向（水平方向）及び列方向（垂直方向）に配列された２次元格子構造を有する撮像素子である。本実施形態では固体撮像素子１０２はＣＭＯＳセンサであるものとして説明するが、例えばＣＣＤ等であってもよいことは言うまでもない。固体撮像素子１０２は、光学系１０１により受光面に結像された光学像を光電変換し、アナログ画像信号（撮像信号）を出力する。光学系１０１及び固体撮像素子１０２の動作は、システム制御部１１３の制御によりタイミング発生回路１０５から出力されたタイミング信号に基づいて、駆動制御部１０６により制御される。

〈固体撮像素子１０２の構造〉
ここで、本実施形態の固体撮像素子１０２の構造について、図を用いて詳細を説明する。

図２は、固体撮像素子１０２の内部構造を示している。なお、説明を簡単にするため、図２では固体撮像素子１０２は４行４列の格子構造を有して単位画素が配置されているものとして説明する。しかしながら、固体撮像素子１０２の画素配置はこれに限られるものではないことは理解されよう。また以下において各単位画素は、必要がある場合、その行番号ｍ（図の縦方向（列方向）の番号。下に行くほど増加）及び列番号ｎ（図の横方向（行方向）の番号。右に行くほど増加）を用い、「単位画素ｍｎ」として個別参照するものとする。

各単位画素の光電変換部は、図３（ａ）の断面図に示されるような構造を有する。各単位画素はオンチップマイクロレンズ３０１、カラーフィルタ３０２、及び光電変換、電荷蓄積、電荷電圧変換、電圧増幅を行う半導体層で構成される。半導体層はＳｉ半導体で構成されており、図の例ではＮ型半導体基板上に形成されたＰ型のｗｅｌｌ領域に対してＮ型半導体層であるフォトダイオード（ＰＤ）３０３が埋め込まれている。本実施形態において半導体層は、ＰＤ３０３ａ及び３０３ｂの第１層とＰＤ３０３ｃ及び３０３ｄの第２層で構成されている。第１層及び第２層は、Ｐ型半導体層３０４で行方向または列方向（被分割方向）に２分割されており、各ＰＤ３０３において光電変換された電荷は、ほぼ混じることなく分離されて蓄積される。

即ち、各単位画素がこのように行方向あるいは列方向に２分割された光電変換部を有することで、本実施形態の固体撮像素子１０２は視差の生じる方向が異なる２種類の両眼立体視用の画像を撮像することができる。つまり、第１層及び第２層のＰＤ３０３の各々は、光学系１０１の射出瞳のそれぞれ異なる領域を通過した光束について電荷の蓄積を行う。なお、本実施形態では第１層と第２層とは、Ｐ型半導体層３０４によって互いに直交する方向に２分割されているものとして説明する。しかしながら、本発明の実施はこれに限られず、連続するフォトダイオード層は各々異なる方向に２分割されているものであってもよい。

図４に単位画素の等価回路図を示す。図４において、破線で囲まれた構成が単位画素に相当している。各ＰＤ３０３に蓄積された電荷は、対応する転送トランジスタ（ＴＸ）４０１により浮遊拡散層（ＦＤ）４０２に転送される。ＴＸ４０１の各々は、タイミング発生回路１０５により発生されたＨｉｇｈのＴＸ信号を受信した際に開状態となり、このときＦＤ４０２に対応するＰＤ３０３の電荷が転送され、転送された電荷を電圧に変換する。ＦＤ４０２において変換された電圧は電圧増幅部（ＳＦ）４０３により増幅されて出力される。また、単位画素内にはリセットトランジスタ（ＲＳ）４０４が存在しており、タイミング発生回路１０５により発生されたＨｉｇｈのＲＳ信号を受信した際にリセットが行われる。ＦＤ４０２に転送された電荷は、リセットされた際の電位との差分電位として出力される。

各単位画素には行選択トランジスタＳＥＬが設けられており、各単位画素のＳＦ４０３は、ＳＥＬｍｎを介して第ｎ列の垂直信号線Ｖｎに接続される。ここで、垂直信号線Ｖｎに設置した定電流源Ｉｎを伴ってソースフォロワ回路が構成され、垂直信号線Ｖｎを介してＳＦ４０３から出力された電圧信号は、行メモリとしてのキャパシタＣｎに一時的に保持される。行ごとに一時的に保持された電圧信号は、水平走査回路２０２によって順次出力アンプ２０３を介して後述の相関二重サンプリング（ＣＤＳ）回路１０３に出力される。

なお、ＳＥＬｍｎは、垂直走査回路２０１によって各行に存在する、固体撮像素子１０２の列数分（図２の例では４列）の単位画素を順次選択する。そして水平走査回路２０２は、保持された固体撮像素子１０２の一行分の電圧信号を順次出力アンプ２０３に転送する。

図１に戻り、固体撮像素子１０２から出力されたアナログ画像信号は、ＣＤＳ１０３によりサンプリングされる。ＣＤＳ１０３は、サンプリング処理を行ったアナログ画像信号をＡ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用し、デジタル画像信号に変換する。

Ａ／Ｄ変換部１０４により変換されたデジタル画像信号は、信号処理部１０７に接続された画像メモリ１０８に格納され、信号処理部１０７より所定の信号処理が適用される。信号処理部１０７は、デジタル画像信号に対してホワイトバランス補正、ガンマ補正、カラーマトリックス演算等の各種信号処理を適用する。本実施形態の信号処理部１０７は、このような所定の信号処理を実行することにより、両眼立体視用の一対のカラー画像を出力する。

記録媒体１１０は、例えばデジタルカメラ１００が内蔵する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続された記録装置である。本実施形態では、撮影により得られた両眼立体視用の画像は、記録媒体１１０に対する書き込み／読み出し制御を行う記録制御部１０９によって記録媒体１１０に伝送され、記録される。

表示装置１１２は、例えばＬＣＤ等のデジタルカメラ１００に接続された表示装置である。本実施形態では、撮影や撮像により得られた両眼立体視用の画像は、表示装置１１２の表示制御を行う表示制御部１１１によって表示装置１１２に伝送され、表示される。

《固体撮像素子１０２の設計》
次に、本実施形態の固体撮像素子１０２の設計について、図を用いて説明する。

上述のように、各単位画素の光電変換部が、半導体の層構造を有する場合、各層のＰＤ３０３であるＳｉに係る光の吸収特性は、半導体層の最上面からの深さｄに応じて変化する。具体的にはＳｉの吸収特性は
Ｉ（ｄ）∝ｅｘｐ（−α・ｄ）
となる。ここで、αは吸収係数であり、可視光域の波長に対し単調減少する値である。本式によれば、ｄが小さい層（最上面からの深さが比較的浅い層）で光電変換する波長成分は短い波長成分に留まり、変換可能な波長幅は狭くなる。また、ｄが大きい層（最上面からの深さが深い層）で光電変換する波長成分は短い波長から長い波長まで含まれ、変換可能な波長幅は広くなる。

本実施形態の固体撮像素子１０２では、このようなＳｉの吸収特性に基づいて、図３に示されるような２種類の層厚分布を有する光電変換部が用いられる。図３（ａ）及び（ｂ）においてタイプ１とタイプ２半導体層全体の層厚は同一であるが、第１層の層厚が異なる光電変換部を示している（タイプ１はタイプ２に比べて第１層の層厚が薄い）。つまり２種類の光電変換部は、それぞれ第１層のＰＤ３０３で光電変換する波長成分が異なっている。

なお、図３（ａ）と（ｂ）とは、第１層と第２層においてＰ型半導体層３０４によるＰＤ３０３の分割方向が異なるものである。具体的には図３（ａ）の例では第１層においてＰＤ３０３ａとｂとは行方向に２分割されており（分割線の方向が縦方向（列方向））、第２層においてＰＤ３０３ｃとｄとは列方向に２分割されている（分割線の方向が横方向（行方向））。また図３（ｂ）の例では第１層においてＰＤ３０３ａとｂとは列方向に２分割されており、第２層においてＰＤ３０３ｃとｄとは行方向に２分割されている。

本実施形態の固体撮像素子１０２では、該２種類の光電変換部を図５に示すように配置することで、２種類の方向に視差を有する両眼立体視用のカラー画像を生成可能な画像信号を撮像する。図５においてａ１、ａ２、ｂ１、ｂ２は、それぞれ図３（ａ）のタイプ１、図３（ａ）のタイプ２、図３（ｂ）のタイプ１、図３（ｂ）のタイプ２が配置されることを示している。つまり、第１層では図６（ａ）のように各単位画素のＰＤ３０３は分割され、第２層では図６（ｂ）のように分割されることになる。

また、本実施形態の固体撮像素子１０２では、列ごとに異なる色のカラーフィルタが適用される。図５に示されるように、本実施形態ではＹｅのカラーフィルタが適用される画素列（Ｙｅ列）と、Ｃｙのカラーフィルタが適用される画素列（Ｃｙ列）とが、行方向（第２の方向）に交互に並んでいる。Ｙｅ列では、タイプ２のｂ２とａ２とが列方向（第１の方向）に交互に並び、Ｃｙ列では、タイプ１のｂ１とａ１とが交互に並んでいる。このカラーフィルタの適用により、各タイプの第１層及び第２層に配置されたＰＤ３０３が受光する波長は異なる。

カラーフィルタが適用されない、あるいは透明色のフィルタが適用される場合、タイプ１の光電変換部では、第１層のＰＤ３０３は青色に相当する波長の光のみを光電変換し、第２層のＰＤ３０３は白色に相当する波長の光を光電変換する。これに対しタイプ２の光電変換部では、タイプ１に比べて第１層の層厚が厚いため、第１層のＰＤ３０３は青緑色に相当する波長の光を光電変換し、第２層のＰＤ３０３は白色に相当する波長の光を光電変換する。

一方、Ｙｅのカラーフィルタが適用されたタイプ２の光電変換部では、第１層のＰＤ３０３は緑色に相当する波長の光を光電変換し、第２層のＰＤ３０３は黄色に相当する波長の光を光電変換する。またＣｙのカラーフィルタが適用されたタイプ１の光電変換部では、第１層のＰＤ３０３は青色に相当する波長の光を光電変換し、第２層のＰＤ３０３は青緑色に相当する波長の光を光電変換する。つまり、タイプ１及びタイプ２について、第１層及び第２層で光電変換される光の波長成分は、次の表１に示されるようになる。

本実施形態の固体撮像素子１０２は、このように各画素の光電変換部において、層ごとに特定の波長成分を有する光を吸収するように各層の層厚を決定する。これにより、後述の撮影処理において異なる方向に視差を有する両眼立体視用の画像を生成可能な画像信号を取得することができる。

《撮影処理》
このような構成をもつ本実施形態のデジタルカメラ１００の撮影処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、システム制御部１１３が、例えばＲＯＭ１１５に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１１４に展開して実行することにより実現することができる。なお、本撮影処理は、例えば両眼立体視用の画像を撮影する立体撮影モード設定された状態でデジタルカメラ１００が起動された際に開始されるものとして説明する。

Ｓ７０１で、システム制御部１１３は、駆動制御部１０６及びタイミング発生回路１０５を制御することで、表示装置１１２へのスルー表示（撮像信号の順次表示）を開始する。具体的にはシステム制御部１１３は、駆動制御部１０６に光学系１０１のメカニカルシャッタを開かせ、タイミング発生回路１０５に固体撮像素子１０２への駆動設定信号を送出させる。

Ｓ７０２で、システム制御部１１３は、ＡＥ動作を開始する。システム制御部１１３は、まず固体撮像素子１０２から出力された画像信号について、信号処理部１０７に露出演算を行わせる。システム制御部１１３は例えば、画像信号から抽出した輝度情報をエリア別に重みづけ演算することで、現在の設定よりも何段明るく／暗くすればよいのかを演算結果に応じて判断する。またシステム制御部１１３は、判断結果に基づいて光学系１０１の絞りを駆動制御部１０６に駆動させる。これにより、次フレームの撮像において好適な明るさの画像が取得可能となる。なお、固体撮像素子１０２が電子シャッタ機能を有する場合、絞りだけでなくシャッタスピードの変更により露出調整を行ってもよい。

Ｓ７０３で、システム制御部１１３は、撮影指示がなされたか否かを判断する。具体的にはシステム制御部１１３は、ユーザによりシャッタレリーズスイッチが押下されたことを不図示の操作検出部が検出し、該操作検出部から操作入力に対応する制御信号を受信したか否かにより判断を行う。システム制御部１１３は、撮影指示がなされたと判断した場合は処理をＳ７０４に移し、なされていないと判断した場合は処理をＳ７０２に戻し、ＡＥ動作を継続する。

Ｓ７０４で、システム制御部１１３は、駆動制御部１０６及びタイミング発生回路１０５を制御し、固体撮像素子１０２に撮影動作を行わせる。

Ｓ７０５で、システム制御部１１３は、固体撮像素子１０２にアナログ画像信号の出力を行わせ、ＣＤＳ１０３及びＡ／Ｄ変換部１０４における処理を実行させ、デジタル画像信号を生成させる。なお、アナログ画像信号は、単位画素の光電変換部が有する４つのＰＤ３０３ａ乃至３０３ｄについて、それぞれ分離されて出力される。

Ｓ７０６で、システム制御部１１３は、信号処理部１０７に、２種類の両眼立体視用の画像信号対を画像メモリ１０８に格納させる。具体的には信号処理部１０７は、固体撮像素子１０２の各画素から出力された第１層及び第２層の画像信号を、その分割方法に応じて並べ替え、図８（ａ）及び（ｂ）のような２種類の両眼立体視用の画像信号対を生成して画像メモリ１０８に格納する。具体的には信号処理部１０７は、図６に示したような第１層及び第２層の配置において行方向に２分割されている、即ち分割線の方向が縦方向（列方向）の画素群を用いて、図８の上下関係において水平視差を有する両眼立体視用の画像信号対Ｉ１を生成する。また信号処理部１０７は、列方向に２分割されている、即ち分割線の方向が横方向（行方向）の画素群を用いて、図８の上下関係において垂直視差を有する両眼立体視用の画像信号対Ｉ２を生成する。

Ｓ７０７で、システム制御部１１３は、カラーマトリックス演算を含む各種信号処理を信号処理部１０７に行わせて、原色ベイヤー配列を有する２対の両眼立体視用のカラー画像を生成させる。そしてシステム制御部１１３は、信号処理部１０７により生成された２対の両眼立体視用のカラー画像を記録制御部１０９に伝送させ、記録媒体１１０に記録させて本撮影処理を完了する。

ここで、カラーマトリックス演算は、例えば次の式に示されるように行えばよい。例えば水平視差（ｈ方向）を有する画像信号対Ｉ１から原色ベイヤー配列を有する左眼用（ｌ）の画像を生成する場合、図８（ａ）に示されるＩ１の２×２画素（ｈ１１ｌ、ｈ１２ｌ、ｈ２１ｌ、ｈ２２ｌ）ごとに、
と計算することで変換を行えばよい。また垂直視差（ｖ方向）を有する画像信号対Ｉ２から原色ベイヤー配列を有する、画像を時計方向に９０度回転させた際の右眼用（図８（ｂ）の上側（ｕ））の画像を生成する場合も、図８（ｂ）に示されるＩ２の２×２画素ごとに、
と計算することで変換を行えばよい。このようにして得られたｈ１１ｌ’及びｖ２１ｕ’はＲ画素、ｈ１２ｌ’及びｖ２２ｕ’はＧｒ画素、ｈ２１ｌ’及びｖ１１ｕ’はＧｂ画素、ｈ２２ｌ’及びｖ１２ｕ’はＢ画素に相当する。

なお、本実施形態のカラーマトリックス演算は、固体撮像素子１０２の各画素の光電変換部の第１層及び第２層が、上述の表１のような波長成分の光を光電変換することに依る。即ち、カラーマトリックス演算は上述の式に限定されるものではなく、各画素の光電変換部におけるＰＤ３０３の層厚に応じて適宜変更されて実行されてよいことは容易に理解されよう。また、本実施形態では原色ベイヤー配列の画像の生成に、隣接した２×２画素を参照して処理を行うものとして説明したが、同一の方向に２分割された画素出力であれば、他の画素を参照して処理を行ってもよい。

以上説明したように、本実施形態の固体撮像素子によれば、撮影後に像のずれ方向を２種類のうちから選択可能な両眼立体視用の画像を撮影することができる。具体的には固体撮像素子は、各画素が光軸方向に複数の層に分離された光電変換部を有する複数の画素で構成される。そして光電変換部は、連続する層においてそれぞれ異なる被分割方向に２分割されている。

このようにすることで、異なる方向に視差を有する２対の両眼立体視用の画像を一回の撮影処理によって取得することができるため、例えば撮影後に２種類の方向から選択された方向に像のずれを有する画像を生成して提示することができる。
［実施形態２］
上述した実施形態１では、単位画素の光電変換部が二層構造を有する例について説明した。本実施形態では、単位画素の光電変換部が三層構造を有する例について説明する。なお、本実施形態のデジタルカメラ１００の機能構成は、実施形態１と同様であるため、説明を省略する。

《固体撮像素子１０２の設計》
以下、本実施形態の固体撮像素子１０２の設計について、図を用いて説明する。

本実施形態の固体撮像素子１０２の各画素の光電変換部は、図９に示されるように半導体層においてＰＤ３０３ａ乃至３０３ｆで構成される第１層、第２層、及び第３層を有する。またＰ型半導体層３０４は、各ＰＤ３０３を分離するために二層に渡って構成されている。図９（ａ）の例では、第１層と第３層においてＰＤ３０３ａとｂ、ｅとｆとは列方向に２分割されており、第２層においてＰＤ３０３ｃとｄとは行方向に２分割されている。また図９（ｂ）の例では、第１層と第３層においてＰＤ３０３ａとｂ、ｅとｆとは行方向に２分割されており、第２層においてＰＤ３０３ｃとｄとは列方向に２分割されている。

本実施形態では固体撮像素子１０２の全ての単位画素には、透明色のカラーフィルタが適用されており、図１０に示されるように隣接する画素との間において同一階層の分割方向が異なるように配置される。具体的には第１層は図１１（ａ）、第２層は図１１（ｂ）、第３層は図１１（ｃ）に示されるように、各層のＰＤ３０３の分割方向が行方向及び列方向において交互に変更されるように配置されている。

本実施形態の光電変換部では、第１層のＰＤ３０３は青色に相当する波長の光のみを光電変換し、第２層のＰＤ３０３は青緑色に相当する波長の光を光電変換し、第３層のＰＤ３０３は白色に相当する波長の光を光電変換する。

《撮影処理》
このような構成の固体撮像素子１０２を有する本実施形態のデジタルカメラ１００の撮影処理について、以下に説明する。なお、処理の流れとしては上述した実施形態１の撮影処理と同様であるため、以下の説明では異なる処理を行うステップについて、本実施形態の処理を説明するものとする。

本実施形態の固体撮像素子１０２からは、対を有する画像信号は三層分出力される。このためＳ７０６においてシステム制御部１１３は、次のように組み合わせることで信号処理部１０７に２対の両眼立体視用の画像信号を生成させ、画像メモリ１０８に格納させる。例えば図８（ａ）のような水平視差を有する両眼立体視用の画像信号対Ｉ１は、
・奇数行奇数列は第３層の画像信号
・奇数行偶数列及び偶数行奇数列は第２層の画像信号
・偶数行偶数列は第１層の画像信号
を選択することで生成される。また図８（ｂ）のような垂直視差を有する両眼立体視用の画像信号対Ｉ２は、
・奇数行奇数列及び偶数行偶数列は第２層の画像信号
・奇数行偶数列は第１層の画像信号
・偶数行奇数列は第３層の画像信号
を選択することで生成される。

また本実施形態の撮影処理のＳ７０７におけるカラーマトリックス演算は、同様に水平視差を有する画像信号対Ｉ１から原色ベイヤー配列を有する左眼用の画像を生成する場合は、
となる。また垂直視差を有する画像信号対Ｉ２から原色ベイヤー配列を有する、画像を時計方向に９０度回転させた際の右眼用の画像を生成する場合は、
となる。このようにして得られたｈ１１ｌ’及びｖ２１ｕ’はＲ画素、ｈ１２ｌ’及びｖ２２ｕ’はＧｒ画素、ｈ２１ｌ’及びｖ１１ｕ’はＧｂ画素、ｈ２２ｌ’及びｖ１２ｕ’はＢ画素に相当する。

なお、本実施形態の撮影処理のＳ７０６においては、第１層の画像信号の奇数列、及び第３層の偶数列は、原色ベイヤー配列を有する両眼立体視用の画像の生成には使用しないものとして説明した。このように両眼立体視用の画像の生成に用いられない画素のＰＤ３０３については、初めから電源電圧ＶＤＤをリセットしたままの状態にしてもよいし、必ずしも他の層や画素と同様の分割構造を有していなくてもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. ２次元格子構造を有して複数の画素が配置され、各画素が光軸方向に第１の層と第２の層を含む複数の層に分離された光電変換手段を有する固体撮像素子であって、
   各画素につき、前記第１の層に含まれる前記光電変換手段と前記第２の層に含まれる前記光電変換手段とは、互いに直交する被分割方向に２分割され、分割されたそれぞれの領域で撮像レンズの異なる瞳領域を通過した光を受光するフォトダイオードを含む
   ことを特徴とする固体撮像素子。
2. 前記２次元格子構造の第１の方向において連続する画素は、同一階層における前記光電変換手段の被分割方向が異なり、
   前記２次元格子構造の前記第１の方向と直交する第２の方向において連続する画素は、同一階層における前記光電変換手段の被分割方向が同一である
   ことを特徴とする請求項１に記載の固体撮像素子。
3. 前記第２の方向において連続する画素列には異なる色のカラーフィルタが適用され、
   前記第２の方向において連続する画素は、少なくとも１つの同一階層の前記光電変換手段に含まれる前記フォトダイオードの層厚が異なる
   ことを特徴とする請求項２に記載の固体撮像素子。
4. 前記光電変換手段は、予め定められた波長成分の光を光電変換するように、各層に含まれる前記フォトダイオードの層厚が決定されていることを特徴とする請求項１乃至３のいずれか１項に記載の固体撮像素子。
5. 請求項１乃至４のいずれか１項に記載の固体撮像素子を有することを特徴とする撮像装置。
6. 前記固体撮像素子の光電変換手段により光電変換されて得られた画像信号のうち、同一の被分割方向に２分割された層についての画像信号を用いて、該被分割方向に視差を有する両眼立体視用の画像を生成する生成手段を有することを特徴とする請求項５に記載の撮像装置。
7. 請求項１乃至４のいずれか１項に記載の固体撮像素子を有する撮像装置の制御方法であって、
   前記撮像装置の生成手段が、前記固体撮像素子の光電変換手段により光電変換されて得られた画像信号のうち、同一の被分割方向に２分割された層についての画像信号を用いて、該被分割方向に視差を有する両眼立体視用の画像を生成する生成工程を有する
   ことを特徴とする撮像装置の制御方法。