WO2012169318A1

WO2012169318A1 - 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置

Info

Publication number: WO2012169318A1
Application number: PCT/JP2012/062276
Authority: WO
Inventors: 河村　典子; 智行河合; 宗之大島; 太田　毅; 遠藤　宏; 井上　知己
Original assignee: 富士フイルム株式会社
Priority date: 2011-06-09
Filing date: 2012-05-14
Publication date: 2012-12-13
Also published as: EP2720455A4; CN103597811A; CN103597811B; JPWO2012169318A1; JP5493054B2; EP2720455A1; EP2720455B1; US20140092220A1

Abstract

　複数の画素２が正方格子状に配列形成され、カラーフィルタＲＧＢがベイヤ配列され、右眼用の撮像画像信号を取得する第１の位相差検出画素３と左眼用の撮像画像信号を取得する第２の位相差検出画素４とのペアが正方格子状の中の離散的，周期的位置に設けられ、正方格子状の各画素のうち水平及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に第１の位相差検出画素３が設けられ、該第１の位相差検出画素３に対して２画素離れた同色のカラーフィルタを持つ画素にペアとなる第２の位相差検出画素４が設けられる。

Description

立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置

　本発明は、立体動画像及び平面動画像を撮像するのに好適な構造の撮像素子及びこの撮像素子に搭載した撮像装置に関する。

　立体画像（以下、３Ｄ画像ともいう。）を撮像する従来の撮像装置として、例えば、下記の特許文献１記載のものがある。この従来の撮像装置は、２台のカメラを備え、同じ被写体を左右のカメラで撮影し、被写体の立体画像を再生できる様になっている。しかし、従来の立体画像撮像装置は、カメラを２台用意する必要があるため、コストが嵩み、更に装置も大型化してしまうという問題がある。

　そこで、１台のカメラで被写体の立体画像を撮影できる撮像装置として、下記の特許文献２記載の従来技術が提案されている。この立体画像撮像装置は、固体撮像素子表面に二次元配列された複数の画素（光電変換素子：フォトダイオード）を２つのグループに分け、一方のグループには被写体を右側から見た光が入射し、他方のグループには被写体を左側から見た光が入射する様にしている。

　この従来技術によれば、１台のカメラ（撮像素子）で被写体の立体画像を撮像できるが、被写体の二次元画像（平面画像、以下、２Ｄ画像ともいう。）を撮影することができないという問題がある。

　近年の撮像装置に対する要求は多く、低価格，小型化はいうに及ばず、上記の特許文献１，２に記載の従来技術では実現が困難な、３Ｄの動画像及び２Ｄの動画像を共に撮影することができる動画撮影機能が要求される様になっている。

日本国特開平１１―３４１５２２号公報日本国特開２００３―７９９４号公報

　本発明の目的は、３Ｄの動画撮影と２Ｄの動画撮影の両方を好適に処理できる撮像素子及びこの撮像素子に搭載した撮像装置を提供することにある。

　本発明の撮像素子は、複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第１の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第２の位相差検出画素とのペアが前記正方格子状の中の離散的，周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に前記第１の位相差検出画素が設けられ、該第１の位相差検出画素に対して２画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第２の位相差検出画素が設けられていることを特徴とする。

　本発明の撮像装置は、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備えることを特徴とする。この撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出すことを特徴とする。

　本発明によれば、１つの撮像素子で高品質な立体動画像と平面動画像の両方を撮像することが可能となる。

本発明の一実施形態に係る撮像装置（デジタルカメラ）の外観斜視図である。図１に示す撮像装置の機能ブロック構成図である。図２に示す固体撮像素子の表面模式図である。図３に示す固体撮像素子で３Ｄの動画像を撮像するときの説明図である。位相差検出画素で３Ｄ画像を撮影できる原理説明図である。５画素間隔で位相差検出画素を設けた実施形態の固体撮像素子で２Ｄ動画像データを読み出す説明図である。２Ｄ動画像データを生成するときの処理手順を示すフローチャートである。ＨＤ画質の２Ｄ動画像データを図５の固体撮像素子から読み出すときの説明図である。図８の読み出し方法で更に水平画素加算を行う場合の説明図である。

　以下、本発明の一実施形態について、図面を参照して説明する。

　図１は、本発明の一実施形態に係る撮像装置の外観斜視図である。この単眼の撮像装置（デジタルカメラ）１０は、カメラ筐体１１の前部に、撮影レンズ１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられている。カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない液晶表示部（図２の表示部２８）が設けられている。

　図２は、図１に示す撮像装置１０の機能ブロック構成図である。この撮像装置１０は、撮影レンズ１２と、撮影レンズ１２の背部に置かれその結像面に配置されたＣＭＯＳ型の固体撮像素子２１とを備える。撮影レンズ１２及び固体固体撮像素子２１は、後述のシステム制御部（ＣＰＵ）２９からの指示によって駆動される。

　固体撮像素子２１は、本実施形態ではＣＭＯＳ型のイメージセンサであるが、ＣＣＤ型やその他の形式の固体撮像素子でも良い。

　本実施形態の撮像装置１０は更に、固体撮像素子２１から出力されるデジタルの撮像画像信号を取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、撮像画像信号をＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備える。

　更に、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続され、システム制御部２９からの指示によって発光するフラッシュ２５が接続される。

　撮像装置１０は、被写体の高精細な２Ｄ静止画像や，高精細静止画像に比べて解像度を落とした２Ｄの動画像や３Ｄの動画像を、ユーザの操作部３３からの選択指示に基づいて撮影し、これらの選択指示に基づいて、固体撮像素子２１の駆動制御や画像処理を行う。

　図３は、固体撮像素子２１の表面模式図であり、画素配列と各画素上のカラーフィルタ配列を示している。個々の正方形２が、半導体基板上に形成された各画素（光電変換素子）を示しており、その上に記載されたＲ，Ｇ，Ｂは、各画素２上に積層された三原色カラーフィルタの色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）を示している。信号読出回路や垂直走査回路，水平走査回路等は、通常のＣＭＯＳ型イメージセンサと同じで良いため、図示は省略している。

　本実施形態の固体撮像素子２１は、各画素２が正方格子状に配列形成されており、その上に、カラーフィルタＲＧＢがベイヤ配列されている。カラーフィルタＲＧＢの上には、図示省略のマイクロレンズが個々の画素対応に積層されている。この固体撮像素子２１では、離散的，周期的位置に存在する画素２を位相差検出画素としている。本実施形態では、垂直方向に２画素離れた２つの画素をペア画素とし、ペア画素の一方と他方とで遮光膜開口２ａ，２ｂを夫々の画素中心に対して反対方向に偏心させて位相差検出画素が構成される。

　通常の画素（位相差検出画素でない画素）には、図３の左上に点線矩形枠で記載した様に、当該画素の受光面と略同一の大きさの遮光膜開口１が開口されている。これに対し、位相差検出画素のペア画素の遮光膜開口２ａ，２ｂは、遮光膜開口１より小さく、図示する例では遮光膜開口２ａは開口１に対して左半分しか開口せず、遮光膜開口２ｂは開口１に対して右半分しか開口しない構成となっている。なお、図３では遮光膜開口１を１箇所だけ図示しているが、他の通常画素にも設けられている（図が煩雑になるため、図示は省略している。）。

　遮光膜開口２ａの開口中心位置は、当該画素の中心に対して左側に偏心し、遮光膜開口２ｂの開口中心位置は、当該画素の中心に対して右側に偏心して設けられている。図１に示す様に、固体撮像素子２１の前段にはレンズ１２が配置されており、このレンズ１２を通ることで、遮光膜開口２ａを通って画素に受光される光は、レンズ１２の左側からの光、すなわち被写体を左眼で見た方向から来た光が主となり、遮光膜開口２ｂを通って画素に受光される光は、レンズ１２の右側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。

　即ち、位相差検出画素を構成する各ペア画素のうち遮光膜開口２ａを持つ画素の撮像画像信号が被写体を左眼で見た画像となり、遮光膜開口２ｂを持つ画素の撮像画像信号が被写体を右眼で見た画像となる。このため、両者を組み合わせることで、被写体の立体画像を再生することができる。

　本実施形態の位相差検出画素のペア画素を構成する一方の画素３（第１画素、例えば遮光膜開口２ａを持つ画素）は、垂直方向，水平方向共に、３画素毎に１画素を位相差検出画素とし、ペア画素の他方の画素４（第２画素、例えば遮光膜開口２ｂを持つ画素）を第１画素３に対して垂直方向（水平方向でも良い）２画素下に設けている。しかし、一般的に、水平方向，垂直方向共に２ｎ＋１毎（ｎ＝１，２，…）に第１画素３を設けても良い。この様に、位相差検出画素ペアの配置位置を決めることで、位相差検出画素ペアのカラーフィルタ配列もＲＧＢ三原色を有したベイヤ配列となる。

　なお、以下、位相差検出画素のペア画素を構成する第１画素を符号３、第２画素を符号４で示し、位相差検出画素でない遮光膜開口１を持つ通常の画素を符号２で示すことにする。

　図４は、図３に示す固体撮像素子２１で立体動画像を撮像するときに撮像画像信号を読み出すペア画素を示しており、水平，垂直共に画素間引き読み出しにより、図に太線枠で示す位相差検出画素３，４が検出した撮像画像信号だけを読み出す。

　撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子２１から撮像画像信号を読み出す場合には、位相差検出画素３，４が存在する水平ラインだけから、水平ライン順に読み出す。

　そして、第１画素３（遮光膜開口２ａを搭載した画素）の撮像画像信号を左眼で見た被写体の画像データとして画像処理し、第２画素（遮光膜開口２ｂを搭載した画素）の撮像画像信号を右眼で見た被写体の画像データとして画像処理し、画像処理後の被写体画像を関連付けて、各フレーム毎の撮像画像データをメモリに記録することで、被写体の立体動画像を記録することができる。勿論、立体の静止画像としても記録できる。

　固体撮像素子２１から読み出した左眼用の撮像画像信号や右眼用の撮像画像信号は、夫々、ベイヤ配列画素から読み出された信号となるため、上記画像処理は、既存のベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることができる。

　図５は、位相差検出画素ペアで被写体の立体画像を撮像できる原理を説明する図である。位相差検出画素ペアが水平方向に所要間隔で並び、遮光膜開口２ａを通して得られた撮像画像信号の変化を信号ｆ（ｘ）とし、遮光膜開口２ｂを通して得られた撮像画像信号の変化を信号ｇ（ｘ）とする。

　信号ｆ（ｘ）と信号ｇ（ｘ）とは、同一水平線上の同一被写体からの入射光を受光した結果得られるもので、互いに水平方向にずれた同一波形となり、両者間のズレ量が位相差量となる。この位相差量は、被写体までの距離に応じた視差であり、この位相差量を持った右眼用撮像画像信号及び左眼用撮像画像信号を固体撮像素子２１から読み出すことで、被写体の立体画像を生成することが可能となる。

　次に、撮像装置１０を用いて２Ｄの動画像を撮影する場合を説明する。前述した様に、この撮像装置１０では、３Ｄの動画像を撮影することができるが、ユーザによっては２Ｄの動画像を好む場合もある。また、再生するモニタやテレビジョン受像機が３Ｄ画像再生用では無く、２Ｄ画像にしか対応しない場合もある。あるいは、３Ｄの動画像と２Ｄの動画像を同時に両方撮影することが要求されることもある。そこで、本実施形態の撮像装置１０では、３Ｄのみならず２Ｄの動画像の撮影機能も搭載している。

　図６は、２Ｄの動画像を撮影する第１実施形態の説明図である。本実施形態の固体撮像素子２１では、５画素間隔で位相差検出画素を設けている。画素配列，カラーフィルタ配列は、図３，図４と同じである。本実施形態では、図６に示す太線黒枠で囲った通常画素を、２Ｄの動画像撮影時に用いる。

　図６の太線黒枠で囲った画素は、水平方向，垂直方向共に５画素間隔（２ｎ＋１：ｎ＝２）に設けた位相差検出画素ペアの垂直方向下側に隣接する画素であり、通常画素２のペアとなる。本実施形態では、通常画素ペアの各々の画素２が検出した撮像画像信号の加算平均値を用いて、動画像を生成する。加算平均値を用いることで、Ｓ／Ｎが向上する。

　３Ｄの動画像と２Ｄの動画像とを両方共に撮影する場合、位相差検出画素３，４が存在する画素ライン（水平ライン）と、２Ｄ動画像を撮影する通常画素ペア２が存在する画素ラインとの各撮像画像信号を読み出せば良い。これにより、３Ｄの動画像と２Ｄの動画像とを同時に撮影することができる。

　２Ｄ動画像を生成するデータとして上記の加算平均値を用いると、その各信号配置位置はペア画素の加算重心位置となり、３Ｄ画像の各画素位置に最も近い位置となる。このため、同じ画像で同じ解像度の３Ｄ動画像と２Ｄ動画像とが得られる。

　図６の実施形態では、位相差検出画素３，４に対して垂直方向下側の隣接画素を用いて２Ｄ動画像を撮像したが、位相差検出画素３，４の垂直方向上側の隣接画素を用いても良い。あるいは、位相差検出画素３，４の水平方向右隣の画素を用いても、更には、位相差検出画素３，４の水平方向左隣の画素を用いても良い。どの隣接画素を用いても、その画素配置から読み出される信号の色配置はベイヤ配列となるため、ベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることが可能となる。

　水平方向右隣や左隣の通常画素２を用いて２Ｄ動画像を撮像する場合には、固体撮像素子２１から３Ｄ動画像データと２Ｄ動画像データとを同一水平ラインから読み出すことができるため、短時間で３Ｄ動画像と２Ｄ動画像とを同時に読み出すことが可能となる。

　図７は、第２実施形態に係る２Ｄ動画像撮影を行うときの処理手順を示すフローチャートである。図６の実施形態では、通常画素ペアの加算平均値を用いて２Ｄ動画像を生成したが、これに限るものではなく、ペア画素の一方の画素の撮像画像信号だけを用いて２Ｄ動画像を生成しても、ペア画素の両方の撮像画像信号を固体撮像素子外部で信号加算して２Ｄ動画像を生成しても良い。いずれとするかは、撮影シーンの明るさで決めるのが良い。

　本実施形態では、ステップＳ１で撮影シーンの明るさを判定し、明るさが所定の閾値α以上の場合にはステップＳ２に進み、ペア画素の一方の画素の撮像画像信号を採用し、あるいはペア画素の２つ画素の撮像画像信号の加算平均値を採用してステップＳ４に進む。

　ステップＳ１の判定の結果、シーンの明るさが閾値α未満で暗い場合には、高感度化を図るためにステップＳ３に進み、ペア画素の２つの画素の撮像画像信号を加算してステップＳ４に進み、ステップＳ４で、２Ｄ動画像データを生成してこの処理を終了する。

　なお、３Ｄ動画像と２Ｄ動画像とを同時に撮影するのではなく、２Ｄ動画像だけを撮影する場合には、ダイナミックレンジの広い動画像を撮影することも可能である。画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整することで、水平ラインの異なるペア画素の一方の画素２の露光時間に対して他方の画素２の露光時間を短くして撮影を行い、両者の撮像画像信号を加算することで、ダイナミックレンジの広い２Ｄ動画像を得ることができる。

　図８は、第３実施形態に係る２Ｄ動画像用の撮像画像信号を固体撮像素子から読み出す方法を説明する図である。第１，第２実施形態では、３Ｄ動画像と同じ解像度の２Ｄ動画像を生成する場合について述べたが、３Ｄ動画像とは別に、水平解像度を増やした２Ｄ動画像が欲しい場合がある。例えば、アスペクト比１６：９のＨＤ画質の動画像が欲しい場合がある。

　撮像装置１０で撮影する画像のアスペクト比は、通常は４：３であるが、動画像をアスペクト比１６：９の大型テレビジョン受像機の大画面で観賞したい場合がある。この様な場合、次の第３実施形態の読み出し方法を採用すれば良く、撮像装置１０のメニュー画面で選択する。

　図８において、太線黒枠で示した通常画素だけを含む水平ラインの画素を選択して２Ｄ画像用の撮像画像信号を読み出す。この場合、水平ラインでは画素間引きはせずに、垂直ラインは、位相差検出画素３，４が存在する水平ラインと、位相差検出画素３の垂直方向直上に隣接する水平ラインを読まずに画素間引きする。撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子２１から撮像画像信号を読み出す場合には、水平ライン順に読み出す。

　図８に示す読み出し方法だと、垂直方向に２画素ずつ同色画素の撮像画像信号を読み出すことになるため、垂直方向の同色２画素を画素加算すると、信号の色配列はベイヤ配列となる。垂直方向の同色２画素加算ではなく、加算平均値をとってもよい。どの様にするかは、図７の実施形態で説明したように、撮影シーンの明るさで決めれば良い。

　この実施形態によれば、読出ラインにおける水平方向全ての通常画素２の撮像画像信号を利用して２Ｄ動画像を生成するため、偽色やジャギー等の画質劣化要因を抑えることが可能となる。

　なお、図８に示す実施形態では、位相差検出画素３の直上の水平ラインを読出ラインとはしなかったが、この水平ラインも読出ラインとして画素２の撮像画像信号を読み出しても良い。この様にすると、読出ラインは、３行のＧＢＧＢ…となるラインと３行のＲＧＲＧ…となるラインとが交互に並ぶため、図８では２画素加算を例に説明したが、垂直方向３画素加算して更なる高感度化を図ることも可能となる。

　図８では、垂直方向に同色２画素加算（変形例では３画素加算）を説明したが、水平方向の同色画素加算を行っても良い。加算例を図９に示す。図９の最終段のカラーフィルタ配列はＢＧＢＧ…となっており、Ｇ画素の５個分を５画素加算する例を示している。加算Ｇ画素の信号位置は、５画素のＧ画素の加算重心位置となる。Ｂ画素の５画素加算は、Ｇ画素の５画素加算範囲と一部重複して設けることになる。同様に、読出ラインでカラーフィルタ配列がＧＲＧＲ…となるラインでは、Ｒ画素の５画素加算やＧ画素の５画素加算を行う。この様に、水平方向の画素を加算するため、ジャギーの発生が少なくなる。

　なお、この例では「５」画素加算として説明したが、２画素加算でも３画素加算でも良く、どの様な動画像解像度を得るかで決めることになる。画素加算数を幾つにするかは、図７で説明したように、撮影シーンの明るさで決めても良い。

　この固体撮像素子２１を用いて高精細な２Ｄの静止画像を撮影する場合には、全画素の夫々の撮像画像信号を読み出す。これにより、画素数分の高精細画像が得られる。この場合、位相差検出画素３，４の遮光膜開口２ａ，２ｂは、通常画素２の遮光膜開口１（図３）より狭いため感度が低い。そこで、位相差検出画素３，４の撮像画像信号を、周囲の同色通常画素２のデータを用いて補間演算して補正したり、あるいは、位相差検出画素３，４の撮像画像信号に対して図２のデジタル信号処理部２６が行う増幅処理の増幅率を、通常画素２の撮像画像信号に対する増幅率より高くして補正する。

　以上の様に、上述した実施形態によれば、３Ｄ画像を撮像する場合には、位相差検出画素の撮像画像信号だけを用いて画像処理し、静止画像でない２Ｄ画像を撮像する場合には、位相差検出画素以外の通常画素の撮像画像信号だけを用いて画像処理するため、両者を一緒に撮像し、両者を固体撮像素子２１から読み出してから、画像処理にて区別し、別々の画像データとして記録メディアに保存することができる。また、２Ｄ動画像を撮像する場合には、撮影シーンの明るさに応じて画素加算数を制御できるため、所要感度の動画像を生成することができる。

　また、上述した実施形態の様に、画素加算する場合に、加算重心位置を位相差検出画素の位置とすることで、画面内の位相差ムラを無くすことができ、高品質な動画像を得ることが可能となる。

　以上述べた様に、実施形態の撮像素子は、複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第１の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第２の位相差検出画素とのペアが前記正方格子状の中の離散的，周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に前記第１の位相差検出画素が設けられ、該第１の位相差検出画素に対して２画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第２の位相差検出画素が設けられていることを特徴とする。これにより、位相差検出画素ペアのカラーフィルタ配列をベイヤ配列とすることができる。

　また、実施形態の撮像素子は、上記の撮像素子であって、ｎ＝２であることを特徴とする。これにより、立体画像の解像度を最大にすることが可能となる。

　また、実施形態の撮像装置は、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備えることを特徴とする。

　また、実施形態の撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出すことを特徴とする。

　また、実施形態の撮像装置は、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素のうち、いずれか１つの画素の撮像画像信号を用いて、又は、該複数の画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理部を備えることを特徴とする。これにより、迅速に２Ｄ動画像を得ることができ、また、Ｓ／Ｎの高い２Ｄ動画像を得ることができる。

　また、実施形態の撮像装置は、撮影シーンが暗い場合には、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素の撮像画像信号を加算して前記平面動画像を生成する画像処理部を備えることを特徴とする。これにより、高感度な２Ｄ動画像を得ることができる。

　また、実施形態の撮像装置は、前記平面動画像を前記立体動画像と同時に撮像することを特徴とする。これにより、２種類の動画像を短時間に得ることができる。

　また、実施形態の撮像装置の前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比１６：９の画像とすることを特徴とする。これにより、アスペクト比１６：９のテレビジョン受像機の大画面で観賞できる２Ｄ動画像を得ることが可能となる。

　また、実施形態の撮像装置は、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成することを特徴とする。位相差検出画素の周囲には通常画素が配置されているため、補正が容易かつ確実にでき、高精細で高品質な平面静止画像を容易に得ることができる。

　以上述べた実施形態によれば、ユーザの要求に応える動画像を短時間かつ低コストに取得することが可能となる。

　本発明に係る撮像装置は、静止画像のみならず３Ｄ動画像と２Ｄ動画像を撮影することができ、動画撮影機能付のデジタルカメラ等として有用である。

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１１年６月９日出願の日本特許出願（特願２０１１－１２９６１８）に基づくものであり、その内容はここに参照として取り込まれる。

１　通常画素の遮光膜開口
２　画素（光電変換素子）
２ａ，２ｂ　位相差検出画素の遮光膜開口
３，４　位相差検出画素
１０　撮像装置
１２　撮影レンズ
２６　デジタル信号処理部
２９　システム制御部

Claims

　複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第１の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第２の位相差検出画素とのペアが前記正方格子状の中の離散的，周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個間隔に前記第１の位相差検出画素が設けられ、該第１の位相差検出画素に対して２画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第２の位相差検出画素が設けられている撮像素子。
　請求項１に記載の撮像素子であって、ｎ＝２である撮像素子。
　請求項１又は請求項２に記載の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備える撮像装置。
　請求項３に記載の撮像装置であって、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出す撮像装置。
　請求項４に記載の撮像装置であって、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素のうち、いずれか１つの画素の撮像画像信号を用いて、又は、該複数の画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理部を備える撮像装置。
　請求項４に記載の撮像装置であって、撮影シーンが暗い場合には、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素の撮像画像信号を加算して前記平面動画像を生成する画像処理部を備える撮像装置。
　請求項３乃至請求項６のいずれか１項に記載の撮像装置であって、前記平面動画像を前記立体動画像と同時に撮像する撮像装置。
　請求項３乃至請求項６のいずれか１項に記載の撮像装置であって、前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比１６：９の画像とする撮像装置。
　請求項３乃至請求項８のいずれか１項に記載の撮像装置であって、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成する撮像装置。