WO2013031348A1

WO2013031348A1 - 撮像装置

Info

Publication number: WO2013031348A1
Application number: PCT/JP2012/065834
Authority: WO
Inventors: 沢地　洋一
Original assignee: 富士フイルム株式会社
Priority date: 2011-08-30
Filing date: 2012-06-21
Publication date: 2013-03-07

Abstract

　単一の撮影レンズ及び瞳分割手段として機能する液晶シャッタの各液晶セルを介してＣＭＯＳ型のイメージセンサに視差の異なる被写体像を入射可能にする。このとき、イメージセンサのフォトダイオードＰＤ毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したフォトダイオードＰＤから順次電荷信号を読み出すローリング読出しを行う。また、前記ローリング読出しに同期して、前記液晶シャッタの各液晶セルの遮光／非遮光を、左視差画像を取得するための画素Ｌ遮光パターン、又は右視差画像を取得するための画素Ｒ遮光パターンにしたがって制御するようにしている。

Description

撮像装置

　本発明は撮像装置に係り、特に撮影光学系の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像からなる立体画像を取得する技術に関する。

　従来、瞳分割方式の撮像装置は、複数の視差画像（左右視差画像）を撮像する際、撮像素子の全画素の半分の画素をそれぞれ左右の視差画像に割り当てているため、撮像素子の全画素の半分の解像度となり立体感の劣化を生じる原因となる（特許文献１）。

　特許文献２には、光学系の瞳位置に偏光軸が互いに直交する２つの偏光素子を配置し、これらの偏光素子を通過する光束をそれぞれ偏光ビームスプリッタにより分離し、それぞれ２つの撮像素子に入射させて２つの画像を撮像し、２つの画像の中の像の位相差を比較することで、位相差ＡＦと同様にしてデフォーカス量を算出する測距装置が記載されている。また、２つの画像の撮像により立体撮像が可能になる記載がある。

　一方、特許文献３には、ミラーにより瞳分割された左目用情報と右目用情報とを交互に遮光する液晶シャッタを備え、フィールド周期で交互に左目用情報又は右目用情報を遮光させて単一の撮像手段に結像させることにより、立体画像を撮影する立体撮像装置が記載されている。これによれば、撮像素子の全画素を、それぞれ左目用情報及び右目用情報の取得に割り当てることができ、解像度の高い立体画像を撮影するこができる。

　更に、特許文献４には、高解像度の画像を撮影する高解像度撮像装置が提案されている。この高解像度撮像装置は、撮像素子の１画素に対応して、上下左右に分割した液晶シャッタを配置し、その１つの開口部にて撮影し、次に開口位置をずらして撮影することを４回繰り返して画像を取得し、４画像を合成することで撮像素子の画素数の４倍の解像度の画像を得ることができる。

特開２００７－２７９５１２号公報特開２００９－１６８９９５号公報特開平６－３２７０３６号公報特開平１０－９３８７１号公報

　特許文献１に記載の撮像装置は、撮像素子の全画素の半分の解像度の左右視差画像を撮影することになり、解像度が低下するという問題がある。

　特許文献２に記載の装置は、複数の撮像素子が必要になり、かつ各撮像素子に瞳分割した光束をそれぞれ入射させる光束分離光学系が必要になり、コストアップと大型化を招くという問題がある。

　一方、特許文献３に記載の立体撮像装置は、撮像素子の全画素を使用して左右の視差画像を時分割で撮影（２回撮影）することにより、解像度の低下を防止することができるが、一方の視差画像と他方の視差画像間で最小でも１フレーム期間の時間差が生じるため、手振れや被写体ぶれ、あるいは動画撮影に視差画像のずれが発生し、立体視が困難となる場合が増えるという欠点がある。また、光束分離光学系として第１～第４ミラーを使用するため、コストアップと大型化を招くという問題がある。

　特許文献４に記載の高解像度撮像装置は、立体画像を撮影するものではなく、また、４つの画像間の露光間隔が最短でフレーム単位となり、時間差が大きくなるという問題がある。

　本発明はこのような事情に鑑みてなされたもので、単一の撮影光学系及び撮像素子により高解像度の複数の視差画像を撮影することができ、かつ視差画像の時間ずれを最小にすることができる撮像装置を提供することを目的とする。更に、単一の撮影光学系及び撮像素子として従来のものを使用することができ、これによりコストアップ及び装置の大型化を防止することができる撮像装置を提供することを目的とする。

　上記目的を達成するために本発明の一の態様に係る撮像装置は、単一の撮影光学系と、２次元配列された複数の光電変換画素を有し、撮影光学系を介して被写体像が結像される撮像素子と、撮像素子の光電変換素子毎又はライン毎に露光を開始させるとともに、順次電荷信号を読み出すローリング読出手段と、撮影光学系のそれぞれ異なる第１、第２の領域を通過した被写体像を瞳分割して撮像素子に入射させる瞳分割手段であって、各光電変換画素の受光面を２分割した第１及び第２の分割面への入射光の透過率を個々に制御可能なシャッタ素子群を有する瞳分割手段と、ローリング読出手段によるローリング読出しに同期して、瞳分割手段のシャッタ素子群における透過率を制御する透過率制御手段と、を備えている。

　本発明の一の態様によれば、ローリング読出手段により撮像素子の光電変換素子毎又はライン毎に露光を開始させるとともに順次電荷信号を読み出し、ローリング読出手段に同期して瞳分割手段のシャッタ素子群の透過率を制御するようにしたため、撮像素子の画素数に対応した高解像度の複数の視差画像を撮影することができるとともに、複数の視差画像の時間ずれを、ローリング読出手段により制御される露光時間の時間差（最小）にすることができる。

　本発明の他の態様に係る撮像装置において、透過率制御手段は、第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素の第１の分割面及び第２の分割面のうちの一方の分割面に対応するシャッタ素子群の透過率を高くし、他方の分割面に対応するシャッタ素子群の透過率を最小にし、第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素の第１の分割面及び第２の分割面のうちの他方の分割面に対応するシャッタ素子群の透過率を高くし、一方の分割面に対応するシャッタ素子群の透過率を最小にするようにしている。

　本発明の更に他の態様に係る撮像装置において、瞳分割手段のシャッタ素子群は、撮像素子の各光電変換画素の第１の分割面及び第２の分割面の上面に、それぞれ透過率の制御が可能なシャッタ素子群が配置されて構成されている。これにより、各光電変換素子の第１の分割面又は第２の分割面のうちの一方に光を入射させることができる。

　本発明の更に他の態様に係る撮像装置において、瞳分割手段のシャッタ素子群は、撮像素子の隣接する光電変換画素の２つの受光面に跨がって、それぞれ透過率の制御が可能な１つのシャッタ素子が配置されて構成されている。これにより、シャッタ素子群の素子数を減少（光電変換素子の素子数と一致）させることができる。

　本発明の更に他の態様に係る撮像装置において、透過率制御手段は、第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、光電変換画素の第１の分割面及び第２の分割面のうちの第１の分割面に対応するシャッタ素子群の透過率を最小にし、第２の分割面に対応するシャッタ素子群の透過率を高くし、第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、光電変換画素の第１の分割面及び第２の分割面のうちの第２の分割面に対応するシャッタ素子群の透過率を最小にし、第２の分割面に対応するシャッタ素子群の透過率を高くするようにしている。即ち、各光電変換素子の第１の分割面及び第２の分割面の透過又は遮光を光電変換素子毎に制御し、複数の視差画像の取得を可能にしている。

　本発明の更に他の態様に係る撮像装置において、透過率制御手段は、第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素または各ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を最小にし、各光電変換画素または各ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を高くし、第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素または各ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を最小にし、各光電変換画素または各ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を高くするようにしている。即ち、隣接する奇数番目の光電変換素子の第１の分割面と偶数番目の光電変換素子の第２の分割面の透過率が同じになるように制御し、同様に隣接する奇数番目の光電変換素子の第２の分割面と偶数番目の光電変換素子の第１の分割面の透過率が同じになるように制御している。これにより、シャッタ素子群の素子数を光電変換素子の素子数と一致させた場合であっても、各光電変換素子の第１の分割面及び第２の分割面の透過率を個別に制御することができる。

　本発明の更に他の態様に係る撮像装置において、透過率制御手段は、第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、奇数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を最小にし、奇数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を高くするとともに、偶数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を最小にし、偶数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を高くし、第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、奇数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を最小にし、奇数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を高くするとともに、偶数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を最小にし、偶数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を高くするようにしている。即ち、隣接する奇数番目の光電変換素子の第１の分割面と偶数番目の光電変換素子の第２の分割面の透過率が同じになるように制御し、同様に隣接する奇数番目の光電変換素子の第２の分割面と偶数番目の光電変換素子の第１の分割面の透過率が同じになるように制御している。また、奇数ラインと偶数ラインとでは、上記の透過率の関係を逆にしている。これにより、シャッタ素子群の素子数を光電変換素子の素子数と一致させた場合であっても、各光電変換素子の第１の分割面及び第２の分割面の透過率を個別に制御することができ、また、以下に示すカラーフィルタのうちの一般的なカラーフィルタ配列の撮像素子を適用することができる。

　本発明の更に他の態様に係る撮像装置において、撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、撮像素子の奇数ライン及び偶数ラインの一方のラインには、ＧＧＲＲＧＧＲＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＢＧＧＢＢＧＧの順に繰り返してカラーフィルタが配設されている。

　本発明の更に他の態様に係る撮像装置において、撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、撮像素子の奇数ライン及び偶数ラインの一方のラインには、ＧＲＧＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＧＢＧの順に繰り返してカラーフィルタが配設されている。

　本発明の更に他の態様に係る撮像装置において、瞳分割手段のシャッタ素子群は、撮像素子の隣接する光電変換画素の２つの受光面に跨がって、それぞれ透過率の制御が可能な１つのシャッタ素子が配置され、かつ各シャッタ素子上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されて構成され、２次元配列されたシャッタ素子群の奇数ライン及び偶数ラインの一方のラインには、ＧＲＧＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＧＢＧの順に繰り返してカラーフィルタが配設されている。これによれば、撮像素子の光電変換素子の受光面上にカラーフィルタを設ける必要がなくなり、モノクロの撮像素子を適用することができる。

　本発明の更に他の態様に係る撮像装置において、瞳分割手段のシャッタ素子群は、撮像素子の隣接する光電変換画素の２つの受光面に跨がって、それぞれ透過率の制御が可能な１つのシャッタ素子が配置され、かつ各シャッタ素子上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されて構成され、２次元配列されたシャッタ素子群の奇数ライン及び偶数ラインの一方のラインには、ＧＧＲＲＧＧＲＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＢＧＧＢＢＧＧの順に繰り返してカラーフィルタが配設されている。これによれば、撮像素子の光電変換素子の受光面上にカラーフィルタを設ける必要がなくなり、モノクロの撮像素子を適用することができる。

　本発明の更に他の態様に係る撮像装置において、撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、撮像素子の各光電変換画素または各ラインには、ＧＢＧＲの順に繰り返してカラーフィルタが配設されている。

　本発明の更に他の態様に係る撮像装置において、ローリング読出手段は、読み出しパルスを出力して光電変換画素から電荷信号を読み出すと、直ちにリセットパルスを出力して光電変換画素に蓄積された信号電荷を掃き出し、次の信号電荷の蓄積を再開させることが好ましい。即ち、或る光電変換素子における電荷信号の読み出しが終了すると、視差の異なる被写体像の取得のために、次の信号電荷の蓄積を再開させ、視差の異なる被写体像の時間ずれを最小にしている。

　本発明の更に他の態様に係る撮像装置において、透過率制御手段は、読み出しパルスの出力タイミングよりもシャッタ素子の応答遅れ時間に相当する所定時間前に、読み出しパルスにより読み出される光電変換画素の第１の分割面又は第２の分割面に対応するシャッタ素子の透過率を最小にする駆動を開始させることが好ましい。これにより、シャッタ素子を透過率の高い状態から最小の透過率に切り替える際に、切り替え時間にタイムラグがあっても異なる視差画像に対応する光の漏れ込みを防止することができる。

　本発明の更に他の態様に係る撮像装置において、ローリング読出手段により読み出された第１の撮影の第１の露光及び第２の撮影の第２の露光に対応する電荷信号に基づいて視差の異なる第１の視差画像及び第２の視差画像を示す第１の画像信号及び第２の画像信号を生成する画像処理手段を備え、画像処理手段は、第１の画像信号から第２の画像信号の規定量を差し引くとともに、第２の画像信号から第１の画像信号の規定量を差し引いて新たな第１の画像信号及び第２の画像信号を生成することが好ましい。シャッタ素子の透過率を最小に制御しても透過率を０にすることができず、第１の画像信号及び第２の画像信号にはそれぞれ他の画像信号の成分が混在する。そこで、第１の画像信号及び第２の画像信号に混在している他の画像信号の成分を除去するようにしている。

　本発明の更に他の態様に係る撮像装置において、画像処理手段は、瞳分割手段のシャッタ素子群の高い透過率と最小の透過率とに基づく補正係数を予め記憶する記憶手段を有し、補正係数と第２の画像信号とを乗算して第２の画像信号の規定量を算出し、補正係数と第１の画像信号とを乗算して第１の画像信号の規定量を算出することが好ましい。これによれば、第１の画像信号及び第２の画像信号に混在している他の画像信号の成分が画素毎に異なっていても対応することができる。

　本発明の更に他の態様に係る撮像装置において、高解像度の立体静止画を撮影する高解像度モードと、低解像度の立体静止画を撮影する低解像度モードとを有し、高解像度モードと低解像度モードとを切り替える切替手段と、切替手段により高解像度モードから低解像度モードに切り替えられると、第１の露光に対応する電荷信号のみを読み出すローリング読出手段と、ローリング読出手段により読み出された第１の露光に対応する電荷信号に基づいて視差の異なる第１の視差画像及び第２の視差画像を示す第１の画像信号及び第２の画像信号を生成する画像処理手段と、を備えている。第１の露光に対応する電荷信号には、視差の異なる第１の視差画像及び第２の視差画像の電荷信号が含まれている。そこで、低解像度モード時には、撮像素子の全画素の半分の画素数となるが、１回の撮影で視差の異なる第１の視差画像及び第２の視差画像を取得することができる。

　本発明の更に他の態様に係る撮像装置において、高フレームレートの立体動画を撮影する高フレームレートモードと、低フレームレートの立体動画を撮影する低フレームレートモードとを有し、高フレームレートモードと低フレームレートモードとを切り替える切替手段と、切替手段により低フレームレートモードから高フレームレートモードに切り替えられると、第１の露光及び第２の露光に対応する電荷信号のうちのいずれか一方を読み出すか又は双方を交互に読み出すローリング読出手段と、ローリング読出手段により読み出された第１の露光又は第２の露光に対応する電荷信号に基づいて視差の異なる第１の視差画像及び第２の視差画像を示す第１の画像信号及び第２の画像信号を生成する画像処理手段と、を備えている。第１の露光に対応する電荷信号には、視差の異なる第１の視差画像及び第２の視差画像の電荷信号が含まれている。そこで、高フレームレート時には、撮像素子の全画素の半分の画素数となるが、１フレームから視差の異なる第１の視差画像及び第２の視差画像を取得し、立体動画の撮影時のフレームレートを高くしている。

　本発明の更に他の態様に係る撮像装置において、立体画像を撮影する立体画像撮影モードと、平面画像を撮影する平面画像を撮影する平面画像撮影モードとを有し、立体画像撮影モードと平面画像撮影モードとを切り替える切替手段と、切替手段により立体画像撮影モードから平面画像撮影モードに切り替えられると、シャッタ素子群の全てのシャッタ素子の透過率を高くする透過率制御手段と、を備えている。即ち、平面画像撮影モード時には、シャッタ素子群の全てのシャッタ素子の透過率を高くし、瞳分割手段による瞳分割が行われないようにしている（通常の平面画像の撮影を可能にしている）。

　本発明によれば、単一の撮影光学系及び瞳分割手段を介して被写体像が結像される撮像素子から複数の視差画像に対応する電荷信号を、ローリング読出しにより連続して読み出すとともに、ローリング読出しに同期して瞳分割手段を構成するシャッタ素子群の透過率を個別に制御するようにしたため、撮像素子の画素数に対応した高解像度の複数の視差画像を撮影することができるとともに、視差画像の時間ずれを最小（露光時間の時間差）にすることができる。

本発明に係る撮像装置の実施の形態を示すブロック図液晶シャッタの実施の形態を示す要部断面図図２に示した液晶シャッタと液晶駆動部の構成例を示す図液晶シャッタにより瞳分割して視差画像を取得する原理を示す図左右の視差画像の撮影時の液晶シャッタの駆動順序及び電荷信号の読み出し順等を示す遷移図図２に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの一例を示す図図２に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの他の例を示す図図２に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンとイメージセンサのカラーフィルタ配列の例を示す図液晶シャッタの他の実施の形態を示す要部断面図図１０に示した液晶シャッタと液晶駆動部の構成例を示す図図９に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの一例とイメージセンサのカラーフィルタ配列の一例を示す図図９に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの一例とイメージセンサのカラーフィルタ配列の他の例を示す図図９に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの一例と各液晶セルにカラーフィルタを配置した例を示す図図９に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの他の例とイメージセンサのカラーフィルタ配列の一例を示す図図９に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの他の例とイメージセンサのカラーフィルタ配列の他の例を示す図図９に示した液晶シャッタの各液晶セルを駆動する際の遮光パターンの他の例と各液晶セルにカラーフィルタを配置した例を示す図液晶シャッタの液晶セルの遮光／非遮光と電荷信号の読み出しタイミングを示すタイミングチャート本発明に係る撮像装置の他の実施の形態を示すブロック図左右の視差画像のクロストークの影響を説明するために用いた図撮影モードに応じた液晶シャッタの駆動方法を説明するために用いた図

　以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。

　［撮像装置の全体構成］
　図１は本発明に係る撮像装置の実施の形態を示すブロック図である。

　図１に示す撮像装置１は、平面画像（２Ｄ画像）、立体画像（３Ｄ画像）の静止画、又は動画の撮影・再生が可能なデジタルカメラであり、図示しないモード選択を行う操作部による操作により、２Ｄ／３Ｄ、静止画／動画、撮影／再生等の各種モードが選択できるようになっている。以下、３Ｄ静止画の撮影モードについて説明する。

　この撮像装置１は、主として単一の撮影レンズ１０と、液晶シャッタ１２と、ＭＯＳ型の撮像素子（イメージセンサ）１４と、液晶駆動部１６と、センサ駆動部１８と、画像処理部２０と、表示部２２と、記録部２４と、外部出力部２６から構成されている。

　被写体を示す被写体光は、撮影レンズ１０、絞り（図示せず）、及び液晶シャッタ１２を介してイメージセンサ１４の受光面に結像される。

　＜液晶シャッタ１２の構成例＞
　図２は液晶シャッタの実施の形態を示す要部断面図である。

　図２に示すように、液晶シャッタ１２は、偏光フィルタ１２ａと、光の透過率を制御するシャッタ素子として機能する液晶セル１２ｂとを有し、液晶セル１２ｂは、イメージセンサ１４と一体化され、各光電変換素子（フォトダイオード）ＰＤの受光面上に配置されている。

　具体的には、１つのフォトダイオードＰＤに対して２つ（左右一対）の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが配置され、一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒは、フォトダイオードＰＤの受光面の水平方向の約半分をそれぞれ覆う位置に配置されている。

　偏光フィルタ１２ａは、液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの前面に当接するように配置しても良く、その場合、偏光フィルタ１２ａを、液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが一体化されたイメージセンサ１４のパッケージの前面に設置しても良いし、又は撮影レンズ１０等の光学系のいずれかの位置に配置しても良い。

　液晶シャッタ１２を駆動する液晶駆動部１６は、図３に示すように垂直方向の１ライン分の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒを選択するための垂直駆動信号を出力する液晶ドライバＶと、１ラインのライン方向（水平方向）の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒを選択するための水平駆動信号を出力する液晶ドライバＨとを有し、液晶ドライバＶ及び液晶ドライバＨからそれぞれ出力される垂直駆動信号及び水平駆動信号により個別に液晶セル１２ｂ_Ｌ，１２ｂ_Ｒを選択し、選択した液晶セル１２ｂの透過率を制御する。即ち、選択した液晶セル１２ｂ_Ｌ，１２ｂ_Ｒに対し、適宜の電圧を印加することにより液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの透過率を高くし、電圧の印加を解除することにより透過率を最小にする。尚、液晶セル１２ｂ_Ｌ，１２ｂ_Ｒに印加する電圧値に応じて、透過率を連続的に変化させてもよいし、遮光と非遮光（透過）を２値で制御するようにしてもよい。

　図１に戻って、イメージセンサ１４は、複数のフォトダイオードＰＤが２次元配列されたエリアイメージセンサである。また、ＣＭＯＳ型のセンサであるため、フォトダイオードＰＤ毎又はライン毎に露光開始タイミングをずらして露光を開始させるとともに、所定の露光時間が経過したフォトダイオードＰＤ又はラインから順次、電荷信号を読み出す、いわゆるローリングシャッタ機能（ローリング読出し機能）を有している。

　センサ駆動部１８は、イメージセンサ１４に対して水平、垂直方向の読み出しパルス、及びリセットパルスを出力し、イメージセンサ１４の各フォトダイオードＰＤの露光時間（シャッタ速度）を制御するとともに、所定の露光時間を経過したフォトダイオードＰＤ、又はラインから順次電荷信号を読み出し、読み出した電荷信号（画像信号）を画像処理部２０に出力させる。

　＜視差画像取得の原理＞
　図４に示すように、イメージセンサ１４のフォトダイオードＰＤには、撮影レンズ１０の射出瞳を通過する光束が、マイクロレンズＬを介して入射するが、図４の（ａ）部分に示すようにフォトダイオードＰＤの受光面を２分割した左半分の分割面が液晶セル１２ｂ_Ｌにより遮光されると、撮影レンズ１０の射出瞳を通過する光束のうちの左半分の光束がフォトダイオードＰＤに入射し、右半分の光束は遮光される。一方、図４の（ｂ）部分に示すようにフォトダイオードＰＤの受光面を２分割した右半分の分割面が液晶セル１２ｂ_Ｒにより遮光されると、撮影レンズ１０の射出瞳を通過する光束のうちの右半分の光束がフォトダイオードＰＤに入射し、左半分の光束が遮光される。

　このように液晶シャッタ１２の一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの透過率を制御することにより、撮影レンズ１０の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像、又は右半分の光束に対応する被写体像をイメージセンサ１４に入射させることができる。

　即ち、液晶シャッタ１２は、撮影レンズ１０の射出瞳を通過する光束を分割してイメージセンサ１４に入射させる瞳分割手段として機能する。また、撮影レンズ１０の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている部分は、イメージセンサ１４上の同じ位置に結像するが前ピン又は後ピンの部分は、それぞれイメージセンサ１４上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像とは、視差が異なる視差画像（左視差画像、右視差画像）として取得することができる。

　＜液晶シャッタ１２の駆動方法＞
　次に、上記左視差画像及び右視差画像の撮影時の液晶シャッタ１２の駆動方法について説明する。

　図５の（ａ）部分から（ｈ）部分は、それぞれ左視差画像及び右視差画像の撮影時の液晶シャッタの駆動順序及び電荷信号の読み出し順等を示す遷移図である。

　まず、撮影開始前は、液晶シャッタ１２の全ての液晶セルを遮光状態にする（図５の（ａ）部分）。即ち、イメージセンサ１４の各フォトダイオードＰＤに対応して設けられた左右一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒ（図６参照）をともに遮光する画素ＲＬ遮光パターンにする。これにより、イメージセンサ１４を遮光状態にする。

　次に、液晶シャッタ１２の液晶セル群を、先頭のライン（イメージセンサ１４の１ライン目に対応するライン）の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒを、画素Ｌ遮光パターンで順次駆動する（図５の（ｂ）部分）。

　ここで、画素Ｌ遮光パターンとは、図６の（ａ）部分に示すようにイメージセンサ１４の各フォトダイオードＰＤに対応して設けられた左右一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒのうち、左側の液晶セル１２ｂ_Ｌを遮光し、右側の液晶セル１２ｂ_Ｒを非遮光にする遮光パターンをいう。

　したがって、画素Ｌ遮光パターンによる液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの駆動が順次行われると、イメージセンサ１４は、左視差画像を撮影するための露光を、フォトダイオードＰＤ毎に露光開始タイミングをずらして開始することになる。

　上記画素Ｌ遮光パターンで、先頭のラインＬ_１から予め設定された所定のラインＬ_ｉまで順次液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが駆動されると（図５の（ｃ）部分）、その後、先頭のラインＬ_１の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒから画素Ｒ遮光パターンによる駆動を開始する（画素Ｌ遮光パターンから画素Ｒ遮光パターンに順次切り替える）（図５の（ｄ）部分）。

　ここで、画素Ｒ遮光パターンとは、図６の（ｂ）部分に示すようにイメージセンサ１４の各フォトダイオードＰＤに対応して設けられた左右一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒのうち、左側の液晶セル１２ｂ_Ｌを非遮光とし、右側の液晶セル１２ｂ_Ｒを遮光する遮光パターンをいう。

　したがって、図５の（ｄ）部分に示すように画素Ｒ遮光パターンによる液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの駆動が開始されると、イメージセンサ１４は、右視差画像を撮影するための露光も同時に開始（フォトダイオードＰＤ毎に露光開始タイミングをずらして開始）することになる。

　ところで、先頭のラインＬ_１の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが駆動してから所定のラインＬ_ｉの液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが駆動するまでの時間をＴとすると、この時間Ｔは、シャッタ速度に対応している。したがって、シャッタ速度が速い場合には、液晶シャッタ１２の液晶セル群の画素Ｌ遮光パターンから画素Ｒ遮光パターンへの切り替わりも速くなる。また、左視差画像の露光開始タイミングと右視差画像の露光開始タイミングとは、その撮影時におけるシャッタ速度だけずれることになる。

　図５の（ｃ）部分に示すタイミングでは、イメージセンサ１４の１ライン目のフォトダイオードＰＤの露光期間が時間Ｔ（シャッタ速度）に達するため、１ライン目のフォトダイオードＰＤから電荷信号の読み出しが行われる。即ち、１ライン目のフォトダイオードＰＤから電荷信号を読み出すための読み出しパルスが、センサ駆動部１８からイメージセンサ１４に加えられ、１ライン目のフォトダイオードＰＤから電荷信号の読み出しが行われる。フォトダイオードＰＤから電荷信号の読み出し終了すると、センサ駆動部１８からリセットパルスが出力され、フォトダイオードＰＤに蓄積された電荷が掃き出される。そして、フォトダイオードＰＤに蓄積された電荷が掃き出されると、そのフォトダイオードＰＤに対応する液晶セル１２ｂ_Ｌ，１２ｂ_Ｒは、画素Ｌ遮光パターンから画素Ｒ遮光パターンに切り替えられ、フォトダイオードＰＤでの電荷の蓄積を開始させる。

　即ち、所定の露光時間が経過したフォトダイオードＰＤから順次電荷信号を読み出すローリング読出しに同期して、液晶シャッタ１２の制御（画素Ｌ遮光パターンから画素Ｒ遮光パターンへの切り替え制御等）が行われる。

　図５の（ｅ）部分に示す状態は、画素Ｌ遮光パターンによる左視差画像の露光と、画素Ｒ遮光パターンによる右視差画像の露光とが同時に行われ、イメージセンサ１４の上方に対応する液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが、画素Ｒ遮光パターンから画素ＲＬ遮光パターンに切り替えられる様子を示している。また、画素Ｌ遮光パターンにより露光される左視差画像の約半分の電荷信号の読み出しが終了している。

　図５の（ｆ）部分は、画素Ｌ遮光パターンによる左視差画像の露光及び読み出しがほぼ終了する状態に関して示している。

　図５の（ｇ）部分は、画素Ｒ遮光パターンによる右視差画像の露光が終了した状態を示している。即ち、液晶シャッタ１２の全ての液晶セル１２ｂ_Ｌ，１２ｂ_Ｒが、画素ＲＬ遮光パターンに切り替えられ、イメージセンサ１４は遮光状態になっている。また、左視差画像の電荷信号の読み出しは終了しているが、右視差画像の電荷信号の読み出しは開始していない状態である。

　図５の（ｈ）部分は、右視差画像の電荷信号の読み出しを行っている状態を示している。

　上記のように液晶シャッタ１２を駆動するとともに、イメージセンサ１４からローリング読出しを行うことにより、左右の視差画像を取得することができる。

　図１に戻って、イメージセンサ１４から読み出された左右の視差画像を示す画像信号は、画像処理部２０に入力される。画像処理部２０は、入力した左右の視差画像を示す画像信号に対して、それぞれオフセット処理、ホワイトバランス補正、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

　画像処理部２０で処理された左右の視差画像を示す画像信号（３Ｄ画像データ）は、撮像装置１の背面に設けられている立体表示用の表示部２２に出力されることにより、３Ｄ画像として表示部２２の表示画面に表示される。立体表示用の表示部２２は、左右の視差画像をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視差画像と右視差画像とを個別に見ることができるものでもよい。

　また、画像処理部２０で処理された３Ｄ画像データは、記録部２４に出力される。記録部２４は、３Ｄ画像データ（ＹＣ処理された２枚分の画像データ）を、それぞれJPEG (joint photographic experts group)などの所定の圧縮方式で圧縮処理したのち、２枚分の圧縮データからマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）を生成し、メモリカード等の記録媒体に記録する。

　更に、画像処理部２０で処理された３Ｄ画像データは、外部出力部２６を介して３Ｄディスプレイ等の外部機器に送信することができる。

　＜液晶シャッタ１２の他の駆動方法＞
　図７は液晶シャッタ１２の他の駆動方法による遮光パターンを示す図である。

　図７に示すように２回の撮影のうちの１回目の撮影は、図７の（ａ）部分に示す遮光パターンＡで液晶シャッタ１２を駆動することにより行い、２回目の撮影は、図７の（ｂ）部分に示す遮光パターンＢで液晶シャッタ１２を駆動することにより行う。

　即ち、１回目の撮影（第１の露光に対応する電荷信号の取得）時における、イメージセンサ１４の各ラインの露光開始から終了までの期間は、そのラインに対応する液晶セル１２ｂ_Ｌ，１２ｂ_Ｒのうちの奇数番目のフォトダイオードＰＤに対応する一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの左側の液晶セル１２ｂ_Ｌを遮光させ、右側の液晶セル１２ｂ_Ｒを非遮光にさせ、一方、偶数番目のフォトダイオードＰＤに対応する一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの左側の液晶セル１２ｂ_Ｌを非遮光にさせ、右側の液晶セル１２ｂ_Ｒを遮光させる。

　これにより、イメージセンサ１４の各ラインの奇数番目のフォトダイオードＰＤには、左視差画像に対応する被写体光が入射し、偶数番目のフォトダイオードＰＤには、右視差画像に対応する被写体光が入射することになる。即ち、左右の視差画像を同時に撮影することになる。

　一方、２回目の撮影（第２の露光に対応する電荷信号の取得）時には、液晶シャッタ１２の一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの遮光／非遮光の駆動を、１回目の撮影時と逆にする。即ち、イメージセンサ１４の各ラインの露光開始から終了までの期間は、そのラインに対応する液晶セル１２ｂ_Ｌ，１２ｂ_Ｒのうちの奇数番目のフォトダイオードＰＤに対応する一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの左側の液晶セル１２ｂ_Ｌを非遮光にさせ、右側の液晶セル１２ｂ_Ｒを遮光させ、一方、偶数番目のフォトダイオードＰＤに対応する一対の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの左側の液晶セル１２ｂ_Ｌを遮光させ、右側の液晶セル１２ｂ_Ｒを非遮光にさせる。

　上記のように液晶シャッタ１２の駆動を制御して２回の撮影を行った場合、画像処理部２０は、１回目の撮影により取得した左右の視差画像と、２回目の撮影により取得した左右の視差画像とを統合し、イメージセンサ１４の画像サイズと同じサイズの左右の視差画像を生成する。

　このように液晶シャッタ１２を駆動することにより、左右の視差画像の撮影時間のずれを緩和することができる。

　図８はイメージセンサ１４のカラーフィルタ配列と、液晶シャッタ１２の更に他の駆動方法による遮光パターンを示す図である。

　図８の（ａ）部分はイメージセンサ１４のカラーフィルタ配列を示しており、奇数ラインは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタのうちのＧＲのカラーフィルタが交互に配列され、偶数ラインはＢＧのカラーフィルタが交互に配列されている、いわゆるベイヤー配列になっている。

　このカラーフィルタ配列を有するイメージセンサ１４に対し、１回目の撮影は、図８の（ｂ）部分に示す遮光パターンＡで液晶シャッタ１２を駆動し、２回目の撮影は、図８の（ｃ）部分に示す遮光パターンＢで液晶シャッタ１２を駆動する。

　図８の（ｂ）部分に示す遮光パターンＡは、図７の（ａ）部分及び（ｂ）部分に示した遮光パターンＡと遮光パターンＢとをライン毎に交互に繰り返すパターンであり、図８の（ｃ）部分に示す遮光パターンＢは、図８の（ｂ）部分に示した遮光パターンＡの液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの遮光／非遮光の関係を逆にしたパターンである。

　このベイヤーの場合、上記のように液晶シャッタ１２を駆動することにより、１回目の撮影及び２回目の撮影のそれぞれにおいて、ＲＧＢの左視差画像及びＲＧＢの右視差画像を取得することができる。

　＜液晶シャッタの他の構成例＞
　図９は液晶シャッタの他の構成例を示す要部断面図である。

　図９に示すように、液晶シャッタ１２１は、偏光フィルタ１２１ａと、光の透過率を制御するシャッタ素子として機能する液晶セル１２１ｂとを有し、液晶セル１２１ｂは、イメージセンサ１４と一体化され、各フォトダイオードＰＤの受光面上に配置されている。

　１つの液晶セル１２１ｂは、隣接する２つのフォトダイオードＰＤに跨がって配設されており、隣接する２つのフォトダイオードＰＤの一方のフォトダイオードＰＤの水平方向の右半部と、他方のフォトダイオードＰＤの左半分を覆うように配設されている。

　この液晶シャッタ１２１を駆動する液晶駆動部１６１は、図１０に示すように垂直方向の１ライン分の液晶セル１２ｂを選択するための垂直駆動信号を出力する液晶ドライバＶと、１ラインのライン方向（水平方向）の液晶セル１２１ｂを選択するための水平駆動信号を出力する液晶ドライバＨとを有し、液晶ドライバＶ及び液晶ドライバＨからそれぞれ出力される垂直駆動信号及び水平駆動信号により個別に液晶セル１２１ｂを選択し、選択した液晶セル１２ｂの透過率を制御する。即ち、選択した液晶セル１２１ｂに対し、適宜の電圧を印加することにより液晶セル１２１ｂの透過率を高くし、電圧の印加を解除することにより透過率を最小にする。尚、液晶セル１２１ｂに印加する電圧値に応じて、透過率を連続的に変化させてもよいし、遮光と非遮光（透過）を２値で制御するようにしてもよい。

　［液晶シャッタ１２１の駆動方法とカラーフィルタの組み合わせ］
　図１１から図１６は、それぞれ上記液晶シャッタ１２１の遮光パターンと、カラーフィルタとの関係を示す図である。

　図１１から図１３は、それぞれ液晶シャッタ１２１の液晶セル１２１ｂを縦ストライプの遮光パターンで駆動する駆動方法を示している。

　縦ストライプの遮光パターンで液晶セル１２１ｂを駆動する場合、１回目の撮影時は、図１１の（ａ）部分，図１１の（ａ）部分及び図１３の（ａ）部分に示すように各ラインの奇数番目の液晶セル１２１ｂを非遮光にし、偶数番目の液晶セル１２１ｂを遮光し、２回目の撮影時は、図１１の（ｂ）部分，図１１の（ｂ）部分及び図１３の（ｂ）部分に示すように各ラインの奇数番目の液晶セル１２１ｂを遮光にし、偶数番目の液晶セル１２１ｂを非遮光にする。

　一方、図１１に示すイメージセンサ１４のカラーフィルタ配列では、奇数ライン及び偶数ラインの一方のラインにＧＧＲＲＧＧ…のカラーフィルタが配設され、他方のラインにＢＢＧＧＢＢＧＧ…のカラーフィルタが配設されている。これにより、２回目の撮影のうちの各撮影毎にイメージセンサ１４の１ライン内のフォトダイオードＰＤから左右の視差画像となるＧＲ画素、又はＢＧ画素が得られる。

　図１２に示すイメージセンサ１４のカラーフィルタ配列は、ベイヤー配列である。この場合、ベイヤー配列の左右の視差画像を取得することができるとともに、２Ｄ撮影時に液晶シャッタ１２１の全ての液晶セル１２１ｂを非遮光にすることにより、ベイヤー配列の２Ｄ画像を取得することができる。

　図１３は液晶シャッタ１２１の各液晶セル１２１ｂにカラーフィルタを配置した例を示しており、本例では、ベイヤー配列のカラーフィルタ配列を示している。

　この場合、同一のフォトダイオードＰＤの画素で異なる２色の画像が得られるため、画像エッジ部等での偽色を低減できる効果を有する。

　図１４から図１６は、それぞれ液晶シャッタ１２１の液晶セル１２１ｂを千鳥配列の遮光パターンで駆動する駆動方法を示している。

　千鳥配列の遮光パターンで液晶セル１２１ｂを駆動する場合、１回目の撮影時は、図１４の（ａ）部分，図１５の（ａ）部分及び図１６の（ａ）部分に示すように奇数ラインの奇数番目の液晶セル１２１ｂを非遮光にし、偶数番目の液晶セル１２１ｂを遮光し、偶数ラインの奇数番目の液晶セル１２１ｂを遮光にし、偶数番目の液晶セル１２１ｂを非遮光にする。また、２回目の撮影時は、図１４の（ｂ）部分，図１５の（ｂ）部分及び図１６の（ｂ）部分に示すように、図１４の（ａ）部分，図１５の（ａ）部分及び図１６の（ａ）部分に示した液晶セル１２１ｂの遮光／非遮光とは逆の遮光パターンにする。

　図１４及び図１５に示すイメージセンサ１４のカラーフィルタ配列は、図１１及び図１２の場合と同じであり、図１６は図１３と同様に液晶シャッタ１２１の各液晶セル１２１ｂにカラーフィルタを配置した例を示している。

　千鳥配置の遮光パターンの場合、隣り合う画素の遮光と非遮光が異なるため、応答速度が、縦ストライプの遮光パターンより改善される効果がある。

　＜液晶シャッタの液晶セルの遮光／非遮光と電荷信号の読み出しタイミング＞
　図１７の（ａ）部分に示すように液晶シャッタ１２の液晶セル１２ｂ_Ｌ，１２ｂ_Ｒの遮光／非遮光のタイミングを、電荷信号の読み出しタイミングの前後で行う場合、液晶セル１２ｂ_Ｌを読み出しと同時に遮光する駆動を行っても、液晶セル１２ｂ_Ｌが遮光状態に至るまでに時間遅延（数１０μＳｅｃ程度）が生じる。そのため、画素リセット後にも液晶セル１２ｂ_Ｌが遮光されるまでの間は露光してしまう。これは、両視差画像のクロストークとなり、視差分離の劣化となる。特に露光時間が１水平期間以内となると無視できない量となり劣化が顕著となる。

　そこで、図１７の（ｂ）部分に示すように液晶セル１２ｂ_Ｌの遮光タイミングを、読み出しタイミング及び電荷リセットよりも、液晶セル１２ｂ_Ｌが遮光状態に至るまでの応答時間分だけ前に設定することで、上記の漏れ込みを防ぐことができる。

　上記応答時間は、液晶セル毎に異なる場合がある。その場合、予め液晶セル毎の応答時間あるいは係数を記憶し、設定タイミングを補正しても良い。更には、温度特性や経時変化等を考慮して、係数を適宜変更するようにしても良い。

　［撮像装置の他の実施形態］
　図１８は本発明に係る撮像装置の他の実施の形態を示すブロック図である。尚、図１８において、図１に示した実施の形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

　図１８に示す撮像装置１は、図１に示した撮像装置１と比べて、ＡＥ／ＡＦ制御部３０、第１画像記憶部３２、第２画像記憶部３４、補正係数記憶部３６、乗算器３８、４０、減算器４２、４４、及び第３画像記憶部４６が追加されている。

　ＡＥ／ＡＦ制御部３０は、画像処理部２０を介して画像信号を入力し、入力した画像信号を積算することにより被写体輝度を算出する。ＡＥ／ＡＦ制御部３０は、算出した被写体輝度に基づいて露出条件を決定し、液晶駆動部１６を介してローリングシャッタによる電荷蓄積時間（シャッタ速度）を制御する。

　また、ＡＥ／ＡＦ制御部３０は、画像処理部２０を介して入力する左右の視差画像からＡＦ領域の視差画像を抽出する。ＡＥ／ＡＦ制御部３０は、抽出したＡＦ領域の視差画像の位相ずれが最小になるように撮影レンズ１０のレンズ位置を制御することにより、位相差ＡＦを行う。

　上記のようにＡＥ／ＡＦ制御された後、本撮像された左右の視差画像は、それぞれ画像処理部２０で信号処理されたのち、第１画像記憶部３２及び第２画像記憶部３４に一旦記憶される。

　図１９の（ａ）部分は、左右の視差画像に対応する画素Ｒ画像と画素Ｌ画像との間で漏れ込み（クロストーク）が無い状態を示している。しかし、画素Ｒ露光時は反対側の画素Ｌ側は遮光状態とされているが、液晶セルの透過率を０にすることは困難であり、５～１０％程度の光量を透過してしまう可能性がある。画素Ｌ露光時も同様である。

　図１９の（ｂ）部分は上記のような漏れ込みがある状態を示している。両視差画像間にクロストークが発生すると、視差分離が劣化する要因となる。即ち、立体感不足となる。

　そこで、画素Ｒ露光画像から漏れ光量による画素Ｌ露光分の規定量を差し引くことで、上記クロストークによる不具合を改善する。

　具体的には、左右の視差画像をそれぞれ第１画像記憶部３２、第２画像記憶部３４に保存した後、それぞれ左右の視差画像を減算器４２、４４の一方の入力に加える。減算器４２の他方の入力には、乗算器４０から第２画像記憶部３４に記憶された視差画像と所定の係数ｋ２とを乗算した補正量（規定量）が加えられており、減算器４２は、視差画像から乗算器４０により算出された補正量を減算し、補正した視差画像を第３記憶部４６に出力する。同様に、減算器４４の他方の入力には、乗算器３８から第１画像記憶部３２に記憶された視差画像と所定の係数ｋ１とを乗算した補正量が加えられており、減算器４４は、視差画像から乗算器３８により算出された補正値を減算し、補正した視差画像を第３記憶部４６に出力する。

　尚、所定の係数ｋ１，ｋ２は、補正係数記憶部３６に記憶されており、それぞれ乗算器３８、４０に加えられるようになっている。この場合、補正係数記憶部３６に、予め画素毎の透過率もしくは透過率に基づいた係数を記憶させ、画像信号の各画素に対応した係数により補正しても良い。更には、温度特性や経計時変化等を考慮して、係数を適宜変更するようにしても良い。

　第３画像記憶部４６に記憶されたクロストーク補正後の左右の視差画像は、表示部２２に表示され、又は記録部２４により記録され、あるいは外部出力部２６を介して外部機器に送信される。

　＜撮影モード＞
　本実施例の撮像装置１は、２Ｄ画像、３Ｄ画像の静止画、又は動画の撮影・再生が可能なカメラであるが、以下に示す複数のモードを有しており、これらのモードから選択したモードにて撮影できるようになっている。

　(1)２Ｄ撮影…静止画／動画モード
　この場合、液晶シャッタは全て非遮光状態とし、通常の撮影動作を行う。また、液晶シャッタ１２（図２、図３）、及び液晶シャッタ１２１（図９、図１０）のいずれも使用することができるが、液晶シャッタ１２１の場合には、図１３及び図１６に示したように液晶シャッタ１２１の各液晶セル１２１ｂにカラーフィルタを配置したものは使用できない。

　(2)３Ｄ静止画…高解像度モード／低解像度モード
　高解像度モードの撮影時は、図２０の（ａ）部分に示すように２つの遮光パターンＡ，Ｂを使用して液晶シャッタを駆動し、２回撮影を行う。第１フレーム期間では遮光パターンＡ，Ｂによる２回の撮影と、遮光パターンＡで露光した画像の読み出しが行われ、第２フレーム期間では遮光パターンＢで露光した画像の読み出しが行われる。尚、この場合の液晶シャッタの動作及び読み出しの詳細は、図５で説明した通りである。

　低解像度モードの撮影時は、図２０の（ｂ）部分に示すように遮光パターンＡ、又は遮光パターンＢのいずれか１つを使用して液晶シャッタを駆動し、１回撮影を行う。

　この場合、遮光パターンＡ、又は遮光パターンＢは、１回の撮影で左右の視差画像を取得することができるパターンにする必要があり、図７、図８、図１１、図１４、及び図１５に示した遮光パターンを使用することができる。

　(3)３Ｄ動画…高フレームレートモード／低フレームレートモード
　高フレームレートモードの撮影時は、図２０の（ｂ）部分に示すように２つの遮光パターンＡ，Ｂのいずれか一方の遮光パターンを使用し、又は遮光パターンＡとＢを交互に繰り返し使用して液晶シャッタを駆動し、１フレーム毎に１回の撮影及び電荷信号の読み出しを行う。尚、この場合、フレームレートは速くなるが、１フレームの画像サイズは、イメージセンサ１４の画素数の半分になる。

　低フレームレートモードの撮影時は、図２０の（ａ）部分に示すように２つの遮光パターンＡ，Ｂを使用して液晶シャッタを駆動し、２回撮影を行う。第１フレーム期間では遮光パターンＡ，Ｂによる２回の撮影と、遮光パターンＡで露光した画像の読み出しが行われ、第２フレーム期間では遮光パターンＢで露光した画像の読み出しが行われる。そして、この動作を繰り返す。これにより、２フレーム期間を使用して１フレーム分の３Ｄ動画が撮影されることになり、フレームレートが低くなる。尚、１フレームの画像サイズは、イメージセンサ１４の画素数と同じにすることができる。

　［その他］
　液晶シャッタの液晶セルは、遮光／非遮光の２値で制御する場合に限らず、非遮光時に透過率を制御することにより、露出制御を行うようにしてもよい。単眼の撮影レンズを使用した左右の視差画像は、一般に視差が大きくないが、特に絞り径が小さいと、視差がつきにくくなる。そこで、絞りは固定の開放絞りとし、液晶シャッタで透過率を制御することにより露出制御を行うことが好ましい。

　また、液晶シャッタの各液晶セルのシャッタ駆動は、１セル毎に行う場合に限らず、１ライン毎に行うようにしてもよい。また、上記実施形態では、シャッター素子群の制御をライン毎に行うことを主に記載しているが、個々のシャッター素子毎に制御してもよい。

　尚、本実施の形態では、画素毎に動的に瞳分割を切り替える瞳分割手段として液晶シャッタを使用したが、これに限らず、個々のエリアを電圧、電流等の電気的制御により、その透過率を個別に可変可能なものであれば、いかなるものでもよい。

　また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

　１、１００…撮像装置、１０…撮影レンズ、１２、１２１…液晶シャッタ、１２ｂ_Ｌ，１２ｂ_Ｒ、１２１ｂ…液晶セル、１４…イメージセンサ、１６、１６１…液晶駆動部、１８…センサ駆動部、２０…画像処理部、２２…表示部、２４…記録部、３０…ＡＥ／ＡＦ制御部、３６…補正係数記憶部、３８、４０…乗算器、４２、４４…減算器

Claims

　単一の撮影光学系と、
　２次元配列された複数の光電変換画素を有し、前記撮影光学系を介して被写体像が結像される撮像素子と、
　前記撮像素子の光電変換素子毎又はライン毎に露光を開始させるとともに、順次電荷信号を読み出すローリング読出手段と、
　前記撮影光学系のそれぞれ異なる第１、第２の領域を通過した被写体像を瞳分割して前記撮像素子に入射させる瞳分割手段であって、各光電変換画素の受光面を２分割した第１及び第２の分割面への入射光の透過率を個々に制御可能なシャッタ素子群を有する瞳分割手段と、
　前記ローリング読出手段によるローリング読出しに同期して、前記瞳分割手段のシャッタ素子群における透過率を制御する透過率制御手段と、
　を備えた撮像装置。
　前記透過率制御手段は、
　第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素の第１の分割面及び第２の分割面のうちの一方の分割面に対応するシャッタ素子群の透過率を高くし、他方の分割面に対応するシャッタ素子群の透過率を最小にし、
　第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素の第１の分割面及び第２の分割面のうちの他方の分割面に対応するシャッタ素子群の透過率を高くし、一方の分割面に対応するシャッタ素子群の透過率を最小にする請求項１に記載の撮像装置。
　前記瞳分割手段のシャッタ素子群は、前記撮像素子の各光電変換画素の第１の分割面及び第２の分割面の上面に、それぞれ透過率の制御が可能なシャッタ素子が配置されてなる請求項１又は２に記載の撮像装置。
　前記瞳分割手段のシャッタ素子群は、前記撮像素子の隣接する光電変換画素の２つの受光面に跨がって、それぞれ透過率の制御が可能な１つのシャッタ素子が配置されてなる請求項１又は２に記載の撮像装置。
　前記透過率制御手段は、
　第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、前記光電変換画素の第１の分割面及び第２の分割面のうちの第１の分割面に対応するシャッタ素子群の透過率を最小にし、前記第２の分割面に対応するシャッタ素子群の透過率を高くし、
　第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、前記光電変換画素の第１の分割面及び第２の分割面のうちの第２の分割面に対応するシャッタ素子群の透過率を最小にし、前記第２の分割面に対応するシャッタ素子群の透過率を高くする請求項１から３のいずれか１項に記載の撮像装置。
　前記透過率制御手段は、
　第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素または各ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を最小にし、各光電変換画素または各ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を高くし、
　第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、各光電変換画素または各ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を最小にし、各光電変換画素または各ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を高くする請求項１から４のいずれか１項に記載の撮像装置。
　前記透過率制御手段は、
　第１の撮影の第１の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、奇数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を最小にし、奇数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を高くするとともに、偶数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を最小にし、偶数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を高くし、
　第２の撮影の第２の露光に対応する電荷信号の取得時における各光電変換画素または各ラインの露光開始から終了までの期間は、奇数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を最小にし、奇数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を高くするとともに、偶数ラインの奇数番目の光電変換素子の第１の分割面及び偶数番目の光電変換素子の第２の分割面に対応するシャッタ素子群の透過率を最小にし、偶数ラインの奇数番目の光電変換素子の第２の分割面及び偶数番目の光電変換素子の第１の分割面に対応するシャッタ素子群の透過率を高くする請求項１から４のいずれか１項に記載の撮像装置。
　前記撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、
　前記撮像素子の奇数ライン及び偶数ラインの一方のラインには、ＧＧＲＲＧＧＲＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＢＧＧＢＢＧＧの順に繰り返してカラーフィルタが配設されている請求項６に記載の撮像装置。
　前記撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、
　前記撮像素子の奇数ライン及び偶数ラインの一方のラインには、ＧＲＧＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＧＢＧの順に繰り返してカラーフィルタが配設されている請求項５に記載の撮像装置。
　前記瞳分割手段のシャッタ素子群は、前記撮像素子の隣接する光電変換画素の２つの受光面に跨がって、それぞれ透過率の制御が可能な１つのシャッタ素子が配置され、かつ各シャッタ素子上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されて構成され、
　前記２次元配列されたシャッタ素子群の奇数ライン及び偶数ラインの一方のラインには、ＧＲＧＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＧＢＧの順に繰り返してカラーフィルタが配設されている請求項６に記載の撮像装置。
　前記瞳分割手段のシャッタ素子群は、前記撮像素子の隣接する光電変換画素の２つの受光面に跨がって、それぞれ透過率の制御が可能な１つのシャッタ素子が配置され、かつ各シャッタ素子上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されて構成され、
　前記２次元配列されたシャッタ素子群の奇数ライン及び偶数ラインの一方のラインには、ＧＧＲＲＧＧＲＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＢＧＧＢＢＧＧの順に繰り返してカラーフィルタが配設されている請求項７に記載の撮像装置。
　前記撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、
　前記撮像素子の奇数ライン及び偶数ラインの一方のラインには、ＧＧＲＲＧＧＲＲの順に繰り返してカラーフィルタが配設され、他方のラインには、ＢＢＧＧＢＢＧＧの順に繰り返してカラーフィルタが配設されている請求項６に記載の撮像装置。
　前記撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが各光電変換画素に対応して配設されたカラー撮像素子であり、
　前記撮像素子の各光電変換画素または各ラインには、ＧＢＧＲの順に繰り返してカラーフィルタが配設されている請求項７に記載の撮像装置。
　前記ローリング読出手段は、読み出しパルスを出力して前記光電変換画素から電荷信号を読み出すと、直ちにリセットパルスを出力して該光電変換画素に蓄積された信号電荷を掃き出し、次の信号電荷の蓄積を再開させる請求項１から１３のいずれか１項に記載の撮像装置。
　前記透過率制御手段は、前記読み出しパルスの出力タイミングよりも前記シャッタ素子の応答遅れ時間に相当する所定時間前に、該読み出しパルスにより読み出される前記光電変換画素の第１の分割面又は第２の分割面に対応するシャッタ素子群の透過率を最小にする駆動を開始させる請求項１４に記載の撮像装置。
　前記ローリング読出手段により読み出された第１の撮影の第１の露光及び第２の撮影の第２の露光に対応する電荷信号に基づいて視差の異なる第１の視差画像及び第２の視差画像を示す第１の画像信号及び第２の画像信号を生成する画像処理手段を備え、
　前記画像処理手段は、前記第１の画像信号から第２の画像信号の規定量を差し引くとともに、前記第２の画像信号から第１の画像信号の規定量を差し引いて新たな第１の画像信号及び第２の画像信号を生成する請求項１から１５のいずれか１項に記載の撮像装置。
　前記画像処理手段は、前記瞳分割手段のシャッタ素子群の高い透過率と最小の透過率とに基づく補正係数を予め記憶する記憶手段を有し、前記補正係数と前記第２の画像信号とを乗算して前記第２の画像信号の規定量を算出し、前記補正係数と前記第１の画像信号とを乗算して前記第１の画像信号の規定量を算出する請求項１６に記載の撮像装置。
　高解像度の立体静止画を撮影する高解像度モードと、低解像度の立体静止画を撮影する低解像度モードとを有し、該高解像度モードと低解像度モードとを切り替える切替手段と、
　前記切替手段により高解像度モードから低解像度モードに切り替えられると、前記第１の露光に対応する電荷信号のみを読み出す前記ローリング読出手段と、
　前記ローリング読出手段により読み出された前記第１の露光に対応する電荷信号に基づいて視差の異なる第１の視差画像及び第２の視差画像を示す第１の画像信号及び第２の画像信号を生成する画像処理手段と、
　を備えた請求項６又は７に記載の撮像装置。
　高フレームレートの立体動画を撮影する高フレームレートモードと、低フレームレートの立体動画を撮影する低フレームレートモードとを有し、該高フレームレートモードと低フレームレートモードとを切り替える切替手段と、
　前記切替手段により低フレームレートモードから高フレームレートモードに切り替えられると、前記第１の露光及び第２の露光に対応する電荷信号のうちのいずれか一方を読み出すか又は双方を交互に読み出す前記ローリング読出手段と、
　前記ローリング読出手段により読み出された前記第１の露光又は第２の露光に対応する電荷信号に基づいて視差の異なる第１の視差画像及び第２の視差画像を示す第１の画像信号及び第２の画像信号を生成する画像処理手段と、
　を備えた請求項６又は７に記載の撮像装置。
　立体画像を撮影する立体画像撮影モードと、平面画像を撮影する平面画像を撮影する平面画像撮影モードとを有し、該立体画像撮影モードと平面画像撮影モードとを切り替える切替手段と、
　前記切替手段により立体画像撮影モードから平面画像撮影モードに切り替えられると、前記シャッタ素子群の全てのシャッタ素子群の透過率を高くする前記透過率制御手段と、
　を備えた請求項１から８、及び１１から１９のいずれか１項に記載の撮像装置。