JP6164858B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像素子を有する撮像装置及びその制御方法に関するものである。

近年、複数のカメラを配置して撮影したステレオ画像から被写体の距離情報を取得する手法が提案されている（特許文献１参照）。また、複数の光学ブロックと単一の撮像素子を用いて複数画像を撮像し、撮像された画像間の視差情報から距離情報を取得する手法が提案されている（特許文献２参照）。

特開２０００−６５５３２号公報 特開２００３−１４３４５９号公報

しかしながら、従来技術のように、複数の光学ブロックと単一の撮像素子を用いて複数画像を撮像する構成では、以下のような課題がある。すなわち、撮像素子として露光時刻がライン毎に異なるＣＭＯＳイメージセンサを用いて動体を撮影した場合、撮像面の上下で露光時刻がずれてしまうため、画像間の視差情報を正確に算出できない場合がある。

本願発明の目的は、露光時刻がライン毎（行毎）に異なる撮像素子を用いて動画を撮影する場合でも、装着された光学系に係わらず、画像ずれの少ない複数画像の同時撮影を行なうことのできる撮像装置を提供することである。

本発明は、上記課題を解決するためになされたものであり、請求項１に記載の撮像装置は、２次元状に配置された複数の画素と、前記複数の画素のリセット動作及び読み出し動作を制御する走査手段とを備えた撮像素子と、異なる光学系を装着可能な装着手段と、前記装着手段に装着された光学系を識別する識別手段と、前記識別手段によって識別された光学系に応じて、前記走査手段が前記複数の画素のリセット動作または読み出し動作を変更するように制御する制御手段と、を有し、前記識別手段により前記光学系が列に沿った方向に複数並ぶ光学ブロックを有することが識別された場合に、前記制御手段は、前記光学系の各光学ブロックが前記撮像素子に投影する各画像の所定の行において、前記走査手段が前記複数の画素のリセット動作または読み出し動作を同時に開始するように制御することを特徴とする。

また、請求項８に記載の撮像装置の制御方法は、２次元状に配置された複数の画素と、前記複数の画素のリセット動作または読み出し動作を制御する走査手段とを備えた撮像素子と、異なる光学系を装着可能な装着手段とを備えた撮像装置の制御方法であって、前記装着手段に装着された光学系を識別する識別ステップと、前記識別ステップによって識別された光学系に応じて、前記走査手段が前記複数の画素のリセット動作または読み出し動作を変更するように制御する制御ステップと、を有し、前記識別ステップにより前記光学系が列に沿った方向に複数並ぶ光学ブロックを有することが識別された場合に、前記制御ステップでは、前記光学系の各光学ブロックが前記撮像素子に投影する各画像の所定の行において、前記走査手段が前記複数の画素のリセット動作または読み出し動作を同時に開始するように制御することを特徴とする。

本発明によれば、露光時刻が行毎に異なる撮像素子を用いて動画を撮影する場合でも、装着された光学系に係わらず、画像ずれの少ない複数画像の同時撮影を行なうことができる。

本発明の実施例１に係る撮像装置の構成図である。 本発明の実施例１に係る撮像装置の操作部を示す図である。 本発明の実施例１に係る撮影レンズを示す図である。 本発明の実施例１に係る撮像素子に結像される画像を示す図である。 本発明の実施例１に係る撮像素子の構成を示す図である。 本発明の実施例１に係る撮像素子の画素の構成を示す図である。 本発明の実施例１に係る垂直走査回路の構成を示す図である。 本発明の実施例１に係る撮像装置の動作フローを示す図である。 本発明の実施例１に係る撮像素子の動作を示す図である。 本発明の実施例１に係る撮像素子の動作を示す図である。 本発明の実施例１に係る撮像素子にリセットと読み出しタイミングを示す図である。 本発明の実施例１に係る撮影レンズを示す図である。 本発明の実施例１に係る撮像素子に結像される画像を示す図である。 本発明の実施例１に係る撮影レンズを示す図である。 本発明の実施例１に係る撮像素子に結像される画像を示す図である。 本発明の実施例２に係る撮像素子の構成を示す図である。 本発明の実施例２に係る垂直走査回路の構成を示す図である。 本発明の実施例２に係る撮像素子の動作を示す図である。 本発明の実施例２に係る撮像素子のリセットと読み出しタイミングを示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面を用いて説明する。

（実施例１）
図１は、本発明の実施例１に係る撮像装置の構成図である。図１の撮像装置１００において、マウント１１８に撮影レンズ１１７が装着される。撮像素子１０１は、撮影レンズ１１７から入射された光学像を電気信号に変換する。撮像素子１０１から出力された電気信号は、アナログフロントエンド（以下、ＡＦＥと称する）１０３に入力される。ＡＦＥ１０３は、撮像素子１０１から入力されるアナログ画像信号に対して、ゲイン調整や所定の量子化ビットに対応したデジタル変換を行う。タイミングジェネレータ（以下、ＴＧと称する）１０２は、撮像素子１０１及びＡＦＥ１０３の駆動タイミングを制御する。

ＲＡＭ１０８は、ＡＦＥ１０３でデジタル変換された画像データや、後述する画像処理部１０９で処理された画像データを記憶するための画像データ記憶手段の機能と、後述するＣＰＵ１０４のワークメモリの機能を兼備する。なお、本実施例では、これらの機能をＲＡＭ１０８を用いて行うが、アクセス速度が十分に問題ないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０６は、後述するＣＰＵ１０４の動作プログラムを格納する。

ＣＰＵ１０４は、撮像装置１００を統括的に制御し、撮像素子１０１やＴＧ１０２に対する動作設定等も行う。画像処理部１０９は、撮影画像に対する補正や圧縮等の処理を行う。また、画像処理部１０９では、後述する複数枚の撮影画像から視差情報を算出し、距離画像を作成する。インターフェース部１１０は、コネクタ１１２を介して接続される不揮発メモリ、ハードディスク等の外部記録媒体１１３に対して、静止画像データ及び動画像データなどを記録する。外部記録媒体１１３のインターフェース部１１４は、コネクタ１１６を介して接続される撮像装置１００と記録部１１５との間でデータを送受信する。
なお、本実施例では、記録媒体として着脱可能な外部記録媒体を適用しているが、その他データ書き込み可能な不揮発性メモリ、ハードディスク等を内蔵した形態でもよい。

表示部１０７は、撮影した静止画像や動画像や、メニュー等を表示する。操作部１０５は、ＣＰＵ１０４に対して操作者による撮影命令や撮影条件等の設定を行うためのものである。図２は、操作部１０５を示す図である。図２に示すように、操作部１０５は、静止画撮影スイッチ１０５ａ、動画撮影スイッチ１０５ｂ、表示部に表示されるメニュー等を操作するＧＵＩ操作部１０５ｃを具備する。

図３は、本実施例において、撮像装置１００の装着手段であるマウント１１８に装着される撮影レンズ１１７の一例を示す図である。マウント１１８には、異なる光学系である撮影レンズ１１７を装着可能である。撮影レンズ１１７は、被写体の撮像光が入射する側に光学ブロックである光学レンズ１１７ａを水平・垂直方向に２つずつ、計４つ並べた構成になっている。なお、ここでの垂直方向は、撮像素子１０１の後述する垂直出力線の配線と同方向（列に沿った方向）とする。また、撮影レンズ１１７には、不図示の絞りや結像用レンズが配置され、撮像素子１０１の撮像面上には、図４に示す様な画像が投影される。なお、本実施例の撮影レンズ１１７は、光学レンズを水平及び垂直方向に２つずつ並べた構成であるが、この限りではない。少なくとも垂直方向に２つ以上の光学レンズを並べた構成であれば良い。

次に、撮像素子１０１の構成を図５〜図７を参照して説明する。図５において、撮像素子の有効画素領域には、複数の画素が２次元状に配置される。すなわち、垂直方向（列に沿った方向）に画素２０１ａ〜ｄが配置されるとともに、水平方向（行に沿った方向）に隣接した列に画素２０１ｅ〜ｈが配置される。実際の撮像素子１０１では、例えば水平方向に３０００列、垂直方向に２０００行の画素が配置されるが、図５ではその一部の画素のみ示している。また、本実施例では、各行をｎまたはｎ＋ｋを使用して示す。なお、ｎは０〜９９９の整数であり、ｋ＝１０００であるものとする。

図６は、画像２０１ａ〜ｈの各々の構成を示す図である。図６に示す様に、画素２０１ａ〜ｈの各々は、光電変換部２２０と信号転送部２２１から構成される。光電変換部２２０には、フォトダイオード１と転送スイッチ２が形成される。また、信号転送部２２１には、リセットスイッチ３、画素アンプ１０、行選択スイッチ６が形成されている。そして、信号転送部２２１には、光電変換部２２０が接続されている。また、光電変換部２２０の転送スイッチ２のゲートは、垂直走査回路２１７からの行毎の制御信号ＰＴＸ（ｎ）に接続される。

第ｎ行の信号転送部２２１のリセットスイッチ３のゲートは、垂直走査回路２１７からの行毎の制御信号ＰＲＥＳ（ｎ）に接続され、行選択スイッチ６のゲートは、垂直走査回路２１７からの行毎の制御信号ＰＳＥＬ（ｎ）に接続される。他の行についても同様である。また、信号転送部２２１は、それぞれ撮像素子内部を縦断する垂直出力線２０５ａ〜ｆに、スイッチ２０２ａ〜ｈ、スイッチ２０３ａ〜ｈ、スイッチ２０４ａ〜ｈを介して接続される。上記構成が垂直方向に垂直画素数分だけ続く。

複数の垂直出力線（列出力線）２０５ａ〜ｆは、定電流源２１８ａ〜ｆに接続され、他方端がカラムアンプ２０６ａ〜ｆに接続される。そして、複数の画素の信号を列毎に垂直方向（列に沿った方向）に出力する。なお、図５に示すように、カラムアンプ２０６ａ〜ｃとカラムアンプ２０６ｄ〜ｆとは、それぞれ有効画素領域の上下に分けて配置される。また、カラムアンプ２０６ａ〜ｆは、転送ゲート２０７ａ〜ｆ、２０８ａ〜ｆを介してそれぞれ保持手段である保持容量２０９ａ〜ｆ、２１０ａ〜ｆに接続される。

保持容量２０９ａ〜ｃは、水平走査回路２１６ａからの制御信号ＰＨ１（ｍ）、ＰＨ２（ｍ）、ＰＨ３（ｍ）によって駆動される出力転送スイッチ２１１ａ〜ｃを介して、水平出力線２１３ａに接続される。同様にして、保持容量２１０ａ〜ｃは、水平走査回路２１６ａからの制御信号ＰＨ１（ｍ）、ＰＨ２（ｍ）、ＰＨ３（ｍ）によって駆動される出力転送スイッチ２１２ａ〜ｃを介して、水平出力線２１３ｂに接続される。保持容量２０９ｄ〜ｆは、水平走査回路２１６ｂからの制御信号ＰＨ１（ｍ＋１）、ＰＨ２（ｍ＋１）、ＰＨ３（ｍ＋１）によって駆動される出力転送スイッチ２１１ｄ〜ｆを介して、水平出力線２１３ｃに接続される。同様にして、保持容量２１０ｄ〜ｆは、水平走査回路２１６ｂからの制御信号ＰＨ１（ｍ＋１）、ＰＨ２（ｍ＋１）、ＰＨ３（ｍ＋１）によって駆動される出力転送スイッチ２１２ｄ〜ｆを介して、水平出力線２１３ｄに接続される。

水平出力線２１３ａ及び２１３ｂには、読み出しアンプ２１４ａが接続され、水平出力線２１３ａと水平出力線２１３ｂの差分出力に所定のゲインを乗じた信号を出力端子２１５ａから出力する。同様に、水平出力線２１３ｃ及び２１３ｄには、読み出しアンプ２１４ｂが接続され、水平出力線２１３ｃと水平出力線２１３ｄの差分出力に所定のゲインを乗じた信号を出力端子２１５ｂから出力する。

次に、走査手段としての垂直走査回路２１７の構成を図７に示す。図７において、行毎の選択信号を出力するレジスタ２３０ａ〜ｆが直列に接続されており、シフトレジスタを構成している。レジスタ２３０ａ〜ｆの入力は、セレクタ２３１ａ〜ｆにより、ＴＧ１０２から入力される垂直走査開始信号ＰＶＳＴＡＲＴと、前行の行選択信号を選択する構成となっている。セレクタ２３１ａ〜ｆの切り替えは、ＣＰＵ１０４からの設定により実行される。ＡＮＤゲート２３２ａ〜ｆ、２３３ａ〜ｆ、２３４ａ〜ｆには、それぞれレジスタ２３０ａ〜ｆの出力と、ＴＧ１０２からの制御信号ＰＴＸ、ＰＳＥＬ、ＰＲＥＳが入力される。そして、ＡＮＤゲート２３２ａ〜ｆ、２３３ａ〜ｆ、２３４ａ〜ｆは、行毎の制御信号ＰＴＸ（ｎ）〜（ｎ＋ｋ＋２）、ＰＳＥＬ（ｎ）〜（ｎ＋ｋ＋２）、ＰＲＥＳ（ｎ）〜（ｎ＋ｋ＋２）を出力する。

次に、本実施例の撮像装置１００の動作制御を図８に示すフローチャートを用いて説明する。ステップＳ８０１において、撮像装置１００の装着手段であるマウント１１８に撮影レンズ１１７が装着され、静止画撮影スイッチ１０５ａまたは動画撮影スイッチ１０５ｂが押下されることで、静止画または動画の撮影が開始される。ステップＳ８０２において、ＣＰＵ１０４は、撮影レンズ１１７に対して通信を開始し、撮影レンズ１１７からレンズ構成等の情報を受信する。そして、識別手段としてのＣＰＵ１０４は、マウント１１８に装着された光学系である撮影レンズ１１７の種類を識別する。ステップＳ８０３において、受信した情報に基づいて、装着された撮影レンズ１１７が、垂直方向に複数並べられた光学レンズを持つとＣＰＵ１０４により判定（識別）された場合には、ステップＳ８０４に進む。ステップＳ８０４において、ＣＰＵ１０４は、撮像素子１０１に対して撮影レンズ１１７のレンズ構成に応じて決められた所定の設定を行なう。すなわち、識別された光学系の種類に応じて、走査手段である垂直走査回路２１７が、複数の画素のリセット動作または読み出し動作を変更するように制御する。

本実施例では、マウント１１８に装着された撮影レンズ１１７は、図３に示す様に垂直方向に光学レンズが２つ並んでいる。そのため、撮像素子１０１の０行目から９９９行目までは、スイッチ２０２ａ及び２０２ｂがオンになり、画素２０１ａ及び２０１ｂを含む各画素が垂直出力線２０５ａに接続される。同様にスイッチ２０２ｅ及び２０２ｆがオンになり、画素２０１ｅ及び２０１ｆを含む各画素が垂直出力線２０５ｄに接続される。また、撮像素子１０１の１０００行目から１９９９行目までは、スイッチ２０３ｃ及び２０３ｄがオンになり、画素２０１ｃ及び２０１ｄを含む各画素が垂直出力線２０５ｂに接続される。同様にスイッチ２０３ｇ及び２０３ｈがオンになり、画素単位２０１ｇ及び２０１ｈを含む各画素が垂直出力線２０５ｅに接続される。さらに、垂直走査回路２１７のシフトレジスタにおいて、０行目を示すｎ＝０の場合のセレクタ２３１ａはＰＶＳＴＡＲＴを選択する。また、１０００行目のセレクタ２３１ｄも同様にＰＶＳＴＡＲＴを選択する。それ以外のレジスタの入力は前行のレジスタの出力に選択される。

次に、ステップＳ８０５において、画像の読み出しを開始する。図９は、垂直走査回路２１７内のシフトレジスタの、読み出し時またはリセット時の動作を示す図である。すなわち、走査手段としての垂直走査回路２１７は、複数の画素のリセット動作及び読み出し動作を制御する。まず、時刻ｔ１＿３ａでは１行の読み出し単位を示すタイミング信号ＨＤがアサートされる。読み出しまたはリセットがスタートすると、時刻ｔ２＿３ａにてＰＶＳＴＡＲＴがアサートされ、続いて時刻ｔ３＿３ａにてＰＶがアサートされる。レジスタ２３０ａ、２３０ｄの入力はＰＶＳＴＡＲＴになっているので、同時刻にレジスタ２３０ａ、２３０ｄの出力がアサートされる。その後、時刻ｔ４＿３ａでＰＶはネゲートされ、時刻ｔ５＿３ａでＰＶＳＴＡＲＴがネゲートされる。

時刻ｔ９＿３ａ以降も時刻ｔ６＿３ａからｔ９＿３ａまでと同様の動作を繰り返し、行選択信号であるレジスタ２３０ａ〜２３０ｆの信号が１行毎に順次アサートされていく。なお、読み出しまたはリセット開始信号であるＰＶＳＴＡＲＴは、前述した設定により０行目と１０００行目のレジスタに入力される。また、ＰＶＳＴＡＲＴは１フレームの中で、リセットまたは読み出しのために２回入力される。リセットから読み出しまでの期間が蓄積時間となる。各レジスタの出力がアサートされると、ＡＮＤゲート２３２ａ〜ｆ、２３３ａ〜ｆ、２３４ａ〜ｆにより、各行において制御信号ＰＴＸ、ＰＳＥＬ、ＰＲＥＳが有効となる。

図１０は、第ｎ行のリセット動作および読み出し動作の動作タイミングを示す図である。この図に従って各部の動作を説明する。まず、時刻ｔ１＿３ｂでは１行の読み出し単位を示すタイミング信号ＨＤがアサートされる。読み出しがスタートすると、画素単位２０１ａ及び２０１ｅの垂直転送が行われる。時刻ｔ２＿３ｂに制御信号ＰＳＥＬ（ｎ）がアクティブとなり、行選択スイッチ６がオンする。信号転送部２２１の画素アンプ１０と、各垂直出力線に接続されている電流源でそれぞれ構成されるソース・フォロア回路が動作状態となる。時刻ｔ３＿３ｂにＰＲＥＳ（ｎ）がアクティブになることによりリセットスイッチ３がオンとなり、信号転送部２２１の画素アンプ１０のゲート１１、つまり容量９は初期化される。即ち、垂直出力線２０５ａ及び２０５ｄには、このリセット直後の信号レベル（いわゆるダークレベル）の信号が出力される。

時刻ｔ４＿３ｂでＰＲＥＳ（ｎ）がネゲートされた後、時刻ｔ５＿３ｂにＰＴＮがアクティブになる。これにより各垂直出力線２０５ａ及び２０５ｄに接続されたカラムアンプ２０６ａ及び２０６ｄを介して、保持容量２１０ａ及び２１０ｄの各々にダークレベル出力が保持される。この後、時刻ｔ６＿３ｂで転送動作を完了した後、時刻ｔ７＿３ｂにＰＴＸ（ｎ）をアクティブにすることで光電変換部２２０の転送スイッチ２がオンする。そして、フォトダイオード１に蓄積されている信号電荷を、信号転送部２２１の画素アンプ１０で構成されるソース・フォロアのゲート１１に転送する。このとき、画素アンプ１０で構成されるソース・フォロア１１は転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し信号レベルが確定する。

転送が十分に終了した時刻ｔ８＿３ｂにおいて、ＰＴＸ（ｎ）をネゲートした後、時刻ｔ９＿３ｂにＰＴＳがアクティブになる。これにより、各垂直出力線２０５ａ及び２０５ｄに接続されたカラムアンプ２０６ａ及び２０６ｄを介して、信号レベルが保持容量２０９ａ及び２０９ｄに保持される。この後、時刻ｔ１０＿３ｂでＰＴＳをネゲートすると、転送動作が完了する。これまでの動作で、保持容量２０９ａ及び２０９ｄには画素２００ａ及び２００ｅの信号レベルが保持され、保持容量２１０ａ及び２１０ｄには画素２００ａ及び２００ｅのダークレベルが保持されている。

画素からの信号出力を終了したので、時刻ｔ１１＿３ｂでＰＲＥＳ（ｎ）をアサートした後に時刻ｔ１２＿３ｂでＰＴＸ（ｎ）をアサートすることにより、フォトダイオード１をリセットする。その後、時刻ｔ１３＿３ｂでＰＴＸ（ｎ）をネゲートし、時刻ｔ１４＿３ｂでＰＲＥＳ（ｎ）をネゲートする。以上の動作で第ｎ行の垂直転送が終了するので、時刻ｔ１５＿３ｂにてＰＳＥＬ（ｎ）をネゲートする。時刻ｔ１６＿３ｂ〜ｔ１７＿３ｂにてＰＨ１（ｍ）及びＰＨ１（ｍ＋１）がアクティブになる。そして、保持容量２０９ａ及び２０９ｄに格納された画素信号と、保持容量２１０ａ及び２１０ｄに格納されたダークレベルの差分が読み出しアンプ２１４ａ及び２１４ｂから出力され、その後、出力端子２１５ａ及び２１５ｂから出力される。

続いて、時刻ｔ１８＿３ｂ〜ｔ１９＿３ｂにてＰＨ２（ｍ）及びＰＨ２（ｍ＋１）がアクティブになる。そして、保持容量２０９ｂ及び２０９ｅに格納された画素信号と、保持容量２１０ｂ及び２１０ｅに格納されたダークレベルの差分が読み出しアンプ２１４ａ及び２１４ｂから出力され、その後、出力端子２１５ａ及び２１５ｂから出力される。ここでは特定列について記載されているが、全列の信号が同様に順次出力される。

同様にしてｎ＋ｋ行目の画素信号は、前述した設定により垂直出力線２０５ｂ及び２０５ｅ、カラムアンプ２０６ｂ及び２０６ｅを介して保持容量２０９ｂ及び２０９ｅに格納される。また、ダークレベルは、垂直出力線２０５ｂ及び２０５ｅ、カラムアンプ２０６ｂ及び２０６ｅを介して保持容量２１０ｂ及び２１０ｅに格納され、読み出しアンプ２１４ａ及び２１４ｂから出力され、その後、出力端子２１５ａ及び２１５ｂから出力される。

上述の動作をリセットもしくは読み出しをするために繰り返した場合の、リセットと読み出しのタイミングを図１１に示す。光学系である撮像レンズ１１７により投影された画像１０１は、各光学ブロックである光学レンズに対応して領域１〜４を備えている。所定の行である０行目と１０００行目から同時にリセット動作が開始され、領域１と領域３の間、または領域２と領域４の間の対応する行が順次同時にリセットされる。蓄積時間経過後に所定の行である０行目と１０００行目から同時に読み出し動作が開始され、領域１と領域３の間、または領域２と領域４の間の対応する行の信号が順次同時に読み出される。この動作により、領域１と領域３の間、または領域２と領域４の間の対応する行同士の露光タイミングが同時となる。よって、撮像素子１０１の上下に結像された被写体像の対応する行は、露光タイミングの違いによってずれることはない。なお、複数の画像間の関係は、視差分のずれだけを持つことになる。

図８のステップＳ８０５において、撮像素子１０１から出力された信号はＡＦＥ１０３でデジタル変換され、画像処理部１０９に入力される。ステップＳ８０６では、画像処理部１０９内で画像データの並び換え処理や、複数画像間の視差情報から視差を算出するための距離画像等の生成や圧縮等の処理がなされ、ステップＳ８０７において、静止画または動画として外部記録媒体１１３に記録される。ステップＳ８０８において、撮影が終了されたかどうかを判定し、撮影が終了された場合にはステップＳ８０９にて撮影終了する。撮影が終了しない場合にはステップＳ８０５に戻り、再度ステップＳ８０５〜Ｓ８０８の撮影処理がなされる。

ステップＳ８０３において、装着された撮影レンズ１１７が、光学レンズが垂直方向に複数並べた構成ではないと判定された場合には、ステップＳ８１０に移行する。ステップＳ８１０では、垂直先頭行のみにＰＶＳＴＡＲＴが入力される設定が撮像素子１０１になされ、ステップＳ８１１〜Ｓ８１４にて撮影処理が行われる。この場合、撮像素子１０１の垂直方向における複数領域が同時に露光されることはなく、上に位置する領域から順次露光される。

本実施例で述べた構成によると、光学レンズが少なくとも垂直方向に複数並べられた交換レンズを用いて上下複数画像を撮影する際に、リセットまたは読み出しが上下の画像間で同時に行われるため、露光タイミングずれによる画像間のずれが起きない。これにより視差分のずれだけを持つ複数画像を撮影することができる。

なお、本実施例では光学レンズが４つ並べられた交換レンズについて述べたが、この限りではない。例えば図１２に示す様な撮影レンズをマウント１１８に装着して撮影する場合、垂直出力線２０５ｃ、２０５ｆを追加して使用し、ＰＶＳＴＡＲＴが入力される行を３箇所にする。そして、このように制御することで、図１３に示す様な上下方向で３分割された領域を同時に露光することができる。同様に、撮像素子の構成を変えることにより、図１４に示す撮影レンズを用いて図１５に示す様な上下方向で５分割された領域を同時に露光することも可能である。そのためには、撮像素子１０１内で１画素列に対し同時に２画素以上画素信号を保持する機構を持てば良い。そして、撮影レンズに並べられた光学レンズの数によって決まる垂直方向上下の２領域以上の領域について、領域毎に使用する保持機構を選択し、複数領域が同時に露光される様な構成であれば適用することができる。

すなわち、制御手段であるＣＰＵ１０４が、光学系である撮影レンズが有する複数の光学ブロックの位置または数に応じて、走査手段である垂直走査回路２１７が複数の画素のリセット動作または読み出し動作を同時に開始する行を変更するように制御すれば良い。あるいは、光学系である撮影レンズが有する複数の光学ブロックの位置または数に応じて、走査手段である垂直走査回路２１７が垂直出力線（列出力線）に接続される画素を変更するように制御すれば良い。さらに、光学系である撮影レンズが有する複数の光学ブロックの位置または数に応じて、撮影レンズの各光学ブロックが撮像素子に投影する各画像において、複数の画素のリセット動作または読み出し動作を順次行う行間隔を変更するように制御しても良い。

（実施例２）
以下、本発明の実施例２に係る撮像装置の動作について説明する。本実施例の撮像装置は実施例１の撮像装置と同様の構成であり、また撮影フローも実施例１と同様のため、説明を省略する。本実施例の撮像装置では、撮像素子１０１の構成及び動作が異なる。

以下、本実施例での撮像素子１０１の構成について説明する。図１６、１７は、実施例２における撮像素子１０１の構成を示す図である。図１６において、撮像素子の有効画素領域には、垂直方向（列に沿った方向）に画素５０１ａ〜ｄが配置されるとともに、水平方向（行に沿った方向）に隣接した列に画素５０１ｅ〜ｈが配置される。実際の撮像素子１０１では、例えば水平方向３０００列、垂直方向に２０００行の画素が配置されるが、図５ではその一部の画素のみを示している。また、本実施例では、各行をｎまたはｎ＋ｋを使用して示す。なお、ｎは０〜９９９の整数であり、ｋ＝１０００であるものとする。なお、画素５０１ａ〜ｈの構成は、実施例１で述べた図６と同様であるため、説明を省略する。

第ｎ行の信号転送部２２１のリセットスイッチ３のゲートは、垂直走査回路５１７からの行毎の制御信号ＰＲＥＳ（ｎ）に接続され、行選択スイッチ６のゲートは、垂直走査回路５１７からの行毎の制御信号ＰＳＥＬ（ｎ）に接続される。他の行についても同様である。また、信号転送部２２１は、それぞれ撮像素子内部を縦断する垂直出力線５０５ａ及び５０５ｂに接続される。上記構成が垂直方向に垂直画素数分だけ続く。

垂直出力線５０５ａ及び５０５ｂは、定電流源５１８ａ及び５１８ｂにそれぞれ接続され、他方端がカラムアンプ５０６ａ及び５０６ｂにそれぞれ接続される。なお、カラムアンプ５０６ａとカラムアンプ５０６ｂとは、有効画素領域の上下に分けて配置される。また、カラムアンプ５０６ａ及び５０６ｂは、転送ゲート５０７ａ及び５０７ｂ、転送ゲート５０８ａ及び５０８ｂを介して、それぞれ保持容量５０９ａ及び５０９ｂ、保持容量５１０ａ及び５１０ｂに接続される。

保持容量５０９ａは、水平走査回路５１６ａからの制御信号ＰＨ１（ｍ）によって駆動される出力転送スイッチ５１１ａを介して、水平出力線５１３ａに接続される。同様にして、保持容量５１０ａは、水平走査回路５１６ａからの制御信号ＰＨ１（ｍ）によって駆動される出力転送スイッチ５１２ａを介して、水平出力線５１３ｂに接続される。保持容量５０９ｂは、水平走査回路５１６ｂからの制御信号ＰＨ１（ｍ＋１）によって駆動される出力転送スイッチ５１１ｂを介して、水平出力線５１３ｃに接続される。同様にして、保持容量５１０ｂは、水平走査回路５１６ｂからの制御信号ＰＨ１（ｍ＋１）によって駆動される出力転送スイッチ５１２ｂを介して、水平出力線５１３ｄに接続される。

水平出力線５１３ａ及び５１３ｂには、読み出しアンプ５１４ａが接続され、水平出力線５１３ａと水平出力線５１３ｂの差分出力に所定のゲインを乗じた信号を出力端子５１５ａから出力する。同様に、この水平出力線５１３ｃ及び５１３ｄには、読み出しアンプ５１４ｂが接続され、水平出力線５１３ｃと水平出力線５１３ｄの差分出力に所定のゲインを乗じた信号を出力端子５１５ｂから出力する。

次に、垂直走査回路５１７の構成を図１７に示す。図１７において、行毎の選択信号を出力するレジスタ５３０ａ〜ｆが直列に接続されており、シフトレジスタを構成している。レジスタ５３０ａ〜ｆの入力は、セレクタ５３１ａ〜ｆにより、ＴＧ１０２から入力される垂直走査開始信号ＰＶＳＴＡＲＴと、前行の行選択信号を選択する構成となっている。セレクタ５３１ａ〜ｆの切り替えは、ＣＰＵ１０４からの設定により実行される。レジスタ５３８の出力であるＰＶ＿ＭＡＳＫは、ＰＶがアサートされるとＮＯＴゲート５３７によりトグル動作をし、ＡＮＤゲート５３５ａに入力されてＰＶをマスクする。この信号をＰＶ１とする。また、ＰＶ＿ＭＡＳＫをＮＯＴゲート５３６で反転させた信号がＡＮＤゲート５３５ｂに入力され、ＰＶをＰＶ１と逆のタイミングでマスクする。この信号をＰＶ２とする。

ＡＮＤゲート５３７ａ〜ｃには、レジスタ５３８の出力であるＰＶ＿ＭＡＳＫをＮＯＴゲート５３６で反転させた信号と、レジスタ５３０ａ〜ｃの出力が入力される。また、ＡＮＤゲート５３７ｄ〜ｆには、レジスタ５３８の出力であるＰＶ＿ＭＡＳＫと、レジスタ５３０ｄ〜ｆの出力が入力される。セレクタ５３９ａ及び５３９ｂは、レジスタ５３０ａ〜ｃ、５３０ｄ〜ｆにそれぞれ入力する信号をセレクトする。セレクタ５３９ａ及び５３９ｂの切り替えは、ＣＰＵ１０４からの設定により実行される。ＡＮＤゲート５３２ａ〜ｆ、５３３ａ〜ｆ、５３４ａ〜ｆには、それぞれレジスタ５３０ａ〜ｆの出力と、ＴＧ１０２からの制御信号ＰＴＸ、ＰＳＥＬ、ＰＲＥＳが入力される。そして、ＡＮＤゲート５３２ａ〜ｆ、５３３ａ〜ｆ、５３４ａ〜ｆからは、行毎の制御信号ＰＴＸ（ｎ）〜（ｎ＋ｋ＋２）、ＰＳＥＬ（ｎ）〜（ｎ＋ｋ＋２）、ＰＲＥＳ（ｎ）〜（ｎ＋ｋ＋２）が出力される。

次に、本実施例の撮像装置の動作制御について説明する。まず、撮像装置１００に撮影レンズ１１７が装着され、静止画撮影スイッチ１０５ａまたは動画撮影スイッチ１０５ｂが押下されることで、静止画または動画の撮影が開始される。ＣＰＵ１０４は、レンズ１１７に対して通信を開始し、撮影レンズ１１７からレンズ構成等の情報を受信する。そして、受信した情報に基づいて、レンズ構成によって決められた所定の設定を撮像素子１０１に対して行なう。本実施例でも、撮影レンズ１１７は、図３に示す様に垂直方向に光学レンズが２つ並んでいるものとする。

垂直走査回路５１７のシフトレジスタにおいて、０行目を示すｎ＝０の場合のセレクタ５３１ａはＰＶＳＴＡＲＴを選択する。また、１０００行目のセレクタ５３１ｄも同様にＰＶＳＴＡＲＴを選択する。それ以外のレジスタの入力は前行のレジスタの出力に選択される。また、セレクタ５３９ａ及び５３９ｂは、レジスタ５３０ａ〜ｃとレジスタ５３０ｄ〜ｆにそれぞれＰＶ１とＰＶ２を入力する設定にされる。

図１８は、垂直走査回路５１７内のシフトレジスタの、読み出しまたはリセット時の動作を示す図である。まず、時刻ｔ１＿６では１行の読み出し単位を示すタイミング信号ＨＤがアサートされる。読み出しまたはリセットがスタートすると、時刻ｔ２＿６にてＰＶＳＴＡＲＴがアサートされ、続いて時刻ｔ３＿６にてＰＶがアサートされる。これによりＰＶ＿ＭＡＳＫはネゲートされ、ＰＶはＰＶ１としてマスクされずにレジスタ５３０ａにクロックとして入力される。レジスタ５３０ａの入力はＰＶＳＴＡＲＴになっており、かつレジスタ５３０ａにはＰＶ１が入力されているので、レジスタ５３０ａの出力がアサートされる。そして行選択信号であるＰＶＳＥＬ（ｎ）がアサートされる。その後、時刻ｔ４＿６でＰＶはネゲートされ、時刻ｔ５＿３ａでＰＶＳＴＡＲＴがネゲートされる。

次に、時刻ｔ６＿６にてタイミング信号ＨＤがアサートされ、次の行の読み出しが開始される。時刻ｔ７＿６にてＰＶＳＴＡＲＴがアサートされ、続いて時刻ｔ８＿６にてＰＶがアサートされる。これによりＰＶ＿ＭＡＳＫはアサートされ、ＰＶはＰＶ２としてマスクされずにレジスタ５３０ｄにクロックとして入力される。レジスタ５３０ｄの入力はＰＶＳＴＡＲＴになっており、かつレジスタ５３０ｄにはＰＶ２が入力されているので、レジスタ５３０ｄの出力がアサートされる。そして、行選択信号であるＰＶＳＥＬ（ｎ＋ｋ）がアサートされる。また、ＰＶＳＥＬ（ｎ）はネゲートされる。その後、時刻ｔ９＿６でＰＶはネゲートされ、時刻ｔ１０＿６でＰＶＳＴＡＲＴがネゲートされる。

時刻ｔ１１＿６にてタイミング信号ＨＤがアサートされ、次の行の読み出しが開始される。時刻ｔ１２＿６にてＰＶがアサートされる。これによりＰＶ＿ＭＡＳＫはネゲートされ、ＰＶはＰＶ１としてマスクされずにレジスタ５３０ｂにクロックとして入力される。レジスタ５３０ｂの入力はレジスタ５３０ａの出力であり、レジスタ５３０ｂにはＰＶ１が入力されているので、レジスタ５３０ｂの出力がアサートされる。そして行選択信号であるＰＶＳＥＬ（ｎ＋１）がアサートされる。また、ＰＶＳＥＬ（ｎ＋ｋ）はネゲートされる。その後、時刻ｔ１３＿６でＰＶはネゲートされる。

時刻ｔ１４＿６にてタイミング信号ＨＤがアサートされ、次の行の読み出しが開始される。時刻ｔ１５＿６にてＰＶがアサートされる。これによりＰＶ＿ＭＡＳＫはアサートされ、ＰＶはＰＶ２としてマスクされずにレジスタ５３０ｅにクロックとして入力される。レジスタ５３０ｅの入力はレジスタ５３０ｄの出力であり、レジスタ５３０ｅにはＰＶ２が入力されているので、レジスタ５３０ｅの出力がアサートされる。そして行選択信号であるＰＶＳＥＬ（ｎ＋ｋ＋１）がアサートされる。また、ＰＶＳＥＬ（ｎ＋１）はネゲートされる。その後、時刻ｔ１６＿６でＰＶはネゲートされる。

時刻ｔ１７＿６以降も時刻ｔ１１＿６からｔ１７＿６までと同様の動作を繰り返し、行選択信号であるＰＶＳＥＬが１行毎に順次アサートされていく。なお、読み出しまたはリセット開始信号であるＰＶＳＴＡＲＴは、前述した設定により０行目と１０００行目のレジスタに入力される。また、ＰＶＳＴＡＲＴは１フレームの中で、リセットのために２回と読み出しのために２回入力される。リセットから読み出しまでの期間が蓄積時間となる。ＰＶＳＥＬ（ｎ）〜（ｎ＋２）がアサートされると、ＡＮＤゲート５３２ａ〜ｆ、５３３ａ〜ｆ、５３４ａ〜ｆにより、各行において制御信号ＰＴＸ、ＰＳＥＬ、ＰＲＥＳが有効となる。なお、各行での読み出し動作およびリセット動作の動作タイミングは、実施例１と同様であるので説明を省略する。

上述の動作をリセットもしくは読み出しをするために繰り返した場合の、リセットと読み出しのタイミングを図１９に示す。０行目、１０００行目、１行目、１００１行目の順でリセットがなされる。蓄積時間経過後に０行目、１０００行目、１行目、１００１行目の順で読み出しが開始される。この動作により領域１と領域３間、または領域２と領域４間の対応する行同士の露光タイミングが、１行の読み出し時間分しかずれないことになる。よって、撮像素子１０１の上下に結像された被写体像の対応する行は、露光タイミングの違いによるずれを小さくすることができる。また、本実施例によれば、実施例１と比べて規模の小さな撮像素子の回路構成で本機能を実現することができる。

撮像素子１０１から出力された信号はＡＦＥ１０３でデジタル変換され、画像処理部１０９に入力される。画像処理部１０９内では、画像データの並び換え処理や、複数画像間の視差情報から視差を算出するための距離画像等の生成や圧縮等の処理がなされ、静止画または動画として外部記録媒体１１３に記録される。

なお、本実施例では光学レンズが４つ並べられた交換レンズについて述べたが、この限りではない。例えば図１２に示す様な交換レンズを装着して撮影する場合、次のように構成すれば良い。すなわち、撮像素子１０１内で、交換レンズに並べられた光学レンズの数によって決まる垂直方向上下の２領域以上について、各領域の対応する上行または下行を優先して順次リセット・読み出しを行う構成とすれば良い。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 撮像装置
１０１ 撮像素子
１１７ 撮影レンズ
２１７ 垂直走査回路

Claims (7)

1. ２次元状に配置された複数の画素と、前記複数の画素のリセット動作及び読み出し動作を制御する走査手段とを備えた撮像素子と、
   異なる光学系を装着可能な装着手段と、
   前記装着手段に装着された光学系を識別する識別手段と、
   前記識別手段によって識別された光学系に応じて、前記走査手段が前記複数の画素のリセット動作または読み出し動作を変更するように制御する制御手段と、
   を有し、
   前記識別手段により前記光学系が列に沿った方向に複数並ぶ光学ブロックを有することが識別された場合に、前記制御手段は、前記光学系の各光学ブロックが前記撮像素子に投影する各画像の所定の行において、前記走査手段が前記複数の画素のリセット動作または読み出し動作を同時に開始するように制御することを特徴とする撮像装置。
2. 前記制御手段は、前記光学系が有する複数の光学ブロックの位置または数に応じて、前記走査手段が前記複数の画素のリセット動作または読み出し動作を同時に開始する行を変更するように制御することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記複数の画素の信号を列毎に前記列に沿った方向に出力する複数の列出力線を備え、前記制御手段は、前記光学系が有する複数の光学ブロックの位置または数に応じて、前記走査手段が前記列出力線に接続される画素を変更するように制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記光学系の各光学ブロックが前記撮像素子に投影する各画像の所定の行において、前記走査手段が前記複数の画素のリセット動作または読み出し動作を同時に開始した後に、各画像における次の行のリセット動作または読み出し動作を順次行うように制御することを特徴とする請求項１に記載の撮像装置。
5. 前記制御手段は、前記光学系が有する複数の光学ブロックの位置または数に応じて、前記走査手段が前記光学系の各光学ブロックが前記撮像素子に投影する各画像において前記複数の画素のリセット動作または読み出し動作を順次行う行間隔を変更することを特徴とするように制御することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像素子は、前記複数の画素の信号を列毎に前記列に沿った方向に出力する複数の列出力線と、前記複数の列出力線に対応して各列に設けられ、前記複数の画素の信号を保持する複数の保持手段とを備え、前記複数の画素の信号を読み出す場合に、各行の画素信号が前記複数の保持手段に同時に保持されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. ２次元状に配置された複数の画素と、前記複数の画素のリセット動作または読み出し動作を制御する走査手段とを備えた撮像素子と、異なる光学系を装着可能な装着手段とを備えた撮像装置の制御方法であって、
   前記装着手段に装着された光学系を識別する識別ステップと、
   前記識別ステップによって識別された光学系に応じて、前記走査手段が前記複数の画素のリセット動作または読み出し動作を変更するように制御する制御ステップと、
   を有し、
   前記識別ステップにより前記光学系が列に沿った方向に複数並ぶ光学ブロックを有することが識別された場合に、前記制御ステップでは、前記光学系の各光学ブロックが前記撮像素子に投影する各画像の所定の行において、前記走査手段が前記複数の画素のリセット動作または読み出し動作を同時に開始するように制御することを特徴とする撮像装置の制御方法。

Images