JP6274901B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明はデジタルカメラ、デジタルビデオカメラのような撮像装置に関する。

近年、固体撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の受光面における光の強度に加えて、光の入射方向情報も得られるような構成の撮像装置が提案されている。このような撮像装置は、いわゆるプレノプティック（Ｐｌｅｎｏｐｉｔｃ）型の撮像装置と呼ばれ、非特許文献１などにおいて開示されている。

また、従来からデジタルカメラのような撮像装置において、装置の背面に配置された液晶パネルなどの表示装置に被写体像を表示し、ビューファインダーとして撮影時の構図を決定するのに使用されている製品が多数開発されている。

Ｒｅｎ．Ｎｇ、他７名「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

しかしながら、撮像素子に結像された映像データを読み出して表示装置へ出力する場合、表示のための処理時間があるため、表示装置に表示されている被写体像と実際の被写体には時間的な遅延がある。撮像素子の画素数が多い場合には、撮像素子からの読み出し処理が多くなるため実際の被写体と表示される映像との遅延が顕著になる。

また、撮像素子の画素読み出し方法としては、ラスタースキャン方式で読み出しを行うのが一般的である。この方式では、画像の左上から順次右方向に画素読み出しを行い、画面の右端まで１ライン分の画素を読み出した後に、１ライン下の画面左端から再度右方向に画素読み出しを行い、画像右下まで上記一連の読み出し処理を繰り返して行う。しかし、全画角の画素を読み出してから表示に使用するための映像を構成すると、実際の被写体と表示される映像との遅延が非常に大きくなってしまうという問題がある。そのため表示に使用するために画角内の画素を行および列単位に読み飛ばして、表示に使用する画像を構成することが提案されている。

しかし、マイクロレンズアレイを配置した撮像素子においては、次のような問題がある。即ち、マイクロレンズアレイの配置およびマイクロレンズと各画素の関係を考慮せず、撮像素子の各画素を行および列単位に一定間隔で読み飛ばしを行うと、期待した表示画像を構成することが出来ない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、プレノプティック型の撮像装置において、被写体の画像を表示装置に表示するまでの時間を短縮することである。

本発明に係わる撮像装置は、複数のレンズが配列されたレンズアレイと、前記レンズアレイの各レンズを透過した光が複数の画素に入射するように配置された撮像素子と、前記撮像素子から読み出された映像データを表示する表示手段と、前記撮像素子から読み出された映像データを記録する記録手段と、前記撮像素子から前記レンズアレイの各レンズに対して相対的な位置がそれぞれ一致する第１の領域の画素の映像データを読み出す第１の読み出しモードと、前記撮像素子から第２の領域の画素の映像データを読み出す第２の読み出しモードとを有する読み出し制御手段と、前記第１の読み出しモードによって前記撮像素子から映像データを読み出した後に、前記第２の読み出しモードによって前記撮像素子から映像データの読み出しを行うとともに前記第１の読み出しモードによって読み出した映像データを前記表示手段に表示し、前記第２の読み出しモードによって読み出した映像データを前記記録手段に記録するように制御する制御手段と、を備えることを特徴とする。

本発明によれば、プレノプティック型の撮像装置において、被写体の画像を表示装置に表示するまでの時間を短縮することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示す図。 マイクロレンズと画素の配置関係を示す図。 マイクロレンズと画素の配置関係を示す図。 マイクロレンズと画素の配置関係を示す図。 ＣＭＯＳセンサの構成を示す図。 撮像素子上の行読み出し順序の説明図。 撮像素子の読み出し制御、表示処理、記録処理のタイミングチャート。 撮像素子上の画素の読み出し位置の説明図。 画素単位に読み出すＣＭＯＳセンサの構成を示す図。 マイクロレンズと画素とカラーフィルタの配置関係を示す図。 マイクロレンズと画素とカラーフィルタの配置関係を示す図。 マイクロレンズと画素とカラーフィルタの配置関係を示す図。 ＣＣＤセンサ構成図 専用垂直伝送路を有するＣＣＤセンサ構成図

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示す図である。図１において、撮像装置１００は、ズームレンズおよびフォーカスレンズを含むレンズ系１０１と、レンズ系１０１を透過し結像された被写体像を光電変換する撮像素子１０３とを備える。撮像素子１０３は、光電変換素子を有しており、この光電変換素子上にマトリクス状に二次元配置されたマイクロレンズアレイ１０２を備える。また、撮像装置１００は、撮像素子１０３への信号読み出し制御を行う読み出し制御部１１２、撮像素子１０３から読み出された電気信号をアナログ信号からデジタル信号（映像データ）に変換するＡ／Ｄ変換部１０４を備える。また、デジタル信号に変換された映像信号に各種補正処理、ホワイトバランス処理、ガンマ補正処理等の画像処理や解像度変換処理を行う信号処理部１０５を備える。また、各処理におけるデータを一時記録させるメモリ１０６、表示フォーマットへの変換処理を行う表示処理部１０７、表示処理部１０７からの映像出力信号を表示させる表示部１０８を備える。さらに、符号化処理を行い記録フォーマットへの変換処理を行う記録処理部１０９、記録処理部１０９からの映像信号を記録する記録部１１０、各種処理の制御を行う制御部１１１を備える。

上記構成のうち、マイクロレンズアレイ部１０２および撮像素子１０３の構成について詳細に説明する。レンズ系１０１の方向から見たマイクロレンズアレイ部１０２と撮像素子１０３の構成について図２Ａ〜図２Ｃに示す。

図２Ａに示したように、マイクロレンズアレイ部１０２は撮像素子１０３に、規則的に複数のマイクロレンズが二次元配列されている。本実施形態の場合には６行×６列の３６個のマイクロレンズが配列されており、各マイクロレンズの配列位置を次のように表している。行をＭＬ−Ｈ１，ＭＬ−Ｈ２，ＭＬ−Ｈ３，…，ＭＬ−Ｈ６とし、列をＭＬ−Ｖ１，ＭＬ−Ｖ２，ＭＬ−Ｖ３，…，ＭＬ−Ｖ６とする。例えばＭＬ−Ｈ１行かつＭＬ−Ｖ３列のマイクロレンズ２０３の配列位置は、ＭＬ−Ｈ１Ｖ３というように表す。

また撮像素子１０３は格子状に各画素２０１が二次元配列されている。１つのマイクロレンズにおける画素の配列位置を図２Ｂに示す。本実施形態の場合には１つのマイクロレンズが６行×６列の３６画素に対応するように配列されている（１つのマイクロレンズに対応する画素群の一辺の画素数が６個）。行をＨ１，Ｈ２，Ｈ３，…，Ｈ６とし、列をＶ１，Ｖ２，Ｖ３，…，Ｖ６とする。そうすると、例えば、破線で囲ったＨ３行かつＶ３列の画素２０４の配列位置は、Ｈ３Ｖ３というように表すことが出来る。

更にこのマイクロレンズが図２Ａ中のＭＬ−Ｈ１Ｖ３位置に配置されているマイクロレンズ２０３の場合は、画素２０４をＭＬ−Ｈ１Ｖ３−Ｈ３Ｖ３として画素位置を表すことが可能である。また、同様にマイクロレンズ２０３が位置しているＨ３行は、ＭＬ−Ｈ１Ｖ３−Ｈ３として、Ｖ３行は、ＭＬ−Ｈ１Ｖ３−Ｖ３として表すことが出来る。

次に上述のように構成された撮像装置の動作について説明する。まず、レンズ系１０１は図示しないレンズ系制御部によりレンズを駆動して、所定の画角における適切な明るさに設定された画像光を入射させる。マイクロレンズアレイ部１０２を介して入射された被写体の画像光を撮像素子１０３に結像させる。撮像素子１０３は読み出し制御部１１２からの制御信号による駆動パルスで駆動され、結像された画像を光電変換し電気信号へと変換する。電気信号へと変換された映像信号は、ＡＤＣ１０４によりデジタル信号に変換され、信号処理部１０５にて各種処理を行われた後にメモリ１０６へと格納される。メモリ１０６へ格納された映像信号は、表示処理部１０７にて表示装置である表示部１０８に対応する画像に変換される。つまり、表示部１０８が対応した解像度への解像度変換処理を行う。また、表示フレームレートに合わせたタイミングで表示部１０８へ出力を行うための、表示画像のタイミング制御も表示処理部１０７にて行う。記録処理部１０９では、静止画データおよび動画データの記録処理を行う。静止画および動画の各フォーマットへと変換された後に、ＳＤカード等の記録メディアである記録部１１０へと記録が行われる。なお記録部１１０としてはＳＤカード以外にも、ＤＶＤなどの光ディスク、ＨＤＤなどの磁気ディスク、もしくはネットワークなどを介した撮像装置と離れた場所にある記録装置であっても良い。

次に、読み出し制御部１１２の制御例について説明する。図２Ｂで示された１つのマイクロレンズの画素配置において、マイクロレンズの中央部分を構成する所定ライン毎に存在するＨ３行およびＨ４行の画素を優先的に読み出し、残りのＨ１、Ｈ２、Ｈ５、Ｈ６行を後から読み出す制御について図２Ｃおよび図３を用いて説明する。

図２Ｃ中のハッチングで表した、マイクロレンズアレイ部１０２の各レンズに対して相対的な位置がそれぞれ一致する一部の画素ＭＬ−Ｈ１−Ｈ３行、ＭＬ−Ｈ１−Ｈ４行、ＭＬ−Ｈ２−Ｈ３行、ＭＬ−Ｈ２−Ｈ４行、ＭＬ−Ｈ３−Ｈ３行、ＭＬ−Ｈ３−Ｈ４行、ＭＬ−Ｈ４−Ｈ３行、ＭＬ−Ｈ４−Ｈ４行、ＭＬ−Ｈ５−Ｈ３行、ＭＬ−Ｈ５−Ｈ４行、ＭＬ−Ｈ６−Ｈ３行、ＭＬ−Ｈ６−Ｈ４行を優先的に読み出すように、読み出し制御部１１２は撮像素子１０３の読み出し制御を行う（第１の読み出しモード）。つまり、第１の読み出しモードでは、各マイクロレンズの中央付近の一部の領域の画素を読み出す。

次に図３を用いてＣＭＯＳイメージセンサのように、各画素のアドレス（Ｘ−Ｙ）を指定して個々のデータを読み出し任意の画素データを取り出すことの出来る、いわゆるＸＹアドレス読み出し方式の撮像素子の読み出し処理について説明する。

撮像素子１０３は、画素３０１（ｘ行ｙ列目の画素を３０１−ｙｘと表記する）を備え、フローティングディフュージョンアンプ３０２（以下、ＦＤアンプと略記し、ｘ行ｙ列目のアンプを３０２−ｙｘと表記する）を備える。また行読み出し制御線３０３（ｘ行目の制御線を３０３−ｘと表記する）、行リセット制御線３０４（ｘ行目の制御線を３０４−ｘと表記する）、行選択線３０５（ｘ行目の選択線を３０５−ｘと表記する）を備える。また、列信号線３０６（ｙ列目の信号線を３０６−ｙと表記する）、列アンプ３０７（ｙ列目のアンプを３０７−ｙと表記する）、列アンプ３０７の出力をチャージする列信号バッファ容量３０８（ｙ列目の容量を３０８−ｙと表記する）を備える。また、列信号バッファ容量３０８へのチャージをＯＮ／ＯＦＦするための列信号バッファ容量制御スイッチ３０９（ｙ列目のスイッチを３０９−ｙと表記する）を備える。また、列信号バッファ容量３０８にチャージされた信号を、水平信号線３１１に順次出力するための列選択スイッチ３１０（ｙ列目のスイッチを３１０−ｙと表記する）を備える。さらに、水平走査回路３１２、垂直走査回路３１３、垂直同期信号入力端子３１４、読み出し開始行設定入力端子３１５、水平同期信号入力端子３１６、出力バッファアンプ３１７、映像信号出力端子３１８を備える。

続いて、ＣＭＯＳイメージセンサから１ラインずつ読み出す場合について説明する。ＭＬ−Ｈ１−Ｈ３行にあたる３行目の画素３０１−１３、３０１−２３、３０１−３３、３０１−４３の電荷は、行読み出し制御線３０３−３の制御に基づいて、それぞれＦＤアンプ３０２−１３、３０２−２３、３０２−３３、３０２−４３に読み出される。ＦＤアンプ３０２−１３、３０２−２３、３０２−３３、３０２−４３の出力は、行選択線３０５−３の制御に基づいて選択された後、それぞれ列信号線３０６−１、３０６−２、３０６−３、３０６−４を介して、列アンプ３０７−１、３０７−２、３０７−３、３０７−４で増幅される。同時に、列信号バッファ容量制御スイッチ３０９−１、３０９−２、３０９−３、３０９−４がＯＮになる。そして、列アンプ３０７−１、３０７−２、３０７−３、３０７−４の出力が、列信号バッファ容量３０８−１、３０８−２、３０８−３、３０８−４にチャージされる。列信号バッファ容量３０８−１、３０８−２、３０８−３、３０８−４のチャージ後、列信号バッファ容量制御スイッチ３０９−１、３０９−２、３０９−３、３０９−４はＯＦＦになる。列信号バッファ容量３０８−１、３０８−２、３０８−３、３０８−４にチャージされた３行目の信号は、以下のように出力される。即ち、水平走査回路３１２の制御に基づき、列選択スイッチ３１０−１、３１０−２、３１０−３、３１０−４を順次開閉することにより、水平信号線３１１と出力バッファアンプ３１７を通じて映像信号出力端子３１８から出力される。以上のように３行目の信号が読み出された後、４行目にあたるＭＬ−Ｈ１−Ｈ４行、９行目にあたるＭＬ−Ｈ２−Ｈ３行、１０行目にあたるＭＬ−Ｈ２−Ｈ４行と同様に順次読み出しを行う。

また、各行の画素３０１−ｙｘの電荷は、それぞれ行リセット制御線３０４−ｘの制御に基づいてリセットされる。リセット後、行読み出し制御線３０３−ｘの制御に基づいて、次の電荷読み出しが行われるまでが、次のフレームでの各行の蓄積時間となる。最終行に配列されたマイクロレンズの３行目および４行目の読み出し処理を行った後に、表示部１０８に表示するための１フレーム分の映像信号が、信号処理部１０５にて各種処理を行われた後に、メモリ１０６へと格納される。

また、最終行に配列されたマイクロレンズの３行目および４行目の読み出し処理を行った後は、記録処理部１０９に必要な画素を継続的に読み出すために、先頭行に配列されたマイクロレンズの３行目および４行目以外の１行目、２行目、５行目、６行目の画素読み出しを行い、続けて２行目に配列されたマイクロレンズの各行に位置する画素を読み出し、最終行に配列されたマイクロレンズにも同様な画素読み出し処理を行う（第２の読み出しモード）。

最終行に配列されたマイクロレンズの６行目の画素読み出しが完了した後に、記録部に記録するための１フレーム分の映像信号に対して、信号処理部１０５にて各種処理が行われ、メモリ１０６へと格納される。

この一連の読み出し処理順序について、１画角が６×６のマイクロレンズで、１つのマイクロレンズあたり６×６画素の合計１２９６画素で構成されている図４を用いて説明する。

マイクロレンズ毎に３行目、４行目を先行して読み出すように制御する際の読み出し順序について説明する。ＭＬ−Ｈ１−Ｈ３行を１番目に読み出し（行読み出し順序番号１）、次にＭＬ−Ｈ１−Ｈ４行を２番目に読み出す（行読み出し順序番号２）。続いてＭＬ−Ｈ２−Ｈ３行、ＭＬ−Ｈ２−Ｈ４行、ＭＬ−Ｈ３−Ｈ３行、ＭＬ−Ｈ３−Ｈ４行、ＭＬ−Ｈ４−Ｈ３行、ＭＬ−Ｈ４−Ｈ４行、ＭＬ−Ｈ５−Ｈ３行、ＭＬ−Ｈ５−Ｈ４行、ＭＬ−Ｈ６−Ｈ３行、ＭＬ−Ｈ６−Ｈ４行を読み出す（行読み出し順序番号３〜１２）。

最終行のマイクロレンズに対しての読み出しを行った後に、先頭行のマイクロレンズに対しての未読行の読み出し制御を行う。ＭＬ−Ｈ１−Ｈ１行、ＭＬ−Ｈ１−Ｈ２行、ＭＬ−Ｈ１−Ｈ５行、ＭＬ−Ｈ１−Ｈ６行を読み出し（行読み出し順序番号１３〜１６）、同様にマイクロレンズ２行目（行読み出し順序番号１７〜２０）、３行目（行読み出し順序番号２１〜２４）、４行目（行読み出し順序番号２５〜２８）、５行目（行読み出し順序番号２９〜３２）、６行目の未読行に対しての読み出しを行う（行読み出し順序番号３３〜３６）。

上記の撮像素子の読み出し制御、表示部への表示および記録処理のフレーム毎の処理タイミングについて図５を用いて説明する。ＶＤはフレームの区切りである垂直同期信号を示している。フレーム毎に撮像素子１０３へ画像光が入射され映像が結像される。上述の読み出し制御によりマイクロレンズ毎に読み出し優先度が高い画素から優先的に読み出しを行う。優先的に読み出された画素は図中のハッチングで表した個所で表している。優先的に読み出された画素から信号処理部１０５にて各種処理を施し、表示処理部１０７にて表示処理を施した後に表示部１０８へ表示する。読み出し制御部１１２にて優先的に読み出された画素と残りの全画素を合わせて記録画像として記録処理部１０９で記録処理を行い、記録部１１０へと記録する。

このようにして、マイクロレンズ毎に読み出す画素位置に優先度付けを行い、読み出し処理を行うことで、表示部への表示遅延を抑制することが出来、使用者が撮影時に表示部に映し出される映像を見ながら撮影を行う際の使用感を向上させることが可能となる。

（第２の実施形態）
次に本発明の第２の実施形態について説明する。上記の第１の実施形態では、撮像素子からの読み出し制御を、１ライン単位の読み出し制御として行ったが、撮像素子からの読み出しを１画素単位で行う構成も可能である。

図６を用いて、優先的に読み出す画素位置について説明する。図６で示された１つのマイクロレンズの画素配置において、マイクロレンズの中心部分にあたるＨ３行およびＨ４行でかつＶ３列およびＶ４列の画素を優先的に読み出し、残りの画素を後から読み出す制御について説明する。

図６中のマイクロレンズ８０１内に配置されているハッチングで表したＭＬ−Ｈ１Ｖ１−Ｈ３Ｖ３画素、ＭＬ−Ｈ１Ｖ１−Ｈ３Ｖ４画素、ＭＬ−Ｈ１Ｖ１−Ｈ４Ｖ３画素、ＭＬ−Ｈ１Ｖ１−Ｈ４Ｖ４画素を優先的に読み出す。同様にマイクロレンズ毎に相対的に同一箇所に配置された画素（例えばＭＬ−Ｈ１Ｖ２に配置されているマイクロレンズ８０２の場合は、ＭＬ−Ｈ１Ｖ２−Ｈ３Ｖ３画素、ＭＬ−Ｈ１Ｖ２−Ｈ３Ｖ４画素、ＭＬ−Ｈ１Ｖ２−Ｈ４Ｖ３画素、ＭＬ−Ｈ１Ｖ２−Ｈ４Ｖ４画素）を順次読み出す。同様にＭＬ−Ｈ１Ｖ３、ＭＬ−Ｈ１Ｖ４、ＭＬ−Ｈ１Ｖ５、ＭＬ−Ｈ１Ｖ６、ＭＬ−Ｈ２Ｖ１、ＭＬ−Ｈ２Ｖ２、ＭＬ−Ｈ２Ｖ３、ＭＬ−Ｈ２Ｖ４、ＭＬ−Ｈ２Ｖ５、ＭＬ−Ｈ２Ｖ６、ＭＬ−Ｈ３Ｖ１、ＭＬ−Ｈ３Ｖ２、ＭＬ−Ｈ３Ｖ３、ＭＬ−Ｈ３Ｖ４、ＭＬ−Ｈ３Ｖ５、ＭＬ−Ｈ３Ｖ６、ＭＬ−Ｈ４Ｖ１、ＭＬ−Ｈ４Ｖ２、ＭＬ−Ｈ４Ｖ３、ＭＬ−Ｈ４Ｖ４、ＭＬ−Ｈ４Ｖ５、ＭＬ−Ｈ４Ｖ６、ＭＬ−Ｈ５Ｖ１、ＭＬ−Ｈ５Ｖ２、ＭＬ−Ｈ５Ｖ３、ＭＬ−Ｈ５Ｖ４、ＭＬ−Ｈ５Ｖ５、ＭＬ−Ｈ５Ｖ６、ＭＬ−Ｈ６Ｖ１、ＭＬ−Ｈ６Ｖ２、ＭＬ−Ｈ６Ｖ３、ＭＬ−Ｈ６Ｖ４、ＭＬ−Ｈ６Ｖ５、ＭＬ−Ｈ６Ｖ６に配置されている各マイクロレンズ内の画素配列位置Ｈ３Ｖ３、Ｈ３Ｖ４、Ｈ４Ｖ３、Ｈ４Ｖ４を優先的に読み出すように読み出し制御部１１２は制御を行う。

次に図７を用いてＸＹアドレス型撮像素子の読み出し処理について説明する。撮像素子１０３は、画素９０１（ｘ行ｙ列目の画素を９０１−ｙｘと表記する）を備え、フローティングディフュージョンアンプ９０２（以下、ＦＤアンプと略記し、ｘ行ｙ列目のアンプを９０２−ｙｘと表記する）を備える。また、行読み出し制御線９０３（ｘ行目の線を９０３−ｘと表記する）、行リセット制御線９０４（ｘ行目の線を３０４−ｘと表記する）、行選択線９０５（ｘ行目の線を３０５−ｘと表記する）を備える。また、３列目および４列目のようなマイクロレンズの中央部にある画素の行読み出し制御線９２３（ｘ行目の線を９２３−ｘと表記する）、行リセット制御線９２４（ｘ行目の線を９２４−ｘと表記する）、行選択線９２５（ｘ行目の線を９２５−ｘと表記する）、列信号線９０６（ｙ列目の線を９０６−ｙと表記する）、列アンプ９０７（ｙ列目のアンプを９０７−ｙと表記する）、列アンプ９０７の出力をチャージする列信号バッファ容量９０８（ｙ列目の容量を９０８−ｙと表記する）、列信号バッファ容量９０８へのチャージをＯＮ／ＯＦＦするための列信号バッファ容量制御スイッチ９０９（ｙ列目のスイッチを９０９−ｙと表記する）、列信号バッファ容量９０８にチャージされた信号を、水平信号線９１１に順次出力するための列選択スイッチ９１０（ｙ列目のスイッチを９１０−ｙと表記する）、水平走査回路９１２、垂直走査回路９１３、垂直同期信号入力端子９１４、読み出し開始行設定入力端子９１５、水平同期信号入力端子９１６、出力バッファアンプ９１７、映像信号出力端子９１８を備える。

続いて、ＣＭＯＳイメージセンサから１画素ずつ読み出す場合について説明する。ＭＬ−Ｈ１Ｖ1−Ｈ３Ｖ３およびＭＬ−Ｈ１Ｖ1−Ｈ３Ｖ４画素にあたる９０１−３３、９０１−４３の電荷は、中央部行読み出し制御線９２３−３の制御に基づいて、それぞれＦＤアンプ９０２−３３、９０２−４３に読み出される。ＦＤアンプ９０２−３３、９０２−４３の出力は、中央部行選択線９２５−３の制御に基づいて選択された後、それぞれ列信号線９０６−３、９０６−４を介して、列アンプ９０７−３、９０７−４で増幅される。同時に、列信号バッファ容量制御スイッチ９０９−３、９０９−４がＯＮになる。そして、列アンプ９０７−３、９０７−４の出力が、列信号バッファ容量９０８−３、９０８−４にチャージされる。列信号バッファ容量９０８−３、９０８−４のチャージ後、列信号バッファ容量制御スイッチ９０９−３、９０９−４はＯＦＦになる。列信号バッファ容量９０８−３、９０８−４にチャージされた３行目の信号は、以下のように出力される。即ち、水平走査回路９１２の制御に基づき、列選択スイッチ９１０−３、９１０−４を順次開閉することにより、水平信号線９１１と出力バッファアンプ９１７を通じて映像信号出力端子９１８から出力される。以上のように中央部の特定画素について順次読み出しを行う。

図６のハッチングで示した画素を上記方法で優先的に読み出した後、各マイクロレンズの周辺部分に相当する、図６でハッチングされていない部分（第１の領域以外の部分）の読み出しを行う。また、マイクロレンズの中心付近を優先的に読み出した後に、未読の画素について読み出し制御を行う以外の方法として、マイクロレンズの中心付近を優先的に読み出した後、従来の読み出しと同様の読み出し方法などで、既読画素および未読画素に関わらず全画素を読み出して記録処理に使用する方法も可能である。

このようにして、マイクロレンズ毎に読み出す画素位置に優先度付けし、読み出し処理を行い、優先的に読み出した画素を表示に用いることで、表示部への表示遅延を抑制することが出来る。また、使用者が撮影時に表示部に映し出される映像を見ながら撮影を行う際の使用感を向上させることが可能となる。

（第３の実施形態）
また、第３の実施形態として、マイクロレンズと画素の配置と合わせて画素を覆うカラーフィルタの配置による読み出し制御切り替えを行う例について説明する。

図２Ａにてマイクロレンズと画素の配置について示した。そして、原色カラーフィルタ配置については、単位画素毎にＲ，Ｇ，Ｂいずれかの色相のカラーフィルタで覆う方法として、ベイヤー配列する方法やマイクロレンズ毎にＲ，Ｇ，Ｂのカラーフィルタをベイヤー配列する方法のどちらを適応することも可能である。

図８Ａ〜図８Ｃを用いてカラーフィルタの具体的な配置例について説明する。図８Ａは、一つのマイクロレンズに偶数行かつ偶数列の画素配置がなされており、画素毎にＲ，Ｇ，Ｂのカラーフィルタを配置した配列の例を示している。このような場合には、マイクロレンズに対して同一位置の一画素を読むと、図８Ａ中の太枠で示したような同一色相の画素のみを読むことになるため、色再現を行うためには複数位置の画素を読む必要がある。しかし、図８Ｂのように一つのマイクロレンズに奇数行かつ奇数列の画素が配置されている場合は、マイクロレンズに対して同一位置の一画素を読んでも、図８Ｂ中の太枠で示したようにＲ，Ｇ，Ｂの各色相画素を得られる。また、図８Ｃのようにマイクロレンズ毎にＲ，Ｇ，Ｂのカラーフィルタを配置した場合においても、図８Ｂと同様に、マイクロレンズに対して同一位置の一画素を読むことでＲ，Ｇ，Ｂの各色相画素を得ることが可能である。

（第４の実施形態）
次に本発明の第４の実施形態として、ＣＣＤイメージセンサを用いた場合について説明する。上記第１の実施形態は、ＣＭＯＳイメージセンサを用いて撮像素子からの読み出し制御を、１ライン単位の読み出し制御として行う例であるが、ＣＣＤイメージセンサを用いた撮像素子からの読み出し制御を１ライン単位で行う構成でも可能である。

マイクロレンズアレイ部１０２および撮像素子１０３の構成については、上記第１の実施形態にて図２を用いて説明した内容と同様のため割愛し、ここでは撮像素子がＣＣＤイメージセンサの場合の読み出し処理について図９を用いて説明する。画素９００１（ｘ行ｙ列目の分を９００１−ｙｘと表記する）を備え、垂直伝送路９００２、垂直伝送路に対する制御パルスを与える電荷読み出し制御線９００３、水平伝送路９００４、水平伝送路に対する電荷転送制御線９００５を備える。また、フローティングディフュージョンアンプ９００６（以下、ＦＤアンプと略記）、映像信号出力端子９００７を備える。

画素９００１に入射された画像光が光電変換され、所定の蓄積期間が経過した後に、電荷読み出し制御線９００３からの制御パルスに応じて垂直伝送路９００２への転送を行う。垂直伝送路は、一枚の画像を奇数行と偶数行とで分割して出力するテレビ方式の２：１インタレース方式と同じ考えで、複数行に分割して転送を行う構成にすることで行単位での転送が可能である。本例では３行毎に分割処理が可能な垂直伝送路の例で説明する。画素９００１−１１、画素９００１−１４、画素９００１−１７といった行番号が３ｎ＋１（ｎは正の整数）となる画素は垂直伝送路にて共通の伝送路にし、行番号を３ｎ＋２および３ｎ＋３に割り振ることで、全ての画素は３本の垂直伝送路で水平伝送路１００４に送られる。水平伝送路９００４では、電荷転送制御線９００５からの電荷転送用パルスによって水平伝送路の先に設けられたＦＤアンプ９００６に送られ、ＦＤアンプ９００６にて増幅された後に映像出力端子９００７から出力される。

このような構成にすることでＣＣＤ イメージセンサにおいてマイクロレンズ毎に読み出す画素位置に優先度を付けて読み出し制御が可能な構成にすることで、表示部への表示遅延を抑制することが可能となる。また、３行毎に画素と垂直伝送する構成について説明したが、異なる行数の垂直伝送路にする構成にしても良い。

次にＣＣＤイメージセンサを用いた場合の実施形態として、専用の垂直伝送路にする構成とした場合について図１０を用いて説明する。画素１００１（ｘ行ｙ列目の分を１１０１−ｙｘと表記する）を備え、垂直伝送路１００２、垂直伝送路に対する制御パルスを与える電荷読み出し制御線１００３、水平伝送路１００４、水平伝送路に対する電荷転送制御線１００５を備える。また、フローティングディフュージョンアンプ１００６（以下、ＦＤアンプと略記）、映像信号出力端子１００７を備える。画素１００１−１１のようにハッチングで表示してある画素は専用垂直伝送路で水平伝送路へ電荷を伝送する構成にし、それ以外の画素は共通の垂直伝送路で水平伝送路へ伝送する構成にする。水平伝送路１００４では、電荷転送制御線１００５からの電荷転送用パルスによって水平伝送路の先に設けられたＦＤアンプ１００６に送られ、ＦＤアンプ１００６にて増幅された後に映像出力端子１００７から出力される。

そうすることで、所望画素の読み出しを高速に行うことが可能となり、ＣＣＤイメージセンサにおいてマイクロレンズ毎に読み出す画素位置に優先度を付けて読み出し制御が可能な構成にすることで、表示部への表示遅延を抑制することが可能となる。

（第５の実施形態）
第５の実施形態は、メモリにデータがある場合の実施形態である。ＣＭＯＳセンサおよびＣＣＤ等のイメージセンサから優先的に読み出された画素１０３は信号処理部１０５にて各種処理を施され、表示処理部１０７にて表示処理を施された後に表示部１０８へ表示される。読み出し制御部１１２にて優先的に読み出された画素と残りの全画素を合わせて記録画像として記録処理部１０９で記録処理を行い、記録部１１０へと記録する。しかし、ＣＭＯＳセンサおよびＣＣＤ等のイメージセンサから読み出された画素１０３を一度メモリ１０６上に保存した後に、表示および記録を行うことも同様に可能である。

メモリ１０６にデータがある場合の処理例について説明する。仮にラスタースキャン方式で画素データがメモリアドレス０から順番にインクリメンタルされて格納されている場合において、１行１列目のデータはアドレス０に、１行２列目のデータはアドレス１に、１行３列目のデータはアドレス１にと格納され、１行当たり１０２４列ある場合には、２行１列目のデータはアドレス１０２４へと格納される。

図６のハッチングで示した画素を優先的に読み出す場合として、例えばＭＬ−Ｈ１Ｖ１−Ｈ３Ｖ３画素、ＭＬ−Ｈ１Ｖ１−Ｈ３Ｖ４画素、ＭＬ−Ｈ１Ｖ１−Ｈ４Ｖ３画素、ＭＬ−Ｈ１Ｖ１−Ｈ４Ｖ４画素の４画素分を優先的に読み出すには、アドレス２０５０（２行３列目画素）、アドレス２０５１（２行４列目画素）、アドレス３０７４（３行３列目画素）、アドレス３０７５（３行４列目画素）といったアドレス値のデータをメモリから読み出す。優先的に読み出された画素から信号処理部１０５にて各種処理を施され、表示処理部１０７にて表示処理を施された後に表示部１０８へ表示される。読み出し制御部１１２にて優先的に読み出された画素と残りの全画素を合わせて記録画像として記録処理部１０９で記録処理を行い、記録部１１０へと記録する。

このようにして、マイクロレンズ毎に読み出す画素位置に優先度付けを行い、読み出し処理を行うことで、表示部への表示遅延を抑制することが出来、使用者が撮影時に表示部に映し出される映像を見ながら撮影を行う際の使用感を向上させることが可能となる。

Claims (15)

1. 複数のレンズが配列されたレンズアレイと、
   前記レンズアレイの各レンズを透過した光が複数の画素に入射するように配置された撮像素子と、
   前記撮像素子から読み出された映像データを表示する表示手段と、
   前記撮像素子から読み出された映像データを記録する記録手段と、
   前記撮像素子から前記レンズアレイの各レンズに対して相対的な位置がそれぞれ一致する第１の領域の画素の映像データを読み出す第１の読み出しモードと、前記撮像素子から第２の領域の画素の映像データを読み出す第２の読み出しモードとを有する読み出し制御手段と、
   前記第１の読み出しモードによって前記撮像素子から映像データを読み出した後に、前記第２の読み出しモードによって前記撮像素子から映像データの読み出しを行うとともに前記第１の読み出しモードによって読み出した映像データを前記表示手段に表示し、前記第２の読み出しモードによって読み出した映像データを前記記録手段に記録するように制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子がＸＹアドレス読み出し方式の撮像素子であることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子がＣＣＤイメージセンサ−であることを特徴とする請求項１に記載の撮像装置。
4. 前記撮像素子の画素配列がベイヤー配列であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記レンズアレイのレンズごとにカラーフィルタが配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の領域は、前記レンズアレイの各レンズの中央の画素を含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の領域は、前記撮像素子の所定ライン毎に存在することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第１の領域は、前記撮像素子の画素単位で設定されていることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記第２の領域は前記第１の領域以外の領域であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記第１の読み出しモードで読み出された映像データを順次、前記表示手段に表示させ、前記第１および前記第２の読み出しモードで読み出された映像データを動画データの各フレームとして前記記録手段に記録させることを特徴とする請求項９に記載の撮像装置。
11. 前記第２の領域は前記第１の領域と前記第１の領域以外の領域を含むことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
12. 前記制御手段は、前記第１の読み出しモードで読み出された映像データを順次、前記表示手段に表示させ、前記第２の読み出しモードで読み出された映像データを順次、動画データのフレームとして前記記録手段に記録させることを特徴とする請求項１１に記載の撮像装置。
13. 前記読み出し制御手段は、前記レンズアレイのレンズごとに配置される複数の画素の一辺あたりの画素数が偶数である場合は、前記第１の読み出しモードにおいて、１つのレンズに対して相対的な位置が一致する２つ以上の画素を先行して読み出すことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記読み出し制御手段は、前記レンズアレイのレンズごとに配置される複数の画素の一辺あたりの画素数が奇数である場合は、１つのレンズに対して相対的な位置が一致する１つ以上の画素を先行して読み出すことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
15. 複数のレンズが配列されたレンズアレイと、前記レンズアレイの各レンズを透過した光が複数の画素に入射するように配置された撮像素子とを備える撮像装置を制御する方法であって、
    前記撮像素子から読み出された映像データを表示する表示工程と、
    前記撮像素子から読み出された映像データを記録する記録工程と、
    前記撮像素子から前記レンズアレイの各レンズに対して相対的な位置がそれぞれ一致する第１の領域の画素の映像データを読み出す第１の読み出しモードと、前記撮像素子から第２の領域の画素の映像データを読み出す第２の読み出しモードとを有する読み出し制御工程と、
    前記第１の読み出しモードによって前記撮像素子から映像データを読み出した後に、前記第２の読み出しモードによって前記撮像素子から映像データの読み出しを行うとともに前記第１の読み出しモードによって読み出した映像データを前記表示工程で表示し、前記第２の読み出しモードによって読み出した映像データを前記記録工程で記録するように制御する制御工程と、
    を有することを特徴とする撮像装置の制御方法。

Images