JPWO2004068852A1 - 撮像装置 - Google Patents

Abstract

撮像装置は撮像デバイスを有し、撮像デバイスは、光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部とを含んでいる。撮像装置はさらに、出力する画像の変倍率を選択する画像変倍率選択部と、選択された画像変倍率に応じて光電変換素子から読み出し制御部が読み出す画像データの読み出し方式を選択する読み出し方式選択部と、読み出し方式選択部で選択された読み出し方式に応じた読み出し規則を前記読み出し制御部に供給する読み出し規則供給部とを有している。

Description

本発明は、デジタル撮像装置に関し、特に、撮像装置が実装している撮像デバイスの画素数よりも小さい画素数の画像を高速に高画質で生成するデジタル撮像装置に関する。

近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラの需要が拡大している。また、動画の記録機器としてデジタルビデオなどの高画質記録装置が広く用いられている。
上記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は５００万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。しかしながら、全ての用途において、５００万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像は、むしろ画素サイズを小さくした方を使用する場合が多い。
さらに、現状のデジタルカメラにおいては、撮像素子から、画像メモリーへの転送の時間がネックになっており、画素数が大きい機種で、高速な連写撮影が出来るものが少ない。また、デジタルカメラにおいても、付加機能として動画の撮影の要求があるため、やはり、メモリーへの転送は高速に行なわなければならず、予め扱うデータ量を少なくすることが好ましい。
出力画像の画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することや複数の画素を平均化して１クロックで読み出すことによって、撮像素子からメモリーに転送されるデータ量を減らし、メモリー転送の速度を向上できる。
一方、線形補間によるサイズ縮小では、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって小さいサイズの画像を作成する。
このような、線形補間によるリサイズは、画質の面では良好であるが、全画素のデータを取り込んで線形補間を行なうために演算量が多く、上述した連写機能や動画撮影には適していない。
メモリー読み出しのデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法がある。特開２００１−２４５１４１号公報は、この方法を利用した高速な画像の縮小方法を開示している。
特開２００１−０１６４４１号公報は、解像度の種類が限定されている場合に、データの間引きを行ない、さらにデータの歪みを補正する装置を開示している。同文献は、実施の形態において、６００ｄｐｉの解像度を持つ装置による４００ｄｐｉ相当のデータの作成を開示している。６００ｄｐｉのデータをそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補償する画素データを６００ｄｐｉのデータから線形補間によって生成している。特開２００１−０１６４４１号公報の装置では、走査して得た６００ｄｐｉのデータの全てを用いて補間し、４００ｄｐｉ相当のデータを作っている。

本発明は、撮像素子からの画像データの読み出しに要する時間が短く、広範囲の変倍率に対して歪みの少ない高精細な画像を形成し得る撮像装置に向けられている。
本発明に従う撮像装置は撮像デバイスを有し、撮像デバイスは、光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部とを含んでいる。撮像装置はさらに、出力する画像の変倍率を選択する画像変倍率選択部と、選択された画像変倍率に応じて光電変換素子から読み出し制御部が読み出す画像データの読み出し方式を選択する読み出し方式選択部と、読み出し方式選択部で選択された読み出し方式に応じた読み出し規則を前記読み出し制御部に供給する読み出し規則供給部とを有している。

図１は、本発明の第一実施形態による撮像装置の構成を示している。
図２は、ＲＧ／ＧＢのベイヤー配列の画像に対して、垂直で１４／１６の縮小変換を行なう例を示している。
図３は、図２に示した変換において、変換前の１６画素のうち上から８番目の画素のデータと９番目の画素のデータが抜け落ちた様子を示している。
図４は、水平方向・垂直方向共に１６画素のうち２画素を間引きして読み出す例を示している。
図５は、図４の例に従って間引きして読み出される画素データのうち左の１列目の垂直方向のデータに関して歪み補正の変換の様子を示している。
図６は、水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。
図７は、単板カラー撮像素子で構成される光電変換素子用のフィルター処理部の構成を示している。
図８は、単色モノクロ撮像素子または多板カラー撮像素子で構成される光電変換素子用のフィルター処理部の構成を示している。
図９は、間引き読み出し＋歪み補正の処理に従うサイズ変更を表している。
図１０は、平均化読み出し＋線形補間の処理に従うサイズ変更を表している。
図１１は、図１の撮像装置における画像変倍率に応じた読み出し方式の切り換えとサイズ変更を示している。
図１２は、本発明の第二実施形態による撮像装置の構成を示している。
図１３は、水平平均化垂直インターレース読み出しによって読み出される、一つのフレームを構成する時系列的に隣接する二つのフィールドの画素データを模式的に示している。
図１４は、間引き読み出しと読み出し範囲の基準位置のシフトの処理によって読み出される、時系列的に隣接する二つのフレームの同一範囲の画素データを模式的に示している。
図１５は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の左上の画素に合っているフレームの読み出し範囲を示している。
図１６は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し終了位置が光電変換素子の画素配列の右下の画素に合っているフレームの読み出し範囲を示している。
図１７は、本発明の第三実施形態による撮像装置の構成を示している。

以下、図面を参照しながら本発明の実施の形態について説明する。
第一実施形態
図１は本発明の第一実施形態の撮像装置の構成を示している。撮像装置１００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を出力する撮像デバイス１２０とを有している。撮像デバイス１２０は、結像光学系１１０により結像された光学像を光電変換して画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）１２２と、光電変換素子１２２で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部１２４とを有している。
撮像装置１００はさらに、出力する画像の変倍率を選択する画像変倍率選択部１３２と、選択された画像変倍率に応じて光電変換素子１２２から読み出し制御部１２４が読み出す画像データの読み出し方式を選択する読み出し方式選択部１３４と、読み出し方式選択部１３４で選択された読み出し方式に応じた読み出し規則を撮像デバイス１２０に供給する読み出し規則供給部１４０とを有している。
読み出し方式選択部１３４は、選択された画像変倍率に応じて、間引き読み出しモード・平均化読み出しモード・全画素読み出しモードのいずれかの読み出し方式を選択する。読み出し規則供給部１４０は、間引き読み出しモードに対応する読み出し規則を設定する間引き読み出し規則設定部１４２と、平均化読み出しモードに対応する読み出し規則を設定する平均化読み出し規則設定部１４４と、全画素読み出しモードに対応する読み出し規則を設定する全画素読み出し規則設定部１４６とを含んでいる。
読み出し規則供給部１４０は、読み出し方式選択部１３４が選択した読み出し方式に対応する間引き読み出し規則設定部１４２と平均化読み出し規則設定部１４４と全画素読み出し規則設定部１４６のいずれかを選択的に動作させる。これにより、読み出し方式選択部１３４が選択した読み出し方式に対応する読み出し規則が読み出し制御部１２４に供給され、読み出し制御部１２４は、読み出し規則供給部１４０から供給される読み出し規則に従って光電変換素子１２２から画素データを読み出す。
読み出し方式選択部１３４は、より詳しくは、１００％未満の画像変倍率すなわち画像の縮小に対しては、間引き読み出しモードと平均化読み出しモードのいずれかを選択し、１００％以上の画像変倍率すなわち画像の拡大に対しては、全画素読み出しモードを選択する。ここで、画像変倍率は、光電変換素子１２２で取得される二次元的に整列した画素データの領域（水平・垂直範囲の画素数）に対して、出力（例えば画像表示部１７４に表示）する画像の二次元的に整列した画素データのサイズ（水平・垂直範囲の画素数）比率のことである。
さらに、読み出し方式選択部１３４は、１００％未満の画像変倍率においては、画像変倍率と、出力する画像の画質の要因（コントラスト・解像度・歪み・輝度モアレ・色モアレ）のうち重視する要因とに基づいて、間引き読み出しモードと平均化読み出しモードのいずれかを選択する。別の言い方をすれば、読み出し方式選択部１３４は、１００％未満の画像変倍率においては、画像変倍率と想定する被写体とに基づいて、間引き読み出しモードと平均化読み出しモードのいずれかを選択する。
撮像装置１００はさらに、間引き読み出しモードのときに撮像デバイス１２０から出力される画像信号に対して歪み補正を行なう歪み補正部１５０と、平均化読み出しモードと全画素読み出しモードのときに撮像デバイス１２０から出力される画像信号に対して線形補間によりサイズ変更を行なう線形補間サイズ変更部１６４と、読み出し方式選択部１３４で選択された読み出し方式に応じて撮像デバイス１２０から出力される画像信号を歪み補正部１５０と線形補間サイズ変更部１６４のいずれかに選択的に送る切り換え器１６２とを有している。
切り換え器１６２は、読み出し方式選択部１３４が間引き読み出しモードを選択したときには撮像デバイス１２０からの画像信号を歪み補正部１５０に送り、読み出し方式選択部１３４が平均化読み出しモードまたは全画素読み出しモードを選択したときには撮像デバイス１２０からの画像信号を線形補間サイズ変更部１６４に送る。
歪み補正部１５０は、撮像デバイス１２０からの画像信号をフィルター処理するフィルター処理部１５２と、間引き読み出し規則設定部１４２で設定された読み出し規則に応じてフィルター処理部１５２のフィルター処理に使用するフィルター係数を設定するフィルター係数設定部１５４とを含んでいる。
フィルター係数設定部１５４は、複数のフィルター係数を含むルックアップテーブル（ＬＵＴ）を記憶するＬＵＴ記憶部１５６と、ＬＵＴ記憶部１５６に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部１５８とを有している。
フィルター係数設定部１５４は、必ずしもＬＵＴ記憶部１５６とフィルター係数選択部１５８とを有している必要はなく、間引き読み出し規則設定部１４２が設定した読み出し規則に応じた演算によりフィルター係数を算出してもよい。
ＬＵＴを使用するフィルター係数設定部１５４は、ＬＵＴを記憶しておくために多くのメモリーを必要とするが、演算に掛かる負担が少なくて済む。一方、ＬＵＴを使用しないフィルター係数設定部１５４は、演算に掛かる負担は大きいが、多くのメモリーを必要としないで済む。
撮像装置１００はさらに、間引き読み出しモードのときに歪み補正部１５０から出力される画像信号または平均化読み出しモードと全画素読み出しモードのときに線形補間サイズ変更部１６４から出力される画像信号に対して（ホワイトバランスや階調変換やエッジ強調の）所定の処理を行なう画像信号処理部１７２と、画像信号処理部１７２から出力される画像信号に従って画像を表示する画像表示部１７４と、画像信号処理部１７２から出力される画像信号に従って画像を記録する画像記録部１７６とを有している。
撮像デバイス１２０は、間引き読み出し動作が可能である。間引き読み出し動作により、撮像デバイス１２０は、光電変換素子１２２上の特定の領域の画素を、全画素を読み出す場合よりも短い時間内で読み出すことが出来る。
例えば、光電変換素子１２２がＣＭＯＳを用いた撮像素子である場合、撮像デバイス１２０は、水平方向・垂直方向共にシフトレジスタを用いて読み出し位置を指定することが出来る。
すなわち、ｊラインｉ番目の素子をＣ（ｉ，ｊ）とし、そこから水平方向の画素をそれぞれＣ（ｉ＋１，ｊ）、Ｃ（ｉ＋２，ｊ）、Ｃ（ｉ＋３，ｊ）、Ｃ（ｉ＋４，ｊ）、Ｃ（ｉ＋５，ｊ）、Ｃ（ｉ＋６，ｊ）、Ｃ（ｉ＋７，ｊ）、Ｃ（ｉ＋８，ｊ）…とすると、例えば、Ｃ（ｉ＋１，ｊ）、Ｃ（ｉ＋２，ｊ）、Ｃ（ｉ＋３，ｊ）、Ｃ（ｉ＋４，ｊ）、Ｃ（ｉ＋７，ｊ）、Ｃ（ｉ＋８，ｊ）…というように、任意の水平方向の位置を間引いて読み出すことが出来る。
垂直方向についても同様で、ｊライン、ｊ＋１ライン、ｊ＋２ライン…とライン方向に並んでいる画素に対して、任意のラインを間引いて読み出すことが出来る。
また、光電変換素子１２２がＣＣＤである場合、ＣＣＤは水平方向に電荷をシフトしながら読み出すため、撮像デバイス１２０は、水平方向には全画素を読み出し、垂直方向では間引いて読み出すことが出来る。
歪み補正部１５０は、このように間引き読み出しされたデジタル画像データに対して、欠落している情報を補間するとともに倍率変換のフィルター処理を行なう。つまり、本明細書において、歪み補正とは、「補間」と「倍率変換」を同時に行なうことを意味している。
双一次補間に関して、倍率変換を有理数（整数比）に制限し、一次補間を二回繰り返す様にすると、アルゴリズムは単純化される。図２は、ＲＧ／ＧＢのベイヤー配列の画像に対して、水平方向で１４／１６の縮小変換を行なう例を示している。図２において、上段は縮小変換前の画素の一次元データ配列を示し、下段は縮小変換後の画素の一次元データ配列を示している。
次の式（１）はこの変換の行列表現である。

式（１）において、Ｒｉ_２ｐとＧｉ_２ｐ＋１（ｐは０以上７未満の整数）は、光電変換素子１２２内における水平方向に連続して並んでいる画素の画素データを表しており、水平方向に並ぶ画素の位置に対応して連続する添字を有している。また、Ｒｃ_２ｑとＧｃ_２ｑ＋１（ｑは０以上６未満の整数）は、変換後の画素データを表しており、水平方向に並ぶ画素の位置に対応して連続する添字を有している。
例えば変換後のＲｃ_２はＲｉ_２とＲｉ_４を使って次の式（２）で表される。

前述の式（１）は、各画素がこのように変換される１６画素から１４画素への変換をまとめて表現している。
図３は、図２に示した変換において、変換前の１６画素のうち左から８番目の画素のデータと９番目の画素のデータが抜け落ちた様子を示している。この場合、抜け落ちた画素データＲｉ_８とＧｉ_９は、それぞれ同じチャンネルで近接している画素データ（Ｒｉ_８に対してＲｉ_６とＲｉ_１０、Ｇｉ_９に対してＧｉ_７とＧｉ_１１）を用いて、次の式（３）に従って線形補間されるとよい。

式（１）中のＲｉ_８とＧｉ_９を式（３）に従って置き換えると式（４）の様になる。

式（４）の右辺の１６個のデータ列Ｒｉ_０、Ｇｉ_１、…、Ｒｉ_１４、Ｇｉ_１５は、

と表現できる。これを式（４）に代入して行列の積を計算すると、次の式（６）が得られる。

これは、１４個の画素データの入力に対して１４個の画素データの出力を持つ、式（４）と等価な変換である。言い換えれば、画素データＲｉ_８とＧｉ_９を除く１４個の画素データから、１４／１６の縮小変換後の１４個の画素データを求める変換である。
図４は水平方向・垂直方向共に１６画素のうち２画素を間引きして読み出す例を示している。この例では水平方向・垂直方向共に８番目の画素と９番目の画素が間引きされている。
図５は、図４の例に従って間引きして読み出される画素データのうち左の１列目の変換の様子を示している。図５に示されるように、実際に読み出される画素データは、垂直方向に、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_４、Ｇｉ_５、Ｒｉ_６、Ｇｉ_７、Ｒｉ_１０、Ｇｉ_１１、Ｒｉ_１２、Ｇｉ_１３、Ｒｉ_１４、Ｇｉ_１５の１４個である。
式（６）は、８番目（８行目）と９番目（９行目）の画素データを間引きして読み出した１４個の画素データから、１４／１６の縮小変換後の１４個の画素データを求める変換と等価である。
式（６）の行列表現による線形演算の式を見て分かるように、画素間引きを行なっているため、歪み補正後の異なる位置の画素データＲｃ_６とＲｃ_８は、元の画素データＲｉ_６とＲｉ_１０の重み付き線形和

となっており、画素データＲｃ_８を求める際に用いる画素データが、画素データＲｃ_６を求める際に用いる画素データと同じになっている。すなわち、画素データＲｃ_８を求める際に用いる画素データは、それまでの画素データＲｃ_１〜Ｒｃ_６を求める際に用いる画素データの順序と相違している（すなわち位相がずれている）。画素データＧｃ_７とＧｃ_９についても同様のことが言える。
図５に示されるように、実際に読み出される画素データは、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_４、Ｇｉ_５、Ｒｉ_６、Ｇｉ_７、Ｒｉ_１０、Ｇｉ_１１、Ｒｉ_１２、Ｇｉ_１３、Ｒｉ_１４、Ｇｉ_１５の１４個である。これらを、それぞれ、Ｒｊ_０、Ｇｊ_１、Ｒｊ_２、Ｇｊ_３、Ｒｊ_４、Ｇｊ_５、Ｒｊ_６、Ｇｊ_７、Ｒｊ_８、Ｇｊ_９、Ｒｊ_１０、Ｇｊ_１１、Ｒｊ_１２、Ｇｊ_１３とおく。すなわち、

とおく。
Ｒｉ_２ｐとＧｉ_２ｐ＋１（ｐは０以上７未満の整数）は、前述したように、光電変換素子１２２内の水平方向に並んでいる画素の画素データを表しており、添字が飛んでいる部分は、読み出しの際に間引きされていることを示している。一方、Ｒｊ_２ｒとＧｊ_２ｒ＋１（ｒは０以上６未満の整数）は、画素間引き読み出しによって、実際に読み出される画素データを表しており、読み出される順番に対応して連続する添字を有している。
式（８）を式（６）に代入すると、次の式（９）が得られる。

これは、画素間引き読み出しにより実際に順番に読み出される１４個の画素データから１４／１６縮小変換後の１４個の画素データを求める歪み補正変換である。
以上の一次元歪み補正を二次元の配列に拡張すると以下のようになる。
式（９）を

と表す。ここで、Ａは一次元の歪み補償を行なう変換行列（すなわち上述の例では１６画素中２画素の間引きを行なっている１４個の画素データに対する歪み補償）、Ｂは歪み補償前の画素データを表すｎ行１列の行列、Ｃは歪み補償後の画素データを表すｎ行１列の行列である。ここで、図４の読み出しデータを以下のような行列Ｄ_ｉで表す。

式（１１）では読み飛ばしている部分に線を引いている。均等な１４×１４画素の配列をＤ_０とすると、水平方向の歪み補正後に垂直方向の歪み補正を行なう変換は、式（１０）のＡを用いて、

と表せられる。ここで、Ａ^ＴはＡの転置行列を表している。
一次元の歪み変換、式（４）から式（６）への変形は以下の様に考えることもできる。
（１）位置Ｘの画素データが読み出され、位置Ｘ＋２の画素データも読み出される場合は、画素データの重み係数には、式（４）の係数をそのまま用いる。
（２）位置Ｘの画素データが読み出され、位置Ｘ＋２の画素データが読み出されない場合は、代わりに位置Ｘ＋４の画素データを読み出す。位置Ｘの画素データの重み係数ｘをｘ’＝０．５（ｘ＋１）に変更し、位置Ｘ＋４の画素データの重み係数は、変更した係数ｘ’の１に対する残差すなわち１−ｘ’とする。
（３）位置Ｘの画素データが読み出されず、位置Ｘ＋２の画素データが読み出される場合は、位置Ｘの読み出しの位置を２つ前にずらしＸ−２とする。また、位置Ｘ−２の画素データの重み係数ｘをｘ’＝０．５ｘに変更し、位置Ｘ＋２の画素データの重み係数は、変更した係数の１に対する残差すなわち１−ｘ’とする。
従って、ルックアップテーブル（ＬＵＴ）を使い、画素の読み出し位置と補正係数を対応づけて歪み補正を行なう代わりに、ＣＰＵ等の演算処理機能を使用して読み出し規則から歪み補正の係数を直接算出することも出来る。
これまで、原色ベイヤー配列のカラー撮像素子における間引き読み出し後の歪み補正ついて説明したが、モノクロ撮像素子や他のカラーフィルタ配列に対しても同様に間引き読み出し後の歪み補正を行なえる。
光電変換読み出し部の画像信号をそのままメモリーに保存し、アドレス指定で演算すれば上述した位相の問題は回避できるが、ここではより高速なパイプライン処理について述べる。
図６は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。ここでは、一例として、水平方向の間引きを伴う一行目の読み出しについて考える。図６の左上を基準とすると読み出した画素位置は、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_４、Ｇｉ_５、Ｒｉ_６、Ｇｉ_７となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は

となる。
そのパイプライン処理は、図７に示したフィルター処理部によって行なわれる。シフトレジスタ３６２は、クロックに従う一回の動作毎に、保持している画像データを右方向にひとつシフトする。セレクター３６４は、ｓ１の状態に従って、シフトレジスタ３６２に保持されている隣接している五つの画素データのうちの一番目と三番目のいずれかを選択する。また、セレクター３６６は、ｓ２の状態に従って、シフトレジスタ３６２に保持されている隣接している五つの画素データのうちの三番目と五番目のいずれかを選択する。
乗算器３７４は、セレクター３６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器３７６は、セレクター３６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器３７８は、乗算器３９４の出力と乗算器３９６の出力とを加算する。
表１は図７に示したフィルター処理部のパイプライン処理の動作（状態遷移）を表している。

シフトレジスタ３６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、ｃ１＝ｉ０、ｃ２＝ｉ１、ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作毎に右方向にシフトしていく。これに伴い、セレクター３６４は、ｓ１が０のときはｃ３を選択し（従ってｄ１＝ｃ３となり）、ｓ１が１のときはｃ１を選択する（従ってｄ１＝ｃ１となる）。一方、セレクター３６６は、ｓ２が０のときはｃ５を選択し（従ってｄ２＝ｃ５となり）、ｓ２が１のときはｃ３を選択する（従ってｄ２＝ｃ３となる）。また、クロックに同期してフィルター係数設定部１５４内のメモリーから係数ｋ１が乗算器３７４に、係数ｋ２が乗算器３７６に供給される。加算器３７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。
表１から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクターの切り換え、式（６）に示した間引き規則に応じた重み付け係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクター切り換え）を含めたパイプライン処理が行なわれる。
また、撮像素子がベイヤー配列や補色フィルターの配列のようなＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙｓ）以外の、モノクロや三板カラーの撮像素子の様に、単一の撮像素子上の色情報が一種類である場合には、ベイヤー配列のＣＦＡのように歪み補正をする際に同一色の画素を扱うために一画素の間隔を空ける必要はなく、また、間引きの方法も上述の様に同一色の信号の位相を合わせるために（Ｒ、Ｇ、Ｒ、Ｇ、…というように読み出しの順序を一定にするために）二画素連続で空ける必要はない。
単色の撮像素子では、隣接した画素の重み付け加算をデータを選択しながら行なうので、歪み補正（変換）は、次の式（１４）で表される。

ここで、Ｐｃは変換後の画素データ、Ｐｉは変換元の画素データである。
そのパイプライン処理は、図８に示したフィルター処理部によって行なわれる。シフトレジスタ３８２は、クロックに従う一回の動作毎に、保持している画像データを右方向にひとつシフトする。セレクター３８４は、ｓ１の状態に従って、隣接する三つの画素データのうちの一番目と二番目（Ｃ１，Ｃ２）の一方を選択する。また、セレクター３８６は、ｓ２の状態に従って、隣接する三つの画素データのうちの二番目と三番目（Ｃ２，Ｃ３）の一方を選択する。
乗算器３９４は、セレクター３８４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器３９６は、セレクター３８６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器３７８は、乗算器３９４の出力と乗算器３９６の出力とを加算する。
本実施形態の撮像装置は、間引き読み出しモードにおいては、光電変換素子で取得された画像データを少なくとも垂直方向について、好ましくは垂直方向と水平方向の両方についてハード的に間引きして読み出すため、光電変換素子の全ての画像データを読み出した後にソフト的に間引く通常の撮像装置と比較して短時間のうちに画像データを読み出し得る。
以下、間引き読み出し＋歪み補正の処理によるサイズ変更の好適な適応範囲と、画像変倍率に応じて読み出し方式（全画素読み出しモード・平均化読み出しモード・間引き読み出しモード）とその後の画像信号処理とを切り換える利点について述べる。
表２〜表４は、代表的な被写体に対して、様々な縮小倍率において（１）間引き読み出し＋歪み補正の処理よる画像と（２）平均化読み出し＋線形拡大の処理による画像のどちらの画質が優位であるかの官能評価を示したものである。具体的には、表２は建築物・構造物の被写体に対する評価結果、表３は人物・自然風景の被写体に対する評価結果、表４は解像チャート・線画の被写体に対する評価結果を示している。これらの表において、「１」は間引き読み出し＋歪み補正の処理の方が優位であることを表し、「２」は平均化読み出し＋線形拡大の処理の方が優位であることを表している。「△」はどちらの処理も同等であることを表している。

ここで、官能評価の結果についての若干の理由付けを述べる。
間引き読み出し＋歪み補正の処理による画像は、縮小倍率が大きい場合には、例えば１６画素中１４画素を読み出すモード（式（６）で表される変換に相当する）では、全画素読み出し後に線形補間によってサイズ変更を行なう処理（式（１）で表される変換に相当する）による画像と比較しても画質に遜色がない。これに対して、縮小倍率が小さい場合には、例えば６画素中４画素を読み出すモードでは、画質が劣化する。これは、縮小倍率の低下に伴って間引く画素の割合が大きくなるため、欠落する画像情報の割合が大きくなり、式（６）以降で示した様な線形補間による復元が困難になるためと考えられる。
一方、平均化読み出し＋線形拡大の処理による画像は、解像感とコントラストは劣るものの、縮小倍率が小さい方（例６０％）が拡大による（１／２のサンプリングを行なった場合、元データが５０％の縮小になっているので６０％の画像を得るためには１２０％の拡大になる）帯域の劣化が少ない。
これらを考慮すると、縮小倍率が大きい場合には間引き読み出しモードを選択し、縮小倍率が小さい場合には平均化読み出しモード＋線形補間による拡大を選択するとよい。
次に被写体の種類について考察する。自然画像の被写体では質感と解像感が重視される。このため、帯域の劣化とモアレ低減の観点から、自然画像の被写体に対しては、間引き読み出し＋歪み補正の処理の方が平均化読み出し＋線形拡大の処理よりも優位である。従って、自然画像の被写体に対しては、間引き読み出しモードと平均化読み出しモードとを切り換える縮小倍率は低め（例えば６６％程度）に設定されるとよい。
一方、線画等の被写体では、コントラストと解像度は他の画像処理（フィルターを用いた帯域強調）によってある程度回復するので、歪みが少ないことが重視される。このため、線画等の被写体に対しては、平均化読み出し＋線形拡大の処理の方が間引き読み出し＋歪み補正の処理よりも優位である。従って、線画等の被写体に対しては、間引き読み出しモードと平均化読み出しモードとを切り換える縮小倍率は高め（例えば７５％程度）に設定されるとよい。
従って、縮小倍率に応じて間引き読み出しモードと平均化読み出しモード（およびその後の画像信号処理）とを切り換えることにより、広範囲な縮小倍率にわたって高精細な画像を得ることが可能となる。
さらに、縮小倍率に応じて読み出し方式とその後の画像信号処理とを切り換えることが優位な理由は、広い倍率の範囲で倍率の段数を細かく区切ることが出来る点である。
間引き読み出しにおける変倍率Ｘは、

（ｎ：間引きのブロック単位、ｋ：間引きを行う画素数）で表されるように、整数の比率で与えられる。
比較的大きな縮小倍率においては、例えば、２０／２２＝９１％（２２画素中２０画素を読み出すモード）から、１８／２０＝９０％、１６／１８＝８９％、１４／１６＝８７．５％、１２／１４＝８５．７％、１０／１２＝８３．３％というように、比較的細かい間隔でサイズ変更を行なうことができる。
しかしながら、比較的小さい縮小倍率においては、例えば、６／８＝７５％、１０／１４＝７１％、４／６＝６６％、６／１０＝６０％というように、変倍率の間隔が大きくなってしまう。また、８／１４＝５７％の様な縮小倍率も可能ではあるが、ブロック内で間引く画素の割合が大きくなるため、線形補間による歪み補正での復元が困難になる。
従って、縮小倍率に応じて間引き読み出しモードと平均化読み出しモード（およびその後の画像信号処理）とを切り換えることにより、縮小倍率を細かい間隔で指定することが可能となる。
図９は、間引き読み出し＋歪み補正の処理に従うサイズ変更を表しており、より詳しくは、光電変換素子上で７２０×５４０画素の範囲をＶＧＡ（６４０×４８０）に変更する例を示している。この例では、１８画素中２画素を間引いて１６画素を読み出す規則を繰り返し、画像のサイズは、１６／１８＝８／９、すなわち、７２０→６４０、５４０→４８０の約８９％に縮小される。
図１０は、平均化読み出し＋線形補間の処理に従うサイズ変更を表しており、より詳しくは、１１２０×８４０画素をＶＧＡサイズに変更する例を示している。この例では、予め水平２画素加算平均読み出し＋垂直２ライン飛ばしの読み出し方をＶＧＡのクロック数で読み出しを行なうことにより１２８０×９６０画素の範囲を読み出しておき、そのうち１１２０×８４０画素の範囲に相当する部分を抜き出してＶＧＡのサイズに変更する。このとき、２画素平均を行なっているので、光電変換素子上で１１２０×８４０画素の範囲に相当するメモリーの範囲は５６０×４２０となり、この範囲を抜き出して線形補間によって拡大してサイズ変更を行なう（６４０／５６０＝約１．１４倍）。このとき、画像のサイズは、光電変換素子上の画像サイズを基準に考えると、６４０／１１２０＝５７％に縮小される。
図１１は、本実施形態の撮像装置における変倍率に応じた読み出し方式の切り換えとサイズ変更を示している。１００％以上の変倍率に対しては、全画素読み出し＋線形補間による拡大処理によってサイズ変更を行なう。
また、１００％ないし７０％程度の変倍率あるいは縮小率に対しては、間引き読み出し＋歪み補正の処理によってサイズ変更を行なう。さらに、７０％を下回る変倍率あるいは縮小率に対しては、２：１の平均化読み出し＋線形補間による処理によってサイズ変更を行なう。なお、２：１平均化読み出しでの撮像素子上での読み出し範囲は全画素読み出しでの撮像素子上での読み出し範囲の２倍になる。
これまでの説明から分かるように、本実施形態の撮像装置は、画像変倍率に応じて読み出し方式とその後の画像信号処理とを切り換えることにより、変倍率の広い範囲にわたって高精細な画像を得ることができるとともに、１００％未満の変倍率においては変倍率を細かい間隔で指定することができる。
第二実施形態
本実施形態は、特に動画の撮影に好適な撮像装置に向けられている。
図１２は本発明の第二実施形態の撮像装置の構成を示している。図１２において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する。
本実施形態の撮像装置２００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス２２０とを有している。つまり、撮像デバイス２２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
撮像デバイス２２０は、結像光学系１１０により結像された光学像を光電変換して画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを供給される読み出し規則に従って連続的に読み出す読み出し制御部２２４とを有している。
撮像装置２００はさらに、出力する画像の変倍率を選択する画像変倍率選択部１３２と、選択された画像変倍率に応じて光電変換素子２２２から読み出し制御部２２４が読み出す画像データの読み出し方式を選択する読み出し方式選択部２３４と、読み出し方式選択部２３４で選択された読み出し方式に応じた読み出し規則を撮像デバイス２２０に供給する読み出し規則供給部２４０とを有している。
読み出し方式選択部２３４は、選択された画像変倍率に応じて、間引き読み出しモード・水平平均化垂直インターレース読み出しモード・垂直インターレース読み出しモードのいずれかの読み出し方式を選択する。読み出し規則供給部２４０は、間引き読み出しモードに対応する読み出し規則を設定する間引き読み出し規則設定部２４２と、水平平均化垂直インターレース読み出しモードに対応する読み出し規則を設定する水平平均化垂直インターレース読み出し規則設定部２４４と、垂直インターレース読み出しモードに対応する読み出し規則を設定する垂直インターレース読み出し規則設定部２４６とを含んでいる。
読み出し方式選択部２３４は、より詳しくは、１００％未満の画像変倍率すなわち画像の縮小に対しては、間引き読み出しモードと水平平均化垂直インターレース読み出しモードのいずれかを選択し、１００％以上の画像変倍率すなわち画像の拡大に対しては、垂直インターレース読み出しモードを選択する。
さらに、読み出し方式選択部２３４は、１００％未満の画像変倍率においては、画像変倍率と、出力する画像のコントラスト・解像度・歪み・輝度モアレ・色モアレのうち重視する画質の要因とに基づいて、間引き読み出しモードと水平平均化垂直インターレース読み出しモードのいずれかを選択する。
撮像装置２００はさらに、間引き読み出しモードのときに撮像デバイスから出力される画像信号に対して歪み補正を行なう歪み補正部１５０と、間引き読み出しモードのときに読み出し制御部２２４が光電変換素子２２２から読み出す画像データの範囲（読み出し範囲）の基準位置をフレーム毎に変更する読み出し位相制御部２５２と、間引き読み出しモードのときに読み出し位相制御部２５２によりフレーム毎に変更される読み出し範囲の基準位置に応じて歪み補正部１５０から出力される補正された画像信号のすべてのフレームに共通する領域を範囲選択する画像範囲選択処理部２５４とを有している。歪み補正部１５０の詳細は第一実施形態で説明した通りである。
読み出し位相制御部２５２が読み出し範囲の基準位置をフレーム毎に変更するとともに、画像範囲選択処理部２５４が全てのフレームに共通する領域を範囲選択することに対応して、間引き読み出し規則設定部２４２は、出力する画像の領域よりも広い範囲に渡って読み出し制御部２２４が画像データを読み出すように、読み出し規則を設定する。
撮像デバイス２２０内の読み出し制御部２２４は、間引き読み出し規則設定部２４２で設定される読み出し規則と、読み出し位相制御部２５２で設定される読み出し範囲の基準位置とに基づいて、光電変換素子２２２内の画素配列中の対応する範囲の画像データ（１フレーム分の画素データ）を連続的に読み出す。その結果として、撮像デバイス２２０は、時系列的に連続する複数のフレームの画像データで構成される動画信号を出力する。
撮像装置２００はさらに、間引き読み出しモードのときに画像範囲選択処理部２５４から出力される画像信号または水平平均化垂直インターレース読み出しモードと垂直インターレース読み出しモードのときに撮像デバイス２２０から出力される画像信号の複数のフレームの画像データを一時的に記憶する複数の記憶部、例えば二つのフレームメモリー２７２と２７４を有している。
撮像装置２００はさらに、間引き読み出しモードのときに、フレームメモリー２７２と２７４に記憶された複数のフレームの画像データに対して加重加算平均化を行なって新たな画像データを生成するフレーム間演算処理部２８２を有している。
撮像装置２００はさらに、水平平均化垂直インターレース読み出しモードと垂直インターレース読み出しモードのときにフレームメモリー２７２と２７４に記憶された複数のフレームの画像データに対してフレーム間補間を行なうフレーム間補間演算処理部２８４（インターレース読み出しを行なうと連続数フレーム間で、お互いに欠落している位置・ラインのデータがあるので、欠落している部分のデータ（ラインデータ）を隣接するフレームのデータで補う）と、水平平均化垂直インターレース読み出しモードと垂直インターレース読み出しモードのときにフレーム間補間演算処理部２８４から出力される画像信号に対して画像変倍率に応じて線形補間によりサイズ変更を行なう線形補間サイズ変更部２８６とを有している。
加えて、撮像装置２００は、読み出し方式選択部２３４で選択された読み出し方式に応じて撮像デバイス２２０から出力される画像信号を歪み補正部１５０とフレームメモリー２７２と２７４のいずれかに選択的に送る第一の切り換え器２６２と、フレームメモリー２７２と２７４からのそれぞれの画像信号をフレーム間演算処理部２８２とフレーム間補間演算処理部２８４のいずれかに選択的に送る第二の切り換え器２７６と２７８とを有している。
読み出し方式選択部２３４が間引き読み出しモードを選択したときには、第一の切り換え器２６２は撮像デバイス２２０からの画像信号を歪み補正部１５０と画像範囲選択処理部２５４とを介してフレームメモリー２７２と２７４に送り、第二の切り換え器２７７と２７８はフレームメモリー２７２と２７４からのそれぞれの画像信号をフレーム間演算処理部２８２を介して画像信号処理部１７２に送る。
一方、読み出し方式選択部２３４が水平平均化垂直インターレース読み出しモードまたは垂直インターレース読み出しモードを選択したときには、第一の切り換え器２６２は撮像デバイス２２０からの画像信号をフレームメモリー２７２と２７４に直接送り、第二の切り換え器２７６と２７８はフレームメモリー２７２と２７４からのそれぞれの画像信号をフレーム間補間演算処理部２８４と線形補間サイズ変更部２８６とを介して画像信号処理部１７２に送る。
従来のビデオシステムの動画の撮影においては２フィールド＝１フレームになるようなインターレース走査方式が良く用いられている。これは、一般の１／３０のフレームレートにおいてはインターレース走査による画像のちらつきは目立たないとされ、むしろインターレース走査によって、全点走査と同一の時間内でより広い領域の画像情報を得、フィールド間で補間して高速に高精細な画像を得る効果がある。
本実施形態の撮像装置２００では、垂直インターレース読み出しモードにおいては、一般によく知られているインターレース走査方式に従って、一つのフレームを構成する時系列的に隣接する二つのフィールド毎に画素データをライン単位おきに交互に読み出す。その結果、ライン単位間の補間の効果によって、ちらつきの少ない画像が得られる。
ここで、ライン単位とは、フィルター配列において、ラインの並びに沿った繰り返しの基本単位を指している。例えば、ベイヤー配列においては、ライン単位は二本の実際の画素ラインで構成される。
本実施形態の撮像装置２００では、水平平均化垂直インターレース読み出しモードにおいては、一つのフレームを構成する時系列的に隣接する二つのフィールド毎に画素データを１ライン単位置きに、しかも各ラインにおいて二つの画素単位毎にそれらの中の対応する二つの画素データを加算平均して読み出す。
ここで、画素単位とは、フィルター配列の各ライン内において、ラインに沿った繰り返しの基本単位を指している。例えば、ベイヤー配列においては、一つの画素単位は二つの画素（例えば図１３においては１ライン目のＲとＧの組）で構成される。
図１３は水平平均化垂直インターレース読み出しによって読み出される、一つのフレームを構成する時系列的に隣接する二つのフィールドの画素データを模式的に示している。
図１３に示されるように、それぞれのフィールドにおいて、一本のライン単位置きに、すなわち二本のライン置きに、画素データが読み出される。また、各ラインにおいて、二つの画素単位毎にそれらの中の対応する二つの画素データ、すなわち四つの画素毎にそれらの中の同種類の二つの画素データを１／２：１／２の重みで加算して読み出す。つまり、１クロック（ＣＬＫ）で四つの画素に対応した二つの画素データが読み出される。
このような読み出しの結果、画素単位間とライン単位間の補間の効果によって、ちらつきの少ない画像が得られる。
本実施形態の撮像装置２００では、間引き読み出しモードにおいては、インターレース走査が二つのフィールド間で互いの欠落している画素データを補間するように、連続する二つのフレーム間で互いの欠落している画素データを補間する。
このため、読み出し位相制御部２５２は、読み出し制御部２２４が光電変換素子２２２から画素間引きして読み出す画素データの範囲（読み出し範囲）の基準位置をフレーム毎に変更させる。より詳しくは、読み出し位相制御部２５２は、読み出し範囲の基準位置を、一定の規則に従って周期的に、フレーム毎に変更させる。
その結果、特定のフレームの画像データにおいて間引き読み出しのために欠落した光電変換素子２２２内の特定の位置の画素データは、他のフレームの画像データに含まれるようになる。つまり、撮像デバイス２２０から出力される画像信号から、光電変換素子２２２の特定の位置の画素データが常に欠落することが避けられる。
図１４は、１０／１２の間引き読み出しと読み出し範囲の基準位置のシフトとの処理によって読み出される、時系列的に隣接する二つのフレーム（ＡフレームとＢフレーム）における同一範囲の画素データの一例を模式的に示している。
図１４から分かるように、例えば、Ｂフレームの画像データ（画素データの集合）は、Ａフレームの画像データの読み出し時に飛ばされた画素データ、つまり、Ａフレームの画像データに欠落している画素データを含んでいる。このように、二つのフレームの画像データは、互いに相補的で、相手に欠落している画素データを互いに含んでいる。
さらに、フレーム間演算処理部２８２は、フレームメモリー２７２と２７４に記憶された連続するフレームの画像データに対して、欠落している画素データを補間する処理を行なう。例えば、連続する二つのフレームの画像データに対して１／２：１／２の加算を行なう。その結果、よく知られているインターレース走査方式によるフィールド間の補間すなわちインターレース解除処理と同様な効果が得られ、ちらつきの少ない画像が得られる。
図１５と図１６は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。これらの図において、［ｘ，ｙ］は光電変換素子１２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。
図１５と図１６に示されるように、光電変換素子１２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子１２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図１６のフレームの読み出し範囲は、図１５のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。
図１５のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子１２２の左上の画素位置［０，０］に一致している。つまり、

である。また、読み出し終了位置（ｍ，ｎ）は、

である。一方、図１６のフレームでは、左上の読み出し開始位置は、

である。また、読み出しの終了位置は、

である。
画像範囲選択処理部２５４は、図１５のフレームと図１６のフレームに共通する範囲を選択する。つまり、画像範囲選択処理部２５４は、図１５のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図１６のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部２５４で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。
また、予めクロップする領域を考慮すると、光電変換素子２２２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部２５４は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。
フレームメモリー２７２と２７４はいずれもＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）のメモリーとなっており、フレーム間演算処理部２８２はそれらのフレームメモリー２７２と２７４の同一位置の画素を用いて出力画像を生成する。
例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、

である。ここで、ｉ，ｊは画素位置を表し、ｌ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。
また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、

である。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスによる高画質化の効果が得られる。
また、本実施形態では、水平方向・垂直方向ともに間引き読み出しを行ない、一次元の歪み補正を水平・垂直ともにパイプライン処理で行なう例を示している。ＣＣＤの場合は、垂直転送→水平転送の動作を行なう撮像素子では、原理上水平方向に間引いて読み出す事が出来ないので、水平方向については式（１）と同様に全画素を読み出し、一次補間によるサイズ変更を行なう必要がある。
本実施形態の撮像装置２００は、第一実施形態と同様の理由から、１００％以上の画像変倍率に対しては、垂直インターレース読み出し＋線形補間による処理によってサイズ変更を行ない、比較的大きな縮小倍率、例えば１００％ないし７０％程度の変倍率に対しては、間引き読み出しモード＋歪み補正の処理によってサイズ変更を行ない、比較的小さな縮小倍率、例えば７０％を下回る変倍率に対しては、水平平均化垂直インターレース読み出し＋線形補間による処理によってサイズ変更を行なう。さらに、前述の第一実施形態のように、被写体によって、読み出しモードを切り換える変倍率を調整するようにしてもよい。
その結果、本実施形態の撮像装置は、画像変倍率に応じて読み出し方式とその後の画像信号処理とを切り換えることにより、変倍率の広い範囲にわたって高精細な画像を得ることができるとともに、１００％未満の変倍率においては変倍率を細かい間隔で指定することができる。
第三実施形態
本実施形態は、特に動画の撮影に好適な撮像装置に向けられている。
図１７は本発明の第三実施形態の撮像装置の構成を示している。図１７において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する。
本実施形態の撮像装置３００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス２２０とを有している。つまり、撮像デバイス２２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
撮像デバイス２２０は、結像光学系１１０により結像された光学像を光電変換して画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを供給される読み出し規則に従って連続的に読み出す読み出し制御部２２４とを有している。
撮像装置３００はさらに、出力する画像の変倍率を選択する画像変倍率選択部１３２と、選択された画像変倍率に応じて光電変換素子２２２から読み出し制御部２２４が読み出す画像データの読み出し方式を選択する読み出し方式選択部２３４と、読み出し方式選択部２３４で選択された読み出し方式に応じた読み出し規則を撮像デバイス２２０に供給する読み出し規則供給部２４０とを有している。
読み出し方式選択部２３４は、選択された画像変倍率に応じて、間引き読み出しモード・水平平均化垂直インターレース読み出しモード・垂直インターレース読み出しモードのいずれかの読み出し方式を選択する。読み出し規則供給部２４０は、間引き読み出しモードに対応する読み出し規則を設定する間引き読み出し規則設定部２４２と、水平平均化垂直インターレース読み出しモードに対応する読み出し規則を設定する水平平均化垂直インターレース読み出し規則設定部２４４と、垂直インターレース読み出しモードに対応する読み出し規則を設定する垂直インターレース読み出し規則設定部２４６とを含んでいる。
読み出し方式選択部２３４は、より詳しくは、１００％未満の画像変倍率すなわち画像の縮小に対しては、間引き読み出しモードと水平平均化垂直インターレース読み出しモードのいずれかを選択し、１００％以上の画像変倍率すなわち画像の拡大に対しては、垂直インターレース読み出しモードを選択する。
さらに、読み出し方式選択部２３４は、１００％未満の画像変倍率においては、画像変倍率と、出力する画像のコントラスト・解像度・歪み・輝度モアレ・色モアレのうち重視する画質の要因とに基づいて、間引き読み出しモードと水平平均化垂直インターレース読み出しモードのいずれかを選択する。
撮像装置３００はさらに、フレームのタイミングを発生するタイミング発生器３７０と、タイミング発生器３７０からのフレームのタイミングと連動してフレーム間で読み出し規則を変更する読み出し規則変更部３７２とを有している。ここで、間引き読み出しモードが選択されていた場合、読み出し規則変更部３７２は間引き読み出しの規則をフレーム毎に異ならせる。同時に、読み出し規則に従って歪み補正のフィルターに用いる係数を選択する指示を発生する。歪み補正部１５０の詳細は第一実施形態で説明した通りである。
なお、読み出し規則変更部３７２で変更されたフレーム毎に異なる読み出し規則は、選択された変倍率が一定であるときは読み出す画素の画素数は同じで、読み出し範囲の基準位置と配列パターンが異なる。
撮像デバイス２２０内の読み出し制御部２２４は、間引き読み出し規則設定部２４２で設定される読み出し規則と、読み出し規則変更部３７２で設定される読み出し範囲の基準位置とに基づいて、光電変換素子２２２内の画素配列中の対応する範囲の画像データ（１フレーム分の画素データ）を連続的に読み出す。その結果として、撮像デバイス２２０は、時系列的に連続する複数のフレームの画像データで構成される動画信号を出力する。
撮像装置３００はさらに、複数のフレームの画像データを用い新たな画像データを生成するフレーム間演算処理部３８０を有している。フレーム間演算処理部３８０は、水平平均化垂直インターレース読み出しモードと垂直インターレース読み出しモードのときにフレーム間補間演算処理を行ない、間引き読み出しモードの場合、前述の式（２０）や式（２１）のようなフレーム間の荷重加算演算を行なう。
加えて、撮像装置３００は、読み出し方式選択部２３４で選択された読み出し方式に応じて撮像デバイス２２０から出力される画像信号を歪み補正部１５０とフレーム間演算処理部３８０のいずれかに選択的に送る切り換え器３９２を有している。
読み出し方式選択部２３４が間引き読み出しモードを選択したときには、切り換え器３９２は撮像デバイス２２０からの画像信号を歪み補正部１５０を介してフレーム間演算処理部３８０に送る。
一方、読み出し方式選択部２３４が水平平均化垂直インターレース読み出しモードまたは垂直インターレース読み出しモードを選択したときには、切り換え器３９２は撮像デバイス２２０からの画像信号をフレーム間演算処理部３８０に送る。
さらに、フレーム間演算処理部３８０は、切り換え器３９４を介して、線形補間サイズ変更部３９６に接続されている。読み出し方式選択部２３４で水平平均化垂直インターレース読み出しモードまたは垂直インターレース読み出しモードが選択された場合に、サイズの変更を必要とする場合は、切り換え器２９４はフレーム間演算処理部３８０の出力データを線形補間サイズ変更部３９６に伝送し、フレーム内の線形補間処理によって所定のサイズの画像を得る。
また、読み出し方式選択部２３４で間引き読み出しモードが選択された場合、歪み補正部１５０で得られた画像サイズを最終的なサイズとする場合には、フレーム間演算処理部３８０の出力をそのまま利用するため、切り換え器３９４は線形補間サイズ変更部３９６をバイパスするようにする。さらに、間引き読み出しによるサイズ変更とは別の画像サイズを得たい場合は、切り換え器３９４はフレーム間演算処理部３８０の出力データを線形補間サイズ変更部３９６に伝送し、フレーム内の線形補間処理によって所定のサイズの画像を得る。
これまでの説明から分かるように、本実施形態の撮像装置は、画像変倍率に応じて読み出し方式とその後の画像信号処理とを切り換えることにより、変倍率の広い範囲にわたって高精細が画像を得ることができるとともに、１００％未満の変倍率においては変倍率を細かい間隔で指定することができる。さらに間引き読み出しモードのときに、全点走査と同一の時間内でより広い領域の画像情報が得られる効果がある。
これまで、図面を参照しながら本発明の実施の形態を述べたが、本発明は、これらの実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。

本発明によれば、画像変倍率の広い範囲にわたって高精細な画像を得ることができる撮像装置が提供される。また、この撮像装置では、特に１００％未満の変倍率においては変倍率を細かい間隔で指定することができる。

Claims (17)

1. 被写体の画像を出力する撮像装置であり、
   光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部とを有している撮像デバイスと、
   出力する画像の変倍率を選択する画像変倍率選択部と、
   選択された画像変倍率に応じて光電変換素子から読み出し制御部が読み出す画像データの読み出し方式を選択する読み出し方式選択部と、
   読み出し方式選択部で選択された読み出し方式に応じた読み出し規則を前記読み出し制御部に供給する読み出し規則供給部とを有している、撮像装置。
2. 請求項１において、前記読み出し方式は、間引き読み出しモード・平均化読み出しモード・全画素読み出しモードを含み、前記読み出し方式選択部は、前記選択された画像変倍率に応じて、前記間引き読み出しモード・前記平均化読み出しモード・前記全画素読み出しモードのいずれかの読み出し方式を選択し、前記読み出し規則供給部は、前記間引き読み出しモードに対応する読み出し規則を設定する間引き読み出し規則設定部と、前記平均化読み出しモードに対応する読み出し規則を設定する平均化読み出し規則設定部と、前記全画素読み出しモードに対応する読み出し規則を設定する全画素読み出し規則設定部とを含んでいる、撮像装置。
3. 請求項２において、間引き読み出しモードのときに撮像デバイスから出力される画像信号に対して歪み補正を行なう歪み補正部と、前記平均化読み出しモードと前記全画素読み出しモードのときに前記撮像デバイスから出力される画像信号に対して線形補間によりサイズ変更を行なう線形補間サイズ変更部と、前記読み出し方式選択部で選択された読み出し方式に応じて前記撮像デバイスから出力される画像信号を前記歪み補正部と前記線形補間サイズ変更部のいずれかに選択的に送る切り換え器とを有している、撮像装置。
4. 請求項１において、前記撮像デバイスから出力される画像信号は、時系列的に連続する複数のフレームの画像データで構成される動画信号であり、前記読み出し方式選択部は、前記選択された画像変倍率に応じて、前記間引き読み出しモード・水平平均化垂直インターレース読み出しモード・水平全画素垂直インターレース読み出しモードのいずれかの読み出し方式を選択し、読み出し規則供給部は、前記間引き読み出しモードに対応する読み出し規則を設定する間引き読み出し規則設定部と、前記水平平均化垂直インターレース読み出しモードに対応する読み出し規則を設定する水平平均化垂直インターレース読み出し規則設定部と、前記垂直インターレース読み出しモードに対応する読み出し規則を設定する垂直インターレース読み出し規則設定部とを含んでいる、撮像装置。
5. 請求項１において、前記読み出し方式は間引き読み出しモードを含み、前記撮像デバイスから出力される画像信号は複数のフレームから構成され、前記間引き読み出しモードのときに、前記撮像デバイスから出力される画像信号に対して歪み補正を行なう歪み補正部と、前記読み出し制御部が前記光電変換素子から読み出す画像データの範囲（読み出し範囲）の基準位置をフレーム毎に変更する読み出し位相制御部と、前記読み出し位相制御部によりフレーム毎に変更される読み出し範囲の基準位置に応じて前記歪み補正部から出力される補正された画像信号のすべてのフレームに共通する領域を範囲選択する画像範囲選択処理部とをさらに有している、撮像装置。
6. 請求項５において、前記間引き読み出しモードのときに、前記画像範囲選択処理部から出力される画像信号の複数のフレームの画像データを一時的に記憶する複数の記憶部と、前記記憶部に記憶された前記複数のフレームの画像データに対して加重加算平均化を行なって新たな画像データを生成するフレーム間演算処理部とをさらに有している、撮像装置。
7. 請求項４において、前記水平平均化垂直インターレース読み出しモードと前記水平全画素垂直インターレース読み出しモードのときに、前記撮像デバイスから出力される画像信号の複数のフレームの画像データを一時的に記憶する複数の記憶部と、前記記憶部に記憶された複数のフレームの画像データに対してフレーム間補間を行なうフレーム間補間演算処理部と、前記フレーム間補間演算処理部から出力される画像信号に対して前記画像変倍率に応じて線形補間によりサイズ変更を行なう線形補間サイズ変更部とをさらに有している、撮像装置。
8. 請求項４において、前記間引き読み出しモードのときに前記撮像デバイスから出力される画像信号に対して歪み補正を行なう歪み補正部と、前記間引き読み出しモードのときに前記読み出し制御部が前記光電変換素子から読み出す画像データの範囲（読み出し範囲）の基準位置をフレーム毎に変更する読み出し位相制御部と、前記間引き読み出しモードのときに前記読み出し位相制御部によりフレーム毎に変更される読み出し範囲の基準位置に応じて前記歪み補正部から出力され補正された画像信号の複数のフレームに共通する領域の範囲を選択する画像範囲選択処理部と、前記画像範囲選択処理部から出力される画像データまたは前記水平平均化垂直インターレース読み出しモードまたは前記垂直インターレース読み出しモードのときに前記撮像デバイスから出力される画像信号の複数のフレームの画像データを一時的に記憶する複数の記憶部と、前記間引き読み出しモードのときに記憶部に記憶された複数のフレームの画像データに対して加重加算平均化を行なって新たな画像データを生成するフレーム間演算処理部と、前記水平平均化垂直インターレース読み出しモードまたは前記水平全画素垂直インターレース読み出しモードのときに（前記）記憶部に記憶された複数のフレームの画像データに対してインターレース読み出しにより各々のフレームで欠落している画素情報を互いに補間するフレーム間補間を行なうフレーム間補間演算処理部と、前記水平平均化垂直インターレース読み出しモードまたは前記水平全画素垂直インターレース読み出しモードのときに前記フレーム間補間演算処理部から出力される画像信号に対して前記画像変倍率に応じて線形補間によりサイズ変更を行なう線形補間サイズ変更部と、前記読み出し方式選択部で選択された読み出し方式に応じて前記撮像デバイスから出力される画像信号を前記歪み補正部と前記記憶部のいずれかに選択的に送る第一の切り換え器と、前記記憶部からの画像信号を前記フレーム間演算処理部と前記フレーム間補間演算処理部のいずれかに選択的に送る第二の切り換え器とをさらに有している、撮像装置。
9. 請求項１において、前記読み出し方式は間引き読み出しモードを含み、前記間引き読み出しモードのときに前記撮像デバイスから出力される画像データに対して歪み補正を行なう歪み補正部を有している、撮像装置。
10. 請求項９において、前記撮像デバイスから出力される画像データは複数のフレームから構成され、前記間引き読み出しモードのときに、前記複数のフレーム毎に間引き読み出しの規則を異ならせる、撮像装置。
11. 請求項１において、前記読み出し方式は間引き読み出しモードを含み、前記撮像デバイスから出力される画像データは複数のフレームから構成され、前記間引き読み出しモードのときに、前記複数のフレーム毎に間引き読み出しの規則を異ならせる、撮像装置。
12. 請求項１１において、前記フレーム毎に異なる読み出し規則は、前記変倍率が一定であるときには、画素数が同一である、撮像装置。
13. 請求項１〜請求項１２のいずれかひとつにおいて、前記読み出し方式選択部は、出力する画像のコントラスト・解像度・歪み・輝度モアレ・色モアレのうち重視する画質の要因と画像変倍率とに基づいて前記読み出し方式を選択する、撮像装置。
14. 被写体の画像を出力する撮像装置の画像データの読み出し制御方法であり、
    出力する画像の変倍率を選択し、
    前記選択された画像変倍率に応じて光電変換素子から読み出す画像データの読み出し方式を選択し、
    前記選択された読み出し方式に応じた読み出し規則に従って前記光電変換素子から画像データを読み出す、画像データの読み出し制御方法。
15. 請求項１４において、前記読み出し方式は間引き読み出しモードを含み、前記間引き読み出しモードのときに前記読み出された画像データに対して歪み補正を行なう、画像データの読み出し制御方法。
16. 請求項１５において、前記光電変換素子から読み出す画像データは複数のフレームから構成され、前記間引き読み出しモードのときに、前記複数のフレーム毎に間引き読み出しの規則を異ならせる、画像データの読み出し制御方法。
17. 請求項１４において、前記読み出し方式は間引き読み出しモードを含み、前記光電変換素子から読み出す画像データは複数のフレームから構成され、前記間引き読み出しモードのときに、前記複数のフレーム毎に間引き読み出しの規則を異ならせる、画像データの読み出し制御方法。

Images