JP4445870B2 - 撮像装置 - Google Patents

Description

本発明は、デジタル撮像装置に関し、特に、撮像装置が実装している撮像デバイスの画素数よりも小さい画素数の画像を高速に高画質で生成するデジタル撮像装置に関する。

近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラの需要が拡大している。また、動画の記録機器としてデジタルビデオなどの高画質記録装置が広く用いられている。
上記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は５００万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。しかしながら、全ての用途において、５００万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像は、むしろ画素サイズを小さくした方を使用する場合が多い。
さらに、現状のデジタルカメラにおいては、撮像素子から、画像メモリーへのフラッシングの時間がネックになっており、画素数が大きい機種で、高速な連写撮影が出来るものが少ない。また、デジタルカメラにおいても、付加機能として動画の撮影の要求があるため、やはり、メモリーへの転送は高速に行なわなければならず、予め扱うデータ量を少なくすることが好ましい。
出力画像の画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリーに転送されるデータ量を減らし、メモリー転送の速度を向上できる。
一方、線形補間によるサイズ縮小では、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって小さいサイズの画像を作成する。
図１５はベイヤー配列から双一次補間のサンプリングによリフルカラーの縮小画像を生成する様子を示している。図１５に示される双一次補間においては、点Ａ、Ｂ、Ｃ、Ｄのフルカラーデータは近傍の１２点のＲ、Ｇ、Ｂのデータから計算して求められる。具体的には、点Ａのフルカラーデータは、Ｒ４３、Ｒ４５、Ｒ６３、Ｒ６５、Ｂ３４、Ｂ３６、Ｂ５４、Ｂ５６、Ｇ４４、Ｇ５３、Ｇ５５、Ｇ６４の線形結合によって求められる。同様に、点Ｂのフルカラーデータは、Ｒ０３、Ｒ０５、Ｒ２３、Ｒ２５、Ｂ１４、Ｂ１６、Ｂ３４、Ｂ３６、Ｇ１５、Ｇ２４、Ｇ２６、Ｇ３５の線形結合によって求められる。点Ｃと点Ｄについても同様である。
図１６はベイヤー配列から双三次補間のサンプリングでフルカラーの縮小画像を生成する手法を示している。図１６に示される双三次補間においては、フルカラーデータはその点の近くの４８点のＲ、Ｇ、Ｂのデータから求められる。例えば、点Ｂのフルカラーデータは、Ｒ６１、Ｒ６３、Ｒ６５、Ｒ６７、Ｒ０１、Ｒ０３、Ｒ０５、Ｒ０７、Ｒ２１、Ｒ２３、Ｒ２５、Ｒ２７、Ｒ４１、Ｒ４３、Ｒ４５、Ｒ４７、Ｂ７２、Ｂ７４、Ｂ７６、Ｂ７０、Ｂ１２、Ｂ１４、Ｂ１６、Ｂ１０、Ｂ３２、Ｂ３４、Ｂ３６、Ｂ３０、Ｂ５２、Ｂ５４、Ｂ５６、Ｂ５０、Ｇ７５、Ｇ０４、Ｇ０６、Ｇ１３、Ｇ１５、Ｇ１７、Ｇ２２、Ｇ２４、Ｇ２６、Ｇ２０、Ｇ３３、Ｇ３５、Ｇ３７、Ｇ４４、Ｇ４６、Ｇ５５の線形結合によって求められる。
このような、線形補間によるリサイズは、画質の面では良好であるが、全画素のデータを取り込んで線形補間を行なうために演算量が多く、上述した連写機能や動画撮影には適していない。
メモリー読み出しのデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法がある。特開２００１−２４５１４１号公報は、この方法を利用した高速な画像の縮小方法を開示している。
特開２００１−０１６４４１号公報は、解像度の種類が限定されている場合に、データの間引きを行ない、さらにデータの歪みを補正する装置を開示している。同文献は、実施の形態において、６００ｄｐｉの解像度を持つ装置による４００ｄｐｉ相当のデータの作成を開示している。６００ｄｐｉのデータをそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補償する画素データを６００ｄｐｉのデータから線形補間によって生成している。
特開２００１−２４５１４１号公報の方法は、２０％程度以下の縮小率の縮小においては効果的であるが、（４０％程度以上の）大きい縮小率の縮小においては積分による平均化だけでは読み出した画素位置による像の歪みを除くことは出来ない。従って、広い範囲の縮小倍率に対して、サイズ変更を行ないながら高画質な画像を形成することが難しい。
特開２００１−１６４４１号公報の装置では、走査して得た６００ｄｐｉのデータの全てを用いて補間し、４００ｄｐｉ相当のデータを作っている。これに対して本発明は、読み出し時間の制限により基本解像度のデータ（特開２００１−１６４４１号公報では走査して得られる６００ｄｐｉのデータ）を全て読むことが出来ないことに対応する間引き走査に関する新技術である。例えば、特開２００１−１６４４１号公報の図６（ｂ）に示されるような間引かれたデータ列から歪みの少ないデータ列を作成するものである。

本発明の撮像装置は、撮像デバイスを有している。撮像デバイスは、光学像を光電変換して画像データを取得する光電変換素子と、光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを有している。撮像装置は、さらに、撮像デバイスの出力画像の領域を設定する領域設定部と、領域設定部で設定された領域に応じて読み出し制御部の画素間引き読み出し規則を選択する読み出し規則選択部と、読み出し制御部によって光電変換素子から読み出された画像データの歪みを補正する歪み補正部とを有している。歪み補正部は、読み出し規則選択部で選択された画素間引き読み出し規則に基づいて光電変換素子から読み出された画像データをフィルター処理するフィルター処理部を有している。

図１は、本発明の第一実施形態の撮像装置の構成を示している。
図２は、ＲＧ／ＧＢのベイヤー配列の画像に対して、垂直で１４／１６の縮小変換を行なう例を示している。
図３は、図２に示した変換において、変換前の１６画素のうち上から８番目の画素のデータと９番目の画素のデータが抜け落ちた様子を示している。
図４は、水平方向・垂直方向共に１６画素のうち２画素を間引きして読み出す例を示している。
図５は、図４の例に従って間引きして読み出される画素データのうち左の１列目の垂直方向のデータに関して歪み補正の変換の様子を示している。
図６は、単板カラー撮像素子で構成される光電変換素子用のフィルター処理部の構成を示している。
図７は、単色モノクロ撮像素子または多板カラー撮像素子で構成される光電変換素子用のフィルター処理部の構成を示している。
図８は、歪み補正の処理の流れを示している。
図９は、水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。
図１０は、本発明の第二実施形態の撮像装置の構成を示している。
図１１は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の左上の画素に合っているフレームの読み出し範囲を示している。
図１２は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し終了位置が光電変換素子の画素配列の右下の画素に合っているフレームの読み出し範囲を示している。
図１３は、１４画素中２画素の間引き読み出し（６／７のサイズ変更）を行なった後に、連続するフレーム間で平均化処理を行なって得られた動画像を示している。
図１４は、１４画素中２画素の間引き読み出し（６／７のサイズ変更）に加えて、歪み補正（画素データ補間）を行なった後に、連続するフレーム間で平均化処理を行なって得られた動画像を示している。
図１５は、ベイヤー配列から双一次補間のサンプリングによりフルカラーの縮小画像を生成する様子を示している。
図１６は、ベイヤー配列から双三次補間のサンプリングでフルカラーの縮小画像を生成する手法を示している。
図１７は、本発明の第三実施形態の撮像装置の構成を示している。

以下、図面を参照しながら本発明の実施の形態について説明する。
第一実施形態
図１は本発明の第一実施形態の撮像装置の構成を示している。撮像装置１００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を出力する撮像デバイス１２０とを有している。撮像デバイス１２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）１２２と、光電変換素子１２２で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部１２４とを有している。
撮像装置１００はさらに、出力（表示）する画像の領域（すなわち前述した所定の領域）を設定する（すなわち表示する画像のサイズと位置を特定する）領域設定部１３２と、領域設定部１３２で設定された領域に応じて読み出し制御部１２４の画素間引き読み出し規則を選択する読み出し規則選択部１３４と、読み出し制御部１２４によって光電変換素子１２２から読み出されたデジタル画像データの歪みを補正する歪み補正部１４０とを有している。
読み出し制御部１２４は、読み出し規則選択部１３４で選択された画素間引き読み出し規則に基づいて、光電変換素子１２２内の画素配列中の対応する範囲の画素データを読み出す。その結果、撮像デバイス１２０から間引きされた画像データが出力される。
歪み補正部１４０は、読み出し制御部１２４によって光電変換素子１２２から読み出されたデジタル画像データをフィルター処理するフィルター処理部１４２と、読み出し規則選択部１３４で選択された画素間引き読み出し規則に応じてフィルター処理部１４２のフィルター処理に使用するフィルター係数を設定するフィルター係数設定部１４４とを有している。
フィルター係数設定部１４４は、複数のフィルター係数を含むルックアップテーブル（ＬＵＴ）を記憶するＬＵＴ記憶部１４６と、ＬＵＴ記憶部１４６に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部１４８とを有している。
フィルター係数設定部１４４は、必ずしもＬＵＴ記憶部１４６とフィルター係数選択部１４８とを有している必要はなく、読み出し規則選択部１３４が選択した画素間引き読み出し規則に応じた演算を行なってフィルター係数を算出してもよい。
ＬＵＴを使用するフィルター係数設定部１４４は、ＬＵＴを記憶しておくために多くのメモリーを必要とするが、演算に掛かる負担が少なくて済む。一方、ＬＵＴを使用しないフィルター係数設定部１４４は、演算に掛かる負担は大きいが、多くのメモリーを必要としないで済む。
撮像装置１００はさらに、歪み補正部１４０から出力される歪み補正された画像信号に対して（ホワイトバランスや階調変換やエッジ強調の）所定の処理を行なう画像信号処理部１５２と、画像信号処理部１５２から出力される画像信号に従って画像を表示する画像表示部１５４とを有している。加えて、撮像装置１００は、画像信号処理部１５２から出力される画像信号に従って画像を記録する画像記録部１５６を有している。
撮像装置１００は、領域設定部１３２で領域が設定されていない場合、光電変換素子１２２で取得された画像データをそのまま画像表示部１５４に表示する。つまり、画像データのすべての画素データを表示する。従って、画像表示部１５４には、結像光学系１１０で結像された光学像と同様の画像が表示される。
領域設定部１３２は、例えば、画像表示部１５４の画面に対するグラフィカルユーザーインターフェース（ＧＵＩ）で構成される。従って、ユーザーは、画像表示部１５４の画面に表示されている画像上において、ボタン、マウス等の操作により、表示を希望する範囲を指定し得る。
撮像デバイス１２０は、間引き読み出し動作が可能である。間引き読み出し動作により、撮像デバイス１２０は、光電変換素子１２２上の特定の領域の画素を、全画素を読み出す場合よりも短い時間内で読み出すことが出来る。
例えば、光電変換素子１２２がＣＭＯＳを用いた撮像素子である場合、撮像デバイス１２０は、水平方向・垂直方向共にシフトレジスタを用いて読み出し位置を指定することが出来る。
すなわち、ｊラインｉ番目の素子をＣ（ｉ，ｊ）とし、そこから水平方向の画素をそれぞれＣ（ｉ＋１，ｊ）、Ｃ（ｉ＋２，ｊ）、Ｃ（ｉ＋３，ｊ）、Ｃ（ｉ＋４，ｊ）、Ｃ（ｉ＋５，ｊ）、Ｃ（ｉ＋６，ｊ）、Ｃ（ｉ＋７，ｊ）、Ｃ（ｉ＋８，ｊ）…とすると、例えば、Ｃ（ｉ＋１，ｊ）、Ｃ（ｉ＋２，ｊ）、Ｃ（ｉ＋３，ｊ）、Ｃ（ｉ＋４，ｊ）、Ｃ（ｉ＋７，ｊ）、Ｃ（ｉ＋８，ｊ）…というように、任意の水平方向の位置を間引いて読み出すことが出来る。
垂直方向についても同様で、ｊライン、ｊ＋１ライン、ｊ＋２ライン…とライン方向に並んでいる画素に対して、任意のラインを間引いて読み出すことが出来る。
また、光電変換素子１２２がＣＣＤである場合、ＣＣＤは水平方向に電荷をシフトしながら読み出すため、撮像デバイス１２０は、水平方向には全画素を読み出し、垂直方向では間引いて読み出すことが出来る。
歪み補正部１４０は、このように間引き読み出しされたデジタル画像データに対して、欠落している情報を補間すると共に倍率変換のフィルター処理を行なう。つまり、本明細書において、歪み補正とは、「補間」と「倍率変換」を同時に行なうことを意味している。
前述の双一次補間（図１５）に関して、倍率変換を有理数（整数比）に制限し、一次補間を二回繰り返す様にすると、アルゴリズムは単純化される。図２は、ＲＧ／ＧＢのベイヤー配列の画像に対して、水平方向で１４／１６の縮小変換を行なう例を示している。図２において、上段は縮小変換前の画素の一次元データ配列を示し、下段は縮小変換後の画素の一次元データ配列を示している。
次の式（１）はこの変換の行列表現である。

式（１）において、Ｒｉ_２ｐとＧｉ_２ｐ＋１（ｐは０以上７未満の整数）は、光電変換素子１２２内における水平方向に連続して並んでいる画素の画素データを表しており、水平方向に並ぶ画素の位置に対応して連続する添字を有している。また、Ｒｃ_２ｑとＧｃ_２ｑ＋１（ｑは０以上６未満の整数）は、変換後の画素データを表しており、水平方向に並ぶ画素の位置に対応して連続する添字を有している。
例えば変換後のＲｃ_２はＲｉ_２とＲｉ_４を使って次の式（２）で表される。

前述の式（１）は、各画素がこのように変換される１６画素から１４画素への変換をまとめて表現している。
図３は、図２に示した変換において、変換前の１６画素のうち左から８番目の画素のデータと９番目の画素のデータが抜け落ちた様子を示している。この場合、抜け落ちた画素データＲｉ_８とＧｉ_９は、それぞれ同じチャンネルの隣接する画素データＲｉ_６とＲｉ_１０と画素データＧｉ_９とＧｉ_１１を用いて、次の式（３）に従って線形補間されるとよい。

式（１）中のＲｉ_８とＧｉ_９を式（３）に従って置き換えると式（４）の様になる。

式（４）の右辺の１６個のデータ列Ｒｉ_０、Ｇｉ_１、…、Ｒｉ_１４、Ｇｉ_１５は、

と表現できる。これを式（４）に代入すると、

となり、式（６）の行列の積を計算すると、次の式（７）が得られる。

これは、１４個の画素データの入力に対して１４個の画素データの出力を持つ、式（４）と等価な変換である。言い換えれば、画素データＲｉ_８とＧｉ_９を除く１４個の画素データから、１４／１６の縮小変換後の１４個の画素データを求める変換である。
図４は水平方向・垂直方向共に１６画素のうち２画素を間引きして読み出す例を示している。この例では水平方向・垂直方向共に８番目の画素と９番目の画素が間引きされている。
図５は、図４の例に従って間引きして読み出される画素データのうち左の１列目の変換の様子を示している。図５に示されるように、実際に読み出される画素データは、垂直方向に、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_４、Ｇｉ_５、Ｒｉ_６、Ｇｉ_７、Ｒｉ_１０、Ｇｉ_１１、Ｒｉ_１２、Ｇｉ_１３、Ｒｉ_１４、Ｇｉ_１５の１４個である。
式（７）は、８番目（８行目）と９番目（９行目）の画素データを間引きして読み出した１４個の画素データから、１４／１６の縮小変換後の１４個の画素データを求める変換と等価である。
式（７）の行列表現による線形演算の式を見て分かるように、画素間引きを行なっているため、歪み補正後の異なる位置の画素データＲｃ_６とＲｃ_８は、元の画素データＲｉ_６とＲｉ_１０の重み付き線形和

となっており、画素データＲｃ_８を求める際に用いる画素データが、画素データＲｃ_６を求める際に用いる画素データと同じになっている。すなわち、画素データＲｃ_８を求める際に用いる画素データは、それまでの画素データＲｃ_１〜Ｒｃ_６を求める際に用いる画素データの順序と相違している（すなわち位相がずれている）。画素データＧｃ_７とＧｃ_９についても同様のことが言える。
図５に示されるように、実際に読み出される画素データは、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_４、Ｇｉ_５、Ｒｉ_６、Ｇｉ_７、Ｒｉ_１０、Ｇｉ_１１、Ｒｉ_１２、Ｇｉ_１３、Ｒｉ_１４、Ｇｉ_１５の１４個である。これらを、それぞれ、Ｒｊ_０、Ｇｊ_１、Ｒｊ_２、Ｇｊ_３、Ｒｊ_４、Ｇｊ_５、Ｒｊ_６、Ｇｊ_７、Ｒｊ_８、Ｇｊ_９、Ｒｊ_１０、Ｇｊ_１１、Ｒｊ_１２、Ｇｊ_１３とおく。すなわち、

とおく。
Ｒｉ_２ｐとＧｉ_２ｐ＋１（ｐは０以上７未満の整数）は、前述したように、光電変換素子１２２内の水平方向に並んでいる画素の画素データを表しており、添字が飛んでいる部分は、読み出しの際に間引きされていることを示している。一方、Ｒｊ_２ｒとＧｊ_２ｒ＋１（ｒは０以上６未満の整数）は、画素間引き読み出しによって、実際に読み出される画素データを表しており、読み出される順番に対応して連続する添字を有している。
式（９）を式（７）に代入すると、次の式（１０）が得られる。

これは、画素間引き読み出しにより実際に順番に読み出される１４個の画素データから１４／１６縮小変換後の１４個の画素データを求める歪み補正変換である。
以上の一次元歪み補正を二次元の配列に拡張すると以下のようになる。
式（１０）を

と表す。ここで、Ａは一次元の歪み補償を行なう変換行列（すなわち上述の例では１６画素中２画素の間引きを行なっている１４個の画素データに対する歪み補償）、Ｂは歪み補償前の画素データを表すｎ行１列の行列、Ｃは歪み補償後の画素データを表すｎ行１列の行列である。ここで、図４の読み出しデータを以下のような行列Ｄ_ｉで表す。

式（１２）では読み飛ばしている部分に線を引いている。均等な１４×１４画素の配列をＤ_０とすると、水平方向の歪み補正後に垂直方向の歪み補正を行なう変換は、式（１１）のＡを用いて、

と表せられる。ここで、Ａ^ＴはＡの転置行列を表している。
一次元の歪み変換、式（４）から式（７）への変形は以下の様に考えることもできる。
（１）位置Ｘの画素データが読み出され、位置Ｘ＋２の画素データも読み出される場合は、画素データの重み係数には、式（４）の係数をそのまま用いる。
（２）位置Ｘの画素データが読み出され、位置Ｘ＋２の画素データが読み出されない場合は、代わりに位置Ｘ＋４の画素データを読み出す。位置Ｘの画素データの重み係数ｘをｘ’＝０．５（ｘ＋１）に変更し、位置Ｘ＋４の画素データの重み係数は、変更した係数ｘ’の１に対する残差すなわち１−ｘ’とする。
（３）位置Ｘの画素データが読み出されず、位置Ｘ＋２の画素データが読み出される場合は、位置Ｘの読み出しの位置を２つ前にずらしＸ−２とする。また、位置Ｘ−２の画素データの重み係数ｘをｘ’＝０．５ｘに変更し、位置Ｘ＋２の画素データの重み係数は、変更した係数の１に対する残差すなわち１−ｘ’とする。
従って、ルックアップテーブル（ＬＵＴ）を使い、画素の読み出し位置と補正係数を対応づけて歪み補正を行なう代わりに、ＣＰＵ等の演算処理機能を使用して読み出し規則から歪み補正の係数を直接算出することも出来る。
単板カラー撮像素子用の一般化
図６は、カラーフィルターアレイ（ＣＦＡ）が前面に配置された単板カラー撮像素子で構成された光電変換素子１２２に対して、式（７）で表現された変換をパイプライン処理により行なうフィルター処理部の構成を示している。
このフィルター処理部は、単板カラー撮像素子から読み出した画像信号が入力されるシフトレジスタ１６２と、シフトレジスタ１６２から画像信号を読み出す読み出し位置を選択する二つのセレクター１６４と１６６と、セレクター１６４と１６６によってシフトレジスタ１６２から読み出された画像信号に対して補正係数ｋ１とｋ２をそれぞれ乗算する二つの乗算器１７４と１７６と、二つの乗算器１７４と１７６の演算結果を加算する加算器１７８とを有しており、入力データと出力データの数が等しいパイプライン処理によって単板カラー撮像素子から読み出した画像情報の歪みを補正する。
図６において、歪み補正係数ｋ１、ｋ２と、セレクターの選択制御信号ｓ１、ｓ２は、後述する式（１８）で定義される変換行列の要素ｂ_ｉ，ｊを用いて、以下の様に表される。

ｋ_ｉ１は行列のｉ行目の中で、非０の左端の要素（ｂ_{ｉｌ｜｜ｌ}＜ｈ＝０はｉ行目でｈ番目以下の要素が全て０であることを表す。）

ｋ_ｉ２は行列のｋ_ｉ１の１に対する残差

ｉとｈが等しければ、読み出しのシフトなし、ｓ１＝ｓ２＝０

ｉとｈ−２が等しければ、読み出しの２画素シフト、ｓ１＝ｓ２＝１
として、図６における読み出しを切り換える。
以下、読み出しのシフト量（ｉ−ｈ）に応じてセレクターを増やす（図６ではシフト量が２画素の場合を示している）。
添字ｉは図６のフィルター処理部によるパイプライン処理のシーケンス番号を表し、ｋ_ｉｌはｉ番目のシーケンスでの係数を表している。添字ｉと添字ｊの差分は、セレクター１６４と１６６が選択するシフトレジスタ１６２から読み出す位置に関する選択基準を表している。
ｂ_ｉ，ｊは、次の式（１８）により定義される。

ここでＰｉ_ｉとＱｉ_ｉ＋１はそれぞれ歪み補正前のｉ番目とｉ＋１番目の画素データ、Ｐｃ_ｉとＱｃ_ｉ＋１はそれぞれ補正後の画素データ、ｂ_ｉ，ｊは歪み補正変換行列の要素（歪み補正係数）を表している。
カラーフィルターアレイ（ＣＦＡ）が前面に配置された単板カラー撮像素子においては、画像データはベイヤー配列カラーであり、ＰとＱ（ＰｉとＱｉ、ＰｃとＱｃ）は、Ｐ≠Ｑ（Ｐｉ≠Ｑｉ、Ｐｃ≠Ｑｃ）であり、それぞれＲＧＢチャンネルのいずれかであり、読み出しの連続性を以下の様に場合分けされる。
（１）Ｐｉ_ｉ、Ｑｉ_ｉ＋１、Ｐｉ_ｉ＋２、Ｑｉ_ｉ＋３が連続したデータの場合

ここで、ａ_ｉ，ｊは後述する式（２３）で表される。また、Ｄはイメージャ上の連続するｍ個の画素ブロックで読み出したｎ個の画素のｉ番目の画素を読み出すまでに間引きした画素の数を表している。Ｆは、次の式（２０）で定義されるＷｉを超えない最大の整数（Ｆ≦０）である。

（２）Ｐｉ_ｉ、Ｑｉ_ｉ＋１が間引いた画素の前の２個の場合

（３）Ｐｉ_ｉ、Ｑｉ_ｉ＋１が間引いた画素の後の２個の場合

ａ_ｉ，ｊは、次の式（２３）で表現される、一次元補間でｎ／ｍ（ｎ＜ｍ）のサイズ変更を行なう変換におけるｎ行ｍ列の行列の係数である。

ここで、Ｐｉ_ｉとＱｉ_ｉ＋１はそれぞれサイズ変更前のｉ番目とｉ＋１番目の画素データ、Ｐｏ_ｉとＱｏ_ｉ＋１はそれぞれ変更後の画素データ、ａ_ｉ，ｊは変換行列の要素（サイズ変更の一次補間係数）である。
ａ_ｉ，ｊは、次の式（２４）で定義される。

ここで、Ｗｉ′は次の式（２５）で定義される。

前述したように、Ｗｉは式（２０）で定義され、ＦはＷｉを超えない最大の整数（Ｆ≦０）である。
単色モノクロ撮像素子または多板カラー撮像素子用の一般化
図７は、単色モノクロ撮像素子または多板カラー撮像素子で構成された光電変換素子１２２に対して、式（７）で表現された変換をパイプライン処理により行なうフィルター処理部の構成を示している。
このフィルター処理部は、単色モノクロ撮像素子または多板カラー撮像素子から読み出した画像信号が入力されるシフトレジスタ１８２と、シフトレジスタ１８２から画像信号を読み出す読み出し位置を選択する二つのセレクター１８４と１８６と、セレクター１８４と１８６によってシフトレジスタ１８２から読み出された画像信号に対して補正係数ｋ１とｋ２をそれぞれ乗算する二つの乗算器１９４と１９６と、二つの乗算器１９４と１９６の演算結果を加算する加算器１９８とを有しており、入力データと出力データの数が等しいパイプライン処理によって単色モノクロ撮像素子または多板カラー撮像素子から読み出した画像情報の歪みを補正する。
図７において、歪み補正係数ｋ１、ｋ２と、セレクターの選択制御信号ｓ１、ｓ２は、後述する式（３０）で定義される変換行列の要素ｂ_ｉ，ｊを用いて、以下の様に表される。

ｋ_ｉ１は行列のｉ行目の中で、非０の左端の要素（ｂ_{ｉｌ｜｜ｌ}＜ｈ＝０はｉ行目でｈ番目以下の要素が全て０であることを表す。）

ｋ_ｉ２は行列のｋ_ｉ１の１に対する残差

ｉとｈが等しければ、読み出しのシフトなし、ｓ１＝ｓ２＝０

ｉとｈ−１が等しければ、読み出しの１画素シフト、ｓ１＝ｓ２＝１
として、図７における読み出しを切り換える。
以下、読み出しのシフト量（ｉ−ｈ）に応じてセレクターを増やす（図７ではシフト量が１画素の場合を示している）。
添字ｉは図７のフィルター処理部によるパイプライン処理のシーケンス番号を表し、ｋ_ｉｌはｉ番目のシーケンスでの係数を表している。添字ｉと添字ｊの差分は、セレクター１８４と１８６が選択するシフトレジスタ１８２から読み出す位置に関する選択基準を表している。
ｂ_ｉ，ｊは、次の式（３０）により定義される。

ここで、Ｐｉ_ｉはそれぞれ歪み補正前のｉ番目の画素データ、Ｐｃ_ｉは補正後の画素データ、ｂ_ｉ，ｊは歪み補正変換行列の要素（歪み補正係数）を表している。
単色モノクロ撮像素子または多板カラー撮像素子においては、読み出しの連続性を以下の様に場合分けされる。
（１）Ｐｉ_ｉ、Ｐｉ_ｉ＋１が連続したデータの場合

ここで、ａ_ｉ，ｊは後述する式（３５）で表される。また、Ｄはイメージャ上の連続するｍ個の画素ブロックで読み出したｎ個の画素のｉ番目の画素を読み出すまでに間引きした画素の数を表している。Ｆは、次の式（３２）で定義されるＷｉを超えない最大の整数（Ｆ≦０）である。

（２）Ｐｉ_ｉが間引いた画素の前の場合

（３）Ｐｉ_ｉが間引いた画素の後の場合

ａ_ｉ，ｊは、次の式（３５）で表現される、一次元補間でｎ／ｍ（ｎ＜ｍ）のサイズ変更を行なう変換におけるｎ行ｍ列の行列の係数である。

ここで、Ｐｉ_ｉはサイズ変更前のｉ番目の画素データ、Ｐｏ_ｉは変更後の画素データ、ａ_ｉ，ｊは変換行列の要素（サイズ変更の一次補間係数）である。
ａ_ｉ，ｊは、次の式（３６）で定義される。

ここで、Ｗｉ′は次の式（３７）で定義される。

前述したように、Ｗｉは式（３２）で定義され、ＦはＷｉを超えない最大の整数（Ｆ≦０）である。
歪み補正の処理の流れ
図８は歪み補正の処理の流れを示している。画像信号は光電変換の強度の情報Ｓ１と、ラスタスキャンの場合、時系列の情報Ｓ２を持っており、時系列情報から画素位置を算出することが出来る（Ｓ４）。上述のようにスケール変換に対応する読み出し規則は周期的であり、例えば最大で９３％程度のサイズ変更（電子ズーム）を行なう場合、２８／３０＝０．９３３となるので、サイズ変更のための間引き読み出しの周期は多くとも３０画素程度である。読み出し規則における間引き位置と、画素位置の情報から、対象としている画素が周期内の何処の位置にあるかを算出できる。例えば１２画素周期の処理の場合水平スタート位置から２６１番目の画素はｍｏｄ（２６１，１２）＝９画素目の位相である。ここで、ｍｏｄ（Ｎ，ｘ）は数値Ｎを数値ｘで除算した剰余を意味している。この様に、Ｓ４で算出した画素位置の情報と、Ｓ４の読み出し規則の周期、間引き位置の情報から、前述の式（７）に示した重み付き加算演算の係数（Ｓ５）および加算演算を行なう画素の位相操作の情報（Ｓ６）を得ることが出来る。Ｓ７では位相に応じて使用する画像信号の切り換えを行なう。この様に、位相情報によって指定された画素と加算の重み付け係数を用いて加算演算を行ない（Ｓ８）、歪み補正の出力画素とする。
光電変換読み出し部の画像信号をそのままメモリーに保存し、アドレス指定で演算すれば上述した位相の問題は回避できるが、ここではより高速なパイプライン処理について述べる。
図９は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。ここでは、一例として、水平方向の間引きを伴う一行目の読み出しについて考える。図９の左上を基準とすると読み出した画素位置は、Ｒｉ_０、Ｇｉ_１、Ｒｉ_２、Ｇｉ_３、Ｒｉ_４、Ｇｉ_５、Ｒｉ_６、Ｇｉ_７となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は

となる。
そのパイプライン処理は、図６に示したフィルター処理部によって行なわれる。シフトレジスタ１６２は、クロックに従う一回の動作毎に、保持している画像データを右方向にひとつシフトする。セレクター１６４は、ｓ１の状態に従って、シフトレジスタ１６２に保持されている隣接している五つの画素データのうちの一番目と三番目のいずれかを選択する。また、セレクター１６６は、ｓ２の状態に従って、シフトレジスタ１６２に保持されている隣接している五つの画素データのうちの三番目と五番目のいずれかを選択する。
乗算器１７４は、セレクター１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクター１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１９４の出力と乗算器１９６の出力とを加算する。
表１は図６に示したフィルター処理部のパイプライン処理の動作（状態遷移）を表している。

シフトレジスタ１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、Ｃ１＝ｉ０、Ｃ２＝ｉ１、Ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作毎に右方向にシフトしていく。これに伴い、セレクター１６４は、ｓ１が１のときはＣ１を選択し（従ってｄ１＝Ｃ１となり）、ｓ１が０のときはＣ３を選択する（従ってｄ１＝Ｃ３となる）。一方、セレクター１６６は、ｓ２が１のときはＣ３を選択し（従ってｄ２＝Ｃ３となり）、ｓ２が０のときはＣ５を選択する（従ってｄ２＝Ｃ５となる）。また、クロックに同期してフィルター係数設定部１４４内のメモリーから係数ｋ１が乗算器１７４に、係数ｋ２が乗算器１７６に供給される。加算器１７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。
表１から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクターの切り換え、式（７）に示した間引き規則に応じた重み付け係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクター切り換え）を含めたパイプライン処理が行なわれる。
また、撮像素子がベイヤー配列や補色フィルターの配列のようなＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙｓ）以外の、モノクロや三板カラーの撮像素子の様に、単一の撮像素子上の色情報が一種類である場合には、ベイヤー配列のＣＦＡのように歪み補正をする際に同一色の画素を扱うために一画素の間隔を空ける必要はなく、また、間引きの方法も上述の様に同一色の信号の位相を合わせるために（Ｒ、Ｇ、Ｒ、Ｇ、…というように読み出しの順序を一定にするために）二画素連続で空ける必要はない。
単色の撮像素子では、隣接した画素の重み付け加算をデータを選択しながら行なうので、歪み補正（変換）は、次の式（３９）で表される。

ここで、Ｐｃは変換後の画素データ、Ｐｉは変換元の画素データである。
そのパイプライン処理は、図７に示したフィルター処理部によって行なわれる。シフトレジスタ１８２は、クロックに従う一回の動作毎に、保持している画像データを右方向にひとつシフトする。セレクター１８４は、ｓ１の状態に従って、隣接する三つの画素データのうちの一番目と二番目の一方を選択する。また、セレクター１８６は、ｓ２の状態に従って、隣接する三つの画素データのうちの二番目と三番目の一方を選択する。
乗算器１９４は、セレクター１８４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１９６は、セレクター１８６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１９４の出力と乗算器１９６の出力とを加算する。動作のシーケンスは図６と同様である。
本実施形態の撮像装置では、光電変換素子で取得された画像データを、少なくとも垂直方向について、好ましくは垂直方向と水平方向の両方について、ハード的に間引きして読み出している。従って、本実施形態の撮像装置は、光電変換素子の全ての画像データを読み出した後にソフト的に間引く通常の撮像装置と比較して短時間のうちに画像データを読み出し得る。
さらに、本実施形態の撮像装置では、画素間引きして読み出された画像データに対して、間引かれた画素データを線形補間すると共に設定された領域に応じて縮小変換する歪み補正を行なっている。従って、本実施形態の撮像装置は、良質な画像を形成し得る。
第二実施形態
本実施形態は、特に動画の撮影に好適な撮像装置に向けられている。
図１０は本発明の第二実施形態の撮像装置の構成を示している。図１０において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する。
本実施形態の撮像装置２００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス２２０とを有している。つまり、撮像デバイス２２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
撮像デバイス２２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして連続的に読み出す読み出し制御部２２４とを有している。
撮像装置２００はさらに、出力する画像の領域を設定する領域設定部１３２と、読み出し制御部２２４の画素間引き読み出し規則を選択する読み出し規則選択部２３４と、撮像デバイス２２０から読み出された画像データの歪みを補正する歪み補正部１４０とを有している。歪み補正部１４０の詳細は第一実施形態で説明した通りである。
さらに、撮像装置２００は、読み出し制御部２２４が光電変換素子２２２から読み出す画像データの範囲（読み出し範囲）の基準位置をフレーム毎に変更する読み出し位相制御部２３０と、読み出し位相制御部２３０でフレーム毎に設定される読み出し範囲の基準位置に基づいて歪み補正部１４０で補正された画像データの全てのフレームに共通する範囲を選択する画像範囲選択処理部２４０とを有している。
読み出し位相制御部２３０が読み出し範囲の基準位置をフレーム毎に変更し、画像範囲選択処理部２４０が全てのフレームに共通する範囲を選択することに対応して、読み出し規則選択部２３４は、領域設定部１３２で設定された画像の領域よりも広い範囲に渡って読み出し制御部２２４が画像データを読み出すように、画素間引き読み出し規則を選択する。
撮像デバイス２２０内の読み出し制御部２２４は、読み出し規則選択部１３４で選択される読み出し規則と、読み出し位相制御部２３０で設定される読み出し範囲の基準位置とに基づいて、光電変換素子２２２内の画素配列中の対応する範囲の画像データ（１フレーム分の画素データ）を連続的に読み出す。その結果として、撮像デバイス２２０は、時系列的に連続する複数のフレームの画像データで構成される動画信号を出力する。
撮像装置２００は、好ましくはさらに、複数のフレームの画像データを一時的に記憶する三つの巡回型フレームメモリー２５２と２５４と２５６と、フレームメモリー２５２と２５４と２５６に記憶された複数のフレームの画像データに対して演算処理を行なって新たな画像データを生成するフレーム間演算処理部２６０とを有している。
従来のビデオシステムの動画の撮影においては２フィールド＝１フレームになるようなインターレース走査方式が良く用いられている。これは、一般の１／３０のフレームレートにおいてはインターレース操作による画像のちらつきは目立たないとされ、むしろインターレース操作によって、全点操作と同一の時間内でより広い領域の画像情報を得、フィールド間で補間して高速に高精細な画像を得る効果がある。
また、前述の式（７）に示される歪み補正を行なっても、読み出されていない画素データは復元され得ない。
本実施形態の撮像装置２００では、インターレース操作が二つのフィールド間で互いの欠落している画素データを補間するように、連続する二つのフレーム間で互いの欠落している画素データを補間する。
このため、読み出し位相制御部２３０は、読み出し制御部２２４が光電変換素子２２２から画素間引きして読み出す画素データの範囲（読み出し範囲）の基準位置をフレーム毎に変更させる。より詳しくは、読み出し位相制御部２３０は、読み出し範囲の基準位置を、一定の規則に従って周期的に、フレーム毎に変更させる。
例えば、読み出し位相制御部２３０は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。より好ましくは、読み出し位相制御部２３０は、連続する二つのフレームの画像データが共通に欠落した画素データを持たないように、読み出し範囲の基準位置をシフトさせる。シフト量は４〜８画素程度が好ましい。
その結果、特定のフレームの画像データにおいて間引き読み出しのために欠落した光電変換素子２２２内の特定の位置の画素データは、他のフレームの画像データに含まれるようになる。つまり、撮像デバイス２２０から出力される画像信号から、光電変換素子２２２の特定の位置の画素データが常に欠落することが避けられる。
さらに、フレーム間演算処理部２６０は、フレームメモリー２５２と２５４と２５６に記憶された連続するフレームの画像データに対して、欠落している画素データを補間する処理を行なう。例えば、連続する二つのフレームの画像データに対して１／２：１／２の加算を行なう。あるいは、連続する三つフレームの画像データに対して１／４：１／２：１／４の加算を行なってもよい。
図１１と図１２は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。これらの図において、［ｘ，ｙ］は光電変換素子１２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。
図１１と図１２に示されるように、光電変換素子１２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子１２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図１２のフレームの読み出し範囲は、図１１のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。
図１１のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子１２２の左上の画素位置［０，０］に一致している。つまり、

である。また、読み出し終了位置（ｍ，ｎ）は、

である。一方、図１２のフレームでは、左上の読み出し開始位置は、

である。また、読み出しの終了位置は、

である。
画像範囲選択処理部２４０は、図１１のフレームと図１２のフレームに共通する範囲を選択する。つまり、画像範囲選択処理部２４０は、図１１のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図１２のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部２４０で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。
また、予めクロップする領域を考慮すると、光電変換素子２２２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部２４０は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。
フレームメモリー２５２と２５４と２５６はいずれもＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）のメモリーとなっており、フレーム間演算処理部２６０はそれらのフレームメモリー２５２と２５４と２５６の同一位置の画素を用いて出力画像を生成する。
例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、

である。ここで、ｉ，ｊは画素位置を表し、ｌ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。
また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、

である。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスによる高画質化の効果が得られる。
また、本実施形態では、水平方向・垂直方向ともに間引き読み出しを行ない、一次元の歪み補正を水平・垂直ともにパイプライン処理で行なう例を示している。ＣＣＤの場合は、垂直転送→水平転送の動作を行なう撮像素子では、原理上水平方向に間引いて読み出す事が出来ないので、水平方向については式（１）と同様に全画素を読み出し、一次補間によるサイズ変更を行なう必要がある。垂直方向について前述の式（７）で示したように、間引いて読み出して歪み補正を前述と同様に行なう。
また、撮像時間の短縮を図るために、従来のビデオシステムの様に垂直方向には補間を前提とした複数のインターレースフィールド読み出しを行ない、水平方向には前述の間引き読み出しと歪み補正を行なってもよい。歪み補正後の各フィールドの画像は、図１０と同様な構成により補間的な合成を行なって画像を生成すればよい。
図１３は、１４画素中２画素の間引き読み出し（６／７のサイズ変更）を行なった後に、連続するフレーム間で平均化処理を行なって得られた動画像を示している。また、図１４は、１４画素中２画素の間引き読み出し（６／７のサイズ変更）に加えて、歪み補正（画素データ補間）を行なった後に、連続するフレーム間で平均化処理を行なって得られた動画像を示している。両者を比較することにより、図１４の画像は、図１３の画像と比較して、エッジ部分の歪みが低減されていることが分かる。
本実施形態の撮像装置は、第一実施形態の撮像装置の利点と同様の利点を有している。
これに加えて、本実施形態の撮像装置は、動画像撮影において、フレーム毎に読み出し規則を変えて画像データを読み出すことにより、光電変換素子内の特定の位置の画素データが欠落することを避けている。これにより、本実施形態の撮像装置は、歪みの少ない高精細な動画像を形成し得る。
本実施形態の撮像装置は、より好ましくは、連続するフレームの画像データに基づいて欠落している画素データを補間することにより、フレームによっては本当の画素データが欠落することを避けている。これにより、本実施形態の撮像装置は、さらに歪みやモアレの少ない高精細な動画像を形成し得る。
第三実施形態
図１７は、本発明の第三実施形態の撮像装置の構成を示している。図１７において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述において省略する。
本実施形態の撮像装置３００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス２２０とを有している。つまり、撮像デバイス２２０から出力される画像信号は動画像であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
撮像デバイス２２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして連続的に読み出す読み出し制御部２２４とを有している。
撮像装置３００はさらに、出力する画像の領域を設定する領域設定部１３２と、読み出し制御部２２４の画素間引き読み出し規則を選択する読み出し規則選択部３０２と、撮像デバイス２２０から読み出された画像データの歪みを補正する歪み補正部１４０とを有している。歪み補正部１４０の詳細は第一実施形態で説明した通りである。
さらに、撮像装置３００は、読み出し制御部２２４が光電変換素子２２２から読み出す画像データの読み出し規則をタイミングジェネレーター３０４と同期して、読み出し規則変調部３０６によってフレーム毎の読み出し規則を変調している。この読み出し規則変調部３０６ではフレーム毎に異なる読み出し配置を生成するが、読み出し画素の総数は変更していない。歪み補正部１４０は、読み出し規則変調部３０６で生成した読み出し規則に従ってフィルター処理するフィルター処理部１４２と、フィルター処理部１４２のフィルター処理に使用するフィルター係数を設定するフィルター係数設定部１４４とを有している。
さらに、複数のフレーム間で異なる読み出し規則で読み出され、歪み補正のフィルター処理を行なった画像データは、フレーム間演算部３０８でフレーム間演算が行なわれ、図示しない後続の処理系にデータを出力する。
これまで、図面を参照しながら本発明の実施の形態を述べたが、本発明は、これらの実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。

本発明によれば、撮像素子からの画像データの読み出しに要する時間が短く、サイズ変更に対して歪みの少ない高精細な画像を形成し得る撮像装置が提供される。

Claims (20)

1. 被写体の画像を出力する撮像装置であり、
   光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された前記画像データを必要に応じて画素間引きして読み出す読み出し制御部とを有している撮像デバイスと、
   前記撮像デバイスの出力画像の領域を設定する領域設定部と、
   前記領域設定部で設定された領域に応じて前記読み出し制御部の画素間引き読み出し規則を選択する読み出し規則選択部と、
   前記読み出し制御部によって前記光電変換素子から読み出された前記画像データの歪みを補正する歪み補正部であって、前記読み出し規則選択部で選択された前記画素間引き読み出し規則に基づいて前記光電変換素子から読み出された前記画像データをフィルター処理するフィルター処理部を有する歪み補正部とを有している、撮像装置。
2. 請求項１において、前記歪み補正部は、前記フィルター処理に使用するフィルター係数を設定するフィルター係数選択部をさらに有し、前記フィルター係数設定部は、前記フィルター係数を含むルックアップテーブルを記憶する記憶部と、前記読み出し規則選択部が選択した前記画素間引き読み出し規則に応じて前記記憶部に記憶されている前記ルックアップテーブルから前記フィルター係数を選択するフィルター係数選択部とを有している、撮像装置。
3. 請求項２において、前記フィルター係数のルックアップテーブルは前記読み出し規則に応じて設定されている、撮像装置。
4. 請求項１または請求項２において、タイミングジェネレーターと、前記読み出し規則選択部からの読み出し規則を前記タイミングジェネレーターと同期して、フレーム毎の読み出し規則を変調する読み出し規則変調部とをさらに有し、
   前記歪み補正部は、前記読み出し規則変調部で生成された読み出し規則に従ってフィルター処理する、撮像装置。
5. 請求項１において、前記歪み補正部は、前記フィルター処理に使用するフィルター係数を設定するフィルター係数設定部をさらに有し、前記フィルター係数設定部は、前記読み出し規則選択部が設定した前記画素間引き読み出し規則に応じた演算を行なって前記フィルター係数を算出する、撮像装置。
6. 請求項１において、前記光電変換素子から出力される画像信号は、時系列的に連続する複数のフレームの画像データで構成される動画信号であり、
   前記読み出し制御部が前記光電変換素子から読み出す画像データ読み出し範囲の基準位置を前記複数のフレームのフレーム毎に変更する読み出し位相制御部と、
   前記読み出し位相制御部で前記フレーム毎に設定される読み出し範囲の基準位置に応じて前記歪み補正部で補正された画像データのうち前記複数のフレームに共通する領域を範囲選択する画像範囲選択処理部と、
   前記画像範囲選択処理部で範囲選択された領域の画像信号を出力する画像信号処理部とを有する、撮像装置。
7. 請求項１において、前記光電変換素子から出力される画像信号は、時系列的に連続する複数のフレームの画像データで構成される動画信号であり、前記複数のフレームのフレーム毎に前記読み出し規則を異ならせ、前記フィルター処理部はそれぞれの前記読み出し規則に応じた歪み補正を行なう、撮像装置。
8. 請求項７において、前記歪み補正部から出力された画像信号に対して所定の処理を行なう画像処理部を有する、撮像装置。
9. 請求項６または請求項８において、前記撮像装置は、前記複数のフレームの画像データを一時的に記憶する複数の記憶部と、前記複数の記憶部に記憶された前記複数のフレームの画像データに対して演算処理を行なって新たな画像データを生成するフレーム間演算処理部とを有しており、前記画像信号処理部は前記フレーム間演算処理部で形成された画像の画像信号を出力する、撮像装置。
10. 請求項６または請求項８において、前記撮像装置は、前記複数のフレームの画像データに対して演算処理を行なって新たな画像データを生成するフレーム間演算処理部とを有しており、前記画像信号処理部は前記フレーム間演算処理部で形成された画像の画像信号を出力する、撮像装置。
11. 請求項９または請求項１０において、前記複数のフレームの画像データに対する演算処理が加算平均である、撮像装置。
12. 請求項１において、前記光電変換素子はカラーフィルターアレイ（ＣＦＡ）が前面に配置された単板カラー撮像素子であり、前記フィルター処理部は、前記単板カラー撮像素子から読み出した画像信号を一時的に保持するシフトレジスタと、前記シフトレジスタから前記画像信号のうち同色の信号を読み出す読み出し位置を選択する二つのセレクターと、前記二つのセレクターによって前記シフトレジスタから読み出された画像信号に対して補正係数をそれぞれ乗算する二つの乗算器と、前記二つの乗算器の演算結果を加算する加算器とを有しており、入力データと出力データの数が等しいパイプライン処理によって前記単板カラー撮像素子から読み出した画像情報の歪みを補正する、撮像装置。
13. 請求項１において、前記光電変換素子は単色モノクロ撮像素子または多板カラー撮像素子であり、前記フィルター処理部は、前記単色モノクロ撮像素子または前記多板カラー撮像素子から読み出した画像信号を一時的に保持するシフトレジスタと、前記シフトレジスタから画像信号を読み出す読み出し位置を選択する二つのセレクターと、前記二つのセレクターによってシフトレジスタから読み出された画像信号に対して補正係数をそれぞれ乗算する二つの乗算器と、前記二つの乗算器の演算結果を加算する加算器とを有しており、入力データと出力データの数が等しいパイプライン処理によって前記単色モノクロ撮像素子または前記多板カラー撮像素子から読み出した画像情報の歪みを補正する、撮像装置。
14. 請求項１２または請求項１３において、前記セレクターは、前記読み出し規則選択部が選択した前記画素間引き読み出し規則に基づいて前記シフトレジスタから画像信号を読み出す読み出し位置を選択する、撮像装置。
15. 光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを有している撮像デバイスとを有する撮像装置の信号処理方法であって、
    前記撮像デバイスの出力画像の領域を設定する工程と、
    前記設定された領域に応じて画素間引き読み出し規則を選択する工程と、
    前記選択された画素間引き読み出し規則に応じて前記読み出し制御部で制御されて前記光電変換素子から画像データを画素間引きして読み出す工程と、
    前記選択された画素間引き読み出し規則に応じてフィルター係数を設定し、前記光電変換素子から読み出された画像データをフィルター処理して画像データの歪みを補正する工程と、
    前記歪み補正された画像信号に対して所定の処理を行なう工程とを有している、撮像装置の信号処理方法。
16. 光学像を光電変換して画像データを取得する光電変換素子を有している撮像デバイスを有する撮像装置の信号処理方法であって、
    前記撮像デバイスの出力画像の領域を設定する工程と、
    前記設定された領域に応じて画素間引き読み出し規則を選択する工程と、
    前記選択された画素間引き読み出し規則に基づいて前記光電変換素子から画像データを読み出す工程と
    前記読み出された画像データをフィルター処理して画像データの歪みを補正する工程とを有している、撮像装置の信号処理方法。
17. 請求項１６において、前記画像データの歪みを補正する工程は、前記選択された画素間引き読み出し規則に応じてフィルター係数を設定し、前記光電変換素子から読み出された画像データをフィルター処理する、信号処理方法。
18. 請求項１５または請求項１７において、前記フィルター係数は、複数のフィルター係数を含むルックアップテーブルから、前記選択された画素間引き読み出し規則に応じて前記フィルター係数を選択する、信号処理方法。
19. 請求項１５または請求項１７において、前記選択された画素間引き読み出し規則に応じた演算を行なって前記フィルター係数を算出する、信号処理方法。
20. 請求項１５または請求項１６において、前記撮像デバイスから時系列的に連続する複数のフレームの画像データで構成される動画信号を出力し、
    前記撮像デバイスから読み出す画像データの読み出し範囲をフレーム毎に設定し、前記フレーム毎に設定される読み出し範囲の基準位置に応じて前記歪み補正を行ない、
    前記歪み補正された画像データのうち複数のフレームに共通する領域を範囲選択し、
    前記範囲選択された領域の画像信号を出力する、信号処理方法。

Images