JP4285948B2

JP4285948B2 - 撮像装置

Info

Publication number: JP4285948B2
Application number: JP2002176911A
Authority: JP
Inventors: 伸之渡辺
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-06-18
Filing date: 2002-06-18
Publication date: 2009-06-24
Anticipated expiration: 2022-06-18
Also published as: JP2004023518A; US20030231247A1; US7542084B2

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置、特に、高解像度の撮像素子から任意サイズの縮小画像を高速で生成することの可能な撮像装置に関する。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。前記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は 400万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。
【０００３】
しかしながら、撮影画像の全ての用途において、 400万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像としては、むしろ画素サイズを小さくしたものを使用する場合が多い。また、デジタルカメラの特徴としては、撮像後に画像を取捨選択することができる。すなわち、同一に被写体においても、撮像条件を異ならせて、複数の画像を撮像し、でき映えのよいものだけを残すようにしたりすることができる。
【０００４】
ところが、現状のデジタルカメラにおいては、撮像素子から、画像メモリへのフラッシングの時間がネックになっており、画素数が大きい機種で、高速な連写撮影ができるものが少ない。また、デジタルカメラにおいても、動画の撮影の要求があるため、やはり、メモリへの転送は高速に行わなければならず、予め扱うデータ量を少なくすることが好ましい。上述のように、記録される画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリに転送されるデータ量を減らし、メモリ転送の速度を向上できる。
【０００５】
従来、画像サイズを縮小する場合において、線形補間によるサイズ縮小手法では、まず、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって小さいサイズの画像を作成する。図18及び図19は、ベイヤー配列画像から双一次補間及び双三次補間のサンプリングで、フルカラーの縮小画像を生成する手法を示した説明図である。図18に示した双一次補間のサンプリングによる場合は、点Ａ，Ｂ，Ｃ，Ｄのフルカラーデータを、近傍のＲ，Ｇ，Ｂのデータ計12点から計算する。例えば、点Ａに対しては、Ｒ43，Ｒ45，Ｒ63，Ｒ65，Ｂ34，Ｂ36，Ｂ54，Ｂ56，Ｇ44，Ｇ53，Ｇ55，Ｇ64の線形結合、点Ｂに対しては、Ｒ03，Ｒ03，Ｒ23，Ｒ25，Ｂ14，Ｂ16，Ｂ34，Ｂ36，Ｇ15，Ｇ24，Ｇ26，Ｇ35の線形結合となる。以下点Ｃ，Ｄについても同様な線形結合となる。一方、図19に示した双三次補間のサンプリングによる場合は、例えば点Ｂに対しては、Ｒ61，Ｒ63，Ｒ65，Ｒ67，Ｒ01，Ｒ03，Ｒ05，Ｒ07，Ｒ21，Ｒ23，Ｒ25，Ｒ27，Ｒ41，Ｒ43，Ｒ45，Ｒ47，Ｂ72，Ｂ74，Ｂ76，Ｂ70，Ｂ12，Ｂ14，Ｂ16，Ｂ10，Ｂ32，Ｂ34，Ｂ36，Ｂ30，Ｂ52，Ｂ54，Ｂ56，Ｂ50，Ｇ75，Ｇ04，Ｇ06，Ｇ13，Ｇ15，Ｇ17，Ｇ22，Ｇ24，Ｇ26，Ｇ20，Ｇ33，Ｇ35，Ｇ37，Ｇ44，Ｇ46，Ｇ55の合計48点の線形結合になる。
【０００６】
このような、線形補間による縮小画像の生成手法は、画質の面では良好であるが、全画素のデータを取り込んで、線形補間を行っているので動作が遅いという欠点がある。これは、上述のように連写機能や、動画撮影の場合に不都合である。
【０００７】
【発明が解決しようとする課題】
上述のようにメモリに転送する読み出しデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法が知られている。特開２００１−２４５１４１号公報には、そのような方法の利点を利用した画像の縮小方法について開示がなされている。ところで、特開２００１−２４５１４１号公報開示の手法においては、ベイヤー配列の原画像をＲＧＢのプレーンに分解して、３板の状態で各色の水平及び垂直方向の画素積分を行って、水平及び垂直方向のサイズ変更を行っている。したがって、撮像素子の画素データの読み出しにおいては、全点数を読み出していることには変わりがない。画素の読み出しクロックの制限から、全点数の読み出しを行っていると、上述のように、動画の撮影や連写の撮影を行うことが困難である。
【０００８】
ところで、平均化読み出しの方法としては、ＣＣＤを用いた撮像素子においては、電流値の加算読み出しを行い、読み出しのクロックを上げるという方法がある。しかしながら、この方法を用いると転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまう課題があった。更に、このＣＣＤによる読み出しの課題を解決する方法としては、特開平６−２１７２０１号公報に開示されている、ＣＭＯＳのキャパシタ素子による電圧読み出しの平均化処理がある。また、特開平９−２４７６８９号公報には、平均化、間引きサンプリングを、動画静止画で切り替えるという手法の提案がなされており、読み出しスピードに関しては改善の効果が示されている。
【０００９】
本発明においては、上述のような画像の取り込みスピードの向上の要求について着眼し、高解像度の撮像素子から撮影画像の任意のサイズの縮小画像を取り込む速度の向上を図ることができるようにした撮像装置を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
上記の問題点を解決するため、請求項１に係る発明は、分光透過率が異なるカラーフィルタアレイを前面に配置した撮像素子により、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子から出力する画像信号の画像サイズを縮小する際に用いる画像縮小率を、予め用意されている複数の離散的な値からなる画像縮小率の中から一つ設定する画像サイズ設定手段と、前記画像サイズ設定手段が設定した画像縮小率に対応する行と列の大きさ及びブロック数となるように設定した各サンプリングブロックに基づいて前記撮像素子からサンプリングブロックの総数の画像信号を読み出す画素位置を制御する読み出し制御手段と、前記読み出し制御手段によって読み出された前記撮像素子からの画像信号を均等間隔の配列に再配分するフィルタ処理部とを有し、前記読み出し制御手段が設定した前記各サンプリングブロックは、基本ブロック及び基本ブロックとは行及び／又は列の大きさが異なる調整ブロックのいずれかであり、前記読み出し制御手段は、前記画像サイズ設定手段が設定した画像縮小率に対応して前記基本ブロックと調整ブロックの組み合わせを変えて前記撮像素子から画像信号を読み出し、前記フィルタ処理部は、前記画像サイズ設定手段により設定された画像サイズに応じた重み付けフィルタ処理を前記画像信号に対して行うことによって、読み出した画素の間隔を等間隔にすることを特徴とするものである。
【００１１】
このように構成された撮像装置においては、画像サイズ設定手段で設定された画像縮小率に対応した基本ブロックと調整ブロックの組み合わせからなるサンプリングブロックに基づいて、撮像素子の読み出しが制御されるようになっているので、撮像素子より直接、設定された画像サイズに対応した読み出しが行われ、縮小画像読み出しの読み出し取り込み速度の向上を図ることができる。また、所定の読み出し規則で読み出された画像信号に対して、フィルタ処理部で重み付けフィルタ処理を行って再配分し、読み出し画素間隔を等間隔とする画像信号を生成するようにしているので、読み出し画素間隔が一定でないことにより生じる画像の歪みやエッジのジャギーを低減することができる。
【００１２】
請求項２に係る発明は、請求項１に係る撮像装置において、前記撮像素子からの読み出し規則を前記複数の画像縮小率に対応して記憶するルックアップテーブルを更に有し、前記読み出し制御手段は、前記画像サイズ設定手段が設定した画像縮小率に対応する読み出し規則をルックアップテーブルから求め、この求めた読み出し規則に応じて前記撮像素子から画像信号を読み出すことを特徴とするものである。
【００１３】
請求項３に係る発明は、請求項２に係る撮像装置において、前記読み出し規則は、前記撮像素子から画像信号を読み出すモードとして、全画素読み出しを行うモードと、所定の画素の間引きを行って読み出す間引き読み出しモードと、複数の画素を平均化して読み出す平均化読み出しモードとを組み合わせたものであることを特徴とするものである。
【００１４】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は本発明に係る撮像装置の第１の実施の形態の全体の概略構成を示すブロック構成図である。図１において、１は光学系で、該光学系１は被写体の像を撮像モジュール２の、図示しない単板ベイヤー配列のカラーフィルタアレイを前面に配置したＣＭＯＳセンサなどからなる撮像素子２−１上に結像する。撮像素子２−１の動作は、サンプリング制御部２−２によって制御される。撮像素子２−１の出力信号は映像信号処理部４によって処理され、映像信号を記録する場合にはメモリ５にその結果を出力し、リアルタイムの情報をビューファインダなどの画像表示部６に出力する。サンプリング制御部２−２では、メモリ５に記録する場合及び画像表示部６に表示する場合に応じて、画像サイズ変更制御部３の制御に従って、サンプリング制御を切り替えるようになっている。
【００１５】
そして、画像サイズ変更制御部３は、全画素読み出しモードと画素サイズ変更読み出しモードの選択設定が行えるようになっていると共に、撮像素子２−１から出力される映像信号の画像サイズの複数の縮小率が予め用意されていて、所定の画像縮小率が選択設定できるようになっている。また、ルックアップテーブル７には、画像サイズ変更制御部３に用意されている複数の画像縮小率に対応した、後述の間引き読み出し及び平均化読み出しを組み合わせた画像サイズ変更読み出しのための読み出し規則が記憶されており、画像サイズ変更制御部３において選択設定されると、選択設定された縮小率に対応した読み出し規則が、ルックアップテーブル７よりサンプリング制御部２−２に供給され、サンプリング制御部２−２は供給された読み出し規則に基づいて、撮像素子２−１の読み出し制御を行い、所定の縮小率の映像信号が撮像素子２−１より出力されるようになっている。
【００１６】
次に、上記第１の実施の形態の撮像モジュール２における平均化読み出しを実現する処理回路付きのＣＭＯＳセンサからなる撮像素子２−１の構成を、図２に基づいて説明する。なお、説明を簡単にするため撮像素子２−１のうち水平１ラインでの動作を説明するための構成を図示している。読み出し開始位置を指定する、サンプリング制御部２−２に設けられているスタートパルス位置レジスタ11からのＳＴＢ信号12−１，12−２，・・・を、ＣＭＯＳセンサを駆動するシフトレジスタ13に対して入力信号として送る。この図示例では、シフトレジスタ13の動作は、２相のフリップフロップ（ＦＦ）動作になっており、１相目のＦＦ１はＨＣＫ1Aのクロック信号により動作し、２相目のＦＦ２はＨＣＫ2Aのクロック信号により動作し、縦続接続されているシフトレジスタユニット（ＳＲ１）13−１，（ＳＲ２）13−２，・・・への転送操作を行うようになっている。そして、各シフトレジスタユニットの出力がＨになれば、ＣＭＯＳセンサを構成する各ＣＭＯＳセンサ素子14−１，14−２，・・・のゲートが開き、各コンデンサＣに蓄積されている光電荷に対応した電圧の読み出しのラインをアクティブにして、光信号を読み出す。
【００１７】
ここで、読み出し開始位置を指定するスタートパルス位置レジスタ11で11ａ，11ｂの２カ所を同時にＨの状態にして、対応する２カ所のシフトレジスタユニット13−１，13−３の１相目のＦＦ１を同時にアクティブにすると、シフトレジスタユニット13−１，13−３の２相目のＦＦ２の出力を同時にＨの状態にして、ＣＭＯＳセンサ素子14−１，14−３の各ゲートを開く。これにより、指定された位置のキャパシタＣの電圧を平均化したものが読み出される。すなわち、ＣＭＯＳセンサ素子14−１及び14−３のキャパシタＣの電圧が平均化されて読み出される。以下、シフトレジスタ13の動作により、ＣＭＯＳセンサ素子14−２，14−４の各ゲートが同時に開くと言うように、２個の読み出し位置は右側にシフトしていく。
【００１８】
図３に、このような平均化読み出し動作を行うためのスタート位置を指定するスタートパルス位置レジスタ11の内容と、２相のシフトレジスタ13の動作、及びＣＭＯＳセンサの出力信号を時系列に示している。上述のように、ＣＭＯＳセンサの出力端子15では、ＣＭＯＳセンサ素子14−１，ＣＭＯＳセンサ素子14−３の平均ＡＶＥ（ＣＭＯＳ１・ＣＭＯＳ３），ＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４の平均ＡＶＥ（ＣＭＯＳ２・ＣＭＯＳ４），ＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−５の平均ＡＶＥ（ＣＭＯＳ３・ＣＭＯＳ５）と順次出力していく。ここで、ＡＶＥは括弧内の２つのＣＭＯＳセンサ出力信号の平均値を示す。
【００１９】
このように、シフトレジスタ13を駆動する１回の動作パルスによって、２カ所以上のＣＭＯＳセンサ素子のキャパシタの電圧を、平均化して読み出すことができる。ここで、ＣＭＯＳセンサの１ラインの色フィルタの並びが、Ｒ−Ｇ−Ｒ−Ｇ・・・のようになっているとすると、以上の読み出し動作では、水平方向に１画素おきに並んだ2 個のＲ信号の平均、Ｇ信号の平均というように逐次右側にシフトしながら、平均化した光信号を読み出していることになる。
【００２０】
次に、本実施の形態におけるＣＭＯＳセンサで利用する他の読み出し方式である画素間引き読み出し（飛び越し読み出し）について説明する。図４の（Ａ）は、１画素おきの読み出し（間引き飛び越し読み出し）動作を実現するためのシフトレジスタの構成を示すブロック構成図である。この１画素おきの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−１，13−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ1Bクロック信号で駆動される第３のＦＦ３を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は次段のシフトレジスタユニットの２相目ＦＦ２の入力に接続するようにして構成されている。なお、図４の（Ａ）においては、次に説明する２画素間引きの読み出し用シフトレジスタと兼用させているため、第４のＦＦ４も合わせて図示している。
【００２１】
このように構成されたシフトレジスタにおいては、図４の（Ｂ）に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、ＨＣＫ1A，ＨＣＫ2A，ＨＣＫ1Bクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４，・・・に対応するゲート制御信号が出力され、１画素おきの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４，・・・の順に画素信号ＣＭＯＳ２，ＣＭＯＳ４，・・・が得られる。
【００２２】
図５は、２画素間引きの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この２画素間引きの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−１，13−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ1Bクロック信号で駆動される第３のＦＦ３を配置すると共に、ＨＣＫ1Cクロック信号で駆動される第４のＦＦ４を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は１段離れた次々段のシフトレジスタユニット13−３（ＳＲ３）の２相目ＦＦ２に接続するようにして構成されている。
【００２３】
このように構成されたシフトレジスタにおいては、図６に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、ＨＣＫ1A，ＨＣＫ2A，ＨＣＫ1B，ＨＣＫ1Cクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−６，・・・に対応するゲート制御信号が出力され、２画素間引きの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−６，・・・の順に画素信号ＣＭＯＳ３，ＣＭＯＳ６，・・・が得られる。
【００２４】
次に、撮像素子から前記平均化読み出し及び間引き読み出し（飛び越し読み出し）を利用して、実際に画像を縮小して読み出す手法について述べる。本実施の形態では、単板ベイヤー配列のカラーフィルタを設けた撮像素子を用いることを前提としている。したがって、同一の被写体の位置（座標位置）に対応するフルカラーのデータは、撮像素子上ではそれぞれ位置の異なるＲ，Ｇ，Ｂのデータを補間、平均化をするなどして推定して得るようにしている。図７では、４×４（４行４列）のサンプリングブロック16個と、４×２のサンプリングブロック４個と、２×４のサンプリングブロック４個、２×２のサンプリングブロック１個とを用いて、（４＋４＋４＋４＋２）×（４＋４＋４＋４＋２）＝18×１８画素を５×５画素に縮小する場合の態様の一部を示しており、この縮小化変換を画像全体で行うようになっている。
【００２５】
したがって、この場合の縮小率は５／18で、約27％となる。また、この縮小化変換処理において、４画素のブロックに対しては、１画素おきの２画素平均化読み出しで、２クロックでサンプリングを行うこととし、２画素のブロックに対しては２クロックの読み出しで行うことにすると、18画素のサンプリングを、２×４＋２＝10クロックで行うことができる。したがって、このような縮小化読み出しにより、撮像素子から光信号を読み出す時点での高速化が図れることが解る。
【００２６】
また、図８に示すように、４×４のブロック16個、６×４のブロック４個、４×６のブロック４個、６×６のブロック１個で、22×22画素を５×５画素とすることにより、５／22の約 22.72％の縮小化処理を行うことができる。この場合、水平読み出しのクロック数は、４画素のブロックでは２クロック、６画素のブロックでは３クロックとなり、合計２×４＋３＝11クロックで読み出すことができる。この場合の縮小化読み出しの高速化の原理と効果は、図７に示したものと同様である。
【００２７】
次に、画像サイズ変更制御部３で設定される縮小率と、それに対応する読み出し規則の間の関係について説明する。次に示すように、縮小率ａが与えられると、ある長さの基本ブロックがｘ−１個、調整用のブロックが１個というようなｘの値が与えられる。
（１）２画素ブロック（ｘ−１）個＋４画素ブロック１個で調整
if 50＞ａ＞33.3（％）
ａ／100 ＝ｘ／｛２（ｘ−１）＋４｝→ｘ＝ａ／（50−ａ）
（２）４画素ブロック（ｘ−１）個＋２画素ブロック１個で調整
else if 33.3＞ａ＞25（％）
ａ／100 ＝ｘ／｛４（ｘ−１）＋２｝→ｘ＝ａ／（２ａ−50）
（３）４画素ブロック（ｘ−１）個＋６画素ブロック１個で調整
else if 25＞ａ＞20（％）
ａ／100 ＝ｘ／｛４（ｘ−１）＋６｝→ｘ＝ａ／（50−２ａ）
（４）６画素ブロック（ｘ−１）個＋４画素ブロック１個で調整
else if 20＞ａ＞16.6（％）
ａ／100 ＝ｘ／｛６（ｘ−１）＋４｝→ｘ＝ａ／（３ａ−50）
【００２８】
このように、ブロックの組み合わせ（例えば４画素の基本ブロックと２画素の調整用のブロック）は、縮小率によって変わるようになっている。例えば、（１）のケースは、２画素の基本ブロックをｘ−１個、４画素の調整用ブロック1 個としたときに、ｘの値と縮小率ａの関係を表している。この（１）のケースの場合、例えば、２画素のブロックの方が多ければ（ｘ≧２）、33％以下の縮小率は、どのような組み合わせでも実現しない。したがって、縮小率を33％〜50％に限定した場合に、２画素のブロックと４画素のブロックの読み出しで画像の縮小が実現することを示している。同様に、（２）のケースの場合では、４画素と２画素の組み合わせでは、25％以下の縮小率は実現しない。以下同様に考え、縮小率によってブロックの画素数の組み合わせを割り当てるようにして、（１）〜（４）の場合分けを行い、サンプリング規則を算出するようにしている。
【００２９】
このような変換の計算をリアルタイムで行ってもよいが、本実施の形態では、画像サイズ変更制御部３で設定される縮小率ａとサンプリングブロック数ｘ（ある長さの基本ブロック（ｘ−１）個と調整用ブロック１個）の関係を、ルックアップテーブル（ＬＵＴ）７にして記憶させている。更に、このような画像縮小率ａとサンプリングブロック数ｘの関係を、グラフで示すと、図９のようになる。この図から解るように、前記（１）〜（４）で示した縮小化変換規則では、縮小率がとびとびの値しかとれないことが解る。特に33％付近の値の飛び方を見ると、３％程度の間隔があり、例えば35％とか32.5％などの縮小率に対しては、サンプリング方法（読み出し規則）がない。実用上、縮小率が離散的な値でも構わないとすれば、最大の離散幅を考慮して、25％までは縮小率を約３％刻み、20％までは 1.6％刻みと言うように、ＬＵＴを構成するようにする。
【００３０】
ところで、このような読み出し規則を構成するブロック単位での分割読み出しは、図２〜図６で説明したような、シフトレジスタを用いた平均化読み出し及び間引き読み出し（飛び越し読み出し）の組み合わせにおいて、読み出し位置等の調整を行うことで実現できる。次に、図10及び図11に基づいて、具体的な読み出し規則について説明する。図10及び図11は、いずれも縮小率を５／18とし、４画素の基本ブロック４個と調整用２画素ブロック１個とした読み出し規則によるサンプリング態様を示す図で、図10は調整用２画素ブロックの読み出しにおいて読み出しシフトを行わない態様を示し、図11は調整用２画素ブロックの読み出しにおいて読み出しシフトを行う態様を示している。なお、ここでは説明を簡単にするために、水平方向の読み出しについて示している。ここで、矢印で同時に読み出す画素のペアを示し、数字で読み出し位置のシフト量を示している。この図示例は、４＋４＋４＋４＋２＝18画素を５画素に変換を行った、縮小率５／18の態様を示している。この縮小率に応じて、読み出しペアの数は、例えば４画素のブロックが基本であれば２個、６画素のブロックが基本の場合は３個になる。
【００３１】
図10及び図11の図示例の場合、左端のブロックのサンプリングでは、Ｇ00＋Ｇ02のペア、Ｒ01＋Ｒ03のペアとなり（平均化読み出し）、４画素のブロックの場合、読み出し位置はブロック内では１画素のシフト、ブロック間では３画素のシフトになる（１，３，１，３の飛び越し数）。このような飛び越しの制御を行うには、図５及び図６に示したシフトレジスタのＦＦ１，ＦＦ２と外付けのＦＦ３，ＦＦ４の動作パルスを所定のものにセットすればよい。すなわち、このように画像の縮小率に対応させた平均化読み出し方法とシフト量とを、ルックアップテーブル７に記憶しておけばよい。
【００３２】
２画素のブロック部分の読み出しは、図10においては、カッコＡで示すように、次の４画素ブロックの画素を１個ずつ用いて４画素分の読み出しを、１画素シフトの２回の２画素平均化読み出しで行っている。一方、図11における２画素ブロック部分の読み出しは、カッコＡで示すように、２画素ブロックの前後の４画素ブロックの１個ずつの画素を使って４画素分の読み出しを２回の平均化読み出しで行う。そのため、２画素ブロックの前後のブロックでは、読み出し規則シフトが、（１，２）になる。２画素ブロック部分における平均化読み出しのクロック数は、単一画素の読み出しクロックと同じなので、元の画像の情報を有効に用いて、縮小画像が生成できる。
【００３３】
図10に示した読み出し手法では、２画素ブロック部分においてＧ，Ｒの読み出しの位相は変化しない。これに対して、図11に示した画素読み出し手法では、２画素ブロック部分で、Ｇ，Ｒの読み出しの位相が逆転する。すなわち、４画素ブロックでは、Ｇ→Ｒの順で読み出しているが、２画素ブロックでは、Ｒ→Ｇの順になっている。
【００３４】
この場合、読み出した画素を各色のプレーンに割り当てるときに、タイミングの同期（Ｒ→Ｇの位相反転）を必要とする。このように、本発明によれば、ＣＭＯＳの平均化読み出し、及び飛び越し読み出しの制御と、画像の縮小率を関連づけることによって、サイズ縮小の画像得るときに読み出しの速度を向上させることができる。したがって、動画撮影や連写撮影を行うときに、画像の解像度と読み出しスピードの関係を適切に設定することができる。すなわち、読み出し速度の向上のために解像度の関係を柔軟にすることができる。
【００３５】
上記第１の実施の形態における読み出し規則による読み出し態様は、調整用ブロックの介在によって読み出し間隔が一定ではないため、この縮小サンプリング読み出しの規則を撮像素子の画素アレイに割り当てると、縮小率によっては、画像の歪みや、あるいは、エッジのジヤギー（不自然な凹凸）が目立ってしまう。例えば、図９のグラフ図において、縮小率が41.6％だとすると、２画素の基本ブロック４個と、４画素の調整用ブロック１個の読み出し規則（５／12）となり、27.3％程度の縮小率であると、４画素の基本ブロック５個に対して２画素の調整用ブロック１個の読み出し規則（６／22）となる。このようにいずれも２画素ブロックと４画素ブロックの組み合わせとなるが、２画素のサンプリングと４画素のサンプリングの比率は２倍であるため、縮小画像では大きな段差ができてしまう。これに対して、縮小率20％の場合は、４画素の基本ブロックに対して６画素の調整用ブロック、あるいは６画素の基本ブロックに対して４画素の調整用ブロックが交互に現れるので、縮小画像ではジャギーが目立たない。
【００３６】
前者のような歪みを押さえるためには、画像サイズ変更制御部３において選択設定された縮小率に対応して読み出し規則を割り当てるために設けたルックアップテーブル７において、２画素と４画素の組み合わせからなる読み出し規則となる前記（１）及び（２）のケースの縮小率とならないように、画像サイズ変更制御部で設定される縮小率に制限を加え、画素サイズ変更制御部で設定された縮小率のうち、４画素と６画素の組み合わせからなる読み出し規則となる縮小率のみを採用し、その縮小率に対応した読み出し規則を割り当てるように構成する。これにより、歪みの目立たない縮小画像を提供することができる。
【００３７】
例えば、33.3％の縮小率の場合、２画素サンプリングブロックと４画素サンプリングブロックが交互の読み出し規則〔２／（４＋２）〕となる。このようにブロックの組み合わせにおけるブロック数（33.3％の縮小率の場合は２個）が少ない方が、直線を縮小サンプリングしたときのジャギーが規則的なものになるため歪みが目立たなくなる。また、30％の縮小率の場合は、４画素の基本ブロックが２個と２画素の調整ブロックが１個の読み出し規則〔３／（４＋４＋２）〕となり、この場合のブロックの組み合わせにおけるブロック数は３個となり少ないので、直線を縮小サンプリングしたときのジャギーは目立たないものとなる。このように、縮小するときには、ブロックの組み合わせにおけるブロック数が少ない方が、直線を縮小サンプリングしたときのジャギーの周期が短くなるため歪みが目立たない。これに対して、ブロックの組み合わせにおけるブロック数が多い場合、例えば、41.6％の縮小率の場合、２画素の基本ブロックが４個と４画素の調整ブロックが１個の読み出し規則〔５／（２＋２＋２＋２＋４）〕となり、４画素のサンプリングブロックの間に２画素のサンプリングブロックが４個も入ってしまうために、直線を縮小サンプリングしたときのジャギーの周期が長くなるため、急激な段差を生じることとなり、結果、歪みが目立ってしまうこととなる。よって、ブロックの組み合わせにおけるブロック数が少なくなるような縮小率（例えば、33％，30％，28.5％など）を選択するようにすると、ジャギーが目立たないようになる。
【００３８】
（第２の実施の形態）
次に、第２の実施の形態を図12に示すブロック構成図に基づいて説明する。この実施の形態は、上記第１の実施の形態で指摘したようなサンプリングによる縮小画像の歪みを押さえるための別の手法を示すものである。すなわち、図12に示したように、撮像素子２−１をサンプリング制御部２−２で、読み出し規則によりサンプリング読み出した後に、フィルタ処理部８による重み付けフィルタ処理（補間処理）で歪みを低減するようにしたものである。フィルタ処理部８の重み付けフィルタ処理における計数処理は、画素サイズ変更制御部３により選択設定された縮小率の内容に対応して指定される。
【００３９】
次に、このようなフィルタ処理部８の動作の詳細について説明する。フィルタ処理部８では、撮像素子２−１から一旦サンプリング出力した画素信号を、均等幅のサンプリング画素信号に割り当てるために、重み付けフィルタ加算の演算処理を行う。図13に示した例にとって、重み付けフィルタ加算の手法を説明する。画素配列で４つの４画素基準ブロックと１つの２画素調整用ブロックの画素４＋４＋４＋４＋２＝18個を縮小して、５画素の読み出しを行うステップを１周期とする。各ブロックの中央位置（図13の（Ａ）における２，６，10，14，18，20で示す位置ｉ〜ｎ）のうち、１周期のブロック配列の先頭ブロックの中央位置２（ｉ）と20（ｎ）では、読み出した画素と均等配列の画素の位置Ａ〜Ｆが一致している基準位置（Ａ＝ｉ，Ｆ＝ｎ）として、以下２〜５番目のブロックの中央位置（６，10，14，18で示す位置ｊ〜ｍ）は、基準位置の間で均等配列になるように、読み出した画素の水平方向の重み付け加算を行う。
【００４０】
この場合、ブロック位置２（ｉ）と20（ｎ）の間を５個に均等配分すると、均等配列の各点Ａ〜Ｆの間の距離は、それぞれ18／５となる。したがって、Ａ＝２の次の均等配列の各位置（Ｂ，Ｃ，Ｄ，Ｅ）の値は、それぞれ5.6 ，9.2 ，12.8，16.4となる。これらの均等配列の各位置Ａ〜Ｆを、それに隣接するサンプリング位置（例えば、均等配列位置Ｂ＝5.6 に対しては、ｉ＝２，ｊ＝６）を用いて、それらの重み付けフィルタ加算で表すと、Ｂ＝0.1 ×ｉ＋0.9 ×ｊとなる。以下、均等配列位置Ｃ，Ｄ，Ｅに付いても同様に表すことができ、その重み付けフィルタ加算で表した値は図13の（Ａ）に示すとおりである。このような５画素単位での再配分線形変換を、行列の線形フィルタ形式で表すと、図13の（Ｂ）のようになる。
【００４１】
また、図14の（Ａ），（Ｂ）は、４つの４画素基準ブロックと１つの６画素調整用ブロックの画素４＋４＋４＋４＋６＝22個を縮小して、５画素でサンプリングした例に付いて示したものである。また図15，16は、図13及び図14において調整用の最後のブロック（２画素又は６画素）のサンプリングを、図11に示したようにシフトして行った場合を示している。これらの図では、説明を簡単にするために水平方向の例のみを示しているが、垂直方向に関しても同様に重み付けフィルタ加算によって、均等間隔の配列に、再配分する。
【００４２】
したがって、画像サイズ変更制御部で設定される縮小率と、それに対応する図10，図11に示した様な読み出しの規則（平均化と、読み出しの位置のシフト）と、図13〜図16に示したような画素の重み付けの係数とをパラメータとして関連づけて記憶しておくことによって、図12のフィルタ処理部８の処理で、均等間隔の配列に再配列処理することができる。なお、このようなフィルタ処理の重み付け係数は、画像サイズの変更に連動して、サンプリング規則と同様にルックアップテーブル７として記憶しておけばよい。このような処理によって、例えば、図17の（Ａ）に矢印で示したような、エッジのジヤギーを、フィルタリングの効果によって、図17の（Ｂ）に矢印で示すように抑制することができる。
【００４３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば，画像サイズ設定手段で設定された画像縮小率に対応した基本ブロックと調整ブロックの組み合わせからなるサンプリングブロックに基づいて、撮像素子の読み出しが制御されるように構成されているので、撮像素子より直接、設定された画像サイズに対応した読み出しが行われ、縮小画像読み出しの読み出し取り込み速度を向上させることができる。また所定の読み出し規則で読み出された画像信号に対して、フィルタ処理部で重み付けフィルタ処理を行って再配分し、読み出し画素間隔を等間隔とする画像信号を生成するようにしているので、読み出し画素間隔が一定でないことにより生じる画像の歪みやエッジのジャギーを低減することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した撮像モジュールにおいて、平均化読み出し処理を行うための回路構成を示す図である。
【図３】図２に示した平均化読み出し処理回路の動作を説明するためのタイミングチャートである。
【図４】図１に示した撮像モジュールにおいて、間引き読み出し処理を行うための回路構成及びその動作を説明するためのタイミングチャートである。
【図５】間引き読み出し処理を行うための他の回路構成を示す図である。
【図６】図５に示した間引き読み出し処理回路の動作を説明するためのタイミングチャートである。
【図７】単板ベイヤー配列のカラーフィルタを設けた撮像素子において、18×18画素を５×５画素に縮小する態様を示す図である。
【図８】単板ベイヤー配列のカラーフィルタを設けた撮像素子において、22×22画素を５×５画素に縮小する態様を示す図である。
【図９】画像縮小率とサンプリングブロック数との関係を示すグラフ図である。
【図10】縮小率５／18としたときの読み出し規則によるサンプリング態様（読み出しシフトなし）を示す説明図である。
【図11】縮小率５／18としたときの読み出し規則によるサンプリング態様（読み出しシフトあり）を示す説明図である。
【図12】本発明の第２の実施の形態を示すブロック構成図である。
【図13】図12に示した第２の実施の形態におけるフィルタ処理部の重み付けフィルタ加算処理の一例を示す説明図である。
【図14】フィルタ処理部の重み付けフィルタ加算処理の他の例を示す説明図である。
【図15】フィルタ処理部の重み付けフィルタ加算処理の更に他の例を示す説明図である。
【図16】フィルタ処理部の重み付けフィルタ加算処理の更に他の例を示す説明図である。
【図17】フィルタ処理部による処理後の画像態様を示す説明図である。
【図18】ベイヤー配列画像から双一次補間のサンプリングでフルカラーの縮小画像を生成する態様を示す説明図である。
【図19】ベイヤー配列画像から双三次補間のサンプリングでフルカラーの縮小画像を生成する態様を示す説明図である。
【符号の説明】
１光学系
２撮像モジュール
２−１撮像素子
２−２サンプリング制御部
３画像サイズ変更制御部
４映像信号処理部
５メモリ
６画像表示部
７ルックアップテーブル
８フィルタ処理部
11 スタートパルス位置レジスタ
12−１，12−２，・・・ＳＴＢ信号
13 シフトレジスタ
13−１，13−２，・・・シフトレジスタユニット
14−１，14−２，・・・ＣＭＯＳセンサ素子
15 出力端子

Claims

分光透過率が異なるカラーフィルタアレイを前面に配置した撮像素子により、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、
前記撮像素子から出力する画像信号の画像サイズを縮小する際に用いる画像縮小率を、予め用意されている複数の離散的な値からなる画像縮小率の中から一つ設定する画像サイズ設定手段と、
前記画像サイズ設定手段が設定した画像縮小率に対応する行と列の大きさ及びブロック数となるように設定した各サンプリングブロックに基づいて前記撮像素子からサンプリングブロックの総数の画像信号を読み出す画素位置を制御する読み出し制御手段と、
前記読み出し制御手段によって読み出された前記撮像素子からの画像信号を均等間隔の配列に再配分するフィルタ処理部とを有し、
前記読み出し制御手段が設定した前記各サンプリングブロックは、基本ブロック及び基本ブロックとは行及び／又は列の大きさが異なる調整ブロックのいずれかであり、
前記読み出し制御手段は、前記画像サイズ設定手段が設定した画像縮小率に対応して前記基本ブロックと調整ブロックの組み合わせを変えて前記撮像素子から画像信号を読み出し、
前記フィルタ処理部は、前記画像サイズ設定手段により設定された画像サイズに応じた重み付けフィルタ処理を前記画像信号に対して行うことによって、読み出した画素の間隔を等間隔にすることを特徴とする撮像装置。
前記撮像素子からの読み出し規則を前記複数の画像縮小率に対応して記憶するルックアップテーブルを更に有し、
前記読み出し制御手段は、前記画像サイズ設定手段が設定した画像縮小率に対応する読み出し規則をルックアップテーブルから求め、この求めた読み出し規則に応じて前記撮像素子から画像信号を読み出すことを特徴とする請求項１に係る撮像装置。
前記読み出し規則は、前記撮像素子から画像信号を読み出すモードとして、全画素読み出しを行うモードと、所定の画素の間引きを行って読み出す間引き読み出しモードと、複数の画素を平均化して読み出す平均化読み出しモードとを組み合わせたものであることを特徴とする請求項２に係る撮像装置。