JP4142340B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4142340B2 JP4142340B2 JP2002147136A JP2002147136A JP4142340B2 JP 4142340 B2 JP4142340 B2 JP 4142340B2 JP 2002147136 A JP2002147136 A JP 2002147136A JP 2002147136 A JP2002147136 A JP 2002147136A JP 4142340 B2 JP4142340 B2 JP 4142340B2
- Authority
- JP
- Japan
- Prior art keywords
- read
- readout
- frame
- image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
Description
【０００１】
【発明の属する技術分野】
この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の可能な撮像装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。上記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は 400万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。
【０００３】
上述のような、デジタルカメラ（電子スチルカメラ）では、元来、静止画の撮像を目的としているが、銀塩カメラのファインダーと同様に、被写体の撮影範囲を確認するファインダーとして、従来の光学ファインダーあるいは、電子式のファインダー（ビューファインダー）を備えている。光学ファインダーは、一般に電子式ファインダーに比べ高画質であるが、光学ズームが４〜10倍程度の高倍率になると、光学式ファインダーでは追従できないので、電子式ファインダーを用いるのが一般的な手法である。電子式ファインダーは、デジタルカメラの撮像画素数に比べて、１／10〜１／30程度の画素数である。一般に、画素の動作クロックから考えて、数百万画素の撮像素子でＮＴＳＣレートのように秒30枚のフレームを撮像することは困難であるので、撮像素子の全画素の読み出しによる表示は行わず、ビューファインダーの表示に必要なだけの画素数の読み出しを行い（間引き読み出し、あるいは平均化）、リアルタイム表示を行うようにしている。
【０００４】
ここで、ビューファインダーは被写体の状況や構図をリアルタイムで確認することを目的としているので、使用者に対して、良質な画像を提供しなければならない。またビューファインダーの他に、デジタルカメラでは動画の撮像も行える機能を備えた機種も多く商品化されている。また逆に、デジタルビデオカメラでも、高精細な静止画を撮像できるような機能も備えられている。前者においては、記録できる画像の規格から数100 万画素のサイズの撮像素子を用いて、ＶＧＡ（約30万画素）、ＱＶＧＡ（約75,000画素）の大きさにサイズ変更し、ＪＰＥＧ，ＭＰＥＧ等の情報圧縮を行い記録している。これは、使用者の立場から考えて、電子撮像機器を複数所持して行動する煩わしさから開放されたいという至極当然な欲求からくるものである。
【０００５】
【発明が解決しようとする課題】
上記のような要求から、高解像度特性をもつ撮像装置においても、良質な低解像度の画像の提示、記録が必要とされる。一般に解像度が不足すると、サンプリング周波数よりも、高周波の構造の折り返しによるモアレが発生することが知られている。このために、モアレを抑制する方法としては、高解像度の画像を全画素読み出して、平均化したものを低解像度の画像に割り当てることによって、低解像度画像の帯域を抑制し、モアレを目立たなくする方法が知られている。
【０００６】
しかしながら、この方法においてはローパスの処理を行うので、必要以上に細部の構造を抑制してしまい、解像感の低下を招く。高解像度の撮像素子を用いて低解像度の画像を撮影する場合に、細部構造まで再現しようとすると、逆に、間引きを行い少ない画素数で離散的なサンプリングを行った方がよい場合がある。更に、上述のように動画のフレームレートと撮像素子の動作クロックの制限から、高画質の動画を得ることを目的として全画素を読み出すことは困難である。
【０００７】
平均化読み出しの方法としては、ＣＣＤを用いた撮像素子においては、電流値の加算読み出しを行い、読み出しのクロックを上げるという方法がある。しかしながら、この方法を用いると、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうという課題があった。更に、このＣＣＤ撮像素子における加算読み出しの課題を解決する方法としては、特開平６−２１７２０１号公報に開示されている、ＣＭＯＳのキャパシタ素子による電圧読み出しの平均化処理がある。また、特開平８−５２９０４号公報には、平均化、間引きサンプリングを動画静止画で切り替えるという提案がなされており、読み出しスピードに関して改善の効果が示されている。
【０００８】
しかしながら、上述のように、低解像度の画像においても、微細構造を保持し、解像感を与えるためには、単に全画素の読み出しによる平均化処理では帯域が不足していると言う問題があり、一方、一定のサンプリング規則による間引き読み出しでは、解像感が得られるものの、モアレや偽色が目たっでしまうという問題がある。また、間引かずに読み出された信号は静止画用信号として出力し、間引いて読み出された信号は動画用信号として出力させるようにした特開平９−２４７６８９号公報開示の技術では、動画の撮影においては間引きサンプリング規則がフレーム間で一定であるため、モアレ低減の効果が少ないという問題点がある。
【０００９】
本発明は、従来の動画撮影機能を備えたデジタルカメラにおける上記課題を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを第１の目的とし、また、低コスト・コンパクト化のための単板カラーシステムで偽色の発生を抑圧した撮像装置を提供することを第２の目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、分光透過率が異なるカラーフィルタアレイ（ＣＦＡ）を前面に配置した撮像素子アレイにより、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子アレイから画像信号を読み出すモードとして、少なくとも水平方向１ラインの全画素読み出しを行う全画素読み出しモードと、少なくとも水平方向１ラインの読み出し画素の間引きを行って読み出す間引き読み出しモードと、複数画素を平均化して読み出す平均化読み出しモードのうちから少なくとも１つのモードを設定可能なモード設定手段と、前記画像信号を読み出す画素位置を制御し決定する読み出し規則制御手段とを有し、前記モード設定手段によって、間引き読み出しのモード及び又は平均化読み出しモードが設定されたとき、前記読み出し規則制御手段が決定する読み出し画素位置が、読み出す画像信号のフレーム毎に異なるようにし、且つ前記モード設定手段によって間引き読み出しモードが設定されたとき、前記読み出し規則制御手段が決定する読み出し画素位置は、それぞれ、隣接する複数の画素からなる所定の複数の領域内の画素位置で構成され、前記複数の各領域はそれぞれ離間し、且つ前記撮像素子アレイの水平及び垂直方向に並んでおり、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に前記複数の各領域の位置を変更制御することを特徴とするものである。
【００１１】
この請求項１に係る発明には、図１，図７，図17，図21及び図25〜図28に示す技術内容が対応する。このように構成した撮像装置においては、高解像度の撮像素子アレイから比較的高速の撮像レートでサイズ縮小画像を読み出しても、フレーム間で読み出し画素位置（読み出し規則）を異ならせるようにしているので、モアレを低減させることができる。また、フレーム間で相関演算を行うときに、読み出し画素位置を異ならせた方が多くの情報を得ることができる場合があるので、１フレームのサンプリング画素数が画素クロックとフレームレートで制限されるときには、フレーム間で情報を相互補間することが可能となる。また、複数の読み出し画素位置領域を離間して配置しているので、サンプリング数を減らすことができ、更にフレーム毎に読み出し画素位置を異ならせることによって、サンプリング数を減らしたことによる画像情報の欠落を補間することができる。またサンプリング数を減らすことにより、フレームレートを高速化することができる。
【００１２】
請求項２に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、前記撮像素子アレイの垂直方向に隣接して位置する前記各領域が互いに水平方向にシフトした状態で並んでおり、前記読み出し規則制御手段は、前記読み出し画素位置領域の位置をフレーム毎に変更することを特徴とするものである。
【００１３】
この請求項２に係る発明には、図12に示す技術内容が対応する。このように構成した撮像装置においては、撮像素子アレイの読み出しにおいて、水平方向のシフトを加えて、サンプリングの位相を変調するようにしているので、特定方向のモアレを低減させることができ、更にフレーム毎に読み出し画素位置を変更することによって、モアレの位相変調を行い一層目立たないようにすることが可能となる。
【００１４】
請求項３に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域の位置のフレーム毎の変更に基づくシフト量を補償するために、読み出した画像信号に対してフィルタ演算処理を行うフィルタ手段を、更に有することを特徴とするものである。
【００１５】
この請求項３に係る発明には、図11に示す技術内容が対応する。このように構成した撮像装置においては、フィルタ手段で画素位置領域のフレーム毎の変更に基づくシフト量が補償され、像の移動（ぶれ）を低減させつつ、色モアレ及び輝度モアレも低減することができる。
【００１６】
請求項４に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしている平行四辺形形状であることを特徴とするものである。
【００１７】
この請求項４に係る発明には、図13に示す技術内容が対応する。このように構成した撮像装置においては、読み出し画素位置領域を平行四辺形形状としているので、矩形形状とする場合に比べて、水平方向のモアレを低減することができる。
【００１８】
請求項５に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしている平行四辺形形状と、前記領域を構成する垂直方向の画素の位置がシフトしていない矩形形状との組み合わせであることを特徴とするものである。
【００１９】
この請求項５に係る発明には、図13の（Ｂ），（Ｄ）に示す技術内容が対応する。このように構成した撮像装置においては、画像面内の複数の読み出し画素位置領域を、領域毎に平行四辺形形状と矩形形状の組み合わせで変更することができ、それによりサンプリングのカットオフ周波数がぼかされ、特定方向のモアレを低減することが可能となる。
【００２０】
請求項６に係る発明は、請求項５に係る撮像装置において、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に、前記領域の形状を、該領域の位置に応じて前記平行四辺形形状又は前記矩形形状に選択し切り替えることを特徴とするものである。
【００２１】
この請求項６に係る発明には、図13の（Ｂ），（Ｄ）に示す技術内容が対応する。このように構成した撮像装置においては、読み出し画素位置領域の形状を矩形と平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数と方向のモアレを低減すると共に、更にフレーム毎に読み出し画素位置領域の形状を選択切り替えるようにしているので、特定の周波数と方向のモアレを更に低減することができる。
【００２２】
請求項７に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしており、且つ水平方向に対する傾きが互いに異なる２種類の平行四辺形形状の組み合わせで構成され、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に、前記領域の形状を、該領域の位置に応じて形状の異なる２種類の平行四辺形のうちいずれかを選択し交互に切り替えることを特徴とするものである。
【００２３】
この請求項７に係る発明には、図13の（Ｃ），（Ｅ）に示す技術内容が対応する。このように構成した撮像装置においては、読み出し画素位置領域の形状を２種類の平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数と方向のモアレを低減し、更にフレーム毎に領域の形状を選択切り替えるようにして、特定の周波数と方向のモアレを一層低減することができる。
【００２４】
請求項８に係る発明は、請求項１に係る撮像装置において、前記モード設定手段によって間引き読み出しモードが設定されたとき、読み出された画像信号に対して所定の平均化演算を行う平均化手段を、更に有することを特徴とするものである。
【００２５】
この請求項８に係る発明には、図２，図３，図14に示す技術内容が対応する。このように構成した撮像装置においては、平均化手段で平均化演算を行うことにより、帯域制限を施し、色モアレ及び輝度モアレを低減することができ、また１クロックで平均化して複数の画素のサンプリングを行えるので、高速化が可能となる。
【００２６】
請求項９に係る発明は、請求項８に係る撮像装置において、前記平均化手段によって平均化演算を行う対象とする領域と平均化演算を行う対象としない領域を、撮像素子アレイ上に交互に存在させることを特徴とするものである。
【００２７】
この請求項９に係る発明には、図14に示す技術内容が対応する。このように構成した撮像装置においては、平均化を行った領域からは色差情報を算出し、平均化を行わない領域からは輝度情報を算出することによって、像全体の解像度を低減することなく、色モアレを低減することができ、また領域毎にサンプリング周波数と位相を異ならせることによって、特定の周波数のモアレを低減することが可能となる。
【００２８】
請求項10に係る発明は、請求項９に係る撮像装置において、前記平均化演算を行う対象とする領域と、平均化演算を行う対象としない領域とを、読み出す画像信号のフレーム毎に交換切り替えることを特徴とするものである。
【００２９】
この請求項10に係る発明には、図14に示す技術内容が対応する。このように構成した撮像装置においては、領域毎にサンプリング態様（規則）を異ならせ、更にフレーム毎にサンプリング態様を交換するようにしているので、サンプリングの周波数と位相を異ならせ、視覚的に色モアレと輝度モアレを低減させることができる。
【００３０】
請求項11に係る発明は、請求項１に係る撮像装置において、前記全画素読み出しモード時に読み出された連続するフレーム中の同一ブロック位置に相当する画像信号を平均化した信号から色信号を抽出し、間引き読み出しモード時に読み出された信号からは輝度信号を抽出し、前記それぞれ抽出した色信号と輝度信号を合成し、連続する画像データを生成する手段とを更に有することを特徴とするものである。
【００３１】
この請求項11に係る発明には、図17〜図22に示す技術内容が対応する。このように構成した撮像装置においては、連続するフレームで間引き読み出し信号から輝度信号を、平均化信号から色信号を別々にサンプリングし合成するようにしているので、画像情報をフレーム間で補完し、制限されたサンプリング数で、色モアレ及び輝度モアレの少ない画像を生成することができる。なお、この請求項12に係る発明における輝度信号の抽出手法は、画像信号中のＲＧＢ各色の信号を間引き読み出しした後に平均化し輝度信号とする手法（図18，19が対応）と、Ｇ信号をブロック平均で読み出しした後に平均化し輝度信号とする手法（図22が対応）とを含む。
【００３２】
請求項12に係る発明は、請求項11に係る撮像装置において、読み出す画像信号のフレーム間の輝度情報の差分を検出する手段と、該差分検出手段で検出されたフレーム間差分に基づいて、輝度情報、色差情報の補間方式を切り替える手段とを更に有することを特徴とするものである。
【００３３】
この請求項12に係る発明には、図22〜図28に示す技術内容が対応する。このように構成した撮像装置においては、フレーム間の輝度情報の差分検出手段を備え、フレーム間の相関の少ない画像間ではフレーム間補間を停止し、フレーム内補間に切り替えることができ、連続するフレームでのＹ／Ｃ合成を行った場合における像のぶれを低減することができる。
【００３４】
【発明の実施の形態】
次に、実施の形態について説明するが、実施の形態の説明に先立ち、まず本発明の動作原理について説明する。動画の撮像装置においては、動作速度を上げるために、従来より、インターレーススキャンの方式を用いている。これは、ＯＤＤ，ＥＶＥＮのフレームで交互に画素位置を読み出し、表示する方式で、ＮＴＳＣのレートでは観察者にとって、不自然のないものとされている。また、ウオブリングという方式は、表示装置においてフレーム毎に表示位置をシフトする方法で、ウオブリングのピッチと動作周波数を調整することによって、観察者の負担を低減することができる (IEEE Trans. on Consumer Electronics 47 [1] Feb. 2001, p 16〜24参照) 。位相変調の方式は、理想的には、ＣＣＤの画素を機械的な方式でずらすことでＣＣＤが持っている空間周波数を超えてサンプリングを行い、折り返りによるモアレを低減する。動画の撮像・観察においては、フリッカーが観察者にとって目立たなくような範囲の設定を用いれば、撮像位置や表示位置が、フレーム毎にずれていてもよいし、色モアレはかえって目立たない。本発明においては、一部でこのようなインターレーススキャンやウォブリングの動作原理に基づいている。
【００３５】
更に、縮小サンプリングで、指定したブロックを代表するフルカラーデータを作る画素の読み出しはＲＧＢ，補色ＣＦＡではＣＭＹの色がそろっている必要がある。一般によく使用されるベイヤー配列のＣＦＡではＧチャンネルが多いのでＲＧＢ＋Ｇ，補色ＣＦＡではＣＭＹ＋Ｇというように１組のデータを使えばよい。前述のように、色モアレの発生の原因は規則的なサンプリングによって起きる帯域の折り返りであるので、サンプリングの様式を、時間的、空間的に、変更することが効果的である。
【００３６】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の実施の形態の全体の概略構成を示すブロック構成図である。図１において、１は光学系で、該光学系１は図示しない被写体の像を撮像モジュール２のカラーフィルタアレイを前面に配置したＣＭＯＳセンサなどからなる光電変換部２−１上に結像する。光電変換部２−１の動作は、サンプリング制御部２−２によって制御される。光電変換部２−１の出力信号は映像信号処理部４によって処理され、映像信号を記録する場合にはメモリ５にその結果を出力し、リアルタイムの情報をビューファインダーなどの画像表示部６に出力する。サンプリング制御部２−２では、メモリ５に記録する場合及び画像表示部６に表示する場合に応じて、画像サイズ変更制御部３の制御に従って、サンプリング制御を切り替えるようになっている。
【００３７】
次に、本発明の撮像モジュール２における基本的な読み出し動作である順次全画素読み出し以外の読み出しである、平均化読み出し処理で用いる平均化処理回路の構成について、図２に基づいて説明する。。なお、説明を簡単にするために、図２においては素子をアレイ状に配置したＣＭＯＳセンサの水平１ラインでの動作を説明するための構成について図示している。読み出し開始位置を指定する、サンプリング制御部２−２に設けられているスタートパルス位置レジスタ11からのＳＴＢ信号12−１，12−２，・・・を、ＣＭＯＳセンサを駆動するシフトレジスタ13に対して入力信号として送る。この図示例では、シフトレジスタ13の動作は、２相のフリップフロップ（ＦＦ）になっており、１相目のＦＦ１はＨＣＫ1Aのクロック信号により動作し、２相目のＦＦ２はＨＣＫ2Aのクロック信号により動作し、縦続接続されているシフトレジスタユニット（ＳＲ１）13−１，（ＳＲ２）13−２，・・・への転送操作を行うようになっている。そして、各シフトレジスタユニットの出力がＨになれば、ＣＭＯＳセンサを構成する各ＣＭＯＳセンサ素子14−１，14−２，・・・のゲートが開き、各コンデンサＣに蓄積されている光電荷に対応した電圧の読み出しのラインをアクティブにして、光信号を読み出す。
【００３８】
ここで、読み出し開始位置を指定するスタートパルス位置レジスタ11で11ａ，11ｂの２カ所を同時にＨの状態にして、対応する２カ所のシフトレジスタユニット13−１，13−３の１相目のＦＦ１を同時にアクティブにすると、シフトレジスタユニット13−１，13−３の２相目のＦＦ２の出力を同時にＨの状態にして、ＣＭＯＳセンサ素子14−１，14−３の各ゲートを開く。これにより、指定された位置のキャパシタＣの電圧を平均化したものが読み出される。すなわち、ＣＭＯＳセンサ素子14−１及び14−３のキャパシタＣの電圧が平均化されて読み出される。以下、シフトレジスタ13の動作により、ＣＭＯＳセンサ素子14−２，14−４の各ゲートが同時に開くと言うように、２個の読み出し位置は右側にシフトしていく。
【００３９】
図３に、このような平均化読み出し動作を行うためのスタート位置を指定するスタートパルス位置レジスタ11の内容と、２相のシフトレジスタ13の動作、及びＣＭＯＳセンサの出力信号を時系列に示している。上述のように、ＣＭＯＳセンサの出力端子15では、ＣＭＯＳセンサ素子14−１，ＣＭＯＳセンサ素子14−３の平均ＡＶＥ（ＣＭＯＳ１・ＣＭＯＳ３），ＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４の平均ＡＶＥ（ＣＭＯＳ２・ＣＭＯＳ４），ＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−５の平均ＡＶＥ（ＣＭＯＳ３・ＣＭＯＳ５）と順次出力していく。ここで、ＡＶＥは括弧内の２つのＣＭＯＳセンサ出力信号の平均値を示す。
【００４０】
このように、シフトレジスタ13を駆動する１回の動作パルスによって、２カ所以上のＣＭＯＳセンサ素子のキャパシタの電圧を、平均化して読み出すことができる。ここで、ＣＭＯＳセンサの１ラインの色フィルタの並びが、Ｒ−Ｇ−Ｒ−Ｇ・・・のようになっているとすると、以上の読み出し動作では、水平方向に１画素おきに並んだ2 個のＲ信号の平均、Ｇ信号の平均というように逐次右側にシフトしながら、平均化した光信号を読み出していることになる。
【００４１】
次に、本発明で利用する他の読み出し方式である画素間引き読み出しについて説明する。図４の（Ａ）は、１画素おきの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この１画素おきの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−１，13−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ1Bクロック信号で駆動される第３のＦＦ３を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は次段のシフトレジスタユニットの２相目ＦＦ２の入力に接続するようにして構成されている。なお、図４の（Ａ）においては、次に説明する２画素間引きの読み出し用シフトレジスタと兼用させているため、第４のＦＦ４も合わせて図示している。
【００４２】
このように構成されたシフトレジスタにおいては、図４の（Ｂ）に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、ＨＣＫ1A，ＨＣＫ2A，ＨＣＫ1Bクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４，・・・に対応するゲート制御信号が出力され、１画素おきの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４，・・・の順に画素信号ＣＭＯＳ２，ＣＭＯＳ４，・・・が得られる。
【００４３】
図５は、２画素間引きの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この２画素間引きの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−１，13−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ1Bクロック信号で駆動される第３のＦＦ３を配置すると共に、ＨＣＫ1Cクロック信号で駆動される第４のＦＦ４を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は１段離れた次々段のシフトレジスタユニット13−３（ＳＲ３）の２相目ＦＦ２に接続するようにして構成されている。
【００４４】
このように構成されたシフトレジスタにおいては、図６に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、ＨＣＫ1A，ＨＣＫ2A，ＨＣＫ1B，ＨＣＫ1Cクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−６，・・・に対応するゲート制御信号が出力され、２画素間引きの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−６，・・・の順に画素信号ＣＭＯＳ３，ＣＭＯＳ６，・・・が得られる。
【００４５】
以上のように、図１における画素サイズ変更制御部３からの制御信号に基づいて、サンプリング制御部２−２に対してスタートパルス位置レジスタ用の読み出し開始位置と平均化の情報並びに飛び越し情報を与えると共に、各シフトレジスタ駆動クロック信号を制御することにより、ＣＭＯＳセンサの全画素順次読み出しの他に、同時読み出し（平均化）あるいは間引き読み出しを行えるようになっている。
【００４６】
以上本発明の読み出し動作に必要な、画素の平均化読み出し及び飛び越し読み出しの動作の基本形について説明した。本発明では、これら２つの読み出し動作の組み合わせで撮像処理動作が行われる。
以下第１の実施の形態においては、
（１）フレーム毎に位相が異なる矩形ブロック読み出し
（２）：（１）の読み出し位置の位相補償フィルタ処理
（３）フレーム内で水平方向の読み出し位置の位相が異なるブロック読み出し
（４）：（１）の読み出し方式のフレーム間比較処理による色モアレの低減
（５）：（３）の読み出し方式のフレーム間での位相変調
（６）平行四辺形形状の読み出し、平行四辺形形状と矩形形状の読み出しの組み合わせ
（７）：（５）の読み出し方式のフレーム間での位相変調
について説明する。
【００４７】
また、第２の実施の形態においては、
（８）平均化読み出しと間引き読み出しの組み合わせによるフレーム内位相変調（９）：（８）の読み出し方式のフレーム間位相変調
（10）：（９）の読み出し方式を用いたＹ／Ｃ分離、合成処理
また、第３の実施の形態においては、
（11）：（10）の別の構成例：Ｙ信号の代わりにＧを読み出し、Ｃr ＝Ｒ−Ｇ，Ｃb ＝Ｂ−Ｇとし、Ｇ信号はローパスフィルタを介して読み出す例
また、第４の実施の形態においては、
（12）Ｙ／Ｃ分離読み出し方式のＹ（Ｇ）信号のフレーム補間とライン補間の切り替えを、被写体の動き検出で行う例について、それぞれ説明する。
【００４８】
（第１の実施の形態）
まず、本発明の具体的な第１の実施の形態として、フレーム毎にサンプリング位置ずらしを行って位相の異なる矩形ブロックを読み出し、そして、位置ずらしで読み出した連続したフレームの各ブロック画像データを比較して、偽色の最も少ないブロック画像データを選択して偽色を抑制するようにした撮像装置について説明する。図７は、かかる手法による撮像装置を示すブロック構成図である。
【００４９】
この実施の形態では、図８の（Ａ）に示すように、画像データを４×４画素の基本ブロックに分割し、１／16のサイズの画像に変更する例を示している。そして、各基本ブロックを更に２×２画素のＲＧＢの組の４つのサンプリング読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄに分割し、Ｉ番目のフレームでは単位ブロックＡを読み出し、Ｉ＋１番目のフレームでは単位ブロックＢを読み出し、Ｉ＋２番目のフレームでは単位ブロックＣを読み出し、Ｉ＋３番目のフレームでは単位ブロックＤを読み出すように、各フレーム毎に読み出し単位ブロックのサンプリング位置をずらしながら読み出しを行わせるようにする（位相変調読み出し）。このような２×２画素の矩形形状の読み出し単位ブロックが繰り返し構造となっていることを表すため、図８の（Ａ）においては、単位ブロックＡのみ４個所で示している。４×４画素の基本ブロックに対して２×２画素の単位ブロックでサンプリングしたデータは、１／16の縮小サンプリングでは同一位置の画素データ（ＲＧＢ）に割り当てられる。
【００５０】
図８の（Ｂ）は、図８の（Ａ）に示した読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄの位相変調読み出しを行わせる場合の各読み出し単位ブロックのフレーム露光（２フィールド露光）の態様を示すタイミングチャートである。横軸は時間方向であり、同一ラインの読み出しを行ったときに、受光素子の光信号がリセットされることを考慮すると、単位ブロックＡの読み出しを行ったときに水平方向に隣接する単位ブロックＣの信号がリセットされる。単位ブロックＣの信号の読み出し時には、このリセットされたタイミングから読み出し時間まで蓄積された光信号を読み出す。図８の（Ａ）に示したパターンでは、各単位ブロックの読み出し時には２フィールド分蓄積された信号を読み出すようになる。このように、サンプリングブロックをずらすことにより、位相変調の効果が生じ、色モアレの発生を低減することができる。
【００５１】
このような読み出し単位ブロックの位相変調読み出しを行わせるため、本実施の形態に係る撮像装置においては、図７に示すように、フレームカウンタ21とラインカウンタ22を備え、４×４画素の基本ブロックにおいて４つの読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄのどの単位ブロックを読み出すかを指定し、スタートパルス位置レジスタ23，水平シフトレジスタ24及び垂直シフトレジスタ25を動作させて、ＣＭＯＳセンサ26を読み出すようになっている。
【００５２】
ここで、使用するシフトレジスタのスタートパルスの位置を指定するスタートパルス位置レジスタ23の内容を示すと、図９の（Ａ），（Ｂ）に示すスタートパルス１及び２の内容になる。図10は、スタートパルス位置レジスタ23の内容を図９の（Ａ）に示すスタートパルス１とし、ライン４ｎ＋１，及びライン４ｎ＋２の読み出し単位ブロックＡを読み出すときの、水平シフトレジスタ24の動作及びＣＭＯＳセンサ26の出力信号の時系列出力態様を示している。図示のように、ＣＭＯＳセンサ26の出力端子からはＣＭＯＳ１，ＣＭＯＳ２，ＣＭＯＳ５，ＣＭＯＳ６，・・・の順に出力信号が出力されて行く。このような動作により、２画素連続読み出し、２画素間引きの繰り返し読み出し動作となる。
【００５３】
表１には、図８の（Ａ）に示したサンプリング読み出し例において、フレーム番号とサンプリング読み出し単位ブロックとの関係と、そのフレーム番号とサンプリング読み出し単位ブロックとの関係に対応する各水平ライン４ｎ＋１，４ｎ＋２，４ｎ＋３，４ｎ（ｎは整数）に対するスタートパルス位置レジスタの内容を示している。
【００５４】
【表１】
【００５５】
例えば、Ｉ番目のフレームでは、読み出し単位ブロックＡを読み出すために、ライン４ｎ＋１，４ｎ＋２では、図９の（Ａ）に示すスタートパルス１の内容のスタートパルス位置レジスタを用いて読み出しを行い、ライン４ｎ＋３，４ｎではラインの読み出しを行わない（表１において×印で示している）。図８に示した例では、各水平ラインの読み出し画素は読み出し後リセットパルスによりリセットされ、その後蓄積状態に入るようになっているので、上記Ｉ番目のフレームで読み出しを行わないライン４ｎ＋３，４ｎの画素では、電荷の蓄積を継続している。同様にＩ＋１番目のフレームでは、読み出し単位ブロックＢを読み出すために、ライン４ｎ＋１，４ｎ＋２の読み出しは行わず、ライン４ｎ＋３，４ｎでは、スタートパルス２の内容のスタートパルス位置レジスタを用いて読み出しを行う。またＩ＋２番目のフレームでは、読み出し単位ブロックＣを読み出すために、ライン４ｎ＋１，４ｎ＋２では、スタートパルス２の内容のスタートパルス位置レジスタを用いて読み出しを行い、ライン４ｎ＋３，４ｎではラインの読み出しは行わない。またＩ＋３番目のフレームでは、読み出し単位ブロックＤを読み出すために、ライン４ｎ＋１，４ｎ＋２の読み出しは行わず、ライン４ｎ＋３，４ｎでは、スタートパルス２の内容のスタートパルス位置レジスタを用いて読み出しを行う。
【００５６】
以上のようにして、読み出し単位ブロック毎の位相をずらしたサンプリング読み出しが行われたＣＭＯＳセンサ26からの光信号は、図７に示すように、Ａ／Ｄ変換器27でデジタルデータに変換され、４つの読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄ毎の４画面分の画像メモリ28−１，28−２，28−３，28−４に、それぞれ蓄積される。なお、この４画面分のメモリ蓄積の動作はＦＩＦＯになっている。
【００５７】
そして、この実施の形態においては、ＷＢ切替部29で各撮影光源毎に切り替えられたホワイトバランスデータを用いて、ＲＧＢ−Ｌab変換器30−１，30−２，30−３，30−４において色空間変換を行い、Ｌabに変換された各サンプリング画像の色信号の彩度をコンパレータ31において比較演算し、彩度の最も低い色信号のサンプリング画面を選択し、Ｌab−ＲＧＢ逆変換器32を用いてＲＧＢ画像信号に変換する。これにより、偽色の最も少ないサンプリングＲＧＢ画像信号が得られる。
【００５８】
以上のようにして、サンプリングパターンすなわちサンプリング読み出し単位ブロックをフレーム毎にずらすことにより、位相変調の効果が得られ、色モアレにより偽色の発生を低減することができる。しかしながら、上記手法によってはモアレの発生は低減できるものの、フレーム毎にサンプリングする単位ブロックの位置がずれて異なるので、そのサンプリング結果を、そのまま１／16のサイズの画像信号として用いると、画像のぶれ、すなわちフリッカーが発生する。
【００５９】
このような不具合を防止するために、図11の（Ａ）〜（Ｄ）に示すように、隣接する２つの基本ブロックの２つの同一読み出し単位ブロックの信号を読み出した後、平均化処理し、位相補償を行うことによって、画像ぶれを防止することができる。すなわち、例えば、図11の（Ａ）に示すように、基本ブロック（ｉ，ｊ）の読み出し単位ブロックＡを基準にすると、読み出し単位ブロックＢのサンプリングにおいては、縦方向の平均化フィルタ処理、つまり基本ブロック（ｉ，ｊ）の読み出し単位ブロックＢと基本ブロック（ｉ−１，ｊ）の読み出し単位ブロックＢの信号の平均化を行い、また読み出し単位ブロックＣのサンプリングにおいては、横方向の平均化フィルタ処理、つまり基本ブロック（ｉ，ｊ）の読み出し単位ブロックＣと基本ブロック（ｉ，ｊ−１）の読み出し単位ブロックＣの信号の平均化を行い、また読み出し単位ブロックＤのサンプリングにおいては、斜め方向の平均化フィルタ処理、つまり基本ブロック（ｉ，ｊ）の読み出し単位ブロックＤと基本ブロック（ｉ−１，ｊ−１）の読み出し単位ブロックＤの信号の平均化を行うことにより、いずれのフレームにおいても読み出し単位ブロックＡと同じ位置でサンプリングされた状態になり、画像ぶれを有効に防止することができる。なお、この後、比較し彩度の最も小さい信号を選択出力させることは同様である。
【００６０】
上記実施の形態の説明では、サンプリングパターンとして、４×４画素の基本ブロックを、画面上において縦横にずれずに整然と並んで配置された状態にブロック分割したものを示したが、これに制限されるものではなく、例えば図12に示すように、水平方向に互いに２画素ずつずれて配置されるように、すなわち４×４画素の各基本ブロックが千鳥格子状に配置されるように分割してもよい。この図示例では、縮小画像にすると読み出し単位ブロックは１個の画素となるので、１画素の半分位ずらされた状態となり、フリッカーは生じるけれども、色が目立たなくなる可能性が生じる。
【００６１】
また、上記実施の形態においては、４×４画素の基本ブロックにおいて、ライン４ｎ＋１と４ｎ＋２，あるいはライン４ｎ＋３と４ｎのスタートパルス位置をそれぞれ同一にして、各読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄをそれぞれ矩形パターンとしたものを示したが、ライン４ｎ＋１と４ｎ＋２，及びライン４ｎ＋３と４ｎのスタートパルス位置を１画素ずらすことによって、図13の（Ａ）に示すように、各読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄを平行四辺形パターンとしてサンプリングすることができ、この平行四辺形パターンの読み出し単位ブロックを用いて縮小化したフルカラーデータを作成することができる。
【００６２】
このように、読み出し単位ブロックを平行四辺形パターンとすることにより、同じく２×２画素でＲＧＢ＋Ｇの矩形パターンの読み出し単位ブロックとは異なるＣＦＡ（カラーフィルタアレイ）の位相関係でのサンプリングを行うことができるので、図13の（Ｂ）に示すように、平行四辺形パターンの読み出し単位ブロックと矩形パターンの読み出し単位ブロックを混在させてサンプリングを行うことにより、サンプリングの位相変調が可能となる。また図13の（Ｃ）に示すように、向きの異なる平行四辺形パターンの読み出し単位ブロックを上下対称になるように混在配置してサンプリングするようにしてもよい。なお、図13の（Ｂ），（Ｃ）に示したパターンによるサンプリング態様は、各読み出し単位ブロックを複数フレームに亘ってサンプリングするのではなく、１つのフレームでのサンプリングである。
【００６３】
また、図13の（Ｂ）に示した平行四辺形パターンと矩形パターンとを混在させたサンプリングや、図13の（Ｃ）に示した向きを変えた平行四辺形パターンの組み合わせによるサンプリングにおけるサンプリングパターンを、フレーム毎に切り替えるようにしてもよい。すなわち、図13の（Ｂ）の場合、読み出し単位ブロックＡ，Ｃは平行四辺形パターンで、読み出し単位ブロックＢ，Ｄは矩形パターンであるが、次のフレームでは図13の（Ｄ）に示すように、読み出し単位ブロックＡ，Ｃは矩形パターンに、読み出し単位ブロックＢ，Ｄは平行四辺形パターンにしてサンプリングし、また図13の（Ｃ）における各読み出し単位ブロックの平行四辺形パターンの向きを逆にした図13の（Ｅ）に示すような平行四辺形パターンで、フレーム毎に切り替えサンプリングする。このようにフレーム間で読み出し単位ブロックのサンプリングパターンを交換切り替えることによって、モアレを低減することができる。またフレーム間での位相変調を行うため、ＯＤＤフレームでは図13の（Ｂ）のパターンにしたのに対して、ＥＶＥＮフレームでは図13の（Ｄ）に示すパターンでサンプリングし、同様にＯＤＤフレームでは図13の（Ｃ）のパターンにしたのに対して、ＥＶＥＮフレームでは図13の（Ｅ）に示すパターンでサンプリングするようにしてもよい。
【００６４】
色モアレの原因が、サンプリング位相の規則性にあるのであれば、上記のように平行四辺形パターンのサンプリングと、矩形パターンのサンプリングを組み合わせ、更にフレーム間でサンプリングパターンを交換切り替えを行うことによって、位相変調を行ってサンプリングするのと等価な効果が得られるので、モアレの低減を図ることができる。
【００６５】
（第２の実施の形態）
また、ＣＦＡを実装した撮像素子において、画素の平均化処理を行うことによって、線形補間と同じ処理が行うことができ、実際には対象とする色のない位置の画素においても、補間などによって擬似的に、そこの位置での画素値を作り出している。一般に、ベイヤー配列のような規則的なＣＦＡにおいては、間引き処理において、サンプリング格子が各色において規則的であるので、被写体の高周波パターンに起因する色モアレが発生する。
【００６６】
次に、第２の実施の形態として、色モアレの発生を抑制するには、上述の補間処理ようにローパスで帯域を制限する方法の他に位相変調をかける方法が考えられ、平均化読み出しを用いて擬似的に読み出しの位相変調を行う方式を示す。図14の（Ａ），（Ｂ）に示すように、Ｒ，Ｇ，ＢのＣＦＡの信号を読みとることを想定して説明する。
【００６７】
この実施の形態においては、図14の（Ａ）に示すように、ライン４ｎ＋１とライン４ｎ＋２では平均化読み出しを行い、ライン４ｎ＋３とライン４ｎでは平均化読み出しは行わずに２画素読み出し、２画素飛ばしを行う。ライン４ｎ＋１のＧ11，Ｇ13の光信号は、平均化読み出しの方式で読み出される。平均化処理は線形補間と同じであり、線形補間による近似によれば、これはＲ12の位置のＧの信号（Ｇ12）に相当する。同様に、Ｒ12，Ｒ14の平均化処理によりＧ13の位置のＲの信号（Ｒ13）を擬似的に形成される。同様に、ライン４ｎ＋２ではＢ22，Ｇ23の疑似信号が得られる。この配列と、ライン４ｎ＋３，ライン４ｎで読み出される２×２のブロックのＣＦＡの配列を比較すると、配列が逆位相になっていることが解る。すなわち、Ｒ−Ｇ，Ｂ−Ｇの並びが逆転している。したがって、このような動作を行うことにより、１枚の画像で縦方向にサンプリングの位相変調ができ、前述のようにＣＦＡの規則的配列で規則的に間引いて読み出す場合に発生する色モアレが低減する。また、平均化処理を行っているためにライン４ｎ＋１，４ｎ＋２のサンプリングと、ライン４ｎ＋３，ライン４ｎのサンプリング帯域も異なることが解る。色モアレの発生は、帯域制限によっても抑制される。以上のように、画像面内でのサンプリングの位相、帯域の変調を行うことによって色モアレの発生を低減できる。
【００６８】
更に、図14（Ａ），（Ｂ）に示すように、フレーム間で、平均化読み出しを行うラインと平均化読み出しを行わず間引き読み出しを行うラインの順序を入れ替えることによって、ウオブリングの効果により動画のモアレが目立たなくなる。このようなフレーム間、フレーム内でのサンプリング位相変調の態様は、図14の（Ａ），（Ｂ）に示すようになり、連続するフレーム間で逆位相になっており、縮小画像で同じＡ，Ｂ，Ｃ，Ｄの位置の信号を表す画素の位相が、フレーム毎に異なるようになる。
【００６９】
次に、一画像において、図14の（Ａ）に示したように、ライン４ｎ＋１，４ｎ＋２が平均化読み出しで、ライン４ｎ＋３，４ｎが間引き読み出しを行う場合のシフトレジスタの動作を、図15, 16を用いて説明する。ここで、ライン４ｎ＋１，４ｎ＋２の平均読み出し動作に対応するタイミングチャートが図15で、ライン４ｎ＋３，４ｎに対応する間引き読み出し動作のタイミングチャートが図16である。図15では、スタートパルス位置レジスタ23のＨ位置はＳＲ１，ＳＲ３の位置に対応しており、最初にこれら２つのＳＲ１，ＳＲ３のＦＦ１を動作させ、次にＦＦ２を動作させて右にシフトさせる。このとき、1 番目の出力はＣＭＯＳ１，３の平均、２番目の出力はＣＭＯＳ２，４の平均となる。その後に、ＦＦ３を動作させるＨＣＬ1CのパルスがＨになり、２画素飛ばし、ＦＦ２の動作後ＦＦ１を１回動作させる。この一連の２回の動作では、ＳＲ５，ＳＲ７の組み合わせと、ＳＲ６，ＳＲ８の組み合わせが同時にＨになるので、出力ではＣＭＯＳ５，７の平均、ＣＭＯＳ６，８の平均が得られる。以下ＦＦ３，ＦＦ２，ＦＦ１，ＦＦ２の順に動作させる。
【００７０】
一方、ライン４ｎ＋３，４ｎに対応する２画素連続読み出し、２画素飛ばしの動作では、図16に示すように、スタートパルスのＨ位置はＳＲ２に対応し、以下ＦＦ１，ＦＦ２，ＦＦ１，ＦＦ２でシフトレジスタを動作させ、それ以降はＦＦ３，ＦＦ２，ＦＦ１，ＦＦ２の繰り返しになる。したがって、図15, 16のタイミングチャートで異なるのは、スタート位置を示すレジスタの内容だけで、シフトレジスタのＦＦの動作パルスは共通である。
【００７１】
次に、この第２の実施の形態において、平均読み出し、間引き読み出し制御、及び出力映像信号のＹ／Ｃ分離・合成を行う具体的な構成について、図17のブロック構成図に基づいて説明する。本実施の形態では、図14の（Ａ），（Ｂ）に示したＡ又はＣの位置に相当する信号は、図14の（Ａ）に示すＩ番目のフレームでは、平均化読み出しによって帯域の低くなった信号なので色差信号（Ｃr ，Ｃb ）を、図14の（Ｂ）に示すＩ＋１番目のフレームでは、帯域の高い領域の信号なので輝度信号Ｙを選択するようにし、逆にＢ又はＤの位置に相当する信号は、図14の（Ａ）に示すＩ番目のフレームでは、輝度信号を、図14の（Ｂ）に示すＩ＋１番目のフレームでは、色差信号を選択するようにしている。
【００７２】
そこで、図17に示すように、フレームカウンタ21及びラインカウンタ22を備え、フレームカウンタ21では例えばフレームのＯＤＤ，ＥＶＥＮを監視し、ラインカウンタ22では例えば、４の剰余系（４ｎ＋１，４ｎ＋２，４ｎ＋３，４ｎ，ｎ：整数）での剰余数を監視しておく。そして、スタートパルス位置レジスタ23，水平シフトレジスタ24及び垂直シフトレジスタ25を動作させて、前記図15及び図16に示したようなＣＭＯＳセンサ26の出力信号が得られるように、ＣＭＯＳセンサ26を駆動する。
【００７３】
このように、フレーム数、垂直方向の位置で指定されたスタートパルスと垂直方向で共通のＦＦの動作に従って、ＣＭＯＳセンサ26の信号を読み出す。ＣＭＯＳセンサ26の出力信号は、Ａ／Ｄ変換器27でデジタル信号に変換され、第１の画像メモリ41−１と、バッファ42を介して第２の画像メモリ41−２に一旦蓄えられ、そして、第１及び第２のＹ／Ｃ分離回路43−１，43−２を通り、Ｙ／Ｃ合成時の信号切り替えを第１及び第２の切り替え制御部44−１，44−２で行い、Ｙ／Ｃ合成部45で２フレームのデータから、Ｙ／Ｃの合成を行う。このとき、フレーム数と垂直方向位置で、Ｙ／Ｃ合成の規則が異なる。図14の（Ａ），（Ｂ）に示した例では、Ａ，Ｃ位置では、Ｉ番目フレームの場合、ライン４ｎ＋１，４ｎ＋２の色差信号Ｃr ，Ｃb を用い、Ｉ＋１番目フレームでは、ライン４ｎ＋１，４ｎ＋２のＹ信号を用いる。Ｂ，Ｄ位置は逆位相であり、Ｉ番目フレームではライン４ｎ＋３，４ｎのＹ信号を用い、Ｉ＋１番目フレームではライン４ｎ＋３，４ｎのＣr ，Ｃb 信号を用いる。
【００７４】
すなわち、図14の（Ａ），（Ｂ）に示した例において、Ｉ番目のフレームでは、Ａ，Ｃの位置に相当するフルカラーデータは、Ｒ，Ｂについてはそれぞれ２画素の平均、Ｇについては２画素を平均した２つの信号から得られ、合計８画素を用いて生成される。一方、Ｂ，Ｄの位置に相当するフルカラーデータは、ＲＧＢ＋Ｇの４画素の信号を用いて生成しており、Ｉ＋１番目フレームはその逆位相にしている。ここで、８画素を用いてデータを生成した方が、サンプリングの帯域が低いので、色モアレが抑制されるが、一方において、被写体の微細構造まで抑制してしまうという副作用がある。逆に４画素のサンプリングでは、微細構造は再現できるが、色モアレが出やすいという特徴がある。そこで、上記のように、連続するフレームで、同一位置（例えば、図14の（Ａ），（Ｂ）における位置Ａ）の４画素のサンプリングを用いたときの輝度信号と、８画素のサンプリングを行ったときの色差信号を用いることによって、双方の信号の補完し、色モアレの少ない高精細な画像を得ることができる。
【００７５】
また、上記実施の形態において、サンプリング速度を上げるために、図18に示すように、垂直方向においてラインを飛ばして読み出すようにしてもよい。すなわち、図18に示すように、基本ブロックとして４×４画素のブロックＡ，Ｂ，Ｃ，Ｄに分割し、ＯＤＤフレームでは、ブロックＡ，Ｃにおいて、１行目と４行目の読み出しを行わず、２行目と３行目の２番目と３番目の画素の間引き読み出しを行い、ブロックＢ，Ｄにおいて、１行目と４行目の読み出しを行わず、２行目と３行目における１番目と３番目及び２番目と４番目の画素の平均化読み出しを行わせ、一方ＥＶＥＮフレームでは、サンプリング規則（パターン）を交換して、ブロックＡ，Ｃでは平均化読み出しを、ブロックＢ，Ｄに対しては間引き読み出しを行わせるようにする。このように、読み出しを行わない水平行を設定することにより、サンプリング速度を上げることができる。
【００７６】
また、本実施の形態の変形例として、フレーム毎に、全面ローパスで求めた色信号と、全面間引きサンプリングしたものから求めた輝度信号とを切り替えて、選択的に合成してもよい。
【００７７】
（第３の実施の形態）
次に、第３の実施の形態について説明する。この実施の形態は、第２の実施の形態において、Ｙ／Ｃ分離処理を行ったときの、Ｙ信号のモアレ（輝度モアレ）を低減するために、輝度信号のサンプリングはライン方向で一旦読み出した後に、ローパス処理を行った後で、サンプリングにリサイズを行う。すなわち、図18に示したサンプリング規則（パターン）の代わりに、図19に示すように、Ｇチャンネルのみの読み出し２ラインと、平均化読み出し２ラインの組み合わせで、２ラインのＧチャンネルのサンプリングからＹ信号、２ラインの平均化読み出しからＣb ，Ｃr 信号を用いて、Ｙ／Ｃ分離合成処理を行うものである。
【００７８】
この際に、Ｇチャンネルの読み出しラインの動作パルス数は、図18に示した例と同じであり〔例えば、４×４のブロック１行（図19のブロックＡの２列目及び３列目) では２回Ｇをサンプリングしている〕、平均化サンプリングとのタイミングは合わせられる（平均化サンプリングも、４×４のブロックの１行に対して２パルスで動作）。図19のＯＤＤフィールドにおいては、ブロックＡ，Ｃの２，３行目がＧのサンプリングに相当し、１画素間引きのサンプリングを行っている。この間引きサンプリングは、図４の（Ｂ）に示すようにＨＣＫ1BとＨＣＫ2Aの組み合わせで動作する。但し、２列目と３列目ではスタートパルスの位置が１つずれている。
【００７９】
図19に示すように、偶数、奇数のフレームでサンプリング規則を交換し、第２の実施の形態と同様に、画像の同一位置に相当する輝度信号と色信号を、２つのフィールドから選択する。その際の選択規則も、フィールドとライン番号によって指定されることは、上述の通りである。この第３の実施の形態では、平均化サンプリングとＧチャンネルのサンプリングでは、使用するシフトレジスタのパルス系列が異なり、さらに、Ｇチャンネルの２ライン目と３ライン目のサンプリングでは、スタートパルス位置が異なる。すなわち、フィールド番号及びライン番号によって、スタートパルスの位置、シフトレジスタを駆動するパルス系列がそれぞれ異なるので、これらを選択設定する手段を必要とする。更に、Ｇチャンネルのサンプリングに関しては、サンプリング後にローパスフィルタ（水平ローパス）を掛ける処理をして、輝度モアレの低減を図る。
【００８０】
また、この実施の形態の変形例として、Ｙ／Ｃ分離合成処理に用いるＹ信号を生成するＧ信号を、図20に示すように、分割ブロック内の全てのＧ画素を読み出して形成するようにしてもよい。この際、各ラインの２つのＧ画素を同時に読み出して平均化してもよいので、図19に示したサンプリングパターンと同じパルス数で読み出すことができる。すなわち、図20のＯＤＤフレームのＡ，Ｃのブロックでは、 (1)：Ｇ11，Ｇ13の平均値、 (2)：Ｇ22，Ｇ24の平均値、 (3)：Ｇ31，Ｇ33の平均値、 (4)：Ｇ42，Ｇ44の平均値の４個のクロックで読み出せるので、図19の間引き読み出しと同じパルス数になる。但し、水平間引きのライン数が異なるので、全体の読み出しスピードは同じにならない。
【００８１】
図21は、上記のような動作を行わせるための具体的な第３の実施の形態の構成を示すブロック構成図である。この実施の形態では、フレームカウンタ21でフレームの偶奇を判断し、ラインカウンタ22で、８の剰余系（図19の例）を認識している。これらの結果により、サンプリングが必要なラインの場合は、セレクタ51を動作し、第１及び第２の２つのパルスジェネレータ52−１，52−２のどちらかの動作パルスを選択する。図19のＯＤＤフィールドでは、ライン８ｎ＋２，８ｎ＋３でＧチャンネルのサンプリング、ライン８ｎ＋６，８ｎ＋７で平均化サンプリングを行う。ライン８ｎ＋２，８ｎ＋３では１画素間引きのサンプリングのシフトレジスタ動作パルス系列（図４の（Ｂ））を選択し、ライン８ｎ＋６，８ｎ＋７では平均化サンプリングのシフトレジスタ動作系列（図15）を選択する。更に、ライン８ｎ＋２，８ｎ＋３では、スタートパルス位置が異なるが、これをスタートパルス位置レジスタ23から読み出す。
【００８２】
各ラインのＣＭＯＳセンサ素子のデータが読み出されると、Ｇチャンネルをサンプリングした結果は、ローパス処理の必要があるので、セレクタ53によってローパス処理かスルーかを選択する。その後、ローパスフィルタ54を通ったＧチャンネルの信号を選択し合成を行うが、例えば、図19の例でブロックＡの２行２列目（Ｇ22），３行３列目（Ｇ33）をサンプリングし、平均化を行う。なお、Ｇチャンネルの選択と処理に関しては、例えば隣接２チャンネル（Ｇ11＋Ｇ13）のような平均化サンプリングのような変形例があり、図19に示した例のみに限られない。このように輝度モアレを低減したＧ信号によるＹ信号と、Ｃb ，Ｃr 信号とを異なるフレーム間で選択合成することは、図17に示した第２の実施の形態の説明と同じである。
【００８３】
このように、ライン毎にサンプリング規則（パターン）を異ならせ、サンプリングの位相と帯域を、同一画像内で位置によって異ならせ、更に、連続するフレーム間でも、同一位置に対するサンプリング位相と帯域を異ならせること、並びに輝度モアレ低減の処理のＧ信号を用いたＹ信号と平均化サンプリングにより色モアレ低減処理を行ったＣb ，Ｃr 信号の合成を組み合わせることによって、輝度モアレと色モアレの少ない動画像を提供することができる。
【００８４】
（第４の実施の形態）
上記第３の実施の形態のように、輝度信号（Ｇch）と色差信号（Ｒ−Ｇ，Ｂ−Ｇ）を得る読み出しパターンをフレーム間で交互にサンプリングし、フレーム間で補間を行う手法を用いた場合、被写体の動きが大きいときは、残像ができる場合がある。そこで、第４の実施の形態は、フレーム間の輝度信号の差分演算の結果に応じて、フレーム間補間とフレーム内の補間の切り替えを行うように構成したものである。
【００８５】
まず、第４の実施の形態において、連続するフレームでのＹ／Ｃの分離合成処理時におけるサンプリングについて詳細に説明する。図22では、４×４画素の基本ブロック毎に、輝度信号（Ｇ）と色差信号（Ｒ，Ｇ，Ｂ）を得るためのサンプリングを行う例を示している。図22の（Ａ），（Ｃ）は、水平方向にサンプリングの変調を行う例で、図22の（Ａ）において、ブロックＡ，ＣではＧ信号に対して２画素平均で４回のサンプリングをしている（輝度情報のサンプリング）。これに対して、ブロックＢ，ＤではＲ，Ｇ，Ｂ信号に対してそれぞれ１回、２回、１回の合計４回の２画素平均のサンプリングをしている（色情報のサンプリング）。図22の（Ｃ）では、図22の（Ａ）に示したＯＤＤフレームの次のＥＶＥＮフレームにおけるサンプリング規則（パターン）を示したもので、ブロックＡ，ＣとブロックＢ，Ｄは、ＯＤＤフレームのそれぞれ逆のサンプリングになっている。また図22の（Ｂ），（Ｄ）では、サンプリング規則（パターン）を水平、垂直方向で変調させる例について示している。
【００８６】
このようにしてサンプリングした情報は、１クロックの対応するデータ（この場合２画素の平均値）を保存しておく。Ｒ，Ｇ，Ｂの全チャンネルをサンプリングしたブロックに関しては、Ｒ−Ｇ，Ｂ−Ｇの色差信号を計算して保存しておく。そこで、１つのブロックに着目すると、一時的に保存しているデータは、Ｉ番目のフレームでは、Ｒ−Ｇ，Ｂ−Ｇ各１個、Ｇch２個（上下２ライン分）、Ｉ＋１番目のフレームでは、Ｇch４個、Ｉ＋２番目のフレームでは、Ｒ−Ｇ，Ｂ−Ｇ各１個、Ｇch２個（上下２ライン分）・・・・・のようになる。また、着目しているブロックの上下に隣接するブロックにおいては、Ｉ番目のフレームでは、Ｇch４個、Ｉ＋１番目のフレームでは、Ｒ−Ｇ，Ｂ−Ｇ各１個、Ｇch２個（上下２ライン分）、Ｉ＋２番目のフレームでは、Ｇch４個・・・・・というようになる。
【００８７】
１ブロックで、Ｇchを４回サンプリングしているブロックに関しては、Ｇチャンネルのフレーム間、及びライン間の補間は行わず、前後のフレームからＲ−Ｇ，Ｂ−Ｇの色差データを補間により生成し、Ｇチャンネルのデータと色差データから、Ｒ，Ｂのデータを生成する。
【００８８】
これに対して、１ブロックでＧchのデータ２個と色差データをサンプリングしているブロックに関しては、Ｇchの補間をフレーム内で行うか、フレーム間で行うかを、フレーム間の画像の輝度信号の差分の大きさによって決める。フレーム補間は、図23に示したように、連続した３フレームの画像を例にとると、前後フレーム（Ｉ−１，Ｉ＋１）のＧチャンネルのデータＧi-1 ，Ｇi+1 と、ＩフレームのデータＧi の線形和を、次式（１）により計算し、Ｇ信号とする。
ａ×Ｇi ＋ｂ×（Ｇi-1 ＋Ｇi+1 ） ・・・・・・・・・（１）
この線形和とＩフレームでサンプリングしている色差データを用いて、Ｒ，Ｂのデータを作成する。
【００８９】
これに対して、画像の動きが大きく、フレーム間の輝度の差分が大きい場合は、フレーム間の輝度信号の補間は行わず、図24に示すように、フレーム内で、輝度信号の補間を行う。すなわち、上下のブロックの、それぞれ下端、上端のＧのデータと、ブロックでサンプリングしているＧのデータの線形和を、次式（２）で計算する。
ａ×Ｇk ＋ｂ×（Ｇk-1 ＋Ｇk+1 ） ・・・・・・・・・（２）
ここで、Ｇk は注目しているブロック内で２個サンプリングしているＧchの平均値で、Ｇk-1 は１つ上のブロックの下端のＧchのデータ、Ｇk+1 は１つ下のブロックの上端のＧchのデータを表している。
【００９０】
次に、上記動作を行わせるための第４の実施の形態の概略的構成を図25のブロック構成図に基づいて説明する。第４の実施の形態に係る撮像装置は、図25に示すように、読み出し制御ユニット61と、光センサユニット62と、画像メモリＹ／Ｃ分離ユニット63と、Ｙ／Ｃ合成ユニット64と、Ｙ／Ｃ合成方法の選択手段65と、動き検出手段66とで構成されている。
【００９１】
次に、上記構成の撮像装置の動作の概要について説明する。まず、読み出し制御ユニット61が光センサユニット62に対して読み出し制御情報を与える。光センサユニット62は、読み出し規則に従って光電変換されたＲＧＢ信号を画像メモリＹ／Ｃ分離ユニット63の画像メモリに与える。画像メモリＹ／Ｃ分離ユニット63では、画像メモリの内容であるＲＧＢ信号から、Ｇ信号及び色差信号Ｒ−Ｇ，Ｂ−Ｇを算出し、Ｙ／Ｃ分離（輝度信号、色差信号）を行い、輝度信号と色差信号の出力を行う。Ｙ／Ｃ合成ユニット64は、画像メモリＹ／Ｃ分離ユニット63からの輝度信号及び色差信号を受けて、再びＹ／Ｃの合成を行い、ＲＧＢ信号を生成する。Ｙ／Ｃ合成ユニット64におけるＹ／Ｃ合成の方法は、Ｙ／Ｃ合成方法の選択手段65によって選択される。この選択手段65は、読み出し制御ユニット61からの画像のフレーム番号の情報及びライン番号、並びに画像メモリＹ／Ｃ分離ユニット63からの輝度信号を入力とする動き検出手段66から出力されるフレーム間の差分の大きさを参照し、Ｙ／Ｃ合成の方法を選択するようになっている。
【００９２】
次に、図25に示した読み出し制御ユニット61及び光センサユニット62の詳細な構成を、図26に基づいて説明する。読み出し制御ユニット61は、フレームカウンタ101 ，ラインカウンタ102 ，画素読み出し規則の選択部103 ，第１及び第２のパルスジェネレータ104 ，105 ，水平１ライン読み飛ばし部106 とで構成されており、光センサユニット62は、スタートパルス位置レジスタ201 ，水平シフトレジスタ202 ，垂直シフトレジスタ203 ，ＣＭＯＳセンサ204 とで構成されている。
【００９３】
フレームカウンタ101 及びラインカウンタ102 によってフレーム番号とライン位置を検知し、その値に応じて、（１）サンプリングの開始位置及び同時に読み出す画素数を規定するスタートパルス位置レジスタ201 の内容、及び（２）画素の飛び越し数を制御する水平シフトレジスタ202 の動作を規定するパルスジェネレータ104 ，105 の内容を選択する。
【００９４】
このような判断は、画素読み出し規則の選択部103 の基準に応じて行う。例えば、図22の（Ａ）に示すようなライン毎の変調読み出し方をする場合、ＯＤＤフレームではブロックＡ，Ｃを含むラインがＧの読み出し、ブロックＢ，Ｄを含む位置ではＲＧＢの読み出しとなり、ＥＶＥＮフレームでは逆になっている。ここで、ブロックＡ，Ｃを含むライン数は、図22の（Ａ）に示す例で最上部のライン番号を０として、８の剰余系で０，１，２，３となり、ブロックＢ，Ｄを含むライン数は８の剰余系で４，５，６，７である。したがって、Ｇの読み出しを行う条件は、次式（３）で表される。
（F1＝ODD and mod(L1,8) ＜4 ）or（F1＝EVEN and mod(L1,8)≧4 ）
・・・・・・・・（３）
ここで、Ｆ１はフレーム数、Ｌ１はライン数である。なおフレーム数の偶奇は便宜上のもので、時間的に連続するフレームでは、交互に偶奇としている。mod(ｘ，ｙ）はｘのｙを基数とする剰余系である。
【００９５】
また、ＯＤＤフレームにおいてブロックＢ，ＤでＲＧＢの読み出しを行うラインは、次式（４）で表される。
mod（Ｌ１，８）＝５，６ ・・・・・・・・・・・（４）
また、ＥＶＥＮフレームでブロックＡ，ＣでのＲＧＢ読み出しラインは、次式（５）で表される。
mod（Ｌ１，８）＝１，２ ・・・・・・・・・・・（５）
したがって、ＲＧＢ読み出しを行うフレーム及びラインの条件は、次式（６）のようになる。
（F1＝ODD and mod(L1,8) ＝5 or 6）or（F1＝EVEN and mod(L1,8)＝1 or 2） ・・・・・・・・（６）
【００９６】
このような判断に基づいて、パルスジェネレータ104 ，105 ，及びスタートパルス位置レジスタ201 の内容を選択する。これ以外のライン数の条件は、水平１ラインを読み出さないので、水平１ライン読み飛ばし部106 を介して垂直シフトレジスタ203 へのシフトパルスを発生する。このような駆動条件の下で、ＣＭＯＳセンサ204 の画素を読み出す。読み出されたＲＧＢ信号は、画像メモリＹ／Ｃ分離ユニット63の画像メモリに渡される。
【００９７】
次に、図25における画像メモリＹ／Ｃ分離ユニット63，Ｙ／Ｃ合成ユニット64，及び動き検出手段66の詳細な構成を図27に基づいて説明する。光センサユニット62からの信号は、画像メモリＹ／Ｃ分離ユニット63のＡ／Ｄ変換器301 でデジタル化された後、時間的に連続した動画の画像データは、３つの第１〜第３の画像メモリ302-１，302-２，302-３に３画面分保持される。この画像メモリに保持された３フレーム分の信号は、動き検出のためのフレーム間の輝度の差分の計算及びＲＧＢ信号の補間に用いる。
【００９８】
第１〜第３のＹ／Ｃ分離手段303-１，303-２，303-３では、各画像メモリ302-１，302-２，302-３から入力されたＲＧＢ信号から、Ｇ信号及び色差信号Ｒ−Ｇ，Ｂ−Ｇを算出する。ここで、図22の（Ａ）のブロックＡに示したように、４×４のブロック単位でＧ信号のみをサンプリングしている場合は、そのブロックのＧ信号を算出し、ブロックＢの位置のように、ＲＧＢ全色のサンプリングを行っている場合には、色差信号を算出する。図示していないが、ブロック毎の分離には、画素位置の情報を用いる必要がある。
【００９９】
動き検出手段66では、３つの画像メモリ302-１，302-２，302-３に保持されている３画面のフレーム間差分を算出する。図27に示した例の場合、補間演算の対象になるのは、第２の画像メモリ302-２に保持されている信号であるため差分演算は、次式（７），（８）で表される。
ΔＧ12＝ abs（Ｇ１−Ｇ２） ・・・・・・・（７）
ΔＧ23＝ abs（Ｇ３−Ｇ２） ・・・・・・・（８）
ここで、 absは絶対値を示し、また例えばＧ１は第１の画像メモリ302-１のＧ信号を表している。なお、上記（７），（８）式における右辺の（ ）内の差分の計算は、各フレームの同一の位置での差分をフレーム全体で積分したものである。
【０１００】
Ｙ／Ｃ合成ユニット64の第１〜第３のＹ／Ｃ合成部401-１，401-２，401-３は、対象としているブロックでの輝度信号、及び色差信号の補間を行う。ここで、対象としているブロックが、図22の（Ａ）のＡブロックのように、Ｇ信号のみサンプリングしている場合には、色差信号Ｃb ，Ｃr の情報が欠落しているので、それを補完する。また図22の（Ａ）のＢブロックのように、色差信号の算出のために全色のサンプリングを行っているブロックでは、輝度信号の補間を行うこのときに、図23，24で示したように、輝度信号の補間はフレーム間の動きによって、補間方法を切り替える。
【０１０１】
このように補完する信号と補間の手段を選択するための基準については、図25に示したＹ／Ｃ合成方法の選択手段65で設定されるが、その詳細な構成例を図28に示す。合成方法の選択手段65においては、読み出し制御ユニット61からのフレーム番号及びライン番号の情報を用いて、判断基準を算出する。すなわち、図22の（Ａ）のＯＤＤフレームにおけるブロックＡ，Ｃを含むライン、及び図22の（Ｃ）のＥＶＥＮフレームでブロックＢ，Ｄを含むラインは、図28のステップ65−１に示す判断基準、すなわち次式（９）で示す条件となる。
（F1＝ODD and mod(L1,8) ＜4 ）or（F1＝EVEN and mod(L1,8)≧4 ）
・・・・・・・・（９）
【０１０２】
したがって、上記（９）式に示す条件を満たす場合（Ｙ）、時間的に隣り合っているフレームから色差信号の補間を行うので、第１のＹ／Ｃ合成部401-１を選択する（ステップ65−２： out１）。この場合、第１のＹ／Ｃ合成部401-１に示したように、色差を生成する元の信号として、次式（10）に示す第１の画像メモリ302-１の色差信号、及び次式（11）に示す第３の画像メモリ302-３の色差信号を選択する。
Ｃr1＝Ｒ１−Ｇ１，Ｃb1＝Ｂ１−Ｇ１ ・・・・・・・・・・・・（10）
Ｃr3＝Ｒ３−Ｇ３，Ｃb3＝Ｂ３−Ｇ３ ・・・・・・・・・・・・（11）
そして、これらの平均により、次式（12）で示す合成色差信号を生成する。
Ｃr2＝0.5 ×（Ｃr1＋Ｃr3），Ｃb2＝0.5 ×（Ｃb1＋Ｃb3）
・・・・・・・・（12）
また、輝度情報として第２の画像メモリ302-２のＧの信号Ｇ２を使う。Ｙ／Ｃ合成の結果は、第１の合成出力部402-１に示すようになる。
【０１０３】
一方、図22の（Ａ）のＯＤＤフレームのブロックＢ，Ｄ、及び図22の（Ｃ）のＥＶＥＮフレームのブロックＡ，Ｃのように、全色のサンプリングを行い、輝度信号の補間を必要とする場合、上述のように、各フレームのＧの信号差分の大きさによって、フレーム間補間を行うかフレーム内補間を行うかを、ステップ65−３の条件分岐で行う。
【０１０４】
すなわち、動き検出手段66により算出されたフレーム間の差分情報Δが、所定の閾値より大きい場合には、フレーム内の補間を行うので、第２のＹ／Ｃ合成部401-２を選択する（ステップ65−４： out２）。この場合、図24に示したように、対象としているブロックの上下のブロックのそれぞれ下端及び上端のＧ信号を用いて、Ｇ２′を生成する。対象としているブロックの位置が、ｈ＝ｉ，ｖ＝ｊの場合には、Ｇ２(i,j）′は次式（13）に示す線形和で算出される。
Ｇ２(i,j）′＝ａ×Ｇ２(i,j) ＋ｂ×〔Ｇ２（i,j −1)＋Ｇ２（i,j ＋1)〕 ・・・・・・・・（13）
【０１０５】
一方、Ｙ／Ｃ合成方法の選択手段65のステップ65−３において、フレーム間の差分Δが閾値以下の場合、フレーム間の補間を行うので、第３のＹ／Ｃ合成部401-３を選択する（ステップ65−５： out３）。この場合、Ｇの信号Ｇ２(i,j）″は、次式（14）に示す線形和で算出される。
Ｇ２(i,j）″＝ａ×Ｇ２(i,j) ＋ｂ×〔Ｇ１（i,j −1)＋Ｇ３（i,j ＋1)〕 ・・・・・・・・（14）
【０１０６】
このような補間の切り替えを行うことによって、被写体の動きによる残像を低減し、また静止している画像においては、高精細な画像を得ることができる。
【０１０７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、高解像度の撮像素子アレイから比較的高速の撮像レートでサイズ縮小画像を読み出しても、フレーム間で読み出し画素位置を異ならせるようにしているので、モアレを低減することができる。また、フレーム間で相関演算を行うときに、読み出し画素位置を異ならせた方が多くの情報得られるので、１フレームのサンプリング画素数が画素クロックとフレームレートで制限されるときには、フレーム間で情報を相互補間することが可能となる。また、複数の読み出し画素位置領域を離間して配置しているので、サンプリング数を減らすことができ、更にフレーム毎に読み出し画素位置を異ならせることにより、サンプリング数を減らしたことによる画像情報の欠落を補間することができ、またサンプリング数を減らすことにより、フレームレートを高速化することができる。また請求項２に係る発明によれば、撮像素子アレイの読み出しにおいて、水平方向のシフトを加えて、サンプリングの位置を変調するようにしているので、特定方向のモアレを低減させることができ、更にフレーム毎に読み出し画素位置を変更することによって、モアレの位相変調を行い一層目立たないようにすることが可能となる。また請求項３に係る発明によれば、フィルタ手段で画素位置領域のフレーム毎の変更に基づくシフト量が補償され、像のぶれを低減させつつ、色モアレ及び輝度モアレも低減することができる。また請求項４に係る発明によれば、読み出し画素位置領域を平行四辺形形状としているので、矩形形状とする場合に比べて、水平方向のモアレを低減することができる。また請求項５に係る発明によれば、画像面内の複数の読み出し画素位置領域を、領域毎に平行四辺形形状と矩形形状の組み合わせで変更することができるので、サンプリングのカットオフ周波数がぼかされ、特定方向のモアレを低減することが可能となる。
【０１０８】
また請求項６に係る発明によれば、読み出し画素位置領域の形状を矩形と平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数とモアレを低減すると共に、更にフレーム毎に領域の形状を選択切り替えるようにしているので、特定の周波数と方向のモアレを更に低減することができる。また請求項７に係る発明によれば、読み出し画素位置領域の形状を２種類の平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数と方向のモアレを低減し、更にフレーム毎に領域の形状を選択切り替えるようにして、特定の周波数と方向のモアレを一層低減することができる。また請求項８に係る発明によれば、平均化手段により平均化演算を行うことにより、帯域制限を施し、色モアレ及び輝度モアレを低減することができ、また１クロックで平均化して複数の画素のサンプリングを行えるので、高速化が可能となる。また請求項９に係る発明によれば、平均化を行った領域からは色差情報を算出し、平均化を行わない領域からは輝度情報を算出することによって、像全体の解像感を低減することなく色モアレを低減することができ、また領域毎にサンプリング周波数と位相を異ならせることによって、特定の周波数のモアレを低減することが可能となる。また請求項10に係る発明によれば、領域毎にサンプリング態様を異ならせ、更にフレーム毎にサンプリング態様を交換するようにしているので、サンプリングの周波数と位相を異ならせ、視覚的に色モアレと輝度モアレを低減させることができる。また請求項11に係る発明によれば、連続するフレームで間引き読み出し信号から輝度信号を、平均化信号から色信号を別々にサンプリングし合成するようにしているので、画像情報をフレーム間で補完し、制限されたサンプリング数で、色モアレ及び輝度モアレの少ない画像を生成することができる。また請求項12に係る発明によれば、フレーム間の輝度情報の差分検出手段を備え、フレーム間の相関の少ない画像間ではフレーム間補間を停止し、フレーム内補間に切り替えることができ、連続するフレームでのＹ／Ｃ合成を行った場合における像のぶれを低減することができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の概略構成を示すブロック図である。
【図２】 図１に示した撮像モジュールにおいて、平均化読み出し処理を行うための回路構成を示す図である。
【図３】 図２に示した平均化読み出し処理回路の動作を説明するためのタイミングチャートである。
【図４】 図１に示した撮像モジュールにおいて、間引き読み出し処理を行うための回路構成及びその動作を説明するためのタイミングチャートである。
【図５】 間引き読み出し処理を行うための他の回路構成を示す図である。
【図６】 図５に示した間引き読み出し処理回路の動作を説明するためのタイミングチャートである。
【図７】 本発明に係る撮像装置の具体的な第１の実施の形態の構成を示すブロック図である。
【図８】 図７に示した第１の実施の形態において、間引き読み出し画素位置領域を矩形ブロックとした場合における、各フレーム毎の位相変調読み出し態様を示す図である。
【図９】 図８に示した読み出しを行わせるためのスタートパルス位置レジスタの内容を示す図である。
【図10】 図８における矩形ブロックＡの読み出し時のシフトレジスタの動作を説明するためのタイミングチャートである。
【図11】 図８における矩形ブロックの各フレーム毎の位相変調読み出し時における位相補償フィルタリング処理態様を示す図である。
【図12】 図８に示した矩形ブロック間引き読み出し時における同一フレーム内での読み出し位相変調態様を示す図である。
【図13】 間引き読み出し画素位置領域を平行四辺形形状、及び平行四辺形形状と矩形形状との組み合わせとした場合の読み出し態様を示す図である。
【図14】 本発明の第２の実施の形態において、平均化読み出しと間引き読み出しによるフレーム間位相・帯域変調態様を示す図である。
【図15】 図14に示したフレーム間位相・帯域変調読み出し時における平均化読み出しラインに対するシフトレジスタの動作を説明するためのタイミングチャートである。
【図16】 図14に示したフレーム間位相・帯域変調読み出し時における飛び越し（間引き）読み出しラインに対するシフトレジスタの動作を説明するためのタイミングチャートである。
【図17】 第２の実施の形態の具体的な構成を示すブロック図である。
【図18】 図14に示した第２の実施の形態における読み出し方式において、垂直方向に間引き読み出しを行いサンプリングスピードを上げる態様を示す図である。
【図19】 本発明の第３の実施の形態における、Ｙ／Ｃ分離合成のサンプリング方式を示す図である。
【図20】 図19に示したサンプリング方式において、分割ブロック内の全てのＧ画素を読み出す態様を示す図である。
【図21】 第３の実施の形態の具体的な構成を示すブロック図である。
【図22】 図20に示したＹ／Ｃ分離合成のサンプリング方式において、水平変調及び水平垂直変調態様を示す図である。
【図23】 図20に示したＹ／Ｃ分離合成のサンプリング方式におけるフレーム間補間態様を示す図である。
【図24】 図20に示したＹ／Ｃ分離合成のサンプリング方式におけるフレーム内補間態様を示す図である。
【図25】 本発明の第４の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図26】 図25に示した撮像装置における読み出し制御ユニット及び光センサユニットの詳細な構成を示すブロック図である。
【図27】 図25に示した撮像装置における画像メモリＹ／Ｃ分離ユニット、Ｙ／Ｃ合成ユニット、及び動き検出手段の詳細な構成を示すブロック図である。
【図28】 図25に示した撮像装置におけるＹ／Ｃ合成方法の選択手段の詳細な構成を示すフローチャートである。
【符号の説明】
１ 光学系
２ 撮像モジュール
２−１ 光電変換部
２−２ サンプリング制御部
３ 画像サイズ変更制御部
４ 映像信号処理部
５ メモリ
６ 画像表示部
11 スタートパルス位置レジスタ
12−１，12−２，・・・ ＳＴＢ信号
13 シフトレジスタ
13−１，13−２，・・・ シフトレジスタユニット
14−１，14−２，・・・ ＣＭＯＳセンサ素子
15 出力端子
21 フレームカウンタ
22 ラインカウンタ
23 スタートパルス位置レジスタ
24 水平シフトレジスタ
25 垂直シフトレジスタ
26 ＣＭＯＳ光センサ
27 Ａ／Ｄ変換器
28−１，28−２，・・・ 画像メモリ
29 ＷＢ切り替え部
30−１，30−２，・・・ ＲＧＢ−Ｌab変換器
31 コンパレータ
32 Ｌab−ＲＧＢ逆変換器
41−１ 第１画像メモリ
41−２ 第２画像メモリ
42 バッファ
43−１ 第１Ｙ／Ｃ分離回路
43−２ 第２Ｙ／Ｃ分離回路
44−１ 第１切り替え制御部
44−２ 第２切り替え制御部
45 Ｙ／Ｃ合成部
51 セレクタ
52−１ 第１パルスジェネレータ
52−２ 第２パルスジェネレータ
53 セレクタ
54 ローパスフィルタ
61 読み出し制御ユニット
62 光センサユニット
63 画像メモリＹ／Ｃ分離ユニット
64 Ｙ／Ｃ合成ユニット
65 Ｙ／Ｃ合成方法の選択手段
66 動き検出手段
101 フレームカウンタ
102 ラインカウンタ
103 画素読み出し規則の選択部
104 ，105 パルスジェネレータ
106 水平１ライン読み飛ばし部
201 スタートパルス位置レジスタ
202 水平シフトレジスタ
203 垂直シフトレジスタ
204 ＣＭＯＳ光センサ
301 Ａ／Ｄ変換器
302-１ 第１画像メモリ
302-２ 第２画像メモリ
302-３ 第３画像メモリ
303-１ 第１Ｙ／Ｃ分離部
303-２ 第２Ｙ／Ｃ分離部
303-３ 第３Ｙ／Ｃ分離部
401-１ 第１Ｙ／Ｃ合成部
401-２ 第２Ｙ／Ｃ合成部
401-３ 第３Ｙ／Ｃ合成部
402-１，402-２，402-３ 合成出力部
【発明の属する技術分野】
この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の可能な撮像装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。上記電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は 400万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。
【０００３】
上述のような、デジタルカメラ（電子スチルカメラ）では、元来、静止画の撮像を目的としているが、銀塩カメラのファインダーと同様に、被写体の撮影範囲を確認するファインダーとして、従来の光学ファインダーあるいは、電子式のファインダー（ビューファインダー）を備えている。光学ファインダーは、一般に電子式ファインダーに比べ高画質であるが、光学ズームが４〜10倍程度の高倍率になると、光学式ファインダーでは追従できないので、電子式ファインダーを用いるのが一般的な手法である。電子式ファインダーは、デジタルカメラの撮像画素数に比べて、１／10〜１／30程度の画素数である。一般に、画素の動作クロックから考えて、数百万画素の撮像素子でＮＴＳＣレートのように秒30枚のフレームを撮像することは困難であるので、撮像素子の全画素の読み出しによる表示は行わず、ビューファインダーの表示に必要なだけの画素数の読み出しを行い（間引き読み出し、あるいは平均化）、リアルタイム表示を行うようにしている。
【０００４】
ここで、ビューファインダーは被写体の状況や構図をリアルタイムで確認することを目的としているので、使用者に対して、良質な画像を提供しなければならない。またビューファインダーの他に、デジタルカメラでは動画の撮像も行える機能を備えた機種も多く商品化されている。また逆に、デジタルビデオカメラでも、高精細な静止画を撮像できるような機能も備えられている。前者においては、記録できる画像の規格から数100 万画素のサイズの撮像素子を用いて、ＶＧＡ（約30万画素）、ＱＶＧＡ（約75,000画素）の大きさにサイズ変更し、ＪＰＥＧ，ＭＰＥＧ等の情報圧縮を行い記録している。これは、使用者の立場から考えて、電子撮像機器を複数所持して行動する煩わしさから開放されたいという至極当然な欲求からくるものである。
【０００５】
【発明が解決しようとする課題】
上記のような要求から、高解像度特性をもつ撮像装置においても、良質な低解像度の画像の提示、記録が必要とされる。一般に解像度が不足すると、サンプリング周波数よりも、高周波の構造の折り返しによるモアレが発生することが知られている。このために、モアレを抑制する方法としては、高解像度の画像を全画素読み出して、平均化したものを低解像度の画像に割り当てることによって、低解像度画像の帯域を抑制し、モアレを目立たなくする方法が知られている。
【０００６】
しかしながら、この方法においてはローパスの処理を行うので、必要以上に細部の構造を抑制してしまい、解像感の低下を招く。高解像度の撮像素子を用いて低解像度の画像を撮影する場合に、細部構造まで再現しようとすると、逆に、間引きを行い少ない画素数で離散的なサンプリングを行った方がよい場合がある。更に、上述のように動画のフレームレートと撮像素子の動作クロックの制限から、高画質の動画を得ることを目的として全画素を読み出すことは困難である。
【０００７】
平均化読み出しの方法としては、ＣＣＤを用いた撮像素子においては、電流値の加算読み出しを行い、読み出しのクロックを上げるという方法がある。しかしながら、この方法を用いると、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうという課題があった。更に、このＣＣＤ撮像素子における加算読み出しの課題を解決する方法としては、特開平６−２１７２０１号公報に開示されている、ＣＭＯＳのキャパシタ素子による電圧読み出しの平均化処理がある。また、特開平８−５２９０４号公報には、平均化、間引きサンプリングを動画静止画で切り替えるという提案がなされており、読み出しスピードに関して改善の効果が示されている。
【０００８】
しかしながら、上述のように、低解像度の画像においても、微細構造を保持し、解像感を与えるためには、単に全画素の読み出しによる平均化処理では帯域が不足していると言う問題があり、一方、一定のサンプリング規則による間引き読み出しでは、解像感が得られるものの、モアレや偽色が目たっでしまうという問題がある。また、間引かずに読み出された信号は静止画用信号として出力し、間引いて読み出された信号は動画用信号として出力させるようにした特開平９−２４７６８９号公報開示の技術では、動画の撮影においては間引きサンプリング規則がフレーム間で一定であるため、モアレ低減の効果が少ないという問題点がある。
【０００９】
本発明は、従来の動画撮影機能を備えたデジタルカメラにおける上記課題を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを第１の目的とし、また、低コスト・コンパクト化のための単板カラーシステムで偽色の発生を抑圧した撮像装置を提供することを第２の目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、分光透過率が異なるカラーフィルタアレイ（ＣＦＡ）を前面に配置した撮像素子アレイにより、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子アレイから画像信号を読み出すモードとして、少なくとも水平方向１ラインの全画素読み出しを行う全画素読み出しモードと、少なくとも水平方向１ラインの読み出し画素の間引きを行って読み出す間引き読み出しモードと、複数画素を平均化して読み出す平均化読み出しモードのうちから少なくとも１つのモードを設定可能なモード設定手段と、前記画像信号を読み出す画素位置を制御し決定する読み出し規則制御手段とを有し、前記モード設定手段によって、間引き読み出しのモード及び又は平均化読み出しモードが設定されたとき、前記読み出し規則制御手段が決定する読み出し画素位置が、読み出す画像信号のフレーム毎に異なるようにし、且つ前記モード設定手段によって間引き読み出しモードが設定されたとき、前記読み出し規則制御手段が決定する読み出し画素位置は、それぞれ、隣接する複数の画素からなる所定の複数の領域内の画素位置で構成され、前記複数の各領域はそれぞれ離間し、且つ前記撮像素子アレイの水平及び垂直方向に並んでおり、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に前記複数の各領域の位置を変更制御することを特徴とするものである。
【００１１】
この請求項１に係る発明には、図１，図７，図17，図21及び図25〜図28に示す技術内容が対応する。このように構成した撮像装置においては、高解像度の撮像素子アレイから比較的高速の撮像レートでサイズ縮小画像を読み出しても、フレーム間で読み出し画素位置（読み出し規則）を異ならせるようにしているので、モアレを低減させることができる。また、フレーム間で相関演算を行うときに、読み出し画素位置を異ならせた方が多くの情報を得ることができる場合があるので、１フレームのサンプリング画素数が画素クロックとフレームレートで制限されるときには、フレーム間で情報を相互補間することが可能となる。また、複数の読み出し画素位置領域を離間して配置しているので、サンプリング数を減らすことができ、更にフレーム毎に読み出し画素位置を異ならせることによって、サンプリング数を減らしたことによる画像情報の欠落を補間することができる。またサンプリング数を減らすことにより、フレームレートを高速化することができる。
【００１２】
請求項２に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、前記撮像素子アレイの垂直方向に隣接して位置する前記各領域が互いに水平方向にシフトした状態で並んでおり、前記読み出し規則制御手段は、前記読み出し画素位置領域の位置をフレーム毎に変更することを特徴とするものである。
【００１３】
この請求項２に係る発明には、図12に示す技術内容が対応する。このように構成した撮像装置においては、撮像素子アレイの読み出しにおいて、水平方向のシフトを加えて、サンプリングの位相を変調するようにしているので、特定方向のモアレを低減させることができ、更にフレーム毎に読み出し画素位置を変更することによって、モアレの位相変調を行い一層目立たないようにすることが可能となる。
【００１４】
請求項３に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域の位置のフレーム毎の変更に基づくシフト量を補償するために、読み出した画像信号に対してフィルタ演算処理を行うフィルタ手段を、更に有することを特徴とするものである。
【００１５】
この請求項３に係る発明には、図11に示す技術内容が対応する。このように構成した撮像装置においては、フィルタ手段で画素位置領域のフレーム毎の変更に基づくシフト量が補償され、像の移動（ぶれ）を低減させつつ、色モアレ及び輝度モアレも低減することができる。
【００１６】
請求項４に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしている平行四辺形形状であることを特徴とするものである。
【００１７】
この請求項４に係る発明には、図13に示す技術内容が対応する。このように構成した撮像装置においては、読み出し画素位置領域を平行四辺形形状としているので、矩形形状とする場合に比べて、水平方向のモアレを低減することができる。
【００１８】
請求項５に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしている平行四辺形形状と、前記領域を構成する垂直方向の画素の位置がシフトしていない矩形形状との組み合わせであることを特徴とするものである。
【００１９】
この請求項５に係る発明には、図13の（Ｂ），（Ｄ）に示す技術内容が対応する。このように構成した撮像装置においては、画像面内の複数の読み出し画素位置領域を、領域毎に平行四辺形形状と矩形形状の組み合わせで変更することができ、それによりサンプリングのカットオフ周波数がぼかされ、特定方向のモアレを低減することが可能となる。
【００２０】
請求項６に係る発明は、請求項５に係る撮像装置において、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に、前記領域の形状を、該領域の位置に応じて前記平行四辺形形状又は前記矩形形状に選択し切り替えることを特徴とするものである。
【００２１】
この請求項６に係る発明には、図13の（Ｂ），（Ｄ）に示す技術内容が対応する。このように構成した撮像装置においては、読み出し画素位置領域の形状を矩形と平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数と方向のモアレを低減すると共に、更にフレーム毎に読み出し画素位置領域の形状を選択切り替えるようにしているので、特定の周波数と方向のモアレを更に低減することができる。
【００２２】
請求項７に係る発明は、請求項１に係る撮像装置において、前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしており、且つ水平方向に対する傾きが互いに異なる２種類の平行四辺形形状の組み合わせで構成され、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に、前記領域の形状を、該領域の位置に応じて形状の異なる２種類の平行四辺形のうちいずれかを選択し交互に切り替えることを特徴とするものである。
【００２３】
この請求項７に係る発明には、図13の（Ｃ），（Ｅ）に示す技術内容が対応する。このように構成した撮像装置においては、読み出し画素位置領域の形状を２種類の平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数と方向のモアレを低減し、更にフレーム毎に領域の形状を選択切り替えるようにして、特定の周波数と方向のモアレを一層低減することができる。
【００２４】
請求項８に係る発明は、請求項１に係る撮像装置において、前記モード設定手段によって間引き読み出しモードが設定されたとき、読み出された画像信号に対して所定の平均化演算を行う平均化手段を、更に有することを特徴とするものである。
【００２５】
この請求項８に係る発明には、図２，図３，図14に示す技術内容が対応する。このように構成した撮像装置においては、平均化手段で平均化演算を行うことにより、帯域制限を施し、色モアレ及び輝度モアレを低減することができ、また１クロックで平均化して複数の画素のサンプリングを行えるので、高速化が可能となる。
【００２６】
請求項９に係る発明は、請求項８に係る撮像装置において、前記平均化手段によって平均化演算を行う対象とする領域と平均化演算を行う対象としない領域を、撮像素子アレイ上に交互に存在させることを特徴とするものである。
【００２７】
この請求項９に係る発明には、図14に示す技術内容が対応する。このように構成した撮像装置においては、平均化を行った領域からは色差情報を算出し、平均化を行わない領域からは輝度情報を算出することによって、像全体の解像度を低減することなく、色モアレを低減することができ、また領域毎にサンプリング周波数と位相を異ならせることによって、特定の周波数のモアレを低減することが可能となる。
【００２８】
請求項10に係る発明は、請求項９に係る撮像装置において、前記平均化演算を行う対象とする領域と、平均化演算を行う対象としない領域とを、読み出す画像信号のフレーム毎に交換切り替えることを特徴とするものである。
【００２９】
この請求項10に係る発明には、図14に示す技術内容が対応する。このように構成した撮像装置においては、領域毎にサンプリング態様（規則）を異ならせ、更にフレーム毎にサンプリング態様を交換するようにしているので、サンプリングの周波数と位相を異ならせ、視覚的に色モアレと輝度モアレを低減させることができる。
【００３０】
請求項11に係る発明は、請求項１に係る撮像装置において、前記全画素読み出しモード時に読み出された連続するフレーム中の同一ブロック位置に相当する画像信号を平均化した信号から色信号を抽出し、間引き読み出しモード時に読み出された信号からは輝度信号を抽出し、前記それぞれ抽出した色信号と輝度信号を合成し、連続する画像データを生成する手段とを更に有することを特徴とするものである。
【００３１】
この請求項11に係る発明には、図17〜図22に示す技術内容が対応する。このように構成した撮像装置においては、連続するフレームで間引き読み出し信号から輝度信号を、平均化信号から色信号を別々にサンプリングし合成するようにしているので、画像情報をフレーム間で補完し、制限されたサンプリング数で、色モアレ及び輝度モアレの少ない画像を生成することができる。なお、この請求項12に係る発明における輝度信号の抽出手法は、画像信号中のＲＧＢ各色の信号を間引き読み出しした後に平均化し輝度信号とする手法（図18，19が対応）と、Ｇ信号をブロック平均で読み出しした後に平均化し輝度信号とする手法（図22が対応）とを含む。
【００３２】
請求項12に係る発明は、請求項11に係る撮像装置において、読み出す画像信号のフレーム間の輝度情報の差分を検出する手段と、該差分検出手段で検出されたフレーム間差分に基づいて、輝度情報、色差情報の補間方式を切り替える手段とを更に有することを特徴とするものである。
【００３３】
この請求項12に係る発明には、図22〜図28に示す技術内容が対応する。このように構成した撮像装置においては、フレーム間の輝度情報の差分検出手段を備え、フレーム間の相関の少ない画像間ではフレーム間補間を停止し、フレーム内補間に切り替えることができ、連続するフレームでのＹ／Ｃ合成を行った場合における像のぶれを低減することができる。
【００３４】
【発明の実施の形態】
次に、実施の形態について説明するが、実施の形態の説明に先立ち、まず本発明の動作原理について説明する。動画の撮像装置においては、動作速度を上げるために、従来より、インターレーススキャンの方式を用いている。これは、ＯＤＤ，ＥＶＥＮのフレームで交互に画素位置を読み出し、表示する方式で、ＮＴＳＣのレートでは観察者にとって、不自然のないものとされている。また、ウオブリングという方式は、表示装置においてフレーム毎に表示位置をシフトする方法で、ウオブリングのピッチと動作周波数を調整することによって、観察者の負担を低減することができる (IEEE Trans. on Consumer Electronics 47 [1] Feb. 2001, p 16〜24参照) 。位相変調の方式は、理想的には、ＣＣＤの画素を機械的な方式でずらすことでＣＣＤが持っている空間周波数を超えてサンプリングを行い、折り返りによるモアレを低減する。動画の撮像・観察においては、フリッカーが観察者にとって目立たなくような範囲の設定を用いれば、撮像位置や表示位置が、フレーム毎にずれていてもよいし、色モアレはかえって目立たない。本発明においては、一部でこのようなインターレーススキャンやウォブリングの動作原理に基づいている。
【００３５】
更に、縮小サンプリングで、指定したブロックを代表するフルカラーデータを作る画素の読み出しはＲＧＢ，補色ＣＦＡではＣＭＹの色がそろっている必要がある。一般によく使用されるベイヤー配列のＣＦＡではＧチャンネルが多いのでＲＧＢ＋Ｇ，補色ＣＦＡではＣＭＹ＋Ｇというように１組のデータを使えばよい。前述のように、色モアレの発生の原因は規則的なサンプリングによって起きる帯域の折り返りであるので、サンプリングの様式を、時間的、空間的に、変更することが効果的である。
【００３６】
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の実施の形態の全体の概略構成を示すブロック構成図である。図１において、１は光学系で、該光学系１は図示しない被写体の像を撮像モジュール２のカラーフィルタアレイを前面に配置したＣＭＯＳセンサなどからなる光電変換部２−１上に結像する。光電変換部２−１の動作は、サンプリング制御部２−２によって制御される。光電変換部２−１の出力信号は映像信号処理部４によって処理され、映像信号を記録する場合にはメモリ５にその結果を出力し、リアルタイムの情報をビューファインダーなどの画像表示部６に出力する。サンプリング制御部２−２では、メモリ５に記録する場合及び画像表示部６に表示する場合に応じて、画像サイズ変更制御部３の制御に従って、サンプリング制御を切り替えるようになっている。
【００３７】
次に、本発明の撮像モジュール２における基本的な読み出し動作である順次全画素読み出し以外の読み出しである、平均化読み出し処理で用いる平均化処理回路の構成について、図２に基づいて説明する。。なお、説明を簡単にするために、図２においては素子をアレイ状に配置したＣＭＯＳセンサの水平１ラインでの動作を説明するための構成について図示している。読み出し開始位置を指定する、サンプリング制御部２−２に設けられているスタートパルス位置レジスタ11からのＳＴＢ信号12−１，12−２，・・・を、ＣＭＯＳセンサを駆動するシフトレジスタ13に対して入力信号として送る。この図示例では、シフトレジスタ13の動作は、２相のフリップフロップ（ＦＦ）になっており、１相目のＦＦ１はＨＣＫ1Aのクロック信号により動作し、２相目のＦＦ２はＨＣＫ2Aのクロック信号により動作し、縦続接続されているシフトレジスタユニット（ＳＲ１）13−１，（ＳＲ２）13−２，・・・への転送操作を行うようになっている。そして、各シフトレジスタユニットの出力がＨになれば、ＣＭＯＳセンサを構成する各ＣＭＯＳセンサ素子14−１，14−２，・・・のゲートが開き、各コンデンサＣに蓄積されている光電荷に対応した電圧の読み出しのラインをアクティブにして、光信号を読み出す。
【００３８】
ここで、読み出し開始位置を指定するスタートパルス位置レジスタ11で11ａ，11ｂの２カ所を同時にＨの状態にして、対応する２カ所のシフトレジスタユニット13−１，13−３の１相目のＦＦ１を同時にアクティブにすると、シフトレジスタユニット13−１，13−３の２相目のＦＦ２の出力を同時にＨの状態にして、ＣＭＯＳセンサ素子14−１，14−３の各ゲートを開く。これにより、指定された位置のキャパシタＣの電圧を平均化したものが読み出される。すなわち、ＣＭＯＳセンサ素子14−１及び14−３のキャパシタＣの電圧が平均化されて読み出される。以下、シフトレジスタ13の動作により、ＣＭＯＳセンサ素子14−２，14−４の各ゲートが同時に開くと言うように、２個の読み出し位置は右側にシフトしていく。
【００３９】
図３に、このような平均化読み出し動作を行うためのスタート位置を指定するスタートパルス位置レジスタ11の内容と、２相のシフトレジスタ13の動作、及びＣＭＯＳセンサの出力信号を時系列に示している。上述のように、ＣＭＯＳセンサの出力端子15では、ＣＭＯＳセンサ素子14−１，ＣＭＯＳセンサ素子14−３の平均ＡＶＥ（ＣＭＯＳ１・ＣＭＯＳ３），ＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４の平均ＡＶＥ（ＣＭＯＳ２・ＣＭＯＳ４），ＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−５の平均ＡＶＥ（ＣＭＯＳ３・ＣＭＯＳ５）と順次出力していく。ここで、ＡＶＥは括弧内の２つのＣＭＯＳセンサ出力信号の平均値を示す。
【００４０】
このように、シフトレジスタ13を駆動する１回の動作パルスによって、２カ所以上のＣＭＯＳセンサ素子のキャパシタの電圧を、平均化して読み出すことができる。ここで、ＣＭＯＳセンサの１ラインの色フィルタの並びが、Ｒ−Ｇ−Ｒ−Ｇ・・・のようになっているとすると、以上の読み出し動作では、水平方向に１画素おきに並んだ2 個のＲ信号の平均、Ｇ信号の平均というように逐次右側にシフトしながら、平均化した光信号を読み出していることになる。
【００４１】
次に、本発明で利用する他の読み出し方式である画素間引き読み出しについて説明する。図４の（Ａ）は、１画素おきの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この１画素おきの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−１，13−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ1Bクロック信号で駆動される第３のＦＦ３を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は次段のシフトレジスタユニットの２相目ＦＦ２の入力に接続するようにして構成されている。なお、図４の（Ａ）においては、次に説明する２画素間引きの読み出し用シフトレジスタと兼用させているため、第４のＦＦ４も合わせて図示している。
【００４２】
このように構成されたシフトレジスタにおいては、図４の（Ｂ）に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、ＨＣＫ1A，ＨＣＫ2A，ＨＣＫ1Bクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４，・・・に対応するゲート制御信号が出力され、１画素おきの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子14−２，ＣＭＯＳセンサ素子14−４，・・・の順に画素信号ＣＭＯＳ２，ＣＭＯＳ４，・・・が得られる。
【００４３】
図５は、２画素間引きの読み出し動作を行わせるためのシフトレジスタの構成を示すブロック構成図である。この２画素間引きの読み出し動作用のシフトレジスタは、各シフトレジスタユニット13−１，13−２，・・・の１相目ＦＦ１に並行して、ＨＣＫ1Bクロック信号で駆動される第３のＦＦ３を配置すると共に、ＨＣＫ1Cクロック信号で駆動される第４のＦＦ４を配置し、その入力は１相目ＦＦ１の入力に接続すると共に、出力は１段離れた次々段のシフトレジスタユニット13−３（ＳＲ３）の２相目ＦＦ２に接続するようにして構成されている。
【００４４】
このように構成されたシフトレジスタにおいては、図６に示すように、スタートパルス位置レジスタ11より図示のようなパルスを入力すると共に、ＨＣＫ1A，ＨＣＫ2A，ＨＣＫ1B，ＨＣＫ1Cクロック信号で駆動することにより、シフトレジスタの動作はＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−６，・・・に対応するゲート制御信号が出力され、２画素間引きの読み出し動作が行われ、出力端子からＣＭＯＳセンサ素子14−３，ＣＭＯＳセンサ素子14−６，・・・の順に画素信号ＣＭＯＳ３，ＣＭＯＳ６，・・・が得られる。
【００４５】
以上のように、図１における画素サイズ変更制御部３からの制御信号に基づいて、サンプリング制御部２−２に対してスタートパルス位置レジスタ用の読み出し開始位置と平均化の情報並びに飛び越し情報を与えると共に、各シフトレジスタ駆動クロック信号を制御することにより、ＣＭＯＳセンサの全画素順次読み出しの他に、同時読み出し（平均化）あるいは間引き読み出しを行えるようになっている。
【００４６】
以上本発明の読み出し動作に必要な、画素の平均化読み出し及び飛び越し読み出しの動作の基本形について説明した。本発明では、これら２つの読み出し動作の組み合わせで撮像処理動作が行われる。
以下第１の実施の形態においては、
（１）フレーム毎に位相が異なる矩形ブロック読み出し
（２）：（１）の読み出し位置の位相補償フィルタ処理
（３）フレーム内で水平方向の読み出し位置の位相が異なるブロック読み出し
（４）：（１）の読み出し方式のフレーム間比較処理による色モアレの低減
（５）：（３）の読み出し方式のフレーム間での位相変調
（６）平行四辺形形状の読み出し、平行四辺形形状と矩形形状の読み出しの組み合わせ
（７）：（５）の読み出し方式のフレーム間での位相変調
について説明する。
【００４７】
また、第２の実施の形態においては、
（８）平均化読み出しと間引き読み出しの組み合わせによるフレーム内位相変調（９）：（８）の読み出し方式のフレーム間位相変調
（10）：（９）の読み出し方式を用いたＹ／Ｃ分離、合成処理
また、第３の実施の形態においては、
（11）：（10）の別の構成例：Ｙ信号の代わりにＧを読み出し、Ｃr ＝Ｒ−Ｇ，Ｃb ＝Ｂ−Ｇとし、Ｇ信号はローパスフィルタを介して読み出す例
また、第４の実施の形態においては、
（12）Ｙ／Ｃ分離読み出し方式のＹ（Ｇ）信号のフレーム補間とライン補間の切り替えを、被写体の動き検出で行う例について、それぞれ説明する。
【００４８】
（第１の実施の形態）
まず、本発明の具体的な第１の実施の形態として、フレーム毎にサンプリング位置ずらしを行って位相の異なる矩形ブロックを読み出し、そして、位置ずらしで読み出した連続したフレームの各ブロック画像データを比較して、偽色の最も少ないブロック画像データを選択して偽色を抑制するようにした撮像装置について説明する。図７は、かかる手法による撮像装置を示すブロック構成図である。
【００４９】
この実施の形態では、図８の（Ａ）に示すように、画像データを４×４画素の基本ブロックに分割し、１／16のサイズの画像に変更する例を示している。そして、各基本ブロックを更に２×２画素のＲＧＢの組の４つのサンプリング読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄに分割し、Ｉ番目のフレームでは単位ブロックＡを読み出し、Ｉ＋１番目のフレームでは単位ブロックＢを読み出し、Ｉ＋２番目のフレームでは単位ブロックＣを読み出し、Ｉ＋３番目のフレームでは単位ブロックＤを読み出すように、各フレーム毎に読み出し単位ブロックのサンプリング位置をずらしながら読み出しを行わせるようにする（位相変調読み出し）。このような２×２画素の矩形形状の読み出し単位ブロックが繰り返し構造となっていることを表すため、図８の（Ａ）においては、単位ブロックＡのみ４個所で示している。４×４画素の基本ブロックに対して２×２画素の単位ブロックでサンプリングしたデータは、１／16の縮小サンプリングでは同一位置の画素データ（ＲＧＢ）に割り当てられる。
【００５０】
図８の（Ｂ）は、図８の（Ａ）に示した読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄの位相変調読み出しを行わせる場合の各読み出し単位ブロックのフレーム露光（２フィールド露光）の態様を示すタイミングチャートである。横軸は時間方向であり、同一ラインの読み出しを行ったときに、受光素子の光信号がリセットされることを考慮すると、単位ブロックＡの読み出しを行ったときに水平方向に隣接する単位ブロックＣの信号がリセットされる。単位ブロックＣの信号の読み出し時には、このリセットされたタイミングから読み出し時間まで蓄積された光信号を読み出す。図８の（Ａ）に示したパターンでは、各単位ブロックの読み出し時には２フィールド分蓄積された信号を読み出すようになる。このように、サンプリングブロックをずらすことにより、位相変調の効果が生じ、色モアレの発生を低減することができる。
【００５１】
このような読み出し単位ブロックの位相変調読み出しを行わせるため、本実施の形態に係る撮像装置においては、図７に示すように、フレームカウンタ21とラインカウンタ22を備え、４×４画素の基本ブロックにおいて４つの読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄのどの単位ブロックを読み出すかを指定し、スタートパルス位置レジスタ23，水平シフトレジスタ24及び垂直シフトレジスタ25を動作させて、ＣＭＯＳセンサ26を読み出すようになっている。
【００５２】
ここで、使用するシフトレジスタのスタートパルスの位置を指定するスタートパルス位置レジスタ23の内容を示すと、図９の（Ａ），（Ｂ）に示すスタートパルス１及び２の内容になる。図10は、スタートパルス位置レジスタ23の内容を図９の（Ａ）に示すスタートパルス１とし、ライン４ｎ＋１，及びライン４ｎ＋２の読み出し単位ブロックＡを読み出すときの、水平シフトレジスタ24の動作及びＣＭＯＳセンサ26の出力信号の時系列出力態様を示している。図示のように、ＣＭＯＳセンサ26の出力端子からはＣＭＯＳ１，ＣＭＯＳ２，ＣＭＯＳ５，ＣＭＯＳ６，・・・の順に出力信号が出力されて行く。このような動作により、２画素連続読み出し、２画素間引きの繰り返し読み出し動作となる。
【００５３】
表１には、図８の（Ａ）に示したサンプリング読み出し例において、フレーム番号とサンプリング読み出し単位ブロックとの関係と、そのフレーム番号とサンプリング読み出し単位ブロックとの関係に対応する各水平ライン４ｎ＋１，４ｎ＋２，４ｎ＋３，４ｎ（ｎは整数）に対するスタートパルス位置レジスタの内容を示している。
【００５４】
【表１】
例えば、Ｉ番目のフレームでは、読み出し単位ブロックＡを読み出すために、ライン４ｎ＋１，４ｎ＋２では、図９の（Ａ）に示すスタートパルス１の内容のスタートパルス位置レジスタを用いて読み出しを行い、ライン４ｎ＋３，４ｎではラインの読み出しを行わない（表１において×印で示している）。図８に示した例では、各水平ラインの読み出し画素は読み出し後リセットパルスによりリセットされ、その後蓄積状態に入るようになっているので、上記Ｉ番目のフレームで読み出しを行わないライン４ｎ＋３，４ｎの画素では、電荷の蓄積を継続している。同様にＩ＋１番目のフレームでは、読み出し単位ブロックＢを読み出すために、ライン４ｎ＋１，４ｎ＋２の読み出しは行わず、ライン４ｎ＋３，４ｎでは、スタートパルス２の内容のスタートパルス位置レジスタを用いて読み出しを行う。またＩ＋２番目のフレームでは、読み出し単位ブロックＣを読み出すために、ライン４ｎ＋１，４ｎ＋２では、スタートパルス２の内容のスタートパルス位置レジスタを用いて読み出しを行い、ライン４ｎ＋３，４ｎではラインの読み出しは行わない。またＩ＋３番目のフレームでは、読み出し単位ブロックＤを読み出すために、ライン４ｎ＋１，４ｎ＋２の読み出しは行わず、ライン４ｎ＋３，４ｎでは、スタートパルス２の内容のスタートパルス位置レジスタを用いて読み出しを行う。
【００５６】
以上のようにして、読み出し単位ブロック毎の位相をずらしたサンプリング読み出しが行われたＣＭＯＳセンサ26からの光信号は、図７に示すように、Ａ／Ｄ変換器27でデジタルデータに変換され、４つの読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄ毎の４画面分の画像メモリ28−１，28−２，28−３，28−４に、それぞれ蓄積される。なお、この４画面分のメモリ蓄積の動作はＦＩＦＯになっている。
【００５７】
そして、この実施の形態においては、ＷＢ切替部29で各撮影光源毎に切り替えられたホワイトバランスデータを用いて、ＲＧＢ−Ｌab変換器30−１，30−２，30−３，30−４において色空間変換を行い、Ｌabに変換された各サンプリング画像の色信号の彩度をコンパレータ31において比較演算し、彩度の最も低い色信号のサンプリング画面を選択し、Ｌab−ＲＧＢ逆変換器32を用いてＲＧＢ画像信号に変換する。これにより、偽色の最も少ないサンプリングＲＧＢ画像信号が得られる。
【００５８】
以上のようにして、サンプリングパターンすなわちサンプリング読み出し単位ブロックをフレーム毎にずらすことにより、位相変調の効果が得られ、色モアレにより偽色の発生を低減することができる。しかしながら、上記手法によってはモアレの発生は低減できるものの、フレーム毎にサンプリングする単位ブロックの位置がずれて異なるので、そのサンプリング結果を、そのまま１／16のサイズの画像信号として用いると、画像のぶれ、すなわちフリッカーが発生する。
【００５９】
このような不具合を防止するために、図11の（Ａ）〜（Ｄ）に示すように、隣接する２つの基本ブロックの２つの同一読み出し単位ブロックの信号を読み出した後、平均化処理し、位相補償を行うことによって、画像ぶれを防止することができる。すなわち、例えば、図11の（Ａ）に示すように、基本ブロック（ｉ，ｊ）の読み出し単位ブロックＡを基準にすると、読み出し単位ブロックＢのサンプリングにおいては、縦方向の平均化フィルタ処理、つまり基本ブロック（ｉ，ｊ）の読み出し単位ブロックＢと基本ブロック（ｉ−１，ｊ）の読み出し単位ブロックＢの信号の平均化を行い、また読み出し単位ブロックＣのサンプリングにおいては、横方向の平均化フィルタ処理、つまり基本ブロック（ｉ，ｊ）の読み出し単位ブロックＣと基本ブロック（ｉ，ｊ−１）の読み出し単位ブロックＣの信号の平均化を行い、また読み出し単位ブロックＤのサンプリングにおいては、斜め方向の平均化フィルタ処理、つまり基本ブロック（ｉ，ｊ）の読み出し単位ブロックＤと基本ブロック（ｉ−１，ｊ−１）の読み出し単位ブロックＤの信号の平均化を行うことにより、いずれのフレームにおいても読み出し単位ブロックＡと同じ位置でサンプリングされた状態になり、画像ぶれを有効に防止することができる。なお、この後、比較し彩度の最も小さい信号を選択出力させることは同様である。
【００６０】
上記実施の形態の説明では、サンプリングパターンとして、４×４画素の基本ブロックを、画面上において縦横にずれずに整然と並んで配置された状態にブロック分割したものを示したが、これに制限されるものではなく、例えば図12に示すように、水平方向に互いに２画素ずつずれて配置されるように、すなわち４×４画素の各基本ブロックが千鳥格子状に配置されるように分割してもよい。この図示例では、縮小画像にすると読み出し単位ブロックは１個の画素となるので、１画素の半分位ずらされた状態となり、フリッカーは生じるけれども、色が目立たなくなる可能性が生じる。
【００６１】
また、上記実施の形態においては、４×４画素の基本ブロックにおいて、ライン４ｎ＋１と４ｎ＋２，あるいはライン４ｎ＋３と４ｎのスタートパルス位置をそれぞれ同一にして、各読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄをそれぞれ矩形パターンとしたものを示したが、ライン４ｎ＋１と４ｎ＋２，及びライン４ｎ＋３と４ｎのスタートパルス位置を１画素ずらすことによって、図13の（Ａ）に示すように、各読み出し単位ブロックＡ，Ｂ，Ｃ，Ｄを平行四辺形パターンとしてサンプリングすることができ、この平行四辺形パターンの読み出し単位ブロックを用いて縮小化したフルカラーデータを作成することができる。
【００６２】
このように、読み出し単位ブロックを平行四辺形パターンとすることにより、同じく２×２画素でＲＧＢ＋Ｇの矩形パターンの読み出し単位ブロックとは異なるＣＦＡ（カラーフィルタアレイ）の位相関係でのサンプリングを行うことができるので、図13の（Ｂ）に示すように、平行四辺形パターンの読み出し単位ブロックと矩形パターンの読み出し単位ブロックを混在させてサンプリングを行うことにより、サンプリングの位相変調が可能となる。また図13の（Ｃ）に示すように、向きの異なる平行四辺形パターンの読み出し単位ブロックを上下対称になるように混在配置してサンプリングするようにしてもよい。なお、図13の（Ｂ），（Ｃ）に示したパターンによるサンプリング態様は、各読み出し単位ブロックを複数フレームに亘ってサンプリングするのではなく、１つのフレームでのサンプリングである。
【００６３】
また、図13の（Ｂ）に示した平行四辺形パターンと矩形パターンとを混在させたサンプリングや、図13の（Ｃ）に示した向きを変えた平行四辺形パターンの組み合わせによるサンプリングにおけるサンプリングパターンを、フレーム毎に切り替えるようにしてもよい。すなわち、図13の（Ｂ）の場合、読み出し単位ブロックＡ，Ｃは平行四辺形パターンで、読み出し単位ブロックＢ，Ｄは矩形パターンであるが、次のフレームでは図13の（Ｄ）に示すように、読み出し単位ブロックＡ，Ｃは矩形パターンに、読み出し単位ブロックＢ，Ｄは平行四辺形パターンにしてサンプリングし、また図13の（Ｃ）における各読み出し単位ブロックの平行四辺形パターンの向きを逆にした図13の（Ｅ）に示すような平行四辺形パターンで、フレーム毎に切り替えサンプリングする。このようにフレーム間で読み出し単位ブロックのサンプリングパターンを交換切り替えることによって、モアレを低減することができる。またフレーム間での位相変調を行うため、ＯＤＤフレームでは図13の（Ｂ）のパターンにしたのに対して、ＥＶＥＮフレームでは図13の（Ｄ）に示すパターンでサンプリングし、同様にＯＤＤフレームでは図13の（Ｃ）のパターンにしたのに対して、ＥＶＥＮフレームでは図13の（Ｅ）に示すパターンでサンプリングするようにしてもよい。
【００６４】
色モアレの原因が、サンプリング位相の規則性にあるのであれば、上記のように平行四辺形パターンのサンプリングと、矩形パターンのサンプリングを組み合わせ、更にフレーム間でサンプリングパターンを交換切り替えを行うことによって、位相変調を行ってサンプリングするのと等価な効果が得られるので、モアレの低減を図ることができる。
【００６５】
（第２の実施の形態）
また、ＣＦＡを実装した撮像素子において、画素の平均化処理を行うことによって、線形補間と同じ処理が行うことができ、実際には対象とする色のない位置の画素においても、補間などによって擬似的に、そこの位置での画素値を作り出している。一般に、ベイヤー配列のような規則的なＣＦＡにおいては、間引き処理において、サンプリング格子が各色において規則的であるので、被写体の高周波パターンに起因する色モアレが発生する。
【００６６】
次に、第２の実施の形態として、色モアレの発生を抑制するには、上述の補間処理ようにローパスで帯域を制限する方法の他に位相変調をかける方法が考えられ、平均化読み出しを用いて擬似的に読み出しの位相変調を行う方式を示す。図14の（Ａ），（Ｂ）に示すように、Ｒ，Ｇ，ＢのＣＦＡの信号を読みとることを想定して説明する。
【００６７】
この実施の形態においては、図14の（Ａ）に示すように、ライン４ｎ＋１とライン４ｎ＋２では平均化読み出しを行い、ライン４ｎ＋３とライン４ｎでは平均化読み出しは行わずに２画素読み出し、２画素飛ばしを行う。ライン４ｎ＋１のＧ11，Ｇ13の光信号は、平均化読み出しの方式で読み出される。平均化処理は線形補間と同じであり、線形補間による近似によれば、これはＲ12の位置のＧの信号（Ｇ12）に相当する。同様に、Ｒ12，Ｒ14の平均化処理によりＧ13の位置のＲの信号（Ｒ13）を擬似的に形成される。同様に、ライン４ｎ＋２ではＢ22，Ｇ23の疑似信号が得られる。この配列と、ライン４ｎ＋３，ライン４ｎで読み出される２×２のブロックのＣＦＡの配列を比較すると、配列が逆位相になっていることが解る。すなわち、Ｒ−Ｇ，Ｂ−Ｇの並びが逆転している。したがって、このような動作を行うことにより、１枚の画像で縦方向にサンプリングの位相変調ができ、前述のようにＣＦＡの規則的配列で規則的に間引いて読み出す場合に発生する色モアレが低減する。また、平均化処理を行っているためにライン４ｎ＋１，４ｎ＋２のサンプリングと、ライン４ｎ＋３，ライン４ｎのサンプリング帯域も異なることが解る。色モアレの発生は、帯域制限によっても抑制される。以上のように、画像面内でのサンプリングの位相、帯域の変調を行うことによって色モアレの発生を低減できる。
【００６８】
更に、図14（Ａ），（Ｂ）に示すように、フレーム間で、平均化読み出しを行うラインと平均化読み出しを行わず間引き読み出しを行うラインの順序を入れ替えることによって、ウオブリングの効果により動画のモアレが目立たなくなる。このようなフレーム間、フレーム内でのサンプリング位相変調の態様は、図14の（Ａ），（Ｂ）に示すようになり、連続するフレーム間で逆位相になっており、縮小画像で同じＡ，Ｂ，Ｃ，Ｄの位置の信号を表す画素の位相が、フレーム毎に異なるようになる。
【００６９】
次に、一画像において、図14の（Ａ）に示したように、ライン４ｎ＋１，４ｎ＋２が平均化読み出しで、ライン４ｎ＋３，４ｎが間引き読み出しを行う場合のシフトレジスタの動作を、図15, 16を用いて説明する。ここで、ライン４ｎ＋１，４ｎ＋２の平均読み出し動作に対応するタイミングチャートが図15で、ライン４ｎ＋３，４ｎに対応する間引き読み出し動作のタイミングチャートが図16である。図15では、スタートパルス位置レジスタ23のＨ位置はＳＲ１，ＳＲ３の位置に対応しており、最初にこれら２つのＳＲ１，ＳＲ３のＦＦ１を動作させ、次にＦＦ２を動作させて右にシフトさせる。このとき、1 番目の出力はＣＭＯＳ１，３の平均、２番目の出力はＣＭＯＳ２，４の平均となる。その後に、ＦＦ３を動作させるＨＣＬ1CのパルスがＨになり、２画素飛ばし、ＦＦ２の動作後ＦＦ１を１回動作させる。この一連の２回の動作では、ＳＲ５，ＳＲ７の組み合わせと、ＳＲ６，ＳＲ８の組み合わせが同時にＨになるので、出力ではＣＭＯＳ５，７の平均、ＣＭＯＳ６，８の平均が得られる。以下ＦＦ３，ＦＦ２，ＦＦ１，ＦＦ２の順に動作させる。
【００７０】
一方、ライン４ｎ＋３，４ｎに対応する２画素連続読み出し、２画素飛ばしの動作では、図16に示すように、スタートパルスのＨ位置はＳＲ２に対応し、以下ＦＦ１，ＦＦ２，ＦＦ１，ＦＦ２でシフトレジスタを動作させ、それ以降はＦＦ３，ＦＦ２，ＦＦ１，ＦＦ２の繰り返しになる。したがって、図15, 16のタイミングチャートで異なるのは、スタート位置を示すレジスタの内容だけで、シフトレジスタのＦＦの動作パルスは共通である。
【００７１】
次に、この第２の実施の形態において、平均読み出し、間引き読み出し制御、及び出力映像信号のＹ／Ｃ分離・合成を行う具体的な構成について、図17のブロック構成図に基づいて説明する。本実施の形態では、図14の（Ａ），（Ｂ）に示したＡ又はＣの位置に相当する信号は、図14の（Ａ）に示すＩ番目のフレームでは、平均化読み出しによって帯域の低くなった信号なので色差信号（Ｃr ，Ｃb ）を、図14の（Ｂ）に示すＩ＋１番目のフレームでは、帯域の高い領域の信号なので輝度信号Ｙを選択するようにし、逆にＢ又はＤの位置に相当する信号は、図14の（Ａ）に示すＩ番目のフレームでは、輝度信号を、図14の（Ｂ）に示すＩ＋１番目のフレームでは、色差信号を選択するようにしている。
【００７２】
そこで、図17に示すように、フレームカウンタ21及びラインカウンタ22を備え、フレームカウンタ21では例えばフレームのＯＤＤ，ＥＶＥＮを監視し、ラインカウンタ22では例えば、４の剰余系（４ｎ＋１，４ｎ＋２，４ｎ＋３，４ｎ，ｎ：整数）での剰余数を監視しておく。そして、スタートパルス位置レジスタ23，水平シフトレジスタ24及び垂直シフトレジスタ25を動作させて、前記図15及び図16に示したようなＣＭＯＳセンサ26の出力信号が得られるように、ＣＭＯＳセンサ26を駆動する。
【００７３】
このように、フレーム数、垂直方向の位置で指定されたスタートパルスと垂直方向で共通のＦＦの動作に従って、ＣＭＯＳセンサ26の信号を読み出す。ＣＭＯＳセンサ26の出力信号は、Ａ／Ｄ変換器27でデジタル信号に変換され、第１の画像メモリ41−１と、バッファ42を介して第２の画像メモリ41−２に一旦蓄えられ、そして、第１及び第２のＹ／Ｃ分離回路43−１，43−２を通り、Ｙ／Ｃ合成時の信号切り替えを第１及び第２の切り替え制御部44−１，44−２で行い、Ｙ／Ｃ合成部45で２フレームのデータから、Ｙ／Ｃの合成を行う。このとき、フレーム数と垂直方向位置で、Ｙ／Ｃ合成の規則が異なる。図14の（Ａ），（Ｂ）に示した例では、Ａ，Ｃ位置では、Ｉ番目フレームの場合、ライン４ｎ＋１，４ｎ＋２の色差信号Ｃr ，Ｃb を用い、Ｉ＋１番目フレームでは、ライン４ｎ＋１，４ｎ＋２のＹ信号を用いる。Ｂ，Ｄ位置は逆位相であり、Ｉ番目フレームではライン４ｎ＋３，４ｎのＹ信号を用い、Ｉ＋１番目フレームではライン４ｎ＋３，４ｎのＣr ，Ｃb 信号を用いる。
【００７４】
すなわち、図14の（Ａ），（Ｂ）に示した例において、Ｉ番目のフレームでは、Ａ，Ｃの位置に相当するフルカラーデータは、Ｒ，Ｂについてはそれぞれ２画素の平均、Ｇについては２画素を平均した２つの信号から得られ、合計８画素を用いて生成される。一方、Ｂ，Ｄの位置に相当するフルカラーデータは、ＲＧＢ＋Ｇの４画素の信号を用いて生成しており、Ｉ＋１番目フレームはその逆位相にしている。ここで、８画素を用いてデータを生成した方が、サンプリングの帯域が低いので、色モアレが抑制されるが、一方において、被写体の微細構造まで抑制してしまうという副作用がある。逆に４画素のサンプリングでは、微細構造は再現できるが、色モアレが出やすいという特徴がある。そこで、上記のように、連続するフレームで、同一位置（例えば、図14の（Ａ），（Ｂ）における位置Ａ）の４画素のサンプリングを用いたときの輝度信号と、８画素のサンプリングを行ったときの色差信号を用いることによって、双方の信号の補完し、色モアレの少ない高精細な画像を得ることができる。
【００７５】
また、上記実施の形態において、サンプリング速度を上げるために、図18に示すように、垂直方向においてラインを飛ばして読み出すようにしてもよい。すなわち、図18に示すように、基本ブロックとして４×４画素のブロックＡ，Ｂ，Ｃ，Ｄに分割し、ＯＤＤフレームでは、ブロックＡ，Ｃにおいて、１行目と４行目の読み出しを行わず、２行目と３行目の２番目と３番目の画素の間引き読み出しを行い、ブロックＢ，Ｄにおいて、１行目と４行目の読み出しを行わず、２行目と３行目における１番目と３番目及び２番目と４番目の画素の平均化読み出しを行わせ、一方ＥＶＥＮフレームでは、サンプリング規則（パターン）を交換して、ブロックＡ，Ｃでは平均化読み出しを、ブロックＢ，Ｄに対しては間引き読み出しを行わせるようにする。このように、読み出しを行わない水平行を設定することにより、サンプリング速度を上げることができる。
【００７６】
また、本実施の形態の変形例として、フレーム毎に、全面ローパスで求めた色信号と、全面間引きサンプリングしたものから求めた輝度信号とを切り替えて、選択的に合成してもよい。
【００７７】
（第３の実施の形態）
次に、第３の実施の形態について説明する。この実施の形態は、第２の実施の形態において、Ｙ／Ｃ分離処理を行ったときの、Ｙ信号のモアレ（輝度モアレ）を低減するために、輝度信号のサンプリングはライン方向で一旦読み出した後に、ローパス処理を行った後で、サンプリングにリサイズを行う。すなわち、図18に示したサンプリング規則（パターン）の代わりに、図19に示すように、Ｇチャンネルのみの読み出し２ラインと、平均化読み出し２ラインの組み合わせで、２ラインのＧチャンネルのサンプリングからＹ信号、２ラインの平均化読み出しからＣb ，Ｃr 信号を用いて、Ｙ／Ｃ分離合成処理を行うものである。
【００７８】
この際に、Ｇチャンネルの読み出しラインの動作パルス数は、図18に示した例と同じであり〔例えば、４×４のブロック１行（図19のブロックＡの２列目及び３列目) では２回Ｇをサンプリングしている〕、平均化サンプリングとのタイミングは合わせられる（平均化サンプリングも、４×４のブロックの１行に対して２パルスで動作）。図19のＯＤＤフィールドにおいては、ブロックＡ，Ｃの２，３行目がＧのサンプリングに相当し、１画素間引きのサンプリングを行っている。この間引きサンプリングは、図４の（Ｂ）に示すようにＨＣＫ1BとＨＣＫ2Aの組み合わせで動作する。但し、２列目と３列目ではスタートパルスの位置が１つずれている。
【００７９】
図19に示すように、偶数、奇数のフレームでサンプリング規則を交換し、第２の実施の形態と同様に、画像の同一位置に相当する輝度信号と色信号を、２つのフィールドから選択する。その際の選択規則も、フィールドとライン番号によって指定されることは、上述の通りである。この第３の実施の形態では、平均化サンプリングとＧチャンネルのサンプリングでは、使用するシフトレジスタのパルス系列が異なり、さらに、Ｇチャンネルの２ライン目と３ライン目のサンプリングでは、スタートパルス位置が異なる。すなわち、フィールド番号及びライン番号によって、スタートパルスの位置、シフトレジスタを駆動するパルス系列がそれぞれ異なるので、これらを選択設定する手段を必要とする。更に、Ｇチャンネルのサンプリングに関しては、サンプリング後にローパスフィルタ（水平ローパス）を掛ける処理をして、輝度モアレの低減を図る。
【００８０】
また、この実施の形態の変形例として、Ｙ／Ｃ分離合成処理に用いるＹ信号を生成するＧ信号を、図20に示すように、分割ブロック内の全てのＧ画素を読み出して形成するようにしてもよい。この際、各ラインの２つのＧ画素を同時に読み出して平均化してもよいので、図19に示したサンプリングパターンと同じパルス数で読み出すことができる。すなわち、図20のＯＤＤフレームのＡ，Ｃのブロックでは、 (1)：Ｇ11，Ｇ13の平均値、 (2)：Ｇ22，Ｇ24の平均値、 (3)：Ｇ31，Ｇ33の平均値、 (4)：Ｇ42，Ｇ44の平均値の４個のクロックで読み出せるので、図19の間引き読み出しと同じパルス数になる。但し、水平間引きのライン数が異なるので、全体の読み出しスピードは同じにならない。
【００８１】
図21は、上記のような動作を行わせるための具体的な第３の実施の形態の構成を示すブロック構成図である。この実施の形態では、フレームカウンタ21でフレームの偶奇を判断し、ラインカウンタ22で、８の剰余系（図19の例）を認識している。これらの結果により、サンプリングが必要なラインの場合は、セレクタ51を動作し、第１及び第２の２つのパルスジェネレータ52−１，52−２のどちらかの動作パルスを選択する。図19のＯＤＤフィールドでは、ライン８ｎ＋２，８ｎ＋３でＧチャンネルのサンプリング、ライン８ｎ＋６，８ｎ＋７で平均化サンプリングを行う。ライン８ｎ＋２，８ｎ＋３では１画素間引きのサンプリングのシフトレジスタ動作パルス系列（図４の（Ｂ））を選択し、ライン８ｎ＋６，８ｎ＋７では平均化サンプリングのシフトレジスタ動作系列（図15）を選択する。更に、ライン８ｎ＋２，８ｎ＋３では、スタートパルス位置が異なるが、これをスタートパルス位置レジスタ23から読み出す。
【００８２】
各ラインのＣＭＯＳセンサ素子のデータが読み出されると、Ｇチャンネルをサンプリングした結果は、ローパス処理の必要があるので、セレクタ53によってローパス処理かスルーかを選択する。その後、ローパスフィルタ54を通ったＧチャンネルの信号を選択し合成を行うが、例えば、図19の例でブロックＡの２行２列目（Ｇ22），３行３列目（Ｇ33）をサンプリングし、平均化を行う。なお、Ｇチャンネルの選択と処理に関しては、例えば隣接２チャンネル（Ｇ11＋Ｇ13）のような平均化サンプリングのような変形例があり、図19に示した例のみに限られない。このように輝度モアレを低減したＧ信号によるＹ信号と、Ｃb ，Ｃr 信号とを異なるフレーム間で選択合成することは、図17に示した第２の実施の形態の説明と同じである。
【００８３】
このように、ライン毎にサンプリング規則（パターン）を異ならせ、サンプリングの位相と帯域を、同一画像内で位置によって異ならせ、更に、連続するフレーム間でも、同一位置に対するサンプリング位相と帯域を異ならせること、並びに輝度モアレ低減の処理のＧ信号を用いたＹ信号と平均化サンプリングにより色モアレ低減処理を行ったＣb ，Ｃr 信号の合成を組み合わせることによって、輝度モアレと色モアレの少ない動画像を提供することができる。
【００８４】
（第４の実施の形態）
上記第３の実施の形態のように、輝度信号（Ｇch）と色差信号（Ｒ−Ｇ，Ｂ−Ｇ）を得る読み出しパターンをフレーム間で交互にサンプリングし、フレーム間で補間を行う手法を用いた場合、被写体の動きが大きいときは、残像ができる場合がある。そこで、第４の実施の形態は、フレーム間の輝度信号の差分演算の結果に応じて、フレーム間補間とフレーム内の補間の切り替えを行うように構成したものである。
【００８５】
まず、第４の実施の形態において、連続するフレームでのＹ／Ｃの分離合成処理時におけるサンプリングについて詳細に説明する。図22では、４×４画素の基本ブロック毎に、輝度信号（Ｇ）と色差信号（Ｒ，Ｇ，Ｂ）を得るためのサンプリングを行う例を示している。図22の（Ａ），（Ｃ）は、水平方向にサンプリングの変調を行う例で、図22の（Ａ）において、ブロックＡ，ＣではＧ信号に対して２画素平均で４回のサンプリングをしている（輝度情報のサンプリング）。これに対して、ブロックＢ，ＤではＲ，Ｇ，Ｂ信号に対してそれぞれ１回、２回、１回の合計４回の２画素平均のサンプリングをしている（色情報のサンプリング）。図22の（Ｃ）では、図22の（Ａ）に示したＯＤＤフレームの次のＥＶＥＮフレームにおけるサンプリング規則（パターン）を示したもので、ブロックＡ，ＣとブロックＢ，Ｄは、ＯＤＤフレームのそれぞれ逆のサンプリングになっている。また図22の（Ｂ），（Ｄ）では、サンプリング規則（パターン）を水平、垂直方向で変調させる例について示している。
【００８６】
このようにしてサンプリングした情報は、１クロックの対応するデータ（この場合２画素の平均値）を保存しておく。Ｒ，Ｇ，Ｂの全チャンネルをサンプリングしたブロックに関しては、Ｒ−Ｇ，Ｂ−Ｇの色差信号を計算して保存しておく。そこで、１つのブロックに着目すると、一時的に保存しているデータは、Ｉ番目のフレームでは、Ｒ−Ｇ，Ｂ−Ｇ各１個、Ｇch２個（上下２ライン分）、Ｉ＋１番目のフレームでは、Ｇch４個、Ｉ＋２番目のフレームでは、Ｒ−Ｇ，Ｂ−Ｇ各１個、Ｇch２個（上下２ライン分）・・・・・のようになる。また、着目しているブロックの上下に隣接するブロックにおいては、Ｉ番目のフレームでは、Ｇch４個、Ｉ＋１番目のフレームでは、Ｒ−Ｇ，Ｂ−Ｇ各１個、Ｇch２個（上下２ライン分）、Ｉ＋２番目のフレームでは、Ｇch４個・・・・・というようになる。
【００８７】
１ブロックで、Ｇchを４回サンプリングしているブロックに関しては、Ｇチャンネルのフレーム間、及びライン間の補間は行わず、前後のフレームからＲ−Ｇ，Ｂ−Ｇの色差データを補間により生成し、Ｇチャンネルのデータと色差データから、Ｒ，Ｂのデータを生成する。
【００８８】
これに対して、１ブロックでＧchのデータ２個と色差データをサンプリングしているブロックに関しては、Ｇchの補間をフレーム内で行うか、フレーム間で行うかを、フレーム間の画像の輝度信号の差分の大きさによって決める。フレーム補間は、図23に示したように、連続した３フレームの画像を例にとると、前後フレーム（Ｉ−１，Ｉ＋１）のＧチャンネルのデータＧi-1 ，Ｇi+1 と、ＩフレームのデータＧi の線形和を、次式（１）により計算し、Ｇ信号とする。
ａ×Ｇi ＋ｂ×（Ｇi-1 ＋Ｇi+1 ） ・・・・・・・・・（１）
この線形和とＩフレームでサンプリングしている色差データを用いて、Ｒ，Ｂのデータを作成する。
【００８９】
これに対して、画像の動きが大きく、フレーム間の輝度の差分が大きい場合は、フレーム間の輝度信号の補間は行わず、図24に示すように、フレーム内で、輝度信号の補間を行う。すなわち、上下のブロックの、それぞれ下端、上端のＧのデータと、ブロックでサンプリングしているＧのデータの線形和を、次式（２）で計算する。
ａ×Ｇk ＋ｂ×（Ｇk-1 ＋Ｇk+1 ） ・・・・・・・・・（２）
ここで、Ｇk は注目しているブロック内で２個サンプリングしているＧchの平均値で、Ｇk-1 は１つ上のブロックの下端のＧchのデータ、Ｇk+1 は１つ下のブロックの上端のＧchのデータを表している。
【００９０】
次に、上記動作を行わせるための第４の実施の形態の概略的構成を図25のブロック構成図に基づいて説明する。第４の実施の形態に係る撮像装置は、図25に示すように、読み出し制御ユニット61と、光センサユニット62と、画像メモリＹ／Ｃ分離ユニット63と、Ｙ／Ｃ合成ユニット64と、Ｙ／Ｃ合成方法の選択手段65と、動き検出手段66とで構成されている。
【００９１】
次に、上記構成の撮像装置の動作の概要について説明する。まず、読み出し制御ユニット61が光センサユニット62に対して読み出し制御情報を与える。光センサユニット62は、読み出し規則に従って光電変換されたＲＧＢ信号を画像メモリＹ／Ｃ分離ユニット63の画像メモリに与える。画像メモリＹ／Ｃ分離ユニット63では、画像メモリの内容であるＲＧＢ信号から、Ｇ信号及び色差信号Ｒ−Ｇ，Ｂ−Ｇを算出し、Ｙ／Ｃ分離（輝度信号、色差信号）を行い、輝度信号と色差信号の出力を行う。Ｙ／Ｃ合成ユニット64は、画像メモリＹ／Ｃ分離ユニット63からの輝度信号及び色差信号を受けて、再びＹ／Ｃの合成を行い、ＲＧＢ信号を生成する。Ｙ／Ｃ合成ユニット64におけるＹ／Ｃ合成の方法は、Ｙ／Ｃ合成方法の選択手段65によって選択される。この選択手段65は、読み出し制御ユニット61からの画像のフレーム番号の情報及びライン番号、並びに画像メモリＹ／Ｃ分離ユニット63からの輝度信号を入力とする動き検出手段66から出力されるフレーム間の差分の大きさを参照し、Ｙ／Ｃ合成の方法を選択するようになっている。
【００９２】
次に、図25に示した読み出し制御ユニット61及び光センサユニット62の詳細な構成を、図26に基づいて説明する。読み出し制御ユニット61は、フレームカウンタ101 ，ラインカウンタ102 ，画素読み出し規則の選択部103 ，第１及び第２のパルスジェネレータ104 ，105 ，水平１ライン読み飛ばし部106 とで構成されており、光センサユニット62は、スタートパルス位置レジスタ201 ，水平シフトレジスタ202 ，垂直シフトレジスタ203 ，ＣＭＯＳセンサ204 とで構成されている。
【００９３】
フレームカウンタ101 及びラインカウンタ102 によってフレーム番号とライン位置を検知し、その値に応じて、（１）サンプリングの開始位置及び同時に読み出す画素数を規定するスタートパルス位置レジスタ201 の内容、及び（２）画素の飛び越し数を制御する水平シフトレジスタ202 の動作を規定するパルスジェネレータ104 ，105 の内容を選択する。
【００９４】
このような判断は、画素読み出し規則の選択部103 の基準に応じて行う。例えば、図22の（Ａ）に示すようなライン毎の変調読み出し方をする場合、ＯＤＤフレームではブロックＡ，Ｃを含むラインがＧの読み出し、ブロックＢ，Ｄを含む位置ではＲＧＢの読み出しとなり、ＥＶＥＮフレームでは逆になっている。ここで、ブロックＡ，Ｃを含むライン数は、図22の（Ａ）に示す例で最上部のライン番号を０として、８の剰余系で０，１，２，３となり、ブロックＢ，Ｄを含むライン数は８の剰余系で４，５，６，７である。したがって、Ｇの読み出しを行う条件は、次式（３）で表される。
（F1＝ODD and mod(L1,8) ＜4 ）or（F1＝EVEN and mod(L1,8)≧4 ）
・・・・・・・・（３）
ここで、Ｆ１はフレーム数、Ｌ１はライン数である。なおフレーム数の偶奇は便宜上のもので、時間的に連続するフレームでは、交互に偶奇としている。mod(ｘ，ｙ）はｘのｙを基数とする剰余系である。
【００９５】
また、ＯＤＤフレームにおいてブロックＢ，ＤでＲＧＢの読み出しを行うラインは、次式（４）で表される。
mod（Ｌ１，８）＝５，６ ・・・・・・・・・・・（４）
また、ＥＶＥＮフレームでブロックＡ，ＣでのＲＧＢ読み出しラインは、次式（５）で表される。
mod（Ｌ１，８）＝１，２ ・・・・・・・・・・・（５）
したがって、ＲＧＢ読み出しを行うフレーム及びラインの条件は、次式（６）のようになる。
（F1＝ODD and mod(L1,8) ＝5 or 6）or（F1＝EVEN and mod(L1,8)＝1 or 2） ・・・・・・・・（６）
【００９６】
このような判断に基づいて、パルスジェネレータ104 ，105 ，及びスタートパルス位置レジスタ201 の内容を選択する。これ以外のライン数の条件は、水平１ラインを読み出さないので、水平１ライン読み飛ばし部106 を介して垂直シフトレジスタ203 へのシフトパルスを発生する。このような駆動条件の下で、ＣＭＯＳセンサ204 の画素を読み出す。読み出されたＲＧＢ信号は、画像メモリＹ／Ｃ分離ユニット63の画像メモリに渡される。
【００９７】
次に、図25における画像メモリＹ／Ｃ分離ユニット63，Ｙ／Ｃ合成ユニット64，及び動き検出手段66の詳細な構成を図27に基づいて説明する。光センサユニット62からの信号は、画像メモリＹ／Ｃ分離ユニット63のＡ／Ｄ変換器301 でデジタル化された後、時間的に連続した動画の画像データは、３つの第１〜第３の画像メモリ302-１，302-２，302-３に３画面分保持される。この画像メモリに保持された３フレーム分の信号は、動き検出のためのフレーム間の輝度の差分の計算及びＲＧＢ信号の補間に用いる。
【００９８】
第１〜第３のＹ／Ｃ分離手段303-１，303-２，303-３では、各画像メモリ302-１，302-２，302-３から入力されたＲＧＢ信号から、Ｇ信号及び色差信号Ｒ−Ｇ，Ｂ−Ｇを算出する。ここで、図22の（Ａ）のブロックＡに示したように、４×４のブロック単位でＧ信号のみをサンプリングしている場合は、そのブロックのＧ信号を算出し、ブロックＢの位置のように、ＲＧＢ全色のサンプリングを行っている場合には、色差信号を算出する。図示していないが、ブロック毎の分離には、画素位置の情報を用いる必要がある。
【００９９】
動き検出手段66では、３つの画像メモリ302-１，302-２，302-３に保持されている３画面のフレーム間差分を算出する。図27に示した例の場合、補間演算の対象になるのは、第２の画像メモリ302-２に保持されている信号であるため差分演算は、次式（７），（８）で表される。
ΔＧ12＝ abs（Ｇ１−Ｇ２） ・・・・・・・（７）
ΔＧ23＝ abs（Ｇ３−Ｇ２） ・・・・・・・（８）
ここで、 absは絶対値を示し、また例えばＧ１は第１の画像メモリ302-１のＧ信号を表している。なお、上記（７），（８）式における右辺の（ ）内の差分の計算は、各フレームの同一の位置での差分をフレーム全体で積分したものである。
【０１００】
Ｙ／Ｃ合成ユニット64の第１〜第３のＹ／Ｃ合成部401-１，401-２，401-３は、対象としているブロックでの輝度信号、及び色差信号の補間を行う。ここで、対象としているブロックが、図22の（Ａ）のＡブロックのように、Ｇ信号のみサンプリングしている場合には、色差信号Ｃb ，Ｃr の情報が欠落しているので、それを補完する。また図22の（Ａ）のＢブロックのように、色差信号の算出のために全色のサンプリングを行っているブロックでは、輝度信号の補間を行うこのときに、図23，24で示したように、輝度信号の補間はフレーム間の動きによって、補間方法を切り替える。
【０１０１】
このように補完する信号と補間の手段を選択するための基準については、図25に示したＹ／Ｃ合成方法の選択手段65で設定されるが、その詳細な構成例を図28に示す。合成方法の選択手段65においては、読み出し制御ユニット61からのフレーム番号及びライン番号の情報を用いて、判断基準を算出する。すなわち、図22の（Ａ）のＯＤＤフレームにおけるブロックＡ，Ｃを含むライン、及び図22の（Ｃ）のＥＶＥＮフレームでブロックＢ，Ｄを含むラインは、図28のステップ65−１に示す判断基準、すなわち次式（９）で示す条件となる。
（F1＝ODD and mod(L1,8) ＜4 ）or（F1＝EVEN and mod(L1,8)≧4 ）
・・・・・・・・（９）
【０１０２】
したがって、上記（９）式に示す条件を満たす場合（Ｙ）、時間的に隣り合っているフレームから色差信号の補間を行うので、第１のＹ／Ｃ合成部401-１を選択する（ステップ65−２： out１）。この場合、第１のＹ／Ｃ合成部401-１に示したように、色差を生成する元の信号として、次式（10）に示す第１の画像メモリ302-１の色差信号、及び次式（11）に示す第３の画像メモリ302-３の色差信号を選択する。
Ｃr1＝Ｒ１−Ｇ１，Ｃb1＝Ｂ１−Ｇ１ ・・・・・・・・・・・・（10）
Ｃr3＝Ｒ３−Ｇ３，Ｃb3＝Ｂ３−Ｇ３ ・・・・・・・・・・・・（11）
そして、これらの平均により、次式（12）で示す合成色差信号を生成する。
Ｃr2＝0.5 ×（Ｃr1＋Ｃr3），Ｃb2＝0.5 ×（Ｃb1＋Ｃb3）
・・・・・・・・（12）
また、輝度情報として第２の画像メモリ302-２のＧの信号Ｇ２を使う。Ｙ／Ｃ合成の結果は、第１の合成出力部402-１に示すようになる。
【０１０３】
一方、図22の（Ａ）のＯＤＤフレームのブロックＢ，Ｄ、及び図22の（Ｃ）のＥＶＥＮフレームのブロックＡ，Ｃのように、全色のサンプリングを行い、輝度信号の補間を必要とする場合、上述のように、各フレームのＧの信号差分の大きさによって、フレーム間補間を行うかフレーム内補間を行うかを、ステップ65−３の条件分岐で行う。
【０１０４】
すなわち、動き検出手段66により算出されたフレーム間の差分情報Δが、所定の閾値より大きい場合には、フレーム内の補間を行うので、第２のＹ／Ｃ合成部401-２を選択する（ステップ65−４： out２）。この場合、図24に示したように、対象としているブロックの上下のブロックのそれぞれ下端及び上端のＧ信号を用いて、Ｇ２′を生成する。対象としているブロックの位置が、ｈ＝ｉ，ｖ＝ｊの場合には、Ｇ２(i,j）′は次式（13）に示す線形和で算出される。
Ｇ２(i,j）′＝ａ×Ｇ２(i,j) ＋ｂ×〔Ｇ２（i,j −1)＋Ｇ２（i,j ＋1)〕 ・・・・・・・・（13）
【０１０５】
一方、Ｙ／Ｃ合成方法の選択手段65のステップ65−３において、フレーム間の差分Δが閾値以下の場合、フレーム間の補間を行うので、第３のＹ／Ｃ合成部401-３を選択する（ステップ65−５： out３）。この場合、Ｇの信号Ｇ２(i,j）″は、次式（14）に示す線形和で算出される。
Ｇ２(i,j）″＝ａ×Ｇ２(i,j) ＋ｂ×〔Ｇ１（i,j −1)＋Ｇ３（i,j ＋1)〕 ・・・・・・・・（14）
【０１０６】
このような補間の切り替えを行うことによって、被写体の動きによる残像を低減し、また静止している画像においては、高精細な画像を得ることができる。
【０１０７】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、高解像度の撮像素子アレイから比較的高速の撮像レートでサイズ縮小画像を読み出しても、フレーム間で読み出し画素位置を異ならせるようにしているので、モアレを低減することができる。また、フレーム間で相関演算を行うときに、読み出し画素位置を異ならせた方が多くの情報得られるので、１フレームのサンプリング画素数が画素クロックとフレームレートで制限されるときには、フレーム間で情報を相互補間することが可能となる。また、複数の読み出し画素位置領域を離間して配置しているので、サンプリング数を減らすことができ、更にフレーム毎に読み出し画素位置を異ならせることにより、サンプリング数を減らしたことによる画像情報の欠落を補間することができ、またサンプリング数を減らすことにより、フレームレートを高速化することができる。また請求項２に係る発明によれば、撮像素子アレイの読み出しにおいて、水平方向のシフトを加えて、サンプリングの位置を変調するようにしているので、特定方向のモアレを低減させることができ、更にフレーム毎に読み出し画素位置を変更することによって、モアレの位相変調を行い一層目立たないようにすることが可能となる。また請求項３に係る発明によれば、フィルタ手段で画素位置領域のフレーム毎の変更に基づくシフト量が補償され、像のぶれを低減させつつ、色モアレ及び輝度モアレも低減することができる。また請求項４に係る発明によれば、読み出し画素位置領域を平行四辺形形状としているので、矩形形状とする場合に比べて、水平方向のモアレを低減することができる。また請求項５に係る発明によれば、画像面内の複数の読み出し画素位置領域を、領域毎に平行四辺形形状と矩形形状の組み合わせで変更することができるので、サンプリングのカットオフ周波数がぼかされ、特定方向のモアレを低減することが可能となる。
【０１０８】
また請求項６に係る発明によれば、読み出し画素位置領域の形状を矩形と平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数とモアレを低減すると共に、更にフレーム毎に領域の形状を選択切り替えるようにしているので、特定の周波数と方向のモアレを更に低減することができる。また請求項７に係る発明によれば、読み出し画素位置領域の形状を２種類の平行四辺形の組み合わせにして、サンプリングの帯域を領域毎に異ならせて特定の周波数と方向のモアレを低減し、更にフレーム毎に領域の形状を選択切り替えるようにして、特定の周波数と方向のモアレを一層低減することができる。また請求項８に係る発明によれば、平均化手段により平均化演算を行うことにより、帯域制限を施し、色モアレ及び輝度モアレを低減することができ、また１クロックで平均化して複数の画素のサンプリングを行えるので、高速化が可能となる。また請求項９に係る発明によれば、平均化を行った領域からは色差情報を算出し、平均化を行わない領域からは輝度情報を算出することによって、像全体の解像感を低減することなく色モアレを低減することができ、また領域毎にサンプリング周波数と位相を異ならせることによって、特定の周波数のモアレを低減することが可能となる。また請求項10に係る発明によれば、領域毎にサンプリング態様を異ならせ、更にフレーム毎にサンプリング態様を交換するようにしているので、サンプリングの周波数と位相を異ならせ、視覚的に色モアレと輝度モアレを低減させることができる。また請求項11に係る発明によれば、連続するフレームで間引き読み出し信号から輝度信号を、平均化信号から色信号を別々にサンプリングし合成するようにしているので、画像情報をフレーム間で補完し、制限されたサンプリング数で、色モアレ及び輝度モアレの少ない画像を生成することができる。また請求項12に係る発明によれば、フレーム間の輝度情報の差分検出手段を備え、フレーム間の相関の少ない画像間ではフレーム間補間を停止し、フレーム内補間に切り替えることができ、連続するフレームでのＹ／Ｃ合成を行った場合における像のぶれを低減することができる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の概略構成を示すブロック図である。
【図２】 図１に示した撮像モジュールにおいて、平均化読み出し処理を行うための回路構成を示す図である。
【図３】 図２に示した平均化読み出し処理回路の動作を説明するためのタイミングチャートである。
【図４】 図１に示した撮像モジュールにおいて、間引き読み出し処理を行うための回路構成及びその動作を説明するためのタイミングチャートである。
【図５】 間引き読み出し処理を行うための他の回路構成を示す図である。
【図６】 図５に示した間引き読み出し処理回路の動作を説明するためのタイミングチャートである。
【図７】 本発明に係る撮像装置の具体的な第１の実施の形態の構成を示すブロック図である。
【図８】 図７に示した第１の実施の形態において、間引き読み出し画素位置領域を矩形ブロックとした場合における、各フレーム毎の位相変調読み出し態様を示す図である。
【図９】 図８に示した読み出しを行わせるためのスタートパルス位置レジスタの内容を示す図である。
【図10】 図８における矩形ブロックＡの読み出し時のシフトレジスタの動作を説明するためのタイミングチャートである。
【図11】 図８における矩形ブロックの各フレーム毎の位相変調読み出し時における位相補償フィルタリング処理態様を示す図である。
【図12】 図８に示した矩形ブロック間引き読み出し時における同一フレーム内での読み出し位相変調態様を示す図である。
【図13】 間引き読み出し画素位置領域を平行四辺形形状、及び平行四辺形形状と矩形形状との組み合わせとした場合の読み出し態様を示す図である。
【図14】 本発明の第２の実施の形態において、平均化読み出しと間引き読み出しによるフレーム間位相・帯域変調態様を示す図である。
【図15】 図14に示したフレーム間位相・帯域変調読み出し時における平均化読み出しラインに対するシフトレジスタの動作を説明するためのタイミングチャートである。
【図16】 図14に示したフレーム間位相・帯域変調読み出し時における飛び越し（間引き）読み出しラインに対するシフトレジスタの動作を説明するためのタイミングチャートである。
【図17】 第２の実施の形態の具体的な構成を示すブロック図である。
【図18】 図14に示した第２の実施の形態における読み出し方式において、垂直方向に間引き読み出しを行いサンプリングスピードを上げる態様を示す図である。
【図19】 本発明の第３の実施の形態における、Ｙ／Ｃ分離合成のサンプリング方式を示す図である。
【図20】 図19に示したサンプリング方式において、分割ブロック内の全てのＧ画素を読み出す態様を示す図である。
【図21】 第３の実施の形態の具体的な構成を示すブロック図である。
【図22】 図20に示したＹ／Ｃ分離合成のサンプリング方式において、水平変調及び水平垂直変調態様を示す図である。
【図23】 図20に示したＹ／Ｃ分離合成のサンプリング方式におけるフレーム間補間態様を示す図である。
【図24】 図20に示したＹ／Ｃ分離合成のサンプリング方式におけるフレーム内補間態様を示す図である。
【図25】 本発明の第４の実施の形態に係る撮像装置の概略構成を示すブロック図である。
【図26】 図25に示した撮像装置における読み出し制御ユニット及び光センサユニットの詳細な構成を示すブロック図である。
【図27】 図25に示した撮像装置における画像メモリＹ／Ｃ分離ユニット、Ｙ／Ｃ合成ユニット、及び動き検出手段の詳細な構成を示すブロック図である。
【図28】 図25に示した撮像装置におけるＹ／Ｃ合成方法の選択手段の詳細な構成を示すフローチャートである。
【符号の説明】
１ 光学系
２ 撮像モジュール
２−１ 光電変換部
２−２ サンプリング制御部
３ 画像サイズ変更制御部
４ 映像信号処理部
５ メモリ
６ 画像表示部
11 スタートパルス位置レジスタ
12−１，12−２，・・・ ＳＴＢ信号
13 シフトレジスタ
13−１，13−２，・・・ シフトレジスタユニット
14−１，14−２，・・・ ＣＭＯＳセンサ素子
15 出力端子
21 フレームカウンタ
22 ラインカウンタ
23 スタートパルス位置レジスタ
24 水平シフトレジスタ
25 垂直シフトレジスタ
26 ＣＭＯＳ光センサ
27 Ａ／Ｄ変換器
28−１，28−２，・・・ 画像メモリ
29 ＷＢ切り替え部
30−１，30−２，・・・ ＲＧＢ−Ｌab変換器
31 コンパレータ
32 Ｌab−ＲＧＢ逆変換器
41−１ 第１画像メモリ
41−２ 第２画像メモリ
42 バッファ
43−１ 第１Ｙ／Ｃ分離回路
43−２ 第２Ｙ／Ｃ分離回路
44−１ 第１切り替え制御部
44−２ 第２切り替え制御部
45 Ｙ／Ｃ合成部
51 セレクタ
52−１ 第１パルスジェネレータ
52−２ 第２パルスジェネレータ
53 セレクタ
54 ローパスフィルタ
61 読み出し制御ユニット
62 光センサユニット
63 画像メモリＹ／Ｃ分離ユニット
64 Ｙ／Ｃ合成ユニット
65 Ｙ／Ｃ合成方法の選択手段
66 動き検出手段
101 フレームカウンタ
102 ラインカウンタ
103 画素読み出し規則の選択部
104 ，105 パルスジェネレータ
106 水平１ライン読み飛ばし部
201 スタートパルス位置レジスタ
202 水平シフトレジスタ
203 垂直シフトレジスタ
204 ＣＭＯＳ光センサ
301 Ａ／Ｄ変換器
302-１ 第１画像メモリ
302-２ 第２画像メモリ
302-３ 第３画像メモリ
303-１ 第１Ｙ／Ｃ分離部
303-２ 第２Ｙ／Ｃ分離部
303-３ 第３Ｙ／Ｃ分離部
401-１ 第１Ｙ／Ｃ合成部
401-２ 第２Ｙ／Ｃ合成部
401-３ 第３Ｙ／Ｃ合成部
402-１，402-２，402-３ 合成出力部
Claims (12)
- 分光透過率が異なるカラーフィルタアレイを前面に配置した撮像素子アレイにより、光学系で結像した画像を光電変換し画像信号を出力する撮像装置において、前記撮像素子アレイから画像信号を読み出すモードとして、少なくとも水平方向１ラインの全画素読み出しを行う全画素読み出しモードと、少なくとも水平方向１ラインの読み出し画素の間引きを行って読み出す間引き読み出しモードと、複数画素を平均化して読み出す平均化読み出しモードのうちから少なくとも１つのモードを設定可能なモード設定手段と、前記画像信号を読み出す画素位置を制御し決定する読み出し規則制御手段とを有し、前記モード設定手段によって、間引き読み出しのモード及び又は平均化読み出しモードが設定されたとき、前記読み出し規則制御手段が決定する読み出し画素位置が、読み出す画像信号のフレーム毎に異なるようにし、且つ前記モード設定手段によって間引き読み出しモードが設定されたとき、前記読み出し規則制御手段が決定する読み出し画素位置は、それぞれ、隣接する複数の画素からなる所定の複数の領域内の画素位置で構成され、前記複数の各領域はそれぞれ離間し、且つ前記撮像素子アレイの水平及び垂直方向に並んでおり、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に前記複数の各領域の位置を変更制御することを特徴とする撮像装置。
- 前記読み出し画素位置領域は、前記撮像素子アレイの垂直方向に隣接して位置する前記各領域が互いに水平方向にシフトした状態で並んでおり、前記読み出し規則制御手段は、前記読み出し画素位置領域の位置をフレーム毎に変更制御することを特徴とする請求項１に係る撮像装置。
- 前記読み出し画素位置領域の位置のフレーム毎の変更に基づくシフト量を補償するために、読み出した画像信号に対してフィルタ演算処理を行うフィルタ手段を、更に有することを特徴とする請求項１に係る撮像装置。
- 前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしている平行四辺形形状であることを特徴とする請求項１に係る撮像装置。
- 前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしている平行四辺形形状と、前記領域を構成する垂直方向の画素の位置がシフトしていない矩形形状との組み合わせであることを特徴とする請求項１に係る撮像装置。
- 前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に、前記領域の形状を、該領域の位置に応じて前記平行四辺形形状又は前記矩形形状に選択し切り替えることを特徴とする請求項５に係る撮像装置。
- 前記読み出し画素位置領域は、該領域を構成する垂直方向の画素の位置がそれぞれ水平方向にシフトしており、且つ水平方向に対する傾きが互いに異なる２種類の平行四辺形形状の組み合わせで構成され、前記読み出し規則制御手段は、読み出す画像信号のフレーム毎に、前記領域の形状を、該領域の位置に応じて形状の異なる２種類の平行四辺形のうちいずれかを選択し交互に切り替えることを特徴とする請求項１に係る撮像装置。
- 前記モード設定手段によって間引き読み出しモードが設定されたとき、読み出された画像信号に対して所定の平均化演算を行う平均化手段を、更に有することを特徴とする請求項１に係る撮像装置。
- 前記平均化手段によって平均化演算を行う対象とする領域と平均化演算を行う対象としない領域を、撮像素子アレイ上に交互に存在させることを特徴とする請求項８に係る撮像装置。
- 前記平均化演算を行う対象とする領域と、平均化演算を行う対象としない領域とを、読み出す画像信号のフレーム毎に交換切り替えることを特徴とする請求項９に係る撮像装置。
- 前記全画素読み出しモード時に読み出された連続するフレーム中の同一ブロック位置に相当する画像信号を平均化した信号から色信号を抽出し、間引き読み出しモード時に読み出された信号からは輝度信号を抽出し、前記それぞれ抽出した色信号と輝度信号を合成し、連続する画像データを生成する手段とを更に有することを特徴とする請求項１に係る撮像装置。
- 読み出す画像信号のフレーム間の輝度情報の差分を検出する手段と、該差分検出手段で検出されたフレーム間差分に基づいて、輝度情報、色差情報の補間方式を切り替える手段とを更に有することを特徴とする請求項11に係る撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002147136A JP4142340B2 (ja) | 2002-05-22 | 2002-05-22 | 撮像装置 |
| US10/440,203 US7242432B2 (en) | 2002-05-22 | 2003-05-16 | Imaging apparatus suppressing an occurrence of color moire |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002147136A JP4142340B2 (ja) | 2002-05-22 | 2002-05-22 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003338988A JP2003338988A (ja) | 2003-11-28 |
| JP4142340B2 true JP4142340B2 (ja) | 2008-09-03 |
Family
ID=29705842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002147136A Expired - Fee Related JP4142340B2 (ja) | 2002-05-22 | 2002-05-22 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7242432B2 (ja) |
| JP (1) | JP4142340B2 (ja) |
Families Citing this family (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3947969B2 (ja) * | 2002-05-15 | 2007-07-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム |
| US8040385B2 (en) | 2002-12-02 | 2011-10-18 | Olympus Corporation | Image pickup apparatus |
| CN100431341C (zh) * | 2003-01-29 | 2008-11-05 | 奥林巴斯株式会社 | 图像感测装置 |
| US7660487B2 (en) | 2003-12-10 | 2010-02-09 | Sony Corporation | Image processing method and apparatus with image resolution conversion related to relative movement detection |
| US7719575B2 (en) * | 2003-12-22 | 2010-05-18 | Mitsubishi Denki Kabushiki Kaisha | Pixel signal processing apparatus and pixel signal processing method |
| EP1705902A4 (en) * | 2003-12-26 | 2008-12-17 | Olympus Corp | IMAGE INPUT APPARATUS |
| JP4184319B2 (ja) | 2004-06-10 | 2008-11-19 | オリンパス株式会社 | 撮像装置 |
| US7697049B1 (en) * | 2005-05-04 | 2010-04-13 | Samsung Electrics Co., Ltd. | Better SNR ratio for downsized images using interlaced mode |
| JP4453648B2 (ja) | 2005-06-13 | 2010-04-21 | ソニー株式会社 | 画像処理装置および撮像装置 |
| JP2007124295A (ja) * | 2005-10-28 | 2007-05-17 | Pentax Corp | 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置 |
| GB2431787B (en) * | 2005-10-31 | 2009-07-01 | Hewlett Packard Development Co | A method of tracking an object in a video stream |
| JP2007180765A (ja) * | 2005-12-27 | 2007-07-12 | Toshiba Corp | 映像処理装置、映像表示装置及び映像処理方法 |
| CN101422034B (zh) * | 2006-02-17 | 2011-10-12 | 松下电器产业株式会社 | 摄像装置 |
| JP4416753B2 (ja) | 2006-03-31 | 2010-02-17 | キヤノン株式会社 | 固体撮像装置 |
| JP4475665B2 (ja) | 2006-03-31 | 2010-06-09 | キヤノン株式会社 | 固体撮像装置 |
| JP4993403B2 (ja) * | 2006-06-02 | 2012-08-08 | 富士ゼロックス株式会社 | 画像処理装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム |
| US7944482B2 (en) * | 2006-07-28 | 2011-05-17 | Sanyo Electric Co., Ltd. | Pixel information readout method and image pickup apparatus |
| US8139123B2 (en) | 2006-10-31 | 2012-03-20 | Sanyo Electric Co., Ltd. | Imaging device and video signal generating method employed in imaging device |
| JP5141559B2 (ja) * | 2006-12-18 | 2013-02-13 | ソニー株式会社 | 撮像装置及び方法、記録装置及び方法、再生装置及び方法 |
| JP5000395B2 (ja) | 2007-06-26 | 2012-08-15 | オリンパス株式会社 | 撮像表示方法および撮像表示装置 |
| US8013862B2 (en) * | 2007-11-16 | 2011-09-06 | Microsoft Corporation | Texture codec |
| JP4377428B2 (ja) * | 2007-12-12 | 2009-12-02 | アキュートロジック株式会社 | 固体撮像素子及びそれを用いた撮像装置 |
| JP4869218B2 (ja) * | 2007-12-28 | 2012-02-08 | オリンパス株式会社 | 撮像表示装置 |
| JP5141324B2 (ja) * | 2008-03-21 | 2013-02-13 | ソニー株式会社 | 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法 |
| JP2009246465A (ja) * | 2008-03-28 | 2009-10-22 | Panasonic Corp | 撮像装置、撮像モジュール、及び撮像システム |
| JP5202106B2 (ja) * | 2008-05-27 | 2013-06-05 | 三洋電機株式会社 | 画像処理装置及び撮像装置 |
| WO2009145201A1 (ja) * | 2008-05-27 | 2009-12-03 | 三洋電機株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
| JP2010098587A (ja) * | 2008-10-17 | 2010-04-30 | Olympus Corp | 通信端末および通信システム |
| TWI423666B (zh) * | 2008-12-31 | 2014-01-11 | Altek Corp | Image elimination method for image sequence |
| JP5572960B2 (ja) * | 2009-02-16 | 2014-08-20 | 株式会社ニコン | 撮像装置およびその画素加算方法 |
| US8687911B2 (en) * | 2009-06-24 | 2014-04-01 | Nokia Corporation | Adaptive method for processing digital images, and an image processing device |
| JP5625298B2 (ja) * | 2009-09-28 | 2014-11-19 | ソニー株式会社 | 撮像装置 |
| US8970721B2 (en) * | 2009-10-07 | 2015-03-03 | Panasonic Intellectual Property Corporation Of America | Imaging device, solid-state imaging element, image generation method, and program |
| JP5853372B2 (ja) * | 2011-01-26 | 2016-02-09 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| US8804003B2 (en) * | 2011-01-28 | 2014-08-12 | Aptina Imaging Corporation | Flicker detection for imaging devices with high frame rates |
| JP5643160B2 (ja) * | 2011-07-01 | 2014-12-17 | 株式会社ジャパンディスプレイ | 表示装置 |
| JP5306563B2 (ja) | 2011-07-08 | 2013-10-02 | オリンパス株式会社 | 撮像装置及び画像生成方法 |
| CN104380166B (zh) * | 2012-07-12 | 2016-06-08 | 奥林巴斯株式会社 | 摄像装置 |
| JP6231284B2 (ja) * | 2013-02-21 | 2017-11-15 | クラリオン株式会社 | 撮像装置 |
| US11049269B2 (en) | 2014-06-27 | 2021-06-29 | Samsung Electronics Co., Ltd. | Motion based adaptive rendering |
| US9589366B2 (en) * | 2014-06-27 | 2017-03-07 | Samsung Electronics Co., Ltd. | Dithered sampling patterns for temporal color averaging |
| CN105225264B (zh) * | 2014-06-27 | 2020-11-10 | 三星电子株式会社 | 基于运动的自适应渲染 |
| US10440304B2 (en) | 2014-08-26 | 2019-10-08 | Sony Semiconductor Solutions Corporation | Image sensor and electronic device |
| US9727165B2 (en) | 2015-04-02 | 2017-08-08 | Apple Inc. | Display with driver circuitry having intraframe pause capabilities |
| US10037738B2 (en) | 2015-07-02 | 2018-07-31 | Apple Inc. | Display gate driver circuits with dual pulldown transistors |
| KR102490299B1 (ko) * | 2016-01-29 | 2023-01-20 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 구동 방법 |
| US10291868B2 (en) | 2016-01-29 | 2019-05-14 | SK Hynix Inc. | Image sensing device |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0736439B2 (ja) | 1993-06-14 | 1995-04-19 | オリンパス光学工業株式会社 | 固体撮像装置 |
| US5493335A (en) * | 1993-06-30 | 1996-02-20 | Eastman Kodak Company | Single sensor color camera with user selectable image record size |
| US5949483A (en) * | 1994-01-28 | 1999-09-07 | California Institute Of Technology | Active pixel sensor array with multiresolution readout |
| JPH09247689A (ja) | 1996-03-11 | 1997-09-19 | Olympus Optical Co Ltd | カラー撮像装置 |
| US6133954A (en) * | 1996-03-14 | 2000-10-17 | Tritech Microelectronics, Ltd. | Integrated circuit color chip with cells with integral color filters including triplets of photodiodes with each having integrated therewith transistors for reading from and writing to the photodiode and methods of manufacture and operation thereof |
| JP3374651B2 (ja) * | 1996-03-29 | 2003-02-10 | ソニー株式会社 | ディジタル電子撮像装置および撮像方法 |
| JP4229481B2 (ja) * | 1996-07-31 | 2009-02-25 | オリンパス株式会社 | 撮像表示システム |
| US20010038719A1 (en) * | 1996-10-14 | 2001-11-08 | Nikon Corporation | Information processing apparatus |
| JP3918228B2 (ja) * | 1997-05-13 | 2007-05-23 | 株式会社ニコン | 情報処理装置および記録媒体 |
| JP3548410B2 (ja) * | 1997-12-25 | 2004-07-28 | キヤノン株式会社 | 固体撮像装置および固体撮像装置の信号読み出し方法 |
| JP4140077B2 (ja) * | 1998-02-18 | 2008-08-27 | ソニー株式会社 | 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ |
| JP2001298659A (ja) * | 2000-02-08 | 2001-10-26 | Canon Inc | 撮像装置、画像処理システム、撮像方法、及び記憶媒体 |
| JP2001238134A (ja) * | 2000-02-23 | 2001-08-31 | Sony Corp | 固体撮像素子およびその駆動方法並びにカメラシステム |
| JP2001309121A (ja) * | 2000-04-20 | 2001-11-02 | Seiko Epson Corp | カラー撮像素子、それを用いた画像読取装置及び画像読取方法 |
| US6850651B2 (en) * | 2001-07-02 | 2005-02-01 | Corel Corporation | Moiré correction in images |
-
2002
- 2002-05-22 JP JP2002147136A patent/JP4142340B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-16 US US10/440,203 patent/US7242432B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003338988A (ja) | 2003-11-28 |
| US7242432B2 (en) | 2007-07-10 |
| US20030227552A1 (en) | 2003-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4142340B2 (ja) | 撮像装置 | |
| US9544517B2 (en) | Electric camera | |
| US7948543B2 (en) | Imaging apparatus provided with image scaling function and image data thinning-out readout function | |
| JP4555775B2 (ja) | 撮像装置 | |
| US7480000B2 (en) | Image-taking apparatus including a vertical transfer control device | |
| JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JPH09331538A (ja) | 撮像装置 | |
| JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP4246244B2 (ja) | 撮像装置 | |
| JP2000023046A (ja) | 撮像装置 | |
| JP4385578B2 (ja) | 撮像装置 | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JPH06315154A (ja) | カラー撮像装置 | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| JP3925479B2 (ja) | 撮像装置 | |
| JP3535623B2 (ja) | カラー撮像装置 | |
| JP2005191943A (ja) | 固体撮像装置およびこれを備えたカメラ | |
| JP3651477B2 (ja) | 画像信号処理装置 | |
| JP5202106B2 (ja) | 画像処理装置及び撮像装置 | |
| JP3734104B2 (ja) | 画像信号処理装置 | |
| JP3948456B2 (ja) | 固体撮像素子および固体撮像素子の制御方法 | |
| JP2000295531A (ja) | 撮像装置 | |
| JPH0646434A (ja) | 水平ライン補間機能付き撮像装置 | |
| JP2001069520A (ja) | 撮像装置 | |
| JPH0646430A (ja) | 水平ライン補間機能付き撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080612 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |