JP4190805B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4190805B2 JP4190805B2 JP2002170791A JP2002170791A JP4190805B2 JP 4190805 B2 JP4190805 B2 JP 4190805B2 JP 2002170791 A JP2002170791 A JP 2002170791A JP 2002170791 A JP2002170791 A JP 2002170791A JP 4190805 B2 JP4190805 B2 JP 4190805B2
- Authority
- JP
- Japan
- Prior art keywords
- thinning
- pattern
- readout
- reading
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 47
- 238000001514 detection method Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 37
- 239000000872 buffer Substances 0.000 description 29
- 238000000034 method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 238000012935 Averaging Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の両方を可能にした撮像装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。これら画像入力機器では、撮像素子の画素数が撮影像の解像度を決定する大きな要素であるため、画素数は年々増加傾向にあり、最近は 400万画素以上の多くの画素数を持ったデジタルカメラも商品化されている。また、一般的に、デジタルカメラは撮影範囲を確認する手段として、リアルタイムの電子式ファインダーを備えており、動画の撮像が可能なデジタルカメラも珍しくない。
【０００３】
これら動画記録や電子式ファインダーの機能を実現するためには、撮像素子の画素数に対して数分の一〜数十分の一の画素数を持つ画像を、リアルタイム（秒30フレーム以上）で撮像することが要求される。しかし、数百万画素の撮像素子においては、秒30フレームのレートで全画素読み出しを行うことは、動作クロックからみて困難である。そこで、特定モードにおいて、必要なだけの画素数を撮像素子から間引いて読み出す機能を持った撮像素子を用い、間引いた信号を処理して縮小画像を生成する方式が提案されている。
【０００４】
その一例として、特開平９−２４７６８９号公報に開示されている単板撮像素子を挙げることができる。この公報開示の撮像素子においては、指定した位置の画素を直接読み出すことができるＸＹアドレス方式の撮像素子が用いられており、間引き読み出しモードでは、間引きしない場合と同じモザイクフィルタパターンの信号が得られるように、同一色フィルタ位置の画素を４画素読み出して、その平均値を計算する信号処理回路を併用している。また、このような読み出しができないＣＣＤ撮像素子の場合には、垂直方向に電流値加算を行うことで縦方向を平均化し、且つ間引き読み出しする方式が多くとられている。
【０００５】
【発明が解決しようとする課題】
ところで、上記特開平９−２４７６８９号公報に開示されている従来技術では、単板撮像素子に対しては、間引き後のモザイクパターンが撮像素子のモザイクパターンと同一になるよう限定されており、モアレの発生を押さえ、且つ間引き後の解像度を維持するために間引きパターンを最適に選択するという観点については、考慮がなされていない。また、ＣＣＤ撮像素子における電流値の加算読み出し方式では、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうおそれがあった。
【０００６】
本発明は、従来の撮像装置における上記問題点を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、異なる色からなる３種類のカラーフィルタを通過した光学像を撮像する撮像手段と、前記撮像手段で撮像した撮像情報から間引き読み出しを行い前記撮像情報よりも画素数の少ない縮小画像を複数作成する間引き制御手段とを有し、前記間引き制御手段は、前記縮小画像の各画素に対応して、第１の種類のカラーフィルタに対応する信号及び第２の種類のカラーフィルタに対応する信号を読み出す第１のパターン、又は、前記第１の種類のカラーフィルタに対応する信号及び第３の種類のカラーフィルタに対応する信号を読み出す第２のパターンのいずれかのパターンで間引き読み出しを行うようにして撮像装置を構成するものである。
【０００８】
請求項２に係る発明は、請求項１に係る撮像装置において、前記撮像手段は原色ベイヤ配列のモザイクカラーフィルタを有するものであり、前記間引き制御手段は、前記縮小画像の各画素に対応して、前記第１のパターンではＧ及びＲのカラーフィルタに対応する信号を読み出し、前記第２のパターンではＧ及びＢのカラーフィルタに対応する信号を読み出し、且つ前記第１のパターンで読み出しがなされる画素と前記第２のパターンで読み出しがなされる画素の配置が互いに市松状パターンとなるように読み出し制御を行うことを特徴とするものである。
【０００９】
このように構成された撮像装置においては、間引き読み出しした結果得られる画像が２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理等が容易に行うことが可能となる。
【００１０】
請求項３に係る発明は、請求項１に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、各フレームで得られる前記縮小画像の全画素に共通して前記第１のパターンの読み出しを行うか、もしくは全画素に共通して前記第２のパターンの読み出しを行うか、のいずれかのパターンで読み出しを行い、且つ連続するフレーム間で読み出しパターンが異なるように読み出し制御を行うことを特徴とするものである。
【００１１】
請求項４に係る発明は、請求項２に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、各フレームで得られる前記縮小画像において、前記第１のパターンで読み出しがなされる画素と前記第２のパターンで読み出しがなされる画素の配置が、連続するフレーム間で反転するように読み出し制御を行うことを特徴とするものである。
【００１２】
請求項５に係る発明は、請求項１〜４のいずれか１項に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、前記第１の種類のカラーフィルタに対応する信号の読み出し位置が、フレーム間で一部共通し、一部異なるように読み出し制御を行うことを特徴とするものである。
【００１３】
請求項６に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記撮像手段で撮像した光学像の動きを検出する動き検出手段を更に有し、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し制御を行い、前記動き検出手段はフレーム間で共通する読み出し位置の信号に基づいてフレーム間での光学像の動きを検出することを特徴とするものである。
【００１４】
請求項７に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像の全画素に共通して読み出すカラーフィルタ種類の信号に基づいてフレーム内の局所的な周波数特性を測定し、この周波数特性測定結果に応じて次フレームの間引き読み出しパターンを決定するように構成されていることを特徴とするものである。
【００１５】
このように構成された撮像装置においては、間引きを行う際、間引き後の縮小画像に全画素で共通に得られる色成分信号が生成されるようにしているので、その共通色成分信号を用いて画像の各領域の周波数特性を測定することができ、それに応じて次フレームの間引き読み出しパターンを最適に選択することによって、色モアレの発生を抑えることができる。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の第１の実施の形態を示すブロック構成図で、本発明をデジタルカメラに適用したものである。この実施の形態に係るデジタルカメラ100 は、図１に示すように、光学系101 ，間引き読み出しの可能な単板カラー撮像素子102 ，単板カラー撮像素子102 からの出力を記憶するバッファ103 ，単板カラー撮像素子102 の間引き読み出しの態様を制御する駆動制御回路104 ，動画記録モード設定時に、単板カラー撮像素子102 から間引き読み出しした信号を補間処理して、縮小カラー画像を内部バッファ111 内に生成する間引き補間回路105 ，通常記録モード設定時に、単板カラー撮像素子102 を通常読み出しした結果を補間処理して縮小なしのカラー画像を生成し、更に補間処理した画素ブロックの画素値を平均化処理する補間回路106 ，間引き補間回路105 ないし補間回路106 の出力を処理して画質を改善する信号処理回路107 ，信号処理回路107 の出力を記録媒体に記録する記録回路108 ，信号処理回路107 の出力を液晶表示装置に表示する表示回路109 ，及びこれら各回路の動作を制御する制御回路110 から構成されている。
【００１７】
次に、このように構成されているデジタルカメラ100 の動作について説明する。通常モードの撮影時においては、ユーザーが図示しないシャッタを押下すると、制御回路110 が駆動制御回路104 を全画素読み出しモードに設定し、駆動制御回路104 は単板カラー撮像素子102 を駆動して撮影を行う。これにより、単板カラー撮像素子102 からは、その全画素の信号がバッファ103 に出力される。単板カラー撮像素子102 からの出力が完了すると、制御回路110 が補間回路106 を動作させ、補間回路106 は単板状態の信号を補間処理によりカラー化し、補間処理の完了した画素ブロック毎に信号処理回路107 に出力する。信号処理回路107 では、入力されたカラーブロックに対し、順次マトリックス色変換、ガンマ補正、エッジ強調などの画質調整処理を施し、処理済カラーブロックを記録回路108 に出力する。記録回路108 では入力されたカラーブロックを圧縮処理し、図示していない記録媒体に記録する。
【００１８】
また補間回路106 は、記録回路108 への出力と並行して、内部で補間の完了した画素ブロックの画素値を平均化する処理を行い、平均化結果を内部バッファに記憶している。この平均化処理の結果、補間処理が終了した時点で、内部バッファには記録回路108 により記録されたカラー画像の縮小画像が形成される。記録回路108 の動作が完了した時点で、制御回路110 は補間回路106 の内部バッファの縮小画像を信号処理回路107 に出力する。最後に、信号処理回路107 が画質調整処理を施した画像を表示回路109 に出力し、ユーザーに撮影結果が表示されると、撮像完了となる。
【００１９】
一方、ユーザーが動画記録モードを設定してシャッタを押下した場合、駆動制御回路104 は単板カラー撮像素子102 を間引き読み出し駆動する。単板カラー撮像素子102 はＣＭＯＳ撮像素子であり、水平方向の平均化読み出しと、間引き読み出し（読み飛ばし）、及び垂直方向のラインスキップ（ライン読み飛ばし）が可能な構成となっている。図２に、単板カラー撮像素子102 のこれらの読み出し態様を示す。図２の（Ａ）に示した水平方向の複数画素の画素値を平均化して読み出す平均化読み出しは、ＣＭＯＳ撮像素子の各画素に付随するキャパシタの並列接続に基づいて実行されるようになっており、ＣＣＤ撮像素子のように電荷オーバーフローを伴う危険はない。また、読み出し時間は、平均化しないで一画素読み出す場合と同じとなる。
【００２０】
図２の（Ｂ）に示す水平方向の間引き読み出しでは、水平ラインの読み出しに用いるシフトレジスタを部分的に迂回する配線で実現しており、ライン内の最初の読み出し位置も可変となっている。平均化する画素数及び間引き位置は、外部からプログラム可能である。図２の（Ｃ）は、任意数のライン飛ばし（垂直方向の間引きスキップ）態様を示しており、図２の（Ｄ）は、図２の（Ａ）に示した平均化読み出しと図２の（Ｂ）に示した間引き読み出しの組み合わせ態様を示している。
【００２１】
駆動制御回路104 は、単板カラー撮像素子102 の、これらの読み出し機能を活用し、モアレの混入が少なくなる読み出しパターンで、単板カラー撮像素子102 の画素を平均化及び間引き読み出しで読み出しを実行し、その結果をバッファ103 に出力する。
【００２２】
以下、単板カラー撮像素子102 のモザイクフィルタ配置が原色ベイヤ配列で、間引き率が縦横１／４の場合を例に、読み出しパターンについて説明する。なお、間引き率が縦横１／４ということは、４×４画素ブロックにつき１画素しか読み出しできないという意味ではない。現在のところ、リアルタイム動画として１フレーム期間内に出力する必要のある画素数は、デジタルカメラの動画記録モードにおいては、ＱＶＧＡ(320×240)ないしＶＧＡ(640×480)が一般的である。そのため、撮像素子の駆動速度が速く読み出し期間が「１フレーム期間−後処理期間」以内に収まっていれば、撮像素子からこれ以上の画素数の信号を読み出しても問題はない。以下の例では、４×４画素ブロックにつき４画素まで読み出し可能という前提で説明している。
【００２３】
図３に、間引き率１／４の間引き読み出しの際の駆動処理回路104 の間引き読み出しパターンを示す。この間引き読み出しパターンでは、図３の（Ａ）に示された単板カラー撮像素子102 の原色ベイヤ配列において、４×４の全ての画素ブロックで、図に示した平行四辺形パターンの各角部に位置する４つのＧフィルタの位置の信号を、平均化して読み出す。また、Ｒ，Ｂフィルタの位置の信号については、図３の（Ｂ）で示すように、４×４画素ブロックで同じく平行四辺形パターン（図中点線部）の各角部に位置する４つのＲフィルタの位置の信号を読み出し平均化するが、Ｂフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩ）、及び平行四辺形パターン（点線部）の各角部に位置する４つのＢフィルタの位置の信号を読み出して平均化するが、Ｒフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプII）、の二通りの読み出しタイプを設け、４×４画素ブロックの位置に応じて、いずれのパターンで読み出すかを、図３の（Ｃ）に示すように設定する。図３の（Ｃ）においては、各四角形領域は４×４画素ブロックに対応しており、各四角形領域中の記号（Ｉ又はII）が、そのブロックがいずれの読み出しタイプで読み出されるかを示している。２種類の読み出しタイプに対応する画素ブロックが市松状に配置されていること、及びフレーム毎に市松配置が反転することの２点が特徴である。
【００２４】
なお、Ｒ，Ｇ，Ｂそれぞれの読み出しパターンは、図２の（Ａ）〜（Ｃ）に示した平均化読み出し、間引き読み出し（読み飛ばし）、ラインスキップの基本動作の組み合わせで実現できる。例えば、平行四辺形パターンのＧフィルタ位置の信号の読み出しと平均化は、次のようなステップで行われる。すなわち、(1) ライン内で、２画素目から、水平方向に２画素平均し、２画素読み飛ばすパターンを繰り返す、(2) １ラインスキップする、(3) 最初の読み出し位置を(1) における最初の読み出し位置に対して２画素右にずらし同じ動作を行う、(4) １ラインスキップする、という動作を垂直方向に繰り返して、各ラインの信号をバッファ103 内に得た後、(1) と(3) で読み出した信号値を、ライン間で加算平均することにより実行される。このようなライン間の平均化処理は、間引き補間回路105 内で行われ、結果が間引き補間回路105 内のバッファ111 に記憶される。
【００２５】
このように、駆動制御回路104 による上記の(1) 〜(4) の読み出しと、間引き補間回路105 のライン間平均化処理により、各４×４画素ブロックで、Ｇ及びＲ、又はＧ及びＢの平均値が得られ、最終的に、間引き補間回路105 の内部バッファ111 には、図４の（Ａ）及び（Ｂ）に示すように、１／４に縮小された２板状態の画像が得られる。なお、図示のように、フレーム毎にＲ／Ｂのパターンが反転している。この状態から３色カラー画像を生成する２板カラー化処理は、２板撮像系のカメラの信号処理系として公知であり、間引き補間回路105 も公知例に従って処理を行う。
【００２６】
次に、図４の（Ｂ）を用いて、間引き補間回路105 における処理例を説明する。Ｇ成分は全画素で得られているので、補間処理が必要なのは、各画素で欠落しているＲ成分又はＢ成分である。例えば、図４の（Ｂ）中の網掛けのＧ１画素位置では、Ｂ成分はＢ１として存在するがＲ成分が欠落している。そこで、全画素で得られているＧに関して、網掛け画素Ｇ１と斜線部で示したその近傍のＧ画素とを比較し、最も差の小さい近傍画素を探索する。具体的には、図４の（Ｂ）における画素Ｇ１〜Ｇ５に関して、｜Ｇ１−Ｇj ｜（ｊは２〜５）を計算し、差分が最小となる画素Ｇj を求める。そして、その画素位置に対応するＲj を網掛け画素位置におけるＲ成分の値とする。このようにして、間引き補間回路105 において全ての欠落色成分が補間された後、内部バッファ111 上に完成された画像は、通常撮影モードと同様に記録回路108 及び表示回路109 に出力される。
【００２７】
以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ４×４ブロック毎に、ＲＧＢ全色が揃うように読み出すかわりに、いずれか２色が得られ、且つ一色は全ての４×４ブロックで共通に得られるような間引き読み出し方をした結果、間引き読み出し結果自体への各色へのモアレの混入を抑え、且つ欠落する色成分の復元（補間）もやりやすい構成となる。
（２） 特に、各ブロックでＲとＧ，又はＢとＧの組み合わせで色成分が得られ、且つこの組み合わせが市松状配置パターンをなすように間引きパターンを構成した結果、間引き読み出しした結果得られる画像が、２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理が行いやすくなる。
（３） また、上記（２）で述べた市松配置をフレーム毎に反転させることで、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示される。人間の視覚は色フリッカに対する感度が低いため、結果的に、色モアレが目立たなくする効果が得られる。
【００２８】
なお、本実施の形態においては、いくつかの変形が可能である。一つの好ましい変形例では、間引き補間回路105 においてフレーム間で読み出し位置の共通するＧ成分を用いて公知の動き検出を行い、動いていないと判定した場合は、２板状態にした際に欠落しているＲ又はＢ成分の値として、前フレームの対応する位置の値を用いる。その結果、動いていない部分については、２板カラー化処理の際に発生する色モアレを低減させることができる。
【００２９】
また、別の好ましい変形例では、図３の（Ｃ）に示したように、フレーム間でＲとＧ，又はＢとＧの組み合わせ間引きパターンを反転させる代わりに、例えばＲ，Ｂの読み出しタイプとして、図５に示す読み出しタイプIII 及びIVを新たに設け、フレーム間で読み出しタイプＩとIII ，IIとIVを交互に用いる。そして、間引き補間回路105 では、フレーム間で読み出し位置の共通するＧ成分を用いて、フレーム間差分に基づく方法などの公知の動き検出を行い、動いていないと判定した場合は、フレーム間の平均を取る操作を行う。このようにすると、動いていない部分では、フレーム間平均の結果、より多くの間引き情報を得ることができるようになり、モアレ低減効果が得られる。
【００３０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図６は、第２の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第２の実施の形態は、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、間引き読み出しのパターンとその制御法が、第１の実施の形態と異なっている。すなわち、図６に示すように、第１の実施の形態と異なり、間引き補間回路205 内に、新たにモアレ予測回路212 とフィルタリング回路213 が付加されている。そして、モアレ予測回路212 からの信号が駆動制御回路204 にフィードバックされ、モアレ予測結果に応じて間引きパターンを変化させることが、構成上の大きな違いとなっている。その他の構成は、第１の実施の形態と同一である。
【００３１】
このように構成されている第２の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路204 が第１の実施の形態と同じく単板カラー撮像素子102 を間引き読み出し駆動するが、４×４画素ブロック内の間引き読み出しのタイプが、図５に読み出しタイプIII ，IVで示すように、更に２通り増えている。実際の読み出しにおいては、図７の（Ａ）に示すように、読み出しタイプIII と図３の（Ｂ）に示した読み出しタイプＩが、また読み出しタイプIVと図３の（Ｂ）に示した読み出しタイプIIが組になり、各組のどちらかが別の組のどちらかと市松状パターンの配置をなす。各組でどちらの読み出しタイプが使用されるかは、前フレームにおけるモアレ予測回路212 の検出結果による。以下、縮小画像の各画素に対応するブロックに対し、読み出しタイプＩとIII ，ないしIIとIVのどちらのタイプで読み出すかを指定したフラグｄが、駆動制御回路204 の内部に記憶されているものとして、動画撮影時の動作について説明する。
【００３２】
まず、駆動制御回路204 が、フラグd に基づき単板カラー撮像素子102 の間引き読み出しを行う。各読み出しパターンは、水平方向の２画素平均、水平方向の読み飛ばし、及び垂直方向のラインスキップの３動作の組み合わせになっている。これを利用して、駆動制御回路204 は各ブロックの読み出しパターンを基本操作に分解して組み直し、単板カラー撮像素子102 の各ライン毎に必要な読み出し位置を計算する。例として、図７の（Ｂ）に、フラグｄが図７の（Ｂ）の左側ブロックで指定されている場合の各ラインの読み出し位置を、斜線で示している。駆動制御回路204 は、計算された読み出し位置の画素と、その２画素右にある画素との平均値がライン毎に得られるように、単板カラー撮像素子102 を駆動し、間引かれた画素値をバッファ103 に得る。
【００３３】
次に、間引き補間回路205 が、第１の実施の形態と同様に２板化処理を行い、図４の（Ａ），（Ｂ）で示した２板状態の縮小画像を内部バッファ211 に得る。但し、本実施の形態では、Ｇ成分について、間引き画素値を３ラインづつバッファ103 から読み出し、各ラインからＧ成分のみを取り出した後、フィルタリング回路213 により垂直方向のフィルタリングを行う。３ラインのフィルタ係数は、〔１／４ １／２ １／４〕となっている。この処理により、図７の（Ｃ）に示すように、原画像に図７の（Ｃ）の右側に示すフィルタ係数を持ったローパスフィルタをかけるのと等価な結果が得られ、第１の実施の形態で計算したＧ成分より、垂直方向のモアレが抑えられる。なお、図７の（Ｃ）の左側の画素ブロックの外側に示した数字（１／４又は１／２）は、ライン毎のフィルタ係数である。一方、Ｒ，Ｂ成分に対しては、第１の実施の形態と同様に、図３の（Ｂ）及び図５の点線の平行四辺形パターンで示した４画素の平均値が得られるように、バッファ103 からデータを読み出してライン間で平均化処理する。こうして２板状態の画像が得られた後、間引き補間回路205 は第１の実施の形態と同一の２板カラー化処理を行い、内部バッファ211 に最終結果を記憶する。
【００３４】
これと並行して、モアレ予測回路212 では、次フレームにおいて特に２板カラー化処理でモアレが発生しそうな場所を推定する。具体的には、縮小画像中の斜めエッジや縞を検出するが、これは、２板状態のＲ／Ｂ成分が市松配置であり、斜め線や斜め縞に対してモアレを生じやすいためである。検出のために、モアレ予測回路212 は、縮小画像の全画素で得られているＧ成分に、図８の（Ａ）に示す２つのフィルタＦ１，Ｆ２を適用し、画素毎にフィルタリング結果の絶対値Ｃ１，Ｃ２を計算する。（フィルタＦ１は、右上がりの斜め縞、Ｆ２は右下がりの斜め縞で大きな絶対値を持つ。）そして、絶対値の差分Ｃ１−Ｃ２が、所定の閾値Ｔ１以上の画素を右上がりエッジのある画素に、閾値Ｔ２以下の画素を右下がりエッジのある画素と判定する。
【００３５】
モアレ予測回路212 の判定終了後、間引き補間回路205 は、判定結果に基づいて、次フレームにおいて最適な間引きパターンが得られるように、４×４画素ブロック毎の間引きパターンを指定するフラグｄを決定する。
【００３６】
ここで、間引きパターンを選択する効果を、図８の（Ｂ）を用いて説明する。図８の（Ｂ）は、２板状態のＲ成分を得るときにブロックの間引きパターンとして図３の（Ｂ）の読み出しタイプＩで得た場合と、図５の読み出しタイプIII で得た場合の斜め方向の帯域の差を示している。図８の（Ｂ）において、横軸は周波数で縞の細かさを表しており、縦軸はレスポンスで縞のぼけ具合（レスポンス１：ぼけ小、レスポンス０：ぼけ大）を表している。このように、本実施の形態の間引きパターンで得られたＲないしＢ成分は、斜め方向の周波数特性に非対称性があり、パターンの選択により非対称関係が逆転する。そこで、斜めの特定方向に帯域が高い画像領域に対応するブロックにおける読み出しパターンとして、その方向での帯域低下効果が大きくなるものを選択すれば、フレーム間での動きが少ないという前提で、次フレームで２板状態のＲ／Ｂ成分に含まれるモアレの低減が可能となる。
【００３７】
この考えに基づき、間引き補間回路205 は、モアレ予測回路212 の判定で右上がりエッジと判断された画素の次フレームでの読み出しパターンを、読み出しタイプＩないしIIに、右下がりエッジと判断された画素の読み出しパターンを、読み出しタイプIII ないしIVになるよう、駆動制御回路204 内のフラグｄを設定する。また、どちらにも判定されなかった画素に対応するブロックについては、現フレームと同じものが選択されるように設定する。
【００３８】
間引き補間処理回路205 の処理が終了すると、その後第１の実施の形態と同一の処理がなされる。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きを行う際、間引き後の縮小画像に全画素で共通して得られる色成分を設けたので、その成分を使って画像の各領域の周波数特性を調べることができる。それに応じて次フレームの間引きパターンを最適に選択することで、色モアレの発生を抑えることができる。
【００３９】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図９は、第３の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明を省略し、異なっている部分についてのみ説明する。この第３の実施の形態は、図９に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものである。本実施の形態では、第１の実施の形態と異なり、間引き補間回路305 内に新たに動き補償回路314 とフィルタリング回路313 が付加されている。また、駆動制御回路304 の間引きの態様も第１の実施の形態と異なっているが、その他の構成は第１の実施の形態と同一である。
【００４０】
このように構成されている第３の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路304 が第１の実施の形態と同じく単板カラー撮像素子102 を間引き読み出し駆動するが、第１の実施の形態のように、４×４画素ブロック毎に間引きパターンを変える代わりに、フレーム単位で間引き読み出しパターンを変更する。間引き読み出しパターンは、フレーム２ｎのとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩ，フレーム２ｎ＋１のとき全ブロックで図３の（Ｂ）に示す読み出しタイプIIとなっている。駆動制御回路304 は、フレーム毎に間引き読み出しパターンを切り替えて単板カラー撮像素子102 を駆動し、第２の実施の形態と同様に、水平方向の平均化処理を行いつつ、ライン単位でバッファ103 に間引き読み出し結果を格納する。
【００４１】
間引き補間回路305 は、間引き読み出しが終了すると各色成分の平均化処理を行うが、その際、第２の実施の形態と同様にライン間でフィルタリングを行う。フィルタ係数も第２の実施の形態に関して図７の（Ｃ）に示したものと同じく、〔１／４ １／２ １／４〕であるが、第２の実施の形態と異なり、Ｇ成分のみならず全ての色成分に対してライン間フィルタリングを行う。フィルタリングの結果、図10に示すように、原画像の各色成分に対して図７の（Ｃ）に示したのと同じフィルタ係数を持つローパスフィルタをかけたのと同じ効果が得られる。平均化結果は、内部バッファ311 に記憶され、図11の（Ａ），（Ｂ）に示すように、フレーム２ｎでは縮小されたＲ，Ｇ成分、フレーム２ｎ＋１では縮小されたＢ，Ｇ成分が得られる。
【００４２】
次に、各フレーム毎にＲ又はＢの欠落成分があるので、間引き補間回路305 は前フレームの情報を用いて欠落成分を推定する。次に、例として図11の（Ｂ）の網掛けしたＧ＃画素位置に対応するＲ成分を推定する方法を示す。まず、動き補償回路314 が、図11の（Ｂ）に示す網掛け位置が、図11の（Ａ）に示す前フレームでどの位置に対応していたのかを、フレーム間で共通に得られているＧ成分を用いて推定する。具体的には、公知の動きベクトル推定手法を用いるが、例えば、図11の（Ｂ）のＧ＃画素位置近傍の３×3 画素範囲Ｐに対し、図11の（Ａ）に太枠で示した探索範囲Ｑを設定し、該探索範囲Ｑ内の全ての３×３近傍（探索範囲Ｑの左上隅に網掛け範囲として例示）とのマッチングをとり、マッチング誤差が最小となる近傍位置を計算する。図11の（Ａ）のＧ＊画素位置を中心とする３×３近傍が、これにあたる。このようにして、縮小画像の全画素に対し、動き補償回路314 により前フレームでの対応位置が求められると、間引き補間回路305 は、前フレームの対応位置における現フレームの欠落色成分に対応するＲ成分（Ｒ＊）とＧ成分（Ｇ＊）の差分をとり、その差分に現フレームのＧ成分（Ｇ＃）を加えて現フレームの欠落色成分の値として、内部バッファ311 に記憶する。図11に示した例では、図11の（Ｂ）に示すＧ＃画素位置における欠落成分（Ｒ）の推定値は、図11の（Ａ）中の対応位置での画素値Ｒ＊，Ｇ＊を用いて、Ｒ＃＝Ｇ＃＋（Ｒ＊−Ｇ＊）として計算される。
【００４３】
間引き補間回路305 の処理が終了後のデジタルカメラ300 の動作は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きにより得る色成分の種類として、フレーム間で共通して読み出す色成分と特定フレームでしか読み出さない色成分を設けたことで、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する成分を使って前後フレームの対応関係を推定することで、欠落する色成分も正しく補間復元することができる。
（２） フレーム間で共通して読み出すＧ成分を用いて前後フレームの位置の対応関係を計算し、更にＧ成分と前フレームでしか読み出さないＲ又はＢ成分の相関関係（本実施の形態ではＲ成分とＧ成分の差分又はＢ成分とＧ成分の差分）を計算し、その関係と、現フレームで読み出したＧ成分から現フレームで読み出されていない色成分を推定することで、精度よく現フレームの欠落色成分を推定できる。
【００４４】
なお、この実施の形態の好ましい変形例として、以下のものを挙げることができる。例えば、４×４ブロック単位ではなく、２×２ブロック単位で考えると、図10の間引き読み出しは、図12の（Ａ），（Ｂ）に示した読み出しタイプＸとＹの組み合わせで実現できる。読み出しタイプＸは、太枠で示した２×２ブロックに対し、点線で示したＲの平均値、及び実線で示したＧの平均値を読み出す。読み出しタイプＹは、太枠で示した２×２ブロックに対し、点線で示したＢの平均値、及び実線で示したＧの平均値を読み出す。そして、ＧとＲを読み出すフレームでは、図12の（Ｃ）に示すように、読み出しタイプＸの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現でき、ＧとＢを読み出すフレームでは、図12の（Ｄ）に示すように、読み出しタイプＹの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現できる。
【００４５】
上述の実施の形態では、図12の（Ｃ），（Ｄ）の太枠で示したように、２×２ブロックを４個まとめた４×４ブロックにつき、フレーム毎に、ＲとＧ，又はＢとＧが得られていると考えていたが、２×２ブロック単位で考えると、このように、フレーム毎に市松状に、ＲとＧ，又はＢとＧが得られる。そこで、２×２ブロック単位で、上述の実施の形態と同様に動き検出を行って、特定２×２ブロックに対応する前後フレーム内の２×２ブロックを求める。これにより、例えば、図12の（Ｅ）に示すように、フレーム２ｎの＃の付いた画素位置に対し、フレーム２ｎ＋１の＊の付いた画素位置が対応することがわかる。そして、このような対応関係を、値の得られている全ての２×２ブロックで調べた後、対応関係に基づいて各ブロックで欠落する色成分を推定する。
【００４６】
推定方法は、上述の実施の形態と同様である。例えば、図12の（Ｅ）において、フレーム２ｎの＃の付いた画素位置で欠落する色成分Ｂ＃に対し、フレーム２ｎ＋１において対応する＊の付いた画素位置で得られているＧ＊，Ｂ＊，及び フレーム２ｎの＃の付いた画素位置で得られているＧ＃から、Ｂ＃＝（Ｂ＊−Ｃ＊）＋Ｇ＃と推定する。最後に、各２×２ブロックで、このように欠落色成分を推定した後、２×２ブロックでの３色成分値を縦２個、横２個の４個単位で平均化することで、縮小画像の１画素に対応する４×４ブロックの３色成分値を計算する。この方法では、対応関係を求めるブロックサイズが上述の実施の形態より細かくなっており、より精度よく欠落色成分を推定できる。
【００４７】
更に別の好ましい変形例は、Ｇ成分の間引きパターンをフレーム間で変えるもので、図13に示すように、フレーム２ｎで本実施の形態で示した間引きパターン（実線）を、フレーム２ｎ＋１ではそれとは異なる間引きパターン（点線）をとる。ここで、図13中の一点鎖線枠中の読み出し位置は、フレーム間で変わらないように構成する。そして、動き補償回路314 では、フレーム間の動き検出をフレーム間で変わらない読み出し位置のＧ信号を使って行う。そして、動いていないと判断された画素については、前フレームのＧ成分と現フレームのＧ成分を平均する。その結果、間引いたＧ成分に混入するモアレを低減させることができる。
【００４８】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。図14は、第４の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第４の実施の形態は、図14に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、３板撮像系である点が大きな違いである。光学像は、色分解プリズムを介して色成分毎にＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cで撮像され、各撮像素子からの出力は同一のバッファ103 に入るようになっている。各撮像素子は、第１の実施の形態における単板カラー撮像素子102 と同一の間引き読み出し機能を備えており、駆動制御回路404 は３つの撮像素子それぞれの間引き読み出し駆動を独立に行うことができる。また、間引き補間回路405 には、新たに色相関計算回路414 ，フィルタリング回路413 が付加されている。その他は、３板撮像系であるため補間回路106 がない点を除いて、第１の実施の形態と同一である。
【００４９】
このように構成されている第４の実施の形態の動作は、通常撮影では第１の実施の形態と類似しているが、駆動制御回路404 が全画素読み出しモードでＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cを駆動すると、バッファ103 に３色カラー画像が直接得られ、信号処理回路107 が直接バッファ103 から３色カラー画像を読み出して画質改善処理を施す点が異なっている。一方、動画撮影時には、駆動制御回路404 が間引き読み出しモードでＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cを駆動し、各撮像素子からバッファに得られた間引き読み出し出力を、間引き補間回路405 が補間処理して３色カラー画像を生成した後、信号処理回路107 に出力する。以下、駆動制御回路404 及び間引き補間回路405 の動作について説明するが、これまでの実施の形態と同じく、縮小率は１／４，読み出しレートは４×４画素ブロック毎に４画素の場合について説明する。
【００５０】
駆動制御回路404 による各撮像素子の間引き方は、全てのフレームで、３つの撮像素子それぞれに対し、図15の（Ａ）の網掛けで示したとおりである。特徴は、読み出し位置に撮像素子間で共通している部分といない部分があることである。撮像素子間で共通している読み出し位置を、図15の（Ｂ）に示した。駆動制御回路404 により、各撮像素子から網掛け部分の画素が水平方向に２画素づつ平均して読み出され、バッファ103 の撮像素子別に設けられた領域に記憶される。４×４画素ブロック当たり各ライン毎に４つの値が記憶される。
【００５１】
間引き読み出しが完了すると、間引き補間回路405 は、他の実施の形態と同じくバッファ103 内のデータの平均化処理を行う。その際、３つの素子の間引き読み出し結果を総合し、各撮像素子で間引き読み出しされていない位置での信号値を推定してから、平均化操作を行うことで、モアレ低減を可能にしている。図16に示した例に基づいて推定方法を説明する。
【００５２】
この図16において、黒い四角で囲んだ画素位置は、Ｒ撮像素子402aとＧ撮像素子402bに共通の間引き読み出し位置である。相関計算回路411 は、この共通の位置で得られているＲ，Ｇの信号Ｒ＊及びＧ＊から、各４×４ブロック内でのＲ成分とＧ成分の色相関を推定する。本実施の形態では、最も簡単なものとして、共通読み出し位置での平均値の差Ｄ＝Ａvg（Ｒ＊）−Ａvg（Ｇ＊）（Ａvgは平均を表す）を、色相関を表すパラメータとして計算する。水平方向の平均値は、すでにバッファ103 に得られているので、相関計算回路411 は２つの撮像素子からの共通読み出し位置に対応する出力を更に平均し差分をとるだけでよい。なお、色相関を表すパラメータとしては、この他にもＡvg（Ｒ＊）／Ａvg（Ｇ＊）など様々なものが考えられる。
【００５３】
この計算の後、間引き補間回路405 は、ある撮像素子では値が読み出されなかったが他の撮像素子では値が読み出されているような位置に対し、読み出されなかった値を推定する。図16に示した例では、Ｒ撮像素子402aで２画素平均値Ｒ＃が読み出されている位置に対し、その位置でのＧ撮像素子402bにおける２画素平均値Ｇ＃を、共通読み出し位置での色相関パラメータ計算結果を用いて、Ｒ＃−Ｄで推定する。このようにして、全ての撮像素子に共通しない読み出し位置での画素値を推定した後、間引き補間回路405 は各４×４ブロックでの平均値を計算し、内部バッファ411 に保存する。
【００５４】
間引き補間回路405 の処理が終了後のデジタルカメラ400 の作用は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ３板撮像系の間引き処理において、色成分間の間引き読み出しパターンに共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色成分間の相関関係（色相関パラメータ）を計算し、共通しない読み出し部分にこれを適用することで、各色成分において間引き読み出しされなかった位置の信号の推定が可能になり、推定値を含めて平均化処理を行うことで、３板撮像系においても間引き時に発生する輝度モアレを抑制することができる。
【００５５】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、縮小画像へのモアレの混入が抑制され、また欠落色成分の補間復元も容易に行うことが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の第１の実施の形態を示すブロック構成図である。
【図２】 図１に示した第１の実施の形態における単板カラー撮像素子の読み出し機能を示す説明図である。
【図３】 第１の実施の形態における間引き読み出しパターンを示す説明図である。
【図４】 縮小された２板状態の画像を示す図及び２板カラー化処理の説明図である。
【図５】 第１の実施の形態の変形例、及び第２の実施の形態における４×４ブロックの間引き読み出しパターンを示す図である。
【図６】 本発明の第２の実施の形態を示すブロック構成図である。
【図７】 第２の実施の形態における間引き読み出し方法及びフィルタリング処理についての説明図である。
【図８】 第２の実施の形態におけるモアレ予測に用いるフィルタ、及び２板状態のＲ成分を得るときに読み出しタイプＩ及びIII を用いた場合の周波数特性を示す図である。
【図９】 本発明の第３の実施の形態を示すブロック構成図である。
【図10】 第３の実施の形態における間引き読み出しパターンを示す説明図である。
【図11】 第３の実施の形態における動き補償回路を用いた欠落色成分の推定手法を示す説明図である。
【図12】 第３の実施の形態における動き補償回路における処理の変形例を示す説明図である。
【図13】 第３の実施の形態における間引き読み出しパターンの変形例を示す図である。
【図14】 本発明の第４の実施の形態を示すブロック構成図である。
【図15】 第４の実施の形態における間引き読み出しパターンを示す説明図である。
【図16】 第４の実施の形態における色相関計算回路による画素値予測の説明図である。
【符号の説明】
100, 200, 300, 400 デジタルカメラ
101 光学系
102 単板カラー撮像素子
103 バッファ
104, 204, 304, 404 駆動制御回路
105, 205, 305, 405 間引き補償回路
106 補間回路
107 信号処理回路
108 記録回路
109 表示回路
110 制御回路
111, 211, 311, 411 内部バッファ
212 モアレ予測回路
213, 313, 413 フィルタリング回路
314 動き補償回路
402a Ｒ撮像素子
402b Ｇ撮像素子
403c Ｂ撮像素子
414 色相関計算回路
【発明の属する技術分野】
この発明は、撮像装置に関し、特に、液晶ビューファインダを持った高精細電子スチル画像撮像装置、及びビデオ動画撮影と高精細電子スチル画像撮影の両方を可能にした撮像装置に関するものである。
【０００２】
【従来の技術】
近年、パーソナルコンピューターの急速な普及により、画像入力機器としてのデジタルカメラ（電子スチルカメラ）の需要が拡大している。また、動画の記録機器としてデジタルビデオカメラなどの高画質記録装置が広く用いられている。これら画像入力機器では、撮像素子の画素数が撮影像の解像度を決定する大きな要素であるため、画素数は年々増加傾向にあり、最近は 400万画素以上の多くの画素数を持ったデジタルカメラも商品化されている。また、一般的に、デジタルカメラは撮影範囲を確認する手段として、リアルタイムの電子式ファインダーを備えており、動画の撮像が可能なデジタルカメラも珍しくない。
【０００３】
これら動画記録や電子式ファインダーの機能を実現するためには、撮像素子の画素数に対して数分の一〜数十分の一の画素数を持つ画像を、リアルタイム（秒30フレーム以上）で撮像することが要求される。しかし、数百万画素の撮像素子においては、秒30フレームのレートで全画素読み出しを行うことは、動作クロックからみて困難である。そこで、特定モードにおいて、必要なだけの画素数を撮像素子から間引いて読み出す機能を持った撮像素子を用い、間引いた信号を処理して縮小画像を生成する方式が提案されている。
【０００４】
その一例として、特開平９−２４７６８９号公報に開示されている単板撮像素子を挙げることができる。この公報開示の撮像素子においては、指定した位置の画素を直接読み出すことができるＸＹアドレス方式の撮像素子が用いられており、間引き読み出しモードでは、間引きしない場合と同じモザイクフィルタパターンの信号が得られるように、同一色フィルタ位置の画素を４画素読み出して、その平均値を計算する信号処理回路を併用している。また、このような読み出しができないＣＣＤ撮像素子の場合には、垂直方向に電流値加算を行うことで縦方向を平均化し、且つ間引き読み出しする方式が多くとられている。
【０００５】
【発明が解決しようとする課題】
ところで、上記特開平９−２４７６８９号公報に開示されている従来技術では、単板撮像素子に対しては、間引き後のモザイクパターンが撮像素子のモザイクパターンと同一になるよう限定されており、モアレの発生を押さえ、且つ間引き後の解像度を維持するために間引きパターンを最適に選択するという観点については、考慮がなされていない。また、ＣＣＤ撮像素子における電流値の加算読み出し方式では、転送エリアの容量がオーバーフローしてしまい、信号の劣化を招いてしまうおそれがあった。
【０００６】
本発明は、従来の撮像装置における上記問題点を解決するためになされたものであり、高解像度の撮像素子から比較的高速なフレームレートで動画像を読み出しても偽信号が発生しないようにした撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、異なる色からなる３種類のカラーフィルタを通過した光学像を撮像する撮像手段と、前記撮像手段で撮像した撮像情報から間引き読み出しを行い前記撮像情報よりも画素数の少ない縮小画像を複数作成する間引き制御手段とを有し、前記間引き制御手段は、前記縮小画像の各画素に対応して、第１の種類のカラーフィルタに対応する信号及び第２の種類のカラーフィルタに対応する信号を読み出す第１のパターン、又は、前記第１の種類のカラーフィルタに対応する信号及び第３の種類のカラーフィルタに対応する信号を読み出す第２のパターンのいずれかのパターンで間引き読み出しを行うようにして撮像装置を構成するものである。
【０００８】
請求項２に係る発明は、請求項１に係る撮像装置において、前記撮像手段は原色ベイヤ配列のモザイクカラーフィルタを有するものであり、前記間引き制御手段は、前記縮小画像の各画素に対応して、前記第１のパターンではＧ及びＲのカラーフィルタに対応する信号を読み出し、前記第２のパターンではＧ及びＢのカラーフィルタに対応する信号を読み出し、且つ前記第１のパターンで読み出しがなされる画素と前記第２のパターンで読み出しがなされる画素の配置が互いに市松状パターンとなるように読み出し制御を行うことを特徴とするものである。
【０００９】
このように構成された撮像装置においては、間引き読み出しした結果得られる画像が２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理等が容易に行うことが可能となる。
【００１０】
請求項３に係る発明は、請求項１に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、各フレームで得られる前記縮小画像の全画素に共通して前記第１のパターンの読み出しを行うか、もしくは全画素に共通して前記第２のパターンの読み出しを行うか、のいずれかのパターンで読み出しを行い、且つ連続するフレーム間で読み出しパターンが異なるように読み出し制御を行うことを特徴とするものである。
【００１１】
請求項４に係る発明は、請求項２に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、各フレームで得られる前記縮小画像において、前記第１のパターンで読み出しがなされる画素と前記第２のパターンで読み出しがなされる画素の配置が、連続するフレーム間で反転するように読み出し制御を行うことを特徴とするものである。
【００１２】
請求項５に係る発明は、請求項１〜４のいずれか１項に係る撮像装置において、前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、前記第１の種類のカラーフィルタに対応する信号の読み出し位置が、フレーム間で一部共通し、一部異なるように読み出し制御を行うことを特徴とするものである。
【００１３】
請求項６に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記撮像手段で撮像した光学像の動きを検出する動き検出手段を更に有し、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し制御を行い、前記動き検出手段はフレーム間で共通する読み出し位置の信号に基づいてフレーム間での光学像の動きを検出することを特徴とするものである。
【００１４】
請求項７に係る発明は、請求項１〜５のいずれか１項に係る撮像装置において、前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像の全画素に共通して読み出すカラーフィルタ種類の信号に基づいてフレーム内の局所的な周波数特性を測定し、この周波数特性測定結果に応じて次フレームの間引き読み出しパターンを決定するように構成されていることを特徴とするものである。
【００１５】
このように構成された撮像装置においては、間引きを行う際、間引き後の縮小画像に全画素で共通に得られる色成分信号が生成されるようにしているので、その共通色成分信号を用いて画像の各領域の周波数特性を測定することができ、それに応じて次フレームの間引き読み出しパターンを最適に選択することによって、色モアレの発生を抑えることができる。
【００１６】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明に係る撮像装置の第１の実施の形態を示すブロック構成図で、本発明をデジタルカメラに適用したものである。この実施の形態に係るデジタルカメラ100 は、図１に示すように、光学系101 ，間引き読み出しの可能な単板カラー撮像素子102 ，単板カラー撮像素子102 からの出力を記憶するバッファ103 ，単板カラー撮像素子102 の間引き読み出しの態様を制御する駆動制御回路104 ，動画記録モード設定時に、単板カラー撮像素子102 から間引き読み出しした信号を補間処理して、縮小カラー画像を内部バッファ111 内に生成する間引き補間回路105 ，通常記録モード設定時に、単板カラー撮像素子102 を通常読み出しした結果を補間処理して縮小なしのカラー画像を生成し、更に補間処理した画素ブロックの画素値を平均化処理する補間回路106 ，間引き補間回路105 ないし補間回路106 の出力を処理して画質を改善する信号処理回路107 ，信号処理回路107 の出力を記録媒体に記録する記録回路108 ，信号処理回路107 の出力を液晶表示装置に表示する表示回路109 ，及びこれら各回路の動作を制御する制御回路110 から構成されている。
【００１７】
次に、このように構成されているデジタルカメラ100 の動作について説明する。通常モードの撮影時においては、ユーザーが図示しないシャッタを押下すると、制御回路110 が駆動制御回路104 を全画素読み出しモードに設定し、駆動制御回路104 は単板カラー撮像素子102 を駆動して撮影を行う。これにより、単板カラー撮像素子102 からは、その全画素の信号がバッファ103 に出力される。単板カラー撮像素子102 からの出力が完了すると、制御回路110 が補間回路106 を動作させ、補間回路106 は単板状態の信号を補間処理によりカラー化し、補間処理の完了した画素ブロック毎に信号処理回路107 に出力する。信号処理回路107 では、入力されたカラーブロックに対し、順次マトリックス色変換、ガンマ補正、エッジ強調などの画質調整処理を施し、処理済カラーブロックを記録回路108 に出力する。記録回路108 では入力されたカラーブロックを圧縮処理し、図示していない記録媒体に記録する。
【００１８】
また補間回路106 は、記録回路108 への出力と並行して、内部で補間の完了した画素ブロックの画素値を平均化する処理を行い、平均化結果を内部バッファに記憶している。この平均化処理の結果、補間処理が終了した時点で、内部バッファには記録回路108 により記録されたカラー画像の縮小画像が形成される。記録回路108 の動作が完了した時点で、制御回路110 は補間回路106 の内部バッファの縮小画像を信号処理回路107 に出力する。最後に、信号処理回路107 が画質調整処理を施した画像を表示回路109 に出力し、ユーザーに撮影結果が表示されると、撮像完了となる。
【００１９】
一方、ユーザーが動画記録モードを設定してシャッタを押下した場合、駆動制御回路104 は単板カラー撮像素子102 を間引き読み出し駆動する。単板カラー撮像素子102 はＣＭＯＳ撮像素子であり、水平方向の平均化読み出しと、間引き読み出し（読み飛ばし）、及び垂直方向のラインスキップ（ライン読み飛ばし）が可能な構成となっている。図２に、単板カラー撮像素子102 のこれらの読み出し態様を示す。図２の（Ａ）に示した水平方向の複数画素の画素値を平均化して読み出す平均化読み出しは、ＣＭＯＳ撮像素子の各画素に付随するキャパシタの並列接続に基づいて実行されるようになっており、ＣＣＤ撮像素子のように電荷オーバーフローを伴う危険はない。また、読み出し時間は、平均化しないで一画素読み出す場合と同じとなる。
【００２０】
図２の（Ｂ）に示す水平方向の間引き読み出しでは、水平ラインの読み出しに用いるシフトレジスタを部分的に迂回する配線で実現しており、ライン内の最初の読み出し位置も可変となっている。平均化する画素数及び間引き位置は、外部からプログラム可能である。図２の（Ｃ）は、任意数のライン飛ばし（垂直方向の間引きスキップ）態様を示しており、図２の（Ｄ）は、図２の（Ａ）に示した平均化読み出しと図２の（Ｂ）に示した間引き読み出しの組み合わせ態様を示している。
【００２１】
駆動制御回路104 は、単板カラー撮像素子102 の、これらの読み出し機能を活用し、モアレの混入が少なくなる読み出しパターンで、単板カラー撮像素子102 の画素を平均化及び間引き読み出しで読み出しを実行し、その結果をバッファ103 に出力する。
【００２２】
以下、単板カラー撮像素子102 のモザイクフィルタ配置が原色ベイヤ配列で、間引き率が縦横１／４の場合を例に、読み出しパターンについて説明する。なお、間引き率が縦横１／４ということは、４×４画素ブロックにつき１画素しか読み出しできないという意味ではない。現在のところ、リアルタイム動画として１フレーム期間内に出力する必要のある画素数は、デジタルカメラの動画記録モードにおいては、ＱＶＧＡ(320×240)ないしＶＧＡ(640×480)が一般的である。そのため、撮像素子の駆動速度が速く読み出し期間が「１フレーム期間−後処理期間」以内に収まっていれば、撮像素子からこれ以上の画素数の信号を読み出しても問題はない。以下の例では、４×４画素ブロックにつき４画素まで読み出し可能という前提で説明している。
【００２３】
図３に、間引き率１／４の間引き読み出しの際の駆動処理回路104 の間引き読み出しパターンを示す。この間引き読み出しパターンでは、図３の（Ａ）に示された単板カラー撮像素子102 の原色ベイヤ配列において、４×４の全ての画素ブロックで、図に示した平行四辺形パターンの各角部に位置する４つのＧフィルタの位置の信号を、平均化して読み出す。また、Ｒ，Ｂフィルタの位置の信号については、図３の（Ｂ）で示すように、４×４画素ブロックで同じく平行四辺形パターン（図中点線部）の各角部に位置する４つのＲフィルタの位置の信号を読み出し平均化するが、Ｂフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプＩ）、及び平行四辺形パターン（点線部）の各角部に位置する４つのＢフィルタの位置の信号を読み出して平均化するが、Ｒフィルタ位置の信号は読み出さない読み出しタイプ（読み出しタイプII）、の二通りの読み出しタイプを設け、４×４画素ブロックの位置に応じて、いずれのパターンで読み出すかを、図３の（Ｃ）に示すように設定する。図３の（Ｃ）においては、各四角形領域は４×４画素ブロックに対応しており、各四角形領域中の記号（Ｉ又はII）が、そのブロックがいずれの読み出しタイプで読み出されるかを示している。２種類の読み出しタイプに対応する画素ブロックが市松状に配置されていること、及びフレーム毎に市松配置が反転することの２点が特徴である。
【００２４】
なお、Ｒ，Ｇ，Ｂそれぞれの読み出しパターンは、図２の（Ａ）〜（Ｃ）に示した平均化読み出し、間引き読み出し（読み飛ばし）、ラインスキップの基本動作の組み合わせで実現できる。例えば、平行四辺形パターンのＧフィルタ位置の信号の読み出しと平均化は、次のようなステップで行われる。すなわち、(1) ライン内で、２画素目から、水平方向に２画素平均し、２画素読み飛ばすパターンを繰り返す、(2) １ラインスキップする、(3) 最初の読み出し位置を(1) における最初の読み出し位置に対して２画素右にずらし同じ動作を行う、(4) １ラインスキップする、という動作を垂直方向に繰り返して、各ラインの信号をバッファ103 内に得た後、(1) と(3) で読み出した信号値を、ライン間で加算平均することにより実行される。このようなライン間の平均化処理は、間引き補間回路105 内で行われ、結果が間引き補間回路105 内のバッファ111 に記憶される。
【００２５】
このように、駆動制御回路104 による上記の(1) 〜(4) の読み出しと、間引き補間回路105 のライン間平均化処理により、各４×４画素ブロックで、Ｇ及びＲ、又はＧ及びＢの平均値が得られ、最終的に、間引き補間回路105 の内部バッファ111 には、図４の（Ａ）及び（Ｂ）に示すように、１／４に縮小された２板状態の画像が得られる。なお、図示のように、フレーム毎にＲ／Ｂのパターンが反転している。この状態から３色カラー画像を生成する２板カラー化処理は、２板撮像系のカメラの信号処理系として公知であり、間引き補間回路105 も公知例に従って処理を行う。
【００２６】
次に、図４の（Ｂ）を用いて、間引き補間回路105 における処理例を説明する。Ｇ成分は全画素で得られているので、補間処理が必要なのは、各画素で欠落しているＲ成分又はＢ成分である。例えば、図４の（Ｂ）中の網掛けのＧ１画素位置では、Ｂ成分はＢ１として存在するがＲ成分が欠落している。そこで、全画素で得られているＧに関して、網掛け画素Ｇ１と斜線部で示したその近傍のＧ画素とを比較し、最も差の小さい近傍画素を探索する。具体的には、図４の（Ｂ）における画素Ｇ１〜Ｇ５に関して、｜Ｇ１−Ｇj ｜（ｊは２〜５）を計算し、差分が最小となる画素Ｇj を求める。そして、その画素位置に対応するＲj を網掛け画素位置におけるＲ成分の値とする。このようにして、間引き補間回路105 において全ての欠落色成分が補間された後、内部バッファ111 上に完成された画像は、通常撮影モードと同様に記録回路108 及び表示回路109 に出力される。
【００２７】
以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ４×４ブロック毎に、ＲＧＢ全色が揃うように読み出すかわりに、いずれか２色が得られ、且つ一色は全ての４×４ブロックで共通に得られるような間引き読み出し方をした結果、間引き読み出し結果自体への各色へのモアレの混入を抑え、且つ欠落する色成分の復元（補間）もやりやすい構成となる。
（２） 特に、各ブロックでＲとＧ，又はＢとＧの組み合わせで色成分が得られ、且つこの組み合わせが市松状配置パターンをなすように間引きパターンを構成した結果、間引き読み出しした結果得られる画像が、２板撮像系で得られる画像と同一パターンとなり、その後のカラー化処理が行いやすくなる。
（３） また、上記（２）で述べた市松配置をフレーム毎に反転させることで、２板状態からの欠落色成分の補間復元で発生する色モアレの色がフレーム毎に補色関係になり、動画としてみると色モアレが色フリッカとして表示される。人間の視覚は色フリッカに対する感度が低いため、結果的に、色モアレが目立たなくする効果が得られる。
【００２８】
なお、本実施の形態においては、いくつかの変形が可能である。一つの好ましい変形例では、間引き補間回路105 においてフレーム間で読み出し位置の共通するＧ成分を用いて公知の動き検出を行い、動いていないと判定した場合は、２板状態にした際に欠落しているＲ又はＢ成分の値として、前フレームの対応する位置の値を用いる。その結果、動いていない部分については、２板カラー化処理の際に発生する色モアレを低減させることができる。
【００２９】
また、別の好ましい変形例では、図３の（Ｃ）に示したように、フレーム間でＲとＧ，又はＢとＧの組み合わせ間引きパターンを反転させる代わりに、例えばＲ，Ｂの読み出しタイプとして、図５に示す読み出しタイプIII 及びIVを新たに設け、フレーム間で読み出しタイプＩとIII ，IIとIVを交互に用いる。そして、間引き補間回路105 では、フレーム間で読み出し位置の共通するＧ成分を用いて、フレーム間差分に基づく方法などの公知の動き検出を行い、動いていないと判定した場合は、フレーム間の平均を取る操作を行う。このようにすると、動いていない部分では、フレーム間平均の結果、より多くの間引き情報を得ることができるようになり、モアレ低減効果が得られる。
【００３０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図６は、第２の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第２の実施の形態は、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、間引き読み出しのパターンとその制御法が、第１の実施の形態と異なっている。すなわち、図６に示すように、第１の実施の形態と異なり、間引き補間回路205 内に、新たにモアレ予測回路212 とフィルタリング回路213 が付加されている。そして、モアレ予測回路212 からの信号が駆動制御回路204 にフィードバックされ、モアレ予測結果に応じて間引きパターンを変化させることが、構成上の大きな違いとなっている。その他の構成は、第１の実施の形態と同一である。
【００３１】
このように構成されている第２の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路204 が第１の実施の形態と同じく単板カラー撮像素子102 を間引き読み出し駆動するが、４×４画素ブロック内の間引き読み出しのタイプが、図５に読み出しタイプIII ，IVで示すように、更に２通り増えている。実際の読み出しにおいては、図７の（Ａ）に示すように、読み出しタイプIII と図３の（Ｂ）に示した読み出しタイプＩが、また読み出しタイプIVと図３の（Ｂ）に示した読み出しタイプIIが組になり、各組のどちらかが別の組のどちらかと市松状パターンの配置をなす。各組でどちらの読み出しタイプが使用されるかは、前フレームにおけるモアレ予測回路212 の検出結果による。以下、縮小画像の各画素に対応するブロックに対し、読み出しタイプＩとIII ，ないしIIとIVのどちらのタイプで読み出すかを指定したフラグｄが、駆動制御回路204 の内部に記憶されているものとして、動画撮影時の動作について説明する。
【００３２】
まず、駆動制御回路204 が、フラグd に基づき単板カラー撮像素子102 の間引き読み出しを行う。各読み出しパターンは、水平方向の２画素平均、水平方向の読み飛ばし、及び垂直方向のラインスキップの３動作の組み合わせになっている。これを利用して、駆動制御回路204 は各ブロックの読み出しパターンを基本操作に分解して組み直し、単板カラー撮像素子102 の各ライン毎に必要な読み出し位置を計算する。例として、図７の（Ｂ）に、フラグｄが図７の（Ｂ）の左側ブロックで指定されている場合の各ラインの読み出し位置を、斜線で示している。駆動制御回路204 は、計算された読み出し位置の画素と、その２画素右にある画素との平均値がライン毎に得られるように、単板カラー撮像素子102 を駆動し、間引かれた画素値をバッファ103 に得る。
【００３３】
次に、間引き補間回路205 が、第１の実施の形態と同様に２板化処理を行い、図４の（Ａ），（Ｂ）で示した２板状態の縮小画像を内部バッファ211 に得る。但し、本実施の形態では、Ｇ成分について、間引き画素値を３ラインづつバッファ103 から読み出し、各ラインからＧ成分のみを取り出した後、フィルタリング回路213 により垂直方向のフィルタリングを行う。３ラインのフィルタ係数は、〔１／４ １／２ １／４〕となっている。この処理により、図７の（Ｃ）に示すように、原画像に図７の（Ｃ）の右側に示すフィルタ係数を持ったローパスフィルタをかけるのと等価な結果が得られ、第１の実施の形態で計算したＧ成分より、垂直方向のモアレが抑えられる。なお、図７の（Ｃ）の左側の画素ブロックの外側に示した数字（１／４又は１／２）は、ライン毎のフィルタ係数である。一方、Ｒ，Ｂ成分に対しては、第１の実施の形態と同様に、図３の（Ｂ）及び図５の点線の平行四辺形パターンで示した４画素の平均値が得られるように、バッファ103 からデータを読み出してライン間で平均化処理する。こうして２板状態の画像が得られた後、間引き補間回路205 は第１の実施の形態と同一の２板カラー化処理を行い、内部バッファ211 に最終結果を記憶する。
【００３４】
これと並行して、モアレ予測回路212 では、次フレームにおいて特に２板カラー化処理でモアレが発生しそうな場所を推定する。具体的には、縮小画像中の斜めエッジや縞を検出するが、これは、２板状態のＲ／Ｂ成分が市松配置であり、斜め線や斜め縞に対してモアレを生じやすいためである。検出のために、モアレ予測回路212 は、縮小画像の全画素で得られているＧ成分に、図８の（Ａ）に示す２つのフィルタＦ１，Ｆ２を適用し、画素毎にフィルタリング結果の絶対値Ｃ１，Ｃ２を計算する。（フィルタＦ１は、右上がりの斜め縞、Ｆ２は右下がりの斜め縞で大きな絶対値を持つ。）そして、絶対値の差分Ｃ１−Ｃ２が、所定の閾値Ｔ１以上の画素を右上がりエッジのある画素に、閾値Ｔ２以下の画素を右下がりエッジのある画素と判定する。
【００３５】
モアレ予測回路212 の判定終了後、間引き補間回路205 は、判定結果に基づいて、次フレームにおいて最適な間引きパターンが得られるように、４×４画素ブロック毎の間引きパターンを指定するフラグｄを決定する。
【００３６】
ここで、間引きパターンを選択する効果を、図８の（Ｂ）を用いて説明する。図８の（Ｂ）は、２板状態のＲ成分を得るときにブロックの間引きパターンとして図３の（Ｂ）の読み出しタイプＩで得た場合と、図５の読み出しタイプIII で得た場合の斜め方向の帯域の差を示している。図８の（Ｂ）において、横軸は周波数で縞の細かさを表しており、縦軸はレスポンスで縞のぼけ具合（レスポンス１：ぼけ小、レスポンス０：ぼけ大）を表している。このように、本実施の形態の間引きパターンで得られたＲないしＢ成分は、斜め方向の周波数特性に非対称性があり、パターンの選択により非対称関係が逆転する。そこで、斜めの特定方向に帯域が高い画像領域に対応するブロックにおける読み出しパターンとして、その方向での帯域低下効果が大きくなるものを選択すれば、フレーム間での動きが少ないという前提で、次フレームで２板状態のＲ／Ｂ成分に含まれるモアレの低減が可能となる。
【００３７】
この考えに基づき、間引き補間回路205 は、モアレ予測回路212 の判定で右上がりエッジと判断された画素の次フレームでの読み出しパターンを、読み出しタイプＩないしIIに、右下がりエッジと判断された画素の読み出しパターンを、読み出しタイプIII ないしIVになるよう、駆動制御回路204 内のフラグｄを設定する。また、どちらにも判定されなかった画素に対応するブロックについては、現フレームと同じものが選択されるように設定する。
【００３８】
間引き補間処理回路205 の処理が終了すると、その後第１の実施の形態と同一の処理がなされる。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きを行う際、間引き後の縮小画像に全画素で共通して得られる色成分を設けたので、その成分を使って画像の各領域の周波数特性を調べることができる。それに応じて次フレームの間引きパターンを最適に選択することで、色モアレの発生を抑えることができる。
【００３９】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図９は、第３の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明を省略し、異なっている部分についてのみ説明する。この第３の実施の形態は、図９に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものである。本実施の形態では、第１の実施の形態と異なり、間引き補間回路305 内に新たに動き補償回路314 とフィルタリング回路313 が付加されている。また、駆動制御回路304 の間引きの態様も第１の実施の形態と異なっているが、その他の構成は第１の実施の形態と同一である。
【００４０】
このように構成されている第３の実施の形態の動作は、通常撮影では第１の実施の形態と同一である。動画撮影時には、駆動制御回路304 が第１の実施の形態と同じく単板カラー撮像素子102 を間引き読み出し駆動するが、第１の実施の形態のように、４×４画素ブロック毎に間引きパターンを変える代わりに、フレーム単位で間引き読み出しパターンを変更する。間引き読み出しパターンは、フレーム２ｎのとき全ブロックで図３の（Ｂ）に示す読み出しタイプＩ，フレーム２ｎ＋１のとき全ブロックで図３の（Ｂ）に示す読み出しタイプIIとなっている。駆動制御回路304 は、フレーム毎に間引き読み出しパターンを切り替えて単板カラー撮像素子102 を駆動し、第２の実施の形態と同様に、水平方向の平均化処理を行いつつ、ライン単位でバッファ103 に間引き読み出し結果を格納する。
【００４１】
間引き補間回路305 は、間引き読み出しが終了すると各色成分の平均化処理を行うが、その際、第２の実施の形態と同様にライン間でフィルタリングを行う。フィルタ係数も第２の実施の形態に関して図７の（Ｃ）に示したものと同じく、〔１／４ １／２ １／４〕であるが、第２の実施の形態と異なり、Ｇ成分のみならず全ての色成分に対してライン間フィルタリングを行う。フィルタリングの結果、図10に示すように、原画像の各色成分に対して図７の（Ｃ）に示したのと同じフィルタ係数を持つローパスフィルタをかけたのと同じ効果が得られる。平均化結果は、内部バッファ311 に記憶され、図11の（Ａ），（Ｂ）に示すように、フレーム２ｎでは縮小されたＲ，Ｇ成分、フレーム２ｎ＋１では縮小されたＢ，Ｇ成分が得られる。
【００４２】
次に、各フレーム毎にＲ又はＢの欠落成分があるので、間引き補間回路305 は前フレームの情報を用いて欠落成分を推定する。次に、例として図11の（Ｂ）の網掛けしたＧ＃画素位置に対応するＲ成分を推定する方法を示す。まず、動き補償回路314 が、図11の（Ｂ）に示す網掛け位置が、図11の（Ａ）に示す前フレームでどの位置に対応していたのかを、フレーム間で共通に得られているＧ成分を用いて推定する。具体的には、公知の動きベクトル推定手法を用いるが、例えば、図11の（Ｂ）のＧ＃画素位置近傍の３×3 画素範囲Ｐに対し、図11の（Ａ）に太枠で示した探索範囲Ｑを設定し、該探索範囲Ｑ内の全ての３×３近傍（探索範囲Ｑの左上隅に網掛け範囲として例示）とのマッチングをとり、マッチング誤差が最小となる近傍位置を計算する。図11の（Ａ）のＧ＊画素位置を中心とする３×３近傍が、これにあたる。このようにして、縮小画像の全画素に対し、動き補償回路314 により前フレームでの対応位置が求められると、間引き補間回路305 は、前フレームの対応位置における現フレームの欠落色成分に対応するＲ成分（Ｒ＊）とＧ成分（Ｇ＊）の差分をとり、その差分に現フレームのＧ成分（Ｇ＃）を加えて現フレームの欠落色成分の値として、内部バッファ311 に記憶する。図11に示した例では、図11の（Ｂ）に示すＧ＃画素位置における欠落成分（Ｒ）の推定値は、図11の（Ａ）中の対応位置での画素値Ｒ＊，Ｇ＊を用いて、Ｒ＃＝Ｇ＃＋（Ｒ＊−Ｇ＊）として計算される。
【００４３】
間引き補間回路305 の処理が終了後のデジタルカメラ300 の動作は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） 間引きにより得る色成分の種類として、フレーム間で共通して読み出す色成分と特定フレームでしか読み出さない色成分を設けたことで、各フレームで間引き読み出しにより得られる色成分へのモアレの混入を抑えることができ、且つ共通する成分を使って前後フレームの対応関係を推定することで、欠落する色成分も正しく補間復元することができる。
（２） フレーム間で共通して読み出すＧ成分を用いて前後フレームの位置の対応関係を計算し、更にＧ成分と前フレームでしか読み出さないＲ又はＢ成分の相関関係（本実施の形態ではＲ成分とＧ成分の差分又はＢ成分とＧ成分の差分）を計算し、その関係と、現フレームで読み出したＧ成分から現フレームで読み出されていない色成分を推定することで、精度よく現フレームの欠落色成分を推定できる。
【００４４】
なお、この実施の形態の好ましい変形例として、以下のものを挙げることができる。例えば、４×４ブロック単位ではなく、２×２ブロック単位で考えると、図10の間引き読み出しは、図12の（Ａ），（Ｂ）に示した読み出しタイプＸとＹの組み合わせで実現できる。読み出しタイプＸは、太枠で示した２×２ブロックに対し、点線で示したＲの平均値、及び実線で示したＧの平均値を読み出す。読み出しタイプＹは、太枠で示した２×２ブロックに対し、点線で示したＢの平均値、及び実線で示したＧの平均値を読み出す。そして、ＧとＲを読み出すフレームでは、図12の（Ｃ）に示すように、読み出しタイプＸの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現でき、ＧとＢを読み出すフレームでは、図12の（Ｄ）に示すように、読み出しタイプＹの読み出しを、２×２ブロックを単位として市松状に繰り返すことで実現できる。
【００４５】
上述の実施の形態では、図12の（Ｃ），（Ｄ）の太枠で示したように、２×２ブロックを４個まとめた４×４ブロックにつき、フレーム毎に、ＲとＧ，又はＢとＧが得られていると考えていたが、２×２ブロック単位で考えると、このように、フレーム毎に市松状に、ＲとＧ，又はＢとＧが得られる。そこで、２×２ブロック単位で、上述の実施の形態と同様に動き検出を行って、特定２×２ブロックに対応する前後フレーム内の２×２ブロックを求める。これにより、例えば、図12の（Ｅ）に示すように、フレーム２ｎの＃の付いた画素位置に対し、フレーム２ｎ＋１の＊の付いた画素位置が対応することがわかる。そして、このような対応関係を、値の得られている全ての２×２ブロックで調べた後、対応関係に基づいて各ブロックで欠落する色成分を推定する。
【００４６】
推定方法は、上述の実施の形態と同様である。例えば、図12の（Ｅ）において、フレーム２ｎの＃の付いた画素位置で欠落する色成分Ｂ＃に対し、フレーム２ｎ＋１において対応する＊の付いた画素位置で得られているＧ＊，Ｂ＊，及び フレーム２ｎの＃の付いた画素位置で得られているＧ＃から、Ｂ＃＝（Ｂ＊−Ｃ＊）＋Ｇ＃と推定する。最後に、各２×２ブロックで、このように欠落色成分を推定した後、２×２ブロックでの３色成分値を縦２個、横２個の４個単位で平均化することで、縮小画像の１画素に対応する４×４ブロックの３色成分値を計算する。この方法では、対応関係を求めるブロックサイズが上述の実施の形態より細かくなっており、より精度よく欠落色成分を推定できる。
【００４７】
更に別の好ましい変形例は、Ｇ成分の間引きパターンをフレーム間で変えるもので、図13に示すように、フレーム２ｎで本実施の形態で示した間引きパターン（実線）を、フレーム２ｎ＋１ではそれとは異なる間引きパターン（点線）をとる。ここで、図13中の一点鎖線枠中の読み出し位置は、フレーム間で変わらないように構成する。そして、動き補償回路314 では、フレーム間の動き検出をフレーム間で変わらない読み出し位置のＧ信号を使って行う。そして、動いていないと判断された画素については、前フレームのＧ成分と現フレームのＧ成分を平均する。その結果、間引いたＧ成分に混入するモアレを低減させることができる。
【００４８】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。図14は、第４の実施の形態を示すブロック構成図で、図１に示した第１の実施の形態と同じ部分には同一符号を付して示し、その説明は省略し、異なっている部分についてのみ説明する。この第４の実施の形態は、図14に示すように、第１の実施の形態と同じく本発明をデジタルカメラに適用したものであるが、３板撮像系である点が大きな違いである。光学像は、色分解プリズムを介して色成分毎にＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cで撮像され、各撮像素子からの出力は同一のバッファ103 に入るようになっている。各撮像素子は、第１の実施の形態における単板カラー撮像素子102 と同一の間引き読み出し機能を備えており、駆動制御回路404 は３つの撮像素子それぞれの間引き読み出し駆動を独立に行うことができる。また、間引き補間回路405 には、新たに色相関計算回路414 ，フィルタリング回路413 が付加されている。その他は、３板撮像系であるため補間回路106 がない点を除いて、第１の実施の形態と同一である。
【００４９】
このように構成されている第４の実施の形態の動作は、通常撮影では第１の実施の形態と類似しているが、駆動制御回路404 が全画素読み出しモードでＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cを駆動すると、バッファ103 に３色カラー画像が直接得られ、信号処理回路107 が直接バッファ103 から３色カラー画像を読み出して画質改善処理を施す点が異なっている。一方、動画撮影時には、駆動制御回路404 が間引き読み出しモードでＲ撮像素子402a，Ｇ撮像素子402b，Ｂ撮像素子402cを駆動し、各撮像素子からバッファに得られた間引き読み出し出力を、間引き補間回路405 が補間処理して３色カラー画像を生成した後、信号処理回路107 に出力する。以下、駆動制御回路404 及び間引き補間回路405 の動作について説明するが、これまでの実施の形態と同じく、縮小率は１／４，読み出しレートは４×４画素ブロック毎に４画素の場合について説明する。
【００５０】
駆動制御回路404 による各撮像素子の間引き方は、全てのフレームで、３つの撮像素子それぞれに対し、図15の（Ａ）の網掛けで示したとおりである。特徴は、読み出し位置に撮像素子間で共通している部分といない部分があることである。撮像素子間で共通している読み出し位置を、図15の（Ｂ）に示した。駆動制御回路404 により、各撮像素子から網掛け部分の画素が水平方向に２画素づつ平均して読み出され、バッファ103 の撮像素子別に設けられた領域に記憶される。４×４画素ブロック当たり各ライン毎に４つの値が記憶される。
【００５１】
間引き読み出しが完了すると、間引き補間回路405 は、他の実施の形態と同じくバッファ103 内のデータの平均化処理を行う。その際、３つの素子の間引き読み出し結果を総合し、各撮像素子で間引き読み出しされていない位置での信号値を推定してから、平均化操作を行うことで、モアレ低減を可能にしている。図16に示した例に基づいて推定方法を説明する。
【００５２】
この図16において、黒い四角で囲んだ画素位置は、Ｒ撮像素子402aとＧ撮像素子402bに共通の間引き読み出し位置である。相関計算回路411 は、この共通の位置で得られているＲ，Ｇの信号Ｒ＊及びＧ＊から、各４×４ブロック内でのＲ成分とＧ成分の色相関を推定する。本実施の形態では、最も簡単なものとして、共通読み出し位置での平均値の差Ｄ＝Ａvg（Ｒ＊）−Ａvg（Ｇ＊）（Ａvgは平均を表す）を、色相関を表すパラメータとして計算する。水平方向の平均値は、すでにバッファ103 に得られているので、相関計算回路411 は２つの撮像素子からの共通読み出し位置に対応する出力を更に平均し差分をとるだけでよい。なお、色相関を表すパラメータとしては、この他にもＡvg（Ｒ＊）／Ａvg（Ｇ＊）など様々なものが考えられる。
【００５３】
この計算の後、間引き補間回路405 は、ある撮像素子では値が読み出されなかったが他の撮像素子では値が読み出されているような位置に対し、読み出されなかった値を推定する。図16に示した例では、Ｒ撮像素子402aで２画素平均値Ｒ＃が読み出されている位置に対し、その位置でのＧ撮像素子402bにおける２画素平均値Ｇ＃を、共通読み出し位置での色相関パラメータ計算結果を用いて、Ｒ＃−Ｄで推定する。このようにして、全ての撮像素子に共通しない読み出し位置での画素値を推定した後、間引き補間回路405 は各４×４ブロックでの平均値を計算し、内部バッファ411 に保存する。
【００５４】
間引き補間回路405 の処理が終了後のデジタルカメラ400 の作用は、第１の実施の形態と同一である。以上の説明から把握できるように、本実施の形態は、以下に述べるような効果を含んでいる。
（１） ３板撮像系の間引き処理において、色成分間の間引き読み出しパターンに共通する読み出し部分と共通しない読み出し部分を設け、共通読み出し部分から局所的な色成分間の相関関係（色相関パラメータ）を計算し、共通しない読み出し部分にこれを適用することで、各色成分において間引き読み出しされなかった位置の信号の推定が可能になり、推定値を含めて平均化処理を行うことで、３板撮像系においても間引き時に発生する輝度モアレを抑制することができる。
【００５５】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、縮小画像へのモアレの混入が抑制され、また欠落色成分の補間復元も容易に行うことが可能となる。
【図面の簡単な説明】
【図１】 本発明に係る撮像装置の第１の実施の形態を示すブロック構成図である。
【図２】 図１に示した第１の実施の形態における単板カラー撮像素子の読み出し機能を示す説明図である。
【図３】 第１の実施の形態における間引き読み出しパターンを示す説明図である。
【図４】 縮小された２板状態の画像を示す図及び２板カラー化処理の説明図である。
【図５】 第１の実施の形態の変形例、及び第２の実施の形態における４×４ブロックの間引き読み出しパターンを示す図である。
【図６】 本発明の第２の実施の形態を示すブロック構成図である。
【図７】 第２の実施の形態における間引き読み出し方法及びフィルタリング処理についての説明図である。
【図８】 第２の実施の形態におけるモアレ予測に用いるフィルタ、及び２板状態のＲ成分を得るときに読み出しタイプＩ及びIII を用いた場合の周波数特性を示す図である。
【図９】 本発明の第３の実施の形態を示すブロック構成図である。
【図10】 第３の実施の形態における間引き読み出しパターンを示す説明図である。
【図11】 第３の実施の形態における動き補償回路を用いた欠落色成分の推定手法を示す説明図である。
【図12】 第３の実施の形態における動き補償回路における処理の変形例を示す説明図である。
【図13】 第３の実施の形態における間引き読み出しパターンの変形例を示す図である。
【図14】 本発明の第４の実施の形態を示すブロック構成図である。
【図15】 第４の実施の形態における間引き読み出しパターンを示す説明図である。
【図16】 第４の実施の形態における色相関計算回路による画素値予測の説明図である。
【符号の説明】
100, 200, 300, 400 デジタルカメラ
101 光学系
102 単板カラー撮像素子
103 バッファ
104, 204, 304, 404 駆動制御回路
105, 205, 305, 405 間引き補償回路
106 補間回路
107 信号処理回路
108 記録回路
109 表示回路
110 制御回路
111, 211, 311, 411 内部バッファ
212 モアレ予測回路
213, 313, 413 フィルタリング回路
314 動き補償回路
402a Ｒ撮像素子
402b Ｇ撮像素子
403c Ｂ撮像素子
414 色相関計算回路
Claims (7)
- 異なる色からなる３種類のカラーフィルタを通過した光学像を撮像する撮像手段と、
前記撮像手段で撮像した撮像情報から間引き読み出しを行い前記撮像情報よりも画素数の少ない縮小画像を複数作成する間引き制御手段とを有し、
前記間引き制御手段は、前記縮小画像の各画素に対応して、第１の種類のカラーフィルタに対応する信号及び第２の種類のカラーフィルタに対応する信号を読み出す第１のパターン、又は、前記第１の種類のカラーフィルタに対応する信号及び第３の種類のカラーフィルタに対応する信号を読み出す第２のパターンのいずれかのパターンで間引き読み出しを行うことを特徴とする撮像装置。 - 前記撮像手段は原色ベイヤ配列のモザイクカラーフィルタを有するものであり、前記間引き制御手段は、前記縮小画像の各画素に対応して、前記第１のパターンではＧ及びＲのカラーフィルタに対応する信号を読み出し、前記第２のパターンではＧ及びＢのカラーフィルタに対応する信号を読み出し、且つ前記第１のパターンで読み出しがなされる画素と前記第２のパターンで読み出しがなされる画素の配置が互いに市松状パターンとなるように読み出し制御を行うことを特徴とする請求項１に係る撮像装置。
- 前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、各フレームで得られる前記縮小画像の全画素に共通して前記第１のパターンの読み出しを行うか、もしくは全画素に共通して前記第２のパターンの読み出しを行うか、のいずれかのパターンで読み出しを行い、且つ連続するフレーム間で読み出しパターンが異なるように読み出し制御を行うことを特徴とする請求項１に係る撮像装置。
- 前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、各フレームで得られる前記縮小画像において、前記第１のパターンで読み出しがなされる画素と前記第２のパターンで読み出しがなされる画素の配置が、連続するフレーム間で反転するように読み出し制御を行うことを特徴とする請求項２に係る撮像装置。
- 前記間引き制御手段が、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、前記第１の種類のカラーフィルタに対応する信号の読み出し位置が、フレーム間で一部共通し、一部異なるように読み出し制御を行うことを特徴とする請求項１〜４のいずれか１項に係る撮像装置。
- 前記撮像手段で撮像した光学像の動きを検出する動き検出手段を更に有し、
前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、フレーム間で読み出し位置が一部共通し、一部共通しないように読み出し制御を行い、前記動き検出手段はフレーム間で共通する読み出し位置の信号に基づいてフレーム間での光学像の動きを検出することを特徴とする請求項１〜５のいずれか１項に係る撮像装置。 - 前記間引き制御手段は、所定時間間隔で前記撮像素子からのフレームの間引き読み出しを繰り返し、その際、前記縮小画像の全画素に共通して読み出すカラーフィルタ種類の信号に基づいてフレーム内の局所的な周波数特性を測定し、この周波数特性測定結果に応じて次フレームの間引き読み出しパターンを決定するように構成されていることを特徴とする請求項１〜５のいずれか１項に係る撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002170791A JP4190805B2 (ja) | 2002-06-12 | 2002-06-12 | 撮像装置 |
| US10/457,134 US7181092B2 (en) | 2002-06-12 | 2003-06-09 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002170791A JP4190805B2 (ja) | 2002-06-12 | 2002-06-12 | 撮像装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007238692A Division JP4246244B2 (ja) | 2007-09-14 | 2007-09-14 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015772A JP2004015772A (ja) | 2004-01-15 |
| JP4190805B2 true JP4190805B2 (ja) | 2008-12-03 |
Family
ID=29727774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002170791A Expired - Fee Related JP4190805B2 (ja) | 2002-06-12 | 2002-06-12 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7181092B2 (ja) |
| JP (1) | JP4190805B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1814305B1 (en) * | 2000-10-06 | 2013-02-27 | Sony Corporation | Data storing/reproducing method |
| JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
| EP1530377A4 (en) * | 2002-06-28 | 2006-05-10 | Nokia Corp | INFORMATION TERMINAL |
| JP3768182B2 (ja) * | 2002-10-23 | 2006-04-19 | 三洋電機株式会社 | 電子カメラ |
| JP2004363853A (ja) * | 2003-06-04 | 2004-12-24 | Casio Comput Co Ltd | 画像信号のノイズ低減方法及びノイズ低減装置 |
| JP3960965B2 (ja) * | 2003-12-08 | 2007-08-15 | オリンパス株式会社 | 画像補間装置及び画像補間方法 |
| JP4573769B2 (ja) * | 2005-12-20 | 2010-11-04 | 富士通セミコンダクター株式会社 | 画像処理回路および画像処理方法 |
| JP2007235877A (ja) * | 2006-03-03 | 2007-09-13 | Fujifilm Corp | 多板式固体撮像素子モジュール及び撮像装置 |
| US8139123B2 (en) * | 2006-10-31 | 2012-03-20 | Sanyo Electric Co., Ltd. | Imaging device and video signal generating method employed in imaging device |
| JP5084430B2 (ja) | 2006-11-02 | 2012-11-28 | ペンタックスリコーイメージング株式会社 | 撮像ユニット |
| KR100929349B1 (ko) * | 2007-01-30 | 2009-12-03 | 삼성전자주식회사 | 유기물 컬러 필터를 포함하지 않는 컬러 픽셀, 이미지 센서, 및 컬러 보간방법 |
| JP5188080B2 (ja) * | 2007-03-06 | 2013-04-24 | キヤノン株式会社 | 撮像装置、撮像装置の駆動方法、及び読み出し装置 |
| US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
| US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
| JP5256711B2 (ja) * | 2007-11-28 | 2013-08-07 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP5045421B2 (ja) * | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
| JP5625298B2 (ja) * | 2009-09-28 | 2014-11-19 | ソニー株式会社 | 撮像装置 |
| JP4547462B1 (ja) * | 2009-11-16 | 2010-09-22 | アキュートロジック株式会社 | 撮像素子、撮像素子の駆動装置、撮像素子の駆動方法、画像処理装置、プログラム、及び、撮像装置 |
| JP2012060434A (ja) * | 2010-09-09 | 2012-03-22 | Fuji Xerox Co Ltd | 画素補間装置、画像読取装置、及び画素補間プログラム |
| JP2012129927A (ja) * | 2010-12-17 | 2012-07-05 | Nikon Corp | 撮像装置 |
| JP2015216619A (ja) * | 2014-04-25 | 2015-12-03 | パナソニックＩｐマネジメント株式会社 | 撮像システム、撮像装置、撮像方法および符号化方法 |
| JP6579934B2 (ja) * | 2015-12-09 | 2019-09-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
| JPH09247689A (ja) | 1996-03-11 | 1997-09-19 | Olympus Optical Co Ltd | カラー撮像装置 |
| US6289139B1 (en) * | 1996-05-03 | 2001-09-11 | Omnivision Technologies, Inc. | Single chip color CMOS image sensor with two or more line reading structure |
| US6731397B1 (en) * | 1999-05-21 | 2004-05-04 | Foveon, Inc. | Method for storing and retrieving digital image data from an imaging array |
| US6847396B1 (en) * | 2000-04-26 | 2005-01-25 | Sunplus Technology Co., Ltd. | Interpolation method for producing full color images in using a single-chip color sensor |
| JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
| JP3965460B2 (ja) * | 2002-06-14 | 2007-08-29 | 有限会社ビーテック | 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法 |
-
2002
- 2002-06-12 JP JP2002170791A patent/JP4190805B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-09 US US10/457,134 patent/US7181092B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030231251A1 (en) | 2003-12-18 |
| US7181092B2 (en) | 2007-02-20 |
| JP2004015772A (ja) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4190805B2 (ja) | 撮像装置 | |
| US10462403B2 (en) | Electric camera | |
| JP4142340B2 (ja) | 撮像装置 | |
| JP4378804B2 (ja) | 撮像装置 | |
| US8139123B2 (en) | Imaging device and video signal generating method employed in imaging device | |
| US20060158537A1 (en) | Imaging apparatus | |
| JPH0759098A (ja) | 輝度階調を用いたフルカラーイメージ適応的補間装置 | |
| US20120224766A1 (en) | Image processing apparatus, image processing method, and program | |
| JP5096645B1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
| US20130038758A1 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
| JP2004221839A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4246244B2 (ja) | 撮像装置 | |
| JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP3967500B2 (ja) | 固体撮像装置および信号読出し方法 | |
| JP2006262382A (ja) | 画像処理装置 | |
| JP3767367B2 (ja) | 撮像装置 | |
| JP4385578B2 (ja) | 撮像装置 | |
| JP4412446B2 (ja) | 解像度変換方法および解像度変換装置 | |
| JP5167229B2 (ja) | 画像撮像装置 | |
| JP2004194248A (ja) | 撮像素子及び撮像装置 | |
| JPH0795595A (ja) | カラー撮像装置 | |
| JPH11298783A (ja) | 撮像装置、及び撮像方法 | |
| JP3666563B2 (ja) | 撮像装置 | |
| JP2000295531A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080917 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |