JP3771054B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3771054B2 JP3771054B2 JP18585198A JP18585198A JP3771054B2 JP 3771054 B2 JP3771054 B2 JP 3771054B2 JP 18585198 A JP18585198 A JP 18585198A JP 18585198 A JP18585198 A JP 18585198A JP 3771054 B2 JP3771054 B2 JP 3771054B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- interpolation filter
- interpolation
- gradient direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- 238000000926 separation method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims 2
- 235000003392 Curcuma domestica Nutrition 0.000 claims 1
- 244000008991 Curcuma longa Species 0.000 claims 1
- 235000003373 curcuma longa Nutrition 0.000 claims 1
- 235000013976 turmeric Nutrition 0.000 claims 1
- 230000015654 memory Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000004040 coloring Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばデジタルカメラやデジタルスキャナ等のように複数の色分解フィルタを配列した撮像素子の出力する信号から通常のカラーデジタル画像信号に変換する画像処置装置及び画像処理方法、特に画質劣化の抑制に関するものである。
【０００２】
【従来の技術】
１個の撮像デバイスから３原色信号を得るために、２次元に配列した画素おのおの色フィルタを重ね合わせ、色情報を輝度情報に多重された形式で撮像デバイスから取り出す単板式ＣＣＤがデジタルカメラやデジタルスキャナに使用されている。この単板式ＣＣＤで色再現性の向上を図る処理装置が、例えば特開平２−１２８５９１号公報に示されている。特開平２−１２８５９１号公報に示されている処理装置は、ＣＣＤに４種のカラーフィルタを設け、ＣＣＤから出力する各色フィルタ毎の信号を補間して、各々同時化されたマゼンタＭｒ，シアンＣｒ，イェローＹｒ，グリーンＧｒの色信号を得た後、各色信号を行列演算してＲ，Ｇ，Ｂの３信号を生成するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、各色フィルタの配列によっては補間によりモアレやエッジの色付きなどといった画質劣化が生じる。例えば、ＲＧＢの３種類の色分解フィルタをもつ単板式ＣＣＤの場合、３×３画素が図２に示すように、ある点を中心にして（Ｇ，Ｒ，Ｇ），（Ｂ，Ｇ，Ｂ），（Ｇ，Ｒ，Ｇ）と配列されている場合、中心の画素位置のＲ，Ｇ，Ｂ値を求めるためには、従来の線形補間ではそれぞれ図５に示すように９画素に重み付けをしたＲ，Ｇ，Ｂの補間フィルタを用い、その和を求めて中心の位置の色信号を得ている。例えば図２に示す場合は上下のＲ画素の平均値を注目画素のＲ値としている。
【０００４】
このような補間フィルタを使用すると、撮像面上で図７（ａ），（ｂ）に示すように、２画素周期の白黒の横縞の像を撮像した場合、像が白黒であるから色フィルタの種類によらず各画素から、図に示すように、白か黒を示す「０」と「２５５」数値を出力するため、補間結果の（Ｒ，Ｇ，Ｂ）値は、図７（ａ）の場合（２５５，０，０）となり、（ｂ）の場合は（０，２５５，２５５）となる。すなわち、撮像面上では白／黒の像が補間処理された画像信号では赤／シアンになってしまう。同様なことが他の配置についても起こり、像の変化が激しいと実際の色とは異なる色をもつＲＧＢ画像データが得られてしまい、モアレや色付きの原因になってしまう。
【０００５】
この発明はかかる短所を改善し、単板式ＣＣＤで得られるデータからＲＧＢなどの画像データに変換するときに、モアレやエッジ色付きなどが生じることを防ぎ、画質劣化を抑制することができる画像処理装置及び画像処理方法を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
この発明に係る画像処理装置は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、撮像信号から画像の輝度勾配方向を推定する手段と、上記推定された輝度勾配方向により変換行列の特性を決定する手段と、上記補間フィルタ演算手段から出力する信号と、上記輝度勾配方向によって決定された特性の変換行列とにより演算を行なう変換手段とを有することを特徴とする。この輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させると良い。
【０００７】
この発明に係る他の画像処理装置は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、撮像信号から画像の輝度勾配方向を推定する手段と、上記推定された輝度勾配方向により修正して上記補間フィルタ演算手段から出力された信号と、変換行列とにより演算を行なう変換手段とを有することを特徴とする。
【０００８】
この発明に係る画像処理方法は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なうとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号に対して輝度勾配方向により決定された特性の変換行列とにより演算を行なうことを特徴とする。この輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させると良い。
【０００９】
この発明に係る他の画像処理方法は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことを特徴とする。
【００１２】
【発明の実施の形態】
この発明の画像入力装置は、２×２画素周期のＲＧＢ型単板ＣＣＤを有する撮像手段と信号処理部を有する。信号処理部はＡ／Ｄ変換器とラインバッファと行／列カウンタとフィルタ係数選択部及び３組の係数メモリと３組の補間フィルタを有する。Ａ／Ｄ変換器は撮像手段で撮像した画像の画素毎の画像信号をＡ／Ｄ変換する。ラインバッファは撮像手段からスキャンライン順にシリアルに転送されてくる画像データから縦横３×３画素分のデータを取り出す。行／列カウンタは撮像手段が出力するデータ中の現在の注目画素位置の行と列をカウントし、行／列信号を出力して色フィルタの配列パターンを示す。フィルタ係数選択部はラインバッファから得られる３×３画素分の画像データに対して所定の演算を行ない、所定の閾値と比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号を出力する。係数メモリには２画素周期の縦縞用補間フィルタの補間用フィルタ係数と、線形補間用の補間用フィルタ係数があらかじめ記録され、フィルタ係数選択部からの係数選択信号と行／列カウンタからの行／列信号によりあらかじめ記録してある補間用フィルタ係数の中の１組を出力する。補間フィルタはラインバッファから入力する画像データを係数メモリから入力する補間用フィルタ係数を使って積和演算を行いＲＧＢ信号に変換する。
【００１３】
撮像手段から画素毎の画像信号が入力するとＡ／Ｄ変換器でＡ／Ｄ変換したのちラインバッファに送る。ラインバッファは送られた画像データから縦横３×３画素分のデータを取り出してフィルタ係数選択部と補間フィルタに出力する。一方、行／列カウンタは撮像手段が出力するデータ中の現在の注目画素位置の行と列をカウントし、「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を係数メモリに出力して色フィルタの配列パターンを示す。フィルタ係数選択部はラインバッファから得られた３×３画素分の画像データに対してあらかじめ定めた演算を行ない、所定の閾値と比較して、輝度勾配方向に応じた縦，横，通常の３種類の補間フィルタ係数を選択する信号を各係数メモリに出力する。各係数メモリはフィルタ係数選択部からの係数選択信号と行／列カウンタからの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の一組をそれぞれ補間フィルタに出力する。補間フィルタはラインバッファから入力する画像データをフィルタ係数メモリから入力する補間用フィルタ係数を使って積和演算を行いフィルタを処理しＲ，Ｇ，Ｂの画像信号を出力する。このようにして、輝度勾配の方向を調べ、方向に応じた補間用フィルタ係数を採用し、モアレや色付きなどの画質劣化を抑制する。
【００１４】
【実施例】
図１はこの発明の一実施例の画像入力装置の構成を示すブロック図である。図に示すように、画像入力装置１は、２×２画素周期のＲＧＢ型単板ＣＣＤを有する撮像手段２と信号処理部３を有する。撮像手段２のＣＣＤは３×３画素周期の色フィルタ配列を有する。この色フィルタは、例えば図２に示すように、３×３画素のある点を中心にして（Ｇ，Ｒ，Ｇ），（Ｂ，Ｇ，Ｂ），（Ｇ，Ｒ，Ｇ）の画素配置を有する。この３×３画素の範囲内のＲＧＢの色フィルタ配列として図３に示す２×２の行／列信号で定まる４種類を有する。
【００１５】
信号処理部３はＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６とフィルタ係数選択部７及び３組の係数メモリ８ａ，８ｂ，８ｃと補間フィルタ９ａ，９ｂ，９ｃを有する。Ａ／Ｄ変換器４は撮像手段２で撮像した画像の画素毎の画像信号を入力して読出クロックに同期したタイミングでＡ／Ｄ変換する。ラインバッファ５は、例えば図４に示すように、ＦＩＦＯメモリを使った１ライン遅延メモリ５１ａ，５１ｂと、３×３画素の各行に対応して直列に接続された３組のラッチ５２ａ，５２ｂ，５２ｃと３組のラッチ５３ａ，５３ｂ，５３ｃと３組のラッチ５４ａ，５４ｂ，５４ｃからなり、撮像手段２からスキャンライン順にシリアルに転送されてくる画像データから縦横３×３画素分のデータを取り出す。行／列カウンタ６は撮像手段２のＣＣＤが出力するデータ中の現在の注目画素位置の行と列をカウントし、図３に示すように、「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を出力して色フィルタの配列パターンを示す。フィルタ係数選択部７はラインバッファ５から得られる３×３画素分の画像データに対して所定の演算を行ない、所定の閾値と比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号（０，１，２）を出力する。係数メモリ８ａ，８ｂ，８ｃには２画素周期の縦縞用補間フィルタの補間用フィルタ係数と、図５に示す線形補間用の補間用フィルタ係数があらかじめ記録され、フィルタ係数選択部７からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の１組を出力する。補間フィルタ９ａ，９ｂ，９ｃは、ラインバッファ５から入力する画像データを係数メモリ８ａ〜８ｃから入力する補間用フィルタ係数を使って積和演算を行いＲＧＢ信号に変換する。
【００１６】
上記のように構成された画像入力装置１の動作を説明するにあたり、まず、入力した各画素の画像データ信号をＲ，Ｇ，Ｂ信号に変換する補間用フィルタ係数について説明する。
【００１７】
図２に示す色フィルタの配列についての補間フィルタとしては、図６に示す構成を考える。この補間フィルタの特徴は、Ｒ画素にかかる係数は図５に示す従来の線形補間用の補間フィルタと同じ「１／２」であり、Ｂ画素にかかる係数も従来の補間フィルタと同じ「０」と「１／２」であり、Ｇ画素にかかる係数は従来の補間フィルタと異なり「１／２」と「−１／８」と「１／８」であり、Ｇ画素の係数の総和は「０」である。したがって３×３画素領域内の４つのＧ画像が同じ値を持っていれば、図５に示した従来の補間フィルタによる補間と全く同じ結果になる。さらに、このフィルタ係数には、横方向の３画素分の係数の和は上から順に「１／４」，「１／２」，「１／４」である。この特徴により図７（ａ），（ｂ）に示すように、２画素周期の白黒の横縞の像を撮像した場合、補間結果の（Ｒ，Ｇ，Ｂ）値は、（ａ）の場合と（ｂ）の場合で同じ値（１２８，１２８，１２８）になる。すなわち、このような補間フィルタを使えば、平坦な画像に対しては従来の補間と同じ値を持ち、２画素周期の白黒の横縞に対してはモアレがでないフラットな出力をすることができる。また、上記と同じ特徴を有する図８に示す係数を有する補間フィルタを使用しても、平坦な画像に対しての補間特性を保ったまま、２画素周期の縦縞に対してフラットな出力を得ることができる。
【００１８】
このような特徴を有する補間フィルタの補間フィルタ係数は次のようにして得ることができる。ここで３×３画素の補間フィルタの補間フィルタ係数が上下左右で対象とする制約をつけると、補間フィルタ係数の自由度は図９に示すように（ａ，ｂ，ｃ，ｄ）の４つである。これらの補間フィルタ係数には平坦な画像に対応するためＲＧＢごとの制約がある。すなわち、Ｒ信号を出力する補間フィルタは、Ｒフィルタ位置の係数の和が１となり、Ｇ，Ｂフィルタ位置の係数の和はそれぞれ０とはならなければならない。このため２ｃ＝１と（ａ＋４ｄ）＝０と２ｂ＝０の関係を満たさなければならない。さらに、２画素周期の横縞を透過させないために、上下行の係数の和と中段の係数の和を等しくすると、（２ｃ＋４ｄ）＝（２ｂ＋ａ）となる。この関係からＲ信号を出力する補間フィルタの補間フィルタ係数は、（ａ，ｂ，ｃ，ｄ）＝（１／２，０，１／２，−１／８）となる。Ｇ，Ｂ信号を出力する補間フィルタの補間フィルタ係数も同様にして得ることができ、図１０及び図１１に示す２画素周期の縦縞用補間用フィルタ係数を得ることができる。この図１０及び図１１に示す２画素周期の縦縞用補間フィルタ係数と図５に示す線形補間用の補間用フィルタ係数をあらかじめ係数メモリ８ａ〜８ｃに記憶しておく。
【００１９】
しかしながら３×３画素の補間フィルタでは、上記のように４つの自由度に対して、制約条件はＲＧＢそれぞれの和について３つである。残りの自由度は１つなので、縦または横方向の縞に対しての要求のどちらかしか満たすことはできない。３×３画素より大きい補間フィルタを使用すれば自由度は増すが、ＲＧＢそれぞれの制約条件があるため自由な周波数特性を作ることはできず、遠くの画素の影響が大きければそれだけ補間結果がぼけることになる。また、マスクが大きくなればバッファメモリ、加算器など必要なハードウエアも増えてしまう。このため輝度勾配の方向を調べ、方向によって上記のような補間方法のいずれかを採用することにより、モアレ色付きなどの画質劣化を抑制する。
【００２０】
この輝度勾配の方向を推定するため、注目画素の周囲３×３画素の画像データを図１２に示すようにＶ（ｘ，ｙ）とする。ここでｘは（ｉ−１），（ｉ），（ｉ＋１）、ｙは（ｊ−１），（ｊ），（ｊ＋１）である。この画像デ−タＶ（ｘ，ｙ）に対して、注目画素ｖ（ｉ，ｊ）の左側の輝度変化を表す量ｄｌと、注目画素ｖ（ｉ，ｊ）の右側と上側と下側の輝度変化をそれぞれ表す量ｄｒ，ｄｕ，ｄｄを下記（１）式で計算する。
【００２１】
【数１】
【００２２】
次にｄｌ，ｄｒ，ｄｕ，ｄｄの最大値を探す。最大値がｄｌまたはｄｒである場合、注目画素ｖ（ｉ，ｊ）付近では横方向の輝度変化が大きいと判断できるので、図８に示す補間用フィルタ係数を使う。逆に最大値がｄｕまたはｄｄである場合は、図６に示す補間用フィルタ係数を使う。このような方法により、縦縞または横縞の対象物を撮影した場合でもモアレや色付きのないＲＧＢ画像を得ることができる。また、斜め方向の縞を撮影した場合、縦横ともに変化が大きくなる。その場合、縦／横どちらのフィルタをつかっても多少モアレが生る。また、わずかな雑音などにより図６，図８の縦横用フィルタ係数の処理結果が混在することで画質劣化が生じる。これを避けるために下記（２）式を演算する。
【００２３】
【数２】
【００２４】
上記（２）式においてｍａｘ（ｄｌ，ｄｒ）はｄｌ，ｄｒの最大値を示す。フィルタ係数選択部７は、この（１），（２）の演算を行ない、演算したｄｉｒを所定の閾値ｔｒと比較し、ｄｉｒ＞ｔｒの場合は縦用、ｄｉｒ＜−ｔｒの場合は横用、それ以外は図５に示す線形補間用の補間用フィルタ係数を選択して選択信号（０，１，２）を出力する。
【００２５】
上記のように構成された画像入力装置１において、撮像手段２から入力した画像の画素毎の画像信号はＡ／Ｄ変換器４でＡ／Ｄ変換したのちラインバッファ５に送られる。ラインバッファ５は送られた画像データから縦横３×３画素分のデータを取り出してフィルタ係数選択部７と補間フィルタ９ａ〜９ｃに出力する。一方、行／列カウンタ６は撮像手段２のＣＣＤが出力するデータ中の現在の注目画素位置の行と列をカウントし、図３に示すように「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を係数メモリ８ａ〜８ｃに出力して色フィルタの配列パターンを示す。フィルタ係数選択部７はラインバッファ５から得られた３×３画素分の画像データに対して前記（１）、（２）式の演算を行ない、所定の閾値ｔｒと比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号（０，１，２）を係数メモリ８ａ〜８ｃに出力する。係数メモリ８ａ〜８ｃはフィルタ係数選択部７からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の一組を補間フィルタ９ａ〜９ｃに出力する。補間フィルタ９ａ〜９ｃはラインバッファ５から入力する画像データをフィルタ係数メモリ８ａ〜８ｃからの補間用フィルタ係数を使って積和演算を行いフィルタを処理しＲ，Ｇ，Ｂの画像信号を出力する。
【００２６】
このようにして、輝度勾配の方向を調べ、方向によって上記のような補間方法のいずれかを採用することにより、モアレや色付きなどの画質劣化を抑制することができる。また、例えば撮影対象が一様なシアン（Ｒ＝Ｇ＝２５５，Ｂ＝０）の場合、入力データは図１３に示すようになり、輝度勾配の方向を推定しない場合は、勾配が無いにもかかわらず縦と判断されるが、輝度勾配の方向を推定して補間用フィルタ係数を選択することにより、補間フィルタ９ａ〜９ｃは輝度勾配のない入力に対しては縦でも横でも同じ出力をするので、画像の輝度勾配に適応した補間処理を行なうことができる。
【００２７】
上記実施例は画像の輝度勾配によって補間用フィルタ係数を切り替える場合について説明したが、画像の輝度勾配の方向によってＲＧＢ変換行列を変えるようにしても上記実施例と同様にが知るの劣化を抑制することができる。
【００２８】
この画像の輝度勾配の方向によってＲＧＢ変換行列を変える実施例の構成を図１４に示す。図に示すように、画像入力装置１の信号処理部３にはＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６と変換係数選択部１１と変換係数メモリ１２と補間フィルタ１３ａ〜１３ｄ及びＲＧＢ変換部１４を有する。変換係数選択部１１は前記第１の実施例のフィルタ係数選択部７と同様な演算を行い、縦，横，通常の３種類の係数を選択する信号（０，１，２）を出力する。変換係数メモリ１２には、図１５に示すように、行／列信号毎に横勾配用の行列と縦勾配用の行列の勾配方向係数があらかじめ記憶され、変換係数選択部１１からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい勾配方向係数の中の一組を選択して出力する。補間フィルタ１３ａには、例えば図２に示す３×３画素の配置に対して図１６に示すＣｈ０の補間用フィルタ係数を有し、補間フィルタ１３ｂはＣｈ１の補間用フィルタ係数を有し、補間フィルタ１３ｃにはＣｈ２の補間用フィルタ係数、補間フィルタ１３ｄにはＣｈ３の補間用フィルタ係数を有し、ラインバッファ５から入力した画像データに対して各補間用フィルタ係数を使用して演算処理する。この補間フィルタ１３ａ〜１３ｄの各補間用フィルタ係数は「０」か「１」なので、演算処理を下記（３）式により選択と加算だけで実現することができる。したがって補間フィルタ１３ａ〜１３ｄを前記第１の実施例と比べて簡単な回路構成で形成することができる。
【００２９】
【数３】
【００３０】
ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄで得た結果Ｃｈ０〜Ｃｈ３と変換係数メモリ１２からの勾配方向係数により下記（４）式に示す行列演算してＲＧＢ信号を出力する。
【００３１】
【数４】
【００３２】
このＲＧＢ変換部１４でＲＧＢ信号を求めるとき、変換係数メモリ１２から下記（５）式に示す横勾配用行列の勾配方向係数と（６）式に示す縦勾配用行列の勾配方向係数のいずれかが選択された場合、図１２に示す注目画素Ｖ（ｘ，ｙ）のＲＧＢ信号は下記（７）式又は（８）式で得られる。
【００３３】
【数５】
【００３４】
この結果、前記図６，図８に示した補間用フィルタ係数を使用した場合と同じ結果を得ることができる。また、このＲＧＢ変換と同時に色補正処理を行ったり、色差信号を生成することもできる。その場合、乗算処理が必要になるが、行列演算処理を簡単な回路構成で行なうことができる。
【００３５】
次に、輝度勾配の方向によりＲＧＢ変換行列を連続的に変化させる第３の実施例について説明する。この実施例の画像入力装置１は、図１７のブロック図に示すように、信号処理部３にＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６と勾配係数フィルタ１５と変換係数決定部１６と補間フィルタ１３ａ〜１３ｄ及びＲＧＢ変換部１４を有する。勾配係数フィルタ１５は第１の実施例のフィルタ係数選択部７と同様に（１），（２）式の計算を行い、その演算結果ｄｉｒを下記（９）式に示すように、所定の閾値ｔｒでクリッピングして正規化したｄｉｒを出力する。
【００３６】
【数６】
【００３７】
変換係数決定部１６は、例えば図１５に示す勾配方向係数を記憶しておき、６行／列カウンタ６からの入力にしたがい勾配方向係数を選択し、選択した勾配方向係数に変換係数フィルタ１５から入力したｄｉｒの値を乗じてＲＧＢ変換部１４に出力する。ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３と変換係数決定部１６から出力される勾配方向係数にｄｉｒの値を乗算した結果から行列演算してＲＧＢ信号を出力する。このように輝度勾配の方向によりＲＧＢ変換行列を連続的に変化させることにより、斜め方向の輝度勾配などによる画質劣化を低減することができる。すなわち、（５）式と（６）式を比べると、２組の勾配方向係数で係数ｒ０，ｒ３，ｂ０，ｂ３の符号が反転している。また、通常の線形補間はこれらを全て「０」とした場合に対応する。そこで、縦から横へ「１」から「−１」まで変化する数値ｄｉｒを出力し、係数ｒ０，ｒ３，ｂ０，ｂ３にｄｉｒを乗算することで縦縞用と横縞用及びその他用の処理を連続的に変化させるができる。したがって斜め方向の縞などで縦用と横用係数が混在することによる画質劣化を抑えることができる。
【００３８】
上記第２，第３の実施例は画像の輝度勾配の方向によってＲＧＢ変換行列を変える場合について説明したが、ＲＧＢ変換行列の係数は一定にしておき、補間フィルタ１３ａ〜１３ｄから出力するＣｈ０〜Ｃｈ３のデータを輝度勾配の方向により修正するようにしても良い。この場合の実施例の画像入力装置１の構成を図１８に示す。図１８に示すように、信号処理部３の勾配係数フィルタ１５で演算した結果をＲＢＧ変換部１４に送る。変換係数決定部１６は、例えば図１５に示す勾配方向係数を記憶しておき、変換係数決定部１６は行／列カウンタ６から入力する行／列信号により勾配方向係数を選択してＲＧＢ変換部１４に送る。ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３データと勾配係数フィルタ１５から送られた演算結果ｄｉｒ及び変換係数決定部１６から送られた勾配方向係数により下記（１０）式でＲＧＢ信号を演算して出力する。
【００３９】
【数７】
【００４０】
このように、補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３データを輝度勾配の方向で修正することにより、簡単な回路構成で画質の劣化を抑制することができる。
【００４１】
上記各実施例は画素ごとのＲＧＢ信号を出力する場合について説明したが、補間用フィルタ係数又はＲＧＢ変換係数を変更することにより、輝度信号と色差信号を得ることもできる。さらに、補間用フィルタ係数又はＲＧＢ変換係数を変更することにより色分解フィルタの特性を補正する色補正処理を組み込むこともできる。
【００４２】
上記各実施例は撮像手段２から入力した画像データを信号処理部３で所定の演算処理をして各画素毎のＲＧＢ信号を出力する場合について説明したが、図１９のブロック図に示すように、信号処理部３の各演算処理をプログラムとしてハードディスク装置２３に格納しておき、ＣＰＵ２１でハードディスク装置２３に格納した各演算処理プログラムにより演算処理を実行して画素毎のＲＧＢ信号を得るようにしても良い。
【００４３】
この場合、例えばデジタルカメラ２８で撮像した画像データをＡ／Ｄ変換してから通信装置２７を介して入力する。ＣＰＵ２１は入力した画像データをハードディスク装置２３に格納された演算処理プログラムにより、上記各実施例と同様に演算処理して画素毎のＲＧＢ信号を算出し、入力した画像のカラーデジタル画像信号を得る。このカラーデジタル画像信号により入力した画像のカラー画像をディスプレイ２４やプリンタ２５に出力して表示したり印刷する。このようにハードディスク装置２３に格納した各演算処理プログラムによりＣＰＵ２１で演算処理を実行して画素毎のＲＧＢ信号を得ることにより、フロッピーディスクに記憶した画像データをフロッピーディスク装置２６で読み取って再現することもできる。
【００４４】
【発明の効果】
この発明は以上説明したように、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理するとともに撮像信号から画像の輝度勾配方向を推定し、推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号と、輝度勾配方向によって決定された特性の変換行列とにより演算を行なうから、画像の勾配に適応した変換処理を行うことができ、モアレ、色つきを低減することができる。さらに、補間処理は加算だけで済むから、小規模な演算回路で補間処理を行なうことができる。
【００４５】
また、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうから、画像の勾配に適応した変換処理を行うことができ、モアレ、色つきを低減することができる。さらに、補間処理は加算だけで済むから、小規模な演算回路で補間処理を行なうことができる。
【００４６】
また、輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させることにより、斜め方向の勾配などによる画質劣化を低減することができる。
【００４７】
また、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことにより、小規模な演算回路で任意の色変換行列に対応することができる。
【図面の簡単な説明】
【図１】この発明の実施例の構成を示すブロック図である。
【図２】３×３画素の配置図である。
【図３】色フィルタの配列パターンを示す説明図である。
【図４】ラインバッファの構成を示すブロック図である。
【図５】線形補間用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図６】横縞用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図７】横縞の入力データを示す３×３画素の配置図である。
【図８】他の横縞用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図９】３×３画素の補間用フィルタ係数の自由度を示す説明図である。
【図１０】横縞用の補間用フィルタ係数を示す説明図である。
【図１１】他の横縞用の補間用フィルタ係数を示す説明図である。
【図１２】注目画素の周囲３×３画素のデータを示す説明図である。
【図１３】シアンの入力データを示す説明図である。
【図１４】第２の実施例の構成を示すブロック図である。
【図１５】横勾配用の行列と縦勾配用の行列の勾配方向係数を示す説明図である。
【図１６】第２の実施例の補間用フィルタ係数を示す説明図である。
【図１７】第３の実施例の構成を示すブロック図である。
【図１８】第４の実施例の構成を示すブロック図である。
【図１９】第５の実施例の構成を示すブロック図である。
【符号の説明】
１ 画像入力装置
２ 撮像手段
３ 信号処理部
４ Ａ／Ｄ変換器
５ ラインバッファ
６ 行／列カウンタ
７ フィルタ係数選択部
８ 係数メモリ
９ 補間フィルタ
１１ 変換係数選択部
１２ 変換係数メモリ
１３ 補間フィルタ
１４ ＲＧＢ変換部
１５ 勾配係数フィルタ
１６ 変換係数決定部
【発明の属する技術分野】
この発明は、例えばデジタルカメラやデジタルスキャナ等のように複数の色分解フィルタを配列した撮像素子の出力する信号から通常のカラーデジタル画像信号に変換する画像処置装置及び画像処理方法、特に画質劣化の抑制に関するものである。
【０００２】
【従来の技術】
１個の撮像デバイスから３原色信号を得るために、２次元に配列した画素おのおの色フィルタを重ね合わせ、色情報を輝度情報に多重された形式で撮像デバイスから取り出す単板式ＣＣＤがデジタルカメラやデジタルスキャナに使用されている。この単板式ＣＣＤで色再現性の向上を図る処理装置が、例えば特開平２−１２８５９１号公報に示されている。特開平２−１２８５９１号公報に示されている処理装置は、ＣＣＤに４種のカラーフィルタを設け、ＣＣＤから出力する各色フィルタ毎の信号を補間して、各々同時化されたマゼンタＭｒ，シアンＣｒ，イェローＹｒ，グリーンＧｒの色信号を得た後、各色信号を行列演算してＲ，Ｇ，Ｂの３信号を生成するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、各色フィルタの配列によっては補間によりモアレやエッジの色付きなどといった画質劣化が生じる。例えば、ＲＧＢの３種類の色分解フィルタをもつ単板式ＣＣＤの場合、３×３画素が図２に示すように、ある点を中心にして（Ｇ，Ｒ，Ｇ），（Ｂ，Ｇ，Ｂ），（Ｇ，Ｒ，Ｇ）と配列されている場合、中心の画素位置のＲ，Ｇ，Ｂ値を求めるためには、従来の線形補間ではそれぞれ図５に示すように９画素に重み付けをしたＲ，Ｇ，Ｂの補間フィルタを用い、その和を求めて中心の位置の色信号を得ている。例えば図２に示す場合は上下のＲ画素の平均値を注目画素のＲ値としている。
【０００４】
このような補間フィルタを使用すると、撮像面上で図７（ａ），（ｂ）に示すように、２画素周期の白黒の横縞の像を撮像した場合、像が白黒であるから色フィルタの種類によらず各画素から、図に示すように、白か黒を示す「０」と「２５５」数値を出力するため、補間結果の（Ｒ，Ｇ，Ｂ）値は、図７（ａ）の場合（２５５，０，０）となり、（ｂ）の場合は（０，２５５，２５５）となる。すなわち、撮像面上では白／黒の像が補間処理された画像信号では赤／シアンになってしまう。同様なことが他の配置についても起こり、像の変化が激しいと実際の色とは異なる色をもつＲＧＢ画像データが得られてしまい、モアレや色付きの原因になってしまう。
【０００５】
この発明はかかる短所を改善し、単板式ＣＣＤで得られるデータからＲＧＢなどの画像データに変換するときに、モアレやエッジ色付きなどが生じることを防ぎ、画質劣化を抑制することができる画像処理装置及び画像処理方法を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
この発明に係る画像処理装置は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、撮像信号から画像の輝度勾配方向を推定する手段と、上記推定された輝度勾配方向により変換行列の特性を決定する手段と、上記補間フィルタ演算手段から出力する信号と、上記輝度勾配方向によって決定された特性の変換行列とにより演算を行なう変換手段とを有することを特徴とする。この輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させると良い。
【０００７】
この発明に係る他の画像処理装置は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、撮像信号から画像の輝度勾配方向を推定する手段と、上記推定された輝度勾配方向により修正して上記補間フィルタ演算手段から出力された信号と、変換行列とにより演算を行なう変換手段とを有することを特徴とする。
【０００８】
この発明に係る画像処理方法は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なうとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号に対して輝度勾配方向により決定された特性の変換行列とにより演算を行なうことを特徴とする。この輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させると良い。
【０００９】
この発明に係る他の画像処理方法は、複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことを特徴とする。
【００１２】
【発明の実施の形態】
この発明の画像入力装置は、２×２画素周期のＲＧＢ型単板ＣＣＤを有する撮像手段と信号処理部を有する。信号処理部はＡ／Ｄ変換器とラインバッファと行／列カウンタとフィルタ係数選択部及び３組の係数メモリと３組の補間フィルタを有する。Ａ／Ｄ変換器は撮像手段で撮像した画像の画素毎の画像信号をＡ／Ｄ変換する。ラインバッファは撮像手段からスキャンライン順にシリアルに転送されてくる画像データから縦横３×３画素分のデータを取り出す。行／列カウンタは撮像手段が出力するデータ中の現在の注目画素位置の行と列をカウントし、行／列信号を出力して色フィルタの配列パターンを示す。フィルタ係数選択部はラインバッファから得られる３×３画素分の画像データに対して所定の演算を行ない、所定の閾値と比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号を出力する。係数メモリには２画素周期の縦縞用補間フィルタの補間用フィルタ係数と、線形補間用の補間用フィルタ係数があらかじめ記録され、フィルタ係数選択部からの係数選択信号と行／列カウンタからの行／列信号によりあらかじめ記録してある補間用フィルタ係数の中の１組を出力する。補間フィルタはラインバッファから入力する画像データを係数メモリから入力する補間用フィルタ係数を使って積和演算を行いＲＧＢ信号に変換する。
【００１３】
撮像手段から画素毎の画像信号が入力するとＡ／Ｄ変換器でＡ／Ｄ変換したのちラインバッファに送る。ラインバッファは送られた画像データから縦横３×３画素分のデータを取り出してフィルタ係数選択部と補間フィルタに出力する。一方、行／列カウンタは撮像手段が出力するデータ中の現在の注目画素位置の行と列をカウントし、「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を係数メモリに出力して色フィルタの配列パターンを示す。フィルタ係数選択部はラインバッファから得られた３×３画素分の画像データに対してあらかじめ定めた演算を行ない、所定の閾値と比較して、輝度勾配方向に応じた縦，横，通常の３種類の補間フィルタ係数を選択する信号を各係数メモリに出力する。各係数メモリはフィルタ係数選択部からの係数選択信号と行／列カウンタからの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の一組をそれぞれ補間フィルタに出力する。補間フィルタはラインバッファから入力する画像データをフィルタ係数メモリから入力する補間用フィルタ係数を使って積和演算を行いフィルタを処理しＲ，Ｇ，Ｂの画像信号を出力する。このようにして、輝度勾配の方向を調べ、方向に応じた補間用フィルタ係数を採用し、モアレや色付きなどの画質劣化を抑制する。
【００１４】
【実施例】
図１はこの発明の一実施例の画像入力装置の構成を示すブロック図である。図に示すように、画像入力装置１は、２×２画素周期のＲＧＢ型単板ＣＣＤを有する撮像手段２と信号処理部３を有する。撮像手段２のＣＣＤは３×３画素周期の色フィルタ配列を有する。この色フィルタは、例えば図２に示すように、３×３画素のある点を中心にして（Ｇ，Ｒ，Ｇ），（Ｂ，Ｇ，Ｂ），（Ｇ，Ｒ，Ｇ）の画素配置を有する。この３×３画素の範囲内のＲＧＢの色フィルタ配列として図３に示す２×２の行／列信号で定まる４種類を有する。
【００１５】
信号処理部３はＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６とフィルタ係数選択部７及び３組の係数メモリ８ａ，８ｂ，８ｃと補間フィルタ９ａ，９ｂ，９ｃを有する。Ａ／Ｄ変換器４は撮像手段２で撮像した画像の画素毎の画像信号を入力して読出クロックに同期したタイミングでＡ／Ｄ変換する。ラインバッファ５は、例えば図４に示すように、ＦＩＦＯメモリを使った１ライン遅延メモリ５１ａ，５１ｂと、３×３画素の各行に対応して直列に接続された３組のラッチ５２ａ，５２ｂ，５２ｃと３組のラッチ５３ａ，５３ｂ，５３ｃと３組のラッチ５４ａ，５４ｂ，５４ｃからなり、撮像手段２からスキャンライン順にシリアルに転送されてくる画像データから縦横３×３画素分のデータを取り出す。行／列カウンタ６は撮像手段２のＣＣＤが出力するデータ中の現在の注目画素位置の行と列をカウントし、図３に示すように、「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を出力して色フィルタの配列パターンを示す。フィルタ係数選択部７はラインバッファ５から得られる３×３画素分の画像データに対して所定の演算を行ない、所定の閾値と比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号（０，１，２）を出力する。係数メモリ８ａ，８ｂ，８ｃには２画素周期の縦縞用補間フィルタの補間用フィルタ係数と、図５に示す線形補間用の補間用フィルタ係数があらかじめ記録され、フィルタ係数選択部７からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の１組を出力する。補間フィルタ９ａ，９ｂ，９ｃは、ラインバッファ５から入力する画像データを係数メモリ８ａ〜８ｃから入力する補間用フィルタ係数を使って積和演算を行いＲＧＢ信号に変換する。
【００１６】
上記のように構成された画像入力装置１の動作を説明するにあたり、まず、入力した各画素の画像データ信号をＲ，Ｇ，Ｂ信号に変換する補間用フィルタ係数について説明する。
【００１７】
図２に示す色フィルタの配列についての補間フィルタとしては、図６に示す構成を考える。この補間フィルタの特徴は、Ｒ画素にかかる係数は図５に示す従来の線形補間用の補間フィルタと同じ「１／２」であり、Ｂ画素にかかる係数も従来の補間フィルタと同じ「０」と「１／２」であり、Ｇ画素にかかる係数は従来の補間フィルタと異なり「１／２」と「−１／８」と「１／８」であり、Ｇ画素の係数の総和は「０」である。したがって３×３画素領域内の４つのＧ画像が同じ値を持っていれば、図５に示した従来の補間フィルタによる補間と全く同じ結果になる。さらに、このフィルタ係数には、横方向の３画素分の係数の和は上から順に「１／４」，「１／２」，「１／４」である。この特徴により図７（ａ），（ｂ）に示すように、２画素周期の白黒の横縞の像を撮像した場合、補間結果の（Ｒ，Ｇ，Ｂ）値は、（ａ）の場合と（ｂ）の場合で同じ値（１２８，１２８，１２８）になる。すなわち、このような補間フィルタを使えば、平坦な画像に対しては従来の補間と同じ値を持ち、２画素周期の白黒の横縞に対してはモアレがでないフラットな出力をすることができる。また、上記と同じ特徴を有する図８に示す係数を有する補間フィルタを使用しても、平坦な画像に対しての補間特性を保ったまま、２画素周期の縦縞に対してフラットな出力を得ることができる。
【００１８】
このような特徴を有する補間フィルタの補間フィルタ係数は次のようにして得ることができる。ここで３×３画素の補間フィルタの補間フィルタ係数が上下左右で対象とする制約をつけると、補間フィルタ係数の自由度は図９に示すように（ａ，ｂ，ｃ，ｄ）の４つである。これらの補間フィルタ係数には平坦な画像に対応するためＲＧＢごとの制約がある。すなわち、Ｒ信号を出力する補間フィルタは、Ｒフィルタ位置の係数の和が１となり、Ｇ，Ｂフィルタ位置の係数の和はそれぞれ０とはならなければならない。このため２ｃ＝１と（ａ＋４ｄ）＝０と２ｂ＝０の関係を満たさなければならない。さらに、２画素周期の横縞を透過させないために、上下行の係数の和と中段の係数の和を等しくすると、（２ｃ＋４ｄ）＝（２ｂ＋ａ）となる。この関係からＲ信号を出力する補間フィルタの補間フィルタ係数は、（ａ，ｂ，ｃ，ｄ）＝（１／２，０，１／２，−１／８）となる。Ｇ，Ｂ信号を出力する補間フィルタの補間フィルタ係数も同様にして得ることができ、図１０及び図１１に示す２画素周期の縦縞用補間用フィルタ係数を得ることができる。この図１０及び図１１に示す２画素周期の縦縞用補間フィルタ係数と図５に示す線形補間用の補間用フィルタ係数をあらかじめ係数メモリ８ａ〜８ｃに記憶しておく。
【００１９】
しかしながら３×３画素の補間フィルタでは、上記のように４つの自由度に対して、制約条件はＲＧＢそれぞれの和について３つである。残りの自由度は１つなので、縦または横方向の縞に対しての要求のどちらかしか満たすことはできない。３×３画素より大きい補間フィルタを使用すれば自由度は増すが、ＲＧＢそれぞれの制約条件があるため自由な周波数特性を作ることはできず、遠くの画素の影響が大きければそれだけ補間結果がぼけることになる。また、マスクが大きくなればバッファメモリ、加算器など必要なハードウエアも増えてしまう。このため輝度勾配の方向を調べ、方向によって上記のような補間方法のいずれかを採用することにより、モアレ色付きなどの画質劣化を抑制する。
【００２０】
この輝度勾配の方向を推定するため、注目画素の周囲３×３画素の画像データを図１２に示すようにＶ（ｘ，ｙ）とする。ここでｘは（ｉ−１），（ｉ），（ｉ＋１）、ｙは（ｊ−１），（ｊ），（ｊ＋１）である。この画像デ−タＶ（ｘ，ｙ）に対して、注目画素ｖ（ｉ，ｊ）の左側の輝度変化を表す量ｄｌと、注目画素ｖ（ｉ，ｊ）の右側と上側と下側の輝度変化をそれぞれ表す量ｄｒ，ｄｕ，ｄｄを下記（１）式で計算する。
【００２１】
【数１】
次にｄｌ，ｄｒ，ｄｕ，ｄｄの最大値を探す。最大値がｄｌまたはｄｒである場合、注目画素ｖ（ｉ，ｊ）付近では横方向の輝度変化が大きいと判断できるので、図８に示す補間用フィルタ係数を使う。逆に最大値がｄｕまたはｄｄである場合は、図６に示す補間用フィルタ係数を使う。このような方法により、縦縞または横縞の対象物を撮影した場合でもモアレや色付きのないＲＧＢ画像を得ることができる。また、斜め方向の縞を撮影した場合、縦横ともに変化が大きくなる。その場合、縦／横どちらのフィルタをつかっても多少モアレが生る。また、わずかな雑音などにより図６，図８の縦横用フィルタ係数の処理結果が混在することで画質劣化が生じる。これを避けるために下記（２）式を演算する。
【００２３】
【数２】
上記（２）式においてｍａｘ（ｄｌ，ｄｒ）はｄｌ，ｄｒの最大値を示す。フィルタ係数選択部７は、この（１），（２）の演算を行ない、演算したｄｉｒを所定の閾値ｔｒと比較し、ｄｉｒ＞ｔｒの場合は縦用、ｄｉｒ＜−ｔｒの場合は横用、それ以外は図５に示す線形補間用の補間用フィルタ係数を選択して選択信号（０，１，２）を出力する。
【００２５】
上記のように構成された画像入力装置１において、撮像手段２から入力した画像の画素毎の画像信号はＡ／Ｄ変換器４でＡ／Ｄ変換したのちラインバッファ５に送られる。ラインバッファ５は送られた画像データから縦横３×３画素分のデータを取り出してフィルタ係数選択部７と補間フィルタ９ａ〜９ｃに出力する。一方、行／列カウンタ６は撮像手段２のＣＣＤが出力するデータ中の現在の注目画素位置の行と列をカウントし、図３に示すように「０／０」，「０／１」，「１／０」，「１／１」の行／列信号を係数メモリ８ａ〜８ｃに出力して色フィルタの配列パターンを示す。フィルタ係数選択部７はラインバッファ５から得られた３×３画素分の画像データに対して前記（１）、（２）式の演算を行ない、所定の閾値ｔｒと比較して、縦，横，通常の３種類の補間フィルタ係数を選択する信号（０，１，２）を係数メモリ８ａ〜８ｃに出力する。係数メモリ８ａ〜８ｃはフィルタ係数選択部７からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい、あらかじめ記録してある補間用フィルタ係数の中の一組を補間フィルタ９ａ〜９ｃに出力する。補間フィルタ９ａ〜９ｃはラインバッファ５から入力する画像データをフィルタ係数メモリ８ａ〜８ｃからの補間用フィルタ係数を使って積和演算を行いフィルタを処理しＲ，Ｇ，Ｂの画像信号を出力する。
【００２６】
このようにして、輝度勾配の方向を調べ、方向によって上記のような補間方法のいずれかを採用することにより、モアレや色付きなどの画質劣化を抑制することができる。また、例えば撮影対象が一様なシアン（Ｒ＝Ｇ＝２５５，Ｂ＝０）の場合、入力データは図１３に示すようになり、輝度勾配の方向を推定しない場合は、勾配が無いにもかかわらず縦と判断されるが、輝度勾配の方向を推定して補間用フィルタ係数を選択することにより、補間フィルタ９ａ〜９ｃは輝度勾配のない入力に対しては縦でも横でも同じ出力をするので、画像の輝度勾配に適応した補間処理を行なうことができる。
【００２７】
上記実施例は画像の輝度勾配によって補間用フィルタ係数を切り替える場合について説明したが、画像の輝度勾配の方向によってＲＧＢ変換行列を変えるようにしても上記実施例と同様にが知るの劣化を抑制することができる。
【００２８】
この画像の輝度勾配の方向によってＲＧＢ変換行列を変える実施例の構成を図１４に示す。図に示すように、画像入力装置１の信号処理部３にはＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６と変換係数選択部１１と変換係数メモリ１２と補間フィルタ１３ａ〜１３ｄ及びＲＧＢ変換部１４を有する。変換係数選択部１１は前記第１の実施例のフィルタ係数選択部７と同様な演算を行い、縦，横，通常の３種類の係数を選択する信号（０，１，２）を出力する。変換係数メモリ１２には、図１５に示すように、行／列信号毎に横勾配用の行列と縦勾配用の行列の勾配方向係数があらかじめ記憶され、変換係数選択部１１からの係数選択信号と行／列カウンタ６からの行／列信号にしたがい勾配方向係数の中の一組を選択して出力する。補間フィルタ１３ａには、例えば図２に示す３×３画素の配置に対して図１６に示すＣｈ０の補間用フィルタ係数を有し、補間フィルタ１３ｂはＣｈ１の補間用フィルタ係数を有し、補間フィルタ１３ｃにはＣｈ２の補間用フィルタ係数、補間フィルタ１３ｄにはＣｈ３の補間用フィルタ係数を有し、ラインバッファ５から入力した画像データに対して各補間用フィルタ係数を使用して演算処理する。この補間フィルタ１３ａ〜１３ｄの各補間用フィルタ係数は「０」か「１」なので、演算処理を下記（３）式により選択と加算だけで実現することができる。したがって補間フィルタ１３ａ〜１３ｄを前記第１の実施例と比べて簡単な回路構成で形成することができる。
【００２９】
【数３】
ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄで得た結果Ｃｈ０〜Ｃｈ３と変換係数メモリ１２からの勾配方向係数により下記（４）式に示す行列演算してＲＧＢ信号を出力する。
【００３１】
【数４】
このＲＧＢ変換部１４でＲＧＢ信号を求めるとき、変換係数メモリ１２から下記（５）式に示す横勾配用行列の勾配方向係数と（６）式に示す縦勾配用行列の勾配方向係数のいずれかが選択された場合、図１２に示す注目画素Ｖ（ｘ，ｙ）のＲＧＢ信号は下記（７）式又は（８）式で得られる。
【００３３】
【数５】
この結果、前記図６，図８に示した補間用フィルタ係数を使用した場合と同じ結果を得ることができる。また、このＲＧＢ変換と同時に色補正処理を行ったり、色差信号を生成することもできる。その場合、乗算処理が必要になるが、行列演算処理を簡単な回路構成で行なうことができる。
【００３５】
次に、輝度勾配の方向によりＲＧＢ変換行列を連続的に変化させる第３の実施例について説明する。この実施例の画像入力装置１は、図１７のブロック図に示すように、信号処理部３にＡ／Ｄ変換器４とラインバッファ５と行／列カウンタ６と勾配係数フィルタ１５と変換係数決定部１６と補間フィルタ１３ａ〜１３ｄ及びＲＧＢ変換部１４を有する。勾配係数フィルタ１５は第１の実施例のフィルタ係数選択部７と同様に（１），（２）式の計算を行い、その演算結果ｄｉｒを下記（９）式に示すように、所定の閾値ｔｒでクリッピングして正規化したｄｉｒを出力する。
【００３６】
【数６】
変換係数決定部１６は、例えば図１５に示す勾配方向係数を記憶しておき、６行／列カウンタ６からの入力にしたがい勾配方向係数を選択し、選択した勾配方向係数に変換係数フィルタ１５から入力したｄｉｒの値を乗じてＲＧＢ変換部１４に出力する。ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３と変換係数決定部１６から出力される勾配方向係数にｄｉｒの値を乗算した結果から行列演算してＲＧＢ信号を出力する。このように輝度勾配の方向によりＲＧＢ変換行列を連続的に変化させることにより、斜め方向の輝度勾配などによる画質劣化を低減することができる。すなわち、（５）式と（６）式を比べると、２組の勾配方向係数で係数ｒ０，ｒ３，ｂ０，ｂ３の符号が反転している。また、通常の線形補間はこれらを全て「０」とした場合に対応する。そこで、縦から横へ「１」から「−１」まで変化する数値ｄｉｒを出力し、係数ｒ０，ｒ３，ｂ０，ｂ３にｄｉｒを乗算することで縦縞用と横縞用及びその他用の処理を連続的に変化させるができる。したがって斜め方向の縞などで縦用と横用係数が混在することによる画質劣化を抑えることができる。
【００３８】
上記第２，第３の実施例は画像の輝度勾配の方向によってＲＧＢ変換行列を変える場合について説明したが、ＲＧＢ変換行列の係数は一定にしておき、補間フィルタ１３ａ〜１３ｄから出力するＣｈ０〜Ｃｈ３のデータを輝度勾配の方向により修正するようにしても良い。この場合の実施例の画像入力装置１の構成を図１８に示す。図１８に示すように、信号処理部３の勾配係数フィルタ１５で演算した結果をＲＢＧ変換部１４に送る。変換係数決定部１６は、例えば図１５に示す勾配方向係数を記憶しておき、変換係数決定部１６は行／列カウンタ６から入力する行／列信号により勾配方向係数を選択してＲＧＢ変換部１４に送る。ＲＧＢ変換部１４は補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３データと勾配係数フィルタ１５から送られた演算結果ｄｉｒ及び変換係数決定部１６から送られた勾配方向係数により下記（１０）式でＲＧＢ信号を演算して出力する。
【００３９】
【数７】
このように、補間フィルタ１３ａ〜１３ｄから出力されるＣｈ０〜Ｃｈ３データを輝度勾配の方向で修正することにより、簡単な回路構成で画質の劣化を抑制することができる。
【００４１】
上記各実施例は画素ごとのＲＧＢ信号を出力する場合について説明したが、補間用フィルタ係数又はＲＧＢ変換係数を変更することにより、輝度信号と色差信号を得ることもできる。さらに、補間用フィルタ係数又はＲＧＢ変換係数を変更することにより色分解フィルタの特性を補正する色補正処理を組み込むこともできる。
【００４２】
上記各実施例は撮像手段２から入力した画像データを信号処理部３で所定の演算処理をして各画素毎のＲＧＢ信号を出力する場合について説明したが、図１９のブロック図に示すように、信号処理部３の各演算処理をプログラムとしてハードディスク装置２３に格納しておき、ＣＰＵ２１でハードディスク装置２３に格納した各演算処理プログラムにより演算処理を実行して画素毎のＲＧＢ信号を得るようにしても良い。
【００４３】
この場合、例えばデジタルカメラ２８で撮像した画像データをＡ／Ｄ変換してから通信装置２７を介して入力する。ＣＰＵ２１は入力した画像データをハードディスク装置２３に格納された演算処理プログラムにより、上記各実施例と同様に演算処理して画素毎のＲＧＢ信号を算出し、入力した画像のカラーデジタル画像信号を得る。このカラーデジタル画像信号により入力した画像のカラー画像をディスプレイ２４やプリンタ２５に出力して表示したり印刷する。このようにハードディスク装置２３に格納した各演算処理プログラムによりＣＰＵ２１で演算処理を実行して画素毎のＲＧＢ信号を得ることにより、フロッピーディスクに記憶した画像データをフロッピーディスク装置２６で読み取って再現することもできる。
【００４４】
【発明の効果】
この発明は以上説明したように、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理するとともに撮像信号から画像の輝度勾配方向を推定し、推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号と、輝度勾配方向によって決定された特性の変換行列とにより演算を行なうから、画像の勾配に適応した変換処理を行うことができ、モアレ、色つきを低減することができる。さらに、補間処理は加算だけで済むから、小規模な演算回路で補間処理を行なうことができる。
【００４５】
また、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうから、画像の勾配に適応した変換処理を行うことができ、モアレ、色つきを低減することができる。さらに、補間処理は加算だけで済むから、小規模な演算回路で補間処理を行なうことができる。
【００４６】
また、輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させることにより、斜め方向の勾配などによる画質劣化を低減することができる。
【００４７】
また、撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことにより、小規模な演算回路で任意の色変換行列に対応することができる。
【図面の簡単な説明】
【図１】この発明の実施例の構成を示すブロック図である。
【図２】３×３画素の配置図である。
【図３】色フィルタの配列パターンを示す説明図である。
【図４】ラインバッファの構成を示すブロック図である。
【図５】線形補間用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図６】横縞用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図７】横縞の入力データを示す３×３画素の配置図である。
【図８】他の横縞用の補間フィルタの補間用フィルタ係数を示す説明図である。
【図９】３×３画素の補間用フィルタ係数の自由度を示す説明図である。
【図１０】横縞用の補間用フィルタ係数を示す説明図である。
【図１１】他の横縞用の補間用フィルタ係数を示す説明図である。
【図１２】注目画素の周囲３×３画素のデータを示す説明図である。
【図１３】シアンの入力データを示す説明図である。
【図１４】第２の実施例の構成を示すブロック図である。
【図１５】横勾配用の行列と縦勾配用の行列の勾配方向係数を示す説明図である。
【図１６】第２の実施例の補間用フィルタ係数を示す説明図である。
【図１７】第３の実施例の構成を示すブロック図である。
【図１８】第４の実施例の構成を示すブロック図である。
【図１９】第５の実施例の構成を示すブロック図である。
【符号の説明】
１ 画像入力装置
２ 撮像手段
３ 信号処理部
４ Ａ／Ｄ変換器
５ ラインバッファ
６ 行／列カウンタ
７ フィルタ係数選択部
８ 係数メモリ
９ 補間フィルタ
１１ 変換係数選択部
１２ 変換係数メモリ
１３ 補間フィルタ
１４ ＲＧＢ変換部
１５ 勾配係数フィルタ
１６ 変換係数決定部
Claims (6)
- 複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、
撮像信号から画像の輝度勾配方向を推定する手段と、
上記推定された輝度勾配方向により変換行列の特性を決定する手段と、
上記補間フィルタ演算手段から出力する信号と、上記輝度勾配方向によって決定された特性の変換行列とにより演算を行なう変換手段と、
を有することを特徴とする画像処理装置。 - 上記輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させる請求項１記載の画像処理装置。
- 複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理装置において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なう複数の補間フィルタ演算手段と、
撮像信号から画像の輝度勾配方向を推定する手段と、
上記推定された輝度勾配方向により修正して上記補間フィルタ演算手段から出力された信号と、変換行列とにより演算を行なう変換手段と
を有することを特徴とする画像処理装置。 - 複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行なうとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により変換行列の特性を決定し、補間フィルタ処理した信号に対して輝度勾配方向により決定された特性の変換行列とにより演算を行なうことを特徴とする画像処理方法。 - 上記輝度勾配方向によって決定された変換行列の特性を輝度勾配の方向により連続的に変化させる請求項４記載の画像処理方法。
- 複数の色分解フィルタを配列した撮像素子から出力する撮像信号をカラーデジタル画像信号に変換する画像処理方法において、
撮像信号に対してあらかじめ定められた特性で補間フィルタ処理を行うとともに撮像信号から画像の輝度勾配方向を推定し、上記推定された輝度勾配方向により修正した補間フィルタ処理した信号と、変換行列とにより演算を行なうことを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18585198A JP3771054B2 (ja) | 1998-07-01 | 1998-07-01 | 画像処理装置及び画像処理方法 |
| US09/346,277 US6882365B1 (en) | 1998-07-01 | 1999-07-01 | Direction-sensitive correction method and system for data including abrupt intensity gradients |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18585198A JP3771054B2 (ja) | 1998-07-01 | 1998-07-01 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000023174A JP2000023174A (ja) | 2000-01-21 |
| JP3771054B2 true JP3771054B2 (ja) | 2006-04-26 |
Family
ID=16177998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18585198A Expired - Fee Related JP3771054B2 (ja) | 1998-07-01 | 1998-07-01 | 画像処理装置及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6882365B1 (ja) |
| JP (1) | JP3771054B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2276262A2 (en) | 2009-07-06 | 2011-01-19 | Ricoh Company, Ltd. | Image pick-up apparatus with a light transmissive filter |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4581191B2 (ja) * | 2000-06-21 | 2010-11-17 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP4495355B2 (ja) * | 2001-01-15 | 2010-07-07 | Ｈｏｙａ株式会社 | 画像補間装置 |
| JP4666786B2 (ja) * | 2001-02-07 | 2011-04-06 | Ｈｏｙａ株式会社 | 画像補間装置 |
| KR100396898B1 (ko) * | 2001-09-13 | 2003-09-02 | 삼성전자주식회사 | 이미지센서 출력데이터 처리장치 및 처리방법 |
| JP4451044B2 (ja) * | 2002-02-21 | 2010-04-14 | 株式会社メガチップス | 混成画素補間装置および混成画素補間方法 |
| KR100505681B1 (ko) * | 2003-03-31 | 2005-08-02 | 삼성전자주식회사 | 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법 |
| WO2006026354A2 (en) * | 2004-08-25 | 2006-03-09 | Newport Imaging Corporation | Apparatus for multiple camera devices and method of operating same |
| ITVA20040038A1 (it) * | 2004-10-04 | 2005-01-04 | St Microelectronics Srl | Metodo di interpolazione del colore di una immagine acquisita da un sensore digitale mediante il filtraggio direzionale |
| GB2426881B (en) * | 2005-06-01 | 2010-12-29 | Snell & Wilcox Ltd | Method and apparatus for spatial interpolation of colour images |
| KR101201672B1 (ko) * | 2005-12-20 | 2012-11-15 | 삼성전자주식회사 | 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법 |
| CN101150731B (zh) * | 2006-09-22 | 2012-05-23 | 罗罡 | 用于数字成像的彩色滤波阵列及其成像方法 |
| JP2009005166A (ja) * | 2007-06-22 | 2009-01-08 | Olympus Corp | 色補間装置及び画像処理システム |
| US8229212B2 (en) * | 2008-04-08 | 2012-07-24 | Qualcomm Incorporated | Interpolation system and method |
| JP2010081024A (ja) * | 2008-09-24 | 2010-04-08 | Oki Semiconductor Co Ltd | 画像補間処理装置 |
| US20110013053A1 (en) * | 2008-09-29 | 2011-01-20 | Rui Chen | Defective pixel detection and correction |
| KR101580168B1 (ko) * | 2008-12-30 | 2015-12-24 | 주식회사 동부하이텍 | 컬러 보간 장치 |
| US8345117B2 (en) * | 2010-06-30 | 2013-01-01 | Hand Held Products, Inc. | Terminal outputting monochrome image data and color image data |
| JP5440461B2 (ja) | 2010-09-13 | 2014-03-12 | 株式会社リコー | 校正装置、距離計測システム、校正方法および校正プログラム |
| JP5870510B2 (ja) | 2010-09-14 | 2016-03-01 | 株式会社リコー | ステレオカメラ装置、校正方法およびプログラム |
| CN103270756B (zh) * | 2011-03-11 | 2014-08-13 | 富士胶片株式会社 | 图像传感设备、控制其操作的方法和图像感测系统 |
| JP5755814B2 (ja) | 2012-08-27 | 2015-07-29 | 富士フイルム株式会社 | 画像処理装置、方法、プログラム及び撮像装置 |
| CN102938843B (zh) * | 2012-11-22 | 2014-12-03 | 华为技术有限公司 | 图像处理方法、装置以及成像设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4630307A (en) * | 1984-09-10 | 1986-12-16 | Eastman Kodak Company | Signal processing method and apparatus for sampled image signals |
| JP2733859B2 (ja) * | 1989-09-28 | 1998-03-30 | キヤノン株式会社 | カラー撮像装置 |
| US5373322A (en) * | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
| US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
| JP2931520B2 (ja) * | 1993-08-31 | 1999-08-09 | 三洋電機株式会社 | 単板式カラービデオカメラの色分離回路 |
| US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
| JP3806211B2 (ja) * | 1997-01-08 | 2006-08-09 | 株式会社リコー | 撮像信号処理方法及び撮像信号処理装置 |
| US6563537B1 (en) * | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
| JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
-
1998
- 1998-07-01 JP JP18585198A patent/JP3771054B2/ja not_active Expired - Fee Related
-
1999
- 1999-07-01 US US09/346,277 patent/US6882365B1/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2276262A2 (en) | 2009-07-06 | 2011-01-19 | Ricoh Company, Ltd. | Image pick-up apparatus with a light transmissive filter |
| US8462435B2 (en) | 2009-07-06 | 2013-06-11 | Ricoh Company, Ltd. | Imaging apparatus with light transmissive filter |
Also Published As
| Publication number | Publication date |
|---|---|
| US6882365B1 (en) | 2005-04-19 |
| JP2000023174A (ja) | 2000-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3806211B2 (ja) | 撮像信号処理方法及び撮像信号処理装置 | |
| JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5306563B2 (ja) | 撮像装置及び画像生成方法 | |
| KR100667803B1 (ko) | 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치 | |
| JP4668185B2 (ja) | 画像処理方法 | |
| US7995868B2 (en) | Image processing method and image processing device | |
| KR20040066051A (ko) | 가중 그래디언트 기반 및 컬러 수정 보간 | |
| JP2005159957A (ja) | 色補間方法 | |
| US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JPWO2002071761A1 (ja) | 画像処理装置および画像処理プログラム | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| KR100421348B1 (ko) | 컬러 촬상 장치 | |
| JP4032579B2 (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 | |
| JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| KR100960176B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP3657826B2 (ja) | 画素補間方法 | |
| JP2001136542A (ja) | 信号処理装置 | |
| JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
| JP4323051B2 (ja) | カラー撮像素子及びそのカラー撮像素子を用いた撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060208 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100217 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110217 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120217 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130217 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140217 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |