WO2008072406A1

WO2008072406A1 - 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体

Info

Publication number: WO2008072406A1
Application number: PCT/JP2007/068898
Authority: WO
Inventors: Nobuyuki Matsushita; Ken Nakajima; Mikiko Yamada
Original assignee: Sony Corporation
Priority date: 2006-12-15
Filing date: 2007-09-20
Publication date: 2008-06-19
Also published as: MY150251A; US20090052797A1; JP2008153836A; JP4284628B2; EP2094019A4; CN101385359B; KR20090087811A; EP2094019A1; TW200826655A; US8295595B2; CN101385359A

Abstract

本発明は、画質の劣化を有効に回避してＲＡＷデータに含まれる色ノイズを除去することを目的とする。本発明は、ＲＡＷデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に変換し、前記ノイズ除去用の画素値からノイズを除去し、ノイズを除去された前記ノイズ除去用の画素値を元の画素値に変換することにより、輝度信号に影響を与えることなく、色ノイズのみを除去することができる。

Description

明細書

撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及ぴ画像処理方法のプログラムを記録した記録媒体

発明の背景

技術分野

本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプロダラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。本発明は、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、各注目画素の画素値を変換してノイズを除去した後、元の画素値に逆変換することにより、画質の劣化を有効に回避して R A Wデータに含まれる色ノィズを除去することができるようにする。背景技術

従来、デジタルスチルカメラでは、撮像素子の画素配列で順次得られる R AW データをデモザイク処理してフルカラー画像を生成した後、輝度信号、色差信号の画像データに変換して記録媒体に記録している。このようなカラー画像のノィズは、輝度信号成分のノイズである輝度ノイズと、輝度信号成分を除いた色信号成分のノイズである色ノイズとに分類され、色ノイズを除去することにより画質を格段に向上できることが知られている。

デジタルスチルカメラに関して、日本特開 2 0 0 5— 3 1 1 4 5 5公報には、ノイズリダクション処理に適切な周辺画素を選択し、この選択した周辺画素を用いてノイズリダクション処理することにより、 R AWデータの段階で効率良くノィズを除去する方法が提案されている。

また日本特開 2 0 0 4 - 2 2 1 8 3 8公報には、エッジの延長方向に沿った所定範囲の画素値を用いて注目画素の画素値を補間演算処理することにより、デモザイク処理等において、エッジを精度良く再現する方法が提案されている。ところで R AWデータの段階で色ノィズ除去すると、輝度信号成分にまで影響を与え、各色信号の輝度値までも変化する問題がある。その結果、エッジ部分等が誤った色で表示され、著しく画質が劣化する場合がある。

この問題を解決する 1つの方法として、輝度信号、色差信号の段階でノイズ除去することが考えられる。この方法によれば、輝度信号に影響を与えることなく、色ノイズを除去することができると考えられる。

しかしながらこの方法では、ノィズが混入したままの状態でデモザイク処理することになり、ノイズの混入が多い場合に、デモザイク処理に影響を与える問題がある。具体的に、例えば日本特開 2 0 0 4— 2 2 1 8 3 8公報に開示された手法により、デモザイク処理等においてエッジを再現する場合には、ノイズにより誤ってエッジを再現することになり、エッジ部分等が誤った色で表示され、また却って色ノイズが発生し、著しく画質が劣化する場合がある。また輝度信号及び色差信号の段階では、 R AWデータからの一連の処理によりノイズの特性が複雑に変ィ匕しており、その結果、色ノイズを除去しきれない問題もある。また信号処理回路等の構成上の制約から、ノイズ除去回路の構成を設けられない場合もあり、この場合には、適用できない問題もある。発明の開示

本発明は以上の点を考慮してなされたもので、画質の劣化を有効に回避して R AWデータに含まれる色ノイズを除去することができる撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しょうとするものである。

上記の課題を解決するため本発明は、撮像装置に適用して、 R AWデータを出力する撮像部と、前記 R A Wデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノィズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、前記ノイズ除去用の画素値からノィズを除去するノィズ除去部と、前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換部と、前記逆変換部で処理した画像値によるモザィク画像をデモザイク処理して、フルカラーの画像データを生成するデモザイク部とを備えるようにする。

また本発明は、撮像素子の画素配列で順次得られる R AWデータのノィズを抑圧する画像処理装置に適用して、前記 R A Wデ一タによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、前記ノイズ除去用の画素値からノイズを除去するノイズ除去部と、前記変換部とは逆の処理により、前記ノィズ除去部でノィズを除去した前記ノィズ除去用の画素値を、元の画素値に変換する逆変換部とを備えるようにする。

また本発明は、撮像素子の画素配列で順次得られる R AWデータのノイズを抑圧する画像処理方法に適用して、前記 R AWデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、前記ノィズ除去用の画素値からノイズを除去するノィズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノィズを除去した前記ノィズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備えるようにする。

また本発明は、撮像素子の画素配列で順次得られる R A Wデータのノイズを抑圧する画像処理方法のプログラムに適用して、前記 R AWデータによるモザィク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノィズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、前記ノィズ除去用の画素値からノイズを除去するノィズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノィズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備えるようにする。

また本発明は、撮像素子の画素配列で順次得られる R A Wデータのノィズを抑圧する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記 R A Wデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノィズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、前記ノイズ除去用の画素値からノイズを除去するノイズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステップとを備えるようにする。

本発明の構成によれば、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノィズ除去用の画素値において、ノイズを除去していることから、輝度信号への影響を十分に低減して色ノィズを抑圧することができる。従って画質の劣化を有効に回避して R A Wデータに含まれる色ノイズを除去することができる。本発明によれば、画質の劣化を有効に回避して R AWデータに含まれる色ノィズを除去することができる。図面の簡単な説明

第 1図は、本発明の実施例 1のデジタルスチルカメラを示すプロック図である第 2図は、第 1図のデジタルスチルカメラにおける光学補正部及び画像処理部の構成を示すブロック図である。

第 3図は、第 1図のデジタルスチルカメラにおける撮像素子の画素の配置を示す平面図である。

第 4図は、第 2図の光学捕正部における簡易デモザイク部 1 5の処理の説明に供する平面図である。

第 5図は、第 4図の続きを示す平面図である。

第 6図は、第 2図の光学捕正部における簡易デモザイク部 1 5の青色画素の処理の説明に供する平面図である。

第 7図は、第 6図の続きを示す平面図である。

第 8図は、第 2図の光学捕正部におけるノイズ除去部の説明に供する平面図である。第 9図は、第 2図の光学ネ翁正部における簡易デモザイク部 1 8の赤色画素の処理の説明に供する平面図である。

第 1 0図は、第 2図の光学捕正部における簡易デモザイク部 1 8の青色画素の処理の説明に供する平面図である。

第 1 1図は、第 1 0図の続きを示す平面図である。

第 1 2図は、第 1 1図の続きを示す平面図である。

第 1 3図は、第 2図の画像処理部におけるエッジ判別デモザイク部を示すプロック図である。

第 1 4図は、第 1 3図のエッジ判別デモザイク部の重み算出部 2 3の説明に供する平面図である。

第 1 5図は、第 1 4図の続きの説明に供する平面図である。

第 1 6 (A) 図及び第 1 6 ( B ) 図は、他の実施例における簡易デモザイク部 1 5、 1 8の処理の説明に供する平面図である。発明を実施するための最良の形態

以下、適宜図面を参照しながら本発明の実施例を詳述する。

( 1 ) 実施例 1の構成

第 1図は、本発明の実施例のデジタルスチルカメラを示すブロック図である。このデジタルスチルカメラ 1において、撮像素子 3は、 C C D (Charge Coupled Device ；固体撮像素子、 C MO S (Complementary Metal-Oxide Semiconductor ) 固体撮像素子等により構成される。撮像素子 3は、図示しないレンズュ -ットにより撮像面に形成された光学像を光電変換処理し、赤色、青色、緑色の画素値をべィヤー配列に対応する順序で順次出力する。

前処理部 4は、撮像素子 3の出力信号を相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理し、 R AWデータ D 1を出力する。

光学補正部 5は、この前処理部 4から出力される R AWデータ D 1を欠陥補正処理、ホワイトバランス調整処理し、 R AWデータ D 2を出力する。またさらに光学捕正部 5は、所定時間以下の短い電荷蓄積時間で撮影する場合等の、十分な S N比により R AWデータ D 1を取得できない場合、又はユーザーが色ノイズの除去処理を指示した場合、色ノイズの除去処理を実行し、 RAWデータ D2を出力する。

画像処理部 6は、この RAWデータ D 2をデモザィク処理、解像度変換処理、ガンマ補正処理、画質補正処理等し、輝度信号及び色差信号の画像データ D 3に変換して出力する。このデジタルスチルカメラ 1は、この画像処理部 6で処理した画像データ D 3を図示しない表示装置で表示し、撮像結果のモニタ画像を表示する。

エンコーダ (ENC) 7は、例えば J PEG (Joint Photographic Coding Exp erts Group ) 等の静止画像の符号化方式により、画像処理部 6から出力される画像データ D 3をデータ圧縮して出力する。

インターフェース（I F) 8は、このエンコーダ 7の出力データ、又は光学補正部 5から出力される RAWデータ D 2を記録媒体 9に記録する。なお記録媒体 9は、この実施例ではメモリカードであり、インターフェース 8から出力される各種のデータを記録する。なおこの記録媒体 9は、メモリカードに限らず、光デイスク、磁気ディスク等、種々の記録媒体を広く適用することができる。

第 2図は、光学補正部 5及び画像処理部 6の色ノイズの除去に関する構成を示すブロック図である。この第 2図において、光学捕正部 5は、 RAWデータ D 1 をバッファ（B) 1 1に入力する。ここでこの RAWデータ D 1は、撮像素子 3 のべィヤー配列の順序で順次各画素の画素値が連続する画像データであり、第 3 図は、この撮像素子 3のべィヤー配列を示す平面図である。撮像素子 3は、奇数ラインに緑色及び赤色の画素 G r、 Rが交互に配置され、続く偶数ラインに青色及び緑色の画素 B、 Gbが交互に配置され、 2画素 X 2画素のプロックの繰り返しにより形成される。なお以下において、この 1つのブロックにおける 2つの緑色の画素を符号 G r、 Gbにより表す。従って RAWデータ D 1は、このべィャ一配列に対応して奇数ラインでは緑色、赤色の画素値が交互に繰り返されてバッファ 1 1に格納され、偶数ラインでは青色、緑色の画素値が繰り返されてバッファ 1 1に格納される。なお以下において、緑色、赤色、青色の画素値及ぴ画像データは、適宜、対応する画素の符号 G r、 Gb、 R、 Bを用いて示す。

周辺画素参照部 1 2は、一定領域分のバッファにより構成され、バッファ 1 1 に格納されている R AWデータ D 1から順次、所定のサイズ毎に画像データ G r 、 G b、 R、 Bを読み出して出力する。周辺画素参照部 1 2は、この画像データ G r、 G b、 R、 Bの処理により R AWデータ D 1によるモザイク画像上に順次注目画素を設定し、この注目画素の画像値と周辺画素の画素値とを順次出力する。

4色分離部 1 3は、この周辺画素参照部 1 2から順次出力される画像データ G r、 G b、 R、 Bを、第 3図について上述した 2画素 X 2画素のブロックの配置における 4種類の画像データに分離して出力する。

ホワイトバランス部（WB ) 3 0は、この 4色分離部 1 3から出力される画像データ G r、 G b、 R、 Bをホワイトパランス調整して出力する。ノイズ除去部 1 4は、このホワイトバランス部 3 0から出力される画像データ G r、 G b、 R 、 Bから色ノイズを除去して出力する。すなわちノイズ除去部 1 4において、簡易デモザイク部 1 5は、画像処理部 6におけるデモザイク処理に比して簡易な演算処理により、 4色分離部 1 3から出力される画像データ G r、 G b、 R、 Bをデモザイク処理する。より具体的に、ノイズ除去部 1 4は、注目画素の近傍画素から、各注目画素で同一の色信号成分を有する処理基準の画素値を注目画素毎に生成する。

この実施例では、この処理基準の画素値に、緑色の画素値が適用され、簡易デモザイク部 1 5は、赤色、青色の画素 R、 Bについてのみ、処理基準の画素値を生成する。すなわち簡易デモザイク部 1 5は、 P舞接する緑色の画素 G r、 G bの画素値を用いた捕間演算処理により、それぞれ赤色、青色の画素 R、 Bの空間位置における緑色の画素値を計算し、これら赤色、青色の画素 R、 Bについて、それぞれ処理基準の画素値を生成する。

すなわち第 3図及び第 4図に示すように、ノイズ除去部 1 4は、注目画素が赤色の画素 R 2の場合、この赤色の画素 R 2に隣接する緑色の画素 G b 0、 G r 2 、 G r 3、 G b 2の画素値を平均値化し、注目画素 R 2の空間位置における緑色の画素値 G x 2を求める。ノイズ除去部 1 4は、この計算した緑色の画素値 G X 2を、この赤色の画素 R 2の処理基準の画素値に設定する。また青色の画素 Bについても、同様にして、隣接する緑色の画素の画素値を平均値化して、青色の画素 B 1の空間位置における緑色画素の画素値を計算して処理基準の画素値 Gyに設定する。簡易デモザイク部 1 5は、この計算した赤色、青色の画素 R、 Bの位置における緑色の画素値 Gx、 Gyを、 4色分離部 1 3から出力される画素値 G r、 Gb、 R、 Bと共に出力する。

色差計算部 1 6は、簡易デモザイク部 1 5から出力される画素値 Gr、 Gb、 R、 B、 Gx、 Gyを用いて、処理基準の画素値を基準にして赤色画素、青色画素の画素値を表すノイズ除去用の画素値を生成する。より具体的に、この実施例において、色差計算部 16は、簡易デモザイク部 1 5から出力される画素値 G r 、 Gb、 R、 B、 Gx、 Gyから色差を計算し、この実施例では、この色差の画素値がノイズ除去用の画素値に適用される。なおこの処理基準の画素値を基準にした色差の画素値は、輝度信号及び色差信号における色差の画素値だけを示すものではなく、広義に、処理基準に含まれる色信号成分との対比により、注目画素の色相を表す画素値である。

ここでこの実施例では、処理基準の画素値に緑色の画素値が適用されることから、色差計算部 1 6は、赤色、青色の画素 R、 Bの画素値についてのみ、緑色の画素値に対する色差を計算する。すなわち第 3図及び第 4図との対比により第 5 図に示すように、赤色画素 R 2の色差 C r 2については、この赤色画素 R 2の位置で計算された処理基準の画素値 Gx 2を、この赤色画素 R 2の画素値 R 2から減算し、その結果得られる減算値（R2— Gx 2) を赤色画素 R2の色差に設定する。また第 6図に示すように、青色画素 B 1の色差 C b 1については、同様に、この青色画素 B 1の位置で計算された処理基準の画素値 Gy 2を、この青色画素 B 1の画素値から減算して、減算値（B l—Gy l) を青色画素 B 1の色差 C b 1に設定する。

色差計算部 16は、赤色及び青色の画素 R及び Bの全てで、この色差の計算を実行し、その結果、第 3図との対比により第 7図に示すように、赤色画素 R及び青色画素 Bの画素値を、それぞれ緑色の画素値を基準にした色差の画素値 C r、 Cbに変換する。

ノイズ除去部 1 7は、色差計算部 1 6で計算した赤色及び青色の色差毎に、それぞれノイズ除去処理を実行して出力する。具体的にこの実施例では、第 8図に示すように、 9画素 X 9画素の εフィルタを用いてノイズを除去する。ここで例えば赤色画素の色差 C r cをノイズ除去する場合、この赤色画素を中心とした 9 画素 X 9画素の領域には、ハッチングで示すように、 25個の赤色画素の色差が含まれていることになる。そこでノイズ除去部 1 7は、この 25画素の色差を ε フィルタで処理して注目画素のノイズを除去する。また同様にして、青色画素の色差を処理してノイズを除去する。なおこの場合に、元の緑色の画素値 G r、 G bについても、又はこの元の緑色の画素値 G r、 G bと簡易デモザイク部 1 5で計算した緑色の画素値 Gx、 Gyについても、ノイズ除去処理を実行するようにしてもよレ、。

簡易デモザイク部 18は、簡易デモザイク部 1 5と同様の補間演算処理により、赤色の画素、青色の画素の空間位置における緑色の画素値 Gx、 Gyを計算する。

すなわち簡易デモザイク部 1 8は、第 9図に示すように、注目画素が赤色の画素 R 2の場合、この赤色の画素に隣接する緑色の画素 G b 0、 G r 2、 G r 3、 Gb 2の画素値を平均値化し、平均値を注目画素 R 2の空間位置における緑色の画素値 G xに設定する。また青色の画素 Bについても、同様にして、隣接する緑色の画素の画素値を平均値化して、青色の画素 Bの空間位置における緑色の画素値 Gyに設定する。

RB計算部 19は、簡易デモザイク部 18で計算した緑色の画素値 Gx、 Gy を用いて、赤色画素 R、青色画素 Bの画素値を計算する。すなわち RB計算部 1 9は、簡易デモザイク部 18で計算した赤色画素 Rの空間位置における緑色の画素値 Gxを、当該画素の色差 C r 2に加算し、赤色画素 Rの画素値を計算する。従って第 9図に示す赤色画素 R 2の画素値 R 2は、 C r 2+Gx 2で表される。また第 10図及び第 1 1図に示すように、青色の画素 B 1についても、隣接する緑色の画素 G r l、 Gb O、 Gb l、 G r 3の平均値による緑色の画素値 G y 1を、この青色の画素 B 1の色差 C b .lに加算して、当該青色の画素 B 1の画素値を計算する。赤色及ぴ青色の画素 R及ぴ Bの全てで、この色差の計算を実行することにより、第 9図との対比により第 1 2図に示すように、撮像素子 3のべィヤー配列に対応する順序で緑色、赤色、青色の色信号が繰り返される RAWデータ D 2が生成され、光学補正部 5は、この R AWデータ D 2を画像処理部 6、ィンターフェース 8に出力する。なお例えば赤色及び青色の色差についてのみノィズ除去処理を実行する場合には、簡易デモザイク部 1 5で生成した処理基準の画素値 G x、 G yを、 R B計算部 1 9の処理で使用するようにして、簡易デモザィク部 1 8における処理を省略するようにしてもよい。

画像処理部 6において、ェッジ判別デモザィク部 2 0は、この光学補正部 5から出力される R A Wデータ D 2をデモザイク処理し、撮像素子 3の各画素の空間位置で赤色、緑色、青色の色データ R、 G、 Bを有しているフルカラーの画像データを生成する。この処理において、エッジ判別デモザイク部 2 0は、エッジの延長方向の画素値を用いて注目画素の画素値を補間演算処理することにより、ェッジを精度良く再現する。

すなわち第 1 3図は、エッジ判別デモザイク部 2 0の構成を示すプロック図である。エッジ判別デモザイク部 2 0は、光学補正部 5から出力される R AWデータ D 2を注目画素決定部 2 1に入力し、ここで注目画素を順次切り換えながら、各注目画素を中心とした局所領域の画素値を出力する。ここでこの実施例では、この局所領域は、例えば注目画素を中心とした 7画素 X 7画素の領域に設定される。

エッジ方向算出部 2 2は、局所領域毎に、この注目画素決定部 2 1から出力される画素値から画像勾配を計算し、エッジの延長する方向を示すエッジ方向べクトル V Iを計算する。またエッジ方向ベクトル V 1で決まる方向と直交する方向の画像勾配の大きさ力らエツジの強さを検出して出力する。

重み算出部 2 3は、エッジ方向算出部 2 2で計算されたエッジ方向べクトル V 1により、補間演算処理に使用する画素値を選択し、さらに各画素値の重み係数を計算する。すなわち第 1 4図に示すように、重み算出部 2 3は、エッジ方向べクトル V Iで決まる方向の、注目画素を通る直線 Lに対して、各画素の距離 d 1 、 d 2、 d 3、 d 4、 ……を計算する。またこの距離 d l、 d 2、 d 3、 d 4、 ……を所定のしきい値 T h 1で判定し、この距離 d l、 d 2、 d 3、 d 4、 …… がしきい値 T h 1以下の画素を補間演算処理に使用する画素に選択する。またこの距離 d l、 d 2、 d 3、 d 4、 ……が短くなるに従って値が大きくなるように、この選択した各画素をそれぞれ重み付けする第 1の重み係数 wiを生成する。また第 1 5図に示すように、エッジ方向ベクトル V 1で決まる方向の、注目画素から選択した各画素の距離 I 1、 1 2、 1 3、 14、 ……を計算し、この距離 I 1、 1 2、 1 3、 14、 ……が短くなるに従って値が大きくなるように、選択した各画素をそれぞれ重み付けする第 2の重み係数 W 2を生成する。

第 1補間部 24は、それぞれ第 1及び第 2の重み係数 W 1及ぴ W 2を用いた対応する画素値の重み付け加算により、注目画素の画素値を補間演算処理により計算する。またこの第 1及び第 2の重み係数 W 1及び W 2を用いた重み付け加算結果を平均値ィヒし、平均値を出力する。

第 2補間部 25は、エッジ方向算出部 22で求めたエッジの強さを所定のしきい値で判定し、エッジの強さが所定値以下の場合、何らエッジの方向を考慮しない、注目画素を中心とした所定範囲の画素値から、注目画素の画素値を計算して出力する。

セレクタ 26は、第 1補間部 24から出力される平均値を、注目画素の画素値として出力する。またエッジ方向算出部 22で求めたエッジの強さを所定のしきい値で判定し、エッジの強さが所定値以下の場合、この第 1捕間部 24から出力される平均値に代えて、第 2捕間部 25の出力値を選択して出力する。

〇〇変換部28 (第 2図）は、次式の演算処理により、エッジ判別デモザィク部 20から出力されるフルカラーの画像データ D 4を演算処理し、この画像データ D4を輝度信号、色差信号の画像データ D 5に変換して出力する。

Y = 0.29900 xR + 0.58700 xG + 0.11400 B …… （1— 1 )

Cb=-0.16874 R - 0.33126 xG + 0.50000 xB ·■·■■■ ( 1 -2)

Cr= 0.50000 xR - 0.41869 xG - 0.08131 xB ■■■·■' (1 -3) なぉ丫〇じ変換部28は、この（1— 1) 〜（1— 3) 式における係数を補正して併せて色変換マトリクスを適用した色味調整処理等を実行する。また生成した画像データ D 5のガンマを設定する。

YCC合成部 29は、 YCC変換部 28から出力される画像データ D 5から Y C Cの画像データ D 3を生成してエンコーダ 7、外部機器等に出力する。

( 2 ) 実施例 1の動作

以上の構成において、このデジタルスチルカメラ 1では（第 1図）、撮像素子 3において、撮像素子 3のべィヤー配列に対応する順序で赤色、青色、緑色の画素値が順次連続する撮像信号が生成され、この撮像信号が前処理部 4でアナログディジタル変換処理されて R AWデータ D 1が生成される。デジタルスチルカメラ 1では、光学捕正部 5において、この R AWデータ D 1のノイズが抑圧される。また続く画像処理部 6において、 R AWデータ D 2がデモザイク処理されてフルカラーの画像データが生成され、このフルカラーの画像データ D 3が輝度信号及び色差信号による画像データ D 3に変換され、エンコーダ 7によりデータ圧縮されて記録媒体 9に記録される。またユーザーが R AWデータによる記録を指示した場合には、光学補正部 5から出力される R AWデータ D 2が記録媒体 9に記録される。

R AWデータ D 2は、画像処理部 6におけるデモザイク処理において（第 1 3 図）、エッジの方向の画素が選択され、この選択された画素の画素値を用いた補間演算処理によりフルカラーの画像データ D 4が生成される。すなわちこの場合、例えば緑色の画素については、それぞれ赤色及び青色の近傍画素からエッジ方向が検出され、このエッジ方向の画素を用いた捕間演算処理により赤色及び青色の画素値が求められる。また赤色の画素については、それぞれ緑色及び青色の近傍画素からエッジ方向が検出され、このエッジ方向の画素を用いた補間演算処理により緑色及び青色の画素値が求められる。また青色の画素については、それぞれ赤色及び緑色の近傍画素からエッジ方向が検出され、このエツジ方向の画素を用いた補間演算処理により赤色及び緑色の画素値が求められる。

従ってこのデジタルスチルカメラ 1では、エッジの方向に応じて注目画素毎に補間演算処理対象の画素が切り換えられてデモザイク処理され、その結果、 R A Wデータ D 2に混入したノイズは、複雑に特性が変化してフルカラーの画像データ D 4に混入していることになる。従ってこのようにデモザイク処理した後では、簡単には色ノイズを除去できなくなる。

またデモザィク処理した後にノィズ除去する場合には、そもそも R A Wデータ D 2を直接記録媒体 9に記録する場合に、ノィズを除去できなくなる。

またさらにデモザイク処理の処理対象である R AWデータ D 2にノイズが混入している場合、エッジを誤検出し、デモザイク処理後のフルカラーの画像データ D 4において、不自然にエッジが強調されてしまうことになる。また却って色ノィズが発生し、著しく画質が劣化する恐れもある。

従つてこの実施例のように画像処理部 6を構成する場合には、画像処理部 6でデモザイク処理する前の、 R AWデータの段階でノィズを除去することが必要になるが、単に、各色の画素毎にノイズ除去処理を実行したのでは、輝度信号が影響を受け、エッジ部分等が誤った色で表示され、著しく画質が劣化する恐れがある。

そこでこの実施例では、光学補正部 5において（第 2図）、 R AWデータ D 1 は、周辺画素参照部 1 2により、順次注目画素が設定され、この注目画素と周辺画素との画素値が 4色分離部 1 3を介して簡易デモザイク部 1 5に入力される。 R AWデータ D 1は、この簡易デモザイク部 1 5において、注目画素毎に、同一の色信号成分を有している処理基準の画素値が計算される。また続く色差計算部 1 6において、この処理基準の画素値を基準にしたノイズ除去用の画素値に変換され、このノイズ除去用の画素値がノイズ除去部 1 7でノイズ除去される。またその後、元の画素値に変換される。

従ってデジタルスチルカメラ 1では、直接各画素の色信号をそれぞれノイズ除去する場合に比して、格段的に、輝度信号に影響を与えることなく、色ノイズのみを除去することができ、従来に比して画質の劣化を有効に回避して R AWデータに含まれる色ノィズを除去することができる。

またノイズを除去した後には、元の R AWデータに変換されていることにより、他の R AWデータに対するノイズ除去処理と容易に組み合わせて、ノイズ除去効果を一段と高めることもできる。

より具体的に、この実施例では、撮像素子 3のべィヤー配列が、 2つの緑色画素 G r、 G bと、赤色、青色の画素 R、 Bとによる 2画素 X 2画素のブロックの繰り返しで形成され、光学捕正部 5では、これらの画素のうちの緑色画素の画素値がこの処理基準の画素値に設定されて、各注目画素の色差がノィズ除去用の画素値として求められる。従って R AWデータ D 2において最も画素数の多い緑色の画素値については、何ら色差を求めなくても、ノイズ除去処理を実行することができる。従ってこのデジタルスチルカメラ 1では、処理基準の画素値を緑色の画素値に設定して緑色の画素については処理基準の計算を省略し、全体構成が簡略ィ匕される。

( 3 ) 実施例 1の効果

以上の構成によれば、注目画素の近傍画素から同一の色信号成分を有している処理基準の画素値を生成し、この処理基準の画素値を基準にしたノィズ除去用の画素値に各注目画素の画素値を変換してノイズを除去した後、元の画素値に変換することにより、画質の劣化を有効に回避して R AWデータに含まれる色ノイズを除去することができる。

また R AWデータを構成する赤色、緑色、青色の画素のうちの、緑色画素の画素値を処理基準の画素値に設定し、この処理基準の画素値と赤色又は緑色の画素値との差分値により色差の画素値を生成してノイズ除去用の画素値に設定することにより、緑色の画素については処理を省略して構成を簡略化することができるまた R AWデータを構成する緑色画素の画素値、若しくはこの緑色の画素の画素値と生成した処理基準の画素値とからノイズを除去することにより、一段とノィズを低減することができる。

( 4 ) 実施例 2

この実施例では、処理基準である緑色の画素値 G x、 G yに、近傍緑色画素のメディアン値を適用する。この実施例のデジタルスチルカメラは、この処理基準の画素値を生成する構成が異なる点を除いて、上述の実施例 1のデジタルスチルカメラ 1と同一に構成される。

すなわちこの実施例において、簡易デモザイク部 1 5は、第 3図に示すように、赤色画素 R 2については、この赤色画素に隣接する緑色画素 G b 0、 G r 2、 G r 3、 G b 2の画素値を値の小さい順にソートし、ソート結果の 2番目の画素値と 3番目の画素値との平均値を計算する。簡易デモザイク部 1 5は、この平均値をメディアン値としてこの赤色画素 R 2の位置における緑色の画素値に設定する。また同様にして、青色画素について、隣接画素の画素値をソートしてメディアン値を求め、緑色の画素値に設定する。なおこの処理において、隣接する 4画素のメディアン値に代えて、さらに広い範囲の画素のメディアン値を適用するようにしてもよい。

この簡易デモザイク部 1 5の処理に対応して、簡易デモザイク部 1 8は、同様の演算処理により赤色画素及び青色画素の位置における緑色の画素値を計算し、元の R AWデータを生成する。

この実施例のように、処理基準である緑色の画素値を生成する際に、近傍緑色画素のメディアン値を適用するようにしても、実施例 1と同様の効果を得ることができる。

( 5 ) 実施例 3

この実施例では、赤色画素及び対応する青色画素の空間位置が同一であるとして、赤色画素及び青色画素の空間位置における緑色の画素値を計算する。なおこの実施例では、この計算方法が異なる点を除いて、上述の実施例と同一に構成される。

すなわち撮像素子 3は、べィヤー配列が 2画素 X 2画素のブロックの繰り返しにより形成されており、この 2画素 X 2画素のブロックの画素の配置が第 1 6 ( A) 図に示すように構成されているものとする。ここでこの第 1 4図における赤色画素 R及び青色画素 Bの空間位置が、点 Pにより示すこの 2画素 X 2画素のブロックの中央位置であると仮定する。この仮定に従って簡易デモザイク部 1 5、 1 8は、第 1 6 (A) 図及び第 1 6 ( B ) 図に示すように、この 2画素 X 2画素のブロックの緑色画素 G r、 G bの平均値を、赤色画素 R及び青色画素 Bの空間位置における緑色の画素値に設定する。

この実施例によれば、赤色画素 R及び青色画素 Bの空間位置が同一であると仮定して緑色画素値を計算することにより、計算量を低減して上述の実施例と同様の効果を得ることができる。

( 6 ) 実施例 4

この実施例では、処理基準である t色の画素値 G X、 G yをそれぞれ赤色及ぴ青色の画素の画素値 R及び Bから減算してノィズ除去用の画素値を生成する代わりに、これら緑色の画素値 G x、 G yと対応する赤色及び青色の画素の画素値 R 及び Bとの比によりノイズ除去用の画素値を生成する。なおこの実施例のデジタルスチルカメラは、この色差に関す構成が異なる点を除いて、上述の実施例のデジタルスチルカメラ 1と同一に構成される。

すなわちこの実施例において、色差計算部 1 6は、赤色画素 Rの色差 C rについては、この赤色画素 Rの位置で計算された処理基準の画素値 G xで、この赤色画素 Rの画素値 Rを割り算し、割り算した値 R /G Xをこの赤色画素 Rのノイズ除去用の画素値に設定する。また同様に、この青色画素 Bについては、この青色の画素 Bの位置で計算された処理基準の画素値 G yで、この青色画素 Bの画素値 Bを割り算して、割り算した値 B /G yをこの青色画素 Bのノイズ除去用の画素値に設定する。

またこの色差の生成処理に対応するように、 R B計算部 1 9は、ノイズ除去処理した色差 C r、 C bにそれぞれ対応する緑色画素値 G x、 G yを乗算して、元の画素値 R、 Bに変換する。

この実施例のように、処理基準の画素値と、赤色又は緑色の画素値との比率により、ノイズ除去用の画素値を生成するようにしても、実施例 1と同様の効果を得ることができる。

( 7 ) 実施例 5

この実施例では、緑色の画素値に代えて、輝度値を処理基準の画素値に適用する。この実施例のデジタルスチルカメラは、この処理基準の画素値に関する構成が異なる点を除いて、上述の実施例のデジタルスチルカメラ 1と同一に構成される。

この実施例において、簡易デモザイク部 1 5は、緑色画素については、隣接する赤色画素及び青色画素の画素値を用いた捕間演算処理により、各緑色画素の空間位置における赤色画素及び青色画素の画素値を計算する。また同様に、赤色画素については、隣接する緑色画素及び青色画素の画素値を用いた補間演算処理により、各赤色画素の空間位置における緑色画素及ぴ青色画素の画素値を計算する。また同様に、青色画素については、隣接する赤色画素及び緑色画素の画素値を用いた補間演算処理により、各青色画素の空間位置における赤色画素及び緑色画素の画素値を計算する。

簡易デモザイク部 15は、この計算結果に基づいて画素毎に輝度値を計算する。なおこの輝度値の計算は、単に赤色、緑色、青色の画素値を加算して簡易的に輝度値を計算してもよく、さらには（1— 1) 式の演算処理を実行して正確に各画素の輝度値を計算してもよい。

色差計算部 16は、この処理基準の画素値 Yを用いて、画素毎に、色差の画素値（R— Y) 及び（B— Y) を計算する。なおこの場合に、（1— 2) 及び（1 一 3) 式を用いて色差の画素値を計算してもよい。

ノイズ除去部 1 7は、この色差の画素値をノイズ除去処理する。簡易デモザィク部 18、 RB計算部 19は、このノイズ除去処理した色差の画素値を元のモザイク画像の画素値に変換する。なおこの場合に、（1一 2) 及び（1— 3) 式を用いて色差の画素値を計算した場合には、次式の演算処理により、各画素値を計算する。

R = Y + 1.402xCr …… （2— 1 )

6 = Y - 0.34414 xCb - 0.71414xCr …… (2-2)

B = Y + 1.772xCb '… (2-3) なおこれらの処理において、（1— 1) 式の演算処理を省略して、直接（1一 2) 及び（1— 3) 式を用いて色差の画素値を計算してもよい。また緑色の画素については処理を省略して、赤色画素、青色画素についてのみ一連の処理を実行するようにしてもよい。

この実施例によれば、輝度値を処理基準の画素値に設定して色差の画素値を求めるよう.にしても、上述の実施例と同様の効果を得ることができる。

(8) 実施例 6

この実施例のデジタルスチルカメラは、エッジ判別デモザイク部 20における第 2補間部 25を用いて簡易デモザイク部 15、 18を構成する。

この実施例のように、本来のデモザイク処理の構成を利用して、簡易デモザィク部 15、 18を構成すれば、全体構成を簡略化して上述の実施例と同様の効果を得ることができる。

( 9 ) 他の実施 ί列

なお上述の実施例においては、 εフィルタで色ノイズを除去する場合について述べたが、本発明はこれに限らず、ウェーブレット変換等を使用して色ノイズを除去する場合、高周波成分と低周波成分とに帯域分離して色ノイズを除去する場合、パイラテラルフィルタ、トリラテラルフィルタ等を用いてノイズ除去する場合等、種々のノイズ除去手法を広く適用することができる。

また上述の実施例においては、単にノイズ除去部 1 7で R AWデータのノイズを除去する場合について述べたが、本発明はこれに限らず、他の種々のノイズ除去方法と組み合わせてノイズを除去するようにしてもよい。

また上述の実施例においては、本発明をデジタルスチルカメラに適用する場合について述べたが、本発明はこれに限らず、動画を撮影するビデオカメラ、さらには R A Wデータを処理する各種画像処理装置、各種画像処理プログラムに広く適用することができる。なおこの画像処理プログラムは、コンピュータ、画像処理装置等に事前にインストールして提供するようにしてもよく、またこれに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。 . 産業上の利用可能性

本発明は、例えばデジタルスチルカメラに適用することができる

Claims

請求の範囲

1 . R AWデータを出力する撮像部と、

前記 R A Wデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、

前記ノィズ除去用の画素値からノィズを除去するノィズ除去部と、

前記変換部とは逆の処理により、前記ノィズ除去部でノィズを除去した前記ノィズ除去用の画素値を、元の画素値に変換する逆変換部と、

前記逆変換部で処理した画像値によるモザイク画像をデモザイク処理して、フルカラーの画像データを生成するデモザィク部と

を備えることを特徴とする撮像装置。

2 . 前記 R AWデータによるモザイク画像の画素が、

赤色、緑色、青色の画素であり、

前記処理基準の画素値が、

前記赤色及ぴ青色の画素の空間位置における緑色の画素値であり、

前記ノィズ除去用の画素値が、

前記処理基準の画素値と、前記赤色又は青色の画素の画素値との差分値であることを特徴とする請求の範囲第 1項に記載の撮像装置。

3 . 前記ノイズ除去部は、

さらに前記モザイク画像の緑色の画素の画素値、若しくは前記モザィク画像の緑色の画素の画素値及び前記赤色及び青色の画素の空間位置における緑色の画素値からノイズを除去する

ことを特徴とする請求の範囲第 2項に記載の撮像装置。

4 . 前記処理基準の画素値が、

前記赤色及び青色の画素近傍の緑色の画素の画素値のメディアン値であることを特徴とする請求の範囲第 2項に記載の撮像装置。

5 . 前記 R AWデータによるモザイク画像が、

同一の画素の配置によるプロックの繰り返しで形成され、

前記処理基準の画素値が、

1つの前記ブロック内における赤色の画素及び青色の画素の空間位置が同一であると仮定して生成された

ことを特徴とする請求の範囲第 2項に記載の撮像装置。

6 . 前記 R AWデータによるモザイク画像が、

赤色、緑色、青色の画素であり、

前記処理基準の画素値が、

前記赤色及び青色の画素の空間位置における緑色の画素値であり、

前記ノィズ除去用の画素値が、

前記処理基準の画素値と、前記赤色又は青色の画素の画素値との比で表される画素値である

ことを特徵とする請求の範囲第 1項に記載の撮像装置。 .

7 . 前記 R AWデータによるモザイク画像の画素が、

赤色、緑色、青色の画素であり、

前記処理基準の画素値が、

前記各画素の空間位置における輝度値であり、

前記ノィズ除去用の画素値が、

色差の画素値である

ことを特徴とする請求の範囲第 1項に記載の撮像装置。

8 . 撮像素子の画素配列で順次得られる R A Wデータのノィズを抑圧する画像処理装置において、

前記 R AWデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換部と、

前記変換部とは逆の処理により、前記ノイズ除去部でノイズを除去した前記ノィズ除去用の画素値を、元の画素値に変換する逆変換部と

を備えることを特徴とする画像処理装置。

9 . 撮像素子の画素配列で順次得られる R AWデータのノィズを抑圧する画像処理方法において、

前記 R AWデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、

前記ノィズ除去用の画素値からノィズを除去するノィズ除去のステツプと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステツプと

を備えることを特徴とする画像処理方法。

1 0 . 撮像素子の画素配列で順次得られる R AWデータのノイズを抑圧する画像処理方法のプログラムにおいて、

前記 R A Wデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステップと、

前記ノィズ除去用の画素値からノィズを除去するノィズ除去のステップと、前記変換のステップとは逆の処理により、前記ノイズ除去のステップでノイズを除去した前記ノィズ除去用の画素値を、元の画素値に変換する逆変換のステツプと

を備えることを特徴とする画像処理方法のプログラム。

1 1 . 撮像素子の画素配列で順次得られる R AWデータのノイズを抑圧する画像処理方法のプログラムを記録した記録媒体にぉレ、て、

前記画像処理方法のプログラムは、

前記 R A Wデータによるモザイク画像に順次注目画素を設定し、各注目画素で同一の色信号成分を有している処理基準の画素値を基準にしたノイズ除去用の画素値に、前記注目画素の画素値を変換する変換のステツプと、

前記ノィズ除去用の画素値からノィズを除去するノィズ除去のステツプと、前記変換のステップとは逆の処理により、前記ノィズ除去のステップでノィズを除去した前記ノイズ除去用の画素値を、元の画素値に変換する逆変換のステツプと

を備えることを特徴とする画像処理方法のプログラムを記録した記録媒体。