JP4910699B2

JP4910699B2 - 画像処理装置

Info

Publication number: JP4910699B2
Application number: JP2006528611A
Authority: JP
Inventors: 健一石賀
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-07-07
Filing date: 2005-06-24
Publication date: 2012-04-04
Anticipated expiration: 2025-06-24
Also published as: EP1781043A4; EP1781043B1; JP5067499B2; US7957588B2; US20080123999A1; WO2006006373A1; EP1781043A1; JP2012054985A; JPWO2006006373A1

Description

本発明は、ノイズを含む画像、とくに、撮像素子のノイズを含む画像を処理する場合に適した階調空間を利用する画像処理技術に関する。

例えば、ベイア配列のような色配列を有するカラーフィルタを通して撮像され、その色成分がサブサンプリングされた画像を補間してカラー画像に復元する処理においては、補間処理を行うための階調空間がいくつか提案されている。特許文献１には、Ｇ色成分を線形階調で単純平均した後、Ｒ色、Ｇ色、Ｂ色の各色成分を対数階調空間へ変換し、この階調空間でＲ色成分およびＢ色成分をＧ色成分との差分をとることにより色差面で補間する技術が開示されている。また、特許文献２には、補間処理以降の圧縮処理、およびディスプレイ表示等の処理に合わせて、色成分信号をあらかじめΓ＝２．４のガンマ空間(Ｒ^1/Γ,Ｇ^1/Γ,Ｂ^1/Γ)へ変換し、このガンマ空間で補間処理等の画像処理を一本化して行うことによって階調変換の繰り返しに伴う量子化誤差を抑える技術が開示されている。特許文献３には、色成分信号を平方根特性のガンマ空間に変換し、このガンマ空間で補間処理を行うことによって画像に含まれているショットノイズの影響を抑えて鮮明な画像を得る技術が開示されている。

米国特許第４６４２６７８号明細書米国特許第５１７２２２７号明細書特開２００４−７１６４号公報

上述した階調空間はいずれも画像に含まれるダークノイズによる影響を受けやすく、撮像素子で生じる暗電流ノイズに関連したノイズを多く含む画像に対して補間処理を行うと、これらのダークノイズを増幅してしまい、復元後の画質を損ねてしまうおそれがあった。とくに、ＩＳＯ感度を高めて（たとえば、ＩＳＯ１６００相当以上）撮像された画像に対して補間処理を行う場合には問題となりやすい。画質劣化の例として、補間処理後の画像の赤地領域に黒点が発生することがあげられる。また、補間処理に限らず撮像素子を用いて取得した画像を処理するとき、一般にこれらセンサーノイズの影響を受ける。そこで本件は、センサーノイズを含む画像を処理する場合に適した階調空間を提供する。

請求項１に記載の画像処理装置は、各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、前記階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第１の画像を第２の画像に変換する画像変換部と、前記変換後の第２の画像の信号の各々を、線形階調の画像信号へ逆変換する逆階調変換部と、前記逆階調変換後の画像信号の各々から前記所定量のオフセット信号を減じる逆オフセット部と、を備えることを特徴とする。
請求項２に記載の画像処理装置は、各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、前記階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する色情報生成部と、前記変換後の第２の画像の信号の各々を、線形階調の画像信号へ逆変換する逆階調変換部と、前記逆階調変換後の画像信号の各々から前記所定量のオフセット信号を減じる逆オフセット部と、を備えることを特徴とする。
請求項３に記載の画像処理装置は、各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、前記階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、前記入力画像信号が有するノイズ特性の代表値として評価するノイズ評価部と、前記階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第１の画像を第２の画像に変換する画像変換部と、を備えることを特徴とする。
請求項４に記載の画像処理装置は、請求項３に記載の画像処理装置において、前記画像変換部は、前記ノイズ評価部で得られる前記代表値を用いて、前記第１の画像を前記第２の画像に変換することを特徴とする。
請求項５に記載の画像処理装置は、各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、前記階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、前記入力画像信号が有するノイズ特性の代表値として評価するノイズ評価部と、前記階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する色情報生成部と、を備えることを特徴とする。
請求項６に記載の画像処理装置は、請求項５に記載の画像処理装置において、前記色情報生成部は、前記ノイズ評価部で得られる前記代表値を用いて、前記各画素に少なくとも１つの共通した色成分信号を生成することを特徴とする。

本発明によれば、撮像素子に起因するノイズが含まれる画像であっても、当該ノイズの影響を受けにくい階調空間を利用して画像処理を行うことができる。

ベイア配列を示す図である。本発明による画像補間処理の流れを説明するフローチャートである。プログラムの提供形態を説明する図である。Ｇ色補間を行う場合の画素位置を説明する図である。Ｇ色補間を行う場合の画素位置を説明する図である。Ｒ色補間を行う場合の画素位置を説明する図である。Ｒ色補間を行う場合の画素位置を説明する図である。Ｂ色補間を行う場合の画素位置を説明する図である。Ｂ色補間を行う場合の画素位置を説明する図である。撮像素子の信号特性を説明する図である。均等ノイズ空間を説明する模式図である。各階調空間の入出力特性を示す図である。各階調空間の入出力特性を示す図である。第二の実施形態による画像処理の流れを説明するフローチャートである。ハイパスフィルタ処理を説明する図である。ローパスフィルタ処理を説明する図である。

以下、本発明を実施するための最良の形態について説明する。
（第一の実施形態）
第一の実施形態では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）がベイア配列されたカラーフィルタを通して撮像された画像に対して補間処理を行う画像処理を例にあげて説明する。この場合の画像の色はＲＧＢ表色系で示される。

図１は、ベイア配列を示す図である。このようなカラーフィルタを備える撮像素子から出力される画像信号は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の情報が出力され、Ｇ色フィルタに対応する画素からはＧ色の情報が出力され、Ｂ色フィルタに対応する画素からはＢ色の情報が出力される。Ｒ色フィルタに対応する画素情報を例にとれば、Ｒ成分の情報だけでＧ成分、Ｂ成分の情報がない。このため、画像を構成する全ての画素位置においてＲＧＢ全色分の情報を得るためには、各画素位置において不足する色成分の情報を補間処理によって算出する必要がある。

図２は、本発明による画像補間処理の流れを説明するフローチャートである。本実施形態では、図２による処理を行うプログラムを図３に示すコンピュータ装置１００に実行させることにより、画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、画像処理装置として使用する。

プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。ネットワーク１０１を経由する場合は、ネットワーク１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。

図２のステップＳ１において、コンピュータ装置１００（図３）のＣＰＵは、線形階調空間で表された画像信号（ベイア信号）を入力してステップＳ２へ進む。具体的には、補間処理の対象とする画像データをワークエリアに読み出す。このとき、各色成分がガンマ補正された階調空間で表されている場合には、ガンマ補正前の線形階調空間における信号値へ戻す。

ステップＳ２において、ＣＰＵは、画像を構成する全画素に対応する画像信号に対してそれぞれオフセット処理を行ってステップＳ３へ進む。具体的には、次式（１）で示すように、画素位置[i,j]で示される画素に対応する信号値Ｘ[i,j]にオフセットΛを加え、オフセット処理後の信号値Ｘ'[i,j]を得る。
Ｘ'[i,j]＝Ｘ[i,j]＋Λ （１）
ただし、オフセットΛは撮影時に撮像素子に対して設定されていた撮像感度（以後ＩＳＯ感度と呼ぶ）に応じて決定する。たとえば、ＩＳＯ６４００相当の場合にはΛ＝０．０５Ｘmaxに、ＩＳＯ１６００相当の場合にはΛ＝０．０２Ｘmaxに、ＩＳＯ２００相当以下ではΛ＝０にする。Ｘmaxは、入力される画像信号Ｘの階調数の最大値（すなわち、フルスケール値）である。すなわち、線形入力階調信号Ｘの範囲は０≦Ｘ≦Ｘmaxである。本実施形態では、Ｒ成分、Ｇ成分、およびＢ成分に対して共通のオフセットΛを加える。

ステップＳ３において、ＣＰＵは、オフセット処理後の信号値Ｘ'[i,j]に対して次式（２）による平方根階調空間へのガンマ補正を行ってステップＳ４へ進む。ガンマ補正後の平方根階調空間は、補間処理用の空間である。
Ｙ＝Ｙmax×√(Ｘ'／Ｘmax) （２）
ただし、階調変換後の信号Ｙの範囲は０≦Ｙ≦Ｙmaxである。

ステップＳ４において、ＣＰＵは以下のように補間処理を行う。ここで、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼び、補間処理用の空間における画素位置[i,j]で示される画素に対応するＲ成分の信号値をＲ[i,j]、Ｇ成分の信号値をＧ[i,j]、Ｂ成分の信号値をＢ[i,j]で表すことにする。

（方向判定）
ＣＰＵは、画素位置[i,j]で示されるＧ画素でない画素（Ｒ画素もしくはＢ画素）に関して、縦方向の類似度CvＮ[i,j]、および横方向の類似度ChＮ[i,j]をそれぞれ次式（３）、（４）により算出する。

ただし、Z［i,j］は画素位置［i,j］で示されるＲ成分またはＢ成分の信号値である。

上式(３)、(４)における第１項の絶対値は、Ｇ色成分同士で比較して大まかな方向性を検出するものである。上式(３)、(４)の第２項および第３項の絶対値は、第１項では検出できない細かな類似性を検出するものである。ＣＰＵは、上式(３)、(４)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標［i,j］における縦横の類似度に基づいて次式（５）により類似性の方向を判定する。

ただし、Thは信号値に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、上記ＩＳＯ感度に応じて変化させる。HV［i,j］は画素位置［i,j］に関する類似性の方向を示し、HV［i,j］=0の場合は縦横両方向類似、HV［i,j］=1の場合は縦方向類似、HV［i,j］=-1の場合は横方向類似である。

（Ｇ補間）
ＣＰＵは、判定した類似方向に基づき、Ｒ成分もしくはＢ成分の凸凹情報を利用してＧ成分の補間を行う。Ｇ色補間は、たとえば図４で示される中央のＲ画素の位置［i,j］に対して、縦方向類似の場合は次式(６)および（９）により算出し、横方向類似の場合は次式(７)および（１０）により算出する。Ｂ画素の位置に対してＧ色補間を行う場合の画素位置は図５によって示される。

上式(９)における第１項は、画素位置［i,j］に対して縦に並ぶＧ成分の信号値Ｇ［i,j-1］およびＧ［i,j+1］から算出される平均値を表す。上式(９)における第２項は、縦に並ぶＲ成分の信号値Ｒ［i,j］、Ｒ［i,j-2］およびＲ［i,j+2］から算出される変化量を表す。Ｇ成分の信号値の平均値にＲ成分の信号値の変化量を加えることにより、Ｇ成分の補間値Ｇ［i,j］が得られる。このような補間をＧ成分の内分点以外も予測可能なことから、便宜的に外挿補間と呼ぶことにする。

上式(１０)は、上述した縦方向の外挿補間の場合と同様に、画素位置［i,j］に対して横に並ぶ画素の信号値を用いて横方向に外挿補間を行うものである。

ＣＰＵは、類似の方向が縦横両方向と分類されている場合は、上式(９)および(１０)によりＧ色補間値をそれぞれ算出し、算出された２つのＧ色補間値の平均をとってＧ色補間値とする。

（Ｒ補間）
Ｒ色補間は、たとえば図６で示されるＲ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１１)〜(１３)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（図７）の凸凹情報が利用される。

上式(１１)〜(１３)における第１項は、Ｒ成分補間の対象とする座標に隣接するＲ成分信号値から算出される平均値を表し、上式(１１)〜(１３)における第２項は、Ｒ成分補間の対象とする座標およびこの座標に隣接するＧ成分信号値から算出される変化量を表す。すなわち、Ｇ補間で行われた外挿補間と同様に、Ｒ成分信号値の平均値にＧ成分の信号値の変化量を加えてＲ成分の補間値を得る。これは、Ｒ位置で色差Ｃｒ＝Ｒ−Ｇを生成し、この色差面内で平均補間する方式と等価である。

（Ｂ補間）
Ｂ成分補間についてもＲ成分と同様に補間処理を行う。たとえば図８で示されるＢ画素の位置［i,j］以外の画素位置［i+1,j］、［i,j+1］、［i+1,j+1］に対して、それぞれ次式(１４)〜(１６)により算出される。このとき、上述したＧ補間により得られた全ての画素位置に対応するＧ成分信号値（図９）の凸凹情報が利用される。

上式(１４)〜(１６)によれば、Ｂ成分信号値の平均値にＧ成分の信号値の変化量を加えてＢ成分の補間値を得る。これは、Ｂ位置で色差Ｃｂ＝Ｂ−Ｇを生成し、この色差面内で平均補間する方式と等価である。Ｒ成分およびＢ成分は、Ｇ成分に比べてサンプル周波数が低いので、色差Ｒ−Ｇ、色差Ｂ−Ｇを利用してＧ成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。

以上説明した補間処理により、全画素位置に対応したＧ成分、Ｒ成分、およびＢ成分の３色分の信号値を有する画像が復元される。ＣＰＵは、補間処理を終了するとステップＳ５へ進む。

ステップＳ５において、ＣＰＵは、画像復元後の信号値Ｙ＝Ｒ,Ｇ,Ｂに対して次式（１７）による線形階調空間への逆ガンマ補正を行ってステップＳ６へ進む。
Ｘ'＝Ｘmax×(Ｙ／Ｙmax)² （１７）
ただし、Ｘ'＝Ｒout',Ｇout',Ｂout'を表す。

ステップＳ６において、ＣＰＵは、全画素に対応する画像信号に対してそれぞれ逆オフセット処理を行ってステップＳ７へ進む。具体的には、次式（１８）で示すように、画素位置[i,j]で示される画素に対応する信号値Ｘ'[i,j]からオフセットΛを減じ、逆オフセット処理後の信号値Ｘ[i,j]を得る。
Ｘ[i,j]＝Ｘ'[i,j]−Λ （１８）
ただし、Ｘ＝Ｒout,Ｇout,Ｂoutを表す。

ステップＳ７において、ＣＰＵは、復元後の画像、すなわち、線形階調空間で表された画像信号（ＲＧＢ信号）を出力して図２による処理を終了する。ＣＰＵは、このＲＧＢ信号に対して最終的なガンマ補正（たとえば、使用する表示モニタに適した補正）や色調整（ユーザーにより指示された調整やデバイスインディペンデントな色空間に変換するための調整）などを必要に応じて行う。

（オフセット付き平方根変換による均等ノイズ空間）
上述した補間処理用の空間について、さらに詳細に説明する。一般に、撮像素子から出力される画像信号には種々のノイズが含まれている。ノイズはランダムノイズと固定パターンノイズとに大別され、ランダムノイズはさらに、ショットノイズとダークノイズとに分類される。

固定パターンノイズは、撮像素子の製造プロセスにおいて発生する開口ムラなどに起因する素子固有のノイズである。ショットノイズおよびダークノイズは、撮像素子の画素を構成するフォトダイオードなどの光電変換素子の特性に起因するノイズである。ショットノイズはフォトンの揺らぎによって生じするノイズであり、入射光量の平方根に比例して増加する。ダークノイズは暗電流ノイズを含み、入射光量に無関係に生じるとともに、アナログゲインに比例して増加する。アナログゲインは、ＩＳＯ感度を決定するパラメータである。

図１０は、撮像素子の信号特性を説明する図である。両対数スケールで表された図１０において、横軸は撮像面照度を、縦軸は信号の電子数をそれぞれ表す。直線１１は光信号を表し、入射光量に比例して光信号（電子数）が増加することを示している。直線１２は光ショットノイズを表し、入射光量の１／２乗に比例してノイズ（電子数）が増加することを示している。直線１３はダークノイズを表し、入射光量にかかわらずノイズ（電子数）が存在することを示している。

階調変換時に影響を及ぼすダークノイズ、ショットノイズに着目すると、トータルノイズδｘは次式（１９）で表される。
δｘ＝√(Ｎｓ²＋Ｎｄ²) （１９）
ただし、Ｎｓはショットノイズ、Ｎｄはダークノイズである。ｘはＡ／Ｄ変換直後の信号レベルであり、既にアナログゲインによって増幅されている。また、ｘは便宜上入力される信号の階調数の最大値（すなわち、フルスケール値）で除して規格化されているものとする。

ショットノイズおよびダークノイズは、それぞれ次式（２０）および（２１）のようにモデル化できる。
Ｎｓ(ｇ)＝ｍｓ×√(ｇ×ｘ) （２０）
Ｎｄ(ｇ)＝ｍｄ×ｇ＋ｎｄ（２１）
ただし、ｍおよびｎはノイズモデルのパラメータ、ｇはアナログゲイン（すなわち、撮像素子に対して設定されているＩＳＯ感度）である。

上式（２０）および（２１）によるノイズモデルを式（１９）へ代入し、パラメータを簡略な形式に再定義すると次式（２２）が得られる。
δｘ＝２α(ｇ)×√(ｘ＋β(ｇ)) （２２）

一方、上述したオフセット処理（ステップＳ２）後の平方根ガンマ処理（ステップＳ３）によって変換された補間処理用の空間（オフセット付き平方根階調空間と呼ぶ）は、次式（２３）で表される。
ｙ＝√(ｘ＋ε) （２３）
ただし、ｘ＝Ｘ／Ｘmax、ｙ＝Ｙ／Ｙmax、εはオフセットΛに対応する（ε＝Λ／Ｘmax）。

式（２３）の補間用階調空間におけるノイズδｙは、誤差伝播則を用いると次式（２４）で表される。
δｙ＝√((dｙ/dｘ)²×δｘ²) （２４）
式（２４）に上式（２２）および（２３）を代入するとノイズδｙは次式（２５）のように求まる。
δｙ＝α(ｇ)×√((ｘ＋β(ｇ))/(ｘ＋ε)) （２５）

上式（２５）は、ε＝β(ｇ)が成立する場合にノイズδｙが線形入力階調信号の値ｘによらず一定値α(ｇ)となることを示す。つまり、オフセット付き平方根階調空間は、ε＝β(ｇ)が成立する場合に均等ノイズ空間になる。本発明では、オフセット量ε（ステップＳ２のΛ）をＩＳＯ感度に応じて変化させることにより、ε＝β(ｇ)を成立させる。この成立条件の例が、上述したΛ＝０．０５Ｘmax（ＩＳＯ６４００相当）、Λ＝０．０２Ｘmax（ＩＳＯ１６００相当）である。なお、均等ノイズα(ｇ)はＩＳＯ感度に応じて変化する（ここでは増加）ため、上述した判定閾値Thについて、Th∝α(ｇ)の関係を有するように変化させる。

図１１は、均等ノイズ空間を説明する模式図である。図１１において、横軸は線形階調信号の入力値ｘを、縦軸は階調変換後の出力値ｙを示す。曲線２３によって表される出力値ｙには誤差δｙが重畳し、この誤差δｙは入力値ｘの値によらず常に一定値α(ｇ)である。つまり、均等ノイズ空間ではノイズの揺らぎ幅が画像の明るさ（入力値の大きさ）によらず常に一定になる。

（平方根階調空間との比較）
図１２は、線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間におけるそれぞれの入出力特性を示す図である。図１２において、横軸は線形階調信号入力値ｘを、縦軸は階調変換後の出力値ｙをそれぞれ表す。直線２１は線形変換時の入出力特性を、曲線２２は平方根空間への入出力特性を、曲線２３はオフセット付き平方根空間への入出力特性を、それぞれ示す。曲線２２によれば、ダークノイズが支配的となる線形入力値が小さい領域（たとえば、０＜ｘ＜０．１）、すなわち、低輝度領域において傾きが急峻になる。このため、入力値にノイズによる揺らぎが生じると、入力側で生じた揺らぎより大きく増幅された揺らぎが出力される。

平方根階調空間で発生する揺らぎの増幅によって生じる画質劣化について説明する。Ｒ成分補間を例にとれば、Ｇ補間により得られたＧ成分信号値の凸凹情報を利用してＲ成分を補間するので、補間されたＲ成分信号値はＧ成分信号値に含まれるノイズ揺らぎの影響を受ける。補間されたＲ成分信号値に含まれるノイズδＲ_interpolatedは、誤差伝播則を用いると次式（２６）で表される。

ただし、各誤差項の前につく偏微分係数は１程度の値なので省略している。

赤地の画像の場合、Ｒ画素で得られる信号値は大きく、補間されるＧ成分信号値は小さい。上述したように、平方根階調空間（曲線２２）では暗い（線形入力値が小さい）ところでノイズが増幅されるので、大きなＲ成分の信号値に重畳するノイズδＲ_Bayerに比べて小さなＧ成分信号値に重畳するノイズδＧ_interpolatedは非常に大きな値になる。この結果、補間されるＲ成分信号値のノイズδＲ_interpolatedがノイズδＧ_interpolatedによって大きく振られた場合には当該Ｒ成分信号値が０付近まで小さく落ち込むので、この信号値は赤地の中の黒点として表現されてしまう。このように、単なる平方根階調空間で補間処理を行うと、Ｒ、Ｇ、Ｂそれぞれの明るさに依存してδＲ_BayerとδＧ_interpolatedとが振れてしまう。

これに対して、オフセット付き平方根階調空間（曲線２３）では、ダークノイズが支配的となる領域（たとえば、０＜ｘ＜０．１）でも傾きが急峻にならない。したがって、赤地の画像の場合に小さなＧ成分信号値に重畳するノイズδＧ_interpolatedが大きな値にならないため、補間されたＲ成分信号値に含まれるノイズδＲ_interpolatedが振られることがなくなり、赤地の中に黒点が生じることがなくなる。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）画像を構成する全ての画素位置において全色成分（上記の例ではＲＧＢ）の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号ｘに対して撮像素子に設定されているＩＳＯ感度の関数として表されるオフセットε（ε＝β(ＩＳＯ感度））を加え、オフセット後の(ｘ＋ε)を１／２乗のガンマ空間へ変換する。したがって、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は、オフセットεを付加してからガンマ補正するので全階調にわたって均等になる。全階調にわたって均等化されたノイズの揺らぎ幅をＩＳＯ感度毎のノイズプロファイルとして１つの代表値で表し、この代表値に応じて方向判定閾値Th（Th∝(ＩＳＯ感度））を定める結果、補間処理時の方向判定精度が高まると同時に、補間後（画像復元後）の画像の色鮮明性が向上するという、平方根特性が有する高画質な画像復元の性質をも継承できる。

（２）上記（１）に加えて、オフセット付き平方根階調空間を示す曲線２３は、単なる平方根階調空間を示す曲線２２と比べると線形入力信号値が小さい領域（たとえば、０＜ｘ＜０．１）において傾きが急峻とならない。この結果、線形入力値に生じたノイズより大きく増幅されたノイズが出力され、増幅されたノイズで画像復元後の画質が劣化するという平方根階調空間で補間処理を行う場合に生じる問題を解消できる。とくに、ダークノイズが多く含まれる状態（撮像素子の感度をＩＳＯ１６００相当〜６４００相当に高めた場合や、撮像素子を構成する光電変換素子の暗電流が大きい場合）において顕著な効果が得られる。

（３）上記（１）および（２）により、線形階調空間で生じやすい暗部との色境界での滲みが無く、鮮明で、かつ平方根階調空間より曲がり（曲率）が強いガンマ空間や対数空間で生じやすい色境界での黒筋・黒縁の発生がない高画質な復元画像が得られる。

上述した説明では、ベイア配列のカラーフィルタを例に説明したが、デルタ配列をはじめとする他のフィルタ配列の場合にも適用できる。

上記の説明で行った補間処理（画像復元）は一例であり、他の補間方式による処理を行ってもよい。たとえば、米国特許出願公開第２００２／０００１４０９号明細書に記載されている多色外挿補間、国際公開ＷＯ０２／０７１７６１号パンフレットに記載のＹ方式補間、米国特許第５５５２８２７号明細書に記載の色比補間または色差・外挿補間、特開２００３−３４８６０８号公報に記載のデルタ配列補間などである。

以上の説明では、カラーフィルタを介して単板式撮像素子で撮像される画像について説明したが、２板式撮像素子で撮像される画像に対して適用してもよい。

上述したオフセット値Λ＝０．０５Ｘmax（ＩＳＯ６４００相当）、Λ＝０．０２Ｘmax（ＩＳＯ１６００相当）は一例であり、設定されているアナログゲイン、周囲温度、実際のノイズの状態に応じて適宜変更してよい。

上記の説明では、Ｒ成分、Ｇ成分、およびＢ成分に対して共通のオフセットΛを加えるようにした。この代わりに、各成分に対してそれぞれ異なるオフセットを加えるようにしてもよい。

上述したオフセット処理（ステップＳ２）および平方根ガンマ補正処理（ステップＳ３）を補間用ガンマ補正処理として纏めて行うようにしてもよい。

上述した逆ガンマ補正処理（ステップＳ５）および逆オフセット処理（ステップＳ６）を逆ガンマ補正処理として纏めて行うようにしてもよい。

補間用ガンマ補正処理として纏めて行う場合、次式（２７）で表される補間処理用空間へ変換してもよい。

ただし、ｘ＝Ｘ／Ｘmax、ｙ＝Ｙ／Ｙmax、εはオフセットΛに対応する（ε＝Λ／Ｘmax）。

式（２７）の補間用階調空間におけるノイズδｙは、誤差伝播則を用いると次式（２８）で表される。上式（２８）にε＝β(ｇ)を代入するとノイズδｙは式（２９）で表され、補間用階調空間はε＝β(ｇ)が成立する場合に均等ノイズ空間になる。

図１３は、線形階調空間、平方根階調空間、および式（２７）による補間用階調空間におけるそれぞれの入出力特性を示す図である。図１３において、横軸は線形階調信号入力値ｘを、縦軸は階調変換後の出力値ｙをそれぞれ表す。直線２１および曲線２２は図１２と同一であり、それぞれ線形変換時の入出力特性、および平方根空間への入出力特性を示す。曲線３１は補間用階調空間への入出力特性を示す。曲線３１は、原点を通る点が図１２の曲線２３と異なっている。この様な補間用階調空間を用いて画像復元処理を行う場合にも、図１２の曲線２３が示すオフセット付き平方根階調空間を用いる場合と同様に、高画質な画像復元を行うことができる。

オフセット付き平方根階調空間（曲線２３）の代わりに、撮像素子に設定されているＩＳＯ感度に応じて曲率が異なる曲線によって示される階調空間を用いてもよい。この場合には、ＩＳＯ感度が低いほど曲率を大きく、ＩＳＯ感度が高いほど曲率を小さくする。曲率を大きくするには平方根特性（曲線）に近づければよく、曲率を小さくするには、線形特性（直線）に近づければよい。このような階調空間は、たとえば、線形特性（直線）＋平方根特性（曲線）で構成される入出力特性を有する空間、Γ＝１．６７のガンマ空間などによって与えられる。

（第二の実施形態）
第一の実施形態では均等ノイズ空間（オフセット付き平方根階調空間（もしくは補間処理用空間））で補間処理を行って画像を復元する画像処理装置について説明した。均等ノイズ空間は、補間処理以外の他の処理を行う場合にも有効である。第二の実施形態では、均等ノイズ空間において画像の平坦部（変化がない部分）を検出し、検出した平坦部に対してぼかし処理を行う場合について説明する。

図１４は、第二の実施形態による画像処理の流れを説明するフローチャートである。図１４のステップＳ１１において、コンピュータ装置１００（図３）のＣＰＵは、線形階調空間で表された画像信号を入力してステップＳ２へ進む。画像信号は、たとえば、モノクロ単板画像、３板式カラー画像、および第一の実施形態による補間処理で得られた補間済みカラー画像などである。

ステップＳ２およびステップＳ３は、図２における同一ステップ番号の処理と同一なので説明を省略する。

ステップＳ１４において、ＣＰＵは画像処理（この場合は平坦部検出処理およびぼかし処理）を行う。
（平坦部検出）
入力された画像信号がモノクロ画像の場合を例にすると、ＣＰＵは次式（３０）および図１５によって示される高周波数成分の抽出（ハイパスフィルタ処理）を行う。

ただし、注目画素は図１５において中心に位置する画素とし、式（３０）におけるΔはラプラシアン演算子を表す。

ＣＰＵは、上式(３０)により得られた高周波数成分に基づいて次式（３１）により平坦度を判定する。

ただし、σThは信号に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、σTh∝α（ｇ）の関係を有する。ＣＰＵは、上式（３１）で１が得られる場合に画像が平坦であると判定し、０が得られる場合には平坦でないと判定する。

（ぼかし処理）
ＣＰＵは、上式(３１)により得られた判定結果に基づいて次式（３２）および図１６によって示されるローパスフィルタ処理を行う。この処理により、高周波数成分が除去されてぼかし効果が得られる。ＣＰＵは、ローパスフィルタ処理（ぼかし処理）を終了すると図１４のステップＳ５へ進む。

ステップＳ５およびステップＳ６は、図２における同一ステップ番号の処理と同一なので説明を省略する。

ステップＳ１７において、ＣＰＵは、補正処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図１４による処理を終了する。

以上説明した第二の実施形態によれば、均等ノイズ空間を利用することにより全階調にわたってＩＳＯ感度毎のノイズプロファイルを１つの代表値（α（ｇ））で表すことができ、この代表値に応じて平坦部検出時の判定閾値σTh（σTh∝α（ｇ））を定めることができるので、画像の平坦部検出を極めて簡略に、かつ正確に抽出することができる。このように抽出した平坦部に対してぼかし処理を行うので、画像の明るさによって特性の異なるノイズの影響を受けてぼかし処理を施したり施さなかったりすることがなくなり、全階調にわたって適切にぼかし処理を行うことができる。

上式（３２）によるＬＰＦ（ローパスフィルタ）処理の代わりにＢＰＦ（バンドパスフィルタ）処理を行うことにより、エッジ強調を行う構成にしてもよい。ただし、この場合は平坦部でない領域にかけるのが望ましい。

（第三の実施形態）
第三の実施形態では、均等ノイズ空間においてカラー画像の輝度面、色差面のそれぞれにノイズ除去処理を行う場合について説明する。

図１４のステップＳ１１において、ＣＰＵは、線形階調空間で表された補間済みカラー画像信号を入力してステップＳ２へ進む。ステップＳ２およびステップＳ３は、図２における同一ステップ番号の処理と同一なので説明を省略する。

ステップＳ１４において、ＣＰＵは画像処理（この場合は色空間変換（ＲＧＢ→ＹＣｂＣｒ）処理、ノイズ除去処理および色空間変換（ＹＣｂＣｒ→ＲＧＢ）処理）を行う。ＣＰＵは、たとえば、３×３マトリクス係数を用いた周知の色空間変換処理を施すことによって画像信号を色空間（ＲＧＢ）から色空間（ＹＣｂＣｒ）へ変換する。ＣＰＵはさらに、変換後の輝度信号Ｙ、色差信号ＣｂおよびＣｒのそれぞれに対して次式（３３）によるノイズ除去処理（この例ではガウスぼかし処理）を行う。

ただし、ｘは２次元平面内の注目画素、ｘ'はその近傍画素を示す。平滑化の加重係数を閾値σTh（σTh∝α（ｇ））に対する画素値差分｜Ａ（ｘ）−Ａ（ｘ'）｜の変化比に応じて決定するため、ＹＣｂＣｒ各面がノイズ揺らぎの大きさに応じてぼかし処理される。すなわち、平坦部では信号はＡ（ｘ'）≒Ａ（ｘ）であってもＡ（ｘ'）＝Ａ（ｘ）±σTh程度の揺らぎをもっており、この程度に揺らぐ似たような信号領域は平滑化対象領域となり、エッジ部などの構造が異なる領域は｜Ａ（ｘ'）−Ａ（ｘ）｜≫σThとなるので平滑化対象領域からはずれることになる。なお、平滑化の積分範囲は７×７画素や１５×１５画素といったように目的に応じて任意に設定してよい。ＣＰＵは、上記ガウスぼかし処理を終了すると色空間（ＹＣｂＣｒ）から色空間（ＲＧＢ）に変換した後、図１４のステップＳ５へ進む。

ステップＳ１７において、ＣＰＵは画像処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図１４による処理を終了する。

以上説明した第三の実施形態によれば、均等ノイズ空間を利用することにより全階調にわたってＩＳＯ感度毎のノイズプロファイルを１つの代表値で表すことができ、この代表値に応じてガウスぼかし処理における信号差分に基づいた平滑化加重係数の割合を定めるので、画像の明るさによって特性の異なるノイズの影響を受けてガウスぼかし処理の程度が変化することがなくなり、ガウスぼかし処理が非常に行いやすくなる。また、全階調にわたって抜群のノイズ除去効果を得ることができる。

上記色差面に対するノイズ除去処理は、色まだらや色モアレの抑制に効果が得られる。また、上記輝度面に対するノイズ除去処理は、ざらつきを抑える効果が得られる。

上述した説明では、輝度および色差に対して共通の閾値σThを用いてノイズ除去処理を行うようにしたが、それぞれ異なるパラメータを用いて独立した処理を行うようにしてもよい。また、色差面に対する処理だけを行ってもよいし、輝度面に対する処理だけを行ってもよい。

以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００４年第２００８９０号（２００４年７月７日出願）

Claims

各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、
前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、
前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、
前記階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第１の画像を第２の画像に変換する画像変換部と、
前記変換後の第２の画像の信号の各々を、線形階調の画像信号へ逆変換する逆階調変換部と、
前記逆階調変換後の画像信号の各々から前記所定量のオフセット信号を減じる逆オフセット部と、
を備えることを特徴とする画像処理装置。
各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、
前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、
前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、
前記階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する色情報生成部と、
前記変換後の第２の画像の信号の各々を、線形階調の画像信号へ逆変換する逆階調変換部と、
前記逆階調変換後の画像信号の各々から前記所定量のオフセット信号を減じる逆オフセット部と、
を備えることを特徴とする画像処理装置。
各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、
前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、
前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、
前記階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、前記入力画像信号が有するノイズ特性の代表値として評価するノイズ評価部と、
前記階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第１の画像を第２の画像に変換する画像変換部と、
を備えることを特徴とする画像処理装置。
請求項３に記載の画像処理装置において、
前記画像変換部は、前記ノイズ評価部で得られる前記代表値を用いて、前記第１の画像を前記第２の画像に変換することを特徴とする画像処理装置。
各画素に少なくとも１つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、
前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、
前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、
前記階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、前記入力画像信号が有するノイズ特性の代表値として評価するノイズ評価部と、
前記階調変換後の複数画素の画像信号を用いて、各画素に少なくとも１つの共通した色成分信号を生成する色情報生成部と、
を備えることを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記色情報生成部は、前記ノイズ評価部で得られる前記代表値を用いて、前記各画素に少なくとも１つの共通した色成分信号を生成することを特徴とする画像処理装置。