WO2006006373A1

WO2006006373A1 - 画像処理装置およびコンピュータプログラム製品

Info

Publication number: WO2006006373A1
Application number: PCT/JP2005/011598
Authority: WO
Inventors: Kenichi Ishiga
Original assignee: Nikon Corporation
Priority date: 2004-07-07
Filing date: 2005-06-24
Publication date: 2006-01-19
Also published as: EP1781043A1; JPWO2006006373A1; US7957588B2; EP1781043A4; JP5067499B2; JP2012054985A; EP1781043B1; JP4910699B2; US20080123999A1

Abstract

　画像を構成する全ての画素位置において全色成分（ＲＧＢ）の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号ｘに対して撮像素子に設定されているＩＳＯ感度に比例するオフセットεを加え、オフセット後の(ｘ＋ε)を１／２乗のガンマ空間へ変換する。したがって、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は全階調にわたって均等になる。オフセット付き平方根階調空間を示す曲線２３は、単なる平方根階調空間を示す曲線２２と比べると線形入力信号値が小さい領域（たとえば、０＜ｘ＜０．１）において傾きが急峻とならない。

Description

明細書

画像処理装置およびコンピュータプログラム製品

技術分野

[0001] 本発明は、ノイズを含む画像、とくに、撮像素子のノイズを含む画像を処理する場合に適した階調空間を利用する画像処理技術に関する。

背景技術

[0002] 例えば、べィァ配列のような色配列を有するカラーフィルタを通して撮像され、その色成分がサブサンプリングされた画像を補間してカラー画像に復元する処理においては、補間処理を行うための階調空間力 ^、くつ力提案されている。特許文献 1には、 G色成分を線形階調で単純平均した後、 R色、 G色、 B色の各色成分を対数階調空間へ変換し、この階調空間で R色成分および B色成分を G色成分との差分をとることにより色差面で補間する技術が開示されている。また、特許文献 2には、補間処理以降の圧縮処理、およびディスプレイ表示等の処理に合わせて、色成分信号をあらかじめ Γ = 2. 4のガンマ空間 (R^1/r,G^{1/ r},B^{1/ r})へ変換し、このガンマ空間で補間処理等の画像処理を一本ィヒして行うことによって階調変換の繰り返しに伴う量子化誤差を抑える技術が開示されている。特許文献 3には、色成分信号を平方根特性のガンマ空間に変換し、このガンマ空間で補間処理を行うことによって画像に含まれているシヨットノイズの影響を抑えて鮮明な画像を得る技術が開示されている。

[0003] 特許文献 1：米国特許第 4642678号明細書

特許文献 2 :米国特許第 5172227号明細書

特許文献 3：特開 2004— 7164号公報

発明の開示

発明が解決しょうとする課題

[0004] 上述した階調空間は!、ずれも画像に含まれるダークノイズによる影響を受けやすく、撮像素子で生じる暗電流ノイズに関連したノイズを多く含む画像に対して補間処理を行うと、これらのダークノイズを増幅してしまい、復元後の画質を損ねてしまうおそれがあった。とくに、 ISO感度を高めて (たとえば、 ISO1600相当以上)撮像された画像に対して補間処理を行う場合には問題となりやすい。画質劣化の例として、補間処理後の画像の赤地領域に黒点が発生することがあげられる。また、補間処理に限らず撮像素子を用いて取得した画像を処理するとき、一般にこれらセンサーノイズの影響を受ける。そこで本件は、センサーノイズを含む画像を処理する場合に適した階調空間を提供する。

課題を解決するための手段

本発明の第 1の態様によると、画像処理装置は、各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力手段と、線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット手段と、オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換手段と

、階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第 1の画像を第 2の画像に変換する画像変換手段とを備える。

本発明の第 2の態様によると、画像処理装置は、各画素に少なくとも 1つの色成分信号を有した複数種類の色成分信号カゝらなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力手段と、線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット手段と、オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換手段と、階調変換後の複数画素の画像信号を用いて、各画素に少なくとも 1つの共通した色成分信号を生成する色情報生成手段とを備える。

本発明の第 3の態様によると、第 1の態様の画像処理装置はさらに、階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、入力画像信号が有するノイズ特性の代表値として評価するノイズ評価手段を備えてもよい。

本発明の第 4の態様によると、第 3の態様の画像処理装置において、ノイズ評価手段で得られる代表値を用いて、第 1の画像を第 2の画像に変換するように画像変換手段を構成してもよい。

本発明の第 5の態様によると、第 2の態様の画像処理装置はさらに、階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、入力画像信号が有するノイズ特性の代表値として評価するノイズ評価手段を備えてもよい。本発明の第 6の態様によると、第 5の態様の画像処理装置において、ノイズ評価手段で得られる代表値を用いて、各画素に少なくとも 1つの共通した色成分信号を生成するように色情報生成手段を構成してもよ、。

本発明の第 7の態様によると、画像処理装置は、各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力手段と、線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット手段と、オフセット信号が加えられた画像信号の各々を、非線形階調の画像信号に変換する階調変換手段と、階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第 1の画像を第 2の画像に変換する画像変換手段とを備える。

本発明の第 8の態様によると、画像処理装置は、各画素に少なくとも 1つの色成分信号を有した複数種類の色成分信号カゝらなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力手段と、線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット手段と、オフセット信号が加えられた画像信号の各々を、非線形階調の画像信号に変換する階調変換手段と、階調変換後の複数画素の画像信号を用いて、各画素に少なくとも 1つの共通した色成分信号を生成する色情報生成手段とを備える。

本発明の第 9の態様によると、第 1〜第 8のいずれかの態様の画像処理装置において、所定量を正の値にするようにオフセット手段を構成してもよ、。

本発明の第 10の態様によると、第 1〜第 9のいずれかの態様の画像処理装置にお V、て、入力画像の撮像時に撮像素子に設定されて、た撮像感度に応じて所定量を変化させるようにオフセット手段を構成してもよ、。

本発明の第 11の態様によると、第 10の態様の画像処理装置において、撮像感度が高、ほど所定量を増カロさせるようにオフセット手段を構成してもよ、。

本発明の第 12の態様によると、第 1または第 7の態様の画像処理装置はさらに、変換後の第 2の画像の信号の各々を、線形階調の画像信号へ逆変換する逆階調変換手段と、逆階調変換後の画像信号の各々力所定量のオフセット信号を減じる逆ォフセット手段とを備えてもょ、。

本発明の第 13の態様によると、第 2または第 8の態様の画像処理装置はさらに、生成された色成分信号の画像信号の各々を、線形階調の画像信号へ逆変換する逆階調変換手段と、逆階調変換後の画像信号の各々力所定量のオフセット信号を減じる逆オフセット手段とを備えてもよ、。

本発明の第 14の態様によると、画像処理装置は、各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力手段と、線形階調の画像信号の各々を非線形階調の画像信号に変換する階調変換手段と、階調変換後の複数画素の画像信号を用いて所定の画像処理を行ヽ、第 1の画像を第 2の画像に変換する画像変換手段と、入力画像の撮像時に撮像素子に設定されて!ヽた撮像感度に応じて非線形階調特性を変化させるように階調変換手段を制御する制御手段とを備える本発明の第 15の態様によると、画像処理装置は、各画素に少なくとも 1つの色成分信号を有した複数種類の色成分信号カゝらなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力手段と、線形階調の画像信号の各々を非線形階調の画像信号に変換する階調変換手段と、階調変換後の複数画素の画像信号を用いて、各画素に少なくとも 1つの共通した色成分信号を生成する色情報生成手段と、入力画像の撮像時に撮像素子に設定されていた撮像感度に応じて非線形階調特性を変化させるように階調変換手段を制御する制御手段とを備える本発明の第 16の態様によると、第 14または第 15の態様の画像処理装置において、撮像感度が低いほど低輝度側の階調特性の曲率を大きくし、撮像感度が高いほど低輝度側の階調特性の曲率を小さくするように階調変換手段を制御するべく制御手段を構成してもよい。

本発明の第 17の態様によると、第 14〜第 16のいずれかの態様の画像処理装置にぉ、て、撮像感度が低、ほど平方根階調特性に近づけるように階調変換手段を制御するべく制御手段を構成してもよヽ。

本発明の第 18の態様によると、第 2、第 8、第 15のいずれかの態様の画像処理装置において、各画素に共通した色成分信号を、少なくとも 2種類の色成分信号を用 Vヽて生成するべく色情報生成手段を構成してもよ!/ヽ。本発明の第 19の態様によると、第 18の態様の画像処理装置において、階調変換後の複数画素の非線形色成分信号を用いて少なくとも 2方向について類似度を算出し、各方向についての類似度間の差異を所定の閾値と比較することによって各方向についての類似性の強弱を判定し、この判定結果を用いて各画素に共通した色成分信号を生成するように色情報生成手段を構成してもよヽ。

本発明の第 20の態様によると、コンピュータプログラム製品は、各画素が受光量に比例した信号で表される線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット処理と、オフセット処理後の画像信号の各々を、非線形階調の画像信号に変換する階調変換処理と、階調変換処理後の複数画素の画像信号を用 V、て所定の画像処理を行!ヽ、第 1の画像を第 2の画像に変換する画像変換処理とを実行させる画像処理プログラムを有する。

本発明の第 21の態様によると、コンピュータプログラム製品は、各画素が受光量に比例した信号で表される線形階調の画像信号の各々を非線形階調の画像信号に変換する階調変換処理と、階調変換処理後の複数画素の画像信号を用いて所定の画像処理を行い、第 1の画像を第 2の画像に変換する画像変換処理と、画像の撮像時に撮像素子に設定されていた撮像感度に応じて非線形階調特性を変化させる階調制御処理とを実行させる画像処理プログラムを有する。

上記画像入力部は、画像入力手段と置き換えてもよい。

上記オフセット部は、オフセット手段と置き換えてもよい。

上記階調変換部は、階調変換手段と置き換えてもよい。

上記画像変換部は、画像変換手段と置き換えてもよい。

上記色情報生成部は、色情報生成手段と置き換えてもよ、。

上記ノイズ評価部は、ノイズ評価手段と置き換えてもよヽ。

上記逆階調変換部は、逆階調変換手段と置き換えてもよヽ。

上記逆オフセット部は、逆オフセット手段と置き換えてもよ、。

上記制御部は、制御手段と置き換えてもよい。

発明の効果

本発明によれば、撮像素子に起因するノイズが含まれる画像であっても、当該ノィズの影響を受けにくい階調空間を利用して画像処理を行うことができる。図面の簡単な説明

[0007] [図 1]べィァ配列を示す図である。

[図 2]本発明による画像補間処理の流れを説明するフローチャートである。

[図 3]プログラムの提供形態を説明する図である。

圆 4]G色補間を行う場合の画素位置を説明する図である。

[図 5]G色補間を行う場合の画素位置を説明する図である。

[図 6]R色補間を行う場合の画素位置を説明する図である。

[図 7]R色補間を行う場合の画素位置を説明する図である。

[図 8]B色補間を行う場合の画素位置を説明する図である。

[図 9]B色補間を行う場合の画素位置を説明する図である。

[図 10]撮像素子の信号特性を説明する図である。

[図 11]均等ノイズ空間を説明する模式図である。

[図 12]各階調空間の入出力特性を示す図である。

[図 13]各階調空間の入出力特性を示す図である。

[図 14]第二の実施形態による画像処理の流れを説明するフローチャートである。

[図 15]ハイパスフィルタ処理を説明する図である。

[図 16]ローパスフィルタ処理を説明する図である。

発明を実施するための最良の形態

[0008] 以下、本発明を実施するための最良の形態について説明する。

(第一の実施形態）

第一の実施形態では、 R (赤）、 G (緑)、 B (青）がべィァ配列されたカラーフィルタを通して撮像された画像に対して補間処理を行う画像処理を例にあげて説明する。この場合の画像の色は RGB表色系で示される。

[0009] 図 1は、べィァ配列を示す図である。このようなカラーフィルタを備える撮像素子から出力される画像信号は、 1画素当たり RGBのうちいずれか 1つの色成分の情報を有する。すなわち、 R色フィルタに対応する画素からは R色の情報が出力され、 G色フィルタに対応する画素からは G色の情報が出力され、 B色フィルタに対応する画素からは B色の情報が出力される。 R色フィルタに対応する画素情報を例にとれば、 R成分の情報だけで G成分、 B成分の情報がない。このため、画像を構成する全ての画素

、て RGB全色分の情報を得るためには、各画素位置にお、て不足する色成分の情報を補間処理によって算出する必要がある。

[0010] 図 2は、本発明による画像補間処理の流れを説明するフローチャートである。本実施形態では、図 2による処理を行うプログラムを図 3に示すコンピュータ装置 100に実行させること〖こより、画像処理装置を提供する。プログラムをパーソナルコンピュータ 1 00に取込む場合には、パーソナルコンピュータ 100のデータストレージ装置にプログラムをローデイングした上で当該プログラムを実行させることにより、画像処理装置として使用する。

[0011] プログラムのローデイングは、プログラムを格納した CD—ROMなどの記録媒体 10 4をパーソナルコンピュータ 100にセットして行ってもよいし、ネットワークなどの通信回線 101を経由する方法でパーソナルコンピュータ 100へローデイングしてもよい。ネットワーク 101を経由する場合は、ネットワーク 101に接続されたサーバコンビユータ 102のハードディスク装置 103などにプログラムを格納しておく。このように、プログラムは記録媒体 104や通信回線 101を介する提供などの種々の形態のコンピュータプログラム製品として供給される。

[0012] 図 2のステップ S1において、コンピュータ装置 100 (図 3)の CPUは、線形階調空間で表された画像信号 (ベィァ信号)を入力してステップ S2へ進む。具体的には、補間処理の対象とする画像データをワークエリアに読み出す。このとき、各色成分がガンマ補正された階調空間で表されている場合には、ガンマ補正前の線形階調空間における信号値へ戻す。

[0013] ステップ S2において、 CPUは、画像を構成する全画素に対応する画像信号に対してそれぞれオフセット処理を行ってステップ S3へ進む。具体的には、次式（1)で示すように、画素位置 [i,j]で示される画素に対応する信号値 X[i,j]にオフセット Λを加え、オフセット処理後の信号値 X'[i,j]を得る。

X'[U] =X[U] + A (1)

ただし、オフセット Λは撮影時に撮像素子に対して設定されてヽた撮像感度（以後 IS O感度と呼ぶ）に応じて決定する。たとえば、 ISO6400相当の場合には Λ=0.05Χ maxに、 ISO1600相当の場合には Λ=0.02Xmaxに、 ISO200相当以下では Λ = 0にする。 Xmaxは、入力される画像信号 Xの階調数の最大値 (すなわち、フルスケール値)である。すなわち、線形入力階調信号 Xの範囲は 0≤X≤Xma_Xである。本実施形態では、 R成分、 G成分、および B成分に対して共通のオフセット Λをカ卩える。

[0014] ステップ S3において、 CPUは、オフセット処理後の信号値 X'[i,j]に対して次式（2) による平方根階調空間へのガンマ補正を行ってステップ S4へ進む。ガンマ補正後の平方根階調空間は、補間処理用の空間である。

Y=Ymax X ^(X'/Xmax) (2)

ただし、階調変換後の信号 Yの範囲は 0≤ Y≤ Ymaxである。

[0015] ステップ S4において、 CPUは以下のように補間処理を行う。ここで、 R成分の色情報を有する画素を R画素、 B成分の色情報を有する画素を B画素、 G成分の色情報を有する画素を G画素と呼び、補間処理用の空間における画素位置 [i,j]で示される画素に対応する R成分の信号値を R[i,j]、 G成分の信号値を G[i,j]、 B成分の信号値を B[i,j]で表すことにする。

[0016] (方向判定）

CPUは、画素位置 [i,j]で示される G画素でない画素 (R画素もしくは B画素）に関して、縦方向の類似度 CvN[i,j]、および横方向の類似度 ChN[i,j]をそれぞれ次式 (3)、 (4)により算出する。

[0017] [数 1]

【数 1】 Cv[i,j] = {|G[i,j-1]-G[i,i + 1]| + {[G[i,|-1]-Z[i,j]| + |G[i,j + 1]-Z[i,i]|)/2}/2 (3)

Ch[i,j]={iG[i-1 ,j]-G[i ₊ 1J]| ₊ {|G[I-1,j]-Z[i,j]| + |Gfi ₊ 1 ,j]-Z[i,j]|)/2}/2 ₍₄) ただし、 Z[i,j]は画素位置 [i,j]で示される R成分または B成分の信号値である。

[0018] 上式 (3)、（4)における第 1項の絶対値は、 G色成分同士で比較して大ま力な方向性を検出するものである。上式 (3)、（4)の第 2項および第 3項の絶対値は、第 1項では検出できない細かな類似性を検出するものである。 CPUは、上式 (3)、（4)により得られた縦方向の類似度および横方向の類似度を各座標ごとに算出し、対象とする座標 [i, j]における縦横の類似度に基づいて次式 (5)により類似性の方向を判定する。 [0019] [数 2]

【数 2】 if |Cv[i, j]-Ch[i, j]|≤Th HV[i, j]=0

(5) else if Cv[i, j]<Ch[i, j] HV[i, j] = 1

e!se HV[i, j]= -1 ただし、 Thは信号値に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、上記 ISO感度に応じて変化させる。 HV[i,j]は画素位置 [i,j]に関する類似性の方向を示し、 HV[i,j]=0の場合は縦横両方向類似、 HV[i,j]=lの場合は縦方向類似、 HV[i,j]=- 1の場合は横方向類似である。

[0020] (G補間）

CPUは、判定した類似方向に基づき、 R成分もしくは B成分の凸凹情報を利用して G成分の補間を行う。 G色補間は、たとえば図 4で示される中央の R画素の位置 [i,j] に対して、縦方向類似の場合は次式 (6)および (9)により算出し、横方向類似の場合は次式 (7)および（10)により算出する。 B画素の位置に対して G色補間を行う場合の画素位置は図 5によって示される。

[0021] [数 3]

【数 3】 HV[i,j] = 1の場合 G j] = Gv[i,jl (6)

HV[i,j]=-1の場合 G[i,j】=Gh[i,j】 (7)

HV[i,j】=0の場合 G[i,j] = (Gv[i,j] + Gh[i,j])/2 (8)

Gv[i,j] = (G[i,j-1] + G[i,j + 1])/2 + {2*Z[i_ti3-ZEi,j-2]-Z[i,j + 2])/4 (9) Gh[i,j] = (G[i-1,j] + G[i + 1 ,j])/2 ₊ (2*Z[i,j]-2[i-2,j]-Z[i + 2,j])/4 (₁₀) ただし、 Z[i,j]は画素位置 [i,j]で示される R成分または B成分の信号値である。

[0022] 上式 (9)における第 1項は、画素位置 [i,j]に対して縦に並ぶ G成分の信号値 G[i,j- 1]および G[i,j+1]から算出される平均値を表す。上式 (9)における第 2項は、縦に並ぶ R成分の信号値 R[i,j]、 R[i,j-2]および R[i,j+2]から算出される変化量を表す。 G 成分の信号値の平均値に R成分の信号値の変化量を加えることにより、 G成分の補間値 G[i,j]が得られる。このような補間を G成分の内分点以外も予測可能なことから、便宜的に外挿補間と呼ぶことにする。

[0023] 上式 (10)は、上述した縦方向の外挿補間の場合と同様に、画素位置 [i,j]に対して横に並ぶ画素の信号値を用いて横方向に外挿補間を行うものである。

[0024] CPUは、類似の方向が縦横両方向と分類されている場合は、上式 (9)および (10) により G色補間値をそれぞれ算出し、算出された 2つの G色補間値の平均をとつて G 色補間値とする。

[0025] (R補間）

R色補間は、たとえば図 6で示される R画素の位置 [i,j]以外の画素位置 [i+l,j]、 [i,j +1]、 [i+l,j+l]に対して、それぞれ次式 (11)〜(13)により算出される。このとき、上述した G補間により得られた全ての画素位置に対応する G成分信号値 (図 7)の凸凹情報が利用される。

[0026] 画

【数 4】 R[i + 1，j】 = (R〖i,j】 + R[i + 2,j])/2 + (2*G[i + 1,j】-G[i,j]-G【i+2,n)/2 。"

R[i,j + 1] = (R[i,j] + R[i,j + 2})/2 + {2*G[i,i + 1]-G[i_tj]-Gtl,j + 2|)/2 (12) R{i + 1 ,j + 1] = (R[l,jl + R[: + 2,j] + R[i,] + 2] + R[i + 2,j + 2])/4

+ {2*GIi + 1 ,] + 1]-G[i,i]-G[i + 2,j]-G[iJ + 23-G[i + 2,i+2])/4 (13)

[0027] 上式 (11)〜(13)における第 1項は、 R成分補間の対象とする座標に隣接する R成分信号値から算出される平均値を表し、上式 (11)〜(13)における第 2項は、 R成分補間の対象とする座標およびこの座標に隣接する G成分信号値カゝら算出される変化量を表す。すなわち、 G補間で行われた外挿補間と同様に、 R成分信号値の平均値に G 成分の信号値の変化量を加えて R成分の補間値を得る。これは、 R位置で色差 Cr= R—Gを生成し、この色差面内で平均補間する方式と等価である。

[0028] (B補間）

B成分補間についても R成分と同様に補間処理を行う。たとえば図 8で示される B画素の位置 [U]以外の画素位置 [i+l,j]、 [U+l]、 [i+l,j+l]に対して、それぞれ次式 (1 4)〜(16)により算出される。このとき、上述した G補間により得られた全ての画素位置に対応する G成分信号値 (図 9)の凸凹情報が利用される。

[0029] [数 5]

【数 5】 B[i÷1 ,n = (B[i,j] ₊ B[i₊2,j】）/2 + (2*Gii + 1 ,j】-G i,j]-G[i + 2,j】）/2 (14)

B[i,j + 1] = (B[i,j】 + B[i,j + 2】）/2+(2*G【i,j÷1j-G[i,n-G[i,j + 2】）/2 (15) B{i + 1 ,j+1〗 = (B【i,j】 + B[i + 2,j】 + Bii,j + 2】 + B[i + 2,j + 2】）Z4

+ (2*G[i + 1 ,j + 1]-G[i,]]-G[i + 2,j]-GEi,j + 2]-Gti + 2,j + 2])/4 (16) [0030] 上式 (14)〜(16)によれば、 B成分信号値の平均値に G成分の信号値の変化量を加えて B成分の補間値を得る。これは、 B位置で色差 Cb = B— Gを生成し、この色差面内で平均補間する方式と等価である。 R成分および B成分は、 G成分に比べてサンプル周波数が低いので、色差 R— G、色差 B— Gを利用して G成分信号値が有する高周波数成分を反映させる。よって、このようなクロマ成分に対する補間を便宜的に色差補間と呼ぶことにする。

[0031] 以上説明した補間処理により、全画素位置に対応した G成分、 R成分、および B成分の 3色分の信号値を有する画像が復元される。 CPUは、補間処理を終了するとステツプ S 5へ進む。

[0032] ステップ S5において、 CPUは、画像復元後の信号値 Y=R,G,Bに対して次式（17 )による線形階調空間への逆ガンマ補正を行ってステップ S6へ進む。

X' = Xmax X (Y/Ymax)² (17)

ただし、 X' = Rout', Gout', Bout'を表す。

[0033] ステップ S6において、 CPUは、全画素に対応する画像信号に対してそれぞれ逆ォフセット処理を行ってステップ S7へ進む。具体的には、次式（18)で示すように、画素位置 [U]で示される画素に対応する信号値 X'[i,j]からオフセット Λを減じ、逆オフセット処理後の信号値 X[i,j]を得る。

X[i,j] =X'[i,j] - A (18)

ただし、 X= Rout, Gout, Boutを表す。

[0034] ステップ S7において、 CPUは、復元後の画像、すなわち、線形階調空間で表された画像信号 (RGB信号）を出力して図 2による処理を終了する。 CPUは、この RGB 信号に対して最終的なガンマ補正 (たとえば、使用する表示モニタに適した補正)や色調整 (ユーザーにより指示された調整やデバイスインディペンデントな色空間に変換するための調整)などを必要に応じて行う。

[0035] (オフセット付き平方根変換による均等ノイズ空間）

上述した補間処理用の空間について、さらに詳細に説明する。一般に、撮像素子から出力される画像信号には種々のノイズが含まれている。ノイズはランダムノイズと固定パターンノイズとに大別され、ランダムノイズはさらに、ショットノイズとダークノイズとに分類される。

[0036] 固定パターンノイズは、撮像素子の製造プロセスにおいて発生する開口ムラなどに起因する素子固有のノイズである。ショットノイズおよびダークノイズは、撮像素子の画素を構成するフォトダイオードなどの光電変換素子の特性に起因するノイズである。ショットノイズはフオトンの揺らぎによって生じするノイズであり、入射光量の平方根に比例して増加する。ダークノイズは暗電流ノイズを含み、入射光量に無関係に生じるとともに、アナログゲインに比例して増加する。アナログゲインは、 ISO感度を決定するノラメータである。

[0037] 図 10は、撮像素子の信号特性を説明する図である。両対数スケールで表された図 10において、横軸は撮像面照度を、縦軸は信号の電子数をそれぞれ表す。直線 11 は光信号を表し、入射光量に比例して光信号 (電子数)が増加することを示している。直線 12は光ショットノイズを表し、入射光量の 1Z2乗に比例してノイズ (電子数）が増加することを示している。直線 13はダークノイズを表し、入射光量にかかわらずノィズ (電子数）が存在することを示して！/、る。

[0038] 階調変換時に影響を及ぼすダークノイズ、ショットノイズに着目すると、トータルノィズ δ Xは次式（ 19)で表される。

δ χ= (Ns²+Nd²) (19)

ただし、 Nsはショットノイズ、 Ndはダークノイズである。 Xは A/D変換直後の信号レベルであり、既にアナログゲインによって増幅されている。また、 Xは便宜上入力される信号の階調数の最大値 (すなわち、フルスケール値)で除して規格化されて!/ヽるものとする。

[0039] ショットノイズおよびダークノイズは、それぞれ次式（20)および（21)のようにモデル化できる。

Ns(g)=ms X ^(g X x) (20)

Nd(g)=md X g+nd (21)

ただし、 mおよび nはノイズモデルのパラメータ、 gはアナログゲイン (すなわち、撮像素子に対して設定されて！ヽる ISO感度)である。

[0040] 上式（20)および（21)によるノイズモデルを式（19)へ代入し、ノラメータを簡略な形式に再定義すると次式（22)が得られる。

|8 (₈》（22)

[0041] 一方、上述したオフセット処理 (ステップ S2)後の平方根ガンマ処理 (ステップ S3) によって変換された補間処理用の空間 (オフセット付き平方根階調空間と呼ぶ）は、次式（23)で表される。

y= (x+ ε ) (23)

ただし、 x=XZXmax、 y=Y/Ymax, εはオフセット Λに対応する（ ε = Λ/Xmax

) ο

[0042] 式（23)の補間用階調空間におけるノイズ δ yは、誤差伝播則を用いると次式（24) で表される。

6 y=^((dy/dx)² X δ x ) (24)

式（24)に上式（22)および（23)を代入するとノイズ δ yは次式（25)のように求まる。 6 y= a (g) X ((x+ β (g))/(x+ ε》（25)

[0043] 上式 (25) } ε = β (g)が成立する場合にノイズ δ yが線形入力階調信号の値 χによらず一定値 a (g)となることを示す。つまり、オフセット付き平方根階調空間は、 ε = β (g)が成立する場合に均等ノイズ空間になる。本発明では、オフセット量 ε (ステツプ S2の Λ)を ISO感度に応じて変化させることにより、 ε = j8 (g)を成立させる。この成立条件の例が、上述した Λ =0. 05Xmax (ISO6400相当）、 Λ =0. 02Xmax (lS O1600相当）である。なお、均等ノイズ a (g)は ISO感度に応じて変化する（ここでは増加）ため、上述した判定閾値 Thについて、 Th^ _a (g)の関係を有するように変化させる。

[0044] 図 11は、均等ノイズ空間を説明する模式図である。図 11において、横軸は線形階調信号の入力値 Xを、縦軸は階調変換後の出力値 yを示す。曲線 23によって表される出力値 yには誤差 δ yが重畳し、この誤差 δ yは入力値 Xの値によらず常に一定値 a (g)である。つまり、均等ノイズ空間ではノイズの揺らぎ幅が画像の明るさ (入力値の大きさ）によらず常に一定になる。

[0045] (平方根階調空間との比較）

図 12は、線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間におけるそれぞれの入出力特性を示す図である。図 12において、横軸は線形階調信号入力値 Xを、縦軸は階調変換後の出力値 yをそれぞれ表す。直線 21は線形変換時の入出力特性を、曲線 22は平方根空間への入出力特性を、曲線 23はオフセット付き平方根空間への入出力特性を、それぞれ示す。曲線 22によれば、ダークノィズが支配的となる線形入力値が小さい領域 (たとえば、 0< x< 0. 1)、すなわち、低輝度領域において傾きが急峻になる。このため、入力値にノイズによる揺らぎが生じると、入力側で生じた揺らぎより大きく増幅された揺らぎが出力される。

[0046] 平方根階調空間で発生する揺らぎの増幅によって生じる画質劣化について説明する。 R成分補間を例にとれば、 G補間により得られた G成分信号値の凸凹情報を利用して R成分を補間するので、補間された R成分信号値は G成分信号値に含まれるノィズ揺らぎの影響を受ける。補間された R成分信号値に含まれるノイズ δ R

interpolatedは、誤差伝播則を用いると次式 (26)で表される。

[0047] [数 6]

【数 6】 (26)

ただし、各誤差項の前につく偏微分係数は 1程度の値なので省略して!/、る。

[0048] 赤地の画像の場合、 R画素で得られる信号値は大きぐ補間される G成分信号値は小さい。上述したように、平方根階調空間（曲線 22)では暗い (線形入力値が小さい）ところでノイズが増幅されるので、大きな R成分の信号値に重畳するノイズ δ R に

Bayer 比べて小さな G成分信号値に重畳するノイズ δ G は非常に大きな値になる。こ

interpolated

の結果、補間される R成分信号値のノイズ δ R G

interpolatedがノイズ δ

interpolatedによって大きく振られた場合には当該 R成分信号値が 0付近まで小さく落ち込むので、この信号値は赤地の中の黒点として表現されてしまう。このように、単なる平方根階調空間で補間処理を行うと、 R G Bそれぞれの明るさに依存して δ R と δ G とが振

Bayer interpolated れてしまう。

[0049] これに対して、オフセット付き平方根階調空間（曲線 23)では、ダークノイズが支配的となる領域 (たとえば、 0< x< 0. 1)でも傾きが急峻にならない。したがって、赤地の画像の場合に小さな G成分信号値に重畳するノイズ δ G が大きな値になら

interpolated

な、ため、補間された R成分信号値に含まれるノイズ δ R が振られることがなく

interpolated

なり、赤地の中に黒点が生じることがなくなる。

[0050] 以上説明した第一の実施形態によれば、次の作用効果が得られる。

( 1)画像を構成する全ての画素位置にぉヽて全色成分 (上記の例では RGB)の信号値を得るために、不足する色成分の信号値を補間する処理を以下のように線形階調空間からオフセット付き平方根階調空間に変換して行う。すなわち、線形階調信号 Xに対して撮像素子に設定されている ISO感度の関数として表されるオフセット ε ( ε = iS lSO感度)）を加え、オフセット後の (x+ ε )を 1Z2乗のガンマ空間へ変換する。したがって、誤差伝播則によってガンマ変換後の信号値に含まれる誤差は、オフセット εを付加して力もガンマ補正するので全階調にわたって均等になる。全階調にわたって均等化されたノイズの揺らぎ幅を ISO感度毎のノイズプロファイルとして 1つの代表値で表し、この代表値に応じて方向判定閾値 Th (Th ^ (ISO感度)）を定める結果、補間処理時の方向判定精度が高まると同時に、補間後（画像復元後）の画像の色鮮明性が向上するという、平方根特性が有する高画質な画像復元の性質をも継承できる。

[0051] (2)上記（1 )に加えて、オフセット付き平方根階調空間を示す曲線 23は、単なる平方根階調空間を示す曲線 22と比べると線形入力信号値が小さい領域 (たとえば、 0く X < 0. 1)において傾きが急峻とならない。この結果、線形入力値に生じたノイズより大きく増幅されたノイズが出力され、増幅されたノイズで画像復元後の画質が劣化するという平方根階調空間で補間処理を行う場合に生じる問題を解消できる。とくに、ダークノイズが多く含まれる状態 (撮像素子の感度を ISO 1600相当〜6400相当に高めた場合や、撮像素子を構成する光電変換素子の暗電流が大きい場合）において顕著な効果が得られる。

[0052] (3)上記（1)および（2)により、線形階調空間で生じやすい暗部との色境界での滲みが無ぐ鮮明で、かつ平方根階調空間より曲がり（曲率)が強いガンマ空間や対数空間で生じやす!/、色境界での黒筋 ·黒縁の発生がな!、高画質な復元画像が得られる。

[0053] 上述した説明では、べィァ配列のカラーフィルタを例に説明したが、デルタ配列をはじめとする他のフィルタ配列の場合にも適用できる。

[0054] 上記の説明で行った補間処理 (画像復元）は一例であり、他の補間方式による処理を行ってもよい。たとえば、米国特許出願公開第 2002Z0001409号明細書に記載されている多色外挿補間、国際公開 WO02Z071761号パンフレットに記載の Y方式補間、米国特許第 5552827号明細書に記載の色比補間または色差'外挿補間、特開 2003 - 348608号公報に記載のデルタ配列補間などである。

[0055] 以上の説明では、カラーフィルタを介して単板式撮像素子で撮像される画像について説明したが、 2板式撮像素子で撮像される画像に対して適用してもよい。

[0056] 上述したオフセット値 Λ =0. 05Xmax (ISO6400相当）、 Λ =0. 02Xmax(lSO16 00相当）は一例であり、設定されているアナログゲイン、周囲温度、実際のノイズの状態に応じて適宜変更してょ、。

[0057] 上記の説明では、 R成分、 G成分、および B成分に対して共通のオフセット Λをカロえるようにした。この代わりに、各成分に対してそれぞれ異なるオフセットをカ卩えるようにしてちよい。

[0058] 上述したオフセット処理 (ステップ S2)および平方根ガンマ補正処理 (ステップ S3) を補間用ガンマ補正処理として纏めて行うようにしてもょ、。

[0059] 上述した逆ガンマ補正処理 (ステップ S5)および逆オフセット処理 (ステップ S6)を逆ガンマ補正処理として纏めて行うようにしてもょ、。

[0060] 補間用ガンマ補正処理として纏めて行う場合、次式（27)で表される補間処理用空間へ変換してもよい。

[0061] [数 7]

【数フ】

) ο

[0062] 式（27)の補間用階調空間におけるノイズ δ yは、誤差伝播則を用いると次式（28) で表される。上式（28)に ε = β (g)を代入するとノイズ δ yは式（29)で表され、補間用階調空間は ε = i8 (g)が成立する場合に均等ノイズ空間になる。

[0063] 図 13は、線形階調空間、平方根階調空間、および式 (27)による補間用階調空間におけるそれぞれの入出力特性を示す図である。図 13において、横軸は線形階調信号入力値 Xを、縦軸は階調変換後の出力値 yをそれぞれ表す。直線 21および曲線 22は図 12と同一であり、それぞれ線形変換時の入出力特性、および平方根空間への入出力特性を示す。曲線 31は補間用階調空間への入出力特性を示す。曲線 3 1は、原点を通る点が図 12の曲線 23と異なっている。この様な補間用階調空間を用いて画像復元処理を行う場合にも、図 12の曲線 23が示すオフセット付き平方根階調空間を用いる場合と同様に、高画質な画像復元を行うことができる。

[0064] オフセット付き平方根階調空間（曲線 23)の代わりに、撮像素子に設定されて!、る I SO感度に応じて曲率が異なる曲線によって示される階調空間を用いてもよ!、。この場合には、 ISO感度が低いほど曲率を大きぐ ISO感度が高いほど曲率を小さくする

。曲率を大きくするには平方根特性（曲線）に近づければよぐ曲率を小さくするには、線形特性 (直線）に近づければよい。このような階調空間は、たとえば、線形特性（直線） +平方根特性（曲線)で構成される入出力特性を有する空間、 Γ = 1. 67のガンマ空間などによって与えられる。

[0065] (第二の実施形態）

第一の実施形態では均等ノイズ空間 (オフセット付き平方根階調空間 (もしくは補間処理用空間） )で補間処理を行って画像を復元する画像処理装置につヽて説明した。均等ノイズ空間は、補間処理以外の他の処理を行う場合にも有効である。第二の実施形態では、均等ノイズ空間にお、て画像の平坦部 (変化がな、部分)を検出し、検出した平坦部に対してぼかし処理を行う場合について説明する。

[0066] 図 14は、第二の実施形態による画像処理の流れを説明するフローチャートである。

図 14のステップ S 11において、コンピュータ装置 100 (図 3)の CPUは、線形階調空間で表された画像信号を入力してステップ S2へ進む。画像信号は、たとえば、モノク口単板画像、 3板式カラー画像、および第一の実施形態による補間処理で得られた補間済みカラー画像などである。

[0067] ステップ S2およびステップ S3は、図 2における同一ステップ番号の処理と同一なので説明を省略する。

[0068] ステップ S14において、 CPUは画像処理（この場合は平坦部検出処理およびぼかし処理)を行う。

(平坦部検出）

入力された画像信号がモノクロ画像の場合を例にすると、 CPUは次式（30)および図 15によって示される高周波数成分の抽出（ノヽィパスフィルタ処理)を行う。

[0069] [数 8]

【数 8】 (30)

ただし、注目画素は図 15において中心に位置する画素とし、式（30)における Δはラブラシアン演算子を表す。

[0070] CPUは、上式 (30)により得られた高周波数成分に基づいて次式（31)により平坦度を判定する。

[0071] [数 9]

【数 9】

ただし、 σ Thは信号に含まれるノイズによる誤判定を避けるために用いられる判定閾値であり、 a Thc a (g)の関係を有する。 CPUは、上式（31)で 1が得られる場合に画像が平坦であると判定し、 0が得られる場合には平坦でなヽと判定する。

[0072] (ぼかし処理）

CPUは、上式 (31)により得られた判定結果に基づいて次式（32)および図 16によつて示されるローパスフィルタ処理を行う。この処理により、高周波数成分が除去されてぼ力し効果が得られる。 CPUは、ローパスフィルタ処理（ぼ力し処理）を終了すると図 14のステップ S 5へ進む。

[0073] [数 10]

【数 1 0】

(32)

[0074] ステップ S5およびステップ S6は、図 2における同一ステップ番号の処理と同一なので説明を省略する。

[0075] ステップ S17において、 CPUは、補正処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図 14による処理を終了する。

[0076] 以上説明した第二の実施形態によれば、均等ノイズ空間を利用することにより全階調にわたって ISO感度毎のノイズプロファイルを 1つの代表値（ a (g) )で表すことができ、この代表値に応じて平坦部検出時の判定閾値 σ Τ1ι ( σ Τ1ι a (g) )を定めることができるので、画像の平坦部検出を極めて簡略に、かつ正確に抽出することができる。このように抽出した平坦部に対してぼ力し処理を行うので、画像の明るさによって特性の異なるノイズの影響を受けてぼ力し処理を施したり施さな力つたりすることがなくなり、全階調にわたって適切にぼかし処理を行うことができる。

[0077] 上式（32)による LPF (ローパスフィルタ）処理の代わりに BPF (バンドパスフィルタ）処理を行うことにより、エッジ強調を行う構成にしてもよい。ただし、この場合は平坦部でな、領域にかけるのが望まし、。

[0078] (第三の実施形態）

第三の実施形態では、均等ノイズ空間においてカラー画像の輝度面、色差面のそれぞれにノイズ除去処理を行う場合について説明する。

[0079] 図 14のステップ S 11において、 CPUは、線形階調空間で表された補間済みカラー画像信号を入力してステップ S 2へ進む。ステップ S2およびステップ S3は、図 2における同一ステップ番号の処理と同一なので説明を省略する。 [0080] ステップ S14において、 CPUは画像処理 (この場合は色空間変換 (RGB→YCbCr )処理、ノイズ除去処理および色空間変換 (YCbCr→RGB)処理)を行う。 CPUは、たとえば、 3 X 3マトリクス係数を用いた周知の色空間変換処理を施すことによって画像信号を色空間（RGB)から色空間 (YCbCr)へ変換する。 CPUはさら〖こ、変換後の輝度信号 Y、色差信号 Cbおよび Crのそれぞれに対して次式（33)によるノイズ除去処理 (この例ではガウスぼかし処理）を行う。

[0081] [数 11]

【数 1 1】

ただし、は²次元平面内の注目画素、^はその近傍画素を示す。平滑化の加重係数を閾値ぴ丁|!(ひ ∞ ¾) )に対する画素値差分 | ( ー ( ） I の変化比に応じて決定するため、 YCbo各がノイ^:揺らぎの大き応じてぼ力、し処理される。すなわち、平坦部では信号 liAG?) =Α(ί)であっても Α ( ) =A ( ） ± CTTh程度の揺らぎ *もつておリ、この程度に揺らぐ似 fc^うな信号領域は平滑化対象領域となり、エッジ部などの構造が異なる領域は | A ( )— A ( | » σΤΉとなるので平滑化対象領域からはずれることになる。なお、平滑化の積分範囲は 7 X 7画素や 1 5 1 5画素といったように目的に応じて任意に設定してよい。 CPUは、上記ガウスぼかし処理を終了すると色空間 (YCbCr)から色空間（RGB)に変換した後、図 1 4のステップ S5へ進む。ただし、 Xは 2次元平面内の注目画素、 x'はその近傍画素を示す。平滑化の加重係数を閾値 σ Τ σ ΤΙι^ α (g) )に対する画素値差分 | A(x) - A(x') | の変化比に応じて決定するため、 YCbCr各面がノイズ揺らぎの大きさに応じてぼかし処理される。すなわち、平坦部では信号は A (χ') A (x)であっても Α (χ') =Α (χ)士 σ Th程度の揺らぎをもっており、この程度に揺らぐ似たような信号領域は平滑ィ匕対象領域となり、エッジ部などの構造が異なる領域は | A (x')—A (x) | 》 σ Thとなるので平滑ィ匕対象領域からはずれることになる。なお、平滑化の積分範囲は 7 X 7画素や 15 X 15 画素といったように目的に応じて任意に設定してよい。 CPUは、上記ガウスぼかし処理を終了すると色空間 (YCbCr)から色空間 (RGB)に変換した後、図 14のステップ S5へ進む。

[0082] ステップ S5およびステップ S6は、図 2における同一ステップ番号の処理と同一なので説明を省略する。

[0083] ステップ S 17にお、て、 CPUは画像処理後の画像、すなわち、線形階調空間で表された画像信号を出力して図 14による処理を終了する。

[0084] 以上説明した第三の実施形態によれば、均等ノイズ空間を利用することにより全階調にわたって ISO感度毎のノイズプロファイルを 1つの代表値で表すことができ、この代表値に応じてガウスぼかし処理における信号差分に基づいた平滑化加重係数の割合を定めるので、画像の明るさによって特性の異なるノイズの影響を受けてガウスぼかし処理の程度が変化することがなくなり、ガウスぼかし処理が非常に行いやすくなる。また、全階調にわたって抜群のノイズ除去効果を得ることができる。

[0085] 上記色差面に対するノイズ除去処理は、色まだらや色モアレの抑制に効果が得られる。また、上記輝度面に対するノイズ除去処理は、ざらつきを抑える効果が得られる。

[0086] 上述した説明では、輝度および色差に対して共通の閾値 σ Thを用いてノイズ除去処理を行うようにした力それぞれ異なるパラメータを用いて独立した処理を行うようにしてもよい。また、色差面に対する処理だけを行ってもよいし、輝度面に対する処理だけを行ってもよい。

[0087] 以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

[0088] 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。日本国特許出願 2004年第 200890号（2004年 7月 7日出願）

Claims

請求の範囲

[1] 各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、

前記線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット部と、

前記オフセット信号が加えられた画像信号の各々を、平方根階調の画像信号に変換する階調変換部と、

前記階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第 1の画像を第 2の画像に変換する画像変換部とを備えることを特徴とする画像処理装置。

[2] 各画素に少なくとも 1つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、

前記階調変換後の複数画素の画像信号を用いて、各画素に少なくとも 1つの共通した色成分信号を生成する色情報生成部とを備えることを特徴とする画像処理装置

[3] 請求項 1に記載の画像処理装置において、

前記階調変換後の階調空間において一定幅で表される画像信号の揺らぎ量を、前記入力画像信号が有するノイズ特性の代表値として評価するノイズ評価部をさらに備えることを特徴とする画像処理装置。

[4] 請求項 3に記載の画像処理装置において、

前記画像変換部は、前記ノイズ評価部で得られる前記代表値を用いて、前記第 1 の画像を前記第 2の画像に変換することを特徴とする画像処理装置。

[5] 請求項 2に記載の画像処理装置において、

[6] 請求項 5に記載の画像処理装置において、

前記色情報生成部は、前記ノイズ評価部で得られる前記代表値を用いて、前記各画素に少なくとも 1つの共通した色成分信号を生成することを特徴とする画像処理装置。

[7] 各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、

前記オフセット信号が加えられた画像信号の各々を、非線形階調の画像信号に変換する階調変換部と、

[8] 各画素に少なくとも 1つの色成分信号を有した複数種類の色成分信号からなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、

[9] 請求項 1〜8のいずれか一項に記載の画像処理装置において、

前記オフセット部は、前記所定量を正の値にすることを特徴とする画像処理装置。

[10] 請求項 1〜9のいずれか一項に記載の画像処理装置において、

前記オフセット部は、前記入力画像の撮像時に撮像素子に設定されて！ヽた撮像感度に応じて前記所定量を変化させることを特徴とする画像処理装置。

[11] 請求項 10に記載の画像処理装置において、

前記オフセット部は、前記撮像感度が高! ヽほど前記所定量を増加させることを特徴とする画像処理装置。

[12] 請求項 1または 7に記載の画像処理装置において、

前記変換後の第 2の画像の信号の各々を、線形階調の画像信号へ逆変換する逆階調変換部と、

前記逆階調変換後の画像信号の各々から前記所定量のオフセット信号を減じる逆オフセット部とをさらに備えることを特徴とする画像処理装置。

[13] 請求項 2または 8に記載の画像処理装置において、

前記生成された色成分信号の画像信号の各々を、線形階調の画像信号へ逆変換する逆階調変換部と、

[14] 各画素が受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、

前記線形階調の画像信号の各々を非線形階調の画像信号に変換する階調変換部と、

前記階調変換後の複数画素の画像信号を用いて所定の画像処理を行い、第 1の画像を第 2の画像に変換する画像変換部と、

前記入力画像の撮像時に撮像素子に設定されていた撮像感度に応じて非線形階調特性を変化させるように前記階調変換部を制御する制御部とを備えることを特徴とする画像処理装置。

[15] 各画素に少なくとも 1つの色成分信号を有した複数種類の色成分信号力もなり、それぞれが受光量に比例した信号で表される線形階調の画像信号を入力する画像入力部と、

前記線形階調の画像信号の各々を非線形階調の画像信号に変換する階調変換部と、前記階調変換後の複数画素の画像信号を用いて、各画素に少なくとも 1つの共通した色成分信号を生成する色情報生成部と、

[16] 請求項 14または 15に記載の画像処理装置において、

前記制御部は、前記撮像感度が低!ヽほど低輝度側の階調特性の曲率を大きくし、前記撮像感度が高ヽほど低輝度側の階調特性の曲率を小さくするように前記階調変換部を制御することを特徴とする画像処理装置。

[17] 請求項 14〜16のいずれか一項に記載の画像処理装置において、

前記制御部は、前記撮像感度が低！ヽほど平方根階調特性に近づけるように前記階調変換部を制御することを特徴とする画像処理装置。

[18] 請求項 2、 8、 15のいずれか一項に記載の画像処理装置において、

前記色情報生成部は、前記各画素に共通した色成分信号を、少なくとも 2種類の色成分信号を用いて生成することを特徴とする画像処理装置。

[19] 請求項 18に記載の画像処理装置において、

前記色情報生成部は、前記階調変換後の複数画素の非線形色成分信号を用いて少なくとも 2方向について類似度を算出し、各方向についての類似度間の差異を所定の閾値と比較することによって前記各方向につ、ての類似性の強弱を判定し、この判定結果を用いて前記各画素に共通した色成分信号を生成することを特徴とする画像処理装置。

[20] 各画素が受光量に比例した信号で表される線形階調の画像信号の各々に対して所定量のオフセット信号を加えるオフセット処理と、

前記オフセット処理後の画像信号の各々を、非線形階調の画像信号に変換する階調変換処理と、

前記階調変換処理後の複数画素の画像信号を用いて所定の画像処理を行! \第 1の画像を第 2の画像に変換する画像変換処理とをコンピュータ装置に実行させる画像処理プログラムを有するコンピュータプログラム製品。 [21] 各画素が受光量に比例した信号で表される線形階調の画像信号の各々を非線形階調の画像信号に変換する階調変換処理と、

前記階調変換処理後の複数画素の画像信号を用いて所定の画像処理を行! \第 1の画像を第 2の画像に変換する画像変換処理と、

画像の撮像時に撮像素子に設定されていた撮像感度に応じて非線形階調特性を変化させる階調制御処理とをコンピュータ装置に実行させる画像処理プログラムを有するコンピュータプログラム製品。