JP5983138B2

JP5983138B2 - 画像処理装置、撮像装置およびプログラム

Info

Publication number: JP5983138B2
Application number: JP2012162765A
Authority: JP
Inventors: 村松　勝; 勝村松
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-07-23
Filing date: 2012-07-23
Publication date: 2016-08-31
Anticipated expiration: 2032-07-23
Also published as: JP2014023104A

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。

カラー画像の色調整について、例えば、変換する領域に重み係数を設定し、色を調整する領域と周囲の領域との間で滑らかな色変換を実現することが提案されている。

特許３１７３１４０号公報

しかし、従来の手法は、例えば撮像装置などにハードウェア的に実装する場合には重み係数決定に関する回路規模が大きくなり、ソフトウェア的に実装する場合には演算量が非常に多くなってしまう。

本発明の一例である画像処理装置は、撮像素子から出力されるカラー画像の信号を取得する取得部と、信号変換部と、色調整部とを備える。信号変換部は、カラー画像の信号を輝度信号および色差信号に変換する。色調整部は、カラー画像の注目画素の色差信号に応じて、注目画素の彩度または色相を調整する。また、色調整部は、色差平面を色相別に少なくとも３つの色領域に分割するとともに、各色領域にそれぞれ異なる係数を対応付けする。そして、色調整部は、カラー画像の注目画素の色差信号の値を輝度信号の値で規格化して色差平面に写像し、規格化された色差信号が属する色領域の係数を用いて彩度または色相の調整量を求める。また、上記の調整量は、注目画素の彩度の高さに応じて絶対値が大きくなる。

本発明の一例である撮像装置は、カラー画像を撮像する撮像部と、上記の画像処理装置とを備える。

本発明の一例であるプログラムは、撮像素子から出力されるカラー画像の信号を取得する処理と、カラー画像の信号を輝度信号および色差信号に変換する処理と、カラー画像の注目画素の色差信号に応じて、注目画素の彩度または色相を調整する処理と、をそれぞれコンピュータに実行させる。そして、注目画素の彩度または色相を調整するときに、色差平面を色相別に少なくとも３つの色領域に分割するとともに、各色領域にそれぞれ異なる係数を対応付けし、カラー画像の注目画素の色差信号の値を輝度信号の値で規格化して色差平面に写像し、規格化された色差信号が属する色領域の係数を用いて彩度または色相の調整量を求める。また、上記の調整量は、注目画素の彩度の高さに応じて絶対値が大きくなる。

本発明によれば、カラー画像の色調整を比較的簡易な構成で高速に行うことができる。

第１実施形態の電子カメラの構成例を示す図第１実施形態の電子カメラの動作例を示す流れ図第１の階調変換処理で適用される階調変換曲線Ｇ１を示す図色差平面の分割例を示す図或る色領域の境界で彩度を変化させた場合を示す図第２の階調変換処理で適用される階調変換曲線Ｇ２を示す図第２実施形態で或る色領域の境界で彩度を変化させた場合を示す図第３実施形態で或る色領域の境界で色相を変化させた場合を示す図第４実施形態で或る色領域の境界で色相を変化させた場合を示す図第５実施形態での画像処理装置の構成例を示す図

＜第１実施形態の説明＞
図１は、画像処理装置、撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。

電子カメラ１１は、撮影光学系１２と、撮像部１３と、画像処理エンジン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とを備えている。ここで、撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８および操作部１９は、それぞれ画像処理エンジン１４と接続されている。

撮像部１３は、撮影光学系１２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。ここで、撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部１３は、撮影時にカラーの画像を取得できる。なお、撮像部１３で撮影された画像のデータは、画像処理エンジン１４に入力される。

画像処理エンジン１４は、電子カメラ１１の動作を統括的に制御するプロセッサであって、画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。また、画像処理エンジン１４は、プログラムの実行により、信号変換部２１、色調整部２２として機能する（信号変換部２１、色調整部２２の動作については後述する）。

第１メモリ１５は、各画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ１６は、画像処理エンジン１４で実行するプログラムや、このプログラムで使用される各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。

記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２０に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２０は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２０の一例としてメモリカードを図示する。

表示部１８は、各種画像を表示する表示装置である。表示部１８は、例えば、撮像部１３の出力による画像のライブビュー表示や、記憶媒体２０からの出力による再生表示を行う。また、操作部１９は、ユーザの各種操作（例えば被写体の撮影指示や、色調整の設定変更の指示など）を受け付けるスイッチを含む。

次に、図２の流れ図を参照しつつ、第１実施形態の電子カメラの動作例を説明する。第１実施形態では、カラー画像の彩度を調整する例を説明する。なお、図２の処理は、静止画像の撮像時に画像処理エンジン１４がプログラムを実行することで開始される。

ステップ＃１０１：画像処理エンジン１４は、ユーザの撮影指示に応じて、記録用の静止画像を撮像部１３に撮像させる。これにより、画像処理エンジン１４は、処理対象のカラー画像を撮像部１３から取得する。なお、＃１０１の段階でのカラー画像は色補間前のＲＡＷ画像であって、各画素の信号値はＲＧＢのいずれかの成分に対応する。

ステップ＃１０２：画像処理エンジン１４は、取得したカラー画像に対して、それぞれ公知のホワイトバランス調整および色補間（ベイヤ補間）を行う。なお、＃１０２の色補間により、カラー画像の各画素でＲＧＢ全成分が揃う。

ステップ＃１０３：画像処理エンジン１４は、カラー画像のうち、色調整を行う注目画素を指定する。ここで、画像処理エンジン１４は、カラー画像の全画素を順次注目画素として指定する。また、画像処理エンジン１４は、注目画素を変更するときには、画像の左上隅を起点として１行ずつ左から右に注目画素を順番に指定するものとする。

ステップ＃１０４：画像処理エンジン１４は、注目画素の画素値に対して、標準のｓＲＧＢガンマの階調変換曲線Ｇ１（２．２乗相当）による第１の階調変換処理を施す。なお、第１の階調変換処理で適用される階調変換曲線Ｇ１を図３に示す。図３の横軸は、階調変換前の入力画素値（撮像素子の出力）であり、図３の縦軸は、階調変換後の出力画素値である。

ステップ＃１０５：信号変換部２１は、注目画素の色空間をＲＧＢからＹＣｂＣｒへ変換する。なお、＃１０５の処理では、撮像素子の色空間（センサＲＧＢ）のままＧ１で階調変換を施した後のＲＧＢ信号値から輝度信号Ｙを生成している。そのため、上記の処理では、センサＲＧＢからｓＲＧＢへの行列変換で生じるような高彩度部での階調段差の発生はない。

例えば、＃１０５での信号変換部２１は、以下の式（１）〜式（３）により注目画素のＲＧＢの信号値からＹＣｂＣｒの信号値を求めればよい。
Y = 0.299*R+0.587*G+0.114*B …(1)
Cb=-0.194*R-0.709*G+0.903*B …(2)
Cr= 0.872*R-0.809*G-0.063*B …(3)
上記の式（１）では、便宜的にＹはＩＴＵ−ＲＢＴ．６０１で定義されている係数で変換される。また、上記の式（２）、式（３）でのＣｂ，Ｃｒは、色票を用いて最適化された係数が適用されている。

ステップ＃１０６：色調整部２２は、注目画素の色差信号（Ｃｂ，Ｃｒ）の値に応じて、色調整に用いる１組の係数（ｋｓｃｂ，ｋｓｃｒ）を決定する。＃１０６での色調整部２２は、注目画素の色差信号（Ｃｂ，Ｃｒ）をＣｂＣｒ色差平面に写像し、色差平面において注目画素の対応座標が属する色領域から上記の係数ｋｓｃｂ，ｋｓｃｒを決定する。

（色領域について）
ここで、色調整部２２は、色差平面を色相別に６つの色領域に分割し、各色領域にそれぞれ彩度の調整量を決定するための係数を予め対応付けする。例えば、色調整部２２は、ＣｂＣｒの色差平面の原点（Ｃｂ，Ｃｒ＝０）を基準として、上記の色差平面を回転方向に６つの色領域に分割する。

図４は、色差平面の分割例を示す図である。図４では、色差平面の原点を通過する３本の直線によって、赤−黄の色領域（ｈｕｅ＝０）、黄−緑の色領域（ｈｕｅ＝１）、緑−シアンの色領域（ｈｕｅ＝２）、シアン−青の色領域（ｈｕｅ＝３）、青−マゼンダの色領域（ｈｕｅ＝４）、マゼンダ−赤の色領域（ｈｕｅ＝５）で、色差平面が６分割されている。なお、図４の６角形の範囲は、ＣｂＣｒが取り得る最大の彩度の軌跡を示している。

ＹＣｂＣｒの色空間において、赤（Ｒ）、黄（Ｙ）、緑（Ｇ）、シアン（Ｃ）、青（Ｂ）、マゼンダ（Ｍ）の頂点の座標はそれぞれ以下の値となる。
R(1,0,0): (y:0.29891; cb:-0.16874; cr: 0.50000)
Y(1,1,0): (y:0.88552; cb:-0.50000; cr: 0.08131)
G(0,1,0): (y:0.58661; cb:-0.33126; cr:-0.41869)
C(0,1,1): (y:0.70109; cb: 0.16874; cr:-0.50000)
B(0,0,1): (y:0.11448; cb: 0.50000; cr:-0.08131)
M(1,0,1): (y:0.41339; cb: 0.33126; cr: 0.41869)
また、図４に示したＣｂＣｒの色差平面を分割する３本の直線（直線Ｒ−Ｃ，直線Ｙ−Ｂ，直線Ｇ−Ｍ）の傾きｋは、それぞれ以下の値となる。
k(R-C)=-2.96314
k(Y-B)=-0.16262
k(G-M)= 1.26393
なお、＃１０６での色調整部２２は、上記の直線で色差平面を区画する条件式を用いて、色差平面に写像された注目画素の座標がｈｕｅ＝０〜５のいずれの色領域に属するかを判定すればよい。なお、上記のように、色差平面の原点を通過する直線で色差平面を複数の色領域に分割した場合、注目画素の属する色領域を判定するときの演算量は小さくなる。

（色調整の係数について）
また、第１実施形態における１組の係数ｋｓｃｂ，ｋｓｃｒは、ｈｕｅ＝０〜５の色領域別に６種類準備されている。

ここで、図５を参照しつつ、第１実施形態での係数ｋｓｃｂ，ｋｓｃｒの求め方を説明する。図５は、或る色領域の境界で彩度を変化させた場合を示す図である。色領域の境界の座標を（ｃｂ１，ｃｒ１），（ｃｂ２，ｃｒ２）とする。そして、座標（ｃｂ１，ｃｒ１）で彩度のゲイン（ｓａｔｇａｉｎ）を１からｓａｔｇａｉｎ１に変更し、座標（ｃｂ２，ｃｒ２）で彩度のゲイン（ｓａｔｇａｉｎ）を１からｓａｔｇａｉｎ２に変更する場合を考える。

このとき、ｓａｔｇａｉｎ１は式（４）で示すことができ、ｓａｔｇａｉｎ２は式（５）で示すことができる。式（４）および式（５）の連立方程式を解くことで、その色領域に対応するｋｓｃｂ，ｋｓｃｒの値を求めることができる。
satgain1=1+kscb*cb1+kscr*cr1 …(4)
satgain2=1+kscb*cb2+kscr*cr2 …(5)
上記の演算を各色領域の座標を用いて行うことで、各色領域のｋｓｃｂ，ｋｓｃｒの値をそれぞれ求めることができる。

なお、図４に示すように色領域の境界の座標は、いずれも隣接する色領域と共通している。上記の係数を決定するときに、色調整部２２は、隣接する２つの色領域の間で同じ座標に対する彩度のゲインを同じ値に設定する。この場合には、色領域の境界で彩度調整値が同じになるので、色領域の境界で色の連続性が保たれるようになる。

なお、色調整部２２は、色領域境界（Ｒ、Ｙ、Ｇ、Ｃ、Ｂ、Ｍ）での彩度のゲインをユーザの指定操作に応じて変更する。このとき、色調整部２２は、予め測色的に設定されたプリセットのパターン（STANDARD,NEUTRAL,VIVID等）をユーザに指定させてもよい。また、色調整部２２は、ユーザの指示に応じて任意の色領域境界での彩度のゲインを個別に変更してもよい。

ステップ＃１０７：色調整部２２は、＃１０６で決定された係数を用いて、注目画素の彩度を調整する。例えば、第１実施形態の色調整部２２は、式（６）により係数ｋｓｃｂ，ｋｓｃｒを用いて彩度調整量ｓａｔｇａｉｎを決定する。そして、色調整部２２は、式（７）および式（８）により、ｓａｔｇａｉｎを用いて色調整後のＣｂ，Ｃｒの値を求めればよい。
satgain=1+kscb[hue]*cb+kscr[hue]*cr …(6)
cb=satgain*cb …(7)
cr=satgain*cr …(8)
ここで、「ｋｓｃｂ［ｈｕｅ］」は、注目画素の属する色領域ｈｕｅを指定することでｋｓｃｂの係数値を返す関数であり、「ｋｓｃｒ［ｈｕｅ］」は、注目画素の属する色領域ｈｕｅを指定することでｋｓｃｒの係数値を返す関数である。

なお、式（７）、式（８）では、式（６）のｓａｔｇａｉｎにｃｂ，ｃｒをそれぞれ乗じている。式（６）で求まるｓａｔｇａｉｎはｃｂの項とｃｒの項を含むため、式（７）で求まる値はｃｂの二乗に比例して非線形に変化し、式（８）で求まる値はｃｒの二乗に比例して非線形に変化する。したがって、＃１０７での彩度の調整量は、注目画素の彩度の高さに応じてその絶対値が大きくなり、高彩度の部分ほど彩度が大きく変化する。

ステップ＃１０８：画像処理エンジン１４は、注目画素の色調整後の画素値に対して、階調変換曲線Ｇ２による第２の階調変換処理を施す。なお、第２の階調変換処理で適用される階調変換曲線Ｇ２を図６に示す。図６の横軸は、階調変換前の入力画素値であり、図６の縦軸は、階調変換後の出力画素値である。この階調変換曲線Ｇ２は、低輝度部分および高輝度部分での階調変化を小さくするＳ字状のカーブである。第２の階調変換処理では、画像のコントラスト強調や、低輝度部分の階調を圧縮する黒締めが行われる。

ステップ＃１０９：画像処理エンジン１４は、カラー画像の全画素の処理が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０３に戻って、画像処理エンジン１４は上記の動作を繰り返す。

ステップ＃１１０：画像処理エンジン１４は、必要に応じて輪廓強調処理やノイズ除去処理をカラー画像に施した後、記録Ｉ／Ｆ１７を介してカラー画像のデータを記憶媒体２０に記録する。以上で、図２の流れ図の説明を終了する。

第１実施形態の電子カメラは、色差平面を色相別に６つの色領域に分割し、各色領域にそれぞれ異なる係数を対応付けする。そして、電子カメラは、注目画素の色差信号を色差平面に写像し、色差信号が属する色領域に対応した彩度の調整量を用いて色調整を行う（＃１０６，＃１０７）。

これにより、第１実施形態では、色領域境界で色の連続性を保持しつつ、特定色の彩度の調整を簡易な構成で行うことができる。

なお、後述の第２実施形態から第４実施形態は、いずれも上記の第１実施形態の変形例である。第２実施形態から第４実施形態の電子カメラの構成は第１実施形態と共通するので、同一符号を付して重複説明は省略する。また、第２実施形態から第４実施形態の動作例については、第１実施形態の説明および図２を前提として、第１実施形態と相違する部分のみを説明し、第１実施形態との重複説明は省略する。

＜第２実施形態の説明＞
第２実施形態では、注目画素のＣｂ，ＣｒをＹで規格化して彩度の調整を行う例を説明する。

ここで、図７を参照しつつ、第２実施形態での係数ｋｓｃｂ，ｋｓｃｒの求め方を説明する。図７は、或る色領域の境界で彩度を変化させた場合を示す図である。図７では、Ｃｂ，Ｃｒ面を、Ｃｂ／Ｙ，Ｃｒ／Ｙ面とした点で図５と相違がある。

第２実施形態において、色領域の境界の座標を（ｃｂ１／Ｙ，ｃｒ１／Ｙ），（ｃｂ２／Ｙ，ｃｒ２／Ｙ）とする。そして、座標（ｃｂ１／Ｙ，ｃｒ１／Ｙ）で彩度のゲイン（ｓａｔｇａｉｎ）を１からｓａｔｇａｉｎ１に変更し、座標（ｃｂ２／Ｙ，ｃｒ２／Ｙ）で彩度のゲイン（ｓａｔｇａｉｎ）を１からｓａｔｇａｉｎ２に変更する場合を考える。

このとき、ｓａｔｇａｉｎ１は式（９）で示すことができ、ｓａｔｇａｉｎ２は式（１０）で示すことができる。第２実施形態では、式（９）および式（１０）の連立方程式を解くことで、その色領域に対応するｋｓｃｂ，ｋｓｃｒの値を求めることができる。
satgain1=1+kscb*cb1/Y+kscr*cr1/Y …(9)
satgain2=1+kscb*cb2/Y+kscr*cr2/Y …(10)
また、第２実施形態において、＃１０７での色調整部２２は、＃１０６で決定された係数を用いて、注目画素の彩度を調整する。例えば、第２実施形態の色調整部２２は、式（６）の代わりに、式（１１）により係数ｋｓｃｂ，ｋｓｃｒを用いて彩度調整量ｓａｔｇａｉｎを決定する。色調整後のＣｂ，Ｃｒの値は、第１実施形態と同様に式（７）、式（８）で求めればよい。
satgain=1+kscb[hue]*cb/Y+kscr[hue]*cr/Y …(11)
第２実施形態の場合には、上記の第１実施形態の作用効果に加えて、以下の効果を得ることができる。一般に、画像の低輝度部分ではＣｂＣｒの値が小さく、彩度が調整されない場合が多い。しかし、第２実施形態の場合にはＣｂＣｒをＹで規格化することで、輝度によらず高彩度部分の彩度調整を行うことができる。

＜第３実施形態の説明＞
第３実施形態では、カラー画像の色相を調整する例を説明する。第３実施形態において、＃１０６での色調整部２２は、注目画素の色差信号（Ｃｂ，Ｃｒ）の値に応じて、色調整に用いる１組の係数（ｋｈｃｂ，ｋｈｃｒ）を決定する。＃１０６での色調整部２２は、注目画素の色差信号（Ｃｂ，Ｃｒ）をＣｂＣｒ色差平面に写像し、色差平面において注目画素の対応座標が属する色領域から上記の係数ｋｈｃｂ，ｋｈｃｒを決定する。第３実施形態での色領域は、第１実施形態と同様であるので重複説明は省略する。

ここで、図８を参照しつつ、第３実施形態での係数ｋｈｃｂ，ｋｈｃｒの求め方を説明する。図８は、或る色領域の境界で色相を変化させた場合を示す図である。

第３実施形態において、色領域の境界の座標を（ｃｂ１，ｃｒ１），（ｃｂ２，ｃｒ２）とする。そして、座標（ｃｂ１，ｃｒ１）で色相の調整量（ｄｈｕｅ）を０からｄｈｕｅ１に変更し、座標（ｃｂ２，ｃｒ２）で色相の調整量（ｄｈｕｅ）を０からｄｈｕｅ２に変更する場合を考える。

このとき、ｄｈｕｅ１は式（１２）で示すことができ、ｄｈｕｅ２は式（１３）で示すことができる。第３実施形態では、式（１２）および式（１３）の連立方程式を解くことで、その色領域に対応するｋｈｃｂ，ｋｈｃｒの値を求めることができる。
dhue1=khcb*cb1+khcr*cr1 …(12)
dhue2=khcb*cb2+khcr*cr2 …(13)
また、第３実施形態において、＃１０７での色調整部２２は、＃１０６で決定された係数を用いて、注目画素の色相を調整する。例えば、第３実施形態の色調整部２２は、式（１４）により係数ｋｈｃｂ，ｋｈｃｒを用いて色相の調整量ｄｈｕｅを決定する。そして、色調整部２２は、式（１５）および式（１６）により、ｄｈｕｅを用いて色調整後のＣｂ，Ｃｒの値を求めればよい。
dhue=khcb[hue]*cb+khcr[hue]*cr …(14)
cb=cb-dhue*cr …(15)
cr=cr+dhue*cb …(16)
ここで、「ｋｈｃｂ［ｈｕｅ］」は、注目画素の属する色領域ｈｕｅを指定することでｋｈｃｂの係数値を返す関数であり、「ｋｈｃｒ［ｈｕｅ］」は、注目画素の属する色領域ｈｕｅを指定することでｋｈｃｒの係数値を返す関数である。

なお、式（１５）、式（１６）では、式（１４）のｄｈｕｅにｃｂ，ｃｒをそれぞれ乗じている。式（１４）で求まるｄｈｕｅはｃｂの項とｃｒの項を含むため、式（１５）で求まる値はｃｒの二乗に比例して非線形に変化し、式（１６）で求まる値はｃｂの二乗に比例して非線形に変化する。したがって、＃１０７での色相の調整量は、注目画素の彩度の高さに応じてその絶対値が大きくなり、高彩度の部分ほど色相が大きく変化する。

この第３実施形態では、色領域境界で色の連続性を保持しつつ、特定色の色相の調整を簡易な構成で行うことができる。

＜第４実施形態の説明＞
第４実施形態では、注目画素のＣｂ，ＣｒをＹで規格化して色相の調整を行う例を説明する。

ここで、図９を参照しつつ、第４実施形態での係数ｋｈｃｂ，ｋｈｃｒの求め方を説明する。図９は、或る色領域の境界で色相を変化させた場合を示す図である。図９では、Ｃｂ，Ｃｒ面を、Ｃｂ／Ｙ，Ｃｒ／Ｙ面とした点で図８と相違がある。

第４実施形態において、色領域の境界の座標を（ｃｂ１／Ｙ，ｃｒ１／Ｙ），（ｃｂ２／Ｙ，ｃｒ２／Ｙ）とする。そして、座標（ｃｂ１／Ｙ，ｃｒ１／Ｙ）で色相の調整量（ｄｈｕｅ）を０からｄｈｕｅ１に変更し、座標（ｃｂ２／Ｙ，ｃｒ２／Ｙ）で色相の調整量（ｄｈｕｅ）を０からｄｈｕｅ２に変更する場合を考える。

このとき、ｄｈｕｅ１は式（１７）で示すことができ、ｄｈｕｅ２は式（１８）で示すことができる。第４実施形態では、式（１７）および式（１８）の連立方程式を解くことで、その色領域に対応するｋｈｃｂ，ｋｈｃｒの値を求めることができる。
dhue1=khcb*cb1/Y+khcr*cr1/Y …(17)
dhue2=khcb*cb2/Y+khcr*cr2/Y …(18)
また、第４実施形態において、＃１０７での色調整部２２は、＃１０６で決定された係数を用いて、注目画素の色相を調整する。例えば、第４実施形態の色調整部２２は、式（１４）の代わりに、式（１９）により係数ｋｈｃｂ，ｋｈｃｒを用いて色相の調整量ｄｈｕｅを決定する。色調整後のＣｂ，Ｃｒの値は、第３実施形態と同様に式（１５）、式（１６）で求めればよい。
dhue=khcb[hue]*cb/Y+khcr[hue]*cr/Y …(19)
第４実施形態の場合には、上記の第３実施形態の作用効果に加えて、以下の効果を得ることができる。一般に、画像の低輝度部分ではＣｂＣｒの値が小さく、色相が調整されない場合が多い。しかし、第４実施形態の場合にはＣｂＣｒをＹで規格化することで、輝度によらず高彩度部分の色相調整を行うことができる。

＜第５実施形態の説明＞
図１０は、第５実施形態での画像処理装置の構成例を示す図である。第５実施形態での画像処理装置は、入力画像に対して色調整処理を施すプログラムがインストールされたコンピュータである。

図１０に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、処理対象のカラー画像（色補間前のＲＡＷ画像）のデータや、プログラムを外部から読み込むときに用いられる。データ読込部３２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置３３には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置３３には、データ読込部３２から読み込んだ画像のデータなどを記憶しておくこともできる。

ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、プログラムの実行によって、第１実施形態から第４実施形態の画像処理エンジン１４、信号変換部２１、色調整部２２として機能する。

メモリ３５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。

ここで、第５実施形態での画像処理装置では、ＣＰＵ３４が、データ読込部３２または記憶装置３３から処理対象のカラー画像を取得する。そして、ＣＰＵ３４は、第１実施形態から第４実施形態の＃１０２〜＃１０９の処理を実行する。かかる第５実施形態においても、第１実施形態から第４実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：上記実施形態では、画像のＹＣｂＣｒデータを用いて被写体抽出を行う例を説明した。しかし、本発明はＹＣｂＣｒ色空間に限定されず、他の色空間（Ｌ^＊ａ^＊ｂ^＊など）の場合にも適用できる。

（補足２）：上記の第１実施形態から第４実施形態では、彩度又は色相の一方の調整を行う例を説明した。しかし、本発明の画像処理装置は、上記の実施形態の処理を組み合わせて彩度と色相とを同時に調整してもよい。

（補足３）：上記実施形態では色差平面を６つの色領域に分割する例を説明したが、本発明において色差平面の分割数は適宜変更してもよい。例えば、ＲＧＢの座標を色領域の境界として、色差平面を３つの色領域で分割するようにしてもよい。

（補足４）：上記実施形態では、画像処理装置の各機能をプログラムによってソフトウェア的に実現する例を説明した。しかし、本発明の画像処理装置は、信号変換部２１、色調整部２２の各機能を、例えばＡＳＩＣ（Application Specific Integrated Circuit）を用いてハードウェア的に実現するものであってもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…電子カメラ、１２…撮影光学系、１３…撮像部、１４…画像処理エンジン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、２０…記憶媒体、２１…信号変換部、２２…色調整部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ

Claims

撮像素子から出力されるカラー画像の信号を取得する取得部と、
前記カラー画像の信号を輝度信号および色差信号に変換する信号変換部と、
前記カラー画像の注目画素の色差信号に応じて、前記注目画素の彩度または色相を調整する色調整部と、を備え、
前記色調整部は、色差平面を色相別に少なくとも３つの色領域に分割するとともに、各色領域にそれぞれ異なる係数を対応付けし、前記カラー画像の注目画素の色差信号の値を前記輝度信号の値で規格化して色差平面に写像し、規格化された前記色差信号が属する色領域の係数を用いて彩度または色相の調整量を求め、
前記調整量は、前記注目画素の彩度の高さに応じて絶対値が大きくなる画像処理装置。
請求項１に記載の画像処理装置において、
前記信号変換部は、カラー画像の信号をＹＣｂＣｒの信号に変換する画像処理装置。
カラー画像を撮像する撮像部と、
請求項１に記載の画像処理装置と、
を備える撮像装置。
撮像素子から出力されるカラー画像の信号を取得する処理と、
前記カラー画像の信号を輝度信号および色差信号に変換する処理と、
前記カラー画像の注目画素の色差信号に応じて、前記注目画素の彩度または色相を調整する処理と、をそれぞれコンピュータに実行させ、
前記注目画素の彩度または色相を調整するときに、色差平面を色相別に少なくとも３つの色領域に分割するとともに、各色領域にそれぞれ異なる係数を対応付けし、前記カラー画像の注目画素の色差信号の値を前記輝度信号の値で規格化して色差平面に写像し、規格化された前記色差信号が属する色領域の係数を用いて彩度または色相の調整量を求め、
前記調整量は、前記注目画素の彩度の高さに応じて絶対値が大きくなるプログラム。