JP5253047B2

JP5253047B2 - 色処理装置およびその方法

Info

Publication number: JP5253047B2
Application number: JP2008223921A
Authority: JP
Inventors: 利幸石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2013-07-31
Anticipated expiration: 2028-09-01
Also published as: US8290262B2; US20100054589A1; JP2010062674A

Description

本発明は、カラーアピアランスモデルに基づく色変換を行う色処理に関する。

CIEは、ある色の三刺激値XYZ値を人間の感覚である色の見えを表す属性値（知覚明度J値、知覚彩度C値、知覚色相h値）に変換するカラーアピアランスモデル(CAM)を規定する。例えば、非特許文献1が規定するCIECAM02は、照明光に対する順応などの視覚現象を数式でモデル化したものである。CIECAM02によれば、画像の入力側における画像の観察条件を示すパラメータと、画像の再現側における画像の観察条件を示すパラメータを設定する。そして、入力側の色値をカラーアピアランス空間へ順変換した後、再現側の色値に逆変換すると、入力側の観察環境における色の見えと、再現側の観察環境における色の見えを一致させることができる。このため、CAMは、複数の異なるデバイスの色空間や色再現特性を一元的に管理するカラーマネジメントシステム(CMS)に広く利用されている。

近年、画像適応型の色知覚モデル(iCAM: image color appearance model)がCIEから提案された。iCAMは、局所的な色順応処理と視覚の周波数特性を考慮して、CAMの色処理を拡張する。iCAMの局所的な色順応処理は、観察者の視野領域を定義し、視野領域に分布する画素データからCAMの変換パラメータである観察条件パラメータを算出し、画像の各画素に観察条件パラメータを適用して色変換を行う。

iCAMは、人間が知覚する明度、色を高精度に数値化することができ、例えば、人間が撮影シーンにおいて知覚していた明るさ、色の見えを、画像出力機器が再現可能な明るさ、色に変換する技術に利用される。具体的には、高ダイナミックレンジ(HDR)画像を好ましく再現するためのダイナミックレンジ圧縮技術に利用されている。例えば、特許文献1は、局所順応処理の考えを取り入れたiCAM06（非特許文献2参照）の技術を応用した階調圧縮処理を提案する。

しかし、局所順応処理を適用すると画像によっては色や階調の再現に破綻が生じる場合がある。iCAMを用いて人物画像を再現する場合、顔画像領域の周囲に高彩度の色をもつオブジェクトが存在すると、顔画像の色が不自然になる。例えば、顔画像の近傍に赤色のオブジェクトがある場合、顔画像の肌色が緑色寄りに再現される。また、シアン色のオブジェクトであれば、肌色がマゼンタ色寄りに再現される。言い換えれば、同じ人間を撮影した同じ肌色をもつ画像であっても、画像に含まれるオブジェクトによって、肌色の再現の一貫性が得られず、好しい画像再現が得られない問題がある。

また、iCAMは、注目画像データの周辺領域の画素値から変換パラメータの一つである白色情報（順応白色点）を決定する。従って、画像中のべた領域（平坦部）の順応白色点も周辺領域の画素値から決定され、べた領域に対して異なる順応白色点に基づく処理が行われてべた領域を好しく再現できない。

CIE TECHNICAL REPORT「A COLOR APPEARANCE MODEL FOR COLOR MANAGEMENT SYSTEMS: CIECAM02」CIE159: 2004, ISBN 3901906290 Kuang, J., Johnson, G. M., Fairchild M. D.「iCAM06: A refined image appearance model for HDR image rendering」Journal of Visual Communication, 2007 特開2006-313465公報

また、カラーアピアランスモデルに基づく色変換を行う際に、平坦部を好ましく再現することを他の目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる色処理装置は、画像データの注目画素の白色情報を前記注目画素の周辺画素の画像データを用いて算出し、前記白色情報を用いて前記注目画素に順応処理を施す第一の処理手段と、画像データに対する固定の白色情報を用いて順応処理を行う第二の処理手段と、入力した画像データの領域を選択する選択手段と、前記選択された領域に応じて、前記第一の処理手段と前記第二の処理手段を選択的に使用して、前記入力した画像データを色変換する色変換手段とを有し、前記色変換手段は、前記選択された領域に所定面積以上の連続する平坦部が含まれる場合、前記色変換に前記第二の処理手段を使用することを特徴とする。

また、カラーアピアランスモデルに基づく色変換を行う際に、平坦部を好ましく再現することができる。

以下、本発明にかかる実施例の色処理を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例に画像処理装置（色処理装置）の構成例を示すブロック図である。

制御部109は、ワンチップマイクロプロセッサ(CPU)で構成され、内蔵するRAMおよびバッファメモリ112をワークメモリに利用して、内蔵するROMに格納された各種プログラムを実行する。制御部109が実行するプログラムには、システムバス113を介して、後述する各構成を制御する制御プログラムや、後述する画像処理のプログラムが含まれる。

UI部107は、例えば液晶パネル(LCD)などの表示部と、タッチパネル、キーまたはダイヤルなどの入力部を備え、後述するユーザインタフェイス(UI)を提供する。

画像データ保持部102は、変換元の画像データを保持するメモリである。デバイス特性保持部104は、デバイス特性データを保持するメモリである。なお、画像データとデバイス特性データを、例えばメモリカードのようなメモリの所定領域に格納して、画像データ保持部102とデバイス特性保持部104を一体にしてもよい。

画像データ取得部103は、画像データ保持部102から画像データを取得する。デバイス特性取得部105は、デバイス特性保持部104からデバイス特性データを取得する。

画像データ保持部102とデバイス特性保持部104がメモリカードとして構成される場合、画像データ取得部103とデバイス特性取得部105は、例えばメモリカードリーダのようなインタフェイスとして構成すればよい。あるいは、画像データ取得部103とデバイス特性取得部105を例えばUSBのようなシリアルバスインタフェイスにして、メモリを介さずに、ディジタルカメラのような画像入力デバイスから画像データやデバイス特性データを直接取得してもよい。

画像出力部108は、画像処理装置101が処理した画像データをモニタやプリンタなどの出力デバイス114に出力する例えばUSBのようなシリアルバスインタフェイスである。また、処理後の画像データは、画像処理装置101に接続された外部メモリに保存してもよい。

画像データ解析部106は、バッファメモリ112に格納された画像データを解析する。局所順応処理部110は、画像データに局所順応処理を施す。固定順応処理部111は、画像データに固定順応処理を施す。

［ユーザインタフェイス］
図2はUI部107が提供するUIの一例を示す図である。

ユーザは、入力画像設定部1001を操作して入力する画像データを指定する。また、画像出力先設定部1002を操作して処理後の画像データの出力先を指定する。つまり、画像データ保持部102に保持された画像データや画像入力デバイスを指定する。また、処理後の画像データに基づく画像を、モニタに表示する場合はモニタを指定し、印刷する場合はプリンタを指定し、保存する場合は外部メモリを指定する。

また、ユーザは、入力側のデバイス特性設定部1003を操作して、入力する画像データを生成した画像入力デバイスの色再現特性を指定する。また、再現側のデバイス特性設定部1004を操作して、処理後の画像データの出力先である画像出力デバイスの色再現特性を指定する。

画像入力デバイスが出力する画像データや画像出力デバイスが入力する画像データがAdobeRGBやsRGBなどの色空間で表される場合、ユーザはAdobeRGBやsRGBなどを指定する。他方、一般的な色空間で表されない場合、ユーザは、デバイス特性保持部104に保持された画像入出力デバイスのデバイス特性データを指定する。

また、ユーザは、画像変換方法設定部1005を操作して、入力する画像データの変換方法を選択する。なお、変換方法の詳細は後述する。

［画像処理］
図3は画像処理の一例を示すフローチャートで、制御部109が実行する処理である。なお、図3は、ユーザが画像変換方法設定部1005を操作して、固定/局所順応処理を指示した場合の処理を示している。

制御部109は、画像変換に必要な情報の入力を促す図2に示すUIをUI部107に表示する(S11)。そして、画像データ取得部103を制御して、ユーザが指定する画像データを取得し、バッファメモリ112に格納し(S12)、デバイス特性取得部105を制御して、ユーザが指定するデバイス特性データを取得する(S13)。

なお、デバイス特性データには、デバイス依存色（例えばデバイスRGB値）からデバイス独立色（例えばXYZ値）への変換特性と、CAMパラメータが記述されている。変換特性は、例えば、RGB→XYZのガンママトリクスと3×3変換マトリクスの組み合わせ、あるいは、変換ルックアップテーブル(LUT)である。本実施例においては、変換LUTを使用する。なお、ユーザがAdobeRGBまたはsRGBを指定した場合は、指定色空間の変換式に基づき、RGBからXYZへの変換を行う。

図4はデバイス特性データのフォーマットを説明する図である。CAMパラメータは、次を含む。
白色点のXYZ値XwYwZw、
順応領域の絶対輝度La：図4の例では、順応領域における白色点の絶対輝度Lwの20%が指定されている、
背景領域の相対輝度Yb：図4の例では20%が指定されている、
周囲条件(Surround)：図4の例では、平均的(average)なパラメータ（周囲の影響c、色誘導ファクタNc、周囲条件に対応する順応度合のファクタF）が指定されている。

また、変換LUTは、RGB空間を均等に分割した9³個の格子点のRGB値とXYZ値の対応を記述する。この対応関係に基づき、四面体補間などによって、RGB値をXYZ値に変換する。

次に、制御部109は、画像データ解析部106を制御して、バッファメモリ112に格納した入力画像データを解析する(S14)。そして、バッファメモリ112に格納した入力画像データから注目画素のデータを取得し(S15)、画像データ解析部106の解析結果に応じて画像処理部を選択する(S16)。そして、注目画素のデータを変換処理し（S17またはS18）、変換処理後の画素データをバッファメモリ112に格納する(S19)。

画像データの解析処理と画像処理部の選択の詳細は後述する。また、ユーザが画像変換方法設定部1005を操作して、固定順応処理または局所順応処理を指示した場合、制御部109は、ステップS14、S16の処理をスルーパスする。そして、固定順応処理を指示した場合は画像処理部に固定順応処理部111(S17)を選択し、局所順応処理を指示した場合は画像処理部に局所順応処理部110(S18)を選択する。

次に、制御部109は、ステップS20の判定により、入力画像データの全画素の変換処理が終了するまで、ステップS15からS19の処理を繰り返す。そして、全画素の変換処理が終了すると、画像出力部108を制御して、バッファメモリ112に格納した変化処理後の画像データをユーザが指定する画像の出力先に出力する(S20)。

●画像データ解析部
画像データ解析部106は、入力画像データを解析し、公知の顔検出技術により、入力画像データが顔画像領域を含むか否かを検出する(S14)。顔検出技術には、ニューラルネットワークに代表される学習を用いる手法、目や鼻など物理形状に特徴がある部位をテンプレートマッチングを用いて検出する手法、肌の色や目の形などの画像特徴量を統計的解析を用いて検出する手法などがある。下記に顔検出技術を開示する代表的な文献を列挙する。
学習を用いる手法：Rowley et al.「Neural network-based face detection」IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 20、NO. 1、JANUARY 1998、
テンプレートマッチングを用いて検出する手法：Yang et al.「Detecting Faces in Images: A Survey」IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 24、NO. 1、JANUARY 2002、
統計的解析を用いて検出する手法：特開2000-048184公報。

●画像処理部の選択
制御部109は、画像データ解析部106の解析結果（顔画像領域）に応じて、固定順応処理部111と局所順応処理部110を選択的に使用する(S16)。つまり、制御部109は、注目画素が顔画像領域内にある場合は固定順応処理部111(S17)を選択し、顔画像領域外にある場合は局所順応処理部110(S18)を選択する。

●固定順応処理部
固定順応処理部111は、CIECAM02に基づく部分順応処理を含む色変換（つまり、カラーアピアランスモデルに基づく色変換、以下「カラーアピアランス変換」と呼ぶ）を行う(S17)。つまり、固定順応処理部111は、入力デバイスのデバイス特性データに基づきデバイスRGB値をXYZ値に変換し、CIECAM02の変換式に基づき、入力側の観察環境下のXYZ値をカラーアピアランス空間のJCh値に順変換する。そして、CIECAM02の変換式に基づき、JCh値を再現側の観察環境下のXYZ値に逆変換し、出力デバイスのデバイス特性データに基づきXYZ値をデバイスRGB値に変換する。なお、順変換、逆変換における観察条件パラメータはCIECAM02の推奨パラメータを用いる。

入力側の順応白色点は、画像撮影時の色温度が既知であれば当該色温度から白色点のXYZ値を算出して設定すればよい。また、画像撮影時の色温度が不明な場合は、入力画像データのXYZ値のヒストグラムをそれぞれを作成し、各ヒストグラムの面積の上側5%における最頻値を白色点XwYwZwに設定してもよい。あるいは、基準光源のD50、D65などをユーザが指定してもよい。つまり、画像処理の目的に応じたパラメータを設定すればよい。言い換えれば、固定順応処理部111は、画像データの入出力先のデバイスに関連する白色情報を用いて部分順応処理を実行する。

●局所順応処理部
局所順応処理部110は、iCAM06に基づく局所順応処理を含むカラーアピアランス変換を行う(S18)。つまり、局所順応処理部110は、入力デバイスのデバイス特性データに基づきデバイスRGB値をXYZ値に変換し、iCAM06の変換式に基づき、入力側の観察環境下のXYZ値をカラーアピアランス空間のJCh値に順変換する。そして、iCAM06の変換式に基づき、JCh値を再現側の観察環境下のXYZ値に逆変換し、出力デバイスのデバイス特性データに基づきXYZ値をデバイスRGB値に変換する。

iCAM06のカラーアピアランス変換を行う場合、観察条件パラメータは、画像から局所的に算出するため、デバイス特性データに記述されたCAMパラメータは使用しなくもよい。

また、iCAM06の代わりに、iCAMなどの他の局所順応処理モデル、または、順応白色点を局所的に算出してCIECAM02を用いてもよい。CIECAM02を用いる場合、注目画素の周辺画素に応じて、言い換えれば、注目画素の空間的位置に応じて順応白色点を算出する。例えば、順応視野領域を入力画像の幅の1/3と定義して、下式に示すガウシアンフィルタを用いる処理により、順応視野領域のXYZ値を平滑化したXYZ値を順応白色点に設定する
Img'(x, y) = ΣΣImg(x-a, y-b)F(a, b) …(1)
ここで、(x, y)は画素の座標（x = 0, …, W、y = 0, …, H）
Imgは入力画像のXYZ値、
Img'はフィルタ処理後の画像のXYZ値、
(a, b)はフィルタ中心からの相対座標。
F(a, b)はガウシアンフィルタ（式(2)）、
Σ演算は順応視野の半径をSとすると-Sから+Sまで。
F(a, b) = (1/k)exp{-(a²+b²)/2(S/2)²} …(2)
ここで、k = ΣΣexp{-(a²+b²)/2(S/2)²}
-S ≦ a ≦ +S、-S ≦ b ≦ +S、
Σ演算は-Sから+Sまで。

このように、入力画像データをカラーアピアランス変換する場合、入力画像データの顔画像領域の画素には固定順応処理を適用し、顔画像領域外の画素には局所順応処理を適用する。従って、顔画像領域の周囲に高彩度の色をもつオブジェクトが存在すると、顔画像の色が不自然になる問題を防いで、肌の色など重要な記憶色の色再現を保持して、顔画像の色を好しく再現することができる。

以下、本発明にかかる実施例2の色処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例2では、入力画像データの空間周波数特性に応じて、局所順応処理部110による処理と固定順応処理部111による処理を切り替える。

●画像データ解析部
画像データ解析部106は、ソーベルフィルタを使用して、入力画像データからエッジ画像を作成する(S14)。なお、エッジ画像の作成には、ソーベルフィルタ以外のエッジ抽出フィルタを用いてもよい。

図5は3×3画素のソーベルフィルタを示す図である。図5(a)は水平方向のエッジを、図5(b)は垂直方向のエッジを抽出するソーベルフィルタである。

●画像処理部の選択
制御部109は、ステップS16において、作成されたエッジ画像を参照して、注目画素がエッジ画像に含まれる場合は、空間周波数の高周波領域に位置するとして、画像処理部に局所順応処理部110(S18)を選択する。また、注目画素がエッジ画像に含まれない場合は、空間周波数の低周波領域に位置するとして、画像処理部に固定順応処理部111(S17)を選択する。

このように、入力画像データをカラーアピアランス変換する場合、入力画像データの空間周波数の高周波領域に含まれる画素には局所順応処理を適用し、低周波領域に含まれる画素には固定順応処理を適用する。従って、低周波領域に含まれるべた領域の画素のカラーアピアランス変換に固定の順応白色点を採用して、べた領域（平坦部）を好しく再現することができる。

［変形例］
実施例1では、画像データ解析部106が検出した顔画像領域に固定順応処理を施す例を説明した。しかし、固定順応処理を施す領域は、顔画像領域に限らず、色を保持したい領域をユーザが指定してもよい。

実施例2において、入力画像データが表す画像を領域分割し、分割領域の周波数スペクトルを算出する。また、入力画像データの周波数スペクトルから閾値を算出する。そして、閾値を用いて、分割領域ごとに、分割領域が空間周波数の高周波領域に含まれるか低周波領域に含まれるかを判定して、画像処理部を選択してもよい。

上記では、入力画像データの解析結果に応じて、画素ごとに、画像処理部として固定順応処理部か局所順応処理を選択する例を説明した。しかし、画素ごとに、固定順応処理部111の処理結果と局所順応処理部110の処理結果に解析結果に応じた重み付けを行い、それらの平均値を変換結果にしてもよい。

また、入力画像データの解析結果に応じて、画素ごとに、画像処理部を選択する方法を説明したが、画像ごとに画像処理部を選択してもよい。つまり、制御部109は、画像データ解析部106が顔画像領域を検出した画像や、エッジ画像に所定面積以上の連続する低周波領域（平坦部、べた領域）が存在する画像には、固定順応処理部111を選択する。また、ユーザが、図2に示すUIを使用して、顔画像（または重要なべた領域）を含む画像は固定順応処理を選択し、顔画像（または重要なべた領域）を含まない画像は局所順応処理を選択するようにしてもよい。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

実施例に画像処理装置（色処理装置）の構成例を示すブロック図、 UI部が提供するUIの一例を示す図、画像処理の一例を示すフローチャート、デバイス特性データのフォーマットを説明する図、 3×3画素のソーベルフィルタを示す図である。

Claims

画像データの注目画素の白色情報を前記注目画素の周辺画素の画像データを用いて算出し、前記白色情報を用いて前記注目画素に順応処理を施す第一の処理手段と、
画像データに対する固定の白色情報を用いて順応処理を行う第二の処理手段と、
入力した画像データの領域を選択する選択手段と、
前記選択された領域に応じて、前記第一の処理手段と前記第二の処理手段を選択的に使用して、前記入力した画像データを色変換する色変換手段とを有し、
前記色変換手段は、前記選択された領域に所定面積以上の連続する平坦部が含まれる場合、前記色変換に前記第二の処理手段を使用することを特徴とする色処理装置。
前記平坦部は、ユーザ指示により指定される領域であることを特徴とする請求項1に記載された色処理装置。
前記選択手段は前記入力した画像データのエッジ画像を選択し、前記色変換手段は前記エッジ画像に含まれる画素の画像データの前記色変換に前記第一の処理手段を使用することを特徴とする請求項1または請求項2に記載された色処理装置。
画像データの注目画素の白色情報を前記注目画素の周辺画素の画像データを用いて算出し、前記白色情報を用いて前記注目画素に順応処理を施す第一の順応処理ステップと、
画像データに対する固定の白色情報を用いて順応処理を行う第二の順応処理ステップと、
入力した画像データの領域を選択する選択ステップと、
前記選択された領域に応じて、前記第一の順応処理ステップと前記第二の順応処理ステップを選択的に使用して、前記入力した画像データを色変換する処理ステップとを有し、
前記選択された領域に所定面積以上の連続する平坦部が含まれる場合、前記処理ステップにおける前記色変換には前記第二の順応処理ステップが使用されることを特徴とする色処理方法。
コンピュータを請求項1から請求項3の何れか一項に記載された色処理装置の各手段として機能させるためのプログラム。