JP4730837B2 - 画像処理方法、画像処理装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、ダイナミックレンジの広い画像データに対して好ましい出力画像データを生成する画像処理技術に関し、特に、画像データをモニタやプリンタ等の出力デバイスに出力するための画像変換を行う画像処理方法、画像処理装置、プログラムおよび記録媒体に関する。

近年、パソコンやインターネット、家庭用プリンタの普及、及びハードディスクなどの記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増え、それに伴いデジタル写真画像データ（以下、画像データ）の入力手段として、デジタルカメラが普及している。

デジタルカメラで使用している撮像センサＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）は、撮影シーンの輝度にほぼ比例した画像データを出力する。ＣＣＤからの撮像データをそのままモニタに出力すると、輝度のべき乗に比例した輝度を有する画像を表示することになり好ましい特性とはならない。このため、出力デバイスの特性に合わせた、画像変換を行う必要がある。一般には、ｓＲＧＢと呼ぶ平均的なモニタの特性に基づいて標準化した色空間（非特許文献１を参照）が普及し、デジタルカメラも、ｓＲＧＢ画像データに変換して出力されることが多い。

このように従来型のワークフローでは、ｓＲＧＢを標準色空間として用いることで、そのままモニタに表示しても概ね良好な色再現を得ることができた。

ところで、ｓＲＧＢは、上記したように平均的なモニタに合わせた色空間なので、その色再現範囲は、ほぼモニタと同様な範囲に限定される。一方、プリンタの色再現範囲には、モニタよりも広い部分がある。例えば、インクジェットプリンタのシアン領域にはｓＲＧＢでは再現できない領域が存在する。また、撮影対象となる被写体には、これらの領域に属する色が存在するが、このような色は、プリンタでは再現する能力があるにもかかわらず、ｓＲＧＢの色再現範囲に圧縮されてしまうため、再現できなくなる。

更に、自然界の撮影シーンは様々であり、実際のシーンの輝度域は、屋外では数千：１のオーダーに至ることもしばしば発生する。そのため、デジタルカメラでは例えば、感度の異なる２種類のＣＣＤを用いて画像合成を行うなどしてダイナミックレンジを拡大する各種の方式が提案されている。しかし、ｓＲＧＢ空間は、モニタの輝度レンジに限定されているため、実際のシーンを表現するにはダイナミックレンジが不足している。

そこで最近、ｓＲＧＢのようなモニタに合わせた色空間ではなく、実際の撮影シーンの特性に関連付けた画像データをデジタルカメラから出力する技術が提案されている。すなわち、測色的に定義された色空間に変換した、実際の撮影シーンの輝度に比例した画像データをデジタルカメラから出力し、或いは、輝度に比例した画像データでなくても、意図的に補正・強調等を加えない状態の画像データを出力する。このような簡単な数式で記述可能な変換によりシーンの輝度・色度値に変換可能な色空間をシーン参照色空間と呼ぶ。シーン参照色空間としては、例えばＲＩＭＭ ＲＧＢ、或いは、ｓｃＲＧＢ（ＩＥＣ規格６１９６６−２−２）が知られている。また、シーン参照色空間の色信号で表される画像データをシーン参照画像データと呼び、例えば、デジタルカメラで一般的に用いられているＲａｗ画像データも、撮像素子の特性を表すマトリックス演算を施すことで、シーンの輝度値に変換可能なため、シーン参照画像データとみなせる。一方、従来のｓＲＧＢのような出力デバイスに合わせた画像データは出力参照画像データと呼ばれる。

上記のシーン参照色空間を用いれば、ｓＲＧＢ色空間よりも広いダイナミックレンジを表現できるため、日中の明るいシーンから、夜景のように暗いシーンまで様々な撮影シーンについて、階調潰れのない画像情報を記録することができる。しかし、モニタやプリンタのダイナミックレンジは、現実のシーンよりも著しく狭いため、シーン参照色空間のメリットを活かしながら出力デバイス上に画像を再現するためには、画像データに適したダイナミックレンジ圧縮が必要になる。

上記のようなダイナミックレンジの広い画像データをレンジ圧縮する方式としては、以下の方式が提案されている。

入力画像データが、０〜１００％の範囲内か範囲外かを判定し、範囲外の画像データを解析して、白基準点或いは黒基準点を設定し、１００％以下の画像データは高階調ＤＬＵＴで色変換し、１００％を超えるＲＧＢ値を含む場合には低階調ＤＬＵＴで色変換を行う装置（特許文献１を参照）、シーン参照画像を用いて逆光、ハイコントラストなどのシーンタイプを判定し、特定のシーンにおいて白色点或いは黒色点を設定した後、主要被写体が適正な明るさになるように階調補正を行い、また、階調補正後の画像データを色の見えモデルを用いて出力デバイスに適した画像データに変換する装置（特許文献２を参照）、ＥＸＩＦ情報に基づいてアピアランス・パラメータを算出し、更にシーン参照画像データを解析し、シーンに人物が含まれるか否かでアピアランス・パラメータを修正し、該パラメータに基づいて好ましく見える画像データに変換する装置（特許文献３を参照）がある。

Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ ａｎｄ Ｅｑｕｉｐｍｅｎｔ −Ｃｏｌｏｕｒ Ｍｅａｓｕｒｍｅｎｔ ａｎｄ Ｍａｎａｇｅｍｅｎｔ− Ｐａｒｔ２−１：Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ −Ｄｅｆａｕｌｔ ＲＧＢ Ｃｏｌｏｕｒ Ｓｐａｃｅ− ｓＲＧＢ ＩＥＣ６１９６６−２−１ ＣＩＥ ＴＥＣＨＮＩＣＡＬ ＲＥＰＯＲＴ−ＣＩＥ１５９：２００４ 特開２００６−８０８３４号公報 特開２００５−２０９０１２号公報 特開２００５−２１０５２６号公報 特開２００２−３６８９８３号公報

ｓｃＲＧＢに代表されるシーン参照画像データをデジタルカメラから出力した場合、出力デバイス用の画像データに変換する必要がある。しかし、従来の方式では、撮影シーンと出力デバイスの観察条件の違いに起因する視覚特性の違いが十分に補正できないために、シーン参照画像データを好ましい出力デバイス用の画像データに変換できない。

上記した特許文献１の方式では、ｓｃＲＧＢ画像データを解析して白基準値或いは黒基準値に基づいて入力ＲＧＢ信号を出力ＣＭＹＫ信号に変換するＤＬＵＴを調整し、入力ＲＧＢ信号と出力ＣＭＹＫ信号が強い非線形特性をもっているため、ＤＬＵＴとして三次元ルックアップテーブルを使用している。そのため、白基準値や黒基準値の変更に合わせてＤＬＵＴを調整する処理を自動的に行うためには複雑な演算が必要となり、その実現が困難である。また、白基準値の決定方法についても、単純に画像データ中の最高輝度値を検出しているが、画像データ中に光源色が含まれているような場合に、最高輝度値を白基準値とすると、主要な被写体領域で暗くなってしまうことが多い。

また、特許文献２のダイナミックレンジ圧縮方式では、ｓｃＲＧＢ画像を解析して設定した基準白色点及び基準黒色点を用いて、ｓＲＧＢ空間のダイナミックレンジに納まるように階調補正しているが、階調補正でｓＲＧＢの階調範囲に圧縮されるため、プリンタで再現可能な、例えばシアン色などもｓＲＧＢ色再現範囲内に圧縮され、ｓｃＲＧＢ画像のメリットを損なってしまう。また、均一な階調補正を行っているため、被写体の明るさとハイライトの階調再現が両立しないという問題も生じる。

更に、特許文献３の色の見えモデルのパラメータをシーンに応じて設定する方法でも、画像に応じて適切な階調特性を実現するには、画像ごとに複雑なカラーアピアランスの計算を行わねばならず、演算負荷が大きい。

本発明は、上記課題に鑑みてなされたもので、
本発明の目的は、シーン参照画像データを出力デバイス用の画像データに変換する場合に、演算負荷が少なく、かつ出力デバイスの色再現能力を活かしたダイナミックレンジ圧縮を実現する画像処理方法、画像処理装置、プログラムおよび記録媒体を提供することにある。

本発明の他の目的は、被写体の明るさとハイライトの階調再現の両立が可能なダイナミックレンジ圧縮を行う画像処理方法、画像処理装置、プログラムおよび記録媒体を提供することにある。
即ち、
請求項１の目的は、ダイナミックレンジの広いシーン参照画像データを出力デバイス用の画像データに変換する場合に、演算負荷が少なく、かつ出力デバイスの色再現能力を活かしたダイナミックレンジ圧縮を実現する画像処理方法を提供することにある。

本発明は、シーン参照色空間上の入力色信号を、出力デバイス用の色信号に変換する画像処理方法であって、前記入力色信号の輝度レンジを算出する工程と、前記入力色信号中に顔領域が含まれているか否かを検出する工程と、前記検出された顔領域の平均輝度を算出する工程と、前記入力色信号が前記顔領域を含む場合は、前記顔領域の平均輝度と前記入力色信号の最大輝度との比に基づいて前記顔領域の輝度が適正か否かを判定する工程と、前記顔領域の輝度が適正と判定されない場合は、前記入力色信号を被写体領域と背景領域に分離する工程と、前記入力色信号が前記顔領域を含まない場合、または、前記顔領域の輝度が適正と判定された場合、前記入力色信号の輝度レンジを参照して線形な輝度変換を行うことにより前記入力色信号のダイナミックレンジを圧縮し、前記分離された被写体領域に対して被写体領域用のレンジ補正テーブルを用い、前記分離された背景領域に対して背景領域用のレンジ補正テーブルを用いてダイナミックレンジを圧縮する工程と、前記圧縮された色信号の各成分値に対して、非線形変換を行って拡張色空間上の色信号に変換する工程と、前記拡張色空間に変換された色信号を出力デバイス用の色信号に色変換する工程を有することを最も主要な特徴とする。

本発明によると、入力画像データの色分布に適した階調圧縮条件を決定して、シーン参照色空間上の色信号を出力デバイスの色再現範囲を包含する拡張色空間上に階調圧縮しているため、簡単な演算で出力デバイスの色再現能力を１００％活かしたハイダイナミックレンジ画像のレンジ圧縮を行うことができる。また、シーン参照画像が人物領域を含まない場合は、または、シーン参照画像の人物領域の輝度が適正な場合は、線形な輝度変換を行って入力信号のレンジを圧縮し、前記圧縮された色信号から拡張色空間上の色信号に変換しているため、複雑な非線形処理を画像によらず共通化することができ、レンジ補正の演算処理を単純化することができる。さらに、シーン参照画像の人物領域の輝度が不適正な場合に、人物領域と非人物領域で異なるレンジ圧縮を行っているため、被写体の明るさとハイライトの階調再現の両立することができる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
１．画像処理システム
図３は、本発明の画像処理システムの構成例を示す。図３において、２０３はコンピュータであり、各種色修正アプリケーションやプリンタ・ドライバ等のソフトウェアが実装される。デジタルカメラ２０１、スキャナ２０２は処理される画像データを取り込むための入力装置である。ディスプレイ２００は、画像データを表示するための出力装置で、カラー・プリンタ２０４は、画像データをプリンタアウトするための出力装置である。なお、カラー・プリンタは、カラーコピー機やカラーファクシミリ機でもよい。

図３の画像処理システムにおいて、デジタルカメラ２０１、スキャナ２０２は、写真などをマトリックス状の画素として表した画像データをコンピュータ２０３に出力する。コンピュータ２０３は、入力された画像データをディスプレイ表示やプリント出力に適した画像データに変換し、変換されたＲＧＢ画像データをディスプレイ２００に表示させる機能や、プリンタ・ドライバを介してＣＭＹもしくはＣＭＹＫの２値データに変換してカラー・プリンタ２０４に印刷させる機能を有している。そして、ディスプレイ２００やプリンタ２０４は、画像処理された画像データをドットマトリクス状の画像として表示／出力する。

２．ハイダイナミックレンジ画像データ
次に、デジタルカメラ２０１の撮像装置やスキャナ２０２などにより入力される画像データについて説明する。従来のデジタルカメラでは、デジタルカメラ内でディスプレイ表示に適したｓＲＧＢデータに変換しＥＸＩＦフォーマットにフォーマット変換した上で、コンピュータに画像データを送出することが一般的である。しかし、ｓＲＧＢ色空間の色再現範囲が狭いことから様々なシーン参照色空間が提案されている。ｓｃＲＧＢ色空間（ＩＥＣ規格６１９６６−２−２）は、次期Ｗｉｎｄｏｗｓシステムで採用されることから、近年、特に注目されている。

以下、本実施例ではシーン参照画像データとして、ｓｃＲＧＢ画像を用いるものとして説明するが、ＲＡＷデータなど他の色空間で表されるシーン参照画像データでも構わない。

ｓｃＲＧＢ画像データについて説明すると、ＩＥＣ規格６１９６６−２−２によれば、ｓｃＲＧＢデータと、ＸＹＺ三刺激値との関係は下記のように定義されている。

上記の定義式からわかるように、ｓｃＲＧＢ信号はＸＹＺ三刺激値から線形変換で求められる。また、Ｙの輝度レンジは、−０．５〜７．５として定義されており、参照白色点（Ｙ＝１．０）よりも明るい白色を含む画像データも扱うことができる。また、従来のｓＲＧＢ信号は８ビットデータ（０〜２５５）であるのに対して、ｓｃＲＧＢ信号は１６ビットデータ（０〜６５５３５）であるため、ｓＲＧＢよりも多くの階調表現が可能であり、実際の撮影シーンの広いダイナミックレンジ情報を損なうことなく表現できる。このように従来よりも広いダイナミックレンジを再現した画像をハイダイミックレンジ画像（ＨＤＲ画像）と呼ぶ。例えば、図２（ａ）にあるような人物の背景に明るい光が差し込んでいる画像の場合、カメラが人物にフォーカスして露出制御し、ｓＲＧＢ画像を生成すると背景の階調がつぶれてしまう。図２（ｂ）の輝度ヒストグラムの例では、白を表す点（図中の右端）での頻度が際立って高く、ハイライトで階調が潰れてしまっているのがわかる。一方、ｓｃＲＧＢ画像データの場合は、１を超えるような輝度を表現できるため背景の逆光部分についても階調つぶれのない画像データとして出力できる。

３．画像処理の全体フロー
図１は、コンピュータ２０３内に備えた画像処理装置の構成を示す。画像処理装置は、レンジ圧縮部１０１、色補正部１０２、画像解析部１０３を備える。画像解析部１０３は、ｓｃＲＧＢ画像データの色分布を解析して、トーンマッピング処理のためのレンジ圧縮条件を設定する。レンジ圧縮部１０１は、画像解析部１０３で設定されたレンジ圧縮条件に基づいてダイナミックレンジ圧縮を行う。ここで、レンジ圧縮部１０１は、ｓｃＲＧＢ画像データを後述の拡張ＲＧＢ色空間で表現可能なレンジ範囲内へ変換する。色補正部１０３は、拡張ＲＧＢのダイナミックレンジへ圧縮された色信号に対してメモリマップ補間演算を行って、プリンタ出力信号であるＣＭＹＫ信号へ変換する。

上記変換における色空間の再現範囲の関係について、図４を用いて説明する。入力色空間であるｓｃＲＧＢ色空間の色再現範囲は非常に広く、−０．５〜７．５までのダイナミックレンジを表現できる。一方、ｓＲＧＢ空間は標準的なディスプレイの色再現範囲を表しており、図４に示すようにプリンタの色再現範囲をカバーできていない。そのため、ｓｃＲＧＢ画像をｓＲＧＢ画像のレンジに変換してしまうと、プリンタの色再現範囲を１００％利用できなくなってしまう。

そこで、本発明では、プリンタの再現範囲をカバーできる色空間として拡張ＲＧＢ空間にレンジ圧縮した後、プリンタ信号へ色変換することでプリンタの色再現能力を１００％活かせるようにしている。拡張ＲＧＢ色空間としては、ｓｃＲＧＢ色空間よりは狭いが、ｓＲＧＢ色空間とプリンタの色空間の両方を包含する色空間となる。かかる色空間としては、ＡｄｏｂｅＲＧＢ空間が知られているが、ｓｃＲＧＢ色信号をＡｄｏｂｅＲＧＢ信号に変換するにはマトリックス演算が必要となり、計算が複雑になる。そこで、本実施例ではｓｃＲＧＢ空間から単純なテーブル変換で変換可能なｅ−ｓＲＧＢ色空間を用いる。ｅ−ｓＲＧＢとＸＹＺ三刺激との関係は以下のように定義されている。

ｅ−ｓＲＧＢのビット数をｎ、ｅ−ｓＲＧＢ信号の成分値をＣとすると、式（３）で正規化を行う。なお、ｅ−ｓＲＧＢ信号のビット数は１０ビット、１２ビット、１６ビットが規格化されている。

次に、上記Ｃ’の値に応じて、非線形変換を行って輝度リニアな信号に変換する。
（１）Ｃ’＜−０．０４０４５の場合

（２）−０．０４０４５＜＝Ｃ’＜＝０．０４０４５の場合

（３）Ｃ’＞０．０４０４５の場合

そして、下記のマトリックス変換でＸＹＺ三刺激値に変換できる。

本実施例では、ｅ−ｓＲＧＢ信号のビット数はプリンタの階調再現能力を考慮して１０ビットとして説明するが、これに限らない。また、上式からわかるようにマトリックス変換係数は、ｓｃＲＧＢやｓＲＧＢと同一である。従って、ｅ−ｓＲＧＢとｓｃＲＧＢの関係としては、３原色及び白色点の色度値は一致しており、その輝度レンジのみが異なっている。輝度レベル＝０は、ｅ−ｓＲＧＢでは３８４であり、ｓｃＲＧＢでは４０９６に相当する。また、輝度レベル＝１は、ｅ−ｓＲＧＢでは８９４であり、ｓｃＲＧＢでは１２２８８となる。図５は、ｓｃＲＧＢ信号とｅ−ｓＲＧＢ信号の特性を示す。

４．詳細説明
４．１ 画像解析部１０３の動作説明
画像解析部１０３の動作について、図６のフローチャートを用いて説明する。レンジの圧縮方法としては、簡易的には入力画像の最大輝度がレンジ圧縮後のｅ−ｓＲＧＢ画像の最大輝度値に一致するように輝度を線形に圧縮する方法が考えられる。しかし、雪景色のシーンや夏の海辺など周囲に非常に強い光を含むようなシーンでは、被写体である人物が相対的に暗く写ってしまう場合が多い。また、逆光画像も同様で、フラッシュ撮影をしない場合には人物の顔が暗くなってしまう。このように撮影シーンの背景部に輝度レベルの高い領域を含む画像において線形なレンジ圧縮処理を行っても被写体の明るさと背景の階調再現を両立することができない。
そこで、本実施例では、ダイナミックレンジを圧縮する際に画像の被写体領域の輝度レベルと背景領域の輝度レベルに基づいて、レンジ圧縮方法を制御するようにしている。
まず、ステップＳ１において、入力画像のレンジを算出する。具体的には、ｓｃＲＧＢデータのｒ、ｇ、ｂ成分ごとに、その累積頻度分布を生成し、累積頻度が９９％に相当する成分値を求める。この求めた３つの最大成分値をそれぞれｍａｘＲ，ｍａｘＧ，ｍａｘＢとする。そして、これら３つの最大成分値の最大値を入力画像のレンジとみなし、ｍａｘＣとする。即ち、レンジ圧縮処理ではｓｃＲＧＢ信号の０〜ｍａｘＣの範囲をｅ−ｓＲＧＢの範囲内になるように処理することになる。

もし、ｍａｘＣが輝度１．０に相当するｓｃＲＧＢの信号値１２２８８に満たない場合には、ｍａｘＣが１２２８８になるように、以下の変換を行って輝度レンジの伸張を行う。即ち
Ｒｓｃ’＝（８１９２×（Ｒｓｃ−４０９６）／（ｍａｘＣ−４０９６））＋４０９６
Ｇｓｃ’＝（８１９２×（Ｇｓｃ−４０９６）／（ｍａｘＣ−４０９６））＋４０９６
Ｂｓｃ’＝（８１９２×（Ｂｓｃ−４０９６）／（ｍａｘＣ−４０９６））＋４０９６
また、上記において、ｓｃＲＧＢの輝度レンジは−０．５〜７．５の範囲にあるが、メモリ節約のために最初に２５６階調での累積頻度分布を作成して、累積頻度分布が９９％未満となる輝度値Ｙ１と１００％となる最大輝度Ｙ２を求め、Ｙ１とＹ２の間を更に細分化して累積分布を求めるようにしてもよい。

次に、ステップＳ２において、入力画像のホワイトポイントを求める。白色領域の抽出は、輝度ヒストグラムを基に、最大輝度の９５％以上の色＆彩度１０以下の平均値、彩度が１０以下の色が存在しない場合には、ＷｈｉｔｅＰｏｉｎｔが存在しないものとして、規定値を用いる。

次に、ステップＳ３へ進み、顔領域の検出を行う。顔検出方法は、近年パターンマッチング法や、ニューラルネットのような学習モデルを用いた検出方法が提案されており、既に商品にも実装されている。顔領域を検出したら、次に顔領域の肌色色相に含まれる画素について平均輝度ＳｋｉｎＹを求める（ステップＳ４）。
但し、画像に顔が含まれていない場合には、ＳｋｉｎＹ＝−１とする。

以上の処理により求めたｍａｘＣ，ＷｈｉｔｅＹ，ＳｋｉｎＹをレンジ圧縮部１０１へ送ってレンジ圧縮処理を行う。

４．２ レンジ圧縮部１０１の動作
次に、レンジ圧縮部１０１では、画像解析部１０３により求めた被写体輝度ＳｋｉｎＹとホワイトポイントＷｈｉｔｅＹ、入力画像のレンジｍａｘＣに従ってｓｃＲＧＢ信号の輝度変換を行った後、ｅ−ｓＲＧＢ信号に変換するための非線形変換を施す。以下、図７のフローチャートを用いて、レンジ圧縮処理を説明する。

ステップＳ１２では、ＳｋｉｎＹ＝−１か否かを判定する。ＳｋｉｎＹが−１の場合、画像中に被写体が含まれていないことを意味している。このような場合には、ステップＳ１４で入力画像のレンジｍｉｎＣ，ｍａｘＣを参照して輝度リニアなレンジ変換を行う。次に、ステップＳ１３で被写体輝度ＳｋｉｎＹが適正か否かを判定する。判定方法としては、被写体の平均輝度と画像のダイナミックレンジを比較して、ダイナミックレンジに対して被写体の輝度が適正かどうかを判定する。例えば、ＳｋｉｎＹ／ｍａｘＣの比率が所定の範囲内であれば適正とみなす。前記適正な比率は、予め官能評価実験を行って設定しておく。比率が適切であれば、上記と同様に輝度をリニアに圧縮することで人物が好ましい明るさに補正される。

上記の人物を含まない画像或いは人物の輝度レベルが適正な画像については、ステップＳ１４で輝度リニアなレンジ圧縮処理を行う。以下に、レンジ処理の変換方法を示す。
（１）輝度変換
求めた基準白色点ｍａｘＣに基づいて、ｓｃＲＧＢの値を輝度変換する。ｓｃＲＧＢはもともと輝度リニアの信号であるため、ｒ，ｇ，ｂ成分ごとの比が一定であれば、色相が保たれる。輝度変換は下記の一次変換で行うことができる。

ｓｃｄ＝（ｓｃ−４０９６）＊（１７６９４−４０９６）／（ｍａｘＣ−４０９６）＋４０９６
ここで、ｓｃはｓｃＲＧＢ信号の入力値、ｓｃｄは輝度変換後の信号値である。上記計算により、入力データは、ｅ−ｓＲＧＢ信号のレンジ範囲内に圧縮される。図８は、レンジ補正による入出力特性例を示す。
（２）ｓｃＲＧＢ→ｅ−ｓＲＧＢ変換
ｅ−ｓＲＧＢのレンジ範囲内に圧縮済みのｓｃＲＧＢ信号をｅ−ｓＲＧＢへ変換する。ｓｃＲＧＢ信号は１６ビットの信号であるため、１次元ルックアップテーブルで変換できるが、１６ビットのルックアップテーブルではメモリを大量に消費してしまう。そこで、変換式を用いてｅ−ｓＲＧＢ信号に変換する。即ち、
ｘ＝（ｓｃｄ／８１９２．０）−０．５
ｉｆ（ｘ＜−０．００３１３０８）
ｘ’＝−（１．０５５×（−ｘ）＾（１／２．４）−０．０５５）
ｉｆ（−０．００３１３０８＜＝ｘ＜０．００３１３０８）
ｘ’＝１２．９２×（ｘ）
ｉｆ（ｘ＞０．００３１３０８）
ｘ’＝１．０５５×（ｘ）＾（１／２．４）−０．０５５
ｅｓｄ＝２５５．０＊２＾（ｎ−９）＊ｘ’＋ｏｆｆｓｅｔ
で変換できる。ここで、ｅｓｄはｅ−ｓＲＧＢの信号値であり、ｏｆｆｓｅｔは１０ビットのｅ−ｓＲＧＢ信号の場合、３８４となる。上記変換の変換特性を図９に示す。

ステップＳ１３において、被写体輝度が適正でないと判定された場合には、ステップＳ１５へ進み、画像全体を解析して背景領域と被写体領域に分離する。背景／被写体領域の分離方法としては、例えば、特許文献４の方式を用いて実現できる。分離結果は被写体領域を０、背景領域を１とする１ビットのレイアメモリに記録する。図１０は、分離結果の例を示す。

背景領域と被写体領域に分離されたら、背景領域と被写体領域の双方で階調再現性の良い画像を得るために、ステップＳ１６でレンジ補正テーブルを作成する。この時、被写体領域については、被写体に基づいて決定したレンジ補正を行い、高輝度白色光を含んだハイライト領域ではハイライト領域に適したレンジ圧縮を行うように画像中で動的にレンジ補正テーブルを変更する。例えば、被写体領域に対しては、図１１（ａ）の補正テーブルを、ハイライト領域に対しては図１１（ｂ）の補正テーブルを用いる。但し、前述のとおりメモリ節約のために、１次元ルックアップテーブルよりも演算式による変換を行う方が良い。

ここで、被写体領域と背景領域の境界部で擬似輪郭が生じないように連続的な変換が必要となる。そのため、注目画素を中心とする周囲Ｎ×Ｎの画素を参照して補正テーブルを作成する。まず、Ｎ×Ｎ画素中に被写体領域と背景領域の比率Ｒｓを求める。次に、Ｎ×Ｎ画素中の輝度レンジを求める。輝度レンジが小さい場合には、被写体領域には被写体領域用の補正テーブルを使用し、背景領域には背景領域用の補正テーブルを使用する。輝度レンジが所定値以上の場合には、Ｒｓの値にしたがって補正量を変更する。補正量の変更は、被写体用補正を行った場合の結果と背景領域用補正を行った結果をＲｓで内積演算を行うような方法を用いることができる。

レンジ補正テーブルが作成されると、次にステップＳ１７でレンジ補正を行う。例えば、図８のレンジ補正テーブルが設定された場合、ｓｃＲＧＢ画像データが（ｉｎｒ，ｉｎｇ，ｉｎｂ）とすると、仮に最大値がｉｎＹで、それをｏｕｔＹに変換することになる。最大値がＧ成分とすれば、ｉｎｇ＝ｉｎＹなので、
ｉｎｒ’＝ｉｎｒ−４０９６
ｉｎｇ’＝ｉｎｇ−４０９６
ｉｎｂ’＝ｉｎｂ−４０９６
ｏｕｔｒ＝ｉｎｒ’×（ｏｕｔＹ−４０９６）／（ｉｎＹ−４０９６）＋４０９６
ｏｕｔｇ＝ｏｕｔＹ
ｏｕｔｂ＝ｉｎｂ’×（ｏｕｔＹ−４０９６）／（ｉｎＹ−４０９６）＋４０９６
とし、変換前後で色みが変わらないようにする。そして、前述したｓｃＲＧＢ信号からｅ−ｓＲＧＢ信号への非線形変換式を用いて、ｅ−ｓＲＧＢ信号に変換を行う。

４．３ 色補正部１０２
次に、レンジ圧縮部１０１で変換された画像データを色補正部１０２でプリンタ信号に変換する。色補正部１０２では、レンジ圧縮部によってｅ−ｓＲＧＢ空間に圧縮された色信号を、三次元ルックアップテーブルを用いた補間演算を行ってプリンタ色信号に変換する。ｅ−ｓＲＧＢ空間は、プリンタ色空間を包含しており、かつダイナミックレンジもハードコピーより広い。即ち、ｅ−ｓＲＧＢ空間のダイナミックレンジは、おおよそ−０．５〜１．６７あるが、ハードコピーは０．０１〜０．８程度である。そのため、ｅ−ｓＲＧＢ⇒ＣＭＹＫ変換用の三次元ルックアップテーブルにおいて、ダイナミックレンジも含めた色域圧縮を行うようにテーブルを作成する。以下に、三次元ルックアップテーブルの作成方法を図１２を用いて説明する。

まず、ステップＳ２１において、式（３）〜式（５）に従って、ｅ−ｓＲＧＢ信号をＸＹＺ三刺激値に変換する。次に、ステップＳ２２でＸＹＺ三刺激値をＣＩＥＣＡＭ０２空間の明度Ｊ，彩度Ｃ（又は、Ｍ）、色相ｈに変換する。ＸＹＺ⇒ＪＣｈ変換の具体的な計算手順については、非特許文献２などに記載されているので、ここでは説明は省略する。

次に、ステップＳ２３へ移り、ステップＳ２２で計算したＪＣｈ信号を出力デバイスが出力可能な色再現範囲内のＪ’Ｃ’ｈ’信号に変換するためのガマット・マッピング処理を行う。ガマット・マッピング処理の手順としては、まず明度圧縮を行ってから、出力デバイスの色再現範囲内になるように彩度圧縮を行う。ここで、ステップＳ２２で求められた明度Ｊが基準白色（Ｊ＝１００）を超える場合には、明度の線形変換により、入力明度を出力明度のレンジに圧縮を行う。彩度圧縮は、例えば出力デバイスの再現域内か外かを判定し、外側の場合には出力デバイスの再現可能な色信号のうち色差が最小となる色にマッピングを行う。また、色差最小でのマッピング方式に限らず、階調を保存して圧縮するなど様々な方式を用いることができる。

ステップＳ２３のガマット・マッピング処理によって、出力デバイスの色再現範囲内のＣＩＥＣＡＭ０２信号に変換し、次いでステップＳ２４でＣＡＭ逆変換を行う。ＣＡＭの逆変換の変換式は、前掲した非特許文献２に記載されているので省略する。但し、逆変換時に用いるアピアランス・パラメータには、出力デバイスの観察条件に適したパラメータを用いる。例えば、プリンタ信号に変換する場合には、以下のようなアピアランス・パラメータを使用する。

順応輝度Ｌａ＝６４
基準白色点 Ｘｗ，Ｙｗ，Ｚｗ：紙白の三刺激値
背景領域の相対輝度 Ｙｂ：２０％
周囲条件 ａｖｅｒａｇｅ
最後に、ステップ２５でＸＹＺをＣＭＹに変換する。

また、上記の説明では、出力デバイスとしてプリンタの場合を例にしたが、色補正部を置き換えることで、モニタ用のｓＲＧＢ信号への変換にも容易に対応できる。

実施例２：
図１２は、本発明をソフトウェアで実現する場合のシステム構成例を示す。この画像処理システムは、ワークステーション等のコンピュータ３００とプリンタ３０２とディスプレイ３０１が接続されている。ワークステーション（コンピュータ３００）は、前記した画像処理方法の機能を実現するもので、ディスプレイ３０１、キーボード３０９、プログラム読取装置３１０および演算処理装置などで構成されている。演算処理装置は、種々のコマンドを実行可能なＣＰＵ３０３に、ＲＯＭ３０５、ＲＡＭ３０４がバスで接続されている。また、バスには大容量記憶装置であるハードディスク等のＤＩＳＫ３０６と、ネットワーク上の機器と通信を行なうＮＩＣ３０７が接続されている。

プログラム読取装置３１０は、各種のプログラムコードを記憶した記憶媒体、すなわち、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−Ｒ／Ｗ，ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭなど）、光磁気ディスク、メモリカードなどに記憶されているプログラムコードを読み取る装置で、例えば、フロッピーディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどである。

記憶媒体に記憶されているプログラムコードは、プログラム読取装置で読み取ってＤＩＳＫ３０６などに格納され、このＤＩＳＫ３０６などに格納されたプログラムコードをＣＰＵ３０３によって実行することにより、前記した画像処理方法の機能などを実現することができるようになる。また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）やデバイス・ドライバなどが実際の処理の一部または全部を行い、その処理によって前記した機能が達成される場合も含まれる。

本発明の画像処理装置の構成を示す。 逆光シーンと輝度ヒストグラムの例を示す。 画像処理システムの構成例を示す。 色空間の関係図を示す。 各色空間のレンジを示す。 色分布解析方法のフローチャートを示す。 レンジ補正処理のフローチャートを示す。 レンジ補正テーブルの例を示す。 ｓｃ−ＲＧＢ信号とｅ−ｓＲＧＢ信号の変換特性を示す。 背景／被写体分離結果の例を示す。 レンジ補正の例を示す。 色補正パラメータの作成方法のフローチャートを示す。 本発明をソフトウェアで実現する場合のシステム構成例を示す。

符号の説明

１０１ レンジ圧縮部
１０２ 色補正部
１０３ 画像解析部

Claims (4)

1. シーン参照色空間上の入力色信号を、出力デバイス用の色信号に変換する画像処理方法であって、前記入力色信号の輝度レンジを算出する工程と、前記入力色信号中に顔領域が含まれているか否かを検出する工程と、前記検出された顔領域の平均輝度を算出する工程と、前記入力色信号が前記顔領域を含む場合は、前記顔領域の平均輝度と前記入力色信号の最大輝度との比に基づいて前記顔領域の輝度が適正か否かを判定する工程と、前記顔領域の輝度が適正と判定されない場合は、前記入力色信号を被写体領域と背景領域に分離する工程と、前記入力色信号が前記顔領域を含まない場合、または、前記顔領域の輝度が適正と判定された場合、前記入力色信号の輝度レンジを参照して線形な輝度変換を行うことにより前記入力色信号のダイナミックレンジを圧縮し、前記分離された被写体領域に対して被写体領域用のレンジ補正テーブルを用い、前記分離された背景領域に対して背景領域用のレンジ補正テーブルを用いてダイナミックレンジを圧縮する工程と、前記圧縮された色信号の各成分値に対して、非線形変換を行って拡張色空間上の色信号に変換する工程と、前記拡張色空間に変換された色信号を出力デバイス用の色信号に色変換する工程を有することを特徴とする画像処理方法。
2. シーン参照色空間上の入力色信号を、出力デバイス用の色信号に変換する画像処理装置であって、前記入力色信号の輝度レンジを算出する手段と、前記入力色信号中に顔領域が含まれているか否かを検出する手段と、前記検出された顔領域の平均輝度を算出する手段と、前記入力色信号が前記顔領域を含む場合は、前記顔領域の平均輝度と前記入力色信号の最大輝度との比に基づいて前記顔領域の輝度が適正か否かを判定する手段と、前記顔領域の輝度が適正と判定されない場合は、前記入力色信号を被写体領域と背景領域に分離する手段と、前記入力色信号が前記顔領域を含まない場合、または、前記顔領域の輝度が適正と判定された場合、前記入力色信号の輝度レンジを参照して線形な輝度変換を行うことにより前記入力色信号のダイナミックレンジを圧縮し、前記分離された被写体領域に対して被写体領域用のレンジ補正テーブルを用い、前記分離された背景領域に対して背景領域用のレンジ補正テーブルを用いてダイナミックレンジを圧縮する手段と、前記圧縮された色信号の各成分値に対して、非線形変換を行って拡張色空間上の色信号に変換する手段と、前記拡張色空間に変換された色信号を出力デバイス用の色信号に色変換する手段を有することを特徴とする画像処理装置。
3. 請求項１記載の画像処理方法をコンピュータに実現させるためのプログラム。
4. 請求項１記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images