JP5457652B2

JP5457652B2 - 画像処理装置およびその方法

Info

Publication number: JP5457652B2
Application number: JP2008223919A
Authority: JP
Inventors: 康男福田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-01
Filing date: 2008-09-01
Publication date: 2014-04-02
Anticipated expiration: 2028-09-01
Also published as: JP2010062672A; US8665348B2; US20100053376A1

Description

本発明は、シーンおよび画像の見えを考慮する画像処理に関する。

現在、国内におけるディジタルカメラの世帯普及率は50%を超え（2004年内閣府消費動向調査）、「ディジタルカメラで撮影する」はごく一般的な行為になった。

屋外などにおいて、ディジタルカメラで、あるシーンを撮影するとき、撮影可能な輝度レンジよりも撮影対象（シーン）の輝度レンジが広い場合がある。その場合、撮影可能な輝度レンジ外の被写体は、その階調情報を記録することができず、所謂白飛び、黒潰れが発生する。例えば、晴天の屋外で、人物に露出を合わせて人物を撮影すると、背景の空や雲が白飛びし、木陰が黒潰れする。一方、人間の視覚には、観察領域の明るさに応じて順応状態を切り替え、明るさ、色を知覚する「局所順応」と呼ばれる特性があり、明るい場所、暗い場所ともに階調を知覚することができる。このため、撮影シーンを直接見た際の印象と、撮影画像を見た際の印象が異なる場合がある。

このような問題を解決する技術の一つに、高ダイナミックレンジ画像（High Dynamic Range Imaging: HDR）技術がある。HDR技術は、大きく分けて、HDRキャプチャ技術とHDR再現技術から構成される。

HDRキャプチャ技術は、白飛び、黒潰れが発生しないように、撮影のダイナミックレンジを拡張する技術であり、複数の露出で撮影した画像を合成するなどの方法が知られている。以下、このHDRキャプチャ技術により取得した画像をHDR画像と呼ぶ。

HDR再現技術は、ダイナミックレンジが広いHDR画像を、ダイナミックレンジが狭い表示機器や出力機器（以下、出力機器）で好ましく再現する技術であり、両者のダイナミックレンジの違いを吸収するためにダイナミックレンジ圧縮を行う。ダイナミックレンジ圧縮については、これまでにも様々な手法が提案されている。

例えば、J. Kuangらが提案しているiCAM06は、シーンを見たときの印象を出力機器で再現するという考え方に基づいたダイナミックレンジ圧縮手法である。iCAM06は、まず、HDR画像を用いて人間が撮影シーンにおいて知覚していた明るさ、色をシミュレートする。次に、その明るさ、色を出力機器で再現可能な明るさ、色に変換し、最後に、出力機器の信号値に変換する処理を行う。上記のシミュレーションには、人間が明るさ、色を知覚するメカニズムをモデル化した「視覚モデル」が必要になる。iCAM06は、人間が知覚していた明るさ、色をより正確にシミュレートするため、前述した局所順応を反映した視覚モデルを用いる。

局所順応を考慮してHDR画像からシーンを見たときの印象をシミュレートするには、局所順応が生じる領域（以下、順応視野サイズ）を設定する必要がある。iCAM06においては、撮影シーンを人間がどのように観察していたかという情報は不明とし、順応視野サイズを一律に設定する。つまり、どのような画像に対しても、画像幅に対する割合（例えば50%）で順応視野サイズを与える。従って、iCAM06では、実際の撮影時の被写体の印象を正しくシミュレートできない場合がある。

また、再現された画像（モニタ表示や印刷物）を観察する場合も、画像撮影時と同様に、局所順応が発生する筈だが、iCAM06は、再現された画像に対する局所順応を考慮しない。

Kuang, J., Johnson, G. M., Fairchild M. D.「iCAM06: A refined image appearance model for HDR image rendering」Journal of Visual Communication, 2007 Jobson et. al「A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes」IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 7, JULY 1997

本発明は、撮影シーンを見た際の印象と、再現画像を見た際の印象を合わせる（または近付ける）ことを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、撮影画像、および、前記撮影画像を撮影した際の画像入力機器の撮影条件を入力し、画像出力機器が再現する再現画像を観察する際の観察条件を入力し、前記撮影条件に含まれる画角および前記撮影画像のサイズを示す情報、並びに、順応視野角に応じた局所順応処理の順変換によって、前記撮影画像から第一の知覚画像を生成し、前記第一の知覚画像のダイナミックレンジを前記画像出力機器のダイナミックレンジに変換した第二の知覚画像を生成し、前記観察条件に含まれる観察距離および前記再現画像のサイズに関する情報、並びに、順応視野角に応じた局所順応処理の逆変換によって、前記第二の知覚画像から前記画像出力機器に供給する再現画像を生成することを特徴とする。

本発明によれば、撮影シーンを見た際の印象と、再現画像を見た際の印象を合わせる（または近付ける）ことができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の画像処理装置の構成例を示すブロック図である。

CPU104は、RAM106をワークメモリとして、ROM105などに格納されたプログラムを実行し、システムバス109を介して、各構成を制御して、後述する画像処理を実行する。ROM105は、画像処理装置の制御に必要なプログラムやデータ、後述する画像処理のプログラムなどを格納する。

入力部101は、ユーザによる指示やデータの入力を受け付ける、キーボードやポインティングデバイスである。ポインティングデバイスとしては、マウス、トラックボール、トラックパッド、タブレットなどが挙げられる。また、本実施例をディジタルカメラやプリンタなどの機器に適用する場合、入力部101は、ボタン、テンキー、モードダイヤルなどでもよい。あるいは、ソフトウェアでキーボードを構成したソフトウェアキーボードでもよい。

データ保存部102は、画像データなどのデータを保持する。データ保存部102は、通常、ハードディスクや光ディスクのドライブ、または、メモリカードなどのリーダライタとして構成される。また、RAM106の一部領域をデータ保存部102として用いてもよい。あるいは、データ保存部102に上述したプログラムを格納することもできる。

表示部103は、CPU104の制御に従い、グラフィカルユーザインタフェイス(GUI)や画像処理前後の画像を表示する。また、表示部103は、タッチスクリーンとして構成してもよい。その場合、タッチスクリーンによる入力は、入力部101の入力として扱うことが可能である。

通信インタフェイス(I/F)107は、画像処理装置と外部機器間の通信インタフェイスを提供する、例えば、有線または無線LANインタフェイス、USBやIEEE1394などのシリアルバスインタフェイス、IrDAインタフェイスである。

［シーンおよび画像の観察状態］
図2はシーンの観察状態を説明する図である。

図2において、ディジタルカメラ（以下、カメラ）203のユーザは、撮影シーン201を観察し、画像202として撮影シーン201を知覚する。撮影シーン201の被写体とカメラ203（の撮像素子）の距離はD1である。なお、被写体と、シーンの観察者としてのユーザの距離もD1で充分に近似することができる。また、カメラ203の記録媒体（例えばメモリカード）221には、撮影シーン201を撮影した結果の画像220が保存される。

本実施例では、撮影シーン201に対する人間の知覚を画像（以下、知覚画像）202として表す。知覚画像202の実体はないが、本実施例においては、カメラ203が撮像した画像（以下、撮影画像）220を用いて、ある局所順応モデルに基づき、知覚画像202を推定する。

また、図2に示す領域211は、その中心のシーンの知覚に対して局所的な影響を与える範囲を示す。領域211は、視野角θによって設定することができる。

図3は撮影画像220を再現した例えばモニタ表示や印刷物の観察状態を説明する図である。

図3において、画像301は、撮影画像220を出力機器に供給して再現した画像である。ここでは、ユーザが印刷物の画像（以下、再現画像）301を観察しているとする。再現画像301と、再現画像の観察者としてのユーザの距離はD2である。

画像302は、再現画像301に対するユーザの知覚画像を表す。知覚画像202と同様に知覚画像302の実体はないが、本実施例においては、再現画像301を用いて、ある局所順応モデルに基づき、知覚画像302を推定する。

また、図3に示す領域311は、その中心のシーンの知覚に対して局所的な影響を与える範囲を示す。領域311は、視野角θによって設定することができる。

図4は撮影シーン201の観察と再現画像301の観察の関係を示す図である。

本実施例においては、撮影シーン201の代わりに撮影画像220を用いて、局所順応モデルに基づき知覚画像202を推定する。同様に、再現画像301を用いて、局所順応モデルに基づき知覚画像302を推定する。そして、撮影画像220（入力側）から推定した知覚画像202と、再現画像301（出力側）から推定した知覚画像302の間で知覚のマッチングを図る。

しかし、実際に行う処理は、これら各要因を考慮して、撮影画像220から知覚のマッチングを行った再現画像301を得ることであるから、図4のシステムを変形した、図5に示すシステムを利用する。

図5は撮影画像220から知覚のマッチングを行った再現画像301を得るシステムを説明する図である。

つまり、撮影画像220から局所順応モデルの順変換により第一の知覚画像202を生成する。そして、第一の知覚画像202から知覚のマッチングを行った第二の知覚画像302を生成する。さらに、第二の知覚画像302から局所順応モデルの逆変換により再現画像301を生成する。

［局所順応モデル］
局所順応処理として、例えば非特許文献2のretinex処理がある。それによれば、ディジタル画像から照明条件と反射率を分離して、照明のダイナミックレンジを圧縮する。ただし、照明条件と反射率を分離して観測することはできない。そこで、画像の低周波成分を用いて照明条件を推定する。そのため、ディジタル画像を対数変換した成分から低周波成分を抽出し、対数変換した成分と低周波成分の差分処理を行う。これにより、低周波成分の圧縮処理を行って、ディジタル画像の低周波領域における明るい成分を暗く、低周波領域における暗い成分を明るくして、照明のダイナミックレンジを圧縮する。さらに、非特許文献2においては、複数の低周波成分を抽出して、局所順応処理を行う。

図6は低周波成分のダイナミックレンジの圧縮処理を説明するフローチャートで、CPU104が行う処理である。

まず、撮影画像220から輝度成分を抽出し、抽出結果の輝度画像をRAM106またはデータ保存部102の所定領域に格納する(S601)。

輝度成分の抽出は、例えば、撮影画像220がIEC61966-2-1が規定するsRGB空間で表現されている場合、IEC61966-2-1に記載された方法に従い、ガンマ変換と3×3マトリクス演算によってCIE1931XYZデータに変換する。ここで、画素(x, y)の値RGB(x, y)を変換した後のXYZ値がXYZ(x, y)とすれば、Y(x, y)が抽出する輝度成分である。また、X(x, y)とZ(x, y)が色成分である。この輝度成分の抽出は、ハードウェアで構成する場合、例えばルックアップテーブルによるテーブル参照回路（ガンマ変換部）と、マトリクス演算回路によって構成することができる。

なお、輝度成分の抽出は、ガンマ変換を省略して、マトリクス演算のみで行ってもよい。また、CIE1931XYZの代わりに以下の色空間を利用してもよい。勿論、それら色空間に対応する色空間変換を用いる。
・YCbCr空間のY値を輝度成分、Cb、Cr値を色成分にする、
・Lab空間のL*値を輝度成分、a*、b*値を色成分にする、
・JCH空間のJ値を輝度成分、C、H値を色成分にする、
・HSV空間のV値を輝度成分、H、S値を色成分にする、
・HSL空間のL値を輝度成分、H、S値を色成分にする。

また、撮影画像220がsRGB画像の例を説明したが、例えばAdobeRGB画像、RIMM/ROMMRGB画像なども、その色空間の定義に応じてCIE1931XYZ（または上記の色空間）へ変換すればよい。

また、RGBの表現方法として、広く8から16ビット程度の符号なし整数の表現形式が用いられている。しかし、本実施例は、RGBの表現方式やビット長さなどに依存しないことは自明である。従って、8ビット未満や16ビット超の符号あり/なしの整数値はもちろん、固定小数点や浮動小数点といった実数値のディジタル画像にも、本実施例は適用可能である。

また、色空間の変換は、各色空間の定義や変換式に従う変換を用いてもよいが、ICCプロファイルなどを使って変換してもよい。例えばディジタル画像データが機器に依存するRGB値（デバイスRGB値）をもち、単純な変換式による色空間の変換ができない場合、ICCプロファイルの利用はとくに有効である。

また、撮影画像220が例えばsYCCで表現されていても、同様に、sYCCからCIE1931XYZ（または上記の色空間）への色空間変換式、または、ICCプロファイルなどを使って変換を行えばよい。ただし、撮影画像220がsYCCで表現され、輝度値としてYCbCrのYを用いる、というように、画像の色空間と輝度値の色空間が一致す場合は、単に、sYCCデータからY値を取り出せばよく、色空間の変換は不要である。

次に、輝度画像の低周波成分を抽出し、抽出結果の輝度低周波成分画像をRAM106またはデータ保存部102の所定領域に格納する(S602)。低周波成分の抽出は、輝度画像に、ガウシアンフィルタなど公知のローパスフィルタ処理を施す。好ましくは、ローパスフィルタとして、エッジ保存型のフィルタ処理、例えば公知のバイラテラルフィルタなどを適用するとよい。

次に、輝度低周波成分画像を参照して、撮影画像220を色調整する(S603)。

色調整処理の一例として、非特許文献1（iCAM06）に基づく方法によれば、輝度成分とスケール変換した輝度成分の分布をそれぞれ対数変換し、その差分を得る。さらに、異なる尺度（異なる解像度）での差分の重み付き平均を、改善された輝度成分とする。しかし、この方法は、画像に応じて改善の度合いを調整することができない。そこで、スケール変換した輝度成分の対数変換結果に係数を乗ずる。この係数が、改善の度合いを調整するパラメータである。この処理に基づく、改善された輝度成分Y'を下式に示す。
Y' = Σ_nw_n{γ0・logY - γ1・log(F_n＊Y)} …(1)
ここで、Yは画素(x, y)の輝度成分、
F_nは座標(x, y)におけるガウス関数、
w_nは尺度間の重み、
nは尺度を表すパラメータ、
γ0、γ1は改善の度合いを表すパラメータ、
＊は積和演算を表す。

なお、尺度間の重みw_nは、尺度の標準偏差を調整することで省略可能（単純な平均に置き換わる）である。また、式(1)のように、対数変換された値を用いるよりも、逆変換（exp演算）によって元の輝度単位に戻した方が、改善された画像の画質として好ましいことがわかっている。従って、下式により、改善された輝度成分Y'を得ることがより好ましい。
Y' = exp[γ0・logY - γ1・Avg{log(F_n＊Y)}] …(2)
ここで、Avgは平均値演算を表す。

また、式(2)の代わりに、式(3)を用いてもよい。
Y' = Y^γ0/{Avg(F_n＊Y)}^γ1 …(3)

なお、複数尺度でのスケール変換後の平均値演算を、ステップS603の輝度画像の低周波成分の抽出で行い、複数尺度でのスケール変換後の平均値を、スケール変換された輝度成分の分布としてもよい。

あるいは、式(2)(3)と類似する結果が得られる、次式を用いてもよい。
Y' = Avg[Y^γ0/(F_n＊Y)^γ1] …(4)

この改善された輝度成分Y'を得る処理をハードウェアで構成する場合、例えば、平均値演算回路、ルックアップテーブルを作成する回路、テーブル記憶部、テーブル参照回路（ガンマ変換部）、除算回路によって構成することができる。なお、平均値演算回路は、輝度画像から低周波成分を抽出する構成に設けてもよい。

以上の局所順応モデルによる輝度の低周波成分のダイナミックレンジの圧縮（順変換）に対して、同様に輝度の低周波成分を抽出し、抽出した低周波成分のダイナミックレンジを伸長する局所順応モデルの逆変換を実現することができる。なお、ここでは、輝度のダイナミックレンジについてのみの言及したが、輝度だけでなく、色成分のダイナミックレンジについて同様の処理を行ってもよい。色成分のダイナミックレンジの順変換、逆変換は、例えばXYZデータを処理する場合、XYZの各チャネルについて低周波成分を抽出し、抽出した低周波成分を用いて対応するチャネルの改善された成分を式(1)〜(4)の何れかによって計算する。

iCAM06は、処理対象の画像の絶対輝度を算出し、算出した絶対輝度を用いて局所順応処理を行う。図7はiCAM06に準じる局所順応処理を説明するフローチャートで、CPU104が実行する処理である。

まず、撮影画像220の画素値RGBに式(5)を適用して、相対XYZ値XYZrltを算出する(S501)。撮影画像220の画素値が光量に対して線形なRGB値であれば式(5)を適用するだけでよい。しかし、光量に対して非線形のRGB値の場合は、例えばガンマ変換（例えばIEC61966-2-1に記載されているガンマ変換）を施して線形なRGB値に変換した後、式(5)を適用する。
┌ ┐ ┌ ┐┌ ┐
│Xrlt│ │0.41 0.36 0.18││R│
│Yrlt│=│0.21 0.71 0.07││G│ …(5)
│Zrlt│ │0.02 0.12 0.95││B│
└ ┘ └ ┘└ ┘

次に、撮影画像220の最大輝度Lm[cd/m²]を用いて、次式により、相対XYZ値XYZrltを絶対XYZ値XYZabsに変換する(S502)。なお、最大輝度Lmの取得については後述する。
┌ ┐ ┌ ┐
│Xabs│ │Xrlt│
│Yabs│= [Lm/255]│Yrlt│ …(6)
│Zabs│ │Zrlt│
└ ┘ └ ┘
ただし、定数255は、RGBデータの各チャネルが8ビット符号なし整数の場合に輝度値を正規化するための値である。従って、RGBデータの定義域に応じて適宜変更する。

次に、撮影画像220に対して順応視野サイズS1を設定し(S503)、そのサイズに応じたフィルタ処理を行い、撮影画像220の低周波成分を抽出する(S504)。順応視野サイズS1の設定方法は後述する。

例えば、低周波成分の抽出に公知のガウシアンフィルタを用いる場合、フィルタ処理は次式で表される。
Filter(a, b) = 1/k・exp{-(a² + b²)/2σ²} …(7)
ここで、k = Σ_aΣ_bexp{-(a² + b²)/2σ²}
(a, b)はフィルタ中心の画素からの相対座標を表す、
σは標準偏差、
Σ_a演算の範囲はa=-i〜+i、
Σ_b演算の範囲はb=-i〜+i。

順応視野サイズをS1とすると、式(7)の標準偏差σをS1/2とし、フィルタサイズの半径iをS1/2にして、順応視野サイズに応じたフィルタサイズを設定する。つまり、順応視野サイズS1と、（概略）大きさが同じで、順応視野サイズに応じて係数の形状が相似形になるようにフィルタを設定することになる。なお、標準偏差σ=S1/2は一例であり、順応視野サイズS1が大きくなるに従い、標準偏差σが大きくなるような対応関係にあればよい。

また、本実施例では、係数の積分値の多くが含まれるように、フィルタサイズの半径iを標準偏差σの値と同じS/2とし、順応視野サイズS1に応じて変化する構成にする。しかし、フィルタサイズを順応視野サイズS1に依らず固定にする近似的な方式も可能である。本実施例をソフトウェアやハードウェアで実現する場合、前者は処理時間が一定になる利点があり、後者はハードウェアの構成が容易になる、または、必要なメモリ量を低減することができる利点がある。

次に、ステップS504で抽出した低周波成分を用いて、式(6)で得た撮影画像220の絶対XYZ値XYZabsを低周波成分と高周波成分に分離する(S505)。そして、低周波成分のダイナミックレンジを圧縮し(S506)、圧縮後の低周波成分に分離した高周波成分を合成して処理後の画素値（順変換した画像）を得る(S507)。その際、低周波成分のダイナミックレンジの圧縮の度合いは、目の明るさに対する応答特性に応じて、低周波成分の値に応じた圧縮を行うが、ここでは詳細を割愛する。

このように、iCAM06に準ずる局所順応処理も、先に説明した非特許文献2のretinex処理と同様、低周波成分のダイナミックレンジの圧縮処理（順変換）である。従って、順変換した画像の低周波成分のダイナミックレンジを伸長処理すれば、局所順応処理の逆変換を実現することができる。

［プロファイルの使用］
本実施例の画像処理においては、撮影画像220のデータのほかに、次のデータを使用する。なお、それらプロファイルは、データ保存部102に所定のフォーマットで格納されている。
・撮影条件プロファイル、
・入力機器プロファイル、
・観察条件プロファイル、
・出力機器プロファイル（プリンタの色再現特性を示す情報）。

●撮影条件プロファイル
撮影条件プロファイルは、撮影画像220を撮影した時の条件を記述したデータで、少なくとも次の情報を含む。
・カメラ203の画角に関する情報、
・被写体とカメラ203の距離D1に関する情報、
・カメラ203の画像解像度に関する情報。

画角に関する情報は、撮影時の画角を特定するために必要な情報で、例えば画角そのものでもよいが、焦点距離とズーム倍率、または、撮像面の寸法と撮影に用いたレンズから特定することができる。レンズに歪みがないとすれば、画角αは次式から算出することができる。
α = 2・tan^-1[d/{2F(1 + m)}] …(8)
ここで、dは撮像面の寸法、
Fはレンズの焦点距離、
mはズーム倍率。

なお、式(8)において、撮像面の水平長を寸法dにすれば水平方向の画角が、垂直長を寸法dにすれば垂直方向の画角が得られる。

勿論、式(8)で画角αを計算する代わりに、予め、撮像面の寸法d、レンズの焦点距離F、ズーム倍率に対する画角αを調べて、テーブルを作成して、テーブルを参照して画角αを決定してもよい。その際、焦点距離Fやズーム倍率mは連続的に変化する可能性があるが、サンプリングした値でテーブルを作成し、補間演算によって画角αを算出すればよい。また、多くの場合、撮像面の寸法dはカメラ203またはレンズによって一意に決まるので、カメラ203やレンズの名称や識別名に対応する寸法dを示すテーブルを作成してもよい。

また、距離D1に関する情報は、カメラ203がディジタルカメラの場合、Exifタグに記載されている被写体距離の情報から得られる。なお、測距方式などにより得られる距離情報を撮影画像220に関連付けてカメラ203の記録媒体221に記憶して、距離D1に関する情報として利用してもよい。また、画像解像度に関する情報は、撮影画像220の水平、垂直方向の画素数に関連する。カメラ203がディジタルカメラの場合、Exifタグに記載されている画素数を取得すればよい。勿論、表示部103に表示したGUIを介してユーザに距離D1、画素数を入力させてもよい。

局所順応に関する視野角（以下、順応視野角）θを設定すると、撮影条件プロファイルの情報から、順応視野角θに対応する撮影シーン201の観察における順応視野サイズS1を計算することができる。順応視野角θが表す領域は図2における領域211であり、順応視野サイズS1は、領域211に対応する画像220の領域の直径を表す画素数である。つまり、順応視野サイズS1は、視野角θと画角αから、次式によって計算することができる。
S1 = tan(θ/2)/tan(α/2)×W …(9)
ここで、Wは撮影画像の幅（水平方向の画素数）。

図12は画像幅W、順応視野サイズS1、順応視野角θ、画角、焦点距離、光学センサの幅（撮像面の寸法）dの関係を示す図である。

●入力機器プロファイル
入力機器プロファイルは、カメラ203の入力特性を示す情報で、少なくとも、カメラ203が撮影可能な色の範囲に関する情報を含む。なお、入力特性を示す情報は、撮影画像220の絶対輝度値を算出するために必要なデータであり、例えば、撮影可能な最大輝度Lmそのものでもよいし、撮影可能な輝度範囲でもよい。ディジタルカメラの場合、入力特性を示す情報として、撮影時の露出時間T、絞り値F、ISO感度でもよい。この場合、次式によって、APEX規格のAV値、TV値、SV値、BV値を算出する。
AV (aperture value) = 2・log₂(F)
TV (shutter speed value) = -log₂(T)
SV (film speed value) = log₂(ISO/3.0) …(10)
BV (brightness value) = AV + TV - SV

さらに、BV値を用いて、次式により最大輝度Lmを算出する。
Lm = 3.462×2^BV/18.0×201.0 …(11)

●観察条件プロファイル
観察条件プロファイルは、再現画像301を観察する際の観察条件を記述したデータで、少なくとも次を含む。
・再現画像301のサイズに関する情報、
・再現画像301と観察者の距離D2に関する情報。

表示画像のサイズに関する情報は、撮影画像220の全体を表示した場合の物理的な寸法を含む。例えばモニタに表示する場合、その表示領域の寸法に関連する。つまり、モニタの画面全体に再現画像301全体を表示するならば、モニタの表示領域の寸法である。また、マルチウィンドウの一部に再現画像301全体を表示する場合は、当該ウィンドウの表示領域の寸法である。もし、撮影画像220の一部を再現画像301として表示する場合は、表示する一部の画素数とモニタの表示領域の比率から、撮影画像220の全体を表示した場合の寸法を仮想的に決める。

印刷画像のサイズに関する情報は、印刷設定情報から記録紙の設定を取得して、印刷領域の寸法を特定すればよい。

また、距離D2に関しては、表示部103に表示したGUIを介してユーザに距離D2を入力させる。また、再現画像301に対する標準的な距離D2を予め設定しておき、それを用いてもよい。例えば、パーソナルコンピュータのモニタであれば、距離D2を50cm〜1mの範囲に設定すればよい。あるいは、表示領域の高さ（または幅）に所定の係数を掛けた長さを、標準的な距離D2に設定してもよい。勿論、これら標準的な距離D2を既定値として、ユーザ指示に応じて距離D2を変更可能に構成してもよい。

順応視野角θを設定すると、観察条件プロファイルの情報から、順応視野角θに対応する再現画像301の観察における順応視野サイズS2を計算することができる。
S2 = D2・tan(θ/2)×W/w …(12)
ここで、Wは再現画像301全体の幅、
wは再現画像301の表示幅。

なお、再現画像301全体を表示する場合、再現画像301が印刷画像の場合は、W=wである。

図13は再現画像301の表示幅wと画像幅W、順応視野サイズS2、順応視野角θ、観察距離D2の関係を示す図である。

●出力機器プロファイル
出力機器プロファイルは、モニタやプリンタなどの画像出力機器の特性を示す情報を記述したデータで、少なくとも画像出力機器が再現可能な色範囲に関する情報を含む。入力機器プロファイル同様に、画像出力機器が出力可能な最大輝度Lmそのものでよいし、出力可能な輝度範囲でもよい。なお、プリンタの場合は、再現画像301の観察環境（観察光源）の下に記録紙を配置して、その紙白の輝度を測定すればよい。勿論、記録紙と観察光源の様々な組み合わせについて、紙白の輝度を測定した結果を示すテーブルを作成し、必要に応じて、補間演算によって最大輝度Lmを算出してもよい。

［画像処理］
図8は実施例の画像処理の一例を示すフローチャートで、CPU104が実行する処理である。

まず、データ保存部102に所定のフォーマットで格納された撮影画像220を読み込み、RAM106にロードする(S701)。あるいは、通信I/F107を介して、カメラ203の記録媒体221から撮影画像220を入力してもよい。そして、撮影画像220の入力をトリガとして、以下の処理を実行してもよい。

次に、撮影画像220に図6または図7に示した局所順応モデルの順変換処理を施し、図5に示す知覚画像202を生成する(S702)。

図9は順変換処理(S702)を説明するフローチャートである。まず、入力機器プロファイルから入力側の最大輝度Lmを取得する(S801)。続いて、撮影条件プロファイルから式(9)によって順応視野サイズS1を計算する(S802)。そして、撮影画像220に入力側の局所順応処理（順変換）を施して知覚画像202を生成する(S803)。

次に、知覚画像202のダイナミックレンジを出力機器のダイナミックレンジに合わせるマッチング処理を行い、図5に示す知覚画像302を生成する(S703)。

図10はダイナミックレンジのマッチング処理(S703)を説明するフローチャートである。まず、知覚画像202のダイナミックレンジを取得する(S1201)。つまり、知覚画像202の各画素のXYZ値を調べ、Yの最大値Y1maxを取得する。続いて、出力機器のダイナミックレンジを取得する(S1202)。つまり、出力機器プロファイルから、出力機器が出力可能な最大輝度Lmまたは紙白の輝度を最大値Y2maxとして取得する。そして、Y1max、Y2maxを用いて、ステップS702で生成した知覚画像202を知覚画像302に変換する(S1203)。本実施例では、単純に二つの輝度の最大値の比に応じて各画素の信号値を変換する。つまり、次式の変換を、各画素のY値に施し、変換後の画素値XY'Zを知覚画像302の画素値にする。
Y' = Y×Y2max/Y1max …(13)

なお、Y2max/Y1maxによってY値のみ処理するだけでなく、Y2max/Y1maxをX値、Z値にも適用するような変形も可能である。また、Y成分と同様に、X成分、Z成分の入力側と出力側の最大値を求めて、それらに応じて、X値、Z値をそれぞれ変換してもよい。また、信号成分の最大値のみを考慮するだけでなく、信号成分の最小値を考慮して式(13)に相当する変換を行ってもよい。さらに、式(13)における変換は、線形変換だが、非線形変換にしてもよいし、公知のカラーマッチング方式を適用した変換にしてもよい。

次に、知覚画像302に局所順応モデルの逆変換処理を施し、図5に示す再現画像301を生成し(S704)、再現画像301を出力機器に出力する(S705)。

図11は局所順応モデルの逆変換処理(S704)を説明するフローチャートである。まず、観察条件プロファイルの情報に基づき、式(12)によって順応視野サイズS2を計算する(S901)。そして、再現画像301を観察する際の局所順応に対応する逆変換処理を知覚画像302に施す(S902)。つまり、前述したように、知覚画像302の低周波成分を伸長処理する。さらに、逆変換結果の画像を調整して、再現画像301を生成する(S903)。これは、低周波成分の伸長処理の結果、画像の信号値が出力機器の許容信号範囲を超える場合があり、その場合、信号値を許容信号範囲に収まるように調整する処理である。

ステップS903の調整は、XYZ値で行ってもよいし、式(6)(5)の逆変換により、XYZ値をRGB値に変換した後に行ってもよい。RGB値に変換した後に調整を行うとすると、一般的にRGB画像は各8ビットの整数値で表現され、各チャネルの信号値は0〜255である。従って、最も簡単な調整方法は、ステップS902の逆変換によって負値や255を超える値が得られた場合に、それぞれ0、255にクリップすればよい。勿論、逆変換後の画像の最大信号値と最小信号値を求め、それぞれ255、0になるように画像全体の信号値を正規化してもよい。

再現画像301を表示部103に出力する場合、表示部103の出力機器プロファイルと、表示部103に表示された再現画像301の観察条件プロファイルを用いて処理を行う。これにより、撮影シーン201を観察する際の局所順応に応じた再現画像301を生成することができる。従って、再現画像301を見た際の印象を、撮影シーン201を見た際の印象に合わせる（または、近付ける）ことができる。勿論、再現画像301を印刷する場合は、プリンタの出力機器プロファイルと、印刷画像の観察条件プロファイルを用いて処理を行えば、同様の結果が得られる。つまり、画像の低周波成分に応じた画像処理を行うことにより、入力機器と出力機器のダイナミックレンジの違いを好適に解消して、撮影シーンを見た際の印象と、再現画像を見た際の印象の一致を図ることができる。

なお、本実施例において、入力側の信号値範囲と出力側の信号値範囲の大小関係に制限はなく、入力側の信号値範囲が出力側の信号値範囲よりも広い場合、逆に狭い場合においても好適に動作することは自明である。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、入力機器プロファイルは少なくとも入力機器が入力可能な最大輝度Lmの情報を含むとして、入力可能な最大輝度Lmのみを用いる例を説明した。実施例2では、入力機器プロファイルが、さらに入力機器の階調特性を表す情報を含む場合を説明する。

実施例1においては、入力信号値の線形性を仮定するか、非線形の場合はガンマ変換などを用いて線形にして処理する例を説明した。しかし、実際の機器においては、入力信号の線形性がなり立たない場合もありうる。この場合、画像入力機器の階調特性を表す情報として、信号値と相対XYZ、または、信号値と絶対XYZ値の対応関係を示すテーブルを入力機器プロファイルに格納しておき、入力信号をRGB値からXYZ値へ変換する際に当該テーブルを用いる。

階調特性の取得は、例えばカラーチャートなどを測色するとともに、対象の画像入力機器で撮影して、測色値と画像入力機器の信号値の関係をテーブルにすればよい。

また、実施例1では、出力機器プロファイルは少なくとも出力機器が出力可能な最大輝度Lmを示す情報を含むとして、最大輝度Lmのみを用いて説明を行った。しかし、入力側と同様に、出力機器プロファイルが出力機器の階調特性を表す情報を含むようにしてもよい。

階調特性を参照する実施例2によれば、実施例1よりも機器の特性に即した局所順応処理を行うことができる。

［変形例］
上記の実施例では、撮影画像220の縦横比が再現画像301においても保たれることを前提に説明を行った。しかし、表示の都合などにより、縦横比が保たれない場合もある。その場合、図8に示した処理において、ステップS703とS704の間に縦横比の変更処理を追加する。

さらに、低周波成分を抽出するためのフィルタとして円形の注目領域をもつフィルタを説明した。縦横比を変更する場合は、縦横比の変更を表す情報を観察条件プロファイルに格納し、それに応じて、出力側の局所順応処理におけるフィルタの注目領域を制御する。

図14は画像の縦横比の変更と順応視野の形状の関係を示す図である。

図14において、縦横比の変換前の画像1301は、縦横比を変更（水平方向に伸長）され、画像1302になる。従って、画像1302における順応視野を、伸長の逆分縮小して、画像1301における順応視野1303にすればよい。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

実施例の画像処理装置の構成例を示すブロック図、シーンの観察状態を説明する図、撮影画像を再現した例えばモニタ表示や印刷物の観察状態を説明する図、撮影シーンの観察と再現画像の観察の関係を示す図、撮影画像から知覚のマッチングを行った再現画像を得るシステムを説明する図、低周波成分のダイナミックレンジの圧縮処理を説明するフローチャート、 iCAM06に準じる局所順応処理を説明するフローチャート、実施例の画像処理の一例を示すフローチャート、順変換処理を説明するフローチャート、ダイナミックレンジのマッチング処理を説明するフローチャート、局所順応モデルの逆変換処理を説明するフローチャート、画像幅、順応視野サイズ、順応視野角、画角、焦点距離、光学センサの幅（撮像面の寸法）の関係を示す図、再現画像の表示幅と画像幅、順応視野サイズ、順応視野角、観察距離の関係を示す図、画像の縦横比の変更と順応視野の形状の関係を示す図である

Claims

撮影画像、および、前記撮影画像を撮影した際の画像入力機器の撮影条件を入力する撮影条件の入力手段と、
画像出力機器が再現する再現画像を観察する際の観察条件を入力する観察条件の入力手段と、
前記撮影条件に含まれる画角および前記撮影画像のサイズを示す情報、並びに、順応視野角に応じた局所順応処理の順変換によって、前記撮影画像から第一の知覚画像を生成する順変換手段と、
前記第一の知覚画像のダイナミックレンジを前記画像出力機器のダイナミックレンジに変換した第二の知覚画像を生成する生成手段と、
前記観察条件に含まれる観察距離および前記再現画像のサイズに関する情報、並びに、順応視野角に応じた局所順応処理の逆変換によって、前記第二の知覚画像から前記画像出力機器に供給する再現画像を生成する逆変換手段とを有することを特徴とする画像処理装置。
前記生成手段は、前記画像入力機器が入力可能な最大輝度および前記画像出力機器が再現可能な最大輝度に基づき、前記変換を行うことを特徴とする請求項1に記載された画像処理装置。
前記生成手段は、前記画像入力機器が入力可能な輝度範囲および前記画像出力機器が再現可能な輝度範囲に基づき、前記変換を行うことを特徴とする請求項1に記載された画像処理装置。
前記順変換手段は、前記撮影画像から分離した低周波成分のダイナミックレンジを圧縮することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
前記順変換手段は、前記撮影条件が示す被写体の距離が遠いほど低い周波成分を分離することを特徴とする請求項4に記載された画像処理装置。
前記逆変換手段は、前記再現画像から分離される低周波成分のダイナミックレンジを圧縮すると前記第二の知覚画像が得られるように、前記再現画像を生成することを特徴とする請求項1から請求項5の何れか一項に記載された画像処理装置。
前記観察距離が遠いほど、前記再現画像から分離される周波成分は低周波成分になることを特徴とする請求項6に記載された画像処理装置。
撮影画像、および、前記撮影画像を撮影した際の画像入力機器の撮影条件を入力し、
画像出力機器が再現する再現画像を観察する際の観察条件を入力し、
前記撮影条件に含まれる画角および前記撮影画像のサイズを示す情報、並びに、順応視野角に応じた局所順応処理の順変換によって、前記撮影画像から第一の知覚画像を生成し、
前記第一の知覚画像のダイナミックレンジを前記画像出力機器のダイナミックレンジに変換した第二の知覚画像を生成し、
前記観察条件に含まれる観察距離および前記再現画像のサイズに関する情報、並びに、順応視野角に応じた局所順応処理の逆変換によって、前記第二の知覚画像から前記画像出力機器に供給する再現画像を生成することを特徴とする画像処理方法。
コンピュータを請求項1から請求項7の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
請求項9に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。