JP5664261B2 - 画像処理装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理プログラムに関する。

次のような画像処理装置が知られている。この画像処理装置は、ＲＡＷデータ空間で、無彩色の比をもつ直線（無彩色軸）をＡＤ変換の上限を解除したかたちで設定し、飽和している信号の座標をこの直線上に射影することにより、無彩色の比を復元することによって、無彩色の被写体をディスプレイに表示した際の色づきを抑制する（例えば、特許文献１）。

特開２００５−３１８４９９号公報

しかしながら、従来の画像処理装置では、白色点を調整する際に、画像全体の明るさを保つために露出調整等の操作が必要となるため、無彩色の被写体をディスプレイに表示した際の色づきを抑制するための操作が煩雑になる可能性があった。

本発明による画像処理装置は、３チャンネルのＲＡＷ画像データの各画素の値に基づいて、各画素の輝度である画素輝度と２次元の色度である画素色度を算出する輝度色度算出手段と、ＲＡＷデータ空間において、画素に対応する輝度と同じ輝度の点で構成される平面を演算する平面演算手段と、ＲＡＷデータ空間における無彩色の軌跡と平面との交点を求める交点算出手段と、交点を、２次元の色度である交点色度に変換する色度変換手段と、画素色度が交点色度の近傍にある場合に、画素色度を無彩色の色度近傍に変換する無彩色変換手段とを備えることを特徴とする。
本発明による画像処理プログラムは、３チャンネルのＲＡＷ画像データの各画素の値に基づいて、各画素の輝度である画素輝度と２次元の色度である画素色度を算出する輝度色度算出手順と、ＲＡＷデータ空間において、画素に対応する輝度と同じ輝度の点で構成される平面を演算する平面演算手順と、ＲＡＷデータ空間における無彩色の軌跡と平面との交点を求める交点算出手順と、交点を、２次元の色度である交点色度に変換する色度変換手順と、画素色度が交点色度の近傍にある場合に、画素色度を無彩色の色度近傍に変換する無彩色変換手順とをコンピュータに実行させることを特徴とする。

本発明によれば、煩雑な操作を行うことなく、無彩色の被写体をディスプレイに表示した際の色づきを抑制することができる。

パソコンの一実施の形態の構成を示すブロック図である。 画像処理の流れを示すフローチャート図である。 ＲＧＢ３色で構成されるＲＡＷデータの色空間を座標上に示した図である。 ＲＡＷデータ空間における画素の座標を含む平面と無彩色の軌跡の交点の具体例を示す図である。 色度点Ｃｉが色度点Ｃｃの近傍にあると判断される場合の具体例を示す図である。 変換先の色度点Ｃｄの具体例を示す図である。

図１は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１０１と、接続ＩＦ（インターフェース）１０２と、制御装置１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、モニタ１０５とを備えている。

操作部材１０１は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１０２は、パソコン１００と外部機器とを接続するためのインターフェースである。本実施の形態では、パソコン１００は、この接続ＩＦ１０２を介してデジタルカメラと接続され、デジタルカメラからは撮影によって得られた画像ファイルが取り込まれる。なお、接続ＩＦ１０２としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。

ＨＤＤ１０４は、接続ＩＦ１０２を介して取り込まれた画像ファイルや、制御装置１０３で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１０４に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１０４にインストールすることによって、制御装置１０３がプログラムを実行できるようになる。本実施の形態では、ＨＤＤ１０４には、画像を表示するための画像表示アプリケーションがインストールされている。モニタ１０５は、例えば液晶モニタであって、制御装置１０３から出力される種々の表示用データが表示される。

本実施の形態におけるパソコン１００では、制御装置１０３は、モニタ１０５に画像を表示するに当たって、無彩色の被写体に色が付いたように表示されるのを防ぐための処理を実行する。まず、無彩色の被写体の色付きについて説明する。

撮影に用いるデジタルカメラでは、多くの場合、ＲＧＢ３色のカラーフィルターを透過した光を、撮像素子を用いて光電変換して、ＲＧＢ３つの画像信号を得ている。得られた画像信号はＲＡＷデータなどと呼ばれ、このＲＡＷデータに対して、ベイヤー補間、ホワイトバランス変換、マトリックス変換、γ変換などの変換を施して、ディスプレイ、例えばモニタ１０５で観賞する場合に最適化した画像データに変換し、Ｊｐｅｇ形式のデータで保存することが行なわれている。

ここで、無彩色の被写体について、人間の視覚的な感覚や、デジタルカメラで撮影した場合のカメラの動作について考えてみる。まず、無彩色の被写体に対する人間の視覚的な感覚について考えてみると、人間が、グレーカードのような無彩色の被写体（可視光域で概ね反射率が等しい物体）を見た場合、一般に、光源の色に順応し、光源が変わっても無彩色であると感じる。すなわち青みがかった光源でも赤みがかった光源でも、可視光域で概ね反射率が等しい物体を見た場合は無彩色であると感じる。また、ディスプイレイで画像を観賞する場合は、ＲＧＢ信号が同じ比（１：１：１）になっている場合に無彩色であると感じる。このため、無彩色の被写体を撮影した画像をディスプレイで表示する場合、光源が変化しても、ディスプイレイ信号のＲＧＢ比は（１：１：１）になることが望ましい。

次に、デジタルカメラで無彩色の被写体を撮影し、ＲＡＷデータが形成される過程について考察してみる。無彩色の被写体は、可視光域でおおむね等しい反射率をもっているため、その反射光は、光源の色特性を反映したものになる。これを撮影した場合のＲＡＷデータは、この反射光の特性を反映したものになる。またＲＡＷデータはデジタルカメラの撮像素子の分光感度にも依存する。したがって、無彩色の被写体を撮影した場合のＲＡＷデータのＲＧＢ比は、光源の色特性と撮像素子の分光感度によって決まるため、一般には同じ比（１：１：１）にはならず、例えばこれをそのままディスプレイに表示したとすると無彩色と感じられない。

このようなことから、無彩色の被写体を撮影したＲＡＷデータに対し、ディスプレイで観賞するための最適化の過程において、ホワイトバランス処理が施されることが行なわれている。これは、光源の色特性と撮像素子の分光感度の情報を用いて、ＲＡＷデータの各チャンネルにそれぞれ異なるゲイン値を乗算するものである。このような処理を行なうことにより、ＲＡＷデータのＲＧＢ比が１：１：１になるようにして、最終的にディスプレイで観賞する際に無彩色であると感じられるようにする。

ここで、無彩色の被写体の明るさが変化した場合の、ＲＡＷデータ、特にその信号の飽和について考えてみる。ＲＡＷデータの信号値は被写体が明るくなるにしたがって高くなり、ＡＤ変換の上限、例えば１２ｂｉｔでは４０９５を超えることはない。４０９５を超える（飽和する）ような明るさの場合は、信号値は４０９５として記録される。

ところで、無彩色の被写体のＲＡＷデータの比は、上述のように一般に１：１：１にはならない。ここではこの比を仮に、Ｒ：Ｇ：Ｂ＝０．６：１．０：０．８であるとすると、無彩色の被写体の明るさが暗い方から変化した場合、最初に飽和するチャンネルは、最も大きい比の値１．０をもつＧチャンネルであり、次いで、Ｂ、Ｇの順に飽和し、飽和した場合のＲＡＷデータの比は０．６：１．０：０．８の比とは異なる比となる。

これに対し上述のホワイトバランス処理は、０．６：１．０：０．８の比を前提としたゲイン値が適用される。したがって飽和していない信号については無彩色となるが、飽和した信号については無彩色とはならないことになる。その結果、被写体が無彩色であるのに対しディスプレイで観賞した場合には色がついたような画像になってしまう。

本実施の形態では、制御装置１０３は、このような問題を解決するために、図２に示す処理を実行する。ここで、図２は、本実施の形態における画像処理の流れを示すフローチャートである。図２に示す処理は、使用者によってモニタ１０５への画像の表示が指示されると起動するプログラムとして、制御装置１０３によって実行される。なお、本実施の形態では、ＨＤＤ１０４に記録されている画像ファイルのいずれかが表示対象として使用者によって選択されるものとし、制御装置１０３は、表示対象の画像ファイルから画像データ、例えばＲＡＷ ＲＧＢデータを読み出して、図２に示す処理を実行する場合について説明する。

本実施の形態では、図２の処理で画像変換が行われるが、そのための準備としてＲＡＷデータ空間における無彩色の軌跡の算出をあらかじめ行なっておく。ここで、ＲＡＷデータ空間における無彩色の軌跡の算出方法について説明する。図３は、ＲＧＢ３色で構成される、ＲＡＷデータの色空間を座標上に示したものである。ここで、ＲＡＷデータのｂｉｔ数は１２ｂｉｔであるとする。そのため各色０〜４０９５の値をとり得ることになり、図３に示す立方体内がＲＡＷデータの取りうる領域となる。

図３の矢印で示される軌跡ＯＰ_１Ｐ_２Ｐ_３は、立方体内での無彩色のデータを示したものである。本実施の形態では、この立方体内での無彩色のデータを示した軌跡ＯＰ_１Ｐ_２Ｐ_３を無彩色軌跡と呼ぶ。この無彩色軌跡は、仮にグレーカードを撮影したとした場合の、ＲＡＷデータのＲＧＢ比から以下のようにして求めることができる。なお、ここでは、このＲＧＢ比が、０．６：１．０：０．８であるとし、ＲＡＷデータの低い方から無彩色の輝度が高くなっていく場合について考える。

まず、原点Oから出発し、無彩色の輝度が増加した場合について考えると、図３の空間でこの比を保っている点によってできる軌跡ＯＰ_１が、無彩色軌跡の一部となる。終端のＰ_１でＧのチャンネルが飽和する。ここで、Ｐ_１の座標は、次式（１）〜（３）によりＰ_１（２４５７，４０９５，３２７６）となる。
Ｒ＝０．６×４０９５＝２４５７ ・・・（１）
Ｇ＝１．０×４０９５＝４０９５ ・・・（２）
Ｂ＝０．８×４０９５＝３２７６ ・・・（３）

さらに、輝度がＰ_１を超えた場合、Ｇのチャンネルは飽和しているため、ＲとＢのチャンネルのデータみが上記の比を保って増加することになり、この比を保っている点によってできる軌跡Ｐ_１Ｐ_２が、無彩色軌跡の一部となる。Ｇの次に飽和するチャンネルは、Ｂであり、このときのＲチャンネルのデータは、次式（４）により算出される。よって、Ｐ_２の座標はＰ_２（３０７１，４０９５，４０９５）となる。
Ｒ＝４０９５×（０．６／０．８）＝３０７１ ・・・（４）

さらに、輝度がＰ_２を超えた場合、Ｇ、Ｂのチャンネルは飽和しているため、Ｒのチャンネルのデータみが増加することになり、軌跡Ｐ_２Ｐ_３が無彩色軌跡の一部となる。Ｐ_３の座標はＰ_３（４０９５，４０９５，４０９５）である。このようにして算出される軌跡ＯＰ_１Ｐ_２Ｐ_３が無彩色軌跡となる。この無彩色軌跡の算出は、撮影後にホワイトバランスデータを認識して動的に算出しても良いし、あらかじめ算出しておき、ＨＤＤ１０４に記録しておいてもよい。

次に、図２の処理について説明する。ステップＳ１において、制御装置１０３は、表示対象のＲＡＷ ＲＧＢデータを輝度、色度データに変換する。ここでＲＡＷ ＲＧＢデータはベイヤー補間済みであり、１画素にＲＧＢ３チャンネルのデータをもつものとする。制御装置１０３は、次式（５）に示すＲＡＷ ＲＧＢデータと輝度Ｙとの関係式を用いて、ＲＡＷ ＲＧＢデータを輝度データに変換する。なお、次式（５）において、ｓ、ｔ、ｕは、あらかじめ実写や測色を行ない、最適化することにより求められた値である。ここで、着目画素ＰｉのＲＡＷ ＲＧＢデータを（Ｒｉ，Ｇｉ，Ｂｉ）とすると、着目画素Ｐｉの輝度Ｙｉは、次式（５）により変換して求められる。
Ｙ＝ｓＲ＋ｔＧ＋ｕＢ ・・・（５）

また、制御装置１０３は、次式（６）、（７）により色度を求める。色度はここではｒｇ色度とし、着目画素Ｐｉの色度ｒ_ｉｇ_ｉは、次式（６）、（７）に（Ｒｉ，Ｇｉ，Ｂｉ）を代入して求められる。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ） ・・・（６）
ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ） ・・・（７）

その後、ステップＳ２へ進み、制御装置１０３は、ステップＳ１で算出した着目画素Ｐｉの輝度Ｙｉと、図３のＰ_１での輝度Ｙ_ｐ１とを比較する。Ｙ_ｐ１は、式（５）)式のＲ、Ｇ、ＢにＰ_１の座標を代入することによって求めることができる。比較の結果、Ｙｉ≦Ｙ_ｐ１であれば、本発明での色度変換は必要ないと判断して、処理を終了する。これに対して、Ｙｉ＞Ｙ_ｐ１である場合には、ステップＳ３に進む。

ステップＳ３では、制御装置１０３は、Ｐ_２での輝度Ｙ_ｐ２を算出する。Ｙ_ｐ２は、式（５）のＲ、Ｇ、ＢにＰ_２の座標を代入することによって求めることができる。そして、制御装置１０３は、Ｙｉ≦Ｙ_ｐ２の関係が成り立つ場合には、平面Ｙｉ＝ｓＲ＋ｔＧ＋ｕＢと線分Ｐ_１Ｐ_２との交点を求める。一方、Ｙｉ＞Ｙ_ｐ２の関係が成り立つ場合には、平面Ｙｉ＝ｓＲ＋ｔＧ＋ｕＢと線分Ｐ_２Ｐ_３との交点を求める。なお、ＲＡＷ ＲＧＢ空間において、Ｙｉ＝ｓＲ＋ｔＧ＋ｕＢで表される平面上の点は、点Ｐｉ（Ｒｉ、Ｇｉ、Ｂｉ）と等輝度であり、ステップＳ３では、この平面と無彩色軌跡との交点を求めていることになる。したがって、交点は無彩色軌跡上にあり、Ｐｉと等輝度をもつことになる。図４では、ここで求められる交点をＰｃと表している。

その後、ステップＳ４へ進み、制御装置１０３は、着目画素Ｐｉの色度点Ｃｉ、無彩色軌跡の色度点、すなわちステップＳ３で算出した交点Ｐｃの色度点Ｃｃ、無彩色の色度点Ｃａを求める。具体的には、それぞれの色度点は、式（６）、（７）にＲＧＢ座標を代入することにより求めることができる。なお、Ｃａについては、ＯＰ_１上の点（例えばＰ_１）のＲＧＢ座標を代入すればよい。その後、ステップＳ５へ進む。

ステップＳ５では、制御装置１０３は、着目画素Ｐｉの色度点Ｃｉが、無彩色軌跡の色度点Ｃｃの近傍にあるかどうか判定する。例えば、制御装置１０３は、図５に示すように、次式（８）の関係が成立する場合に、色度点Ｃｉが色度点Ｃｃの近傍にあると判断する。ステップＳ５で、色度点Ｃｉが色度点Ｃｃの近傍にあると判断した場合には、ステップＳ６へ進み、近傍にないと判断した場合には、処理を終了する。

ステップＳ６では、制御装置１０３は、次式（９）より、着目画素Ｐｉの色度点Ｃｉの変換量ｔを算出して、ステップＳ７へ進む。

ステップＳ７では、制御装置１０３は、次式（１０）に示す変換式を用いて、着目画素Ｐｉの色度点Ｃｉを色度点Ｃｄに変換する。これにより、着目画素Ｐｉの色度点Ｃｉは、図６に示すように、変換先の色度点をＣｄに変換されるため、無彩色軌跡の近傍の点の色度は、階調性を保ちながら、無彩色の色度近傍の色度に変換されることになる。

その後、ステップＳ８へ進み、制御装置１０３は、変換後の色度点Ｃｄ（ｒｄ，ｇｄ）と着目画素Ｐｉの輝度Ｙｉとに基づいて、Ｒ、Ｇ、Ｂの各値を算出する。このために、まず、制御装置１０３は、次式（１１）によりｋを求め、ｋを用いて次式（１２）〜（１４）により、Ｒｄ、Ｇｄ、Ｂｄを算出する。
ｋ＝Ｙｉ／［ｓ・ｒｄ＋ｔ・ｇｄ＋ｕ・（1−ｒｄ−ｇｄ）］ ・・・（１１）
Ｒｄ＝ｋ・ｒｄ ・・・（１２）
Ｇｄ＝ｋ・ｇｄ ・・・（１３）
Ｂｄ＝ｋ・（1−ｒｄ−ｇｄ） ・・・（１４）

その後、ステップＳ９へ進み、制御装置１０３は、ステップＳ８で算出したＲｄ、Ｇｄ、Ｂｄに対して、ホワイトバランス変換や色変換を行う。例えば、制御装置１０３は、撮影時の光源状態、撮像素子の分光感度、ディスプレイの特性などに基づいて算出される３×３の行列などを用いてホワイトバランス変換や色変換を行うことができる。その後、ステップＳ１０へ進み、制御装置１０３は、モニタ１０５のγ特性に適した階調変換、すなわちγ変換を行なう。制御装置１０３は、以上説明したステップＳ１〜Ｓ１０の処理をすべての画素について行なった後、処理を終了する。

制御装置１０３は、全ての画素についてステップＳ１〜Ｓ１０の処理を行った後の画像データをモニタ１０５に出力して表示する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
制御装置１０３は、着目画素Ｐｉの色度点Ｃｉが、無彩色軌跡の色度点Ｃｃの近傍にあるかどうか判定し、近傍にあると判定した場合には、着目画素Ｐｉの色度点Ｃｉを色度点Ｃｄに変換するようにした。これによって、無彩色軌跡上の点の色度は、無彩色の色度に変換されることになる。また無彩色軌跡の近傍の点の色度は、階調性を保ちながら、無彩色の色度近傍の色度に変換される。このため、高輝度部分でのＲＡＷデータの飽和によって発生する色づきを抑制することができる。

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
（１）上述した実施の形態では、画像処理装置としてパソコン１００を用いる例について説明した。しかしながら、画像を表示することができる他の装置、例えば、携帯端末やデジタルカメラ等にも本発明を適用することができる。

（２）上述した実施の形態では、画像処理を行った後の画像データをモニタ１０５に出力して表示する例について説明したが、本発明は、表示装置以外の出力機器に出力する場合にも適用可能である。例えば、画像処理を行った後の画像データをプリンタ等に出力する場合にも適用できる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１００ パソコン、１０１ 操作部材、１０２ 接続ＩＦ、１０３ 制御装置、１０４ ＨＤＤ、１０５ モニタ

Claims (4)

1. ３チャンネルのＲＡＷ画像データの各画素の値に基づいて、各画素の輝度である画素輝度と２次元の色度である画素色度を算出する輝度色度算出手段と、
   ＲＡＷデータ空間において、前記画素に対応する輝度と同じ輝度の点で構成される平面を演算する平面演算手段と、
   前記ＲＡＷデータ空間における無彩色の軌跡と前記平面との交点を求める交点算出手段と、
   前記交点を、２次元の色度である交点色度に変換する色度変換手段と、
   前記画素色度が前記交点色度の近傍にある場合に、前記画素色度を無彩色の色度近傍に変換する無彩色変換手段とを備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記無彩色変換手段によって変換された後の画素で構成される画像データを表示装置に表示する表示制御手段をさらに備えることを特徴とする画像処理装置。
3. ３チャンネルのＲＡＷ画像データの各画素の値に基づいて、各画素の輝度である画素輝度と２次元の色度である画素色度を算出する輝度色度算出手順と、
   ＲＡＷデータ空間において、前記画素に対応する輝度と同じ輝度の点で構成される平面を演算する平面演算手順と、
   前記ＲＡＷデータ空間における無彩色の軌跡と前記平面との交点を求める交点算出手順と、
   前記交点を、２次元の色度である交点色度に変換する色度変換手順と、
   前記画素色度が前記交点色度の近傍にある場合に、前記画素色度を無彩色の色度近傍に変換する無彩色変換手順とをコンピュータに実行させるための画像処理プログラム。
4. 請求項３に記載の画像処理プログラムにおいて、
   前記無彩色変換手順で変換した後の画素で構成される画像データを表示装置に表示する表示制御手順をさらに有することを特徴とする画像処理プログラム。
   

Images