JP5212481B2 - 画像処理装置、画像処理方法および記憶媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法および記憶媒体に関する。特に、ＹＵＶやＹＣｒＣｂ等の輝度成分と色差成分とで表される色空間において階調補正を実行する画像処理装置、画像処理方法およびそのプログラムを記憶している記憶媒体に関する。

テレビジョン放送やＤＶＤ等で用いられる映像やＪＰＥＧ等の画像においては、ＹＵＶ色空間やＹＣｒＣｂ色空間等の輝度成分と色差成分とで表現される色空間が用いられている。

このような映像、画像を輝度成分と色差成分で表現される色空間において階調補正をすることは、他の色空間への変換処理および逆変換処理が不要となるため、計算コストの視点から考えると有利である。

近年、映像や画像の撮影および表示時に、階調補正を実行する機器が数多く出現してきている。このような機器では、映像や画像の階調補正を、計算コストを抑えて実時間で実行する必要があるため、他の色空間への変換および逆変換処理にかかる計算コストを不要とするＹＵＶ色空間やＹＣｒＣｂ色空間などの輝度成分と色差成分で表される色空間での高性能な階調補正への要望が増加してきている。

ＹＵＶ（ＹＣｒＣｂ）色空間は明るさを表す輝度成分（Ｙ成分）と色味を表す色差成分（Ｕ成分、Ｖ成分またはＣｒ成分、Ｃｂ成分）とから構成され、ＹＵＶ色空間においての階調補正はＹ成分を補正することで実行可能である。しかし、ＹＵＶ色空間の各軸と人間が知覚する明るさや色味の軸にずれがあるため、Ｙ成分の変更のために見ための鮮やかさ（彩度）が劣化するという問題点がある。
上述した問題点を解決するため、これまでにも種々の画像処理装置または画像処理方法が提案されている。

例えば、特許文献１に記載の技術は、注目画素周辺の局所領域の加重平均輝度値をもとに注目画素の補正量を決定することで、画像中に含まれるハイライト領域やシャドー領域の階調を適切に補正することを可能としている。

また、特許文献２に記載の技術は、画像中の顔と判定された領域の平均輝度から階調補正量を調節することで、画像を鑑賞する際に最も強調される領域である人物の顔を最適な明るさにすることを可能としている。

さらに、特許文献３に記載の技術は、画素位置（ｘ，ｙ）における補正前のＹ成分値を表すＹ_ｉｎ（ｘ，ｙ）と補正後のＹ成分値を示すＹ_ｏｕｔ（ｘ，ｙ）との比率を、Ｕ成分値およびＶ成分値に乗算することにより、見た目の鮮やかさの劣化を抑制している。この補正を数式に表すと、式（１）に相当する。

ただし、式（１）において、Ｕ_ｉｎ（ｘ，ｙ）、Ｕ_ｏｕｔ（ｘ，ｙ）およびＶ_ｉｎ（ｘ，ｙ）、Ｖ_ｏｕｔ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における補正前後のＵ成分およびＶ成分を表している。

さらに、特許文献４に記載の技術は、ＣＩＥ Ｌ*ａ*ｂ*色空間上でａ*成分およびｂ*成分を保持したときの、各ＹＣｒＣｂ値における補正前後のＹ値の比率と補正前後のＹＣｒＣｂ色空間上での彩度の比率の関係を線形近似により求め、Ｃｒ成分およびＣｂ成分を補正している。この補正はＹＵＶ色空間上にも適用可能であり、この場合の補正を数式に表すと、式（２）に相当する。

ただし、式（２）においてｐは、Ｙ_ｏｕｔ（ｘ，ｙ）／Ｙ_ｉｎ（ｘ，ｙ）と、補正前後のＵ成分の比率または補正前後のＶ成分の比率と、の関係を線形近似により推定して表した値である。なお、式（２）において、ｐ＝１としたとき、式（１）と同じとなる。

国際公開第２００６／０２５４８６号パンフレット 特開２００６−３１８２５５号公報 特開２００７−１４２５００号公報 特開２００６−０１８４６５号公報

上記技術は、輝度成分（Ｙ成分）の補正とともに、色差成分（Ｕ成分、Ｖ成分）の補正も行い、人間の知覚する色の鮮やかさ（彩度）を保つように工夫している。しかしながら、輝度成分の補正値（階調補正値）と色差成分の補正値（彩度補正値）の相関関係の解析が十分ではないため、局所的には実際の値と近似値の誤差が大きくなる場合があった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、輝度成分と色差成分とで表される画像の階調補正において、適切な彩度補正を実行することができる画像処理装置、画像処理方法および記憶媒体を提供することにある。

本発明によれば、入力された入力画像を受け付ける画像入力手段と、前記入力画像の輝度成分と出力された出力画像の輝度成分の比率を示す階調補正値を取得する階調補正値取得手段と、前記入力画像と同一または異なる解析用画像と、一つまたは複数の階調補正値に基づいて前記解析用画像の輝度成分を補正された補正画像と、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値を、当該階調補正値に対応付けて求める彩度解析手段と、前記階調補正値取得手段が取得した前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、に基づいて、前記画像入力手段にて受け付けられた前記入力画像を補正して得られた画像を前記出力画像として出力する画像出力手段と、を備えることを特徴とする画像処理装置が提供される。

また、本発明によれば、入力された入力画像を受け付ける画像入力ステップと、前記入力画像の輝度成分と出力された出力画像の輝度成分の比率を示す階調補正値を取得する階調補正値取得ステップと、前記入力画像と同一または異なる解析用画像と、一つまたは複数の階調補正値に基づいて前記解析用画像の輝度成分を補正された補正画像と、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値を、当該階調補正値に対応付けて求める彩度解析ステップと、前記階調補正値取得ステップにて取得された前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、に基づいて、前記画像入力ステップにて受け付けられた前記入力画像を補正して得られた画像を前記出力画像として出力する画像出力ステップと、を備えることを特徴とする画像処理方法が提供される。

さらに、本発明によれば、コンピュータが読み出し可能な記憶媒体であって、入力された入力画像を受け付ける画像入力処理と、前記入力画像の輝度成分と出力された出力画像の輝度成分の比率を示す階調補正値を取得する階調補正値取得処理と、前記入力画像と同一または異なる解析用画像と、一つまたは複数の階調補正値に基づいて前記解析用画像の輝度成分を補正された補正画像と、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値を、当該階調補正値に対応付けて求める彩度解析処理と、前記階調補正値取得処理にて取得された前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、に基づいて、前記画像入力処理にて受け付けられた前記入力画像を補正して得られた画像を前記出力画像として出力する画像出力処理と、を前記コンピュータに実行させるプログラムを記憶していることを特徴とする記憶媒体が提供される。

本発明は、解析画像と当該解析画像を特定の階調補正値に基づいて補正した補正画像とを解析して、当該階調補正値に対応する彩度補正値を求めることができる。よって、本発明は比較的高い精度で彩度補正を行うことができる。

本発明によれば、輝度成分と色差成分とで表される画像の階調補正において、適切な彩度補正を実行することができる画像処理装置、画像処理方法およびプログラムが提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の第１の実施形態の画像処理装置の構成図である。 本発明の第１の実施形態の画像処理方法を示すフローチャートである。 本発明の第２の実施形態の画像処理装置の構成図である。 記憶部が記憶する階調補正値αと彩度補正値βとを示す散布図である。 図４のプロットとこのプロット間を補間する近似曲線を共に表した図である。 本発明の第２の実施形態の画像処理方法における前処理を表すフローチャートである。 本発明の第２の実施形態の画像処理方法における後処理を表すフローチャートである。 特許文献４に用いられる近似式が表す直線を図４上に表した図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
〔第１の実施形態〕

図１は、第１の実施形態の画像処理装置の構成図である。本実施形態の画像処理装置１００は、入力された入力画像Ｐ_ｉｎを受け付ける画像入力部１１を備えてもよい。また、画像処理装置１００は、入力画像Ｐ_ｉｎの輝度成分と出力された出力画像Ｐ_ｏｕｔの輝度成分の比率を示す階調補正値αを取得する階調補正値取得部１２を備えてもよい。さらに、画像処理装置１００は、入力画像Ｐ_ｉｎと同一または異なる解析用画像Ｐ_ａと、一つまたは複数の階調補正値αに基づいて解析用画像Ｐ_ａの輝度成分を補正された補正画像Ｐ_ｂと、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値βを、当該階調補正値αに対応付けて求める彩度解析部１３を備えてもよい。さらに、画像処理装置１００は、階調補正値取得部１２が取得した階調補正値αと、当該階調補正値αに対応付けられた彩度補正値βと、に基づいて、画像入力部１１にて受け付けられた入力画像Ｐ_ｉｎを補正して得られた画像を出力画像Ｐ_ｏｕｔとして出力する画像出力部１４を備えてもよい。

なお、画像入力部１１、階調補正値取得部１２、彩度解析部１３は、データ処理部１０に内包されてもよい。また、データ処理部１０は、処理したデータや変数等を記憶部１６に適宜記憶させてもよい。さらに、データ処理部１０は記憶部１６に記憶されているプログラムやデータ等を適宜読み出してもよい。

画像処理装置１００に内包される構成の全部または一部は、ハードウェアで実現されてもよい。あるいは、コンピュータに処理を実行させるプログラム（またはプログラムコード）で実現されてもよい。コンピュータは、不揮発性メモリなどの記録媒体からそのプログラムを読み出し実行する。本実施形態において、プロセッサはデータ処理部１０であってもよく、記憶媒体は記憶部１６であってもよい。

画像処理装置１００に内包される構成がプログラムによって実施される場合、このプログラムは、入力された入力画像Ｐ_ｉｎを受け付ける画像入力処理をコンピュータに実行させてもよい。また、このプログラムは、入力画像Ｐｉ_ｎの輝度成分と出力された出力画像Ｐ_ｏｕｔの輝度成分の比率を示す階調補正値αを取得する階調補正値取得処理をコンピュータに実行させてもよい。さらに、このプログラムは、入力画像Ｐ_ｉｎと同一または異なる解析用画像Ｐ_ａと、一つまたは複数の階調補正値αに基づいて解析用画像Ｐ_ａの輝度成分を補正された補正画像Ｐ_ｂと、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値βを、当該階調補正値αに対応付けて求める彩度解析処理をコンピュータに実行させてもよい。さらに、このプログラムは、階調補正値取得処理にて取得された階調補正値αと、当該階調補正値αに対応付けられた彩度補正値βと、に基づいて、画像入力処理にて受け付けられた入力画像Ｐ_ｉｎを補正して得られた画像を出力画像Ｐ_ｏｕｔとして出力する画像出力処理をコンピュータに実行させてもよい。

画像入力部１１は、画像処理装置１００が接続される外部装置（図示せず）や外部ネットワーク（図示せず）から入力画像Ｐ_ｉｎを入力されてもよい。なお、画像入力部１１は、外部装置や外部ネットワークに対して入力画像Ｐ_ｉｎの入力要求を送信してもよい。入力要求を受信した外部装置や外部ネットワークは、入力要求に応じて入力画像Ｐ_ｉｎを画像入力部１１に入力してもよい。

また、画像入力部１１は、入力画像Ｐ_ｉｎを彩度解析部１３に送出する。画像入力部１１が送出する入力画像Ｐ_ｉｎはＹＵＶ画像であってもよく、輝度成分（Ｙ成分）および色差成分（Ｕ成分、Ｖ成分）で表現されてもよい。

なお、画像入力部１１に入力される入力画像Ｐ_ｉｎはＹＵＶ画像やＹＣｒＣｂ画像等の輝度成分および色差成分で表現される画像でなくてもよい。この場合において、輝度成分および色差成分で表現される画像への変換処理は上述のように不要であり、変換処理を実行することなく、入力画像Ｐ_ｉｎを輝度成分および色差成分で表現して送出可能である。

さらに、画像処理装置１００は、ユーザの操作入力を受け付ける操作入力部１５を備えてもよい。操作入力部１５は、キーを押下して入力する方式でもよく、タッチパネル方式でもよい。

階調補正値取得部１２が階調補正値αを取得する方法はいずれでもよい。例えば、階調補正値取得部１２は、デフォルトで定められている階調補正値αを記憶部１６から取得してもよい。または、階調補正値取得部１２は、操作入力部１５が受け付けたユーザの操作入力によって入力された任意の値を階調補正値αとして取得してもよい。さらに、操作入力部１５が受け付けたユーザの操作入力によって入力された任意の値と記憶部１６に記憶されているデータとに基づいて階調補正値αを算出して取得してもよい。さらに、階調補正値取得部１２は、デフォルトで定められた出力画像Ｐ_ｏｕｔの輝度成分と入力画像Ｐ_ｉｎの輝度成分とから階調補正値αを算出してもよい。

本実施形態において、画像入力部１１に入力された入力画像Ｐ_ｉｎに内包される画素の画素位置を（ｘ，ｙ）と表したとき、入力画像Ｐ_ｉｎの輝度成分を入力輝度値Ｙ_ｉｎ（ｘ，ｙ）と定義する。また、入力画像Ｐ_ｉｎの色差成分を入力色差値Ｕ_ｉｎ（ｘ，ｙ）およびＶ_ｉｎ（ｘ，ｙ）と定義する。

また、画像出力部１４が出力する出力画像Ｐ_ｏｕｔに内包される画素の画素位置も同様に（ｘ，ｙ）と表したとき、出力画像Ｐ_ｏｕｔの輝度成分を出力輝度値Ｙ_ｏｕｔ（ｘ，ｙ）と定義する。また、出力画像Ｐ_ｏｕｔの色差成分を出力色差値Ｕ_ｏｕｔ（ｘ，ｙ）およびＶ_ｏｕｔ（ｘ，ｙ）と定義する。

入力輝度値Ｙ_ｉｎ（ｘ，ｙ）と出力輝度値Ｙ_ｏｕｔ（ｘ，ｙ）の関係および入力色差値Ｕ_ｉｎ（ｘ，ｙ）、Ｖ_ｉｎ（ｘ，ｙ）と出力色差値Ｕ_ｏｕｔ（ｘ，ｙ）、Ｖ_ｏｕｔ（ｘ，ｙ）の関係を式（３）のように表してもよい。

式（３）のように定義する場合、画像出力部１４は、入力画像Ｐ_ｉｎの輝度成分（Ｙ_ｉｎ（ｘ，ｙ））に階調補正値αを乗算して得られる値を、出力画像Ｐ_ｏｕｔの輝度成分（Ｙ_ｏｕｔ（ｘ，ｙ））として補正してもよい。そして、画像出力部１４は、入力画像Ｐ_ｉｎの色差成分（Ｕ_ｉｎ（ｘ，ｙ）、Ｖ_ｉｎ（ｘ，ｙ））に彩度補正値βを乗算して得られる値を、出力画像Ｐ_ｏｕｔの色差成分（Ｕ_ｏｕｔ（ｘ，ｙ）、Ｖ_ｏｕｔ（ｘ，ｙ））として補正してもよい。

ここで、彩度解析部１３が実行する処理の一例について説明する。

彩度解析部１３は、入力画像Ｐ_ｉｎと同一または異なる解析用画像Ｐ_ａと、階調補正値取得部１２が取得した階調補正値αに基づいて解析用画像Ｐ_ａを補正して生成される補正画像Ｐ_ｂと、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値βを、階調補正値αに対応づけて求めてもよい。

本実施形態において、彩度解析部１３が、画像入力部１１が受け付けた入力画像Ｐｉｎを解析用画像Ｐａとして受け付けた場合について述べる。

まず、彩度解析部１３は、仮の値を設定した彩度補正値βと、階調補正値取得部１２が取得した階調補正値αと、に基づいて、入力画像Ｐ_ｉｎ（解析用画像Ｐａ）に内包される一部または全ての画素に対して式（３）を適用して補正し、補正画像Ｐ_ｂを生成してもよい。ここで、補正される画素は入力画像Ｐ_ｉｎに内包される全てであってもよいが、この場合、彩度解析部１３の処理負荷が大きくなってしまう。

よって、彩度解析部１３は入力画像Ｐ_ｉｎに内包される一部の代表的な画素のみを選択して補正し、処理負荷を軽減してもよい。この場合、生成される補正画像Ｐ_ｂは、補正画像Ｐ_ｂ補正された一部の画素の集合体である。

次に、彩度解析部１３は、補正画像Ｐ_ｂの画素ごとの彩度Ｓ_ｂ（ｘ，ｙ）を、該当画素をＬ*ａ*ｂ*色空間に変換したときのクロマティクス指数（ａ*およびｂ*）により表して求めてもよい。また、彩度解析部１３は、入力画像Ｐ_ｉｎ（解析用画像Ｐ_ａ）の画素ごとの彩度Ｓ_ａ（ｘ，ｙ）もＬ*ａ*ｂ*色空間に変換したときのクロマティクス指数（ａ*およびｂ*）により表して求めてもよい。

本実施形態の彩度解析部１３は、彩度をＬ*ａ*ｂ*色空間のクロマティクス指数で表すが、これに限らなくてもよい。ここで用いる手法は、色空間上の各色間の距離と人間の感覚的な色の違いが近似する均等色空間を用いて彩度を表現する手法が望ましい。

さらに、彩度解析部１３は、画素ごとに彩度の乖離度を（Ｓ_ｂ（ｘ，ｙ）−Ｓ_ａ（ｘ，ｙ））^２で表し、補正した全ての画素における彩度の乖離度の総和Σ（Ｓ_ｂ（ｘ，ｙ）−Ｓ_ａ（ｘ，ｙ））^２を算出してもよい。

さらに、彩度解析部１３は、彩度補正値βの値を変えながら、それぞれの彩度補正値βに対して彩度の乖離度の総和Σ（Ｓ_ｂ（ｘ，ｙ）−Ｓ_ａ（ｘ，ｙ））^２を算出し、それぞれを比較して乖離度の総和Σ（Ｓ_ｂ（ｘ，ｙ）−Ｓ_ａ（ｘ，ｙ））^２が最小となるβの値を定める。このようにして彩度補正値βを定めるときは、仮に定める彩度補正値βの値を変更しても、彩度解析部１３が補正する画素の数を一定とする必要がある。

彩度解析部１３は、上述した方法によって求めた彩度補正値βを、階調補正値αに対応付けて画像出力部１４に送出してもよい。
続いて、本実施形態の画像処理方法について説明する。図２は、本実施形態の画像処理方法を示すフローチャートである。

本実施形態の画像処理方法は、入力された入力画像Ｐ_ｉｎを受け付ける画像入力ステップ（ステップＳ１０１）を備えてもよい。また、本実施形態の画像処理方法は、入力画像Ｐ_ｉｎの輝度成分と出力された出力画像Ｐ_ｏｕｔの輝度成分の比率を示す階調補正値αを取得する階調補正値取得ステップ（ステップＳ１０２）を備えてもよい。さらに、本実施形態の画像処理方法は、入力画像Ｐ_ｉｎと同一または異なる解析用画像Ｐ_ａと、一つまたは複数の階調補正値αに基づいて解析用画像Ｐ_ａの輝度成分を補正された補正画像Ｐ_ｂと、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値βを、当該階調補正値αに対応付けて求める彩度解析ステップ（ステップＳ１０３）を備えてもよい。さらに、本実施形態の画像処理方法は、階調補正値取得ステップ（ステップＳ１０２）にて取得された階調補正値αと、当該階調補正値αに対応付けられた彩度補正値βと、に基づいて、画像入力ステップ（ステップＳ１０１）にて受け付けられた入力画像Ｐ_ｉｎを補正して得られた画像を出力画像Ｐ_ｏｕｔとして出力する画像出力ステップ（ステップＳ１０４）を備えてもよい。

ここで、本実施形態の効果について説明する。本実施形態は、入力画像Ｐ_ｉｎ（解析用画像Ｐ_ａ）と当該入力画像Ｐ_ｉｎ（解析用画像Ｐ_ａ）を特定の階調補正値αに基づいて補正した補正画像Ｐ_ｂとを解析して、当該階調補正値αに対応する彩度補正値βを求めることができる。

特許文献４においても、輝度成分の上げ幅と彩度の上げ幅（色差成分の上げ幅）の間に相関関係があることを見出し、輝度成分の上げ幅から彩度の上げ幅（色差成分の上げ幅）を推定している。しかし、輝度成分の値が３０〜２００となる領域全体に着目し、直線近似により近似値を求めるため、輝度成分の値によっては誤差が大きい。

これに比べて、本実施形態は特定の階調補正値α（輝度成分の上げ幅）一点に着眼して彩度補正値β（色差成分の上げ幅）を求めるので、比較的高い精度で彩度補正を実行することができる。

また、本実施形態の画像処理装置１００は、画像入力部１１が入力した入力画像Ｐ_ｉｎを解析用画像Ｐ_ａとして用いて、彩度補正値βを求めるので、統計的な計測値を持たなくても、適切な彩度補正を行うこともできる。
〔第２の実施形態〕

図３は、本実施形態の画像処理装置の構成図である。本実施形態の画像処理装置２００に備えられる画像入力部２１、階調補正値取得部２２および操作入力部２５は、第１の実施形態で説明した画像入力部１１、階調補正値取得部１２および操作入力部１５と同様の構成要素である。

画像入力部２１および階調補正値取得部２２は、データ処理部２０に内包されてもよい。また、データ処理部２０は、処理したデータや変数等を記憶部２６に適宜記憶させてもよい。さらに、データ処理部２０は記憶部２６に記憶されているプログラムやデータ等を適宜読み出してもよい。

本実施形態においては、彩度解析部２３が、画像入力部２１が受け付けた入力画像Ｐ_ｉｎと異なる画像を解析用画像Ｐ_ａとして受け付けた場合について述べる。具体的には、彩度解析部２３は、学習用の画像を解析用画像Ｐ_ａとして受け付け、階調補正値αと彩度補正βとを対応付けて記憶部２６に予め記憶しておく場合について述べる。

画像処理装置２００は、第１の実施形態の画像処理装置１００が備える構成要素に加えて、解析用画像Ｐａの補正に用いた一つまたは複数の階調補正値αと、当該階調補正値に対応付けられた彩度補正値βと、を記憶する補正値記憶部２７をさらに備えてもよい。

補正値記憶部２７は、記憶部２６内の一部の記憶領域において実現されてもよい。

階調補正値取得部２２は、補正値記憶部２７が記憶している階調補正値αのうちいずれかを取得してもよい。

また、画像出力部２４は、階調補正値取得部２２が取得した階調補正値αに対応付けられた彩度補正値βを補正値記憶部２７から取得してもよい。そして、画像出力部２４は、取得した階調補正値αと彩度補正値βとに基づいて、入力画像Ｐ_ｉｎを補正して得られた画像を出力画像Ｐ_ｏｕｔとして出力してもよい。

図４は、補正値記憶部２７が記憶する階調補正値αと彩度補正値βとを示す散布図である。この散布図は、階調補正値αを横軸として、彩度補正値βを縦軸としている。図４において、階調補正値αは０．５から３．５まで０．０５刻みとしている。そして、彩度補正値βは、階調補正値αそれぞれに第１の実施形態の彩度解析部１３が用いた手法を適用することにより求められている。図４には、対応付けられた階調補正値αと彩度補正値βとで１点として表されている。

上述のように、補正値記憶部２７が複数の階調補正値αと複数の彩度補正値βとをそれぞれ対応付けて記憶している場合、画像処理装置２００はさらに次のような構成要素をそなえてもよい。

画像処理装置２００は、補正値記憶部２７が記憶している複数組の階調補正値αと彩度補正値βとの相関関係を解析する相関関係解析部２８をさらに備えてもよい。そして、画像処理装置２００は、相関関係を記憶する相関関係記憶部２９をさらに備えてもよい。

この場合、画像出力部２４は、相関関係記憶部２９から相関関係を取得し、階調補正値取得部２２が取得した階調補正値αに対して相関関係を適用して彩度補正値βを求めてもよい。なお、上述した「階調補正値αに対応付けられた彩度補正値β」とは、本実施形態のように、階調補正値取得部２２が取得した階調補正値αに対して相関式を適用して得られる彩度補正値βも含んでもよい。

相関関係記憶部２９は、記憶部２６内の一部の記憶領域において実現されてもよい。

ここで、相関関係解析部２８が行う解析処理について説明する。図５は、図４のプロットとこのプロット間を補間する近似曲線を共に表した図である。この近似曲線は、累乗近似により求められている。また、以下に示す式（４）は、この近似曲線を表す相関式である。

ただし、式（４）においてｑは、ユーザが０＜ｑ＜１の範囲内で任意に定めてもよい。このｑは、操作入力部１５が受け付けた操作入力によって定められてもよい。図５に示す近似曲線は、ｑ＝０．６８としたときの近似曲線である。

なお、式（４）においてｑ＝０としたとき、式（１）と同じ式になる。また、ｑ＝１としたとき、画像処理装置１００は入力画像Ｐ_ｉｎに対して補正を行わないことになる。

上述した説明は、相関関係解析部２８が行う分析処理の概念を説明するものである。相関関係解析部２８は、図４や図５のような図を実際に作成する必要はない。相関関係解析部２８は、記憶部２６に記憶されているαとβとを用いて、それらの相関関係を表す相関式（式（４））を累乗近似により算出できればよい。

上述した彩度解析部２３、画像出力部２４および相関関係解析部２８は、データ処理部２０に内包されてもよい。また、相関関係解析部２８は、彩度解析部２３に内包されてもよい。

図６は、本実施形態の画像処理方法における前処理を表すフローチャートである。ここで前処理とは、学習用の画像を解析用画像Ｐａとして受け付け、階調補正値αと彩度補正βとを対応付けて記憶部２６に予め記憶しておく処理である。

まず、本実施形態の画像処理方法は、彩度解析ステップ（ステップＳ２０１）において、学習用の画像（画像入力ステップで受け付けた入力画像Ｐ_ｉｎと異なる画像）を解析用画像Ｐ_ａとして受け付ける。彩度解析ステップ（ステップＳ２０１）において、解析用画像Ｐ_ａに対する処理は彩度解析ステップ（ステップＳ１０３）と同様であり、第１の実施形態で説明した方法を用いて彩度補正値βを求めてもよい。

さらに、本実施形態の画像処理方法は、彩度解析ステップ（ステップＳ２０１）において、解析用画像Ｐ_ａの補正に用いた一つまたは複数の階調補正値αと、当該階調補正値αに対応付けられた彩度補正値βと、を記憶部２６に記憶させる補正値記憶ステップ（ステップＳ２０２）をさらに備えてもよい。

さらに、本実施形態の画像処理方法は、記憶部２６（補正値記憶部２７）が記憶している複数組の階調補正値αと彩度補正値βとの相関関係を解析する相関関係解析ステップ（ステップＳ２０３）と、相関関係を記憶部２６（相関関係記憶部２９）に記憶させる相関関係記憶ステップ（ステップＳ２０４）と、をさらに備えてもよい。

図７は、本実施形態の画像処理方法における後処理を表すフローチャートである。ここで後処理とは、記憶部２６に予め記憶した階調補正値αと彩度補正βと、またはそれらの相関関係を用いて入力画像Ｐ_ｉｎを補正して、出力画像Ｐ_ｏｕｔを出力する処理である。

本実施形態の画像処理方法は、画像入力部（ステップＳ３０１）を備えてもよい。ここで、画像入力部（ステップＳ３０１）は、第１実施形態の画像入力部（ステップＳ１０１）と同様のステップである。

また、本実施形態の画像処理方法は、階調補正値取得ステップ（ステップＳ３０２）において、記憶部２６（補正値記憶部２７）が記憶している階調補正値αのうちいずれかを取得してもい。そして、画像出力ステップ（ステップＳ３０５）において、階調補正値取得ステップ（ステップＳ３０２）にて取得された階調補正値αに対応付けられた彩度補正値βを記憶部２６（補正値記憶部２７）から取得してもよい。

さらに、本実施形態の画像処理方法は、画像出力ステップ（ステップＳ３０５）において、記憶部２６（相関関係記憶部２９）から相関関係を取得し、階調補正値取得ステップ（ステップＳ３０２）にて取得された階調補正値αに対して相関関係を適用して彩度補正値βを求めてもよい。

本実施形態の画像処理方法において、彩度解析を行わなくても記憶部２６に記憶しているデータ等から階調補正値αと彩度補正値βを取得する、または算出することもできる。よって、彩度解析を行わないとき（ステップＳ３０３のＮＯ）、彩度解析ステップ（ステップＳ３０４）を実行せずに、画像出力ステップ（ステップＳ３０５）を実行してもよい。

また、ユーザの要求等で彩度解析を行うとき（ステップＳ３０３のＹＥＳ）、彩度解析ステップ（ステップＳ３０４）を実行してもよい。この場合、彩度解析ステップ（ステップＳ３０４）および画像出力ステップ（ステップＳ３０５）は、それぞれ第１の実施形態で説明した彩度解析ステップ（ステップＳ１０３）および画像出力ステップ（ステップＳ１０４）と同様のステップである。

ここで、本実施形態の画像処理装置２００の効果について説明する。本実施形態の画像処理装置２００は、学習用の画像を解析用画像Ｐａとして受け付け、取得された階調補正値αと学習用の画像から求めた彩度補正値βとを対応付けて記憶部２６に予め記憶させることもできる。画像出力部２４が、記憶部２６が記憶している階調補正値αおよび彩度補正値を用いることにより、入力画像Ｐ_ｉｎを受け付けてから、出力画像Ｐ_ｏｕｔを出力するまでの処理負荷が軽減される。

また、本実施形態の画像処理装置２００は、記憶部２６に記憶している複数組の階調補正値αと彩度補正値βとの相関関係を解析し、取得した階調補正値αに当該相関関係（相関式）を適用して、彩度補正値βを求めることができる。これにより、記憶部２６に記憶されていない階調補正値αを要する階調補正を実行することもできる。

なお、図４または図５を参照すればわかるとおり、αの値の増加に伴いβ／αは減少し、αの値の減少に伴いβ／αは増加するという特性がある。故に、αとβとの相関関係を表す相関式は、近似曲線が曲線となる累乗近似により求めることが望ましい。

式（１）や式（２）のように直線を表す相関式は、αが小さい値または大きい値のとき、誤差が大きくなってしまう。図８は、式（２）が表す直線を図４上に表した図である。図８を参照すれば、αが小さい値または大きい値のとき、誤差が大きくなることがわかる。

すなわち、式（４）は、式（１）や式（２）を比較して、より適切にαとβの相関関係を表す式とすることができる。これにより、本実施形態の画像処理装置２００は、近似式（式（４））を用いても、特許文献３または特許文献４に記載の技術より適切な彩度補正を実行することもできる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

例えば、画像入力部１１が送出する入力画像Ｐ_ｉｎは、輝度成分および色差成分で表現されればよい。よって、実施形態において、画像入力部１１が送出する入力画像Ｐ_ｉｎはＹＵＶ画像と説明したが、その変形例として、ＹＣｒＣｂ画像であってもよい。

また、本発明の実施形態において、彩度解析部１３は、彩度の乖離度の総和をΣ（Ｓ_ｂ（ｘ，ｙ）−Ｓ_ａ（ｘ，ｙ））^２が最小となるように彩度補正値βの値を求める方法を説明したが、この方法に限らなくてもよい。この変形例として、例えば、彩度の偏差の二乗平均平方根Σ（Ｓ_ｂ（ｘ，ｙ）−Ｓ_ａ（ｘ，ｙ））^２／Ｎが最小となるように彩度補正値βの値を定めてもよい。ただし、Ｎは補正画像Ｐ_ｂの画素数である。このようにして彩度補正値βを定めるときは、仮に定める彩度補正値βの値を変更しても、彩度解析部１３が補正する画素の数を一定にする必要がない。

さらに、本発明の実施形態において、式（３）のように定義し、画像出力部１４（または画像出力部２４）は、入力画像Ｐ_ｉｎの輝度成分に階調補正値αを乗算して得られる値を、出力画像Ｐ_ｏｕｔの輝度成分として、入力画像Ｐ_ｉｎの色差成分に彩度補正値βを乗算して得られる値を、出力画像Ｐ_ｏｕｔの色差成分として説明した。しかし、これに限らなくてもよい。

例えば、画像出力部１４（または画像出力部２４）は、入力画像Ｐ_ｉｎの輝度成分に階調補正値αを加算して得られる値を、出力画像Ｐ_ｏｕｔの輝度成分としてもよい。そして、画像出力部１４（または画像出力部２４）は、入力画像Ｐ_ｉｎの色差成分に彩度補正値βを加算して得られる値を、出力画像Ｐ_ｏｕｔの色差成分としてもよい。これは以下の式（５）で表すことができる。

ただし、式（５）においてｑ´は、ユーザが０＜ｑ´＜１の範囲内で任意に定めてもよい。このｑ´は、操作入力部１５（または操作入力部２５）が受け付けた操作入力によって定められてもよい。
さらに、本発明の変形例として、補正値記憶部２７または相関関係記憶部２９の少なくとも一方は、記憶部２６とは異なる記憶装置として実現されてもよい。

さらに、画像処理装置１００（または画像処理装置２００）は、視認性を向上させるため逆行補正技術を適用させることもできる。以下にその詳細を説明する。

画像処理装置１００は、画像入力部１１が入力した入力画像Ｐ_ｉｎに内包される各画素位置（ｘ，ｙ）における、画素の周辺領域の明るさを表す周辺輝度値Ｙ_ａｖｅ（ｘ，ｙ）を算出してもよい。この算出に関する式（６）、式（７）および式（８）を以下に示す。

ただし、演算子*は、畳み込み演算を表す。また、Ｈ（ｘ，ｙ，ｓ，ｔ）は、画素位置（ｘ，ｙ）を中心とし、偏差σの等方的な二次元正規分布であり、式（７）および式（８）を満たす。

式（６）で表される周辺輝度値Ｙ_ａｖｅ（ｘ，ｙ）は、画素位置（ｘ，ｙ）を中心とした周辺領域の輝度成分の加重合成であり、周辺輝度値Ｙ_ａｖｅ（ｘ，ｙ）が大きいほど画素位置（ｘ，ｙ）が明るい領域に含まれていることを意味する。

また、周辺輝度値Ｙ_ａｖｅ（ｘ，ｙ）の算出方法として、ある程度の間隔を設けて離散的に式（６）により周辺輝度を算出し、その間にある画素位置における周辺輝度を、線形補間や双三次補間により算出する方法もある。

画像出力部１４は、入力画像Ｐ_ｉｎの輝度成分Ｙ_ｉｎ（ｘ，ｙ）およびＹ_ａｖｅ（ｘ，ｙ）を入力して階調補正を行い、出力画像Ｐ_ｏｕｔの輝度成分Ｙ_ｏｕｔ（ｘ，ｙ）を算出する。Ｙ_ｏｕｔ（ｘ，ｙ）の算出方法の一例を、式（９）に示す。ただし、Ｙ_ｍａｘは、Ｙ_ｏｕｔ（ｘ，ｙ）の取りうる最大値である。また、Ｌ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における周辺輝度値Ｙ_ａｖｅ（ｘ，ｙ）に基づいて算出される値である。Ｙ_ａｖｅ（ｘ，ｙ）が大きいほど増加し1.0に近づき、Ｙ_ａｖｅ（ｘ，ｙ）が小さいほど減少し、あらかじめ設定された値であるｍｉｎＬ(０＜ｍｉｎＬ＜１)に近づくよう設定される。Ｌ（ｘ，ｙ）の算出方法の一例を式（１０）に示す。ただし、ｍａｘＡｖｅおよびｍｉｎＡｖｅは、あらかじめ設定された値であり、Ｙｍａｘ＞ｍａｘＡｖ＞ｍｉｎＡｖ＞０を満たす。

式（９）および式（１０）を用いた逆光補正の動作を説明する。Ｙ_ａｖｅ（ｘ，ｙ）が十分大きい（Ｙ_ａｖｅ（ｘ，ｙ）>ｍａｘＡｖe）、つまり画素位置（ｘ，ｙ）が十分明るい領域に含まれる場合、Ｌ（ｘ，ｙ）=1.0となり、その結果Ｙ_ｏｕｔ（ｘ，ｙ）)= Ｙ_ｉｎ（ｘ，ｙ）となる。また、Ｙ_ａｖｅ（ｘ，ｙ）が小さくなる、つまり画素位置（ｘ，ｙ）の画素を含む領域が暗くなるにつれて、Ｌ（ｘ，ｙ）も小さくなる。Ｌ（ｘ，ｙ）も小さくなるにつれて、特に小さい値のＹ_ｉｎ（ｘ，ｙ）に対するＹ_ｏｕｔ（ｘ，ｙ）の値が大きくなり、強い階調補正がかかる。

なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各構成要素の機能などを具体的に説明したが、その機能などは本願発明を満足する範囲で各種に変更することができる。

この出願は、日本国特許庁に出願された特願２００８−３３４９１１号（出願日：２００８年１２月２６日）を基礎とする優先権を主張するものであり、その開示の全ては、本明細書の一部として援用（incorporation herein by reference）される。

Claims (17)

1. 入力された入力画像を受け付ける画像入力手段と、
   前記入力画像の輝度成分と出力された出力画像の輝度成分の比率を示す階調補正値を取得する階調補正値取得手段と、
   前記入力画像と同一または異なる解析用画像と、一つまたは複数の階調補正値に基づいて前記解析用画像の輝度成分を補正された補正画像と、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値を、当該階調補正値に対応付けて求める彩度解析手段と、
   前記階調補正値取得手段が取得した前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、に基づいて、前記画像入力手段にて受け付けられた前記入力画像を補正して得られた画像を前記出力画像として出力する画像出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記彩度解析手段は、前記画像入力手段が受け付けた前記入力画像と異なる画像を前記解析用画像として受け付ける請求項１に記載の画像処理装置であって、
   前記解析用画像の補正に用いた一つまたは複数の前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、を記憶する補正値記憶手段をさらに備えることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記階調補正値取得手段は、前記補正値記憶手段が記憶している前記階調補正値のうちいずれかを取得するとともに、
   前記画像出力手段は、前記階調補正値取得手段が取得した前記階調補正値に対応付けられた前記彩度補正値を前記補正値記憶手段から取得することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記補正値記憶手段が記憶している複数組の前記階調補正値と前記彩度補正値との相関関係を解析する相関関係解析手段と、
   前記相関関係を記憶する相関関係記憶手段と、をさらに備え、
   前記画像出力手段は、
   前記相関関係記憶手段から前記相関関係を取得し、前記階調補正値取得手段が取得した前記階調補正値に対して前記相関関係を適用して前記彩度補正値を求めることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記相関関係解析手段は、前記相関関係を表す相関式を累乗近似により算出することを特徴とする画像処理装置。
6. 請求項１乃至５いずれかに記載の画像処理装置において、
   前記彩度解析手段は、
   前記画像入力手段が受け付けた前記入力画像を前記解析用画像として受け付けることを特徴とする画像処理装置。
7. 請求項１乃至６いずれかに記載の画像処理装置において、
   前記画像出力手段は、
   前記入力画像の輝度成分に前記階調補正値を乗算して得られる値を、前記出力画像の輝度成分とするとともに、
   前記入力画像の色差成分に前記彩度補正値を乗算して得られる値を、前記出力画像の色差成分とすることを特徴とする画像処理装置。
8. 請求項１乃至６いずれかに記載の画像処理装置において、
   前記画像出力手段は、
   前記入力画像の輝度成分に前記階調補正値を加算して得られる値を、前記出力画像の輝度成分とするとともに、
   前記入力画像の色差成分に前記彩度補正値を加算して得られる値を、前記出力画像の色差成分とすることを特徴とする画像処理装置。
9. 入力された入力画像を受け付ける画像入力ステップと、
   前記入力画像の輝度成分と出力された出力画像の輝度成分の比率を示す階調補正値を取得する階調補正値取得ステップと、
   前記入力画像と同一または異なる解析用画像と、一つまたは複数の階調補正値に基づいて前記解析用画像の輝度成分を補正された補正画像と、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値を、当該階調補正値に対応付けて求める彩度解析ステップと、
   前記階調補正値取得ステップにて取得された前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、に基づいて、前記画像入力ステップにて受け付けられた前記入力画像を補正して得られた画像を前記出力画像として出力する画像出力ステップと、
   を備えることを特徴とする画像処理方法。
10. 前記彩度解析ステップは、前記画像入力ステップで受け付けた前記入力画像と異なる画像を前記解析用画像として受け付ける請求項９に記載の画像処理方法であって、
    前記解析用画像の補正に用いた一つまたは複数の前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、を記憶手段に記憶させる補正値記憶ステップをさらに備えることを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法において、
    前記階調補正値取得ステップは、前記記憶手段が記憶している前記階調補正値のうちいずれかを取得するとともに、
    前記画像出力ステップは、前記階調補正値取得ステップにて取得された前記階調補正値に対応付けられた前記彩度補正値を前記記憶手段から取得することを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    前記記憶手段が記憶している複数組の前記階調補正値と前記彩度補正値との相関関係を解析する相関関係解析ステップと、
    前記相関関係を前記記憶手段に記憶させる相関関係記憶ステップと、をさらに備え、
    前記画像出力ステップは、
    前記記憶手段から前記相関関係を取得し、前記階調補正値取得ステップにて取得された前記階調補正値に対して前記相関関係を適用して前記彩度補正値を求めることを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法において、
    前記相関関係解析ステップは、前記相関関係を表す相関式を累乗近似により算出することを特徴とする画像処理方法。
14. 請求項９乃至１３いずれかに記載の画像処理方法において、
    前記彩度解析ステップは、
    前記画像入力ステップで受け付けた前記入力画像を前記解析用画像として受け付けることを特徴とする画像処理方法。
15. 請求項９乃至１４いずれかに記載の画像処理方法において、
    前記画像出力ステップは、
    前記入力画像の輝度成分に前記階調補正値を乗算して得られる値を、前記出力画像の輝度成分とするとともに、
    前記入力画像の色差成分に前記彩度補正値を乗算して得られる値を、前記出力画像の色差成分とすることを特徴とする画像処理方法。
16. 請求項９乃至１４いずれかに記載の画像処理方法において、
    前記画像出力ステップは、
    前記入力画像の輝度成分に前記階調補正値を加算して得られる値を、前記出力画像の輝度成分とするとともに、
    前記入力画像の色差成分に前記彩度補正値を加算して得られる値を、前記出力画像の色差成分とすることを特徴とする画像処理方法。
17. コンピュータが読み出し可能な記憶媒体であって、
    入力された入力画像を受け付ける画像入力処理と、
    前記入力画像の輝度成分と出力された出力画像の輝度成分の比率を示す階調補正値を取得する階調補正値取得処理と、
    前記入力画像と同一または異なる解析用画像と、一つまたは複数の階調補正値に基づいて前記解析用画像の輝度成分を補正された補正画像と、の間における彩度の乖離度の総和がそれぞれ最小となる彩度補正値を、当該階調補正値に対応付けて求める彩度解析処理と、
    前記階調補正値取得処理にて取得された前記階調補正値と、当該階調補正値に対応付けられた前記彩度補正値と、に基づいて、前記画像入力処理にて受け付けられた前記入力画像を補正して得られた画像を前記出力画像として出力する画像出力処理と、
    を前記コンピュータに実行させるプログラムを記憶していることを特徴とする記憶媒体。

Images