JP7307371B2

JP7307371B2 - 画像調整装置、画像調整方法及びプログラム

Info

Publication number: JP7307371B2
Application number: JP2021552000A
Authority: JP
Inventors: 小萌武; 隆仁川西; 邦夫柏野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2023-07-12
Anticipated expiration: 2039-10-15
Also published as: JPWO2021074946A1; US20220383614A1; WO2021074946A1

Description

本発明は、画像調整装置、画像調整方法及びプログラムに関する。

画像内の隠れた詳細を明らかにする有効な方法としてコントラストを強調する方法がある。市場には様々な画像編集ソフトウェアが提供されているものの、画像の調整についての専門知識と多くの手作業とが必要とされており、様々な入力画像に対応する自動画像強調の実現が求められている。

自動画像強調の方法としては、モデルベースと学習ベースの二つの方法に大別される。モデルベースの方法は、ラベル付きの訓練データに依存しない等の理由で、学習ベースの方法と比較して注目を集めている。

画像強調処理では、直感的な実装品質と高い効率によりヒストグラム平坦化が最も注目を集めているが、コントラスト強調に関して識別力が低いという問題もある。

これは、テクスチャのない背景など、画像内で視覚的に重要ではない領域（意味のない領域）であっても画素が多い領域であれば、コントラスト成分が過度に強調されてしまうために起きる。

このような問題に対処するため、輝度のヒストグラムの平坦化における処理に、画像の空間情報を組み込む方法がある。例えば、非特許文献１では、輝度勾配を局所的な輝度のコントラスト値として計算しコントラスト値で重み付けたヒストグラムを再構成してから平坦化することで、入力画像において背景ノイズが過度に強調されることを回避している。しかしながら、照明成分が不均一な画像では画像の空間情報が小さな値を示すので、非特許文献１に開示された方法では、過度に暗い領域又は過度に明るい領域を含む照明成分が不均一な画像のコントラストの強調には有効でないという問題がある。

また、非特許文献２にあるように、自然画像は照明成分画像と反射率成分画像の組み合わせとみなし、大域的なコントラストを構成する照明成分を推定して除去することで強調画像を得る方法も提案されている。しかしながら、大域的なコントラストを完全に排除するため、明るさが過度に強調されるという問題がある。

また、非特許文献３では、ブライトパスフィルタを介して推定した照明成分をヒストグラム平坦化で強調し、反射率成分と再結合する方法が提案されている。しかしながら、ヒストグラムの平坦化によって、画像内で視覚的に重要である領域（意味のある領域）であっても画素が少ない領域におけるコントラストが過度に抑制されてしまうという問題がある。

Xiaomeng Wu, Xinhao Liu, Kaoru Hiramatsu, and Kunio Kashino, "CONTRAST-ACCUMULATED HISTOGRAM EQUALIZATION FOR IMAGE ENHANCEMENT," 2017 IEEE International Conference on Image Processing (ICIP). Xiaojie Guo, Yu Li, and Haibin Ling," LIME: Low-Light Image Enhancement via Illumination Map Estimation, " IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.26, NO.2, FEBRUARY 2017. Shuhang Wang and Gang Luo, " Naturalness Preserved Image Enhancement Using a Priori Multi-Layer Lightness Statistics, " IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.27, NO.2, FEBRUARY 2018.

これらのように、ヒストグラムの平坦化では、画像内で視覚的に重要でない領域であっても画素が多い領域であれば、コントラストが過度に強調されてしまう場合がある。また、その改善方法である非特許文献１の方法では過度に暗い領域又は過度に明るい領域を含む画像の空間情報の値が過小評価される場合があり、非特許文献２の方法では大域的なコントラスト成分が排除されるため明るさが過度に強調されてしまう場合があり、非特許文献３の方法では画素数が少ない領域においてコントラストが抑制される場合がある。

上記事情に鑑み、本発明は、画像におけるコントラスト及び明るさを過度に強調することなく、画像内で視覚的に重要である領域のコントラストを自動的かつ適応的に強調することが可能である画像調整装置、画像調整方法及びプログラムを提供することを目的としている。

本発明の一態様は、濃淡画像の照明成分を導出する照明成分導出部と、前記照明成分が前記濃淡画像から除去された結果の画像である反射率成分画像を導出する反射率成分導出部と、前記反射率成分画像の画素と前記画素の周辺領域との間のコントラスト値に基づいてコントラスト成分を導出するコントラスト成分導出部と、前記コントラスト成分の各画素のコントラスト値に応じて重み付けされた前記濃淡画像の輝度ヒストグラムを導出するヒストグラム導出部と、輝度を変換する輝度変換関数で前記濃淡画像を変換した結果の画像である変換濃淡画像の輝度ヒストグラムと所定のヒストグラムとが一致又は類似するように前記輝度変換関数を導出する変換関数導出部と、前記変換濃淡画像を生成する輝度変換部とを備える画像調整装置である。

本発明により、画像におけるコントラスト及び明るさを過度に強調することなく、画像内で視覚的に重要である領域のコントラストを自動的かつ適応的に強調することが可能である。

実施形態における、画像調整装置の構成例を示す図である。実施形態における、画像調整装置のハードウェア構成例を示す図である。実施形態における、コントラスト成分に応じて重み付けされた濃淡画像の輝度ヒストグラムの例を示す図である。実施形態における、輝度変換関数の例を示す図である。実施形態における、画像調整装置の動作例を示すフローチャートである。実施形態における、各画像の例を示す図である。実施形態における、強調入力画像と他の方式による画像との第１例を示す図である。実施形態における、強調入力画像と他の方式による画像との第２例を示す図である。実施形態における、強調入力画像と他の方式による画像との第３例を示す図である。。実施形態における、強調入力画像と他の方式による画像との第４例を示す図である。実施形態における、強調入力画像と他の方式による画像との第５例を示す図である。実施形態における、強調入力画像と他の方式による画像との第６例を示す図である。実施形態における、強調入力画像と他の方式による画像との第７例を示す図である。実施形態における、強調入力画像と他の方式による画像との第８例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像調整装置１の構成例を示す図である。画像調整装置１は、画像を調整する装置である。例えば、画像調整装置１は、画像のコントラストを強調する。画像調整装置１は、画像の明るさを調整してもよい。例えば、画像調整装置１は、画像内で視覚的に重要である領域のコントラスト及び明るさを調整し、画像内で視覚的に重要でない領域におけるコントラスト及び明るさをあまり調整しないようにする。

画像調整装置１は、入力部１０と、濃淡画像導出部１１と、照明成分導出部１２と、反射率成分導出部１３と、コントラスト成分導出部１４と、ヒストグラム導出部１５と、変換関数導出部１６と、輝度変換部１７と、反射率成分追加部１８と、画像再構成部１９と、出力部２０とを備える。なお、画像調整装置１は、反射率成分追加部１８を備えなくてもよい。

図２は、画像調整装置１のハードウェア構成例を示す図である。画像調整装置１は、プロセッサ２と、メモリ３と、記憶装置４とを備える。

画像調整装置１の各機能部の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ２が、不揮発性の記録媒体（非一時的な記録媒体）である記憶装置４からメモリ３に展開されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。プログラムは、電気通信回線を経由して受信されてもよい。

画像調整装置１の各機能部の一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

図１に戻り、画像調整装置１の概要を説明する。
入力部１０は、カラー画像又は濃淡画像を、入力画像「Ｃ_ｉｎ」として取得する。濃淡画像は、入力画像の各画素の明度又は輝度を表す画像である。入力部１０は、入力画像を濃淡画像導出部１１及び画像再構成部１９に出力する。以下では、行列の演算は、要素ごとに実行される。

濃淡画像導出部１１は、入力画像がカラー画像である場合、濃淡画像をカラー画像から導出する。濃淡画像導出部１１は、濃淡画像を導出する代わりに、濃淡画像を入力部１０から取得してもよい。濃淡画像導出部１１は、照明成分導出部１２と、反射率成分導出部１３と、ヒストグラム導出部１５と、輝度変換部１７と、画像再構成部１９とに、濃淡画像を出力する。

照明成分導出部１２は、濃淡画像を平滑化する。照明成分導出部１２は、濃淡画像が平滑化された結果の画像を、照明成分画像として生成する。照明成分画像は、濃淡画像の照明成分を表す画像である。照明成分導出部１２は、照明成分画像を反射率成分導出部１３に出力する。

反射率成分導出部１３は、照明成分画像を照明成分導出部１２から取得する。反射率成分導出部１３は、濃淡画像を濃淡画像導出部１１から取得する。反射率成分導出部１３は、照明成分画像の照明成分が濃淡画像から除去された結果の画像を、反射率成分画像として生成する。反射率成分導出部１３は、反射率成分画像を、コントラスト成分導出部１４と反射率成分追加部１８とに出力する。

コントラスト成分導出部１４は、反射率成分画像内の反射率成分の局所的な勾配の値を、重み係数として、反射率成分画像の画素ごとに導出する。すなわち、コントラスト成分導出部１４は、反射率成分画像における画素とその画素の周辺との間のコントラスト値を、重み係数として、反射率成分画像の画素ごとに導出する。

コントラスト成分導出部１４は、反射率成分画像における画素とその画素の周辺との間のコントラスト値を画素値とする画像（以下「コントラスト成分」という。）を生成する。コントラスト成分導出部１４は、コントラスト成分を、ヒストグラム導出部１５に出力する。

ヒストグラム導出部１５は、コントラスト成分を、コントラスト成分導出部１４から取得する。ヒストグラム導出部１５は、濃淡画像を濃淡画像導出部１１から取得する。ヒストグラム導出部１５は、コントラスト成分の各画素のコントラスト値に応じて重み付けされた濃淡画像の輝度ヒストグラムを導出する。ヒストグラム導出部１５は、輝度ヒストグラムを変換関数導出部１６に出力する。

変換関数導出部１６は、輝度ヒストグラムをヒストグラム導出部１５から取得する。変換関数導出部１６は、所定のヒストグラムをメモリ３から取得する。所定のヒストグラムは、強調の仕様に応じて予め定められたヒストグラムであり、例えば、一様に分布している輝度のヒストグラムである。所定のヒストグラムの分布は、任意の確率分布でもよい。例えば、所定のヒストグラムの分布は、対数関数又は線形関数の形で与えられる確率分布でもよい。

変換関数導出部１６は、輝度が変換された濃淡画像（以下「変換濃淡画像」という。）の輝度ヒストグラムと所定のヒストグラムとが一致又は類似するように、輝度変換関数を導出する。これによって、所定のヒストグラムと、輝度変換部１７から出力される変換濃淡画像の輝度のヒストグラムとは、一致又は類似するようになる。変換関数導出部１６は、輝度変換関数を輝度変換部１７に出力する。

輝度変換部１７は、輝度変換関数を変換関数導出部１６から取得する。輝度変換部１７は、濃淡画像を濃淡画像導出部１１から取得する。輝度変換部１７は、濃淡画像の各画素の輝度に対して輝度変換関数を適用することによって、濃淡画像の輝度を変換する。すなわち、輝度変換部１７は、濃淡画像の各画素の輝度に対して輝度変換関数を適用した結果を、変換濃淡画像として生成する。輝度変換部１７は、変換濃淡画像を反射率成分追加部１８に出力する。

反射率成分追加部１８は、変換濃淡画像を輝度変換部１７から取得する。反射率成分追加部１８は、反射率成分画像を反射率成分導出部１３から取得する。反射率成分追加部１８は、反射率成分画像の反射率成分を変換濃淡画像に追加することによって、コントラストが更に強調された濃淡画像（以下「強調濃淡画像」という。）を生成する。反射率成分追加部１８は、変換濃淡画像と反射率成分画像とを合成することによって、強調濃淡画像を生成する。反射率成分追加部１８は、強調濃淡画像を画像再構成部１９に出力する。

画像再構成部１９は、強調濃淡画像を反射率成分追加部１８から取得する。画像再構成部１９は、入力画像を入力部１０から取得する。画像再構成部１９は、濃淡画像を濃淡画像導出部１１から取得する。画像再構成部１９は、強調濃淡画像と、入力画像におけるカラー情報と、濃淡画像とから、コントラストが強調された入力画像（以下「強調入力画像」という。）を再構成する。画像再構成部１９は、強調入力画像を出力部２０に出力する。出力部２０は、強調入力画像を所定の外部装置（不図示）に出力する。

次に、画像調整装置１の詳細を説明する。
濃淡画像導出部１１は、入力画像としてカラー画像を入力部１０から取得した場合、入力画像の濃淡画像を、入力画像から導出する。濃淡画像導出部１１は、入力画像として濃淡画像を入力部１０から取得した場合、入力された濃淡画像をそのまま、照明成分導出部１２と、反射率成分導出部１３と、ヒストグラム導出部１５と、輝度変換部１７と、画像再構成部１９とに出力する。

以下は、濃淡画像導出部１１が、入力画像としてカラー画像を入力部１０から取得した場合である。濃淡画像導出部１１は、入力画像のＲＧＢ（Red, Green, Blue）成分の各成分のうちの最大値を画素ごとに表す画像として、濃淡画像を導出する。ＲＧＢ成分の最大値は、ＨＳＶ色空間（色相(Hue)、彩度(Saturation)、明度(Value Brightness)の色空間）の入力画像の明度成分（Ｖ成分）と同じである。濃淡画像導出部１１は、入力画像のＲＧＢ成分を画素ごとに表す画像として、濃淡画像を導出してもよい。

濃淡画像導出部１１は、ＨＳＩ（色相（Hue）、彩度（Saturation）、ＲＧＢ成分の平均値を表す輝度（Intensity））色空間のＩ成分（輝度成分）を画素ごとに表す画像として、濃淡画像を導出してもよい。濃淡画像導出部１１は、ＨＳＬ（色相(Hue)、彩度(Saturation)、ＲＧＢ成分の最大値及び最小値の平均値を表す輝度（Lightness)）色空間のＬ成分（輝度成分）を画素ごとに表す画像として、濃淡画像を導出してもよい。濃淡画像導出部１１は、ＸＹＺ色空間又はＹＵＶ（輝度、輝度と青色成分との差、輝度と赤色成分との差）色空間のＹ成分（輝度成分）を画素ごとに表す画像として、濃淡画像を導出してもよい。濃淡画像導出部１１は、ＬＵＶ色空間又はＬａｂ色空間のＬ成分（輝度成分）を画素ごとに表す画像として、濃淡画像を導出してもよい。

照明成分導出部１２は、濃淡画像を平滑化することによって、濃淡画像が平滑化された結果の画像を、照明成分画像として生成する。照明成分導出部１２が濃淡画像を平滑化する方法は、特定の平滑化の方法に限定されない。

例えば、照明成分導出部１２は、メディアンフィルタ、バイラテラルフィルタ、ガイド付きフィルタ又は異方性拡散フィルタによって濃淡画像が平滑化された結果の画像を、照明成分画像として生成してもよい。以下では、照明成分導出部１２は、一例として、エッジ保存平滑化によって濃淡画像が平滑化された結果の画像を、照明成分画像として生成する。エッジ保存平滑化では、画素の周辺の局所領域における、輝度の一次導関数の絶対値の平均と輝度の一次導関数の平均の絶対値との比率が、テクスチャの強度を表すスコアとして各画素について測定される。濃淡画像が照明成分導出部１２に入力された場合、出力画像（濃淡画像が平滑化された結果の画像）は、出力画像のテクスチャの強度の合計が最小になるように最適化される。エッジ保存平滑化によって濃淡画像が平滑化された結果の画像では、濃淡画像の反射率成分にハロー効果が発生しにくい。

反射率成分導出部１３は、照明成分を濃淡画像から除去した結果を、反射率成分画像として導出する。反射率成分は、式（１）のように表される。

ここで、「Ａ_ｉｎ」は、濃淡画像を表す。「Ｉ」は、濃淡画像の照明成分を表す。「Ｒ」は、濃淡画像の反射率成分を表す。Ｒｅｔｉｎｅｘ理論によれば、自然画像は、照明成分画像及び反射率成分画像の組み合わせである。照明成分は、自然画像の濃淡画像内の大域的なコントラストを表す。反射率成分は、自然画像の濃淡画像内の領域における詳細を表す。

式（１）では、対数関数が用いられることによって、反射率成分が導出されている。対数関数が用いられることによって、画像内で暗い領域の反射率成分の差は大きくなる。対数関数が用いられることによって、画像内の明るい領域における反射率成分の差が小さくなる。自然画像では、光源や空などの明るい領域は通常、視覚的に重要度が低くなる。一方、バックライト、低キー照明、露出不足などの劣悪な照明条件下で画像が撮影された場合、暗い領域に隠された重要な画像の詳細を強調することはより困難である。このため、式（１）のように対数関数が用いられることは、反射率成分の導出に対して有効である。なお、式（１）では、常用対数が用いられているが、１よりも大きい任意の実数を底とする対数が用いられてもよい。

照明成分が濃淡画像から除去される方法であれば、反射率成分画像の導出方法は、特定の導出方法に限定されない。例えば、反射率成分導出部１３は、濃淡画像の各画素値を照明成分の各画素値で除算した結果を、反射率成分画像として導出してもよい。また例えば、反射率成分導出部１３は、照明成分を濃淡画像から減算した結果を、反射率成分画像として導出してもよい。

コントラスト成分導出部１４は、画素「ｑ」とその画素の周辺との間の反射率成分のコントラスト値「φ」を、式（２）のように、反射率成分画像の画素ごとに導出する。

ここで、「Ｎ（ｑ）」は、反射率成分画像における画素「ｑ」に隣接する各画素の座標の集合を表す。例えば、「Ｎ（ｑ）」は、フォン・ノイマン近傍、拡張フォン・ノイマン近傍、又は、ムーア近傍である。以下では、反射率成分画像における画素「ｑ」の画素値「｛ｒ（ｑ）｝」は、「Ｒ」と表記される。

反射率成分画像において、視覚的に重要である各対象物の画像の大きさが互いに異なっている場合がある。このため、視覚的に重要である全ての対象物の画像がコントラスト値を用いて表されるように、コントラスト成分導出部１４は、多重解像度の方法を使用して、互いに異なる解像度でコントラスト値を導出する。例えば、コントラスト成分導出部１４は、複数の反射率成分「Ｒ_１，Ｒ_２，…，Ｒ_Ｌ」を、互いに異なる解像度で生成する。「Ｌ」は、生成される反射率成分の個数である。以下では、「Ｌ」は一例として４である。反射率成分「Ｒ_１（＝Ｒ）」の解像度は、複数の反射率成分の解像度のうちで最大である。反射率成分「Ｒ_Ｌ」の解像度は、複数の反射率成分の解像度のうちで最小である。

コントラスト成分導出部１４は、双三次内挿法を用いて反射率成分「Ｒ_１（＝Ｒ）」を半分にダウンサンプリングすることによって、反射率成分「Ｒ_２」を導出する。コントラスト成分導出部１４は、反射率成分「Ｒ_Ｌ」が得られるまで「Ｌ－１」回、ダウンサンプリング（解像度の変更）を繰り返す。

コントラスト成分導出部１４は、ダウンサンプリングされた各反射率成分に基づいて、式（２）のようにコントラスト値「φ（ｑ）」を導出する。コントラスト成分導出部１４は、ダウンサンプリングされた全ての反射率成分のコントラスト値「φ（ｑ）」を、反射率成分「Ｒ」と同じ解像度にアップサンプリングした後、幾何平均を用いて画素「ｑ」ごとに合成する。コントラスト成分導出部１４は、画素「ｑ」について合成されたコントラスト成分「Φ（ｑ）」（画像）を、ヒストグラム導出部１５に出力する。

コントラスト値の導出方法は、反射率成分画像の各画素について、画素とその画素の周辺との間のコントラスト値が導出される方法であれば、特定の導出方法に限定されない。

例えば、コントラスト成分導出部１４は、多重解像度の方法を用いる代わりに、式（２）に基づいて反射率成分「Ｒ」のみに基づいて導出されたコントラスト値を画素値とするコントラスト成分を、ヒストグラム導出部１５に出力してもよい。

例えば、コントラスト成分導出部１４は、多重解像度の方法を用いる代わりに、ソーベルフィルタ等のエッジ検出フィルタを反射率成分画像に適用した結果を、コントラスト値を画素値とするコントラスト成分としてヒストグラム導出部１５に出力してもよい。

ヒストグラム導出部１５は、反射率成分画像のコントラスト値に応じて重み付けされた濃淡画像の輝度のヒストグラムを導出する。濃淡画像「Ａ_ｉｎ＝｛ａ（ｑ）｝」の輝度のヒストグラムは、式（３）のように表される。すなわち、濃淡画像「Ａ_ｉｎ」における画素の輝度値「ｋ∈［０，Ｋ）」の発生確率「ｐ_ａ（ｋ）」は、式（３）のように表される。ここで、「ａ（ｑ）∈［０，Ｋ）」は、各画素「ｑ」の輝度を表す。「Ｋ」は、濃淡画像における輝度値の総数である。以下では、「Ｋ」は、一例として２５６である。

ここで、「Φ（ｑ）」は、画素「ｑ」について合成されたコントラスト成分を表す。「δ（・，・）」は、クロネッカーのデルタである。

式（３）は、濃淡画像の各画素がヒストグラムの導出に適応的に寄与することを示している。発生確率「ｐ_ａ（ｋ）」は、濃淡画像の画素の輝度値「ｋ」に対応するコントラスト成分の期待値を表す。

図３は、コントラスト成分に応じて重み付けされた濃淡画像の輝度ヒストグラムの例を示す図である。図３において「ＨＥ（ヒストグラム平坦化）」と示された線は、濃淡画像の画素値（輝度）の出現頻度を輝度ごとに表すヒストグラムを表す。図３において「ＣＡＣＨＥ」（Contrast-ACcumulated Histogram Equalization）と示された線は、非特許文献１に示された輝度勾配に応じて重み付けされた濃淡画像の輝度のヒストグラムを表す。図３において「提案方法」と示された線は、反射率成分画像のコントラスト値に応じて重み付けされた濃淡画像の輝度のヒストグラムを表す。

変換関数導出部１６は、変換濃淡画像の輝度ヒストグラムが所定のヒストグラムと一致又は類似するように、輝度変換関数を導出する。輝度変換関数「Ｔ（ｋ）」の形式は、「ｂ（ｑ）＝Ｔ（ａ（ｑ））」である。変換関数導出部１６は、変換濃淡画像「Ｂ＝｛ｂ（ｑ）｝」を輝度変換部１７が生成するための輝度変換関数「Ｔ（ｋ）」を、式（４）のように導出する。

ここで、「Ｐ_ａ（ｋ）」は、濃淡画像「Ａ_ｉｎ」の輝度（発生確率）「ｐ_ａ（ｋ）」のヒストグラムに対応する累積分布関数を表す。「Ｐ_ｂ（ｋ）」は、変換濃淡画像「Ｂ」の輝度（発生確率）「ｐ_ｂ（ｋ）」のヒストグラムに対応する累積分布関数を表す。

以下では、所定のヒストグラムは、一例として、一様に分布する輝度のヒストグラムである。変換関数導出部１６は、一様に分布する輝度のヒストグラムと変換濃淡画像の輝度ヒストグラムとが一致又は類似するように、輝度変換関数を導出する。すなわち、変換関数導出部１６は、一様に分布する輝度のヒストグラムと変換濃淡画像「Ｂ」の輝度（発生確率）「ｐ_ｂ（ｋ）」のヒストグラムとが一致又は類似するように、輝度変換関数を導出する。変換関数導出部１６が輝度変換関数を導出する処理は、輝度のヒストグラムの平坦化に相当する処理である。式（４）は、式（５）のように表される。

図４は、図３に示された輝度のヒストグラムを平坦化する輝度変換関数による輝度変換関数の例を示す図である。横軸は、平坦化されていないヒストグラムの輝度（入力輝度）を示す。縦軸は、平坦化されたヒストグラムの輝度（出力輝度）を示す。入力輝度に対する出力輝度の増分は、濃淡画像の画素の輝度値「ｋ」に対応するコントラスト成分の期待値「ｐ_ａ（ｋ）」に比例する。

輝度変換部１７は、輝度変換関数「Ｔ（ｋ）」と「ｂ（ｑ）＝Ｔ（ａ（ｑ））」とに基づいて、変換濃淡画像「Ｂ＝｛ｂ（ｑ）｝」の各画素の輝度を導出する。輝度変換部１７は、濃淡画像の各画素の輝度に輝度変換関数を適用した結果を、変換濃淡画像「Ｂ＝｛ｂ（ｑ）｝」として反射率成分追加部１８に出力する。

反射率成分追加部１８は、変換濃淡画像「Ｂ＝｛ｂ（ｑ）｝」に反射率成分を追加することによって、強調濃淡画像「Ａ_ｏｕｔ」を生成する。濃淡画像「Ａ_ｉｎ」から継承された局所的なコントラストは、変換濃淡画像「Ｂ」に既に含まれている。このため、濃淡画像の細部は、反射率成分が維持又は減衰された場合でも、変換濃淡画像に反射率成分が追加されることによって強調される。

反射率成分追加部１８から出力された強調濃淡画像は、「Ａ_ｏｕｔ＝Ｂ＋ｅＲ」と表される。ここで、「ｅ」は、ハイパーパラメータである。ハイパーパラメータ「ｅ」は、任意の実数であり、例えば［０，１］の範囲から選ばれた実数である。以下では、一例として「ｅ」は０．５である。

画像再構成部１９は、入力画像と濃淡画像と強調濃淡画像「Ａ_ｏｕｔ」とを用いて、強調入力画像（コントラストが強調されたカラー画像）を再構成する。したがって、強調入力画像「Ｃ_ｏｕｔ」は、入力画像及び濃淡画像に基づいて強調濃淡画像「Ａ_ｏｕｔ」から変換されたカラー画像（強調カラー画像）である。強調入力画像「Ｃ_ｏｕｔ」は、式（６）のように表される。

ここで、「α」は、ハイパーパラメータである。ハイパーパラメータ「α」は、１又は１に近い実数である。以下では、一例として「α」は１である。

ＨＳＶ色空間のＶ成分を用いて濃淡画像導出部１１が濃淡画像を導出する代わりに、ＨＳＩ色空間のI成分又はＨＳＬ色空間のＬ成分を用いて濃淡画像導出部１１が濃淡画像を導出した場合でも、画像再構成部１９は、式（６）を用いて、強調入力画像を生成する。

ＸＹＺ色空間又はＹＵＶ色空間のＹ成分を用いて濃淡画像導出部１１が濃淡画像を導出した場合には、画像再構成部１９は、濃淡画像を濃淡画像導出部１１から取得してもよい。画像再構成部１９は、強調入力画像におけるＹ成分を、強調濃淡画像に置き換えてもよい。

ＬＵＶ色空間又はＬＡＢ色空間のＬ成分を用いて濃淡画像導出部１１が濃淡画像を導出した場合には、画像再構成部１９は、濃淡画像を濃淡画像導出部１１から取得してもよい。画像再構成部１９は、強調入力画像におけるＬ成分を、強調濃淡画像に置き換えてもよい。

入力画像のＲＧＢ成分の各成分を用いて濃淡画像導出部１１が３枚の濃淡画像を導出した場合には、画像再構成部１９は、３枚の強調濃淡画像を合成することによって、強調入力画像を生成してもよい。

次に、画像調整装置１の動作例を説明する。
図５は、画像調整装置１の動作例を示すフローチャートである。濃淡画像導出部１１は、入力画像を入力部１０から取得する（ステップＳ１０１）。濃淡画像導出部１１は、入力画像の濃淡画像を生成する（ステップＳ１０２）。照明成分導出部１２は、濃淡画像に基づいて照明成分画像を生成する（ステップＳ１０３）。反射率成分導出部１３は、濃淡画像及び照明成分画像に基づいて、反射率成分画像を生成する（ステップＳ１０４）。

コントラスト成分導出部１４は、反射率成分画像に基づいて、コントラスト成分を生成する（ステップＳ１０５）。ヒストグラム導出部１５は、濃淡画像及びコントラスト成分に基づいて、輝度ヒストグラムを導出する（ステップＳ１０６）。変換関数導出部１６は、変換濃淡画像の輝度ヒストグラムと所定のヒストグラムとが一致又は類似するように、輝度変換関数を導出する（ステップＳ１０７）。

輝度変換部１７は、濃淡画像及び輝度変換関数に基づいて、変換濃淡画像を生成する（ステップＳ１０８）。反射率成分追加部１８は、変換濃淡画像及び反射率成分画像に基づいて、強調濃淡画像を生成する（ステップＳ１０９）。画像再構成部１９は、強調濃淡画像と入力画像と濃淡画像とに基づいて、強調入力画像を生成する（ステップＳ１１０）。出力部２０は、強調入力画像を所定の外部装置に出力する（ステップＳ１１１）。

以上のように、実施形態の画像調整装置１は、照明成分導出部１２と、反射率成分導出部１３と、コントラスト成分導出部１４と、ヒストグラム導出部１５と、変換関数導出部１６と、輝度変換部１７とを備える。照明成分導出部１２は、濃淡画像の照明成分を導出する。反射率成分導出部１３は、照明成分が濃淡画像から除去された結果の画像である反射率成分画像を導出する。コントラスト成分導出部１４は、反射率成分画像の画素と画素の周辺領域との間のコントラスト値に基づいてコントラスト成分を導出する。ヒストグラム導出部１５は、コントラスト成分の各画素のコントラスト値に応じて重み付けされた濃淡画像の輝度ヒストグラムを導出する。変換関数導出部１６は、変換濃淡画像の輝度ヒストグラムと、所定のヒストグラムとが一致又は類似するように、輝度変換関数を導出する。輝度変換部１７は、輝度変換関数を用いて変換濃淡画像を生成する。実施形態の画像調整装置１は、反射率成分追加部１８と、画像再構成部１９とを備えてもよい。反射率成分追加部１８は、変換濃淡画像と反射率成分画像とが合成された結果の画像である強調濃淡画像を生成してもよい。画像再構成部１９は、カラー画像（入力画像）及び濃淡画像に基づいて、カラー情報を含む画像に強調入力画像を変換する。

このように、画像調整装置１は、局所的な輝度勾配を導出する前に照明成分を入力画像（濃淡画像）から除去することで、局所的な暗い領域のコントラスト値を精度よく導出する。これによって、画像におけるコントラスト及び明るさを過度に強調することなく、画像内で視覚的に重要である領域のコントラストを入力画像（濃淡画像）に応じて強調することが可能である。

すなわち、画像調整装置１は、入力画像における局所的なコントラスト値を導出する前に、照明成分を入力画像から除去する。照明成分を入力画像から除去された結果、入力画像の反射率成分が残る。この反射率成分は、照明成分を含まないので、入力画像に撮影された照明の影響を全く受けていない。これによって、画像調整装置１は、入力画像（濃淡画像）の暗い領域における局所的なコントラスト値を正確に導出することができる。

図６は、各画像の例を示す図である。図６には、入力画像１００と、照明成分画像１０１と、反射率成分画像１０２と、コントラスト成分１０３と、変換濃淡画像１０４と、強調濃淡画像１０５と、ヒストグラム平坦化画像１１０と、ＣＡＣＨＥ画像１２０と、ＣＡＣＨＥコントラスト成分１２１とが表されている。

入力画像１００は、入力画像の例である。入力画像１００は、１以上の対象物（被写体）の画像を含む。入力画像１００における対象物の画像とは、例えば、花の画像と、瓶の画像と、絵画の画像とである。

照明成分画像１０１は、濃淡画像導出部１１によって導出された照明成分画像の例である。反射率成分画像１０２は、照明成分導出部１２によって導出された反射率成分画像の例である。コントラスト成分１０３は、コントラスト成分導出部１４によって導出された画像の例である。コントラスト成分１０３は、局所的な暗い領域のコントラスト（空間情報）を、ＣＡＣＨＥコントラスト成分１２１よりも詳細に表している。画像内で視覚的に重要である領域の画像（対象物の画像）には、画像内で視覚的に重要でない領域の画像（対象物以外の画像）と比較して多くの反射率成分のコントラスト値が含まれている。

変換濃淡画像１０４は、輝度変換部１７によって導出された画像の例である。変換濃淡画像１０４では、背景の明るさが、ヒストグラム平坦化画像１１０及びＣＡＣＨＥ画像１２０よりも改善されている。強調濃淡画像１０５は、反射率成分追加部１８によって導出された画像の例である。

ヒストグラム平坦化画像１１０は、入力画像１００の輝度のヒストグラムが平坦化された結果を表す画像である。

ＣＡＣＨＥ画像１２０は、濃淡画像における局所的な輝度のコントラスト（輝度勾配）に基づいて生成された画像である（非特許文献１参照）。ＣＡＣＨＥコントラスト成分１２１は、ＣＡＣＨＥ画像１２０の輝度のコントラスト（輝度勾配）を表す画像である。入力画像１００において画像の細部が豊富であるにもかかわらず、ＣＡＣＨＥコントラスト成分１２１は、暗い領域において低い輝度勾配を示している。このような輝度勾配に基づいて画像のコントラストが強調された結果、ＣＡＣＨＥ画像１２０では、暗い領域の明るさと、花束などの細部の視認性とが全く向上していない。これは、空間情報として使用される局所的なコントラスト値の大きさを、照明の不均一性（暗い領域における明るさの欠如）が著しく減少させたためである。

次に、強調入力画像と、ヒストグラム平坦化画像と、非特許文献１の方法による画像（ＣＡＣＨＥ画像）と、非特許文献２の方法による画像（ＬＩＭＥ（Low-Light Image Enhancement）画像）と、非特許文献３の方法による画像（ＮＰＩＥ（Naturalness Preserved Image Enhancement）画像）との各画像の例を示す。

図７から図１４までの各図は、入力画像と、強調入力画像と、ヒストグラム平坦化画像と、非特許文献１～３の各方式による画像との例を示す図である。図７から図１４までの各図には、入力画像１００、２００、３００、４００、５００，６００、７００及び８００が、入力画像の例として示されている。

ヒストグラム平坦化画像１１０、２１０、３１０、４１０、５１０、６１０、７１０及び８１０では、前景である対象物の視認性が低下し、多くの画素を有する背景領域のコントラストが高くなっている。各ヒストグラム平坦化画像では、画像内で視覚的に重要である領域に対する識別力が低い。

ＣＡＣＨＥ画像１２０、２２０、３２０、４２０、５２０、６２０、７２０及び８２０では、コントラストが自然に強調されているが、暗い領域の明るさと、局所的なコントラストを高める性能とが限られている。

ＬＩＭＥ画像では、反射率成分がコントラスト強調の理想的な出力であると仮定され、照明成分が入力画像から完全に除去される。照明成分が入力画像から完全に除去された結果、各ＬＩＭＥ画像１３０、２３０、３３０、４３０、５３０、６３０、７３０及び８３０では、明るさが過度に強調されている。この過度な強調は、各ＬＩＭＥ画像における局所的な領域のコントラストを損失させている。

ＮＰＩＥ画像１４０、２４０、３４０、４４０、５４０、６４０、７４０及び８４０では、ブライトパスフィルタを介して照明成分を推定されている。ヒストグラム平坦化を用いて照明成分が強調され、強調された照明成分と反射率成分とが再結合されている。また、ブライトパスフィルタの性質に起因して、各ヒストグラム平坦化画像では、明るさが不十分である。

強調入力画像１５０、２５０、３５０、４５０、５５０、６５０、７５０及び８５０では、バランスよく自然に、コントラストが向上している。各強調入力画像では、入力画像における局所的なコントラストが容易に観察できない暗い領域での輝度が向上している。また、各強調入力画像では、明るさが過度に強調されることが、入力画像における照明成分に応じて抑制されている。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像処理装置に適用可能である。

１…画像調整装置、２…プロセッサ、３…メモリ、４…記憶装置、１０…入力部、１１…濃淡画像導出部、１２…照明成分導出部、１３…反射率成分導出部、１４…コントラスト成分導出部、１５…ヒストグラム導出部、１６…変換関数導出部、１７…輝度変換部、１８…反射率成分追加部、１９…画像再構成部、２０…出力部、１００…入力画像、１０１…照明成分画像、１０２…反射率成分画像、１０３…コントラスト成分、１０４…変換濃淡画像、１０５…強調濃淡画像、１１０…ヒストグラム平坦化画像、１２０…ＣＡＣＨＥ画像、１２１…ＣＡＣＨＥコントラスト成分、１５０…強調入力画像、２００…入力画像、２１０…ヒストグラム平坦化画像、２２０…ＣＡＣＨＥ画像、２３０…ＬＩＭＥ画像、２４０…ＮＰＩＥ画像、２５０…強調入力画像、３００…入力画像、３１０…ヒストグラム平坦化画像、３２０…ＣＡＣＨＥ画像、３３０…ＬＩＭＥ画像、３４０…ＮＰＩＥ画像、３５０…強調入力画像、４００…入力画像、４１０…ヒストグラム平坦化画像、４２０…ＣＡＣＨＥ画像、４３０…ＬＩＭＥ画像、４４０…ＮＰＩＥ画像、４５０…強調入力画像、５００…入力画像、５１０…ヒストグラム平坦化画像、５２０…ＣＡＣＨＥ画像、５３０…ＬＩＭＥ画像、５４０…ＮＰＩＥ画像、５５０…強調入力画像、６００…入力画像、６１０…ヒストグラム平坦化画像、６２０…ＣＡＣＨＥ画像、６３０…ＬＩＭＥ画像、６４０…ＮＰＩＥ画像、６５０…強調入力画像、７００…入力画像、７１０…ヒストグラム平坦化画像、７２０…ＣＡＣＨＥ画像、７３０…ＬＩＭＥ画像、７４０…ＮＰＩＥ画像、７５０…強調入力画像、８００…入力画像、８１０…ヒストグラム平坦化画像、８２０…ＣＡＣＨＥ画像、８３０…ＬＩＭＥ画像、８４０…ＮＰＩＥ画像、８５０…強調入力画像

Claims

濃淡画像の照明成分を導出する照明成分導出部と、
前記照明成分が前記濃淡画像から除去された結果の画像である反射率成分画像を導出する反射率成分導出部と、
前記反射率成分画像の画素と前記画素の隣接領域との間のコントラスト値に基づいてコントラスト成分を導出するコントラスト成分導出部と、
前記コントラスト成分の各画素のコントラスト値に応じて重み付けされた前記濃淡画像の輝度ヒストグラムを導出するヒストグラム導出部と、
輝度を変換する輝度変換関数で前記濃淡画像を変換した結果の画像である変換濃淡画像の輝度ヒストグラムに対応する累積分布関数の値と所定のヒストグラムに対応する累積分布関数の値との差が最小になるように前記輝度変換関数を導出する変換関数導出部と、
前記変換濃淡画像を生成する輝度変換部と
を備える画像調整装置。
前記変換濃淡画像と前記反射率成分画像とが合成された結果の画像である強調濃淡画像を生成する反射率成分追加部
を更に備える、請求項１に記載の画像調整装置。
前記濃淡画像をカラー画像から導出する濃淡画像導出部と、
前記カラー画像及び前記濃淡画像に基づいて、カラー情報を含む前記強調濃淡画像を生成する画像再構成部と
を更に備える、請求項２に記載の画像調整装置。
前記所定のヒストグラムは、一様に分布している輝度のヒストグラムである、請求項１から請求項３のいずれか一項に記載の画像調整装置。
画像調整装置が実行する画像調整方法であって、
濃淡画像の照明成分を導出する照明成分導出ステップと、
前記照明成分が前記濃淡画像から除去された結果の画像である反射率成分画像を導出する反射率成分導出ステップと、
前記反射率成分画像の画素と前記画素の隣接領域との間のコントラスト値に基づいてコントラスト成分を導出するコントラスト成分導出ステップと、
前記コントラスト成分の各画素のコントラスト値に応じて重み付けされた前記濃淡画像の輝度ヒストグラムを導出するヒストグラム導出ステップと、
輝度を変換する輝度変換関数で前記濃淡画像を変換した結果の画像である変換濃淡画像の輝度ヒストグラムに対応する累積分布関数の値と所定のヒストグラムに対応する累積分布関数の値との差が最小になるように前記輝度変換関数を導出する変換関数導出ステップと、
前記変換濃淡画像を生成する輝度変換ステップと
を含む画像調整方法。
請求項１から請求項４のいずれか一項に記載の画像調整装置としてコンピュータを機能させるためのプログラム。