JP5915299B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

画像の調整に関する技術が存在する。特許文献１には、画素毎に彩度に応じて輝度を調整する技術が開示されている。特許文献２には、カラー画像における画素毎に、画素の原色の信号値と、予め定められた基準値との差の絶対値を示す差分値を原色毎に導出し、導出された差分値の最大値に応じて、カラー画像の画素の信号値を増減するように信号値を変換する技術が開示されている。

特開２００５−３５３０６９号公報 特開２０１０−２７８５１６号公報

本発明の目的の１つは、画像処理対象の画像に適した画像処理を行うにあたり、画像に含まれる少なくとも１つの画素の色を変更する際に、変更前の画像に含まれる少なくとも１つの画素についての輝度の分布、及び、変更前の画像に含まれる少なくとも１つの画素についての成分色の信号値間の差分の分布、の少なくとも一方が色の変更に反映されるようにすることにある。

請求項１に記載の発明は、画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる少なくとも１つの画素についての輝度の分布、及び、前記画像に含まれる少なくとも１つの画素についての成分色の信号値間の差分の分布、の少なくとも一方に応じて、当該画像に含まれる少なくとも１つの画素について色を変更する変更手段と、前記変更手段により変更された画素を含む画像を出力する画像出力手段と、を含むこととしたものである。

請求項２に記載の発明は、請求項１に記載の画像処理装置であって、前記変更手段は、前記画像取得手段により取得される画像に含まれる少なくとも１つの画素についての輝度の分布に応じた、変更の対象となるすべての画素に対する共通の規則、及び、当該画像に含まれる少なくとも１つの画素についての成分色の信号値間の差分の分布に応じた、変更の対象となる画素の成分色の信号値間の差分毎に異なる規則、に従って、当該画像に含まれる少なくとも１つの画素について色を変更することとしたものである。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置であって、画像中に主要被写体が複数ある場合は、それぞれの前記主要被写体に対して前記変更手段による変更を行うこととしたものである。

請求項４に記載の発明は、プログラムであって、画像を取得する画像取得手段、前記画像に含まれる少なくとも１つの画素についての輝度の分布、及び、前記画像に含まれる少なくとも１つの画素についての成分色の信号値間の差分の分布、の少なくとも一方に応じて、当該画像に含まれる少なくとも１つの画素について色を変更する変更手段、前記変更手段により変更された画素を含む画像を出力する画像出力手段、としてコンピュータを機能させることとしたものである。

請求項１，４に記載の発明によれば、画像処理対象の画像に適した画像処理を行うにあたり、画像に含まれる少なくとも１つの画素の色を変更する際に、変更前の画像に含まれる少なくとも１つの画素についての輝度の分布、及び、変更前の画像に含まれる少なくとも１つの画素についての成分色の信号値間の差分の分布、の少なくとも一方が色の変更に反映されることとなる。

請求項２に記載の発明によれば、輝度の分布に応じた色の変更については画素の色や輝度によらない共通の規則に従って行われる一方で、成分色の信号値間の差分の分布に応じた色の変更については変更の対象となる画素の成分色の信号値間の差分毎に異なる規則に従って行われることとなる。

請求項３に記載の発明によれば、色の変更の対象となる画像中に主要被写体が複数ある場合に、それぞれの主要被写体について、変更前の当該主要被写体に含まれる少なくとも１つの画素についての輝度の分布、及び、変更前の当該主要被写体に含まれる少なくとも１つの画素についての成分色の信号値間の差分の分布、の少なくとも一方の、当該主要被写体の色の変更への反映が行われることとなる。

本発明の一実施形態における画像処理装置により実現される機能の一例を示す機能ブロック図である。 本発明の一実施形態における画像処理装置により行われる処理の流れの一例を示すフロー図である。 彩度ヒストグラムの一例を示す図である。 彩度ヒストグラムの別の一例を示す図である。 彩度成分値と彩度強調係数との関係の一例を示す図である。 彩度成分値と彩度強調係数との関係の別の一例を示す図である。 輝度ヒストグラムの一例を示す図である。 輝度ヒストグラムの別の一例を示す図である。 輝度コントラスト値と輝度強調係数との関係の一例を示す図である。 彩度ヒストグラムのさらに別の一例を示す図である。 輝度ヒストグラムのさらに別の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態における画像処理システムの一例である画像処理装置１０により実現される機能の一例を示す機能ブロック図である。図１に示すように、本実施形態における画像処理装置１０は、機能的には、例えば、画像取得部２０、彩度コントラストヒストグラム生成部２２、彩度変更部２４、ＲＧＢ−輝度変換部２６、輝度コントラストヒストグラム生成部２８、輝度変更部３０、輝度−ＲＧＢ変換部３２、画像合成部３４、画像出力部３６、を含んでいる。

本実施形態における画像処理装置１０は、例えば、画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである制御部、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである記憶部、利用者が行った操作の内容を制御部に出力する入力部（例えば、マウス、キーボード、マイクなど）、制御部から入力される指示に従って情報を出力する出力部（例えば、ディスプレイ、スピーカなど）、等を備えたコンピュータである。そして、図１に示す各部の機能は、コンピュータである画像処理装置１０にインストールされた、図１に示す各部の機能に対応する命令を含むプログラムを、画像処理装置１０の制御部で実行することにより実現されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ可読な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して画像処理装置１０に供給される。

本実施形態における画像処理装置１０では、取得される画像に含まれる少なくとも１つの画素の輝度の分布に応じて、当該画像に含まれる少なくとも１つの画素について色が変更された画像を出力する。以下、取得される画像を変更前画像と呼び、出力される画像を変更後画像と呼ぶこととする。そして、本実施形態における変更前画像及び変更後画像は、１つの画素が複数の成分色（原色）（本実施形態では、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ））毎に設けられた信号値により示される複数の画素により構成されたものとする。本実施形態では、例えば、Ｒ信号値、Ｇ信号値、Ｂ信号値のいずれも、０以上２５５以下である整数のいずれかで表現される。また、Ｒ信号値、Ｇ信号値、及び、Ｂ信号値のすべての値が２５５である場合に白が表現され、Ｒ信号値が２５５であり他の信号値が０である場合に赤が表現され、Ｇ信号値が２５５であり他の信号値が０である場合に緑が表現され、Ｂ信号値が２５５であり他の信号値が０である場合に青が表現され、Ｒ信号値、Ｇ信号値、及び、Ｂ信号値のすべてが０である場合に黒が表現されることとする。

ここで、本実施形態における画像処理装置１０で行われる処理の流れの一例を、図２に例示するフロー図を参照しながら説明する。

まず、画像取得部２０が、変更前画像を取得する（Ｓ１０１）。そして、彩度コントラストヒストグラム生成部２２が、変更前画像に基づいて、ヒストグラム（以下、彩度ヒストグラムと呼ぶ。）を生成する（Ｓ１０２）。図３は、彩度ヒストグラムの一例を示す図である。図４は、彩度ヒストグラムの別の一例を示す図である。なお、図３は、生の食材（具体的には、例えば、野菜、魚、生肉などといった生鮮食品など）の画像についての典型的な彩度ヒストグラムの一例を示しており、図４は、調理された食材（例えば、餃子、ステーキ等）の画像についての典型的な彩度ヒストグラムの一例を示している。図３及び図４に例示する彩度ヒストグラムでは、変更前画像に含まれる、予め定められた規則に従って算出される彩度成分値毎の画素数が、彩度ヒストグラムにおける頻度として示されている。本実施形態では、例えば、画素の成分色の信号値（Ｒ信号値、Ｇ信号値、及び、Ｂ信号値）のうちの最大値から、当該画素の成分色の信号値（Ｒ信号値、Ｇ信号値、及び、Ｂ信号値）のうちの最小値を引いた値を、当該画素の彩度成分値とする。より具体的には、例えば、Ｒ信号値が２５５、Ｇ信号値が１２８、Ｂ信号値が６４である画素については、Ｒ信号値、Ｇ信号値、Ｂ信号値のうちの最大値（ここでは、Ｒ信号値）である２５５から、Ｒ信号値、Ｇ信号値、Ｂ信号値のうちの最小値（ここでは、Ｂ信号値）である６４を引いた値である１９１が、当該画素の彩度成分値となる。以下、彩度成分値がｃである画素数（彩度成分値ｃに対応付けられる画素数）を、ｎｕｍ（Ｃ＝ｃ）と表す。また、以下、変更前画像に含まれる画素におけるＲ信号値の平均値をａｖｅ（Ｒ）、Ｇ信号値の平均値をａｖｅ（Ｇ）、Ｂ信号値の平均値をａｖｅ（Ｂ）、彩度成分値の平均値をａｖｅ（Ｃ）と表す。

そして、彩度変更部２４が、Ｓ１０２に例示する処理で生成される彩度ヒストグラムと、画像処理装置１０の記憶部に予め記憶されている、彩度対応規則情報とに基づいて、彩度強調係数の傾きを示す値を決定する（Ｓ１０３）。

Ｓ１０３に例示する処理では、彩度変更部２４は、彩度ヒストグラムに基づいて、対応付けられる画素数が、画素数についての予め定められた閾値ｔｈ１以上である彩度成分値ｃの範囲（例えば、ｎｕｍ（Ｃ＝ｃ）＞＝ｔｈ１であるｃの範囲）を特定する。図３及び図４に例示する彩度ヒストグラムにおいては、例えば、彩度成分値が、ｃｍｉｎ以上ｃｍａｘ以下の範囲が特定される。そして、彩度変更部２４は、特定された彩度成分値の範囲の大きさを表す値（例えば、最大値であるｃｍａｘと最小値であるｃｍｉｎとの差）を、彩度成分値の全範囲（例えば、０以上２５５以下の整数）を表す値（例えば、２５６）で割った値を彩度コントラスト値ｃｏｎｔ（Ｃ）として特定する。ここでは、例えば、０以上１以下の値が彩度コントラスト値ｃｏｎｔ（Ｃ）として特定される。図３に例示する彩度ヒストグラムに基づいて特定される彩度コントラスト値ｃｏｎｔ（Ｃ）は、図４に例示する彩度ヒストグラムに基づいて特定される彩度コントラスト値ｃｏｎｔ（Ｃ）よりも大きいこととなる。

そして、彩度変更部２４は、特定された彩度コントラスト値ｃｏｎｔ（Ｃ）と、彩度対応規則情報と、に基づいて、彩度強調係数の傾きを示す値ｇｒａｄ（Ｃ）を決定する。なお、彩度強調係数の傾きを示す値ｇｒａｄ（Ｃ）は正である。彩度対応規則情報は、例えば、彩度コントラスト値と彩度強調係数の傾きとの関係を示す数式や、彩度コントラスト値と彩度強調係数の傾きとを対応付けた表などを表す情報であり、本実施形態では、例えば、彩度コントラスト値が大きくなるほど彩度強調係数の傾きが大きくなるよう彩度対応規則情報は設定されている。

そして、彩度変更部２４は、変更前画像に含まれる各画素について、Ｒ信号値、Ｇ信号値、Ｂ信号値のそれぞれを変更することで、第１中間画像を生成する（Ｓ１０４）。ここで、例えば、変更前のＲ信号値、Ｇ信号値、Ｂ信号値、彩度成分値をそれぞれ、ｒ１、ｇ１、ｂ１、ｃ１とし、変更後のＲ信号値、Ｇ信号値、Ｂ信号値をそれぞれ、ｒ２、ｇ２、ｂ２とする。そして、例えば、ｇｒａｄ（Ｃ）×（ｃ１−ａｖｅ（Ｃ））の値を、彩度強調係数ｅｍｐ（Ｃ）とする。彩度成分値の値が、彩度成分値の平均値ａｖｅ（Ｃ）と一致する画素の彩度強調係数ｅｍｐ（Ｃ）の値は０となる。そして、ｒ１、ｇ１、ｂ１のうちの最小値をｍｉｎ（１）とすると、ｒ２＝ｍｉｎ（１）＋（ｒ１−ｍｉｎ（１））×（１＋ｅｍｐ（Ｃ））、ｇ２＝ｍｉｎ（１）＋（ｇ１−ｍｉｎ（１））×（１＋ｅｍｐ（Ｃ））、ｂ２＝ｍｉｎ（１）＋（ｂ１−ｍｉｎ（１））×（１＋ｅｍｐ（Ｃ））、との数式に従って、変更後のＲ信号値、Ｇ信号値、及び、Ｂ信号値が算出される。

本実施形態では、変更前の彩度成分値が異なる画素については彩度強調係数の値は異なることとなる。すなわち、Ｓ１０４に例示する処理では、変更前画像に含まれる少なくとも１つの画素の成分色間の差分の分布に応じた、変更の対象となる画素の成分色間の差分毎に異なる規則に従って、変更後の信号値は算出されることとなる。

図５は、図３に例示する彩度ヒストグラムと対応付けられる、彩度成分値と彩度強調係数ｅｍｐ（Ｃ）との関係の一例を示す図である。図３に例示する彩度ヒストグラムに基づいて特定された彩度強調係数の傾きを示す値ｇｒａｄ（Ｃ）が、図５に例示するグラフの傾きを表すこととなる。また、図６は、図４に例示する彩度ヒストグラムと対応付けられる、彩度成分値と彩度強調係数ｅｍｐ（Ｃ）との関係の一例を示す図である。図４に例示する彩度ヒストグラムに基づいて特定された彩度強調係数の傾きを示す値ｇｒａｄ（Ｃ）が、図６に例示するグラフの傾きを表すこととなる。

本実施形態では、変更前の彩度成分値が、彩度成分値の平均値ａｖｅ（Ｃ）よりも大きい画素は、彩度強調係数の値が正となり、変更後の成分色の信号値間の差分は、変更前の成分色の信号値間の差分よりも大きくなる。また、本実施形態では、変更前の彩度成分値が、彩度成分値の平均値ａｖｅ（Ｃ）よりも小さい画素は、彩度強調係数の値が負となり、変更後の成分色の信号値間の差分は、変更前の成分色の信号値間の差分よりも小さくなる。また、本実施形態では、変更前の彩度成分値が、彩度成分値の平均値ａｖｅ（Ｃ）と同じである場合は、彩度強調係数の値は０となり、変更後の信号値（例えば、ｒ２、ｇ２、ｂ２）は、変更前の信号値（例えば、ｒ１、ｇ１、ｂ１）と同じとなる。また、信号値が、ｍｉｎ（１）である成分色については、信号値は変化しない。

一般的に、図３に例示するような、生の食材（具体的には、例えば、野菜、魚、生肉などといった生鮮食品など）の画像についての彩度ヒストグラムは、図４に例示するような、調理された食材（例えば、餃子、ステーキ等）の画像についての彩度ヒストグラムよりも、対応付けられる画素数が、閾値ｔｈ１以上である彩度成分値の範囲が広い。よって、一般的には、生の食材の画像に基づいて特定される彩度強調係数の傾きを示す値は、調理された食材の画像に基づいて特定される彩度強調係数の傾きを示す値よりも大きいこととなり、生の食材の画像の方が、調理された食材の画像よりも、成分色間の信号値の差分が強調されることとなる。

そして、ＲＧＢ−輝度変換部２６が、変更前画像に含まれる各画素について、その画素のＲ信号値、Ｇ信号値、及び、Ｂ信号値の組合せ（ＲＧＢ信号値）を、輝度信号値（例えば、Ｙで表現される輝度信号値）及び色差信号値（例えば、Ｃｂ及びＣｒ、あるいは、Ｐｂ及びＰｒの組合せで表現される色差信号値）の組合せ（輝度等信号値）に変換する（Ｓ１０５）。なお、ＲＧＢ信号値は、値Ｙ、値Ｃｂ、及び、値Ｃｒの組合せや、値Ｙ、値Ｐｂ、及び、値Ｐｒの組合せである輝度等信号値と１対１で対応付けられる。本実施形態では、例えば、輝度信号値は、０以上２５５以下である整数のいずれかで表現される。また、輝度信号値が大きい程、明るい色が表現されることとする。

そして、輝度コントラストヒストグラム生成部２８が、Ｓ１０５に例示する処理で変換された、変更前画像に基づいて（ここでは、変更前画像に含まれる各画素についての輝度信号値に基づいて）、ヒストグラム（以下、輝度ヒストグラムと呼ぶ。）を生成する（Ｓ１０６）。図７は、輝度ヒストグラムの一例を示す図である。図８は、輝度ヒストグラムの別の一例を示す図である。なお、図７は、生の食材（具体的には、例えば、野菜、魚、生肉などといった生鮮食品など）の画像についての典型的な輝度ヒストグラムの一例を示しており、図８は、調理された食材（例えば、餃子、ステーキ等）の画像についての典型的な輝度ヒストグラムの一例を示している。図７及び図８に例示する輝度ヒストグラムでは、変更前画像に含まれる、輝度信号値毎の画素数が、輝度ヒストグラムにおける頻度として示されている。以下、輝度信号値がｙである画素数（輝度信号値ｙに対応付けられる画素数）を、ｎｕｍ（Ｙ＝ｙ）と表す。

そして、輝度変更部３０が、Ｓ１０６に例示する処理で生成される輝度ヒストグラムと、画像処理装置１０の記憶部に予め記憶されている、輝度対応規則情報とに基づいて、輝度強調係数の値を決定する（Ｓ１０７）。

Ｓ１０７に例示する処理では、輝度変更部３０は、輝度ヒストグラムに基づいて、対応付けられる画素数が、画素数についての予め定められた閾値ｔｈ２（当該閾値ｔｈ２は上述の閾値ｔｈ１と同じであっても異なっていてもよい。）以上である輝度信号値の範囲（例えば、ｎｕｍ（Ｙ＝ｙ）＞＝ｔｈ２であるｙの範囲）を特定する。図７及び図８に例示する輝度ヒストグラムにおいては、例えば、輝度信号値が、ｙｍｉｎ以上ｙｍａｘ以下の範囲が特定される。そして、輝度変更部３０は、特定された輝度信号値の範囲の大きさを表す値（例えば、最大値であるｙｍａｘと最小値であるｙｍｉｎとの差）を、輝度信号値の全範囲（例えば、０以上２５５以下の整数）を表す値（例えば、２５６）で割った値を輝度コントラスト値ｃｏｎｔ（Ｙ）として特定する。ここでは、例えば、０以上１以下の値が輝度コントラスト値ｃｏｎｔ（Ｙ）として特定される。そして、輝度変更部３０は、特定された輝度コントラスト値ｃｏｎｔ（Ｙ）と、輝度対応規則情報と、に基づいて、輝度強調係数の値ｅｍｐ（Ｙ）を決定する。輝度対応規則情報は、例えば、輝度コントラスト値ｃｏｎｔ（Ｙ）と輝度強調係数ｅｍｐ（Ｙ）との関係を示す数式や、輝度コントラスト値ｃｏｎｔ（Ｙ）と輝度強調係数ｅｍｐ（Ｙ）とを対応付けた表などを表す情報であり、本実施形態では、例えば、輝度コントラスト値ｃｏｎｔ（Ｙ）が大きくなるほど輝度強調係数が小さくなるよう輝度対応規則情報は設定されている。

図９は、輝度対応規則情報が表す、輝度コントラスト値ｃｏｎｔ（Ｙ）と輝度強調係数ｅｍｐ（Ｙ）との関係の一例を示す図である。図９では、図７に例示する輝度ヒストグラムに基づいて決定される輝度強調係数ｃｏｎｔ（Ｙ）の値がｐ１、輝度強調係数の値ｐ１に対応付けられる輝度強調係数ｅｍｐ（Ｙ）の値がｑ１で表されており、図８に例示する輝度ヒストグラムに基づいて決定される輝度強調係数ｃｏｎｔ（Ｙ）の値がｐ２、輝度強調係数の値ｐ２に対応付けられる輝度強調係数ｅｍｐ（Ｙ）の値がｑ２で表されている。

一般的に、図７に例示するような、生の食材（具体的には、例えば、野菜、魚、生肉などといった生鮮食品など）の画像についての輝度ヒストグラムは、図８に例示するような、調理された食材（例えば、餃子、ステーキ等）の画像についての彩度ヒストグラムよりも、対応付けられる画素数が、閾値ｔｈ２以上である輝度信号値の範囲が広い。よって、一般的には、生の食材の画像に基づいて特定される輝度強調係数ｅｍｐ（Ｙ）の値は、調理された食材の画像に基づいて特定される輝度強調係数ｅｍｐ（Ｙ）の値よりも小さいこととなる。

そして、輝度変更部３０は、変更前画像に含まれる各画素の輝度信号値を変更する（Ｓ１０８）。本実施形態では、輝度変更部３０は、例えば、輝度強調係数ｅｍｐ（Ｙ）を用いたフィルタリング処理を各画素に対して実行して、輝度信号値を変更する。例えば、輝度信号値の変更の対象となる画素の変更前の輝度信号値をｙ１、当該画素の変更後の輝度信号値をｙ２、当該画素のまわりの８つの画素それぞれの変更前の輝度信号値をｙ’１、ｙ’２、ｙ’３、ｙ’４、ｙ’５、ｙ’６、ｙ’７、ｙ’８とすると、ｙ２＝（１＋８×ｅｍｐ（Ｙ）／９）×ｙ１−（ｙ’１＋ｙ’２＋ｙ’３＋ｙ’４＋ｙ’５＋ｙ’６＋ｙ’７＋ｙ’８）×ｅｍｐ（Ｙ）／９という数式に従って、輝度信号値の変更の対象となる画素の変更後の輝度信号値は算出される。例えば、輝度強調係数ｅｍｐ（Ｙ）の値が２である場合は、ｙ２＝（２５／９）×ｙ１−（２／９）×（ｙ’１＋ｙ’２＋ｙ’３＋ｙ’４＋ｙ’５＋ｙ’６＋ｙ’７＋ｙ’８）となり、輝度強調係数ｅｍｐ（Ｙ）の値が０である場合は、ｙ２＝ｙ１となり、輝度強調係数ｅｍｐ（Ｙ）の値が−１である場合は、ｙ２＝（１／９）×（ｙ１＋ｙ’１＋ｙ’２＋ｙ’３＋ｙ’４＋ｙ’５＋ｙ’６＋ｙ’７＋ｙ’８）となる。このように、輝度強調係数ｅｍｐ（Ｙ）の値が０より大きい場合は、変化前画像に対する輝度についての鮮鋭化が行われ、輝度強調係数ｅｍｐ（Ｙ）の値が０である場合は、変化前画像は変化せず、輝度強調係数ｅｍｐ（Ｙ）の値が０より小さい場合は、変化前画像に対する輝度についての平滑化（特に、輝度強調係数ｅｍｐ（Ｙ）の値が−１である場合は平均化）が行われることとなる。また、Ｓ１０７に例示する処理では、変更前画像に含まれる少なくとも１つの画素の輝度の分布に応じた、変更の対象となるすべての画素に対する共通の規則に従って、変更後の輝度信号値は算出されることとなる。

上述のように、生の食材の画像に基づいて特定される輝度強調係数ｅｍｐ（Ｙ）の値は、調理された食材の画像に基づいて特定される輝度強調係数ｅｍｐ（Ｙ）の値よりも小さい。例えば、生の食材の画像に基づいて特定される輝度強調係数ｅｍｐ（Ｙ）の値が１より小さい場合は、生の食材の画像は輝度についての平滑化が行われ、調理された食材の画像に基づいて特定される輝度強調係数ｅｍｐ（Ｙ）の値が１より大きい場合は、調理された食材の画像は輝度についての鮮鋭化が行われることとなる。また、以上説明したように、本処理例では、画像に含まれるすべての画素に対して共通して適用される規則に従って、輝度についての鮮鋭化や平滑化が行われることとなる。

そして、輝度−ＲＧＢ変換部３２が、変更された各画素について、輝度信号値、及び、変更されていない色差信号値の組合せ（輝度等信号値）を、Ｒ信号値、Ｇ信号値、及び、Ｂ信号値の組合せ（ＲＧＢ信号値）に変換する（Ｓ１０９）。Ｓ１０９に例示する処理による変換後の各画素のＲ信号値、Ｇ信号値、及び、Ｂ信号値の組合せによってあらわされる画像を第２中間画像と呼ぶこととする。このように、Ｓ１０９に例示する処理により第２中間画像が生成される。

そして、画像合成部３４が、第１中間画像と第２中間画像とを合成して、変更後画像を生成する（Ｓ１１０）。ここで、例えば、変更前画像に含まれる画素の信号値（Ｒ信号値、Ｇ信号値、又は、Ｂ信号値）に、第１中間画像における当該画素の信号値から変更前画像における当該画素の信号値を引いた値、及び、第２中間画像における当該画素の信号値から変更前画像における当該画素の信号値を引いた値を加えた値を、変更後画像における当該画素の信号値とする。なお、第１中間画像と第２中間画像とを合成する方法は上述の方法に限定されない。例えば、第１中間画像に含まれる画素の信号値と、第２中間画像における当該画素の信号値と、の平均値を変更後画像における当該画素の信号値とするようにしてもよい。

そして、画像出力部３６が、Ｓ１１０に例示する処理で生成された変更後画像を、画像処理装置１０の記憶部に出力する（Ｓ１１１）。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、上述の閾値ｔｈ１の値や、閾値ｔｈ２の値が、パラメータの値に基づいて決定されるようにしてもよい。具体的には、例えば、彩度ヒストグラムの分散値や、彩度ヒストグラムを正規分布近似した場合の分散値等に基づいて、上述の閾値ｔｈ１の値が決定される（例えば、分散値が大きい程閾値ｔｈ１が小さくなるよう決定される、あるいは、分散値が大きい程閾値ｔｈ１が大きくなるよう決定される）ようにしてもよい。また、例えば、輝度ヒストグラムの分散値や、輝度ヒストグラムを正規分布近似した場合の分散値等に基づいて、上述の閾値ｔｈ２の値が決定される（例えば、分散値が大きい程閾値ｔｈ２が小さくなるよう決定される、あるいは、分散値が大きい程閾値ｔｈ２が大きくなるよう決定される）ようにしてもよい。

また、例えば、変更前画像に含まれる画素の一部についてのみ、変更後画像において色が変更されるようにしても構わない。また、変更前画像に含まれる画素の一部に基づいて、彩度ヒストグラムや輝度ヒストグラムが生成されるようにしてもよい。また、色が変更される画素と、彩度ヒストグラムや輝度ヒストグラムの生成の基礎となる画素と、が異なっていてもよい。

また、図１０に例示するように、対応付けられる画素数が、画素数についての予め定められた閾値ｔｈ１以上である彩度成分値の範囲が複数存在する場合（例えば、変更前画像中に主要被写体が複数ある場合）は、それぞれの範囲に対応する彩度強調係数の傾きを示す値を特定するようにしてもよい。そして、それぞれの範囲に対応付けられる画素について、その範囲についての彩度成分値の平均値と、その範囲に対応する彩度強調係数の傾きを示す値と、に基づいて、当該画素の変更後の信号値（Ｒ信号値、Ｇ信号値、又は、Ｂ信号値）が特定されるようにしてもよい。

図１０は、対応付けられる画素数が、画素数についての予め定められた閾値ｔｈ１以上である彩度成分値の範囲が２つ存在する彩度ヒストグラムの一例を示す図である。図１０に例示する彩度ヒストグラムでは、ｃｍｉｎ１以上ｃｍａｘ１以下の範囲、及び、ｃｍｉｎ２以上ｃｍｉｎ２以下の範囲がｎｕｍ（Ｃ＝ｃ）＞＝ｔｈ１であるｃの範囲となっている（ただし、ｃｍａｘ１＜ｃｍｉｎ２）。ここで、例えば、彩度成分値がｃｍａｘ１より大きくｃｍｉｎ２より小さな値ｍｉｄ（Ｃ）（例えば、（ｃｍａｘ１＋ｃｍｉｎ２）／２）未満である画素における彩度成分値の平均値をａｖｅ１（Ｃ）、彩度成分値が値ｍｉｄ（Ｃ）以上である画素における彩度成分値の平均値をａｖｅ２（Ｃ）とする。

そして、彩度成分値が値ｍｉｄ（Ｃ）未満である画素については、ｃｍａｘ１とｃｍｉｎ１との差を、値ｍｉｄ（Ｃ）で割った値が、彩度コントラスト値ｃｏｎｔ１（Ｃ）として特定される。そして、特定された彩度コントラスト値ｃｏｎｔ１（Ｃ）と、彩度対応規則情報と、に基づいて、彩度強調係数の傾きを示す値ｇｒａｄ１（Ｃ）が決定される。

彩度成分値が値ｍｉｄ（Ｃ）以上である画素については、ｃｍａｘ２とｃｍｉｎ２との差を、彩度成分値の全範囲を表す値（例えば、２５６）から値ｍｉｄ（Ｃ）を引いた値で割った値が、彩度コントラスト値ｃｏｎｔ２（Ｃ）として特定される。そして、特定された彩度コントラスト値ｃｏｎｔ２（Ｃ）と、彩度対応規則情報と、に基づいて、彩度強調係数の傾きを示す値ｇｒａｄ２（Ｃ）が決定される。

ここで、変更前のＲ信号値、Ｇ信号値、Ｂ信号値、彩度成分値をそれぞれ、ｒ１、ｇ１、ｂ１、ｃ１とし、変更後のＲ信号値、Ｇ信号値、Ｂ信号値をそれぞれ、ｒ２、ｇ２、ｂ２とし、ｇｒａｄ１（Ｃ）×（ｃ１−ａｖｅ１（Ｃ））の値を、彩度強調係数ｅｍｐ１（Ｃ）とし、ｇｒａｄ２（Ｃ）×（ｃ１−ａｖｅ２（Ｃ））の値を、彩度強調係数ｅｍｐ２（Ｃ）とする。そして、ｒ１、ｇ１、ｂ１のうちの最小値をｍｉｎ（１）とすると、彩度成分値が値ｍｉｄ（Ｃ）未満である画素については、ｒ２＝ｍｉｎ（１）＋（ｒ１−ｍｉｎ（１））×（１＋ｅｍｐ１（Ｃ））、ｇ２＝ｍｉｎ（１）＋（ｇ１−ｍｉｎ（１））×（１＋ｅｍｐ１（Ｃ））、ｂ２＝ｍｉｎ（１）＋（ｂ１−ｍｉｎ（１））×（１＋ｅｍｐ１（Ｃ））、との数式に従って、変更後のＲ信号値、Ｇ信号値、及び、Ｂ信号値が算出され、彩度成分値が値ｍｉｄ（Ｃ）以上である画素については、ｒ２＝ｍｉｎ（１）＋（ｒ１−ｍｉｎ（１））×（１＋ｅｍｐ２（Ｃ））、ｇ２＝ｍｉｎ（１）＋（ｇ１−ｍｉｎ（１））×（１＋ｅｍｐ２（Ｃ））、ｂ２＝ｍｉｎ（１）＋（ｂ１−ｍｉｎ（１））×（１＋ｅｍｐ２（Ｃ））、との数式に従って、変更後のＲ信号値、Ｇ信号値、及び、Ｂ信号値が算出される。

また、対応付けられる画素数が、画素数についての予め定められた閾値ｔｈ２以上である輝度信号値の範囲が複数存在する場合（例えば、変更前画像中に主要被写体が複数ある場合）は、それぞれの範囲に対応する輝度強調係数の値ｅｍｐ（Ｙ）が決定されるようにしてもよい。そして、それぞれの範囲に対応付けられる画素について、その画素に対応する輝度強調係数のｅｍｐ（Ｙ）に基づく上述のフィルタリング処理が実行されるようにしてもよい。

図１１は、対応付けられる画素数が、画素数についての予め定められた閾値ｔｈ２以上である輝度信号値の範囲が２つ存在する輝度ヒストグラムの一例を示す図である。図１１に例示する輝度ヒストグラムでは、ｙｍｉｎ１以上ｙｍａｘ１以下の範囲、及び、ｙｍｉｎ２以上ｙｍａｘ２以下の範囲がｎｕｍ（Ｙ＝ｙ）＞＝ｔｈ２であるｒの範囲となっている（ただし、ｙｍａｘ１＜ｙｍｉｎ２）。

輝度信号値がｙｍａｘ１より大きくｙｍｉｎ２より小さな値ｍｉｄ（Ｙ）（例えば、（ｙｍａｘ１＋ｙｍｉｎ２）／２）未満である画素については、ｙｍａｘ１とｙｍｉｎ１との差を、値ｍｉｄ（Ｙ）で割った値が、輝度コントラスト値ｃｏｎｔ１（Ｙ）として特定される。そして、特定された輝度コントラスト値ｃｏｎｔ１（Ｙ）と、輝度対応規則情報と、に基づいて、輝度強調係数の値ｅｍｐ１（Ｙ）が決定される。

輝度信号値が値ｍｉｄ（Ｙ）以上である画素については、ｙｍａｘ２とｙｍｉｎ２との差を、Ｒ信号値の全範囲を表す値（例えば、２５６）から値ｍｉｄ（Ｙ）を引いた値で割った値が、輝度コントラスト値ｃｏｎｔ２（Ｙ）として特定される。そして、特定された輝度コントラスト値ｃｏｎｔ２（Ｙ）と、輝度対応規則情報と、に基づいて、輝度強調係数の値ｅｍｐ２（Ｙ）が決定される。

そして、輝度信号値が値ｍｉｄ（Ｙ）未満である画素については、輝度強調係数ｅｍｐ１（Ｙ）を用いたフィルタリング処理が実行され、輝度信号値が値ｍｉｄ（Ｙ）以上である画素については、輝度強調係数ｅｍｐ２（Ｙ）を用いたフィルタリング処理が実行されることで、輝度信号値が変更される。

また、上述のＳ１０２〜Ｓ１０９に例示する処理に関して、その処理順は上述の例には限定されない。例えば、上述のＳ１０５〜Ｓ１０９に例示する処理が、上述のＳ１０２〜Ｓ１０４に例示する処理よりも先に実行されるようにしてもよい。また、例えば、上述のＳ１０２〜Ｓ１０４に例示する処理と、上述のＳ１０５〜Ｓ１０９に例示する処理と、が並行して実行されるようにしてもよい。

また、例えば、上述のＳ１０２〜Ｓ１０４が実行されないようにするなどして、変更前画像に含まれる少なくとも１つの画素の輝度の分布に応じて、変更前画像に含まれる少なくとも１つの画素について輝度が変更された変更後画像が出力されるようにしてもよい。

また、ＲＧＢ信号値の輝度等信号値への変換や、輝度等信号値からＲＧＢ信号値への変換が行われないようにしてもよい。そして、変更前画像に含まれる少なくとも１つの画素の輝度の分布に応じた画素の色の変更が、Ｒ信号値、Ｇ信号値、及び、Ｂ信号値に対して実行されるようにしてもよい。

また、白色の画素については、彩度が下がるように色の変更が行われるようにしてもよい。また、変更前画像から公知の画像処理技術により被写体が複数検出される場合に、それぞれの被写体が含まれる領域毎に対して、上述のＳ１０２〜Ｓ１１１に例示する処理が実行されるようにしてもよい。

また、本実施形態における情報処理システムが複数の筐体（複数の画像処理装置１０）から構成されていてもよい。また、上記の具体的な文字列や数値、並びに、図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

１０ 画像処理装置、２０ 画像取得部、２２ 彩度コントラストヒストグラム生成部、２４ 彩度変更部、２６ ＲＧＢ−輝度変換部、２８ 輝度コントラストヒストグラム生成部、３０ 輝度変更部、３２ 輝度−ＲＧＢ変換部、３４ 画像合成部、３６ 画像出力部。

Claims (3)

1. 画像を取得する画像取得手段と、
   前記画像取得手段により取得される画像に含まれる複数の画素についての輝度の分布に応じた、変更の対象となるすべての画素に対する共通の規則、及び、当該画像に含まれる複数の画素についての成分色の信号値間の差分の分布に応じた、変更の対象となる画素の成分色の信号値間の差分毎に異なる規則、に従って、当該画像に含まれる少なくとも１つの画素について色を変更する変更手段と、
   前記変更手段により変更された画素を含む画像を出力する画像出力手段と、
   を含むことを特徴とする画像処理装置。
2. 画像中に主要被写体が複数ある場合は、それぞれの前記主要被写体に対して前記変更手段による変更を行う、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 画像を取得する画像取得手段、
   前記画像取得手段により取得される画像に含まれる複数の画素についての輝度の分布に応じた、変更の対象となるすべての画素に対する共通の規則、及び、当該画像に含まれる複数の画素についての成分色の信号値間の差分の分布に応じた、変更の対象となる画素の成分色の信号値間の差分毎に異なる規則、に従って、当該画像に含まれる少なくとも１つの画素について色を変更する変更手段、
   前記変更手段により変更された画素を含む画像を出力する画像出力手段、
   としてコンピュータを機能させることを特徴とするプログラム。

Images