JP6476898B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

画像は、局所的な輝度変化の急峻さに応じて、平坦部、エッジ部、テクスチャ部に大別できる。平坦部は局所的な輝度変化が小さい部分であり、エッジ部は局所的な輝度変化が大きい部分である。一方、テクスチャ部はエッジ部ほど大きな輝度変化は伴わないものの、相対的に広い範囲において輝度変化が存在する部分である。

画像の質感を決定付けるのがテクスチャ部であり、画像のある領域においてテクスチャ部の輝度変化が大きければ相対的にざらついた印象を、逆に輝度変化が小さければ相対的になめらかな印象を与える。したがって、テクスチャ部の輝度変化を操作することができれば、画像の質感を制御することができる。

これに対して、エッジ部以外の部分を増幅し強調することで、画像全体のコントラストや鮮鋭度を向上させる技術が知られている（例えば特許文献１参照）。具体的には、入力画像と、この入力画像に対してエッジ保存平滑化処理を適用した平滑化画像とを減算処理した差分画像を生成し、この差分画像にゲイン係数を乗算する。そして、この乗算後の画像と平滑化画像とを加算することで、画像全体のコントラストや鮮鋭度を向上させた結果画像を得ている。

しかしながら、上記の従来技術においては、テクスチャ部分の強度をユーザが意図に沿うように容易に操作することはできない。これは、ゲイン係数は入力画像やその補正目的、画素の位置、テクスチャ強度等に基づいて決定すべき値であるものの、上記従来技術においては、ゲイン係数を入力画像の特性に合わせて動的に決定する方法は開示されておらず、予め決定された画像全体に一様な値、又は画素ごとに設定された値としているからである。

本発明の一実施形態は、上記の点に鑑みてなされたものであり、テクスチャ成分の強度が目標とする特性を満たすように容易に操作することができる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することを目的とする。

上記目的を達成するため、本発明の一実施形態では、原画像データを処理する画像処理装置であって、前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する第１の生成手段と、前記原画像データと前記平滑化画像データとの差分画像である第１の差分画像データを生成する第２の生成手段と、前記第１の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムを生成するヒストグラム生成手段と、前記差分値ヒストグラムから前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する第３の生成手段と、前記平滑化画像データと前記第２の差分画像データとを合成する合成手段と、を有することを特徴とする。

本発明の一実施形態によれば、テクスチャ成分の強度が目標とする特性を満たすように容易に操作することができる。

第１の実施形態に係る画像処理装置の一構成例を示す図である。 第１の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第１の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。 第２の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第２の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。 第３の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第３の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。 累積頻度ヒストグラムの一例を示す図である。 第４の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第４の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。 第５の実施形態に係る画像処理装置の一構成例を示す図である。 第５の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第５の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜画像処理装置の構成＞
本実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図１は、第１の実施形態に係る画像処理装置の一構成例を示す図である。

図１に示すように、画像処理装置５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、記憶装置５０４を備える。更に、表示部５０５、入力部５０６、インタフェース部５０７を備える。なお、画像処理装置５００の各部は、バス５０８を介して相互に接続されているものとする。

ＣＰＵ５０１は、記憶装置５０４に格納されたプログラムを実行するコンピュータである。

ＲＯＭ５０２は不揮発性メモリである。ＲＯＭ５０２は、記憶装置５０４に格納されたプログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware
Interface）等のブートプログラムなどを格納する。

ＲＡＭ５０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ５０３は、記憶装置５０４に格納されたプログラムがＣＰＵ５０１によって実行される際に展開される、作業領域として機能する。

記憶装置５０４は、画像処理部５１０として機能するプログラムと画像データ５２０とを格納する。なお、画像処理部５１０として機能するプログラムには、更に、画像平滑化部５１１として機能するプログラムと、画像演算部５１２として機能するプログラムと、画像補正部５１３として機能するプログラムとが含まれる。更に、画像平滑化部５１１が平滑化処理を行う際に用いるエッジ保存平滑化フィルタ５１４が含まれる。

画像処理装置５００では、画像処理部５１０として機能するプログラムが、ＣＰＵ５０１により実行されることで、画像データ（原画像データ）５２０に対して、以下に示す画像処理を実行する。
・画像データ５２０に対してエッジ保存平滑化処理を行い、エッジ成分を含む平滑化画像データを生成する。
・画像データ５２０を平滑化画像データで減算処理し、画像データ５２０からテクスチャ成分のみ抽出した差分画像データを抽出する。
・差分画像データからヒストグラムを生成し、このヒストグラムから差分画像データに対する補正量を算出する。
・算出した補正量を用いて差分画像データを補正し、補正後差分画像データを生成する。
・平滑化画像データと補正後差分画像データとを合成し、合成画像データを生成する。

表示部５０５は、画像処理部５１０による画像処理前の画像データ５２０及び画像処理後の画像データ（合成画像データ）を表示する。また、画像平滑化部５１１による平滑化処理に際して、エッジ保存平滑化フィルタ５１４のパラメータを設定するための設定画面を表示する。

入力部５０６は、画像処理装置５００に対して各種操作（画像処理部５１０に対する画像処理の実行指示やパラメータの設定操作）を行うための操作部材であり、例えば、マウスやキーボード等が含まれる。

インタフェース部５０７は、外部装置と接続し、画像処理部５１０により画像処理される画像データを受信したり、画像処理された画像データを外部装置に送信したりする。

＜画像処理装置における画像処理部の機能構成＞
次に、画像処理装置５００の画像処理部５１０の機能構成について説明する。図２は、第１の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。まず、図２に示すように、画像データ（原画像データ）５２０は、画像平滑化部５１１に入力される。

画像データ５２０が入力された画像平滑化部５１１では、エッジ保存平滑化フィルタ５１４を用いて、画像データ５２０に対して平滑化処理を行うことで、画像データ（平滑化画像データ）６１０を生成する。

エッジ保存平滑化フィルタ５１４は、エッジ部分のような輝度変化が急な部分を維持しながら他の部分を平滑化することができる。一般に、エッジ保存平滑化フィルタを用いずに、通常の平滑化フィルタを用いた場合、エッジ部分が損なわれてしまう。このため、エッジ保存平滑化フィルタを用いることで、一般的な平滑化フィルタを用いて画像を処理する場合のような、エッジ部分を復元するための処理が不要である。さらに、通常の平滑化フィルタを用いて作成した差分画像データを強調すると、エッジ近傍にハローと呼ばれる明るい縁取りや暗い縁取りが発生する場合があるが、エッジ保存平滑化フィルタを用いることで、このような不具合を回避することができる。

したがって、生成される画像データ６１０は、画像データ５２０に含まれる、抽象的な構造成分とエッジ成分とにより構成される。生成された画像データ６１０は、画像データ５２０とともに画像演算部５１２に入力される。

画像データ５２０と画像データ６１０とが入力された画像演算部５１２では、画像データ５２０と画像データ６１０との差分値を算出することで、差分画像である画像データ（差分画像データ）６２０を生成する。つまり、画像データ６２０は、画像データ５２０に含まれる詳細な構造成分であるテクスチャ成分から構成されており、エッジ成分は含まれない。生成された画像データ６２０は、画像補正部５１３に入力される。

画像データ６２０が入力された画像補正部５１３では、画像データ６２０の画素ごとの値（画像データ５２０と画像データ６１０との差分値）をヒストグラムにまとめた差分値ヒストグラム６３０を生成する。生成された差分値ヒストグラム６３０と画像データ６２０は、画像補正部５１３に入力される。

差分値ヒストグラム６３０と画像データ６２０とが入力された画像補正部５１３では、差分値ヒストグラム６３０から画像データ６２０に対する補正量を決定し、この補正量を用いて画像データ６２０を補正し、画像データ（補正後画像データ）６４０を生成する。画像データ６１０と画像データ６４０は、画像演算部５１２に入力される。補正量は、差分値ヒストグラム６３０の形状や代表値、統計量などが所定の目的に合致するように操作することで決定する。

画像データ６１０と画像データ６４０とが入力された画像演算部５１２では、画像データ６１０と画像データ６４０とを合成することで、合成画像である画像データ（合成画像データ）６５０を生成する。画像データ６５０は、画像データ５２０のテクスチャ成分が補正された画像である。つまり、ユーザは、差分値ヒストグラム６３０から補正量を決定し、この決定した補正量で補正した画像データ（補正後差分画像データ）６４０と画像データ（原画像データ）５２０とを合成することで、原画像データのテクスチャ成分を操作した画像データ６５０を生成することができる。

＜画像処理の流れ＞
次に、画像処理装置５００による画像処理の流れについて説明する。図３は、第１の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。ユーザからの指示により、図３に示す画像処理が開始される。

ステップＳ３０１では、記憶装置５０４に記憶されている画像データ（原画像データ）５２０を読み出す。なお、記憶装置５０４に記憶されている画像データ５２０は、例えばＣＤ、ＤＶＤ、ＨＤＤなどの記録メディアやネットワークストレージに保存されていたものを、インタフェース部５０７を介して読出し、記憶したものである。あるいは、不図示の画像読み取り部において読み取られたものを、インタフェース部５０７を介して取得し、記憶したものである。

ステップＳ３０２では、画像平滑化部５１１は、読み出された画像データ５２０に対して、エッジ保存平滑化フィルタ５１４を用いて平滑化処理を行い、画像データ（平滑化画像データ）６１０を生成する。なお、このとき、表示部５０５は、エッジ保存平滑化フィルタ５１４のパラメータを設定するための設定画面を表示し、画像平滑化部５１１は、設定されたパラメータで平滑化処理を行う。

なお、エッジ保存平滑化フィルタ５１４としては、例えば、メディアンフィルタのほか、Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ、Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ、Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ、εフィルタ等が挙げられる。

なお、Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒは、Ｃｒｏｓｓ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒとも呼ばれる。

ステップＳ３０３では、画像演算部５１２は、画像データ５２０と画像データ６１０との差分値を算出し（つまり、画像データ５２０を画像データ６１０により減算処理し）、画像データ５２０からテクスチャ成分のみ抽出した画像データ（差分画像データ）６２０を生成する。なお、画像データ６２０は、符号付きの値で生成してもよいし、値と符号とを分けて生成してもよい。

ステップＳ３０４では、画像補正部５１３は、画像データ（差分画像データ）６２０から差分値ヒストグラム６３０を生成する。差分値ヒストグラム６３０は、画像データ６２０における各差分値（画素値）の出現回数又は出現頻度を記録したものである。なお、差分値ヒストグラム６３０のビン（階級）はすべての差分値に対して用意してもよいし、複数の差分値をまとめる（例えばある範囲内の差分値のビンを用意する）ことでビン数を削減してもよい。また、画像データ６２０のすべての画素を用いて差分値ヒストグラム６３０を作成してもよいし、画像データ６２０を所定の刻み幅ごとにサンプリングして差分値ヒストグラム６３０を作成してもよい。

ステップＳ３０５では、画像補正部５１３は、差分値ヒストグラム６３０から画像データ（差分画像データ）６２０を補正するための補正量を決定し、この補正量を用いて画像データ６２０を補正し、画像データ（補正後画像データ）６４０を生成する。なお、補正量の決定は、予め与えられた目標となる値を基準にして算出する。目標となる値は、例えば、差分値ヒストグラム６３０の平均、分散、尖度、歪度などの統計量、最大値、最小値、幅などのコントラスト、平均値、中央値、最頻値などの代表値が挙げられる。補正量は、このような目標となる値と、差分値ヒストグラム６３０におけるこの目標となる値と対応する値との差や比として算出することができる。つまり、例えば、差分値ヒストグラム６３０の最頻値が、目標となる値と一致するように、補正量を算出する。なお、補正量として算出される値は、前述のように一つの値である場合に限られず、例えば、差分値ヒストグラム６３０の値域を複数の区間に分割し、区間ごとに前述の方法により算出して得られた複数の値の集合であってもよい。

ステップＳ３０６では、画像演算部５１２は、画像データ６１０と画像データ６４０とを合成し（つまり、画像データ６１０と画像データ６４０とを加算処理し）、合成画像である画像データ（合成画像データ）６５０を生成する。ステップＳ３０７では、画像データ６５０を出力する。

なお、上記のステップＳ３０４において、差分値ヒストグラム６３０は、各差分値をそのまま利用して生成したが、例えば各差分値の絶対値を利用して生成してもよい。また、このように各差分値の絶対値を利用して差分値ヒストグラム６３０を生成する場合（つまり、ビンを正の値のみに限定してヒストグラムを生成する場合）、上記のステップＳ３０３において、画像データ５２０と画像データ６１０との差分値の絶対値から画像データ６２０を生成してもよい。

ただし、上記のように、各差分値の絶対値を利用する場合は、別途、各差分値の符号を記憶して、下記のいずれかの処理を行う必要がある。
（ａ）ステップＳ３０５において、画像データ（差分画像データ）６２０を補正する際に、画素ごとに対応する符号を付与する
（ｂ）ステップＳ３０６において、画像データ（平滑化画像データ）６１０と画像データ（補正後画像データ）６４０を合成する際に、画素ごとに対応する符号を付与した上で合成する

＜まとめ＞
以上のように、本実施形態に係る画像処理装置では、画像データ（原画像データ）と、この画像データにエッジ保存平滑化フィルタを用いて平滑化処理を行った画像データとの差分値からテクスチャ成分に相当する画像データ（差分画像データ）を生成する。そして、差分画像データに基づいて生成した差分値ヒストグラムの統計量や代表値などが、予め設定された目標値と一致するように適切に補正することで、テクスチャ成分の強度が目標とする特性を満たすように制御した画像データを生成することができる。すなわち、例えば、差分画像データを抑制する補正を行うことで結果画像（合成画像データ）におけるテクスチャ部の平滑度を上げることができ、逆に差分画像データを強調する補正を行うことで結果画像におけるテクスチャ部のざらつきを上げることができる。

［第２の実施形態］
次に、第２の実施形態に係る画像処理装置について説明する。本実施形態においては、予め与えられた差分値ヒストグラム（参照差分値ヒストグラム）を用いて、補正量を決定する。

＜画像処理装置における画像処理部の機能構成＞
はじめに、本実施形態に係る画像処理装置５００の画像処理部５１０の機能構成ついて説明する。図４は、第２の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第１の実施形態に係る画像処理装置５００の画像処理部５１０との機能構成（図２）との相違点は、点線８００に示す処理である。

具体的には、画像補正部５１３は、差分値ヒストグラム６３０と、ユーザにより予め与えられたヒストグラムである差分値ヒストグラム（参照差分値ヒストグラム）５３０とから補正量を決定し、この決定した補正量を用いて画像データ（差分画像データ）６２０を補正して、画像データ（補正後差分画像データ）６４０を生成する。このとき、画像補正部５１３は、差分値ヒストグラム６３０が差分値ヒストグラム５３０と一致する（又は近づく）ように、補正量を決定する。

なお、ユーザは、例えばＣＤ、ＤＶＤなどの記録メディアに保存されている差分値ヒストグラム（参照差分値ヒストグラム）５３０をインタフェース部５０７を介して読み出して取得してもよいし、ネットワークを介して取得してもよい。

＜画像処理の流れ＞
次に、画像処理装置５００による本実施形態における画像処理の流れについて説明する。図５は、第２の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第１の実施形態に係る画像処理装置５００において実行される画像処理（図３）との相違点は、ステップＳ５０５に示す処理である。そこで、以下では、ステップＳ５０５に示す処理について説明する。

ステップＳ５０５では、画像補正部５１３は、差分値ヒストグラム６３０と差分値ヒストグラム（参照差分値ヒストグラム）５３０とから画像データ（差分画像データ）６２０を補正するための補正量を決定し、この補正量を用いて画像データ６２０を補正し、画像データ（補正後画像データ）６４０を生成する。このとき、画像補正部５１３は、差分値ヒストグラム６３０が差分値ヒストグラム５３０と一致する（又は近づく）ように、補正量を決定する。ここで、補正量の決定方法は、例えば、以下のようなものが挙げられる。

（ａ）統計量による補正
差分値ヒストグラム６３０から差分値の統計量を算出し、得られた統計量が差分値ヒストグラム５３０の統計量と一致するように、画像データ（差分画像データ）６２０に対してゲインやオフセットを与える方法である。統計量は、例えば、平均や分散などが挙げられる。また、ゲイン量は分散の平方根である標準偏差の比として、オフセット量は平均値の差にゲイン量を乗算したものとして算出することができる。

補正前の値をν_１、補正後の値をν_２、ゲイン量をｇ、オフセット量をｂとすれば、補正処理は次の式で定義される。

ここで、ゲイン量ｇとオフセット量ｂは、差分値ヒストグラム６３０の平均と分散をそれぞれμ_ｉｎ、σ_ｉｎ ^２、差分値ヒストグラム５３０の平均と分散をそれぞれμ_ｒｅｆ、σ_ｒｅｆ ^２とすると、それぞれ次の式で与えられる。

（ｂ）ヒストグラムのコントラスト補正
差分値ヒストグラム６３０の領域が、差分値ヒストグラム５３０の領域と一致するように、画像データ（差分画像データ）６２０に対してゲインやオフセットを与える方法である。補正処理の式は、上記（ａ）と同様であり、ゲイン量ｇとオフセット量ｂは、差分値ヒストグラム６３０の最小値と最大値をそれぞれｍｉｎ_ｉｎ、ｍａｘ_ｉｎ、差分値ヒストグラム５３０の最小値と最大値をそれぞれｍｉｎ_ｒｅｆ、ｍａｘ_ｒｅｆとすると、それぞれ次の式で与えられる。

なお、最大値と最小値は差分値ヒストグラムの値域の両端の値を用いてもよいし、差分値ヒストグラムの両端を基準にデータをある割合だけ除去して求めてもよい。差分値ヒストグラムの値域の両端に存在するデータを一部除去することで、いわゆる外れ値による影響を抑えることができる。同様の理由から、差分値ヒストグラムを混合分布モデルなどでモデル化して、得られた混合分布モデルからヒストグラムを作成し、差分値ヒストグラムの代わりに利用してもよい。

＜まとめ＞
以上のように、本実施形態に係る画像処理装置では、補正量を決定するための目標として差分値ヒストグラム（参照差分値ヒストグラム）５３０を用いることで、具体的な補正量を予め設定することなくテクスチャ成分の強度を制御することができる。

［第３の実施形態］
次に、第３の実施形態に係る画像処理装置について説明する。本実施形態においては、累積頻度ヒストグラムを用いて、補正量を決定する。すなわち、第２の実施形態における差分値ヒストグラム６３０及び参照差分値ヒストグラム５３０の代わりに、それぞれ、累積頻度ヒストグラム６３１及び累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１を用いて、補正量を決定する。

なお、累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１は、予め与えられたものであってもよいし、予め与えられた差分値ヒストグラム（参照差分値ヒストグラム）５３０から生成したものであってもよい。以降では、累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１は、予め与えられたものであるとして説明する。

＜画像処理装置における画像処理部の機能構成＞
はじめに、本実施形態に係る画像処理装置５００の画像処理部５１０の機能構成ついて説明する。図６は、第３の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第１の実施形態に係る画像処理装置５００の画像処理部５１０との機能構成（図２）との相違点は、点線１０００に示す処理である。

具体的には、画像補正部５１３は、画像データ（差分画像データ）６２０から累積頻度ヒストグラム５１３を生成する。また、画像補正部５１３は、累積頻度ヒストグラム６３１と、予め与えられたヒストグラムである累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１とから補正量を決定し、この決定した補正量を用いて画像データ６２０を補正して、画像データ６４０を生成する。このとき、画像補正部５１３は、累積頻度ヒストグラム６３１が累積頻度ヒストグラム５３１と一致する（又は近づく）ように、補正量を決定する。

＜画像処理の流れ＞
次に、画像処理装置５００による本実施形態における画像処理の流れについて説明する。図７は、第３の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第１の実施形態に係る画像処理装置５００において実行される画像処理（図３）との相違点は、ステップＳ７０４及びＳ７０５に示す処理である。そこで、以下では、ステップＳ７０４及びＳ７０５に示す処理について説明する。

ステップＳ７０４では、画像補正部５１３は、画像データ６２０から累積頻度ヒストグラム６３１を生成する。累積頻度ヒストグラム６３１は、差分値ヒストグラム６３０のある特定のビンまでのすべてのビンの累積を記録し、正規化したものである。なお、累積頻度ヒストグラム６３１は、例えば、次の手順で生成することができる。
（１）まず、差分値ヒストグラム６３０を作成する
画像データ（差分画像データ）６２０の各画素の値を参照し、差分値ヒストグラム６３０の対応するビンに投票する。これを画像データ６２０のすべての画素に対して繰り返す。なお、画像データ６２０のすべての画素を使わずに、例えば所定の刻み幅ごとにサンプリングして画素の値を参照し、ビンに投票してもよい。これにより、差分値ヒストグラム６３０の作成を高速化することができる。
（２）差分値ヒストグラム６３０を累積して差分値累積ヒストグラムを生成する
これは、差分値累積ヒストグラムのＮ番目のビンの値に、差分値ヒストグラム６３０の先頭のビンからＮ番目のビンまでの累積値を設定すればよい。
（３）差分値累積ヒストグラムを正規化する
差分値累積頻度ヒストグラムの最終ビンの値で各ビンの値を除算し、すべてのビンの値が０から１の範囲に収まるようにする。これにより、累積頻度ヒストグラム６３１が生成される。

ステップＳ７０５では、画像補正部５１３は、累積頻度ヒストグラム６３１と累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１とから画像データ６２０を補正するための補正量を決定し、この補正量を用いて画像データ６２０を補正し、画像データ（補正後画像データ）６４０を生成する。このとき、画像補正部５１３は、累積頻度ヒストグラム６３１が累積頻度ヒストグラム５３１と一致する（又は近づく）ように、補正量を決定する。ここで、補正量の決定方法は、例えば、以下のようなものが挙げられる。

（ａ）ヒストグラムマッチング
累積頻度ヒストグラム６３１の形状が、累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１の形状と一致するように画像データ６２０の画素値を操作（補正）する方法である。画素値の操作方法としては、例えば、変換を行うためのルックアップテーブルを用いた変換があり、累積頻度ヒストグラム６３１の累積頻度が、累積頻度ヒストグラム５３１の累積頻度と一致するようにルックアップテーブルを設計すればよい。このようなルックアップテーブルの作成手順について、図８を用いてより具体的に説明する。図８は、累積頻度ヒストグラムの一例を示す図である。なお、図８（ａ）は累積頻度ヒストグラム６３１の一例を示しており、図８（ｂ）は累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１の一例を示している。

上記のようなルックアップテーブルは、以下の手順で作成することができる。
（１）図８（ａ）の累積頻度ヒストグラム６３１において、ある値ａに対応する累積頻度ｆ_１を求める
（２）図８（ｂ）の累積頻度ヒストグラム５３１において、累積頻度がｆ_１となる値ｈを求める
（３）上記（１）及び（２）で求めた値を対応付けて記憶する。すなわち、組（ａ，ｈ）を記憶する
（４）上記（１）〜（３）の手順を、累積頻度ヒストグラム６３１の値域全体に渡って繰り返す。すなわち、（ｂ，ｉ）、（ｃ，ｊ）、（ｄ，ｋ）・・・を記録する
（５）上記（１）〜（４）で得られた値をテーブル化して、ルックアップテーブルとする
ルックアップテーブルを作成したら、補正処理は画像データ（差分画像データ）６２０の値をルックアップテーブルに記載された対応する値に変換することで実現される。なお、ルックアップテーブルにおいて、累積頻度ヒストグラム６３１の値域ないに欠落している部分があれば、適宜、その欠落部分の周辺の値を用いて内挿又は外挿すればよい。また、一度作成したルックアップテーブルに対して、移動平均を行うなどして細かい変動を緩和してもよい。

なお、上記の図８に示した累積頻度ヒストグラムは、差分値の絶対値を用いたものを一例として示しているが、絶対値を用いない場合であっても同様の方法で実現することができる。

（ｂ）曲線下面積
累積頻度ヒストグラムの形状を曲線下面積により代表させて補正量を決定し、画像データ（差分画像データ）６２０を操作（補正）する方法である。曲線下面積（ＡＵＣ：Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）とは、ある曲線と、座標系の軸と、この曲線から軸へと下した垂線とに囲まれた領域の面積のことである。累積頻度ヒストグラム６３１の曲線下面積ＡＵＣ_ｉｎと、累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１の曲線下面積ＡＵＣ_ｒｅｆとをそれぞれ求め、その比（ＡＵＣ比）を補正量とする。なお、曲線下面積を求める際には、各累積頻度ヒストグラムの値域全体で算出してもよいし、範囲を限定して算出してもよい。各累積頻度ヒストグラムの値域全体で算出すると、値域に部分的に存在する差異を捉えることができない場合があるため、必要に応じて適宜範囲を限定することが好ましい。

ＡＵＣ比を用いた補正法の例としては、次のようなものが挙げられる。
・ＡＵＣ比をゲイン量として画像データ（差分画像データ）６２０の画素値に乗算する
・累積頻度ヒストグラム６３１の各差分値について、対応する累積頻度がＡＵＣ比倍となる値を探索して対応付けて記録し、上記の（ａ）に記載した手順と同様の手順でルックアップテーブルを作成し、このルックアップテーブルで画像データ（差分画像データ）６２０を変換する。すなわち、例えばＡＵＣ比がρである場合、累積頻度ヒストグラム６３１において差分値ａの累積頻度をｆ_１とすると、累積頻度ヒストグラム５３１においてρｆ_１となる差分値αを求め、対応付けることでルックアップテーブルを作成する。

上記で例示した２つの補正法を用いるメリットは、これらの処理が非線形変換であり、線形変換よりも強度の制御の自由度が高いことにある。より具体的には、例えば、第２の実施形態で説明した統計量による補正やコントラストの補正などの線形変換の場合、テクスチャ成分の強度の全範囲に対して概ね同等の強度又は抑制の効果があるのに対して、上記で例示した２つの補正法では、テクスチャ成分の強度の範囲ごとに強調するか抑制するか、さらには強調や抑制の程度まで制御することができる。

＜まとめ＞
以上のように、本実施形態に係る画像処理装置では、補正量を決定するための目標として累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３１を用いることで、具体的な補正量を予め設定することなくテクスチャ成分の強度を制御することができる。特に、補正量を決定する際に、ヒストグラムマッチングを行うことで、テクスチャ部分の凹凸の割合（輝度変化の割合）を目標とする割合に正確に一致させることができる。つまり、原画像のテクスチャ成分の強度を、目標とする強度に正確に一致させることができる。

［第４の実施形態］
次に、第４の実施形態に係る画像処理装置について説明する。本実施形態においては、テクスチャ成分の目標となる画像データ（参照画像データ）５４０が予め与えられている。そして、この与えられた画像データ（参照画像データ）５４０に対して、画像データ（原画像データ）５２０と同様に、累積頻度ヒストグラムを作成し、これらの累積頻度ヒストグラムから補正量を決定する。

＜画像処理装置における画像処理部の機能構成＞
はじめに、本実施形態に係る画像処理装置５００の画像処理部５１０の機能構成ついて説明する。図９は、第４の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第３の実施形態に係る画像処理装置５００の画像処理部５１０との機能構成（図６）との相違点は、点線１２００に示す処理である。

具体的には、ユーザにより予め与えられた画像データ（参照画像データ）５４０が入力された画像平滑化部５１１は、エッジ保存平滑化フィルタ５１４を用いて、画像データ５４０に対して平滑化処理を行うことで、画像データ（参照平滑化画像データ）５４１を生成する。生成された画像データ５４１は、画像演算部５１２に入力される。

また、画像データ５４０と画像データ５４１とが入力された画像演算部５１２では、画像データ５４０と画像データ５４１との差分値を算出することで、差分画像である画像データ（参照差分画像データ）５４２を生成する。生成された画像データ５４２は、画像補正部５１３に入力される。

さらに、画像データ５４２が入力された画像補正部５１３では、画像データ５４２の画素ごとの値（画像データ５４０と画像データ５４１との差分値）から累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３２を生成する。生成された累積頻度ヒストグラム５３２は、画像補正部５１３に入力される。そして、その後、画像補正部５１３は、累積頻度ヒストグラム６３１と生成された累積頻度ヒストグラム５３２とを用いて、累積頻度ヒストグラム６３１が累積頻度ヒストグラム５３２と一致する（又は近づく）ように、補正量を決定する。

＜画像処理の流れ＞
次に、画像処理装置５００による本実施形態における画像処理の流れについて説明する。図１０は、第４の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第３の実施形態に係る画像処理装置５００において実行される画像処理（図７）との相違点は、ステップＳ１００５〜Ｓ１００８に示す処理である。そこで、以下では、ステップＳ１００５〜Ｓ１００８に示す処理について説明する。なお、ステップＳ１００５〜Ｓ１００８に示す処理は、それぞれステップＳ３０１〜Ｓ３０３及びＳ７０４の処理とほとんど同様のため、適宜説明を簡略化する。

ステップＳ１００５では、画像データ（参照画像データ）５４０を読み出す。なお、画像データ（参照画像データ）５４０は、記憶装置５０４に記憶されていてもよいし、例えばＣＤ、ＤＶＤ、ＨＤＤなどの記録メディアやネットワークストレージに保存されていたものを、インタフェース部５０７を介して読出してしてもよい。あるいは、不図示の画像読み取り部において読み取られたものを、インタフェース部５０７を介して取得し、記憶したものであってもよい。

ステップＳ１００６では、画像平滑化部５１１は、読み出された画像データ５４０に対して、エッジ保存平滑化フィルタ５１４を用いて平滑化処理を行い、画像データ（参照平滑化画像データ）５４１を生成する。

ステップＳ１００７では、画像演算部５１２は、画像データ５４０と画像データ５４１との差分値を算出し、画像データ５４０からテクスチャ成分のみ抽出した画像データ（参照差分画像データ）５４２を生成する。

ステップＳ１００８では、画像補正部５１３は、画像データ５４２から累積頻度ヒストグラム（参照累積頻度ヒストグラム）５３２を生成する。

＜まとめ＞
以上のように、本実施形態に係る画像処理装置では、補正量を決定するための目標として画像データ（参照画像データ）５４０を用いる。つまり、画像データ（原画像データ）５２０のテクスチャ成分の強度を所定の強度に補正するに際して、目標とするテクスチャ成分の強度を参照画像（画像データ５４０）という抽象化された形で指定することができる。これにより、ユーザは、目標とする画像（参照画像）を指定するだけでよい。つまり、ユーザは、パラメータやヒストグラムの具体的な値を指定することなく、直感的な操作で目標とする強度にテクスチャ成分を補正することができる。

［第５の実施形態］
次に、第５の実施形態に係る画像処理装置について説明する。本実施形態においては、画像データ（原画像データ）５２０と画像データ（参照画像データ）５４０とに対して、元の色空間とは異なる色空間に変換する。また、画像データ（合成画像データ）６５０を、元の色空間に変換する。すなわち、本実施形態では、画像データ（差分画像データ）６２０に対して補正を行う色空間（例えばＨＳＶ色空間）と、元の色空間（例えばＲＧＢ色空間）が異なる。

＜画像処理装置の構成＞
はじめに、本実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図１１は、第５の実施形態に係る画像処理装置の一構成例を示す図である。なお、上記第１の実施形態において図１を用いて説明した画像処理装置５００との相違点は、記憶装置５０４の画像処理部１１１０に、色変換部１１１１として機能するプログラムが可能されている点である。

色変換部１１１１は、画像データに対して色空間の変換処理を行う。

＜画像処理装置における画像処理部の機能構成＞
次に、本実施形態に係る画像処理装置５００の画像処理部５１０の機能構成ついて説明する。図１２は、第５の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第４の実施形態に係る画像処理装置５００の画像処理部５１０との機能構成（図１０）との相違点は、点線１４００、１６００、１８００に示す処理である。

具体的には、画像データ５２０が入力された色変換部１１１１は、この画像データの色空間を変換して、変換後の画像データ（変換後画像データ）５２１を生成する。そして、この画像データ５２１は、画像平滑化部５１１に入力される。

また、同様に、画像データ（参照画像データ）５４０が入力された色変換部１１１１は、この画像データ５４０の色空間を変換して、変換後の画像データ（変換後参照画像データ）５４３を生成する。そして、この画像データ５４３は、画像平滑部５１１に入力される。

さらに、画像データ（合成画像データ）６５０が入力された色変換部１１１１は、この画像データ６５０の色空間を変換して、変換後の画像データ（変換後合成画像データ）６５１を生成する。この画像データ６５１が出力される画像（結果画像）である。

なお、画像データ５４１、５４２、６１０、６２０、６４０、６５０についても、上記で色変換部１１１１が変換した後の色空間と同一の色空間（変換後の色空間）であるが、第４の実施形態と同一の符号を用いて説明する。

＜画像処理の流れ＞
次に、画像処理装置５００による本実施形態における画像処理の流れについて説明する。図１３は、第５の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第４の実施形態に係る画像処理装置５００において実行される画像処理（図１０）との相違点は、ステップＳ１３０１〜Ｓ１３０３に示す処理である。そこで、以下では、ステップＳ１３０１〜Ｓ１３０３に示す処理について説明する。

ステップＳ１３０１では、色変換部１１１１は、読み出された画像データ（原画像データ）５２０に対して色空間変換処理を行い、画像データ（変換後画像データ）５２１を生成する。画像データ５２０の色空間としては例えばＲＧＢ色空間が、画像データ５２１の色空間としては例えばＨＳＶ色空間やＬａｂ色空間などが挙げられる。画像データの各色成分ごとに独立して色空間変換処理を行う場合は、色空間の各軸間の相関が弱い色空間を選択することが好ましい。なお、以降のステップＳ３０２では、画像平滑化部５１１は、上記ステップＳ１３０１で色変換部１１１１が色空間を変換した画像データ（変換後画像データ）５２１を入力する。

ステップＳ１３０２では、上記のステップＳ１３０２と同様に、色変換部１１１１は、読み出された画像データ（参照画像データ）５４０に対して色空間変換処理を行い、画像データ（変換後参照画像データ）５４３を生成する。なお、以降のステップＳ１００６では、画像平滑化部５１１は、上記ステップＳ１３０２で色変換部１１１１が色空間を変換した画像データ（変換後参照画像データ）５４３を入力する。

ステップＳ１３０３では、色変換部１１１１は、画像データ（合成画像データ）６５０に対して色空間変換処理を行い、画像データ（変換後合成画像データ）６５１を生成する。なお、以降のステップＳ１０１１では、画像データ（変換後合成画像データ）６５１を出力する。

なお、上記のステップＳ１３０３において、色変換部１１１１は、画像データ（合成画像データ）６５０の色空間を元の色空間（つまり、原画像データや参照画像データの色空間）に変換する。ただし、最終的に元の色空間と異なる色空間の画像が必要であれば、所望の色空間に変換してもよい。

また、本実施形態において、ステップＳ１００９において画像データ（差分画像データ）６２０の補正は、各色成分ごとに独立に行ってもよいし、まとめて行ってもよい。なお、特に、画像データ（差分画像データ）６２０の補正に伴う色ずれを回避する目的から、補正は明度軸に限定して行ってもよい。この場合には、ステップＳ１３０１及びＳ１３０２において変換後の色空間はＨＳＶ色空間やＬａｂ色空間など明度軸を含む色空間に変換する必要がある。

また、画像データ（差分画像データ）６２０は、明度成分のみで作成してもよいし、画像データ（平滑化画像データ）６１０と画像データ（補正後差分画像データ）６４０とを合成する際に明度成分のみ加算してもよい。これにより、効率的に処理を行うことができる。

＜まとめ＞
以上のように、本実施形態に係る画像処理装置では、原画像データや参照画像データを別の色空間に変換した上でテクスチャ成分の操作を行っている。これにより、例えば明度成分のみを操作することで色ずれ等のリスクを低減することができる。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

５００ 画像処理装置
５１０ 画像処理部
５１１ 画像平滑化部
５１２ 画像演算部
５１３ 画像補正部
５１４ エッジ保存平滑化フィルタ
１１１１ 色変換部

特許第４４１５２３６号公報

Claims (9)

1. 原画像データを処理する画像処理装置であって、
   前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する第１の生成手段と、
   前記原画像データと前記平滑化画像データとの差分画像である第１の差分画像データを生成する第２の生成手段と、
   前記第１の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムを生成するヒストグラム生成手段と、
   前記差分値ヒストグラムから前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する第３の生成手段と、
   前記平滑化画像データと前記第２の差分画像データとを合成する合成手段と、
   を有する画像処理装置。
2. 前記第３の生成手段は、
   前記差分値ヒストグラムと、予め与えられた差分値ヒストグラムである参照差分値ヒストグラムとから、前記差分値ヒストグラムが前記参照差分値ヒストグラムに近づくように前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する、請求項１記載の画像処理装置。
3. 前記第１の生成手段は、
   前記原画像データと予め与えられた画像データである参照画像データとに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データと参照平滑化画像データとを生成し、
   前記第２の生成手段は、
   前記原画像データと前記平滑化画像データとの差分画像である第１の差分画像データと、前記参照画像データと前記参照平滑化画像データとの差分画像である参照差分画像データとを生成し、
   前記ヒストグラム生成手段は、
   前記第１の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムと、前記参照差分画像データから差分値の頻度ヒストグラムである参照差分値ヒストグラムとを生成し、
   前記第３の生成手段は、
   前記差分値ヒストグラムと前記参照差分値ヒストグラムとから、前記差分値ヒストグラムが前記参照差分値ヒストグラムに近づくように前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する、請求項１記載の画像処理装置。
4. 前記第３の生成手段は、
   前記差分値ヒストグラムから差分値の累積頻度ヒストグラムである累積ヒストグラムと、前記参照差分値ヒストグラムから差分値の累積頻度ヒストグラムである参照累積ヒストグラムを生成し、
   前記累積ヒストグラムと前記参照累積ヒストグラムとから、前記累積ヒストグラムが前記参照累積ヒストグラムに近づくように前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する、請求項２又は３記載の画像処理装置。
5. 画像データの色空間を所定の色空間に変換する変換手段を有し、
   前記第１の生成手段は、
   前記変換手段により変換された原画像データと参照画像データとに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データと参照平滑化画像データとを生成し、請求項３記載の画像処理装置。
6. 画像データの色空間を所定の色空間に変換する変換手段を有し、
   前記第１の生成手段は、
   前記変換手段により変換された原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する、請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 原画像データを処理する画像処理装置における画像処理方法であって、
   前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する第１の生成手順と、
   前記原画像データと前記平滑化画像データとの差分画像である第１の差分画像データを生成する第２の生成手順と、
   前記第１の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムを生成するヒストグラム生成手順と、
   前記差分値ヒストグラムから前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する第３の生成手順と、
   前記平滑化画像データと前記第２の差分画像データとを合成する合成手順と、
   を有する画像処理方法。
8. 原画像データを処理する画像処理装置のコンピュータを、
   前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する第１の生成手段、
   前記原画像データと前記平滑化画像データとの差分画像である第１の差分画像データを生成する第２の生成手段、
   前記第１の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムを生成するヒストグラム生成手段、
   前記差分値ヒストグラムから前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する第３の生成手段、
   前記平滑化画像データと前記第２の差分画像データとを合成する合成手段、
   として機能させるためのプログラム。
9. 原画像データを処理する画像処理装置のコンピュータを、
   前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する第１の生成手段、
   前記原画像データと前記平滑化画像データとの差分画像である第１の差分画像データを生成する第２の生成手段、
   前記第１の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムを生成するヒストグラム生成手段、
   前記差分値ヒストグラムから前記第１の差分画像データに対する補正量を算出し、該補正量を用いて前記第１の差分画像データを補正した第２の差分画像データを生成する第３の生成手段、
   前記平滑化画像データと前記第２の差分画像データとを合成する合成手段、
   として機能させるためのプログラムを格納する記憶媒体。

Images