JP5701816B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理プログラム及び画像処理方法に関する。

従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、画像のエッジ部分を強調させる技術がある。かかる技術によれば、より鮮鋭な画像を生成することができる。

特開平１０−２００７５６号公報

しかしながら、従来技術においては、自然な画像を生成することが困難であるという問題がある。具体的には、上記従来技術では、画像のエッジ部分を強調させるので、画像全体としては自然な画像を生成することが困難である。

本発明が解決しようとする課題は、鮮鋭且つ自然な画像を生成することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することである。

実施形態の画像処理装置は入力画像から第１の範囲内での画素値の変化を表す特徴量と、前記入力画像の第２の範囲内での画素値の変化の複雑度を算出する特徴量算出部と、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、前記特徴量算出部によって算出された特徴量と前記複雑度とに基づいて重みを求め、求めた重みで所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成部と、前記入力画像に前記高周波成分を加算する加算部とを有する。

図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 図２は、第１の実施形態に係る分布算出部を説明する図である。 図３は、第１の実施形態に係る確率分布について説明する図である。 図４は、第１の実施形態に係る画像処理の流れの例を示すフローチャートである。 図５は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。 図６は、第２の実施形態に係る画像処理の流れの例を示すフローチャートである。 図７は、第３の実施形態に係る画像処理装置の構成例を示すブロック図である。 図８は、第３の実施形態に係る画像処理の流れの例を示すフローチャートである。 図９は、第４の実施形態に係る画像処理装置の構成例を示すブロック図である。 図１０は、第４の実施形態に係る分布算出部を説明する図である。 図１１は、第４の実施形態に係る画像処理の流れの例を示すフローチャートである。 図１２は、第５の実施形態に係る画像処理装置の構成例を示すブロック図である。 図１３は、第５の実施形態に係る勾配方向のヒストグラムについて説明する図である。 図１４は、第５の実施形態に係る画像処理の流れの例を示すフローチャートである。 図１５は、本発明の実施形態に係る画像処理装置の一例を示す図である。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置の構成例を示すブロック図である。例えば、図１に示すように、画像処理装置１００は、特徴量算出部１１０と、生成部１２０と、加算部１３０とを有する。かかる画像処理装置１００は、例えば、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。

特徴量算出部１１０は、所定範囲内での画素値の変化を表す特徴量を入力画像から算出する。例えば、特徴量算出部１１０は、微分フィルタ等を用いて、入力画像の輝度の勾配特徴を算出する。詳細には、特徴量算出部１１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを求める。ここで、フィルタのサイズは、例えば、３×３から５×５程度であるものとする。また、以下では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。

生成部１２０は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、特徴量算出部１１０で算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部１２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。

例えば、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度及び大きさの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を求める。ここで、上記確率分布について説明する。図２は、第１の実施形態に係る分布算出部を説明する図である。分布算出部１２５は、画像処理装置１００に含まれていても良いし、含まれていなくても良い。分布算出部１２５から出力された確率分布を生成部１２０が参照できれば良い。図３は、第１の実施形態に係る確率分布について説明する図である。

例えば、図２及び図３に示すように、分布算出部１２５は、学習用画像と学習用高周波成分画像との同一の画素における勾配をそれぞれ算出する。なお、学習用画像は、入力画像と同様に、画質が劣化している場合がある。学習用画像は例えば、高解像度画像を縮小した後に、この縮小画像を拡大することによって得る。また、学習用画像の勾配算出に利用するフィルタは、特徴量算出部１１０で利用されたフィルタと同一のものである。

そして、分布算出部１２５は、確率分布のｘ軸を学習用画像の各画素における勾配方向とし、確率分布のｙ軸を該勾配方向と垂直の方向とする領域において、学習用画像の勾配を（１，０）のベクトルに変換し、これに合わせて学習用高周波成分画像の勾配を相対的に変換したベクトルを求める。図３では、同様の変換が行われることを表すために「変換φ」として図示している。すなわち、このようにして画素ごとに求められた学習用高周波成分画像の勾配のばらつきを、図３に示す破線で囲まれた確率分布とする。また、図３に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。なお、確率分布は予め用意されるものである。

つまり、生成部１２０は、勾配強度の算出において、平均「μ１」及び標準偏差「σ１」である「正規分布Ｎ１」から得られる確率変数「α」と、平均「μ２」及び標準偏差「σ２」である「正規分布Ｎ２」から得られる確率変数「β」とから、高周波成分の勾配強度を（数１）で求める。
（数１）ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ
なお、（数１）において、「ｆｘ」は水平方向の勾配強度を表し、「ｆｙ」は垂直方向の勾配強度を表している。

続いて、生成部１２０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分を生成する。ここで、「Ｇｘ」及び「Ｇｙ」は、例えば、分布算出部１２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。つまり、生成部１２０は、勾配強度と局所勾配パターンとに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。
（数２）Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ

加算部１３０は、入力画像に高周波成分を加算する。例えば、加算部１３０は、入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する。なお、出力画像は、入力画像と同一の画像サイズである。また、第１の実施形態では、ｘ軸方向である水平方向微分フィルタと、ｙ軸方向である垂直方向微分フィルタとを用いて勾配特徴を算出する場合を例に挙げたが、これら以外のフィルタと該フィルタで抽出可能な勾配以外の特徴とを用いても良い。

次に、図４を用いて、第１の実施形態に係る画像処理の流れを説明する。図４は、第１の実施形態に係る画像処理の流れの例を示すフローチャートである。

例えば、図４に示すように、特徴量算出部１１０は、画像処理装置１００に入力画像が入力された場合に（ステップＳ１０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ１０２）。このとき、特徴量算出部１１０は、画像処理装置１００に入力画像が入力されていない場合に（ステップＳ１０１否定）、該入力画像の入力待ちの状態となる。

また、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ１０３）。続いて、生成部１２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ１０４）。また、加算部１３０は、入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ１０５）。

本実施形態によれば、画質の劣化した入力画像の画素ごとの特徴量と、画質の劣化した学習用画像の勾配に対する高周波成分を含む学習用画像の勾配の相対的なベクトルの分布を表す確率分布とから、入力画像の高周波成分を生成し、入力画像に高周波成分を加算するので、鮮鋭且つ自然な画像を生成することができる。

（第２の実施形態）
図５は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。第２の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。また、第２の実施形態では、動画、すなわち連続した２つ以上のフレーム（入力画像）に対する画像処理を実行する場合を例に挙げる。

例えば、図５に示すように、画像処理装置２００は、特徴量算出部１１０と、生成部２２０と、加算部１３０と、移動量算出部２４０と、記憶部２５０とを有する。また、第１の実施形態と同様に、画像処理装置２００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。

移動量算出部２４０は、第１入力画像と、第１入力画像よりも前に入力された第２入力画像とに基づいて、画素ごとに移動量を算出する。例えば、移動量算出部２４０は、画像処理対象である入力画像の画素から、直前に処理された入力画像の画素への動きの変化量である動きベクトルを算出する。なお、移動量算出部２４０によって算出される動きベクトルは、上記のように画素精度で算出しても良いし、１画素よりも細かいサブピクセル精度で算出しても良い。

記憶部２５０は、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布から求められた、画素ごとの移動量に対応する確率変数を記憶する。例えば、記憶部２５０は、分布算出部１２５によって求められた確率分布から得られる確率変数を所定数だけ記憶する。記憶部２５０によって記憶される確率変数の数は、最大で入力画像の画素数と同数である。また、記憶部２５０は、入力画像に対する画像処理の際に、直前の入力画像に対する画像処理でどの確率変数が利用されたかが分かるように、動きベクトルが表す座標に対応したメモリ領域となっている。

生成部２２０は、算出された移動量に対応する確率変数を記憶部２５０から取得し、取得した確率変数と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部２２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。

例えば、生成部２２０は、移動量算出部２４０によって算出された動きベクトルが表す直前に処理された入力画像の座標位置に対応した記憶部２５０のメモリ領域から、確率変数「α」及び確率変数「β」を取得する。例を挙げると、入力画像の座標（ｉ，ｊ）における動きベクトルが表す直前に処理された入力画像の座標が（ｋ，ｌ）であり、記憶部２５０のメモリ領域が「Ｍ×Ｎ」である場合に、生成部２２０は、座標（ｉ，ｊ）の確率変数は記憶部２５０の位置（ｋ ｍｏｄ Ｍ，ｌ ｍｏｄ Ｎ）から取得する。なお、「ｋ ｍｏｄ Ｍ」は、「ｋ」を「Ｍ」で割ったときの余りを表し、「ｌ ｍｏｄ Ｎ」は、「ｌ」を「Ｎ」で割ったときの余りを表す。

そして、生成部２２０は、取得した確率変数「α」及び確率変数「β」と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を（数１）で求める。続いて、生成部２２０は、高周波成分の勾配強度（水平方向：ｆｘ、垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。

次に、図６を用いて、第２の実施形態に係る画像処理の流れを説明する。図６は、第２の実施形態に係る画像処理の流れの例を示すフローチャートである。

例えば、図６に示すように、特徴量算出部１１０は、画像処理装置２００に入力画像が入力された場合に（ステップＳ２０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ２０２）。このとき、特徴量算出部１１０は、画像処理装置２００に入力画像が入力されていない場合に（ステップＳ２０１否定）、該入力画像の入力待ちの状態となる。

また、移動量算出部２４０は、画像処理対象である入力画像の画素から、直前に処理された入力画像の画素への動きの変化量である動きベクトルを算出する（ステップＳ２０３）。また、生成部２２０は、移動量算出部２４０によって算出された動きベクトルが表す直前に処理された入力画像の座標位置に対応した記憶部２５０のメモリ領域から、確率変数を取得する（ステップＳ２０４）。

そして、生成部２２０は、取得した確率変数と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ２０５）。続いて、生成部２２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ２０６）。また、加算部１３０は、入力画像に、生成部２２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ２０７）。

本実施形態によれば、直前の入力画像に対する画像処理でどの確率変数が利用されたかが分かる、画像処理対象である入力画像から直前に処理された入力画像への動きベクトルが表す座標に対応したメモリ領域を有する記憶部２５０を利用するので、動画像のちらつきを防止することができる。つまり、各フレームで独立に求めた確率変数を利用することで、画像処理に係る演算に利用される値がフレームごとに異なる可能性があり、これによりフレームごとに画像処理結果が異なるために、動画像のちらつきが発生してしまう場合があるため、本実施形態では、上記記憶部２５０を利用して、動画像のちらつきを防止している。

（第３の実施形態）
図７は、第３の実施形態に係る画像処理装置の構成例を示すブロック図である。第３の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。

例えば、図７に示すように、画像処理装置３００は、特徴量算出部１１０と、生成部１２０と、加算部１３０と、画像拡大部３６０とを有する。また、第１の実施形態と同様に、画像処理装置３００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。

画像拡大部３６０は、入力画像を拡大した拡大入力画像を生成する。例えば、画像拡大部３６０は、最近傍補間法、線形補間法及びキュービックコンボリューション法等の画像拡大の任意の手法を用いて、入力画像を拡大し、拡大入力画像を生成する。生成された拡大入力画像は、特徴量算出部１１０と加算部１３０とに入力される。画像拡大の任意の手法については、上記のように画素値を補間して画像を拡大する手法が多く提案されているが、可能な限り“ぼけ”の少ない画像を取得できる手法を用いることが望ましい。

なお、特徴量算出部１１０、生成部１２０及び加算部１３０は、画像拡大部３６０によって拡大された拡大入力画像に対する画像処理を、第１の実施形態と同様に実行するものであるため、詳細な説明を省略する。すなわち、出力画像は、入力画像よりもサイズが大きい拡大入力画像に、上記各種画像処理が施されたものである。

次に、図８を用いて、第３の実施形態に係る画像処理の流れを説明する。図８は、第３の実施形態に係る画像処理の流れの例を示すフローチャートである。

例えば、図８に示すように、画像拡大部３６０は、画像処理装置３００に入力画像が入力された場合に（ステップＳ３０１肯定）、画像拡大の任意の手法を用いて、入力画像を拡大し、拡大入力画像を生成する（ステップＳ３０２）。このとき、画像拡大部３６０は、画像処理装置３００に入力画像が入力されていない場合に（ステップＳ３０１否定）、該入力画像の入力待ちの状態となる。

また、特徴量算出部１１０は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画像拡大部３６０によって拡大された拡大入力画像の各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ３０３）。また、生成部１２０は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ３０４）。

続いて、生成部１２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ３０５）。また、加算部１３０は、拡大入力画像に、生成部１２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ３０６）。

本実施形態によれば、入力画像を拡大することにより画質の劣化した拡大入力画像の画素ごとの特徴量と、画質の劣化した学習用画像に対する高周波成分を含む学習用画像の相対的なベクトルの分布を表す確率分布とから、拡大入力画像の高周波成分を生成し、拡大入力画像に高周波成分を加算するので、鮮鋭且つ自然な画像を生成することができる。

（第４の実施形態）
図９は、第４の実施形態に係る画像処理装置の構成例を示すブロック図である。第４の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。

例えば、図９に示すように、画像処理装置４００は、特徴量算出部１１０と、生成部４２０と、加算部１３０とを有する。また、第１の実施形態と同様に、画像処理装置４００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。

生成部４２０は、学習用画像の特徴量の大きさごとに求められた複数の確率分布のうち、算出された特徴量の大きさに対応する確率分布と、算出された特徴量とに基づいて、画素値の変化のパターンを表す所定画像パターンの重みを求める。そして、生成部４２０は、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する。

例えば、生成部４２０は、学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度の分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴（Ｆｘ，Ｆｙ）とに基づいて、高周波成分の勾配強度を求める。ここで、上記確率分布について説明する。図１０は、第４の実施形態に係る分布算出部を説明する図である。

例えば、図１０に示すように、分布算出部４２５は、学習用画像と学習用高周波成分画像との同一の画素における勾配をそれぞれ算出する。なお、学習用画像は、入力画像と同様に、画質が劣化している場合がある。また、学習用画像の勾配算出に利用するフィルタは、特徴量算出部１１０で利用されたフィルタと同一のものである。

そして、分布算出部４２５は、確率分布のｘ軸を学習用画像の各画素における勾配方向とし、確率分布のｙ軸を該勾配方向と垂直の方向とする領域において、学習用画像の勾配方向をｘ軸方向に回転させ、これに合わせて学習用高周波成分画像の勾配も回転させたときの、該学習用高周波成分画像の勾配のばらつきを確率分布とする。ここで、確率分布は、学習用画像の勾配の大きさごとに求められる。また、確率分布は、２次元正規分布で表される。なお、確率分布は、予め用意されるものである。

つまり、生成部４２０は、勾配強度の算出において、平均「μ１」及び標準偏差「σ１」である正規分布から得られる確率変数「α」と、平均「μ２」及び標準偏差「σ２」である正規分布から得られる確率変数「β」とから、高周波成分の勾配強度を（数３）で求める。

なお、（数３）において、「ｆｘ」は水平方向の勾配強度を表し、「ｆｙ」は垂直方向の勾配強度を表している。

続いて、生成部４２０は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）とに基づいて、入力画像に対する高周波成分を生成する。ここで、「Ｇｘ」及び「Ｇｙ」は、例えば、分布算出部４２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。つまり、生成部４２０は、勾配強度と局所勾配パターンとに基づいて、入力画像に対する高周波成分「Ｔ」を（数２）により生成する。

次に、図１１を用いて、第４の実施形態に係る画像処理の流れを説明する。図１１は、第４の実施形態に係る画像処理の流れの例を示すフローチャートである。

例えば、図１１に示すように、特徴量算出部１１０は、画像処理装置４００に入力画像が入力された場合に（ステップＳ４０１肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ４０２）。このとき、特徴量算出部１１０は、画像処理装置４００に入力画像が入力されていない場合に（ステップＳ４０１否定）、該入力画像の入力待ちの状態となる。

また、生成部４２０は、学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な角度の分布を表す確率分布と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ４０３）。そして、生成部４２０は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ４０４）。また、加算部１３０は、入力画像に、生成部４２０によって生成された高周波成分を加算した出力画像を出力する（ステップＳ４０５）。

本実施形態によれば、画質の劣化した入力画像の画素ごとの特徴量と、画質の劣化した学習用画像の勾配の大きさごとに求められた、学習用画像の勾配に対する学習用高周波成分画像の勾配の分布を表す確率分布とから、入力画像の高周波成分を生成し、入力画像に高周波成分を加算するので、より鮮鋭且つ自然な画像を生成することができる。

（第５の実施形態）
図１２は、第５の実施形態に係る画像処理装置の構成例を示すブロック図である。第５の実施形態では、第１の実施形態と同様の処理を実行する機能部については同一の符号を付し、同様の処理についてはその説明を省略する場合がある。

図１２に示すように、画像処理装置５００は、特徴量算出部１１０と、生成部５０２と、複雑度算出部５０１と、加算部１３０とを有する。また、第１の実施形態と同様に、画像処理装置５００は、カメラやテレビジョン受信装置等に含まれるものであり、入力画像に各種画像処理を施して出力する。なお、入力画像は、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。

複雑度算出部５０１は、所定範囲内での画素値変化の複雑度を表す特徴量を入力画像から算出する。例えば、複雑度算出部５０１は、入力画像の所定範囲内での各画素における勾配方向のヒストグラムの偏りから、画素値変化の複雑度ｚを算出する。各画素の勾配方向は、例えば図１３（ａ）に示すｄ［０］〜ｄ［７］のいずれかの方向で表わされる。そして、入力画像の所定範囲内に含まれる画素の勾配方向のヒストグラムを求める（例えば図１３（ｂ））。なお、図１３（ａ）では勾配方向を８つの方向のいずれかで表わしたがこれに限らない。

ヒストグラムの偏りは、ヒストグラムの最大値を用いてもよいし、ヒストグラムの分散を用いてもよい。ヒストグラムの最大値を用いる場合は、最大値が大きいほど偏りが大きく、最大値が小さいほど偏りが小さくなる。また、ヒストグラムの分散を用いる場合は、分散が小さいほど偏りが大きく、分散が大きいほど偏りが小さい。偏りが小さい場合には複雑度ｚは大きくなり、偏りが大きい場合には複雑度ｚは小さくなる。複雑度ｚは０から１の間の値をとる。このように複雑度は、ヒストグラムの偏りを用いて算出するため、複雑度を算出する単位は、特徴量の算出を行う単位よりも広く、例えば３６画素×３６画素の範囲である。

生成部５０２は、画素値の変化のパターンを表す所定画像パターンの重みを求め、求めた重みで所定画像パターンを重み付けることにより、入力画像に対する高周波成分を生成する点は、生成部１２０と同じである。生成部１２０では、勾配強度（ｆｘ、ｆｙ）を求める際に、特徴量算出部１１０で算出した特徴量（Ｆｘ、Ｆｙ）と、分布算出部１２５で求めた確率分布（α、β）から、（数１）により求めたが、生成部５０２では、複雑度算出部５０１で算出した複雑度ｚをさらに用いる点が異なる。

例えば、生成部５０２は、複雑度ｚが大きければ確率分布（α、β）を用い、複雑度ｚが小さければ固定値（ｐ、ｑ）を用いて勾配強度（ｆｘ、ｆｙ）の算出を行う。具体的には、複雑度ｚを所定の閾値と比較し、複雑度ｚが所定の閾値よりも高ければ確率分布（α、β）を用いて（数１）によって勾配強度（ｆｘ、ｆｙ）を求める。一方、複雑度ｚが所定の閾値よりも低ければ、固定値（ｐ、ｑ）を用いて（数４）によって勾配強度（ｆｘ、ｆｙ）の算出を行う。
（数４）ｆｘ＝ｐＦｘ＋ｑＦｙ，ｆｙ＝ｐＦｙ−ｑＦｘ

生成部５０２は、複雑度ｚの値に応じて固定値（ｐ、ｑ）と確率分布（α、β）を勾配強度（ｆｘ、ｆｙ）の算出に用いる割合を連続的に制御してもよい。具体的には、例えば、（数５）を用いて、固定値（ｐ、ｑ）と確率分布（α、β）を複雑度ｚに応じた混合率でブレンドする。
（数５）
ｆｘ＝（ｚα＋（１−ｚ）ｐ）Ｆｘ＋（ｚβ＋（１−ｚ）ｑ）Ｆｙ、
ｆｙ＝（ｚα＋（１−ｚ）ｐ）Ｆｙ−（ｚβ＋（１−ｚ）ｑ）Ｆｘ

固定値（ｐ、ｑ）は任意の値をとることが可能だが、確率分布によるばらつきをおさえるという目的では、確率分布の平均値を用いることが望ましい。例えば、分布算出部１２５で用意した２次元正規分布による確率分布を用いる場合、固定値ｐは、正規分布Ｎ１の平均値μ１、固定値ｑは、正規分布Ｎ２の平均値μ２とすればよい。

以上から求めた勾配強度ｆｘ、ｆｙを所定画像パターンの重みとして用いて入力画像に対する高周波成分を生成する。高周波成分の生成方法は生成部１２０と同様である。

本実施形態によれば、方向性を持たない複雑なテクスチャ領域では確率分布を用いることで自然なばらつきを持った高周波成分を生成することができ、木目のような方向性を持つ規則的なテクスチャ領域ではばらつきのない鮮鋭な高周波成分を生成することができる。

次に、図１４を用いて、第５の実施形態に係る画像処理の流れを説明する。例えば、図１４に示すように、複雑度算出部５０１は、画像処理装置５００に入力画像が入力された場合に（ステップＳ５１０肯定）、所定範囲内での画素値変化の複雑度を表す特徴量を入力画像から算出する（ステップＳ５３０）。

また、特徴量算出部１１０は、画像処理装置５００に入力画像が入力された場合に（ステップＳ５１０肯定）、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ５２０）。また、生成部５０２は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、複雑度算出部５０１によって算出された複雑度と、特徴量算出部１１０によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める（ステップＳ５４０）。

続いて、生成部５０２は、高周波成分の勾配強度と、局所勾配パターンとに基づいて、入力画像に対する高周波成分を生成する（ステップＳ５５０）。また、加算部１３０は、入力画像に、生成部５０２によって生成された高周波成分を加算した出力画像を出力する（ステップＳ５６０）。

また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、各実施形態で説明した画像処理装置の各機能は、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。例えば、図１５に示すコンピュータのメインメモリ２０に画像処理装置の各機能を実現するプログラムを記憶し、プロセッサ１０でこのプログラムを実行する。画像処理装置によって処理された出力画像は、例えば、入出力デバイス４０によって接続されたディスプレイやインターネットで接続された機器に出力することができる。この画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

１００ 画像処理装置
１１０ 特徴量算出部
１２０ 生成部
１３０ 加算部

Claims (9)

1. 入力画像から第１の範囲内での画素値の変化を表す特徴量と、前記入力画像の第２の範囲内での画素値の変化の複雑度を算出する特徴量算出部と、
   学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布を求め、前記特徴量算出部によって算出された特徴量と前記複雑度とに基づいて重みを求め、求めた重みで高周波成分を含む学習用画像の特徴量を算出する際に用いたフィルタと同一の輝度変化を有する基底パターンである所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成部と、
   前記入力画像に前記高周波成分を加算する加算部と
   を有し、
   前記重みは、固定値と前記確率分布から得た値とを前記複雑度に応じた割合でブレンドした値、または固定値と前記確率分布から得た値の前記複雑度に応じて選択されるいずれか一方の値によって前記特徴量を変化させることによって算出することを特徴とする画像処理装置。
2. 前記複雑度が第１の値の場合と前記第１の値よりも高い第２の値の場合とでは、前記複雑度が第２の値の場合の方が、前記確率分布から得た値が高い割合となるように固定値と前記確率分布から得た値とをブレンドした値によって前記重みを算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成部は、前記複雑度が所定の閾値よりも高い場合には前記確率分布から得た値で前記特徴量算出部によって算出された特徴量を変化させて前記重みを算出し、前記複雑度が所定の閾値よりも低い場合には前記固定値で前記特徴量算出部によって算出された特徴量を変化させて前記重みを算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記固定値は、前記確率分布の平均値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 第１入力画像と、前記第１入力画像よりも前に入力された第２入力画像とに基づいて、画素ごとに移動量を算出する移動量算出部と、
   前記確率分布から求められた、前記画素ごとの前記移動量に対応する確率変数を記憶する記憶部と
   をさらに有し、
   前記生成部は、算出された前記移動量に対応する前記確率変数を前記記憶部から取得し、取得した確率変数と、算出された前記特徴量と前記複雑度とに基づいて、前記所定画像パターンの重みを求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記入力画像を拡大した拡大入力画像を生成する画像拡大部をさらに有し、
   前記特徴量算出部は、所定範囲内での前記特徴量を前記拡大入力画像から算出し、
   前記生成部は、前記確率分布と、算出された前記特徴量と前記複雑度とに基づいて、前記所定画像パターンの重みを求め、求めた重みで該所定画像パターンを重み付けることにより、前記拡大入力画像に対する高周波成分を生成し、
   前記加算部は、前記拡大入力画像に前記高周波成分を加算することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記生成部は、前記学習用画像の前記特徴量の大きさごとに求められた複数の前記確率分布のうち、算出された前記特徴量の大きさに対応する前記確率分布と、算出された前記特徴量と前記複雑度とに基づいて、前記所定画像パターンの重みを求めることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
8. 入力画像から第１の範囲内での画素値の変化を表す特徴量と、前記入力画像の第２の範囲内での画素値の変化の複雑度を算出する特徴量算出ステップと、
   学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布を求め、算出された前記特徴量と前記複雑度とに基づいて重みを求め、求めた重みで高周波成分を含む学習用画像の特徴量を算出する際に用いたフィルタと同一の輝度変化を有する基底パターンである所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する生成ステップと、
   前記入力画像に前記高周波成分を加算する加算ステップと
   をコンピュータに実行させるための画像処理プログラムであって、
   前記重みは、固定値と前記確率分布から得た値とを前記複雑度に応じた割合でブレンドした値、または固定値と前記確率分布から得た値の前記複雑度に応じて選択されるいずれか一方の値によって前記特徴量を変化させることによって算出する画像処理プログラム。
9. 画像処理装置で実行される画像処理方法であって、
   特徴量算出手段が、入力画像から第１の範囲内での画素値の変化を表す特徴量と、前記入力画像の第２の範囲内での画素値の変化の複雑度を入力画像から算出する工程と、
   生成手段が、学習用画像の特徴量に対する高周波成分を含む学習用画像の特徴量の相対的な値の分布を表す確率分布と、算出された前記特徴量とに基づいて重みを求め、求めた重みで高周波成分を含む学習用画像の特徴量を算出する際に用いたフィルタと同一の輝度変化を有する基底パターンである所定画像パターンを重み付けることにより、前記入力画像に対する高周波成分を生成する工程と、
   加算手段が、前記入力画像に前記高周波成分を加算する工程と
   を含むことを特徴とする画像処理方法であって、
   前記重みは、固定値と前記確率分布から得た値とを前記複雑度に応じた割合でブレンドした値、または固定値と前記確率分布から得た値の前記複雑度に応じて選択されるいずれか一方の値によって前記特徴量を変化させることによって算出する画像処理方法。

Images