JP5289540B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。

従来、カメラやテレビジョン受信装置等では、画像の解像度や画質を向上させるために様々な画像処理が施されている。画像処理の一つの様態として、フレーム画像にテクスチャ等高周波画像成分を付与する技術がある。当該従来技術では、例えば、フレーム画像毎にテクスチャ画像を生成した上で、当該テクスチャ画像を高周波成分画像に付与することで、質感を向上させることができる。

特開２０１１−１２０２７０号公報

しかしながら、従来技術においては、フレーム画像毎にテクスチャ等の高周波画像を付与する際の解析等は、処理負担が大きいという問題がある。

本発明は、上記に鑑みてなされたものであって、画質を向上しつつ処理負担を軽減できる画像処理装置、及び画像処理方法を提供する。

実施形態の画像処理装置は、画像縮小手段と、移動量算出手段と、算出手段と、重畳手段と、を備える。画像縮小手段は、入力画像情報を所定の縮小率で縮小した縮小入力画像情報を生成する。移動量算出手段は、縮小入力画像情報と、入力画像情報よりも前に入力された画像情報を所定の縮小率で縮小した縮小前画像情報と、に基づいて、予め定められた第１の表示領域単位で移動量を算出する。算出手段は、移動量算出手段で算出された第１の表示領域単位の移動量を、所定の縮小率の逆数である第１の拡大率で拡大して、入力画像情報の第２の表示領域単位の移動量を算出し、第２の表示領域単位の移動量に基づいて、入力画像情報に重畳する高周波成分画像情報の度合いを示した調整度合いを第２の表示領域単位で算出し、前記第２の表示領域単位で分けられる領域のうちいずれか一つを示した第１領域の前記調整度合いと、前記第２の表示領域単位で分けられる領域のうち当該第１領域に隣接する第２領域の前記調整度合いと、に基づいて、当該第１領域について、前記第２の表示領域単位より表示サイズが小さい表示ブロック単位で前記調整度合いを算出する。重畳手段は、算出手段により表示ブロック単位で算出された調整度合いに従って、所定の高周波成分画像情報を、入力画像情報に重畳する。

図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。 図２は、第１の実施形態にかかる分布算出部を示した図である。 図３は、第１の実施形態にかかる確率分布について説明する図である。 図４は、第１の実施形態にかかる画像処理装置における画像処理を説明した図である。 図５は、６４×６４ドット単位で算出された画質調整係数に従って、重畳された出力画像データの例を示した図である。 図６は、第１の実施形態にかかる係数補間部による画質調整係数の補間の例を示した図である。 図７は、第１の実施形態にかかる係数補間部が８×８ドット単位で画質調整係数を算出するために用いる参照領域の例を示した図である。 図８は、８×８ドット単位で補間された画質調整係数に従って、重畳された出力画像データの例を示した図である。 図９は、第１の実施形態にかかる画像処理装置における、出力画像データの生成処理の手順を示すフローチャートである。

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置の構成例を示すブロック図である。例えば、図１に示すように、画像処理装置１００は、画像拡大部１０１と、画像縮小部１０２と、特徴量算出部１０３と、移動量算出部１０４と、確率分布記憶部１０５と、生成部１０７と、係数算出部１０８と、重畳部１０９と、を備える。かかる画像処理装置１００は、例えば、カメラやテレビジョン受信装置等に含まれるものであり、入力画像データに各種画像処理を施した後、出力画像データとして出力する。

画像拡大部１０１は、入力画像データを所定の拡大率で拡大し、拡大入力画像データを生成する。本実施形態にかかる画像拡大部１０１は、フルＨＤ(High Definition:1920×1080ドット)の入力画像データを、４Ｋ２Ｋ（3840×2160ドット）の拡大入力画像データに拡大する例とする。本実施形態にかかる所定の拡大率は、例えば、縦２倍、横２倍とする。なお、本実施形態は、入力画像データ及び拡大入力画像データの画像サイズを制限するものではなく、例えばＳＤの入力画像データを、ＨＤの拡大入力画像データに拡大しても良い。

画像拡大部１０１による拡大手法として、例えば、最近傍補間法、線形補間法及びCubic Convolution法等の画像拡大の任意の手法を用いる。画像データの拡大手法は、上記のように画素値を補間して画像を拡大する手法が多く提案されているが、可能な限り“ぼけ”の少ない画像を取得できる手法を用いることが望ましい。ところで、画像拡大部１０１による画像データの拡大により画質が劣化する場合や、入力画像データが入力された段階で、撮影、圧縮、拡大又は縮小等により、画質が劣化している場合がある。そこで、本実施形態では、後述する構成で、拡大された後の画像データの画質の劣化を抑止する。

画像縮小部１０２は、入力画像データを所定の縮小率で縮小し、縮小入力画像を生成する。本実施形態にかかる画像縮小部１０２は、フルＨＤ(High Definition:1920×1080ドット)の入力画像データを、（480×270ドット）の縮小入力画像データに縮小する例とする。そして、本実施形態にかかる所定の縮小率は、例えば、縦１／４倍、横１／４倍とする。本実施形態は、縮小入力画像データに基づいて、後述する移動量を求めることで、処理負担を軽減できる。なお、本実施形態は、縮小入力画像データの画像サイズ及び縮小率を制限するものではない。さらに、変形例としては、入力画像データを縮小せずに、入力画像データに基づいて勾配特徴データと移動量とを算出しても良い。

画像縮小部１０２による縮小手法として、例えば、Bi Linear／Bi Cubicなどのアルゴリズムを用いることが考えられるが、縮小手法を制限するものではない。本実施形態では、画像縮小部１０２で縮小処理をした後、後述する構成で処理を行うことで、処理負担を軽減できる。

特徴量算出部１０３は、拡大入力画像データに含まれる画素毎に、勾配特徴データを算出する。勾配特徴データとは、拡大入力画像データに含まれる画素毎に、当該画素の周辺の所定の表示領域内の画素値の変化を、傾きとして表した特徴情報とする。例えば、特徴量算出部１０３は、微分フィルタ等を用いて、拡大入力画像データに含まれる画素毎の勾配特徴データを算出する。本実施形態では、特徴量算出部１０３は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、画素毎に、水平方向の勾配特徴データと、垂直方向の勾配特徴データと、を算出する。算出に用いるフィルタのサイズは、例えば、３×３〜５×５程度とするが、サイズに制限を設けるものではない。なお、下記では、水平方向の勾配特徴を「Ｆｘ」、垂直方向の勾配特徴を「Ｆｙ」と記載する場合がある。また、本実施形態は、画素毎の特徴データとして、勾配特徴データを用いる例について説明するが、勾配特徴データに制限するものではなく、画素毎に他の画素との違いを認識できる特徴データであればよい。

移動量算出部１０４は、縮小入力画像データ（後フレーム）と、入力画像データよりも前に入力された画像データを縮小した縮小前画像データ（前フレーム）と、に基づいて、予め定められた表示領域サイズ単位での移動量を算出する。本実施形態にかかる移動量算出部１０４は、予め定められた表示領域サイズとして８×８ドット単位で移動量を算出するが、他の表示領域サイズでも良いし、１画素単位、さらには１画素よりも細かいサブピクセル精度で算出しても良い。また、移動量の算出対象となる画像データは、動画データに含まれている前後２フレームの縮小入力画像データなどとする。そして、移動量算出部１０４は、画像処理対象である縮小入力画像データの画素から、直前に処理された縮小入力画像データの画素への動きの変化量である動きベクトルを算出する。そして、移動量算出部１０４は、動きベクトルから画像毎の移動量を、絶対値で算出する。

生成部１０７は、学習用画像データに含まれる画素毎の勾配特徴データに対する、当該学習用画像データに含まれる画素毎の高周波成分の勾配特徴データの相対的な値の分布を表す確率分布と、算出された勾配特徴データ（Ｆｘ，Ｆｙ）と、に基づいて、拡大入力画像データに含まれる画素毎の高周波成分に関する重みである、局所勾配パターンの勾配強度を算出する。

本実施形態にかかる局所勾配パターンは、予め定められた画素値（例えば、輝度値）の変化のパターンを表した所定画像パターンとする。勾配強度は、勾配特徴に基づいて算出される、拡大入力画像データに含まれる画素毎の高周波成分に関する重みであり、拡大入力画像データの高周波成分の生成に用いる。

そして、生成部１０７は、当該局所勾配パターンを勾配強度で重み付けして、拡大入力画像データに対する高周波成分を示したテクスチャ画像データを生成する。なお、局所勾配パターン及び勾配強度の詳細は、後述する。

本実施形態にかかる確率分布は、上述した相対的な値の分布として、学習用画像データの画素毎の勾配に対する学習用高周波成分画像データの画素毎の勾配の相対的な角度及び大きさの分布とする。ここで、確率分布について説明する。図２は、第１の実施形態にかかる分布算出部１２５を示した図である。なお、分布算出部１２５は、画像処理装置１００内部に備えても良い。また、分布算出部１２５を画像処理装置１００の外部に備え、分布算出部１２５により算出された確率分布を画像処理装置１００内部に記憶してもよい。

図２に示すように、分布算出部１２５は、学習用画像データと、学習用高周波成分画像データと、を入力し、確率分布データを出力する。出力された確率分布データは、確率分布記憶部１０５に記憶される。

図３は、第１の実施形態にかかる確率分布について説明する図である。分布算出部１２５は、学習用画像データと学習用高周波成分画像データとの同じ位置の画素における勾配をそれぞれ算出する。この勾配算出に利用する微分フィルタは、特徴量算出部１０３で利用されたフィルタと同一のものとする。学習用高周波成分画像データは、学習用画像データの高周波成分の画像データとする。なお、学習用画像データは、拡大入力画像データと同様に、画質が劣化している場合がある。

図３に示すように、分布算出部１２５は、２次元の平面の領域上に確率分布を算出する。当該平面領域のｘ軸を、学習用画像データの各画素の勾配方向とし、ｙ軸を該勾配方向と垂直の方向とする。分布算出部１２５は、学習用画像データに含まれる各画素の勾配を（１，０）のベクトルに変換する。任意の画素の勾配を、（１，０）のベクトルに変換した変換行列を「変換φ」とする。そして、分布算出部１２５は、当該任意の画素と同じ位置の、学習用高周波成分画像データの画素の勾配を、当該変換φを用いて変換する。これにより、学習用画像データの各画素の勾配を基準に相対的に変換された、学習用高周波成分画像データの各画素の勾配のベクトルが求められる。

分布算出部１２５が、画素毎に、上述した高周波成分の勾配のベクトルの算出を行うことで、学習用高周波成分画像データの勾配のばらつきを表した、図３に示す破線で囲まれた確率分布を算出する。図３に示すように、確率分布は、２次元正規分布「正規分布Ｎ１」、「正規分布Ｎ２」で表される。

本実施の形態にかかる画像処理装置１００では、上述した処理で算出された確率分布が、確率分布記憶部１０５に予め記憶されている。

そして、生成部１０７は、当該確率分布と、勾配特徴データと、を用いて、勾配強度を算出する。「正規分布Ｎ１」の平均を「μ１」とし、標準偏差を「σ１」とする。また、「正規分布Ｎ２」の平均を「μ２」とし、標準偏差を「σ２」とする。生成部１０７は、「正規分布Ｎ１」から、確率変数“α”を取得し、「正規分布Ｎ２」から確率変数“β”を取得する。そして、生成部１０７は、確率変数“α”、確率変数“β”、及び勾配特徴データ（Ｆｘ，Ｆｙ）を、以下に示す式（１）に代入して、高周波成分の勾配強度を算出する。
ｆｘ＝αＦｘ＋βＦｙ，ｆｙ＝αＦｙ−βＦｘ…（１）
なお、式（１）において、“ｆｘ”を水平方向の勾配強度を示し、“ｆｙ”を垂直方向の勾配強度を示している。

続いて、生成部１０７は、高周波成分の勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）と、に基づいて、入力画像データに対する高周波成分を生成する。「Ｇｘ」及び「Ｇｙ」は、予め定められた画素値の変化のパターンを表した所定画像パターンであって、本実施形態では、分布算出部１２５によって学習用高周波成分画像の勾配の算出に用いられたフィルタと同一の輝度変化を有する基底パターンである。

つまり、生成部１０７は、勾配強度（水平方向：ｆｘ，垂直方向：ｆｙ）と局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）を、式（２）に代入して、拡大入力画像データに含まれる画素毎に高周波成分「Ｔ」を算出する。そして、画素毎に算出された高周波成分「Ｔ」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、拡大入力画像データ同一の表示領域サイズとする。
Ｔ＝ｆｘ・Ｇｘ＋ｆｙ・Ｇｙ…（２）

そして、生成部１０７は、学習用画像の勾配に対する学習用高周波成分画像の勾配の相対的な大きさ及び角度であるベクトルの分布を表す確率分布と、特徴量算出部１０３によって算出された勾配特徴とに基づいて、高周波成分の勾配強度を求める。

そして、生成部１０７は、次に入力された拡大入力画像データの高周波成分を生成する際に、前に入力された拡大入力画像データとの間の移動量を用いて、高周波成分を生成する。ところで、本実施形態は、移動量の探索に用いた画像データ（縮小入力画像データ）と、拡大入力画像データと、の表示領域のサイズが異なる。このため、本実施形態にかかる生成部１０７は、拡大入力画像データにあわせて移動量を拡張する。本実施形態にかかる生成部１０７は、移動量算出部１０４により算出された縮小入力画像データの８×８ドット単位の移動量から、拡大入力画像データ（縮小入力画像データの縦８倍、横８倍）の６４×６４ドット単位の移動量を算出する。

なお、本実施形態では、縮小入力画像データに基づいて算出された移動量を用いて、拡大入力画像データの移動量を算出する例について説明した。しかしながら、本実施形態は、拡大入力画像データの移動量を算出することに制限するものではない。例えば、画像処理装置が、出力画像データを出力する際に入力画像データを拡大しない場合もある。この場合、生成部は、縮小入力画像データに基づいて算出された移動量を用いて、入力画像データの移動量を算出するが、移動量算出部により算出された縮小入力画像データの８×８ドット単位の移動量から、縦４倍（縮小率１／４の逆数）、横４倍（縮小率１／４の逆数）の３２×３２ドット単位の移動量を算出すればよい。

生成部１０７は、移動量算出部１０４により算出された動きベクトルに基づいて、当該拡大入力画像データの画素の確率変数を取得する。本実施形態にかかる生成部１０７は、算出された動きベクトルに基づいて、当該拡大入力画像データの画素の移動前の位置を特定し、特定した位置の確率変数を、確率分布記憶部１０５から取得する。例えば、生成部１０７は、移動量算出部１０４によって算出された動きベクトルが表す直前に処理された拡大入力画像データの座標位置に対応した、確率分布記憶部１０５のメモリ領域から、確率変数“α”及び確率変数“β”を取得する。例えば、拡大入力画像データの座標（ｉ，ｊ）を指し示す動きベクトルによる、移動前の拡大入力画像データの座標が（ｋ，ｌ）であり、確率変数記憶部１０５のメモリ領域が「Ｍ×Ｎ」である場合、生成部１０７は、座標（ｉ，ｊ）の確率変数を、確率変数記憶部１０５の位置（ｋ ｍｏｄ Ｍ，ｌ ｍｏｄ Ｎ）から取得する。なお、「ｋ ｍｏｄ Ｍ」は、「ｋ」を「Ｍ」で割ったときの余りを表し、「ｌ ｍｏｄ Ｎ」は、「ｌ」を「Ｎ」で割ったときの余りを表す。

本実施形態によれば、直前の入力画像に対してどの確率変数が利用されたかが分かる。直前に処理された入力画像への動きベクトルが示す座標に対応したメモリ領域を使って確率分布記憶部１０５を利用するので、動画像を処理した場合に、ちらつきを抑制することができる。

生成部１０７は、拡大入力画像データに含まれる画素であって、前の拡大入力画像データから移動した各画素に対して、取得した確率変数“α”及び確率変数“β”と、特徴量算出部１０３により算出された勾配特徴（Ｆｘ，Ｆｙ）と、を式（１）に代入することで、高周波成分の勾配強度を算出する。

続いて、生成部１０７は、算出された高周波成分の勾配強度（水平方向：ｆｘ、垂直方向：ｆｙ）と、局所勾配パターン（水平方向：Ｇｘ，垂直方向：Ｇｙ）と、を式（２）に代入して、拡大入力画像データに含まれる画素毎の高周波成分「Ｔ」を算出する。そして、画素毎に算出された高周波成分「Ｔ」で構成された高周波成分画像データを、本実施形態ではテクスチャ画像データとする。なお、本実施形態では、テクスチャ画像データは、拡大入力画像データ同一の表示領域サイズとする。

図４は、本実施形態にかかる画像処理装置１００における画像処理を説明した図である。図４に示すように、画像処理装置１００は、入力画像データから、拡大入力画像データと、テクスチャ画像データと、を生成し、拡大入力画像データに対して、検出した動き量（移動量）に併せてテクスチャ画像データを重畳して、出力画像データを生成する。

ところで、ＨＤの画像データを、単に４Ｋ２Ｋの画像データとして拡大すると、テクスチャが弱く、ぼやけた感じの画像データとなる。これに対し、テクスチャ画像データは、上述したように、高周波成分で構成された画像データである。そこで、画像処理装置１００が、テクスチャ画像データを重畳して生成した出力画像データを表示部に表示すると、テクスチャを詳細に表示できる。これにより、質感が向上し、高画質化を図ることができる。

しかしながら、拡大入力画像データに対して、単純にテクスチャ画像データを重畳すると、動きがある表示領域で、細かい柄、模様等が強調されるため、ユーザにはノイズのように感じられるという問題が生じる。

そこで、本実施形態にかかる画像処理装置１００では、移動量算出部１０４による動き探索で得られた移動量から、重畳するテクスチャ画像データの度合い（以下、画質調整係数と称す）を算出し、算出した画質調整係数を用いて、拡大入力画像データに対して、テクスチャ画像データを重畳することとした。

係数算出部１０８は、移動量算出部１０４で算出された移動量に基づいて、拡大入力画像データに重畳するテクスチャ画像データの画質調整係数を、６４×６４ドット単位で算出する。

ところで、本実施形態では、移動量算出部１０４が、縮小入力画像データにおいて８×８ドット単位で動き探索を行った。縮小入力画像データは、入力画像データを縦１／４倍、横１／４倍に縮小しているので、係数算出部１０８は、入力画像データと同じ解像度の移動量に拡張するために、これらの逆数である縦４倍、横４倍で８×８ドットを拡大し、入力画像データの３２×３２ドット単位の移動量を求める。さらに、係数算出部１０８は、拡大入力画像データと同じ解像度の移動量に拡張するために、３２×３２ドットを縦２倍、横２倍で拡大し、拡大入力画像データの６４×６４ドット単位の移動量を求める。

そして、係数算出部１０８は、６４×６４ドット単位の移動量に基づいて、６４×６４ドット単位の画質調整係数を算出する。本実施形態にかかる係数算出部１０８は、移動量に基づいて、０．０〜１．０の範囲で、画質調整係数を算出する。例えば、検出された移動量が、予め定められた上限値を超えた場合、係数算出部１０８は、画質調整係数を‘０．０’とし、検出された移動量が、予め定められた下限値を下回った場合、係数算出部１０８は、画質調整係数を‘１．０’とする。

本実施形態にかかる画質調整係数の算出手法は、移動量が小さいほど画質調整係数αの値が大きく、移動量が大きいほど画質調整係数αが小さくなるよう算出する例について説明するが、このような実装に制限するものではなく、移動量に従って適切な画質調整係数が設定される手法であればよい。さらには、移動量以外の変数と組み合わせる等により、画質調整係数を算出しても良い。

図５は、６４×６４ドット単位で算出された画質調整係数に従って、重畳された出力画像データの例を示した図である。図５に示すように、係数算出部１０８による、６４×６４ドット単位での、テクスチャ画像データを重畳するか否かに従うと、領域５０１、５０２に示すように、テクスチャ画像データが重畳されない表示領域と、テクスチャ画像データが重畳される表示領域と、の境目が明確となる。そこで、本実施形態にかかる画像処理装置１００では、係数補間部１１０が、画質調整係数の補間処理を行う。

係数補間部１１０は、６４×６４ドット単位で示される任意の表示領域の画質調整係数と、当該任意の表示領域に隣接する６４×６４ドット単位の表示領域の画質調整係数と、に基づいて、任意の表示領域に含まれる、８×８ドット単位で画質調整係数を算出する。

図６は、係数補間部１１０による画質調整係数の補間の例を示した図である。図６に示す例では、係数補間部１１０は、表示領域‘Ａ’〜‘Ｐ’までの６４×６４ドット単位で算出された画質調整係数に基づいて、６４×６４ドットの表示領域を分割した８×８ドット単位のブロック単位の画質調整係数を求める。係数補間部１１０は、表示領域を分割した８×８ドット単位のブロック毎に、当該表示領域に隣接する６４×６４ドットの表示領域との距離（ｒ、ｓ）に対応した重み（ｒ／６４、ｓ／６４ etc）と、隣接する表示領域の画質調整係数と、を用いて、８×８ドット単位の画質調整係数を算出する。係数補間部１１０は、表示領域Ｆの左上に存在するブロック６０１の画質調整係数ｖｒｎｇを、以下の式（３）を用いて算出する。なお、アルファベットａ、ｂ、ｅ、ｆは、各表示領域Ａ、Ｂ、Ｅ、Ｆの画質調整係数とし、距離（ｓ，ｒ）は、表示領域Ｆの中心からの距離とする。
ｖｒｎｇ＝（ａ＊（ｒ／６４）＋ｂ＊（（６４―ｒ）／６４））＊（ｓ／６４）＋（ｅ＊（ｒ／６４）＋ｆ＊（（６４―ｒ）／６４））＊（（６４−ｓ）／６４）…（３）

図７は、係数補間部１１０が８×８ドット単位で画質調整係数を算出するために用いる参照領域の例を示した図である。図７に示すように、係数補間部１１０は、表示領域Ｆに含まれている８×８ドットの単位で画質調整係数を算出する際に、表示領域Ｆの左上に存在するブロックでは表示領域Ａ、Ｂ、Ｅを用い、表示領域Ｆの右上に存在するブロックでは表示領域Ｂ、Ｃ、Ｇを用い、表示領域Ｆの左下に存在するブロックでは表示領域Ｅ、Ｉ、Ｊを用い、表示領域Ｆの右下に存在するブロックでは表示領域Ｇ、Ｊ、Ｋを用いる。

図８は、８×８ドット単位で補間された画質調整係数に従って、重畳された出力画像データの例を示した図である。図８に示すように、８×８ドット単位の画質調整係数を用いることで、領域８０１、８０２に示すように、テクスチャ画像データが重畳されない表示領域と、テクスチャ画像データが重畳される表示領域と、の境目が曖昧になり、平滑化される。

なお、本実施形態では、画質調整係数の補間を８×８ドット単位で行う例について説明したが、８×８ドット単位に制限するものではない。例えば、４×４ドット単位で画質調整係数を補間しても良いし、ピクセル単位で画質調整係数を補間しても良い。

重畳部１０９は、係数算出部１０８により算出された画質調整係数に基づいて、テクスチャ画像データを、拡大入力画像データに重畳する。本実施形態にかかる重畳部１０９は、８×８ドット単位で算出された画質調整係数に基づいて、８×８ドット単位で、テクスチャ画像データを、拡大入力画像データに重畳する。これにより、拡大入力画像データと同一の画像サイズの出力画像データが生成される。

本実施形態にかかる重畳部１０９は、以下の式（４）で示す処理を画素毎に行うことで、出力画像データを算出する。式（４）では、出力画像データの画素値Ｚ、拡大入力画像データの画素値Ｘ、テクスチャ画像データの画素値Ｙ、画質調整係数αとする。これらの画素値Ｘ、Ｙ、Ｚは、全て同一の位置の画素値とする。
Ｚ＝Ｘ＋αＹ…（４）

次に、本実施の形態にかかる画像処理装置１００における、出力画像データの生成処理について説明する。図９は、本実施の形態にかかる画像処理装置１００における上述した処理の手順を示すフローチャートである。

図９に示す例では、画像拡大部１０１は、画像処理装置１００に入力画像データが入力されたか否かを判定する。そして、画像拡大部１０１は、画像処理装置１００に入力画像データが入力されたと判定した場合（ステップＳ９０１：Ｙｅｓ）、任意の画像拡大の手法を用いて、所定の拡大率で入力画像データを拡大し、拡大入力画像を生成する（ステップＳ９０２）。なお、画像拡大部１０１は、画像処理装置１００に入力画像データが入力されていないと判定した場合（ステップＳ９０１：Ｎｏ）、該入力画像データの入力待ちの状態となる。

そして、入力画像データが入力された場合に、画像縮小部１０２は、任意の画像縮小の手法を用いて、所定の縮小率で入力画像データを縮小し、縮小入力画像データを生成する（ステップＳ９０３）。

特徴量算出部１０３は、水平方向微分フィルタ又は垂直方向微分フィルタを用いて、拡大入力画像データの各画素における水平方向の勾配特徴と垂直方向の勾配特徴とを算出する（ステップＳ９０４）。

移動量算出部１０４は、直前に処理された縮小入力画像データの画素から、画像処理対象である縮小入力画像データの画素への動きを表した移動量及び動きベクトルを、８×８ドット単位で算出する（ステップＳ９０５）。

また、生成部１０７は、学習用画像データに含まれる画素毎の勾配特徴に対する、当該学習用画像データの高周波成分に含まれる画素毎の勾配特徴の、相対的な大きさ及び角度であるベクトルの分布を表す確率分布に基づく確率変数と、特徴量算出部１０３によって算出された勾配特徴と、に基づいて、拡大入力画像データの画素毎の勾配強度を求める（ステップＳ９０６）。

続いて、生成部１０７は、拡大入力画像データの画素毎の高周波成分に関する勾配強度と、局所勾配パターンと、に基づいて、拡大入力画像データに対する高周波成分を表したテクスチャ画像データを生成する（ステップＳ９０７）。

係数算出部１０８は、拡大入力画像データに従って拡大された６４×６４ドット単位の移動量に基づいて、６４×６４ドット単位の画質調整係数を算出する（ステップＳ９０８）。

そして、係数補間部１１０が、６４×６４ドット単位の画質調整係数と、隣接する６４×６４ドット単位の参照領域の画質調整係数と、を用いて、８×８ドット単位の画質調整係数を算出する（ステップＳ９０９）。

また、重畳部１０９は、８×８ドットの単位の画質調整係数に従って、拡大入力画像データに、テクスチャ画像データを重畳して、出力画像データを生成する（ステップＳ９１０）。

本実施形態にかかる画像処理装置１００は、上述した処理を行うことで、鮮鋭且つ自然な出力画像データを出力できる。なお、本実施形態は、処理の順序を、図８に示す処理手順に制限するものではなく、例えば、Ｓ９０２とＳ９０３の順序や、Ｓ９０４とＳ９０５の順序を入れ替えても良い。

なお、第１の実施形態にかかる画像処理装置１００では、ｘ軸方向である水平方向微分フィルタと、ｙ軸方向である垂直方向微分フィルタとを用いて勾配特徴を算出する場合を例に挙げたが、これら以外のフィルタと該フィルタで抽出可能な勾配以外の特徴とを用いても良い。

本実施形態にかかる画像処理装置１００によれば、画像処理対象である拡大入力画像データの画素毎の確率変数として、移動量で移動する前の座標に対応したメモリ領域を利用するので、入力画像データ間に動きが生じている場合であっても動画像のちらつきを防止することができる。本実施形態にかかる画像処理装置１００を利用する前は、各フレームで独立に求めた確率変数を利用することで、画像処理にかかる演算に利用される値がフレームごとに異なる可能性があったため、フレームごとに画像処理結果の違いによる、動画像のちらつきが発生してしまう場合があった。これに対し、本実施形態にかかる画像処理装置１００は、動画像のちらつきを防止できる。

本実施形態にかかる画像処理装置１００によれば、入力画像データを拡大することにより画質の劣化した拡大入力画像データの画素ごとの特徴量と、画質の劣化した学習用画像データに対する高周波成分を含む学習用画像の相対的なベクトルの分布を表す確率分布とから、拡大入力画像データの高周波成分であるテクスチャ画像データを生成し、拡大入力画像にテクスチャ画像データを重畳しているので、鮮鋭且つ自然な出力画像データを生成することができる。重畳を行う際に、画像処理装置１００は、画質調整係数を用いて、動き量が大きい領域についてテクスチャ画像データによる強調度合を小さくすることで、出力画像データのちらつき感を抑制する。

本実施形態にかかる画像処理装置１００では、動きベクトルではなく、動きの大きさ(移動量)から算出した画質調整係数を補間することで、平滑化処理している。これにより、時間方向に関係なく動きの大きさに忠実な制御をすることができる。さらに、テクスチャのような高周波成分の領域において、ちらつきを抑制できる。

従来の動き探索の演算量や高解像度処理は、一般的に演算量が多い。そのため、対象画像のフレームサイズが、フルＨＤや４Ｋ２Ｋ等のように大きい場合、リアルタイム処理を実現するのが難しかった。これに対し、本実施形態にかかる画像処理装置１００では、縮小した縮小入力画像データを用いて、画素の移動量を算出し、算出された移動量に基づいて高解像度処理用に画質調整を行うことで、演算量を大幅に削減できる。

ところで、動き探索は処理負荷削減のため、画素単位ではなく、８×８等のブロック単位で探索されること多い。このため、縮小入力画像データで動き探索し、出力画像データに探索結果を適用して、画質調整係数を生成しようとした場合、縮小入力画像データのブロックに対応する、出力画像データの表示領域が縮小率に比例して大きくなる。このため、隣接する表示領域との相違具合が目立ち、ブロック形状が強調され画質劣化が生じる。そこで、本実施形態にかかる画像処理装置１００では、表示領域間で補間処理を行うことで、境界が緩和され、画質の劣化を抑制することができる。

テクスチャのような高周波成分は、動きが大きい領域で強調するとちらつきが大きくなり、動画として画質が劣化する。そこで、本実施形態にかかる画像処理装置１００では、高周波成分の画質を向上させる高画質化処理を行う場合、動きの大きなところは強調度合を小さくするよう画質調整係数を用いて調整を行うこととした。これにより、ちらつきを抑止できる。

また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、各実施形態で説明した画像処理装置の上述した各機能は、カメラやテレビジョン受信装置等に構成として含まれるものであっても良いし、予め用意された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現してもよい。

コンピュータで実行される画像処理プログラムは、インターネット等のネットワークを介して配布することができる。また、この画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

１００…画像処理装置、１０１…画像拡大部、１０２…画像縮小部、１０３…特徴量算出部、１０４…移動量算出部、１０５…確率分布記憶部、１０７…生成部、１０８…係数算出部、１０９…重畳部、１１０…係数補間部、１２５…分布算出部

Claims (4)

1. 入力された画像情報を示す入力画像情報を所定の縮小率で縮小した縮小入力画像情報を生成する画像縮小手段と、
   前記縮小入力画像情報と、前記入力画像情報よりも前に入力された画像情報を前記所定の縮小率で縮小した縮小前画像情報と、に基づいて、予め定められた第１の表示領域単位で移動量を算出する移動量算出手段と、
   前記移動量算出手段で算出された前記第１の表示領域単位の移動量を、前記所定の縮小率の逆数である第１の拡大率で拡大して、前記入力画像情報の第２の表示領域単位の移動量を算出し、前記第２の表示領域単位の移動量に基づいて、前記入力画像情報に重畳する高周波成分画像情報の度合いを示した調整度合いを前記第２の表示領域単位で算出し、前記第２の表示領域単位で分けられる領域のうちいずれか一つを示した第１領域の前記調整度合いと、前記第２の表示領域単位で分けられる領域のうち当該第１領域に隣接する第２領域の前記調整度合いと、に基づいて、当該第１領域について、前記第２の表示領域単位より表示サイズが小さい表示ブロック単位で前記調整度合いを算出する算出手段と、
   前記算出手段により前記表示ブロック単位で算出された前記調整度合いに従って、所定の高周波成分画像情報を、前記入力画像情報に重畳する重畳手段と、
   を備える画像処理装置。
2. 前記入力画像情報に含まれる画素毎に、当該画素を含んだ所定の表示領域内での画素値の変化を表す特徴量を算出する特徴量算出手段と、
   学習用画像情報に含まれる画素毎の特徴量に対する、当該学習用画像情報の高周波成分に含まれる画素毎の特徴量の、相対的な値の分布を表す確率分布に基づく確率変数と、算出された前記特徴量と、に基づいて、入力画像情報に含まれる画素毎の高周波成分に関する重みを求め、画素値の変化のパターンを表した所定画像パターンに含まれる画素毎に当該重みで重み付けして、前記入力画像情報に対する高周波成分を表した高周波成分画像情報を生成する生成手段と、
   をさらに備える請求項１に記載の画像処理装置。
3. 前記入力画像情報を第２の拡大率で拡大した拡大入力画像情報を生成する画像拡大手段を、さらに備え、
   前記生成手段は、前記確率分布に基づく確率変数と、前記第２の拡大率に基づいて算出された前記拡大入力画像情報に含まれる画素毎の特徴量と、に基づいて、前記拡大入力画像情報に含まれる画素毎の高周波成分に関する重みを求め、画素値の変化のパターンを表した所定画像パターンを当該重みで重み付けして、前記拡大入力画像情報に対する高周波成分を表した高周波成分画像情報を生成し、
   前記算出手段は、前記移動量算出手段で算出された前記第１の表示領域単位の移動量を、前記第１の拡大率及び前記第２の拡大率で拡大した拡大表示領域単位の移動量を算出し、前記拡大表示領域単位の移動量に基づいて、前記調整度合いを前記拡大表示領域単位で算出した後、任意の表示領域の前記調整度合いと、当該任意の表示領域に隣接する表示領域の前記調整度合いと、に基づいて当該拡大表示領域単位より表示サイズが小さい表示ブロック単位で前記調整度合いを算出する、
   請求項２に記載の画像処理装置。
4. 画像処理装置で実行される画像処理方法であって、
   画像縮小手段が、入力された画像情報を示す入力画像情報を所定の縮小率で縮小した縮小入力画像情報を生成する画像縮小ステップと、
   移動量算出手段が、前記縮小入力画像情報と、前記縮小入力画像情報よりも前に入力された画像情報を前記所定の縮小率で縮小した縮小前画像情報と、に基づいて、予め定められた第１の表示領域単位で移動量を算出する移動量算出ステップと、
   算出手段が、前記移動量算出ステップで算出された前記第１の表示領域単位の移動量を、前記所定の縮小率の逆数である第１の拡大率で拡大して、前記入力画像情報の第２の表示領域単位の移動量を算出し、前記第２の表示領域単位の移動量に基づいて、前記入力画像情報に重畳する高周波成分画像情報の度合いを示した調整度合いを前記第２の表示領域単位で算出し、前記第２の表示領域単位で分けられる領域のうちいずれか一つを示した第１領域の前記調整度合いと、前記第２の表示領域単位で分けられる領域のうち当該第１領域に隣接する第２領域の前記調整度合いと、に基づいて、当該第１領域について、前記第２の表示領域単位より表示サイズが小さい表示ブロック単位で前記調整度合いを算出する算出ステップと、
   重畳手段が、前記算出ステップにより前記表示ブロック単位で算出された前記調整度合いに従って、所定の高周波成分画像情報を、前記入力画像情報に重畳する重畳ステップと、
   を有する画像処理方法。

Images