JP5930297B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、画像の精細感を高め、かつ、自然な印象の高画質化処理を実行できるようにする画像処理装置および方法、並びにプログラムに関する。

従来より、画像の解像度変換に係る技術が広く普及している。また、近年、画面の大型化などに伴い解像度変換に係る技術の重要性が増してきている。

また、解像度変換の際のフィルムグレーンの再現などのように、画質を向上させるための提案も多く行われている。

また、画像のアップコンコンバート、符号化などの際に、出力画像の帯域で、ナイキスト周波数まで信号成分が無い場合に、ノイズ感だけでも高精細感を出そうとする手法が数通りある。

例えば、入力画像の中のノイズの基本パターン、強度情報などから、データベースや疑似ノイズ生成器を利用して、画像処理の中で失われたノイズを推定し、再現する技術が提案されている（例えば、特許文献１、および、特許文献２参照）。

また、入力画像を縮小してタイル状に並べることで、細かなノイズを生成する技術も提案されている（例えば、特許文献３参照）。

国際公開２００７−０６３９１２号公報 特開２００６−１１５３８０号公報 特開２００８−１５４１５０号公報

しかしながら、例えば、特許文献１の疑似ノイズ生成器では、白色雑音（フィルムグレーンを含む）のみであれば再現可能であるが、有色性のノイズやテクスチャなどを表現する事ができない。従って、白色雑音と有色性のノイズやテクスチャとの分離を極めて厳密に行う必要があり、実用上困難で劣化を伴う。

また、特許文献２では、データベースで疑似ノイズ生成を行うが、白色雑音以外のノイズなどにも対応する場合は、膨大なデータベースが必要になる。

さらに、特許文献３の手法では、画像がタイル状になってしまい、ブロック状のエラーが発生することが多い。

本技術はこのような状況に鑑みて開示するものであり、画像の精細感を高め、かつ、自然な印象の高画質化処理を実行できるようにするものである。

本技術の一側面は、入力画像から所定の領域を構成する画素を抽出する領域抽出部と、前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出する方向性検出部と、前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる画素移動部とを備える画像処理装置である。

前記画素移動部は、さらに、前記抽出された領域内の画素の値に基づいて、前記領域を構成する画素信号の強度を検出し、前記検出された強度に基づいて前記移動させる画素について、前記入力画像における前記画素の位置から移動先の画素の位置までの最大距離を特定し、前記検出された方向性、および、前記特定された最大距離を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させるようにすることができる。

前記画素移動部は、前記拡散情報に基づいて、前記画素の移動先または移動元の候補となる複数の位置を特定し、前記複数の位置の中の任意の位置を、前記移動先または移動元の位置として決定するようにすることができる。

所定の画像の画素数を補完して得られる拡大画像が入力画像とされるようにすることができる。

前記移動先の画素の値が、入力画像の複数の画素の値に基づいて算出されるようにすることができる。

本技術の一側面は、領域抽出部が、入力画像から所定の領域を構成する画素を抽出し、方向性検出部が、前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出し、画素移動部が、前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させるステップを含む画像処理方法である。

本技術の一側面は、コンピュータを、入力画像から所定の領域を構成する画素を抽出する領域抽出部と、前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出する方向性検出部と、前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる画素移動部とを備える画像処理装置として機能させるプログラムである。

本技術の一側面においては、入力画像から所定の領域を構成する画素が抽出され、前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性が検出され、前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素が、前記入力画像における前記画素の位置とは異なる位置に移動させられる。

本技術によれば、画像の精細感を高め、かつ、自然な印象の高画質化処理を実行できる。

本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 ノイズの細粒化の例を説明する図である。 信号の方向性に応じた拡散情報の生成の例を説明する図である。 信号の強度に応じた拡散情報の生成の例を説明する図である。 信号の強度に応じた拡散情報の生成の別の例を説明する図である。 信号の強度ｐｏｗｅｒに対応して得られる関数ＲａｎｇｅＧａｉｎの値の例を示す図である。 画像処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、ここで開示する技術の実施の形態について説明する。

図１は、本技術の一実施の形態に係る画像処理装置の構成例を示すブロック図である。

この画像処理装置１０は、入力信号に対応する画像を拡大する処理、または、符号化されて入力された画像データを復号する処理などの処理を施し、それらの処理が施された画像データに対して高画質化処理を施すようになされている。ここで、高画質化処理は、例えば、画像の精細感を向上させる処理などとされる。

図１に示される画像処理装置１０は、アップコンバータ２１、拡散範囲検出部２２、信号検出部２３、位置拡散部２４、減算器２５、および、加算器２６を有する構成とされている。なお、アップコンバータに代えてデコーダなどが設けられるようにしてもよい。ここでは、主に、アップコンバータ２１が設けられる例について説明する。

アップコンバータ２１は、入力信号に対応する画像データにおいて、画素数を補完するなどして画像を拡大する。例えば、いわゆる２Ｋ画像が拡大されて４Ｋ画像となるように、入力信号に対応する画像がアップコンバートされる。なお、デコーダ２１が設けられる場合、入力信号に対応する符号化された画像データが復号される。アップコンバータ２１（またはデコーダ２１）から出力される画像データは、拡散範囲検出部２２、および、信号抽出部２３に供給される。

信号抽出部２３は、アップコンバータ２１（またはデコーダ２１）から供給された画像データにおいて、画素の拡散を行うべき部分を抽出する。信号抽出部２３は、例えば、画像データを構成する信号の中で、ノイズである可能性の高い領域の画素に係る信号を抽出するようになされている。

画像の中のノイズである可能性の高い領域の画素は、例えば、従来のノイズ除去処理などで用いられる方式と同様の方式で抽出される。例えば、拡大された画像データが入力された場合、ノイズレベル計測、輝度分散、波高、周波数成分、輝度相関、周期などに基づいて、ノイズである可能性の高い領域が抽出される。また、復号された画像データが入力された場合、量子化ビット情報、ブロックサイズの周期性、エッジ周りの分散値などに基づいてブロックノイズ、モスキートノイズなどに対応する領域が抽出される。

位置拡散部２４は、信号抽出部２３により抽出された領域の画素を拡散させるようになされている。この際、位置拡散部２４は、後述するように拡散範囲検出部２２から供給される情報に基づいて、画素を拡散させるようになされている。

すなわち、減算器２５により、アップコンバータ２１の処理を経た画像データに対応する信号から、信号抽出部２３により抽出された領域の画素に対応する信号が減じられる。その後、減算器２５の処理を経た信号に、位置拡散部２４から出力される信号が加算器２６によって加算される。

拡散範囲検出部２２は、有効な画像エントロピーの情報から拡散範囲（例えば、ブロックノイズであれば、ブロックサイズに対応するサイズ）を特定し、その範囲内での位置拡散により画素エントロピーが最大になるように画素を拡散するための拡散情報を生成する。位置拡散部２４は、この位置拡散情報に基づいて画素を拡散させた画像データを生成する。

ここでは、信号抽出部２３によりノイズである可能性が高い領域が抽出されると説明したが、ノイズである可能性が高い領域とともに、小振幅テクスチャの領域も抽出されるようにしてもよい。ノイズや小振幅テクスチャなどの画像を構成する画素が拡散されるようにすることを、細粒化と称することにする。

図２は、ノイズの細粒化の例を説明する図である。ここでは、入力画像がアップコンバータ２１で２×２倍に拡大され、拡大された画像においてノイズが細粒化される場合の例について説明する。

図２Ａは、画像処理装置１０に入力される信号に対応する画像（入力画像）の例を示す図である。なお、図中の小さい正方形は、入力画像を構成する画素のそれぞれを表しており、図中において、色の付いた正方形で表される部分がノイズとされる。この例では、画像の中の中央の１つの画素からなるノイズが示されている。

図２Ｂは、入力画像がアップコンバータ２１により拡大（アップコンバート）された画像の例を示す図である。図中の小さい正方形は、入力画像を構成する画素のそれぞれを表しているが、入力画像がアップコンバートされたことにより、図２Ａの場合と比較して、図２Ｂの画素（正方形）は、より小さいものとされている。また、入力画像がアップコンバートされたことにより、ノイズもアップコンバートされている。すなわち、図２Ａにおいての中の中央の１つの画素であったノイズが、図２Ｂにおいては、画像の中の中央の４つの画素とされている。

さらに、図２Ｂには、アップコンバート時の画素生成などの影響により、画像の中の中央の４つの画素の周りに１２個の色の付いた画素が配置されている。結果として、図２Ｂにおいては、画像の中の中央の１６個の画素によりノイズが構成されている。

図２Ｃは、アップコンバートされた画像のノイズが細粒化された画像の例を示す図である。同図に示されるように、図２Ｂにおいて画像の中の中央に固まって配置されていた１６個の画素が、図２Ｃでは拡散されて配置されている。すなわち、図２Ｂでは、図中の中央に色の付いた正方形が１６個固まって表示されているが、図２Ｃでは、色のついた正方形はバラバラに配置されて表示されている。

このように、例えば、アップコンバートで、入力画像のノイズが複数画素に膨らんだ場合（図２Ｂ）、ノイズを構成する画素の位置を拡散して細粒化することで（図２Ｃ）、より高精細に見える画像に変換することができる。

次に、拡散範囲検出部２２による拡散情報の生成について説明する。拡散範囲検出部２２は、例えば、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性および強度に基づいて拡散情報を生成する。

図３は、信号の方向性に応じた拡散情報の生成の例を説明する図である。図３Ａ乃至図３Ｅにおいて、縦軸は垂直方向の画素位置を表し、横軸は水平方向の画素位置を表し、図中のハッチングされた部分が、原点の画素が拡散され得る範囲を表している。

図３Ａは、方向性が検出されなかった（方向性なし）場合の拡散情報の例を示している。同図に示されるように、縦軸と横軸の交点（原点）を中心としたほぼ円形の領域がハッチングされている。このように、信号抽出部２３により抽出された領域の画像データに対応する信号が方向性なしの場合、原点に配置された画素は、原点を中心として所定の半径の円形の領域内に拡散され得ることになる。方向性のない信号の存在確率分布は、２次元ガウス分布に従いほぼ円形に広がるからである。

図３Ｂは、方向性として横方向が検出された場合の拡散情報の例を示している。同図に示されるように、縦軸と横軸の交点（原点）を中心とした横長のほぼ長方形の領域がハッチングされている。このように、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性が横方向の場合、原点に配置された画素は、原点を中心として横長のほぼ長方形の領域内に拡散され得ることになる。

図３Ｃは、方向性として縦方向が検出された場合の拡散情報の例を示している。同図に示されるように、縦軸と横軸の交点（原点）を中心とした縦長のほぼ長方形の領域がハッチングされている。このように、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性が縦方向の場合、原点に配置された画素は、原点を中心として縦長のほぼ長方形の領域内に拡散され得ることになる。

図３Ｄは、方向性として左上斜め方向が検出された場合の拡散情報の例を示している。同図に示されるように、縦軸と横軸の交点（原点）を中心とした左上から右下へ向かうほぼ長方形の領域がハッチングされている。このように、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性が左上斜め方向の場合、原点に配置された画素は、原点を中心として左上から右下へ向かうほぼ長方形の領域内に拡散され得ることになる。

図３Ｅは、方向性として右上斜め方向が検出された場合の拡散情報の例を示している。同図に示されるように、縦軸と横軸の交点（原点）を中心とした右上から左下へ向かうほぼ長方形の領域がハッチングされている。このように、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性が右上斜め方向の場合、原点に配置された画素は、原点を中心として右上から左下へ向かうほぼ長方形の領域内に拡散され得ることになる。

なお、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性の検出方式の詳細については後述する。

図４と図５は、信号の強度に応じた拡散情報の生成の例を説明する図である。図４Ａ乃至図４Ｃおよび図５Ａ乃至図５Ｃにおいて、縦軸は垂直方向の画素位置を表し、横軸は水平方向の画素位置を表し、図中のハッチングされた部分が、原点の画素が拡散され得る範囲を表している。あるいはまた、図中のハッチングされた部分の画素が、原点の画素に置き換えられ得ると考えることもできる。

図４は、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性が縦方向の場合の信号の強度に応じた拡散情報の生成の例を説明する図である。

図４Ａは強度が大きい場合の拡散情報の例を示しており、図４Ｂは強度が中程度である場合の拡散情報の例を示しており、図４Ｃは強度が小である場合の拡散情報の例を示している。すなわち、信号抽出部２３により抽出された領域の画像データに対応する信号の強度が大きいほど、原点の画素が拡散され得る範囲は小さくなる。

図５は、信号抽出部２３により抽出された領域の画像データに対応する信号の方向性が右上斜め方向の場合の信号の強度に応じた拡散情報の生成の例を説明する図である。

図５Ａは強度が大きい場合の拡散情報の例を示しており、図５Ｂは強度が中程度である場合の拡散情報の例を示しており、図５Ｃは強度が小である場合の拡散情報の例を示している。同図に示されるように、やはり、信号抽出部２３により抽出された領域の画像データに対応する信号の強度が大きいほど、原点の画素が拡散され得る範囲は小さくなる。

なお、信号抽出部２３により抽出された領域の画像データに対応する信号の強度に応じた画素が拡散され得る範囲の設定方式の詳細については後述する。

拡散範囲検出部２２は、信号抽出部２３により抽出された領域の各画素について、それぞれ拡散情報を生成する。すなわち、信号抽出部２３により抽出された領域の画素の位置をそれぞれ原点とした場合、その画素が拡散され得る範囲（図３乃至図５におけるハッチングされた領域）を表す情報を含む情報を拡散情報として生成する。

ここでは、画素を空間方向に拡散させることを前提として説明したが、例えば、入力画像が動画像である場合、画素を時間方向へ拡散させてもよい。この場合、例えば、信号抽出部２３により抽出された領域の画像データに対応する信号が方向性なしのときは、３次元ガウス分布に従い球状の領域内に画素が拡散されることになる。また、画素を時間方向へ拡散させる場合、動きベクトルなどを用いて時間方向の方向性が検出される。

そして、位置拡散部２４が拡散情報に基づいて、原点の画素を拡散させる。例えば、拡散情報に基づいて特定される範囲内の全ての画素位置のうち、１つの画素位置を、乱数を発生させるなどして任意に選択し、原点に配置された画素が、選択された位置に置き換えられる。

なお、上述した例では、原点の画素が図３乃至図５においてハッチングされた領域内に拡散（移動）させられると説明したが、例えば、図３乃至図５においてハッチングされた領域内の任意の１つの画素が原点に移動されるようにしてもよい。

例えば、画像の水平方向の座標位置をｉとし、垂直方向の座標位置をｊとして、式（１）のように、入力画像Ｙinの画素から出力画像Ｙoutの画素を生成する場合を考える。なお、Ｙin（ｉ，ｊ）およびＹout（ｉ，ｊ）は、それぞれ入力画像および出力画像における座標位置（ｉ，ｊ）の画素の輝度値を表すものとし、添え字のinは、入力画像における座標位置を表すものとする。

・・・（１）

ここで、座標位置（ｉ，ｊ）は、拡散分布モデルＰx，Ｐyを用いて式（２）により求めることができる。

・・・（２）

式（２）において、ｒは入力画像の画素位置からの距離、位置拡散部２４が画素を拡散（移動）させる場合、入力画像の画素位置から移動先の画素位置までの距離の最大値を表している。また、式（２）において、θは、位置拡散部２４が画素を拡散（移動）させる場合、例えば、移動元と移動先の画素位置を結ぶ線と水平軸との角度（方向）を表している。

すなわち、上述したｒとθが定まることにより、例えば、図３乃至図５においてハッチングされた領域が特定されることになる。

式（２）におけるθは、例えば、式（３）により求められるｄｉｆ（θ）が最小となるθとして求めることができる。なお、式（３）におけるＹ（ｉ，ｊ）は、例えば、入力画像における座標位置（ｉ，ｊ）の輝度を表し、添え字のinは、入力画像における座標位置を表すものとする。

・・・（３）

すなわち、信号抽出部２３により抽出された領域の画像について、複数の各度θ1乃至θnを設定し、ｄｉｆ（θ1）乃至ｄｉｆ（θn）のうち、最小となったものに対応する各度が式（２）におけるθとして用いられる。

なお、例えば、ｄｉｆ（θ1）乃至ｄｉｆ（θn）の差分がほとんど０に近い場合、当該領域の方向性はなしと判定されることになる。方向性なしと判定された場合、例えば、拡散分布モデルＰx，Ｐyには、一律にガウス分布モデルが適用され、パラメータθを用いずに式（２）の演算が行われることになる。

上述したものは、式（２）におけるθを求める方式の一例であり、これとは異なる方式で式（２）におけるθが求められるようにしてもよい。例えば、信号抽出部２３により抽出された領域の画像について、縦方向、横方向、右斜め方向、および左斜め方向の４方向に一次微分ＤＲ値を算出し、一次微分ＤＲ値が最小となった方向に対応する角度を、θとして用いるようにしてもよい。

また、式（２）におけるｒは、例えば、信号抽出部２３により抽出された領域の信号の強度に基づいて定まるものとされる。信号抽出部２３により抽出された領域の信号の強度は、例えば、その領域内のダイナミックレンジ、アクティビティなどとして求められる値に基づいて特定される。

例えば、式（２）におけるｒは、信号抽出部２３により抽出された領域の信号の強度ｐｏｗｅｒをパラメータとして関数ＲａｎｇｅＧａｉｎ（ｐｏｗｅｒ）により求められるものとする。

図６は、信号の強度ｐｏｗｅｒに対応して得られる関数ＲａｎｇｅＧａｉｎの値の例を示す図である。同図は、縦軸が関数ＲａｎｇｅＧａｉｎの値とされ、横軸が信号の強度ｐｏｗｅｒの値とされ、強度ｐｏｗｅｒの値の変化に応じた関数ＲａｎｇｅＧａｉｎの値の変化が線６１により示されている。線６１で示されるように、強度ｐｏｗｅｒの値が大きくなるほど、関数ＲａｎｇｅＧａｉｎの値は小さくなる。

なお、上述したものは、式（２）におけるｒを求める方式の一例であり、これとは異なる方式で式（２）におけるｒが求められるようにしてもよい。例えば、信号の強度に係らず、一定の値が式（２）のｒの値として適用されるようにしてもよい。

上述した式（１）で表される出力画像の画素の座標位置を特定する場合、例えば、ランダム関数ｒａｎｄ（）を用いて拡散分布モデルＰx，Ｐyで得られる範囲内の１つの座標位置が求められる。すなわち、式（２）におけるＰx（ｒ，θ）、および、Ｐy（ｒ，θ）が式（４）により演算されることで、出力画像の画素の座標位置が特定されることになる。

・・・（４）

拡散範囲検出部２２は、例えば、信号抽出部２３により抽出された領域の信号に対応するｒおよびθを算出し、それらの情報を含む情報が拡散情報として生成される。

なお、例えば、拡散分布モデルを用いる代わりに、画像の中での自己合同性を利用した形状マッチングに応じて、確率分布を生成することで拡散情報を得ることも可能である。あるいはまた、アップコンバート前後の画像でのマッチングによる自己相似性を利用した確率分布や方向を決定することで拡散情報を得ることも可能である。

位置拡散部２４は、拡散範囲検出部２２により算出されたｒおよびθを用いて式（４）、式（２）、および式（１）の演算を行い、入力画像の画素に対応する出力画像の画素を生成する。

ここでは、入力画像の１つの画素を拡散（移動）させて出力画像の画素を生成する例について説明したが、入力画像の複数の画素に基づいて（参照して）、出力画像の１つの画素が生成されるようにすることも可能である。その場合、上述した式（１）および式（２）に代えて、式（５）および（式）６が用いられる。

・・・（５）

・・・（６）

なお、式（５）、式（６）において、ｎは参照すべき入力画像の画素数を表し、ｋはそれらｎ個の画素の中の所定の画素を表すインデックスなどとされる。

このようにして、ノイズや小振幅テクスチャなどの画像が細粒化される。

例えば、従来の技術のように、疑似ノイズ生成器を用いる場合、白色雑音（フィルムグレーン含む）のみであればノイズを適正に細粒化することができるが、有色性のノイズやテクスチャなどの場合、適正に細粒化することができない。

これに対して本技術では、ノイズの種類に関わらず、適正に細粒化することができ、また、白色雑音と有色性のノイズやテクスチャとの分離を厳密に行う必要もない。

また、例えば、従来の技術のように、データベースで疑似ノイズ生成を行う場合、各種のノイズに対応するためには、膨大なデータベースが必要になる。

これに対して、本技術では、例えば、ノイズの特性を再現するためのデータベースなどを設ける必要はない。

さらに、例えば、従来の技術のように、入力画像を縮小してタイル状に並べることで画像の精細感を向上させようとすると、画像がタイル状になってしまい、ブロック状のエラーが発生することが多い。

これに対して、本技術では、ブロック状のエラーの発生などを懸念する必要はない。

従って、本技術によれば、画像の精細感を高め、かつ、自然な印象の高画質化処理を実行できる。

次に、図７のフローチャートを参照して、本技術を適用した画像処理装置１０による画像処理の例について説明する。

ステップＳ２１において、アップコンバータ２１は、入力された画像を拡大する。なお、デコーダ２１が設けられている場合、ステップＳ２１では、デコーダ２１が符号化された画像データを復号する。

ステップＳ２２において、信号抽出部２３は、画像の中のノイズである可能性の高い領域の画素に係る信号を抽出する。このとき、例えば、ステップＳ２１の処理で画像が拡大された場合、ノイズレベル計測、輝度分散、波高、周波数成分、輝度相関、周期などに基づいて、ノイズである可能性の高い領域が抽出される。また、ステップＳ２１の処理で符号化された画像データが復号された場合、量子化ビット情報、ブロックサイズの周期性、エッジ周りの分散値などに基づいてブロックノイズ、モスキートノイズなどに対応する領域が抽出される。

ステップＳ２３において、拡散範囲検出部２２は、ステップＳ２２の処理で抽出された領域の信号について方向性を検出する。このとき、例えば、上述した式（３）により求められるｄｉｆ（θ）が最小となるθが特定されることで、当該領域の方向性として検出される。

ステップＳ２４において、拡散範囲検出部２２は、ステップＳ２２の処理で抽出された領域の信号について強度を検出する。このとき、例えば、その領域内のダイナミックレンジ、アクティビティなどとして求められる値に基づいて信号の強度が特定される。

ステップＳ２５において、拡散範囲検出部２２は、ステップＳ２２の処理により得られた方向性、および拡散距離を含む拡散情報を生成する。このとき、拡散距離は、例えば、式（２）におけるｒの値とされ、例えば、ステップＳ２４の処理により得られた信号の強度をパラメータとし、図６を参照して説明した関数ＲａｎｇｅＧａｉｎの値として算出される。

ステップＳ２６において、位置拡散部２４は、ステップＳ２５の処理で生成された拡散情報に基づいて画素を拡散させる。このとき、例えば、位置拡散部２４は、ステップＳ２５の処理で生成された拡散情報に含まれるｒおよびθを用いて式（４）、式（２）、および式（１）の演算を行い、入力画像の画素に対応する出力画像の画素を生成する。

なお、減算器２５により、アップコンバータ２１の処理を経た画像データに対応する信号から、信号抽出部２３により抽出された領域の画素に対応する信号が減じられる。その後、減算器２５の処理を経た信号に、位置拡散部２４から出力される信号が加算器２６によって加算される。

ステップＳ２７において、当該領域内に次の画素があるか否かが判定される。ステップＳ２７において、次の画素があると判定された場合、処理は、ステップＳ２５に戻り、次の画素について、ステップＳ２５乃至ステップＳ２７の処理が実行される。

ステップＳ２７において、当該領域内に次の画素がないと判定された場合、処理は、ステップＳ２８に進む。

ステップＳ２８において、ステップＳ２２の処理で抽出された別の領域（次の領域）があるか否かが判定される。ステップＳ２８において、次の領域があると判定された場合、処理は、ステップＳ２３に戻り、次の領域について、ステップＳ２３乃至ステップＳ２８の処理が実行される。

ステップＳ２８において、次の領域がないと判定された場合、処理は、ステップＳ２９に進む。

ステップＳ２９において、画像処理装置１０から出力画像が出力される。

このようにして画像処理が実行される。

なお、図１の例では、画像処理装置１０にアップコンバータ２１、または、デコーダ２１などが含まれる場合の例について説明したが、必ずしもアップコンバータ２１、または、デコーダ２１などが含まれる必要はない。例えば、ノイズを含んだ画像データに対応する信号を、高精細の画像データに対応する信号に変換する目的で構成された画像処理装置にも本技術を適用することができる。

あるいはまた、アップコンバータ２１などに代えて、入力画像の予測タップとして抽出された複数の画素を参照して高解像度の画像の画素を生成するクラス分類適応処理を実行する機能ブロックが設けられるようにしてもよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図８に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図８において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
入力画像から所定の領域を構成する画素を抽出する領域抽出部と、
前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出する方向性検出部と、
前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる画素移動部と
を備える画像処理装置。
（２）
前記画素移動部は、さらに、
前記抽出された領域内の画素の値に基づいて、前記領域を構成する画素信号の強度を検出し、前記検出された強度に基づいて前記移動させる画素について、前記入力画像における前記画素の位置から移動先の画素の位置までの最大距離を特定し、
前記検出された方向性、および、前記特定された最大距離を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる
（１）に記載の画像処理装置。
（３）
前記画素移動部は、
前記拡散情報に基づいて、前記画素の移動先または移動元の候補となる複数の位置を特定し、前記複数の位置の中の任意の位置を、前記移動先または移動元の位置として決定する
（１）または（２）に記載の画像処理装置。
（４）
所定の画像の画素数を補完して得られる拡大画像が入力画像とされる
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記移動先の画素の値が、入力画像の複数の画素の値に基づいて算出される
（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
領域抽出部が、入力画像から所定の領域を構成する画素を抽出し、
方向性検出部が、前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出し、
画素移動部が、前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させるステップ
を含む画像処理方法。
（７）
コンピュータを、
入力画像から所定の領域を構成する画素を抽出する領域抽出部と、
前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出する方向性検出部と、
前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる画素移動部とを備える画像処理装置として機能させる
プログラム。

１０ 画像処理装置， ２１ アップコンバータ， ２２ 拡散範囲検出部， ２３ 信号抽出部， ２４ 位置拡散部， ２５ 減算器， ２６ 加算器

Claims (7)

1. 入力画像から所定の領域を構成する画素を抽出する領域抽出部と、
   前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出する方向性検出部と、
   前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる画素移動部と
   を備える画像処理装置。
2. 前記画素移動部は、さらに、
   前記抽出された領域内の画素の値に基づいて、前記領域を構成する画素信号の強度を検出し、前記検出された強度に基づいて前記移動させる画素について、前記入力画像における前記画素の位置から移動先の画素の位置までの最大距離を特定し、
   前記検出された方向性、および、前記特定された最大距離を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる
   請求項１に記載の画像処理装置。
3. 前記画素移動部は、
   前記拡散情報に基づいて、前記画素の移動先または移動元の候補となる複数の位置を特定し、前記複数の位置の中の任意の位置を、前記移動先または移動元の位置として決定する
   請求項１に記載の画像処理装置。
4. 所定の画像の画素数を補完して得られる拡大画像が入力画像とされる
   請求項１に記載の画像処理装置。
5. 前記移動先の画素の値が、入力画像の複数の画素の値に基づいて算出される
   請求項２に記載の画像処理装置。
6. 領域抽出部が、入力画像から所定の領域を構成する画素を抽出し、
   方向性検出部が、前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出し、
   画素移動部が、前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させるステップ
   を含む画像処理方法。
7. コンピュータを、
   入力画像から所定の領域を構成する画素を抽出する領域抽出部と、
   前記抽出された領域内の画素の値に基づいて、前記領域に対応する方向性を検出する方向性検出部と、
   前記検出された方向性を含む拡散情報に基づいて、前記領域内の画素を、前記入力画像における前記画素の位置とは異なる位置に移動させる画素移動部とを備える画像処理装置として機能させる
   プログラム。

Images