JP6783362B2 - 映像処理装置及びその映像処理方法 - Google Patents

Description

本発明は、映像処理装置及びその映像処理方法に関し、より詳細には、入力映像のテクスチャ成分を復元する映像処理装置及びその映像処理方法に関する。

電子技術の発達により、様々な電子機器が開発及び普及されている。特に、家庭や事務所、公共施設など、色々な場所で用いられる映像処理装置は、ここ数年間で持続的な発展を遂げている。

近代、４Ｋ ＵＨＤ ＴＶのような高解像度ディスプレイパネルが発売され、広く普及されている。しかし、まだ高品質の高解像度コンテンツは、非常に不足している状況である。そこで、低解像度コンテンツから高解像度コンテンツを生成するための様々な技術が求められている。更に、ＭＰＥＧ／Ｈ.２６４／ＨＥＶＣなどの映像圧縮によってコンテンツのテクスチャ損失が発生するおそれがあり、それにより、損失されたテクスチャ成分を復元するための技術も求められている。

米国特許第９６３３４１７号 韓国特開第２０１８−００２７８８号 米国特開第２００７−０２１７５０２号 日本特許第５１８１８２１号

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像拡大、映像圧縮などによってテクスチャの損失された映像に対してテクスチャ生成を通じて映像の精細感（ｄｅｔａｉｌ）を向上させる映像処理装置及びその映像処理方法を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係る映像処理装置は、少なくとも一つのランダムパッチに関する情報が保存されたメモリと、入力映像に含まれたピクセルブロック及び前記少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を獲得し、前記獲得された相関関係に基づいて前記複数のランダムパッチに対する加重値をそれぞれ獲得し、前記複数のランダムパッチのそれぞれに前記加重値を適用し、前記加重値の適用されたランダムパッチを前記ピクセルブロックにそれぞれ適用して出力映像を獲得するプロセッサとを含む。

ここで、前記複数のランダムパッチのそれぞれは、複数の擬似乱数（ｐｓｅｕｄｏ ｒａｎｄｏｍ ｎｕｍｂｅｒ）を含み、各ランダムパッチに含まれた前記複数の擬似乱数の平均は０であってよい。

なお、前記複数の擬似乱数のうち少なくとも一部は、０及び２＾ｎ（ｎ≧０）からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、前記複数の擬似乱数のうちの残りは、前記正の擬似乱数と同じ絶対値を有する負の擬似乱数を含んでよい。

なお、前記少なくとも一つのランダムパッチに関する情報は、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含み、前記プロセッサは、前記複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得してよい。

なお、前記プロセッサは、前記ピクセルブロックと第１ランダムパッチとの間の相関関係に基づいて第１加重値を獲得し、前記ピクセルブロックと第２ランダムパッチとの間の相関関係に基づいて第２加重値を獲得し、前記第１加重値を前記第１ランダムパッチに掛け算し、前記第２加重値を前記第２ランダムパッチに掛け算し、前記第１加重値が掛け算された第１ランダムパッチ及び前記第２加重値が掛け算された第２ランダムパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。

なお、前記プロセッサは、前記ピクセルブロックに含まれた第１ピクセルに前記第１ランダムパッチに含まれた第１位置のランダム値が足し算されるように、前記ピクセルブロックに前記第１ランダムパッチを適用し、前記ピクセルブロックに含まれた第１ピクセルに前記第２ランダムパッチに含まれた第１位置と同じ位置のランダム値が足し算されるように、前記ピクセルブロックに前記第２ランダムパッチを適用してよい。

なお、前記プロセッサは、前記第１加重値が掛け算された第１ランダムパッチの第１位置に含まれた第１ランダム値及び前記第２加重値が掛け算された第２ランダムパッチの前記第１位置に含まれた第２ランダム値を足し算し、前記第１加重値が掛け算された第１ランダムパッチの第２位置に含まれた第３ランダム値及び前記第２加重値が掛け算された第２ランダムパッチの前記第２位置に含まれた第４ランダム値を足し算し、テクスチャパッチを獲得し、前記ピクセルブロックに前記テクスチャパッチを適用して前記出力映像を獲得してよい。

なお、前記プロセッサは、前記獲得されたテクスチャパッチに周波数フィルタリングを適用し、前記周波数フィルタリングの適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。

なお、前記出力映像は、４Ｋ ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像または８Ｋ ＵＨＤ映像であってよい。

なお、ディスプレイを更に含み、前記プロセッサは、前記出力映像をディスプレイするように前記ディスプレイを制御してよい。

一方、本発明の一実施形態に係る映像処理装置の映像処理方法は、入力映像に含まれたピクセルブロック及び少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を獲得するステップと、前記獲得された相関関係に基づいて前記複数のランダムパッチに対する加重値をそれぞれ獲得し、前記複数のランダムパッチのそれぞれに前記加重値を適用するステップと、前記加重値の適用されたランダムパッチを前記ピクセルブロックにそれぞれ適用して出力映像を獲得するステップとを含む。

ここで、前記複数のランダムパッチのそれぞれは、複数の擬似乱数（ｐｓｅｕｄｏ ｒａｎｄｏｍ ｎｕｍｂｅｒ）を含み、各ランダムパッチに含まれた前記複数の擬似乱数の平均は０であってよい。

なお、前記複数の擬似乱数のうち少なくとも一部は、０及び２＾ｎ（ｎ≧０）からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、前記複数の擬似乱数のうちの残りは、前記正の擬似乱数と同じ絶対値を有する負の擬似乱数を含んでよい。

なお、前記少なくとも一つのランダムパッチに関する情報は、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含み、前記複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得するステップを更に含んでよい。

なお、前記加重値を適用するステップは、前記ピクセルブロックと第１ランダムパッチとの間の相関関係に基づいて第１加重値を獲得し、前記ピクセルブロックと第２ランダムパッチとの間の相関関係に基づいて第２加重値を獲得し、前記第１加重値を前記第１ランダムパッチに掛け算し、前記第２加重値を前記第２ランダムパッチに掛け算し、前記出力映像を獲得するステップは、前記第１加重値が掛け算された第１ランダムパッチ及び前記第２加重値が掛け算された第２ランダムパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。

なお、前記出力映像を獲得するステップは、前記ピクセルブロックに含まれた第１ピクセルに前記第１ランダムパッチに含まれた第１位置のランダム値が足し算されるように、前記ピクセルブロックに前記第１ランダムパッチを適用し、前記ピクセルブロックに含まれた第１ピクセルに前記第２ランダムパッチに含まれた第１位置と同じ位置のランダム値が足し算されるように、前記ピクセルブロックに前記第２ランダムパッチを適用してよい。

なお、前記出力映像を獲得するステップは、前記第１加重値が掛け算された第１ランダムパッチの第１位置に含まれた第１ランダム値及び前記第２加重値が掛け算された第２ランダムパッチの前記第１位置に含まれた第２ランダム値を足し算し、前記第１加重値が掛け算された第１ランダムパッチの第２位置に含まれた第３ランダム値及び前記第２加重値が掛け算された第２ランダムパッチの前記第２位置に含まれた第４ランダム値を足し算し、テクスチャパッチを獲得し、前記ピクセルブロックに前記テクスチャパッチを適用して前記出力映像を獲得してよい。

なお、前記出力映像を獲得するステップは、前記獲得されたテクスチャパッチに周波数フィルタリングを適用し、前記周波数フィルタリングの適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得してよい。

なお、前記出力映像は、４Ｋ ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像または８Ｋ ＵＨＤ映像であってよい。

なお、本発明の一実施形態に係る映像処理装置のプロセッサによって実行される場合、前記映像処理装置が動作を行うようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、入力映像に含まれたピクセルブロック及び少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を獲得するステップと、前記獲得された相関関係に基づいて前記複数のランダムパッチに対する加重値をそれぞれ獲得し、前記複数のランダムパッチのそれぞれに前記加重値を適用するステップと、前記加重値の適用されたランダムパッチを前記ピクセルブロックにそれぞれ適用して出力映像を獲得するステップとを含む。

以上説明したように、本発明によれば、映像拡大及び／または映像圧縮などによってテクスチャの損失された映像に対してテクスチャ生成を通じて映像の精細感（ｄｅｔａｉｌ）を向上させることができるようになる。

本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。 本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。 本発明の一実施形態に係るランダムパッチの例示を示す図である。 本発明の一実施形態に係る加重値獲得方法を説明するための図である。 本発明の別の実施形態に係る加重値獲得方法を説明するための図である。 本発明の更に別の実施形態に係る加重値獲得方法を説明するための図である。 本発明の一実施形態に係る加重値獲得方法を説明するための図である。 本発明の一実施形態に係るテクスチャパッチ獲得方法を説明するための図である。 本発明の一実施形態によって出力映像を獲得する方法を説明するための図である。 本発明の別の実施形態によって出力映像を獲得する方法を説明するための図である。 本発明の更に別の実施形態によって出力映像を獲得する方法を説明するための図である。 本発明の更に別の実施形態によって出力映像を獲得する方法を説明するための図である。 本発明の一実施形態に係るガウシアンフィルタを説明するための図である。 本発明の一実施形態によってテクスチャパッチにガウシアンぼかし（ｂｌｕｒｒｉｎｇ）処理する方法を説明するための図である。 本発明の一実施形態によってテクスチャパッチにガウシアンぼかし処理する方法を説明するための図である。 本発明の別の実施形態に係る映像処理装置の構成を示すブロック図である。 本発明の一実施形態に係るテクスチャ生成方法を概略に説明するための図である。 本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。

以下では、図面を参照し、本発明について詳細に説明する。本発明を説明するうえで、関連の公知機能或いは構成に対する具体的な説明が本発明の要旨を不要に曖昧にするおそれがあると判断される場合には、それに対する詳細な説明は省略する。更に、以下の実施形態は、様々な形態に変形されてよく、本発明の技術的な思想の範囲が以下の実施形態に限定されるものではない。むしろ、これらの実施形態は、本発明をより充実かつ完全なものにし、当業者に本発明の技術的な思想を完全に伝えるために提供されるものである。

なお、ある構成要素を「含む」とは、そうでないとはっきりとした記載がない限り、別の構成要素を除外するものではなく、別の構成要素を更に含むことができることを意味する。更に、図面における多様な要素と領域は、概略に描かれたものである。よって、本発明の技術的な思想は、添付の図面に描かれた相対的な大きさや間隔によって制限されない。

以下で、添付の図面を用いて、本発明について具体的に説明する。

図１は、本発明の一実施形態に係る映像処理装置の実現例を説明するための図である。

映像処理装置１００は、図１に示すように、テレビで実現されてよいが、それに限定されるものではなく、スマートフォン、タブレットパソコン、ノートパソコン、ＨＭＤ（Ｈｅａｄ ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ＮＥＤ（Ｎｅａｒ Ｅｙｅ Ｄｉｓｐｌａｙ）、ＬＦＤ（Ｌａｒｇｅ ｆｏｒｍａｔ ｄｉｓｐｌａｙ）、Ｄｉｇｉｔａｌ Ｓｉｇｎａｇｅ（デジタル看板）、ＤＩＤ（Ｄｉｇｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｉｓｐｌａｙ）、ビデオウォール（ｖｉｄｅｏ ｗａｌｌ）、プロジェクタディスプレイなどのように、ディスプレイ機能を備えた装置なら限定されることなく、適用可能である。

映像処理装置１００は、多様な解像度の映像または多様な圧縮映像を受信することができる。例えば、映像処理装置１００は、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤ、Ｕｌｔｒａ ＨＤ映像のうち、いずれかの映像を受信することができる。なお、映像処理装置１００は、ＭＰＥＧ（例えば、ＭＰ２、ＭＰ４、ＭＰ７など）、ＡＶＣ、Ｈ.２６４、ＨＥＶＣなどに圧縮された形態で映像を受信することもできる。

一実施形態によって、映像処理装置１００がＵＨＤ ＴＶで実現されるとしても、ＵＨＤコンテンツそのものが不足するため、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）、Ｆｕｌｌ ＨＤなどの映像（以下、低解像度映像という）が入力される場合が多い。この場合、入力された低解像度映像をＵＨＤ映像（以下、高解像度映像という）に拡大して提供する方法を用いることができる。しかし、映像の拡大過程で映像のテクスチャ（ｔｅｘｔｕｒｅ）がぼやけてしまい（Ｂｌｕｒ）、精細感が低下するという問題があった。ここで、映像のテクスチャは、映像の中で同じ質感と見なされる領域特有の柄または模様を意味する。

別の実施形態によって、高解像度映像が入力されるとしても、映像圧縮などによってテクスチャの損失が発生し、精細感が低下するという問題があった。デジタル映像は、画素数が増加するほどより多くのデータを必要とし、大容量データを圧縮するようになる場合、圧縮によるテクスチャの損失は避けられないためである。

よって、以下では、上述のように、多様な場合において損失されたテクスチャ成分を復元して映像の精細感を向上させる多様な実施形態について説明する。

図２は、本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。

図２によると、映像処理装置１００は、メモリ１１０及びプロセッサ１２０を含む。

メモリ１１０は、プロセッサ１２０と電気的に接続され、本発明の多様な実施形態のために必要なデータを保存することができる。例えば、メモリ１１０は、プロセッサ１２０に含まれたＲＯＭ（例えば、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ
ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ））、ＲＡＭなどの内部メモリで実現されるか、プロセッサ１２０と別途のメモリで実現されてよい。この場合、メモリ１１０は、データ保存用途に応じて、映像処理装置１００にエンベデッドされたメモリで実現されるか、映像処理装置１００に着脱可能なメモリで実現されてよい。例えば、映像処理装置１００の駆動のためのデータの場合、映像処理装置１００にエンベデッドされたメモリに保存され、映像処理装置１００の拡張機能のためのデータの場合、映像処理装置１００に着脱可能なメモリに保存されてよい。一方、映像処理装置１００にエンベデッドされたメモリの場合、揮発性メモリ（例えば、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）またはＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ＲＡＭ）など）、非揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）（例えば、ＯＴＰＲＯＭ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ａｎｄ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ｍａｓｋ ＲＯＭ、ｆｌａｓｈ ＲＯＭ、フラッシュメモリ（例えば、ＮＡＮＤ ｆｌａｓｈまたはＮＯＲ ｆｌａｓｈなど）、ハードドライブまたはソリッドステートドライブ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ（ＳＳＤ））のうち少なくとも一つで実現され、映像処理装置１００に着脱可能なメモリの場合、メモリカード（例えば、ＣＦ（ｃｏｍｐａｃｔ ｆｌａｓｈ）、ＳＤ（ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｃｒｏ−ＳＤ（Ｍｉｃｒｏ ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、Ｍｉｎｉ−ＳＤ（ｍｉｎｉ ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）、ｘＤ（ｅｘｔｒｅｍｅ Ｄｉｇｉｔａｌ）、ＭＭＣ（ｍｕｌｔｉ−ｍｅｄｉａ ｃａｒｄ）など）、ＵＳＢポートに接続可能な外部メモリ（例えば、ＵＳＢメモリ）などのような形態で実現されてよい。

一実施形態によって、メモリ１１０は、少なくとも一つのランダムパッチに関する情報を保存することができる。「パッチ」は、機能を考慮し、便宜のために適用された用語であるため、パッチという用語の他に多様な用語が本実施形態に適用されてよい。例えば、各パッチは、複数のパケット値がピクセル単位の行列状に配列される構造を有するため、このような形態を考慮してマスク（ｍａｓｋ）と称してよい。

ここで、少なくとも一つのランダムパッチに関する情報は、少なくとも一つのランダムパッチを生成するために用いられるランダム値を含んでよい。この場合、ランダム値は、擬似乱数（ｐｓｅｕｄｏ ｒａｎｄｏｍ ｎｕｍｂｅｒ）であってよい。擬似乱数とは、最初に与えられた初期値を用いて、予め決定されているメカニズム（擬似乱数生成器）によって生成される数を意味する。例えば、本発明の一実施形態に係るランダムパッチに用いられる擬似乱数は、０及び２＾ｎ（ｎ≧１）からなる整数の集合から選択された少なくとも一つの整数を含んでよい。ただ、それに限定されるものではなく、０及び３＾ｎ（ｎ≧０）からなる整数の集合から選択された少なくとも一つの整数を含む形態で実現することも可能である。即ち、ランダムパッチに用いられる擬似乱数は、プロセッサ１２０の演算を簡素化できる適切な初期値及びメカニズムによって生成されてよい。その他のランダムパッチに関する詳細な説明は、後述する。

プロセッサ１２０は、メモリ１１０と電気的に接続されて映像処理装置１００の動作全般を制御する。

一実施形態によって、プロセッサ１２０はデジタル映像信号を処理するデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、Ｔ−ＣＯＮ（Ｔｉｍｉｎｇ ｃｏｎｔｒｏｌｌｅｒ））で実現されてよい。ただ、それに限定されるものではなく、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＣＰＵ））、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＡＰ））、またはコミュニケーションプロセッサ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｐｒｏｃｅｓｓｏｒ（ＣＰ））、ＡＲＭプロセッサのうち、一つまたはそれ以上を含むか、当該用語に定義されてよい。なお、プロセッサ１４０は、プロセッシングアルゴリズムの内蔵されたＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現されてよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）で実現されてよい。

プロセッサ１２０は、入力映像を映像処理して出力映像を獲得する。具体的に、プロセッサ１２０は、入力映像にテクスチャ向上処理を施して出力映像を獲得することができる。ここで、出力映像は、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像、特に、４Ｋ ＵＨＤ映像または８Ｋ ＵＨＤ映像であってよいが、それに限定されるものではない。

そのために、プロセッサ１２０は、テクスチャ向上処理に用いられる複数のランダムパッチを獲得することができる。具体的に、プロセッサ１２０は、少なくとも一つのランダムパッチを生成するために用いられるランダム値に基づいて、複数のランダムパッチを獲得することができる。ここで、ランダム値は、上述のように、擬似乱数であってよい。この場合、メモリ１１０は、少なくとも一つのランダムパッチを生成するために用いられるランダム値のみを保存すればいいため、非常に少ない保存空間のみを利用してよい。

プロセッサ１２０は、ランダムパッチの大きさに基づいて必要な数の乱数を獲得し、獲得された乱数に基づいて複数のランダムパッチを生成することができる。ここで、基準ランダムパッチは、ｎ＊ｎ形態であってよい。例えば、ランダムパッチの大きさは４＊４であってよいが、それに限定されるものではなく、３＊３、５＊５などのような多様な大きさで実現可能である。ただ、以下では、説明の便宜のために、ランダムパッチが４＊４の大きさで実現される場合を想定して説明する。例えば、基準ランダムパッチが４＊４の大きさで実現される場合、１６の擬似乱数が用いられてよい。

一実施形態によって、ランダムパッチを生成するのに用いられる乱数は、０及び２＾ｎ（ｎ≧０）からなる整数の集合から選択されてよい。例えば、乱数のうち少なくとも一部（例えば、全体の１／２）は、０及び２＾ｎ（ｎ≧０）からなる整数の集合Ａ＝{０、１、２、４、８、１６、３２、…}から選択された少なくとも一つの整数を足し算して生成される正の乱数を含み、乱数のうちの残りは、正の乱数と同じ絶対値を有する負の乱数を含んでよい。それにより、ランダムパッチに含まれた複数の乱数の平均は０であってよい。

一例によって、整数の集合Ａ＝{０、１、２、４、８、１６、３２、…}から少なくとも一つの整数を選択した後、当該整数を足し算して乱数を生成することができる。例えば、以下のような乱数が生成されてよい。

０ ＝ ０
１ ＝ ２＾０
２ ＝ ２＾１
３ ＝ ２＾１ ＋ ２＾０
４ ＝ ２＾２
５ ＝ ２＾２ ＋ ２＾０
６ ＝ ２＾２ ＋ ２＾１
８ ＝ ２＾３
９ ＝ ２＾３ ＋ ２＾０
１０ ＝ ２＾３ ＋ ２＾１
１２ ＝ ２＾３ ＋ ２＾２
１６ ＝ ２＾４
１７ ＝ ２＾４ ＋ ２＾０
１８ ＝ ２＾４ ＋ ２＾１
２０ ＝ ２＾４ ＋ ２＾２
２４ ＝ ２＾４ ＋ ２＾３
３２ ＝ ２＾５
プロセッサ１２０は、上記のような方法で乱数を生成し、生成された乱数を用いて複数のランダムパッチを生成することができる。例えば、横Ｗ、縦Ｈの大きさのランダムパッチＮを生成する場合、まず、Ｗ＊Ｈ/２の正（＋）の乱数を生成し、正（＋）の乱数に負の符号（−）を付けた負の乱数を追加して合わせてＷ＊Ｈの数字をもつ乱数の集合を生成することができる。続いて、プロセッサ１２０は、乱数の集合に含まれた乱数をＮ番の異なる順番で混ぜることでＮのランダムパッチを作る。よって、各ランダムパッチに含まれた乱数は、パッチ別に配列（順番）のみが異なるだけで、同じ値であってよい。このような方式で平均は０であり、標準偏差は同じだが、相互異なる形（模様）を有するＮのランダムパッチを生成することができる。それは、ランダムパッチを映像に足してもピクセル値が変わるだけで、映像全体の輝度が変わらず保持されるようにするためである。ここで、また、平均は幾何平均、調和平均など多様な数学的意味の平均公式が適用されてよく、例えば、算術平均方式に基づいて平均値が導出されてよい。なお、標準偏差が同じとは、予め設定された標準偏差値σであるとすれば、例えば、−σ≦ｋ≦σ（ここで、ｋはランダムパッチの標準偏差）を満たすことを意味することができる。

場合によって、プロセッサ１２０は、生成された複数のランダムパッチをメモリ１１０に保存して必要な場合に利用することができる。ただ、プロセッサ１２０は、ランダムパッチ生成に利用される乱数のみを保存し、必要時に複数のランダムパッチを生成することもできる。

場合によって、メモリ１１０は、複数のランダム値から複数のランダムパッチを生成するためのオーダリング情報を保存することができ、この場合、プロセッサ１２０はオーダリング情報に基づいて複数のランダムパッチを生成することも可能である。ただ、本発明の主な実施形態のように、複数のランダムパッチを複数のランダム値の順番をランダムに変更して生成できることは言うまでもない。

図３は、本発明の一実施形態に係るランダムパッチの例示を示す図である。

一実施形態によって、図３に示すように、４＊４の大きさのランダムパッチを生成する場合、８の乱数を生成することができる。例えば、｛２、６、１０、１２、１６、１８、２０、２４｝の乱数が生成された場合を仮定する。このような正の乱数に対応する負の乱数を追加すると、｛２、６、１０、１２、１６、１８、２０、２４、−２、−６、−１０、−１２、−１６、−１８、−２０、−２４｝の乱数の集合が作られる。当該乱数の配列を異なるように変形し、図示のＲ[０]、Ｒ[１]、Ｒ[２]のような多様なランダムパッチを生成することができる。ここで、相互異なるランダムパッチを生成するための乱数の配列変更はランダムに行われてよい。ただ、場合によっては、一部予め設定されたオーダリング順を適用して乱数の配列を変更することも可能である。

図２に戻り、プロセッサ１２０は、複数のランダムパッチが獲得されると、獲得された複数のランダムパッチのそれぞれと入力映像に含まれたピクセルブロック（以下、対象ピクセルブロック）との間の類似度情報を獲得することができる。ここで、類似度情報は、複数のランダムパッチのそれぞれと入力映像に含まれたピクセルブロックとの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）（または、相関度または関連度）であってよい。ここで、相関関係は、一定の数値で計算され、両変量ｘ、ｙが相互関連性があると推測される関係を意味し、関係性の程度は相関係数（ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれる数値で示されてよい。例えば、相関係数は、−１．０から＋１．０までの間の数値で表現されてよく、符号によらず、数字の絶対値が大きいほど関連性がより高いと見なすことができる。例えば、負（−）の値は負的相関を示し、正（＋）の値は正的相関を示してよい。

例えば、入力映像において対象ピクセルブロックに含まれたピクセル値Ｉ＝［ｉ_０、ｉ_１、…、ｉｎ_−１］、ランダムパッチＲ［ｎ］に含まれた乱数値Ｒ［ｎ］＝［ｒ_０、ｒ_１、…、ｒｎ_−１］とすれば、相関値Ｃ[ｎ]はＥ［ｉ＊ｒ［ｎ］］＝Σｉ_ｉ＊ｒ_ｉに獲得されてよい。

または、対象ピクセルブロックに含まれたピクセル値の平均をｍ（Ｉ）、ランダムパッチＲ［ｎ］に含まれた乱数の平均をｍ（Ｒ［ｎ］）とすれば、相関値は以下のような数式（１）に基づいて獲得されてよい。

この場合、各ランダムパッチの平均は０であるため、数式（１）は以下の数式（２）のように誘導されてよい。

本発明の一実施形態によって擬似乱数を用いる場合、対象ピクセルブロック及びランダムパッチの間の相関関係算出において、掛け算演算をｂｉｔ−ｓｈｉｆｔ及び足し算演算に置き換えることができるようになる。例えば、乱数１２を使う場合、対象ピクセルブロックに含まれたピクセル値ａと乱数１２を掛け算する計算は、「ａ×１２」の代わりに、「（ａ＜＜３）＋（ａ＜＜２）」に替えることができる。ｂｉｔ−ｓｈｉｆｔ演算及びａｄｄ演算が掛け算演算よりハードウェア実現の際に所要する複雑度が非常に低いため、演算の複雑度を顕著に軽減させることができるようになる。なお、後述のように、複数のランダムパッチのそれぞれに対応する加重値を掛け算する過程でも、当該計算方法が用いられ得るため、演算の複雑度を顕著に軽減させることができるようになる。

一方、プロセッサ１２０は、獲得された相関関係に基づいて、複数のランダムパッチのそれぞれに対応する加重値を獲得することができる。

一例として、プロセッサ１２０は、複数のランダムパッチのそれぞれに対して獲得された相関値を各ランダムパッチに対応する加重値として獲得することができる。別の例として、プロセッサ１２０は、複数のランダムパッチのそれぞれに対して獲得された相関値に予め設定された比例定数を掛け算して獲得された値を各ランダムパッチに対応する加重値として獲得することができる。例えば、プロセッサ１２０は、複数のランダムパッチのそれぞれに対して獲得された相関値に基づいて、０ないし１の範囲の加重値を獲得することができる。一例によって、相関関係がランダムパッチに加重値０を適用する場合、当該ランダムパッチは対象ピクセル領域に足されないようになる。この場合、平坦な領域や強いエッジ（ｅｄｇｅ）の含まれた領域では、全てのランダムパッチに対する相関関係が非常に低くなる可能性が高いため、何のテクスチャも生じなくなる。この場合、エッジ領域で発生し得るリンギング現象を防止することができ、平坦な領域に不要なテクスチャが足されることを防止することができるようになる。

ただ、本発明の別の実施形態によると、複数のランダムパッチのそれぞれと対象ピクセルブロックとの間の類似度情報は、上述の相関関係の他に、多様な費用関数によって獲得されてよい。例えば、類似性を判断する費用関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）としては、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）、ＳＡＤ（Ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、ＭＡＤ（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ）、ｃｏｒｒｅｌａｔｉｏｎなどを使用することができる。例えば、ＭＳＥを適用する場合、対象ピクセルブロックのＭＳＥを算出し、ＭＳＥ観点から対象ピクセルブロックと各ランダムパッチとの間の類似度を獲得することができる。例えば、ＭＳＥ差に基づいて類似度加重値が決定されてよい。

プロセッサ１２０は、獲得された加重値を複数のランダムパッチのそれぞれに適用し、加重値の適用されたランダムパッチを対象ピクセルブロックに適用して出力映像を獲得することができる。例えば、プロセッサ１２０は、対象ピクセルブロックと第１ランダムパッチとの間の相関関係に基づいて第１加重値を獲得し、ピクセルブロックと第２ランダムパッチとの間の相関関係に基づいて第２加重値を獲得し、第１加重値を第１ランダムパッチに掛け算し、第２加重値を第２ランダムパッチに掛け算し、第１加重値が掛け算された第１ランダムパッチ及び第２加重値が掛け算された第２ランダムパッチを対象ピクセルブロックに適用して出力映像を獲得することができる。

一実施形態によって、プロセッサ１２０は、加重値の適用された複数のランダムパッチを全て足し算してテクスチャを生成し、生成されたテクスチャを対象ピクセルブロックに適用して出力映像を獲得することができる。例えば、プロセッサ１２０は、第１加重値が掛け算された第１ランダムパッチに含まれた第１ランダム値（即ち、乱数値）及び第２加重値が掛け算された第２ランダムパッチに含まれた第１ランダム値と同じ位置の第２ランダム値を足し算し、第１加重値が掛け算された第１ランダムパッチに含まれた第３ランダム値及び第２加重値が掛け算された第２ランダムパッチに含まれた第３ランダム値と同じ位置の第４ランダム値を足し算し、テクスチャパッチを獲得することができる。続いて、プロセッサ１２０は、対象ピクセルブロックにテクスチャパッチを適用（例えば、足し算）して出力映像を獲得することができる。

別の実施形態によって、プロセッサ１２０は、加重値の適用された複数のランダムパッチのそれぞれを順次に対象ピクセルブロックに適用してテクスチャを含む出力映像を獲得することができる。例えば、プロセッサ１２０は、対象ピクセルブロックに含まれた第１ピクセルに第１ランダムパッチに含まれた第１位置のランダム値が足し算されるように、対象ピクセルブロックに第１ランダムパッチを適用し、対象ピクセルブロックに含まれた第１ピクセルに第２ランダムパッチに含まれた第１位置と同じ位置のランダム値が足し算されるように、ピクセルブロックに第２ランダムパッチを適用することができる。

図４Ａないし図４Ｃは、本発明の多様な実施形態に係る加重値獲得方法を説明するための図である。

本発明の一実施形態によると、図４Ａに示すように、相関値Ｅ[ＩＲ]に応じて加重値は予め設定された範囲、例えば、０ないし１の間の範囲で線形的に増加する形で決定されてよい。例えば、図示のように、複数の相関値のうち、相関値Ｅ[ＩＲ]が最小である場合に加重値０に決定し、相関値Ｅ[ＩＲ]が最大である場合に加重値１に決定し、相関値Ｅ[ＩＲ]が最小ないし最大の間では線形的に増加するように加重値を決定することができる。この場合、最小値及び最大値は、一例によって、特定対象ピクセルブロックによって算出された複数の相関値のうち最小値及び最大値になってよい。この場合、ピクセルブロック別に同じ相関値に対して異なる加重値が適用されてよい。しかし、別の例によって、入力映像の全てのピクセルブロックに対して最小値（例えば、０）及び最大値（例えば、１００）が決定されていてよい。この場合、全てのピクセルブロックで相関値が同じである場合には、同じ加重値が適用されてよい。

本発明の別の実施形態によると、図４Ｂに示すように、相関値Ｅ[ＩＲ]が第１臨界値（Ｔｈ１）未満である場合に加重値０に決定し、相関値が第２臨界値（Ｔｈ２）以上である場合に加重値１に決定し、相関値Ｅ[ＩＲ]が第１臨界値（Ｔｈ１）以上第２臨界値（Ｔｈ２）未満の範囲内で加重値が線形的に増加するように加重値を決定することができる。この場合、第１臨界値（Ｔｈ１）及び第２臨界値（Ｔｈ２）は、全てのピクセルブロックに対して同じ値に設定されてよい。ただ、第１臨界値（Ｔｈ１）及び第２臨界値（Ｔｈ２）は、各ピクセルブロック別に異なる値に設定されることも可能である。

本発明の更に別の実施形態によると、図４Ｃに示すように、相関値Ｅ[ＩＲ]が第３臨界値（Ｔｈ３）未満である場合に加重値０に決定し、相関値が第３臨界値（Ｔｈ３）以上である場合に加重値１に決定することができる。この場合、相関値が第３臨界値（Ｔｈ３）以上である場合のランダムパッチのみがテクスチャとして用いられるようになる。ここで、第３臨界値（Ｔｈ３）は、全てのピクセルブロックに対して同じ値に設定されてよい。ただ、第３臨界値（Ｔｈ３）は、各ピクセルブロック別に異なる値に設定されることも可能である。

図５Ａ及び図５Ｂは、本発明の一実施形態に係るテクスチャパッチ獲得方法を説明するための図である。

図５Ａに示すように、プロセッサ１２０は、入力映像５００に含まれた対象ピクセルブロック５１０と第１ランダムパッチ（Ｒ[０]）との間の相関関係に基づいて第１ランダムパッチ（Ｒ[０]）に対応する加重値ｗ０を獲得することができる。なお、プロセッサ１２０は、対象ピクセルブロック５１０と第２ランダムパッチ（Ｒ[１]）との間の相関関係に基づいて第２ランダムパッチ（Ｒ[１]）に対応する加重値ｗ１を獲得することができる。なお、プロセッサ１２０は、対象ピクセルブロック５１０と第３ランダムパッチ（Ｒ[２]）との間の相関関係に基づいて第３ランダムパッチ（Ｒ[２]）に対応する加重値ｗ２を獲得することができる。

続いて、図５Ｂに示すように、プロセッサ１２０は、第１ランダムパッチ（Ｒ[０]）に対応する加重値ｗ０を掛け算し、第２ランダムパッチ（Ｒ[１]）に対応する加重値ｗ１を掛け算し、第３ランダムパッチ（Ｒ[２]）に対応する加重値ｗ２を掛け算した後、加重値の掛け算された第１ないし第３ランダムパッチを足して、テクスチャパッチを生成することができる。具体的に、プロセッサ１２０は、加重値の掛け算された第１ランダムパッチ（Ｒ[０]）の（１、１）の位置の値ｗ０＊６、加重値の掛け算された第２ランダムパッチ（Ｒ[１]）の（１、１）の位置の値ｗ１＊（−１８）及び加重値の掛け算された第３ランダムパッチ（Ｒ[２]）の（１、１）の位置の値ｗ２＊（−２０）を足して、テクスチャパッチ５２０の（１、１）の位置の値ｔ１を獲得することができる。テクスチャパッチ５２０の残りの位置の値も加重値の掛け算された各ランダムパッチの対応する位置の値を足すことで獲得することができる。例えば、プロセッサ１２０は、加重値の掛け算された第１ランダムパッチ（Ｒ[０]）をメモリ１１０に保存し、加重値の掛け算された第２ランダムパッチ（Ｒ[１]）をメモリ１１０に保存されたパッチにオーバーラップして保存し、加重値の掛け算された第３ランダムパッチ（Ｒ[２]）をメモリ１１０に保存されたパッチにオーバーラップして保存してテクスチャパッチを獲得することができる。ここで、オーバーラップして保存するとは、各ランダムパッチの対応する位置の値を足す方式であってよい。

図６Ａ及び図６Ｂは、本発明の一実施形態によって出力映像を獲得する方法を説明するための図である。

図６Ａは、本発明の一実施形態によって、入力映像に対応するテクスチャを獲得した後、獲得されたテクスチャを入力映像に適用する方法を説明するための図である。

一実施形態によって、プロセッサ１２０は、図６Ａに示すように、対象ピクセルブロックに対応するテクスチャパッチ５２０を、図５Ｂに示す方法で生成した後、生成されたテクスチャパッチ５２０を対象ピクセル領域に適用することができる。ここで、適用とは、対象ピクセル領域に含まれた各ピクセル値にテクスチャパッチ５２０の対応する領域に含まれた値を足し算する方式であってよい。ただ、それに限定されるものではなく、単純な足し算の他の更なる処理が施されてよい。

このように、プロセッサ１２０は、入力映像に含まれた全てのピクセルを基準に対象ピクセルブロックを設定した後、対応するテクスチャを順次に適用して補正された映像を獲得することができる。

図６Ｂは、本発明の別の実施形態によって加重値の適用されたランダムパッチをリアルタイムで入力映像に適用する方法を説明するための図である。

別の実施形態によって、プロセッサ１２０は、図６Ｂに示すように、加重値の適用された複数のランダムパッチ６１０、６２０のそれぞれを順次に対象ピクセルブロックに適用してテクスチャを含む出力映像を獲得することができる。例えば、プロセッサ１２０は、図示のように、加重値の適用された第１ランダムパッチ６１０を対象ピクセル領域に適用した後、加重値の適用された第２ランダムパッチ６２０を、加重値の適用された第１ランダムパッチ６１０の適用された対象ピクセル領域に適用することができる。ここで、適用とは、対象ピクセル領域に含まれた各ピクセル値に加重値の適用された複数のランダムパッチ６１０、６２０の対応する領域に含まれた値を足し算する方式であってよい。ただ、それに限定されるものではなく、単純な足し算の他の更なる処理が施されてよい。

このように、プロセッサ１２０は、入力映像に含まれた全てのピクセルを基準に対象ピクセルブロックを設定した後、対応するランダムパッチを順次に適用して補正された映像を獲得することができる。

図７Ａ及び図７Ｂは、本発明の別の実施形態によって出力映像を獲得する方法を説明するための図である。

図７Ａ及び図７Ｂは、説明の便宜上、図６Ａに示すように、対象ピクセル領域に対応するテクスチャパッチを生成した後、入力映像に適用する方法を説明する。

図７Ａに示すように、第１対象ピクセルブロック５１０に対応する第１テクスチャパッチ７１０を当該ピクセルブロックに適用した後、図７Ｂに示すように、第２対象ピクセルブロック５２０に対応する第２テクスチャパッチ７２０を当該ピクセルブロックに適用することができる。この場合、第１及び第２対象ピクセルブロックは、少なくとも一つのピクセル単位として識別されてよい。例えば、入力映像で（１、１）の位置のピクセル５１０が対象ピクセルブロックの（１、１）の位置に含まれるように第１対象ピクセルブロック（例えば、４＊４の大きさ）５１０を識別し、入力映像で（１、２）の位置のピクセル５２０が対象ピクセルブロックの（１、１）の位置に含まれるように第２対象ピクセルブロック５２０を識別することができる。ただ、それに限定されるものではなく、入力映像で（１、１）の位置のピクセルが対象ピクセルブロックの（１、１）の位置に含まれるように第１対象ピクセルブロック（例えば、４＊４の大きさ）を識別し、入力映像で（１、３）の位置のピクセルが対象ピクセルブロックの（１、１）の位置に含まれるように第２対象ピクセルブロックを識別することができる。

図２に戻り、本発明の別の実施形態によると、プロセッサ１２０はテクスチャパッチが獲得されると、テクスチャパッチに周波数フィルタリングを適用し、周波数フィルタリングの適用されたテクスチャパッチを対象ピクセルブロックに適用することもできる。即ち、プロセッサ１２０は、テクスチャパッチを入力映像に足す前に周波数フィルタリングを適用し、テクスチャパッチの周波数範囲を変形させることができる。例えば、プロセッサ１２０は、ｈｉｇｈ−ｐａｓｓ ｆｉｌｔｅｒを使って高周波テクスチャを生成することもでき、ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒを使って低周波テクスチャを生成することができる。以下の数式（３）は、フィルタリングされたテクスチャ（Ｆｉｌｔｅｒ（Ｔ））を入力映像（Ｉ）と足して出力映像（Ｏ）を獲得する過程を示す。

例えば、プロセッサ１２０は、テクスチャパッチにガウシアンぼかし（または、ガウシアンフィルタリング）のようなｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒを適用することができる。ガウシアンぼかしは、ガウシアン確率分布に基づいたガウシアンフィルタを用いてぼかし処理する方法として、ガウシアンフィルタをテクスチャパッチに適用すれば、高周波成分は遮断されてぼかし処理になる。

図８Ａないし図８Ｃは、本発明の一実施形態に係るテクスチャパッチに対するぼかし（ｂｌｕｒｒｉｎｇ）方法を説明するための図である。説明の便宜のために、テクスチャパッチが３＊３形態の場合に想定している。

例えば、ガウシアンフィルタは、図８Ａに示すように、ｘ軸の０は加重値が大きく、＋／−部分に進むにつれて加重値が少なくなる形態であってよく、このようなガウシアンフィルタは３＊３形態のマスク５０に適用すれば、マスク５０の中心は加重値が大きく、マスク５０の周縁に進むにつれて加重値が少なくなる形態であってよい。ただ、図８Ａに示す数値は例として挙げたものであり、フィルタリング数値はガウシアン関数のシグマ値に応じて異なってくる。

プロセッサ１２０は、図８Ｂに示すように、ガウシアンマスク５０をテクスチャパッチ５２０に含まれた各ピクセル値に適用してテクスチャパッチ５２０をガウシアンぼかし処理することができる。具体的に、プロセッサ１２０は、テクスチャパッチ５２０に含まれた各ピクセル値がガウシアンマスク５０の中心に位置するようにガウシアンマスク５０を移動させて各ピクセル値に対してフィルタリングを行うことができる。

この場合、プロセッサ１２０は、テクスチャパッチ５２０の境界に位置するピクセル値に対してはミラーリングしたピクセル値に基づいてフィルタリングを行うことができる。例えば、テクスチャパッチ５２０の（１、１）の位置のピクセル値、即ち、Ｐ１をガウシアンマスク５０の中心に位置させてフィルタリングを行う場合には、図８Ｃに示すように、境界位置のピクセル値をミラーリングしてＰ１値を中心にする仮想の第２パッチ６０を生成した後、Ｐ１値をガウシアンマスク５０の中心に位置させてフィルタリングを行うことができる。

このように、プロセッサ１２０は、テクスチャパッチ５２０に含まれた全てのピクセル値に対するガウシアンフィルタリングを行い、ぼかし処理されたテクスチャパッチ８００を獲得することができる。

一方、上述の映像処理過程、即ち、テクスチャ向上処理は、実施形態によって映像のスケーリング前または後に行われてよい。例えば、低解像度映像を高解像度映像に拡大するスケーリング後に上述の映像処理を行うか、圧縮映像をデコードする過程で上述の映像処理を行ってからスケーリングを行うこともできる。

図９は、本発明の別の実施形態に係る映像処理装置の構成を示すブロック図である。図９によると、映像処理装置１００’は、メモリ１１０、プロセッサ１２０、入力部１３０、ディスプレイ１４０、出力部１５０及びユーザインターフェース１６０を含む。図９に示された説明のうち、図２に示す構成と重複する構成については、詳細な説明を省略する。

本発明の一実施形態によると、メモリ１１０は、本発明に係る多様な動作で生成されるデータを保存する単一メモリで実現されてよい。

ただ、本発明の別の実施形態によると、メモリ１１０は第１ないし第３メモリを含むように実現されてよい。

第１メモリは、入力部１３０を介して入力された映像のうち少なくとも一部を保存することができる。特に、第１メモリは入力された映像フレームのうち少なくとも一部の領域を保存することができる。この場合、少なくとも一部の領域は、本発明の一実施形態に係る映像処理を行うのに必要な領域であってよい。一実施形態によって、第１メモリはＮラインメモリで実現されてよい。例えば、Ｎラインメモリは、縦方向に１７ライン相当の容量を有するメモリであってよいが、それに限定されるものではない。例えば、１０８０ｐ（１、９２０×１、０８０の解像度）のＦｕｌｌ ＨＤ映像が入力される場合、Ｆｕｌｌ ＨＤ映像で１７ラインの映像領域のみが第１メモリに保存される。このように、第１メモリは、Ｎラインメモリで実現され、入力された映像フレームのうち一部の領域のみが映像処理のために保存される理由は、ハードウェア的な限界によって第１メモリのメモリ容量が制限的であるためである。このような理由で、本発明の一実施形態によれば、第１保存部１２０は入力された映像フレームのうち予め設定された数のラインの映像領域のみを保存して映像処理を行い、少なくとも１ラインの分遅延した映像領域を保存しながら連続的に映像処理を行うこともできる。

第２メモリは、獲得されたランダムパッチ、テクスチャパッチなどを保存するためのメモリとして、本発明の多様な実施形態によって多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって入力映像の各ピクセル値に対応するテクスチャ成分を全て獲得して保存した後で入力映像に適用するように実現される場合、第２メモリは入力映像の大きさと同じか大きいサイズで実現されてよい。別の実施形態によって、第１メモリのサイズに対応する映像単位でテクスチャ成分を適用するか、ピクセルライン単位で獲得されたテクスチャ成分をピクセルライン単位で適用するなどの場合には、当該映像処理のための適切なサイズで実現されてよい。

第３メモリは、獲得されたテクスチャ成分を適用して映像処理した出力映像が保存されるメモリとして、本発明の多様な実施形態によって、多様なサイズのメモリで実現されてよい。例えば、本発明の一実施形態によって入力映像の各ピクセル値に対応するテクスチャ成分を全て適用して出力映像を獲得してディスプレイするように実現される場合、第３メモリは入力映像のサイズと同じか大きいサイズで実現されてよい。別の実施形態によって、第１メモリのサイズに対応する映像単位で映像を出力するか、ピクセルライン単位で出力するなどの場合には、当該映像保存のための適切なサイズで実現されてよい。

ただ、第１メモリまたは第２メモリに出力映像がオーバーライトされたり、出力映像が保存されずに直ちにディスプレイされる形態で実現される場合などに、第３メモリは必要としなくてよい。

入力部１３０は、多様なタイプのコンテンツ、例えば、映像信号を受信する。例えば、入力部１３０は、ＡＰ基盤のＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ ＬＡＮネットワーク）、ブルートゥース（登録商標（Ｂｌｕｅｔｏｏｔｈ））、Ｚｉｇｂｅｅ、有／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ、イーサネット（登録商標）、ＩＥＥＥ １３９４、ＨＤＭＩ（登録商標（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＤＰ（Ｄｉｓｐｌａｙ Ｐｏｒｔ）、サンダーボルト（Ｔｈｕｎｄｅｒｂｏｌｔ）、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）ポート、ＲＧＢポート、Ｄ−ＳＵＢ（Ｄ−ｓｕｂｍｉｎｉａｔｕｒｅ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）などのような通信方式を通じて外部装置（例えば、ソース装置）、外部保存媒体（例えば、ＵＳＢ）、外部サーバ（例えば、ウェブハード）などからストリーミングまたはダウンロード方式で映像信号を入力されてよい。ここで、映像信号は、デジタル信号であってよいが、それに限定されない。

ディスプレイ１４０は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、ＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＥＤ（Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、Ｍｉｃｒｏ ＬＥＤ、ＬＣｏＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）、ＱＤ（ｑｕａｎｔｕｍ ｄｏｔ）ディスプレイパネルなどのような多様な形態で実現されてよい。

出力部１５０は、音響信号を出力する。

例えば、出職部１５０は、プロセッサ１４０で処理されたデジタル音響信号をアナログ音響信号に変換して増幅して出力することができる。例えば、出力部１５０は、少なくとも一つのチャネルを出力できる、少なくとも一つのスピーカユニット、Ｄ／Ａコンバータ、オーディオアンプ（ａｕｄｉｏ ａｍｐｌｉｆｉｅｒ）などを含んでよい。一例として、出力部１５０は、Ｌチャネル、Ｒチャネルをそれぞれ再生するＬチャネルスピーカ及びＲチャネルスピーカを含んでよい。ただ、それに限定されるものではなく、出力部１５０は多様な形態で実現可能である。別の例として、出力部１５０は、Ｌチャネル、Ｒチャネル、センターチャネルを再生するサウンドバー形態で実現されることも可能である。

ユーザインターフェース１６０は、ボタン、タッチパッド、マウス及びキーボードのような装置で実現されるか、上述のディスプレイ機能及び操作入力機能も併せて行えるタッチスクリーン、リモコン受信部などで実現されてよい。ここで、ボタンは映像処理装置１００の本体外観の全面部や側面部、背面部などの任意の領域に形成された機械的ボタン、タッチパッド、ホイールなどのような多様なボタンであってよい。

図１０は、本発明の一実施形態に係るテクスチャ生成方法を概略に説明するための図である。

図１０によると、まず、複数のランダムパッチを獲得する（１０１０）。ここで、複数のランダムパッチのそれぞれは、複数の擬似乱数（ｐｓｅｕｄｏ ｒａｎｄｏｍ ｎｕｍｂｅｒ）を含み、各ランダムパッチに含まれた複数の擬似乱数の平均は０であってよい。

続いて、入力映像に含まれた入力パッチ（対象ピクセルブロック）と複数のランダムパッチのそれぞれの相関関係に基づいて、各ランダムパッチに対応する加重値を算出する（１０２０）。

続いて、複数のランダムパッチのそれぞれに対応する加重値を適用し、加重値の適用されたランダムパッチを合算し（１０３０）、入力パッチに対応するテクスチャ成分を生成することができる。

一方、図１０に示されていないが、本発明の実施形態に係る映像処理前に入力映像のノイズを除去するフリーフィルタリングを更に適用することも可能である。例えば、ガウシアンフィルタのようなスムージングフィルタ（Ｓｍｏｏｔｈｉｎｇ Ｆｉｌｔｅｒ）、入力映像を予め設定されたガイダンス（ｇｕｉｄａｎｃｅ）に対比させてフィルタリングするガイデッド（ｇｕｉｄｅｄ）フィルタなどを適用して目立つノイズを除去することができる。

図１１は、本発明の一実施形態に係る映像処理方法を説明するためのフローチャートである。

図１１に示す映像処理方法によると、少なくとも一つのランダムパッチに関する情報から獲得された複数のランダムパッチのそれぞれと入力映像に含まれたピクセルブロックとの間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を獲得する（Ｓ１１１０）。

続いて、獲得された相関関係に基づいて複数のランダムパッチのそれぞれに対する加重値を獲得し、複数のランダムパッチのそれぞれに対応する加重値を適用する（Ｓ１１２０）。

次に、加重値の適用されたランダムパッチをピクセルブロックに適用して出力映像を獲得することができる（Ｓ１１３０）。

次に、複数のランダムパッチのそれぞれは、複数の擬似乱数を含み、各ランダムパッチに含まれた複数の擬似乱数の平均は０であってよい。

なお、複数の擬似乱数のうち少なくとも一部は、０及び２＾ｎ（ｎ≧０）からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、複数の擬似乱数のうちの残りは、正の擬似乱数と同じ絶対値を有する負の擬似乱数を含んでよい。

なお、少なくとも一つのランダムパッチに関する情報は、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含んでよい。この場合、映像処理方法は、複数の擬似乱数の順番を変更して複数のランダムパッチを獲得するステップを更に含んでよい。

なお、加重値を適用するステップＳ１１２０では、ピクセルブロックと第１ランダムパッチとの間の相関関係に基づいて第１加重値を獲得し、ピクセルブロックと第２ランダムパッチとの間の相関関係に基づいて第２加重値を獲得し、第１加重値を第１ランダムパッチに掛け算し、第２加重値を第２ランダムパッチに掛け算してよい。この場合、出力映像を獲得するステップＳ１１３０は、第１加重値が掛け算された第１ランダムパッチ及び第２加重値が掛け算された第２ランダムパッチをピクセルブロックに適用して前記出力映像を獲得することができる。

なお、出力映像を獲得するステップＳ１１３０では、ピクセルブロックに含まれた第１ピクセルに第１ランダムパッチに含まれた第１位置のランダム値が足し算されるように、ピクセルブロックに第１ランダムパッチを適用し、ピクセルブロックに含まれた第１ピクセルに第２ランダムパッチに含まれた第１位置と同じ位置のランダム値が足し算されるように、ピクセルブロックに第２ランダムパッチを適用することができる。

なお、出力映像を獲得するステップＳ１１３０では、第１加重値が掛け算された第１ランダムパッチに含まれた第１ランダム値及び第２加重値が掛け算された第２ランダムパッチに含まれた第１ランダム値と同じ位置の第２ランダム値を足し算し、第１加重値が掛け算された第１ランダムパッチに含まれた第３ランダム値及び第２加重値が掛け算された第２ランダムパッチに含まれた第３ランダム値と同じ位置の第４ランダム値を足し算し、テクスチャパッチを獲得し、ピクセルブロックにテクスチャパッチを適用して出力映像を獲得することができる。

なお、出力映像を獲得するステップＳ１１３０では、獲得されたテクスチャパッチに周波数フィルタリングを適用し、周波数フィルタリングの適用されたテクスチャパッチをピクセルブロックに適用して出力映像を獲得することができる。

上述の多様な実施形態によれば、映像拡大及び／または映像圧縮などによってテクスチャの損失された映像に対してテクスチャ生成を通じて映像の精細感を向上させることができるようになる。なお、相関関係を考慮せずにランダムパッチを用いる場合、発生し得るリンギング（Ｒｉｎｇｉｎｇ）などの副作用を防止することができるようになる。なお、映像のビット数に基づいた数（例えば、８ビット映像の場合、２５６）のランダムパッチを保存する場合に比べて、メモリ空間を少なくて用いて済む。なお、一つの対象ピクセルブロック基準で一つのランダムパッチのみが足される場合に比べて豊富なテクスチャを生成することができるようになる。

ただ、本発明の多様な実施形態は、映像処理装置だけでなく、セットトップボックスのような映像受信装置、映像処理装置などの映像処理が可能な全ての電子装置に適用することができる。

一方、以上で説明された多様な実施形態は、ソフトウェア（ｓｏｆｔｗａｒｅ）、ハードウェア（ｈａｒｄｗａｒｅ）またはこれらの組み合わせを用いてコンピュータまたはそれに類似する装置で読み取れる記録媒体内で実現されてよい。一部の場合において、本明細書で説明される実施形態がプロセッサ１２０そのもので実現されてよい。ソフトウェア的な実現によると、本明細書で説明される手続き及び機能のような実施形態は別途のソフトウェアモジュールで実現されてよい。ソフトウェアモジュールのそれぞれは、本明細書で説明される一つ以上の機能及び動作を行うことができる。

一方、上述の本発明の多様な実施形態によると映像処理装置１００のプロセシング動作を行うためのコンピュータ命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）は、非一時的な読み取り可能な媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存されてよい。このような非一時的な読み取り可能な媒体に保存されたコンピュータ命令語は、特定機器のプロセッサによって実行された際、上述の多様な実施形態に係る映像処理装置１００における処理動作を特定機器が行うようにする。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (15)

1. 複数のランダムパッチに関する情報が保存されたメモリと、
   入力映像に含まれたピクセルブロック及び前記複数のランダムパッチのそれぞれの間の相関値（ｃｏｒｒｅｌａｔｉｏｎ）を獲得し、
   前記獲得された相関値又は前記獲得された相関値に所定の比例定数を掛け算した値を前記複数のランダムパッチのそれぞれに対する加重値として獲得し、前記複数のランダムパッチのそれぞれに対する加重値を前記複数のランダムパッチのそれぞれに適用してテクスチャパッチを獲得し、
   前記ピクセルブロックに前記テクスチャパッチを適用して出力映像を獲得するプロセッサと
   を含む映像処理装置。
2. 前記複数のランダムパッチのそれぞれは、
   複数の擬似乱数（ｐｓｅｕｄｏ ｒａｎｄｏｍ ｎｕｍｂｅｒ）を含み、
   各ランダムパッチに含まれた前記複数の擬似乱数の平均は０であることを特徴とする請求項１に記載の映像処理装置。
3. 前記複数の擬似乱数のうち少なくとも一部は、
   ０及び２＾ｎ（ｎ≧０）からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、
   前記複数の擬似乱数のうちの残りは、
   前記正の擬似乱数と同じ絶対値を有する負の擬似乱数を含むことを特徴とする請求項２に記載の映像処理装置。
4. 前記メモリは、一つのランダムパッチを生成するために用いられる複数の擬似乱数を含み、
   前記プロセッサは、
   前記複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得することを特徴とする請求項１に記載の映像処理装置。
5. 前記プロセッサは、
   前記ピクセルブロックと第１ランダムパッチとの間の相関値に基づいて第１加重値を獲得し、前記ピクセルブロックと第２ランダムパッチとの間の相関値に基づいて第２加重値を獲得し、
   前記第１加重値を前記第１ランダムパッチに掛け算して第１テクスチャパッチを獲得し、前記第２加重値を前記第２ランダムパッチに掛け算して第２テクスチャパッチを獲得し、
   前記第１テクスチャパッチ及び前記第２テクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得することを特徴とする請求項１に記載の映像処理装置。
6. 前記プロセッサは、
   前記ピクセルブロックに含まれた第１ピクセルに前記第１ランダムパッチに含まれた第１位置のランダム値が足し算されるように、前記ピクセルブロックに前記第１テクスチャパッチを適用し、
   前記ピクセルブロックに含まれた第１ピクセルに前記第２ランダムパッチに含まれた前記第１位置と同じ位置のランダム値が足し算されるように、前記ピクセルブロックに前記第２テクスチャパッチを適用することを特徴とする請求項５に記載の映像処理装置。
7. 前記プロセッサは、
   前記第１加重値が掛け算された第１ランダムパッチの第１位置に含まれた第１ランダム値及び前記第２加重値が掛け算された第２ランダムパッチの前記第１位置に含まれた第２ランダム値を足し算し、前記第１加重値が掛け算された第１ランダムパッチの第２位置に含まれた第３ランダム値及び前記第２加重値が掛け算された第２ランダムパッチの前記第２位置に含まれた第４ランダム値を足し算し、前記テクスチャパッチを獲得することを特徴とする請求項５に記載の映像処理装置。
8. 前記プロセッサは、
   前記獲得されたテクスチャパッチに周波数フィルタリングを適用し、前記周波数フィルタリングの適用されたテクスチャパッチを前記ピクセルブロックに適用して前記出力映像を獲得することを特徴とする請求項７に記載の映像処理装置。
9. 前記出力映像は、
   ４Ｋ ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像または８Ｋ ＵＨＤ映像であることを特徴とする請求項１に記載の映像処理装置。
10. ディスプレイを更に含み、
    前記プロセッサは、
    前記出力映像をディスプレイするように前記ディスプレイを制御することを特徴とする請求項１に記載の映像処理装置。
11. 映像処理装置の映像処理方法において、
    入力映像に含まれたピクセルブロック及び複数のランダムパッチのそれぞれの間の相関値（ｃｏｒｒｅｌａｔｉｏｎ）を獲得するステップと、
    前記獲得された相関値又は前記獲得された相関値に所定の比例定数を掛け算した値を前記複数のランダムパッチのそれぞれに対する加重値として獲得し、前記複数のランダムパッチのそれぞれに対する加重値を前記複数のランダムパッチのそれぞれに適用するしてテクスチャパッチを獲得するステップと、
    前記ピクセルブロックに前記テクスチャパッチを適用して出力映像を獲得するステップと
    を含む映像処理方法。
12. 前記複数のランダムパッチのそれぞれは、
    複数の擬似乱数（ｐｓｅｕｄｏ ｒａｎｄｏｍ ｎｕｍｂｅｒ）を含み、
    各ランダムパッチに含まれた前記複数の擬似乱数の平均は０であることを特徴とする請求項１１に記載の映像処理方法。
13. 前記複数の擬似乱数のうち少なくとも一部は、
    ０及び２＾ｎ（ｎ≧０）からなる整数の集合から選択された少なくとも一つの整数を足し算して生成される正の擬似乱数を含み、
    前記複数の擬似乱数のうちの残りは、
    前記正の擬似乱数と同じ絶対値を有する負の擬似乱数を含むことを特徴とする請求項１２に記載の映像処理方法。
14. 一つのランダムパッチを生成するために用いられる複数の擬似乱数の順番を変更して前記複数のランダムパッチを獲得するステップを更に含むことを特徴とする請求項１１に記載の映像処理方法。
15. 映像処理装置のプロセッサによって実行される場合、前記映像処理装置が動作を行うようにするコンピュータ命令を保存する非一時的なコンピュータ読み取り可能な媒体において、前記動作は、
    入力映像に含まれたピクセルブロック及び複数のランダムパッチのそれぞれの間の相関値（ｃｏｒｒｅｌａｔｉｏｎ）を獲得するステップと、
    前記獲得された相関値又は前記獲得された相関値に所定の比例定数を掛け算した値を前記複数のランダムパッチのそれぞれに対する加重値として獲得し、前記複数のランダムパッチのそれぞれに対する加重値を前記複数のランダムパッチのそれぞれに適用してテクスチャパッチを獲得するステップと、
    前記ピクセルブロックに前記テクスチャパッチを適用して出力映像を獲得するステップと
    を含む非一時的なコンピュータ読み取り可能な媒体。