JP5452116B2 - 高解像度映像取得装置およびその方法 - Google Patents

Description

本発明は、高解像度映像を取得する装置およびその方法に関し、より詳細には、付加的なデータを用いずに鮮明度が向上した高解像度映像を取得することができる高解像度映像取得装置および方法に関する。

ディスプレイ装置技術の発展に伴ってディスプレイ装置は次第に大型化し、高い解像度を支援できるようになった。

しかしながら、デジタルカメラやデジタルビデオレコーダを用いて大型のディスプレイ装置に表示する映像を取得する場合、カメラの小型化による光学的限界、すなわちＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）／ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのピクセル数の不足による空間解像度の限界、および記録された映像の圧縮／格納／送信過程において発生するサイズ変化によって高解像度の映像を取得し難い。したがって、記録された映像に対する高解像度映像を取得するために、信号分析を介した高解像度映像向上アルゴリズムの開発が必要となっている。

低解像度映像から高解像度映像を取得するための既存の方法として、スケーラを用いた補間法（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）がある。補間法は、ピクセル値が割り当てられなかったピクセルに適当なデータ値を割り当てて映像の解像度を向上させる方法である。

しかしながら、補間法は線形補間（Ｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）を基盤とするため、映像の鮮明度が低下してブラー（ｂｌｕｒ）が発生するようになる。

大韓民国登録特許第１０−０５０４５９４号公報 大韓民国公開特許第１０−２００７−０１１９８７９号公報 大韓民国公開特許第１０−２００５−００８８６７４号公報

本発明は、鮮明度が向上した高解像度映像を取得することができる高解像度映像取得装置およびその方法を提供することを目的とする。

また、本発明は、付加的なデータを用いずに高解像度映像を取得することができる高解像度映像取得装置およびその方法を提供することを他の目的とする。

本発明の一実施形態に係る高解像度映像取得装置は、入力映像をスケーリングして第１出力映像を生成するスケーラ部と、前記入力映像から前記第１出力映像の第１高周波成分を抽出する高周波成分抽出部と、前記第１出力映像および前記第１高周波成分に基づいて前記第１出力映像の第２高周波成分を生成する高周波成分生成部と、前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成する映像合成部とを備える。

このとき、前記高周波成分抽出部は、前記入力映像の高周波成分をスケーリングして前記第１高周波成分を抽出することができる。

また、前記第２高周波成分生成部は、前記第１高周波成分に基づいて前記第１高周波成分の大きさと前記第２高周波成分の大きさとの間の比率（ｒａｔｉｏ）を予測し、前記比率に基づいて前記第２高周波成分を生成することができる。

また、本発明の他の一実施形態に係る高解像度映像取得装置は、入力映像をスケーリングして第１出力映像を生成するスケーラ部と、前記第１出力映像から第１高周波成分を抽出し、前記第１高周波成分に基づいて前記第１出力映像の第２高周波成分を生成する高周波成分生成部と、前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成する映像合成部とを備える。

また、本発明の一実施形態に係る高解像度映像取得方法は、入力映像をスケーリングして第１出力映像を生成するステップと、前記入力映像から前記第１出力映像の第１高周波成分を抽出するステップと、前記第１出力映像および前記第１高周波成分に基づいて前記第１出力映像の第２高周波成分を生成するステップと、前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成するステップとを含む。

また、本発明の他の一実施形態に係る高解像度映像取得方法は、入力映像をスケーリングして第１出力映像を生成するステップと、前記第１出力映像から第１高周波成分を抽出し、前記第１高周波成分に基づいて前記第１出力映像の第２高周波成分を生成するステップと、前記第１高周波成分に基づいて前記第１出力映像の第２高周波成分を生成するステップと、前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成するステップとを含む。

本発明の一実施形態に係る高解像度映像取得装置は、鮮明度が向上した高解像度映像を取得することができる。

また、本発明の一実施形態に係る高解像度映像取得装置は、付加的なデータを用いずに高解像度映像を取得することができる。

本発明の一実施形態に係る高解像度映像取得装置の詳細な構成を示すブロック図である。 本発明の他の一実施形態に係る高解像度映像取得装置の詳細な構成を示すブロック図である。 本発明の一実施形態によって映像のラプラシアン信号と映像の鮮明度との関係を示す図である。 本発明の一実施形態によって映像のグラジエント成分と映像の鮮明度との関係を示す図である。 本発明の一実施形態に係る高解像度映像取得方法を示すフローチャートである。 本発明の他の一実施形態に係る高解像度映像取得方法を示すフローチャートである。

以下、本発明に係る好ましい実施形態について、添付の図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る高解像度映像取得装置の詳細な構成を示すブロック図である。

本発明の一実施形態に係る高解像度映像取得装置１００は、スケーラ部１１０と、高周波成分抽出部１２０と、高周波成分生成部１３０と、映像合成部１４０とを備える。以下、各構成要素別にその機能について詳しく説明する。

スケーラ部１１０は、入力映像をスケーリングして第１出力映像を生成する。

映像信号処理において、スケーリングは、映像の横と縦のピクセル（ｐｉｘｅｌ）の個数を増加させることを意味する。すなわち、第１出力映像は、入力映像よりも解像度が向上した高解像度映像である。この場合、増加したピクセルの個数だけ可用空間周波数（ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ）領域は増加する。

一例として、スケーラ部１１０は、補間法を用いて解像度が向上した第１出力映像を生成することができる。

補間法を用いて第１出力映像を生成する場合、スケーラ部１１０は、増加した可用空間周波数領域をすべて用いることができず、入力映像の空間周波数成分のみを処理して第１出力映像を生成するため、生成された第１出力映像は高周波成分が不足した高解像度映像となる。

高周波成分抽出部１２０は、入力映像から第１出力映像の高周波成分を抽出する。以下、入力映像から抽出された第１出力映像の高周波成分を第１高周波成分とする。

本発明の一実施形態によれば、高周波成分抽出部１２０は、入力映像から高周波成分を抽出し、入力映像の高周波成分をスケーリングして第１高周波成分を抽出することができる。

一例として、高周波成分抽出部１２０は、ローパスフィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ、ＬＰＦ）を用いて入力映像から高周波成分を抽出することができる。ローパスフィルタを用いた入力映像の高周波成分抽出は、下記の式（１）に基づいて実行することができる。

ここで、Ｉは入力映像、Ｉ_Ｈは入力映像の高周波成分、ＬＰＨ（）はローパスフィルタリングをそれぞれ意味する。

すなわち、高周波成分抽出部１２０は、入力映像（Ｉ）をローパスフィルタリングして入力映像の低周波成分（ＬＰＦ（Ｉ））を抽出し、入力映像（Ｉ）と抽出された入力映像の低周波成分（ＬＰＦ（Ｉ））との差を用いて入力映像の高周波成分（Ｉ_Ｈ）を抽出することができる。

この後、高周波成分抽出部１２０は、抽出された入力映像の高周波成分をスケーリングすることによって第１高周波成分を抽出することができる。

映像の高周波成分は、多様な高周波領域の信号成分を含むことができる。一例として、映像の高周波成分は、ラプラシアン（ｌａｐｌａｃｉａｎ）信号を含むことができる。ラプラシアン信号は、映像のピクセル値の２次微分値である。

すなわち、本発明の一実施形態によれば、第１高周波成分は、第１ラプラシアン信号を含むことができる。

この場合、高周波成分抽出部１２０は、下記の式（２）と対応するカーネル（ｋｅｒｎｅｌ）またはマスク（ｍａｓｋ）を用いて入力信号からラプラシアン信号を抽出することができる。

ここで、Ｍは、ラプラシアンカーネル（またはマスク）を意味する。

この後、高周波成分抽出部１２０は、抽出された入力信号のラプラシアン信号をスケーリングすることによって第１ラプラシアン信号を抽出することができる。

高周波成分生成部１３０は、第１高周波成分に基づいて第１出力映像の第２高周波成分を生成する。

第１高周波成分は、入力映像から抽出された高周波成分と関連するものであるため、第１高周波成分のみでは鮮明な高解像度映像を取得することができない。したがって、高周波成分生成部１３０は、鮮明な高解像度映像を取得するために、第１高周波成分よりも高周波領域の信号が補強された第２高周波成分を生成する機能を実行する。

このとき、高周波成分生成部１３０は、第１高周波成分を用いて第２高周波成分を生成する。すなわち、高周波成分生成部１３０は、リコンストラクション（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）基盤の解像度向上アルゴリズムや例題（ｅｘａｍｐｌｅ）基盤の解像度向上アルゴリズムのように付加的なデータを用いず、現在映像に含まれているデータのみを用いて解像度向上のための高周波成分（すなわち、第２高周波成分）を生成することができる。

本発明の一実施形態によれば、高周波成分生成部１３０は、第１高周波成分に基づいて第１高周波成分の大きさと第２高周波成分の大きさとの間の比率（以下、大きさの比率とする）を予測し、予測された大きさの比率に基づいて第２高周波成分を生成することができる。

すなわち、第１高周波成分と第２高周波成分は１つの映像に対する高周波成分であるため、第１高周波成分の大きさと第２高周波成分の大きさとの間には一定した比例関係が存在する。したがって、高周波成分生成部１３０は、第１高周波成分の大きさと第２高周波成分の大きさに対する大きさの比率を予測し、予測された大きさの比率に基づいて第２高周波成分を生成することができる。

このとき、本発明の一実施形態によれば、高周波成分生成部１３０は、予測された大きさの比率と高周波成分抽出部１２０で抽出された第１高周波成分を掛けて第２高周波成分を抽出することができる。この場合、大きさの比率は、下記の式（３）によって決定することができる。

ここで、ｒは、大きさの比率を意味する。

映像合成部１４０は、第１出力映像および第２高周波成分を合成して第２出力映像を生成する。

上述したように、第１出力映像は、高周波成分が不足して鮮明度が低い映像である。したがって、映像合成部１４０は、第１出力映像と高周波成分生成部１３０で生成された第２高周波成分を合成して高周波成分が向上した第２出力映像を生成する。第２出力映像は、入力映像に対する最終出力映像である。

これにより、本発明の一実施形態に係る高解像度映像取得装置１００は、入力低解像度映像に対応する鮮明な高解像度映像を取得できるようになる。

上述したように、映像の高周波成分はラプラシアン信号を含むことができるため、第１高周波成分は第１ラプラシアン信号を含むことができ、第２高周波成分は第２ラプラシアン信号を含むことができる。

以下、図３および図４を参照しながら、映像の高周波成分がラプラシアン信号を含む場合についてより詳しく説明する。

図３は、本発明の一実施形態によって映像のラプラシアン信号と映像の鮮明度との関係を示す図である。図３の（ａ）は、映像におけるピクセル位置とピクセル値との関係を示すグラフであり、図３の（ｂ）〜（ｅ）は、映像におけるピクセル位置とラプラシアン信号値との関係を示す図である。

また、図３の（ａ）〜（ｅ）のピクセル位置は、すべて同じピクセル位置を示す。すなわち、図３の（ａ）〜（ｅ）は、映像の特定部分におけるピクセル値およびラプラシアン信号値をピクセル位置に応じて示すグラフである。図３の（ａ）において、ピクセル値が急激に変化する地点が映像におけるエッジ（ｅｄｇｅ）である。

また、図３の（ｂ）〜（ｅ）は、互いに異なる鮮明度を有する映像に対するラプラシアン信号に対するグラフである。ここで、３の（ｂ）と関連する映像の鮮明度が最も高く、（ｃ）、（ｄ）、（ｅ）に行くほど関連する映像の鮮明度が低い。

図３の（ｆ）は、図３の（ｂ）のラプラシアン信号を有する映像の周波数スペクトルグラフである。同様に、図３の（ｇ）〜（ｉ）は、それぞれ図３の（ｃ）〜（ｅ）のラプラシアン信号を有する映像の周波数スペクトルグラフである。

図３の（ｆ）〜（ｉ）を介して分かるように、映像の鮮明度が高いほど高周波帯域に含まれる周波数成分の大きさが大きくなる。すなわち、映像の鮮明度を高めようとすれば、映像の高周波成分の比率を高めなければならない。

また、図３の（ｂ）〜（ｅ）を介して分かるように、映像の鮮明度が高いほどラプラシアン信号のゼロクロッシング（ｚｅｒｏ ｃｒｏｓｓｉｎｇ）の位置は維持されるが（ラプラシアン信号のゼロクロッシングは映像のエッジで発生する）、エッジ領域におけるラプラシアン信号値の変化量には差がある。すなわち、映像の鮮明度が高いほどエッジ領域におけるラプラシアン信号値の勾配が大きくなり、ラプラシアン信号はより鋭い（ｓｈａｒｐ）形象を有する。ここで、エッジ領域は、エッジピクセルおよびエッジピクセルと隣接した周辺ピクセルを含む領域を意味する。

すなわち、映像の鮮明度に関係なく、ラプラシアン信号のゼロクロッシングは映像のエッジで発生するが、映像の鮮明度が高いほどエッジ領域におけるラプラシアン信号はより鋭い形象を有するようになる。

したがって、本発明の一実施形態に係る高解像度映像取得装置１００は、鮮明度が低い映像のエッジ領域におけるラプラシアン信号値を調節し、ラプラシアン信号が鋭い形象を有するようにラプラシアン信号の形象を変更することによって鮮明度が高い高解像度映像を取得できるようになる。

図４は、本発明の一実施形態によって映像のグラジエント成分と映像の鮮明度との関係を示す図である。図４の（ａ）は、映像における特定部分（以下、映像とする）を示すものであり、図面符号４１０は、映像におけるエッジを意味する。

図４の（ｂ）および（ｃ）は、エッジ４１０と垂直した方向である図面符号４２０方向に応じて映像のエッジ領域におけるグラジエント値の分布を示すグラフである。すなわち、図面符号４２０は、グラジエント経路（ｇｒａｄｉｅｎｔ ｐａｔｈ）を意味する。

このとき、図４の（ｂ）は、鮮明度が高い映像に対するエッジ領域におけるグラジエント値の分布を示すグラフであり、図４の（ｃ）は、鮮明度が低い映像に対するエッジ領域におけるグラジエントの分布を示すグラフである。

図４の（ｂ）および（ｃ）を介して分かるように、映像のエッジ領域におけるグラジエント値の分布は、エッジのピクセル位置を平均とするガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）形態で表現される。また、映像の鮮明度が高くなるほど、エッジ領域におけるグラジエント値の分布は鋭い形象を有する。すなわち、映像の鮮明度が高くなるほど、グラジエント分布の分散値（ｖａｒｉａｎｃｅ ｖａｌｕｅ）は小さくなる。

このとき、グラジエント成分はピクセル値の勾配を意味するものであるため、グラジエント成分はピクセル値を１次微分して抽出することができる。ラプラシアン信号はピクセル値の２次微分値であるため、ラプラシアン信号はグラジエント成分を微分して抽出することができる。

また、上述したように、映像のエッジ領域におけるグラジエント分布はガウス分布の形態を有するため、エッジ領域におけるグラジエント分布は、映像のグラジエント成分をガウス分布形態でモデリング（ｍｏｄｅｌｉｎｇ）することができる。

この場合、エッジ領域におけるモデリングされたガウス分布は、抽出されたエッジ領域におけるグラジエント分布の分散値を用いてモデリングすることができる。このとき、モデリングされたガウス分布の平均は、エッジのピクセル位置値と対応する。

上述したように、映像の高周波成分であるラプラシアン信号は、エッジ領域におけるグラジエント成分を微分して抽出することができ、エッジ領域におけるグラジエント分布は、ガウス分布にモデリングすることができるため、高周波成分生成部１３０は、モデリングされたガウス分布を用いて第１高周波成分の大きさおよび第２高周波成分の大きさに対する比率を予測することができる。

したがって、本発明に係る高周波成分生成部１３０は、第１出力映像のエッジ領域から抽出されたグラジエント分布の分散値に基づいて抽出されたグラジエント分布をモデリングした第１ガウス分布を生成し、第１ガウス分布を用いて第２ガウス分布を生成し、生成された第１ガウス分布および第２ガウス分布に基づいて大きさの比率を予測することができる。この場合、第１ガウス分布は第１分散値を有し、第２ガウス分布は第２分散値を有する。

上述したように、ラプラシアン信号は、グラジエント成分を微分して抽出することができるため、本発明の一実施形態によれば、大きさの比率は、第１ガウス分布の微分値および第２ガウス分布の微分値の比率とすることができる。

以下、第１ガウス分布と第２ガウス分布を生成する高周波成分生成部１３０の動作についてより詳しく説明する。

まず、高周波成分生成部１３０は、第１出力映像のエッジ領域におけるグラジエント分布を抽出し、抽出されたグラジエント分布の分散値を導出する。

本発明の一実施形態によれば、第１出力映像のエッジ領域におけるグラジエント分布は、第１出力映像のグラジエントマップ（ｇｒａｄｉｅｎｔ ｍａｐ）および第１出力映像のエッジマップ（ｅｄｇｅ ｍａｐ）に基づいて生成することができる。

グラジエントマップは、高周波成分抽出部１３０に含まれたグラジエントマップ生成部（図示せず）によって生成することができ、エッジマップは、高周波成分抽出部１３０に含まれたエッジマップ生成部（図示せず）によって生成することができる。

グラジエントマップの生成と関連して、グラジエントマップ生成部（図示せず）は、まず、第１出力映像の横軸グラジエントおよび縦軸グラジエントを生成する。

横軸グラジエントマグニチュード（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ）は、ディファレンスカーネル（ｄｉｆｆｅｒｅｎｃｅ ｋｅｒｎｅｌ）またはソベルマスク（ｓｏｂｅｌ ｍａｓｋ）を用いて生成することができ、縦軸グラジエントマグニチュードは、横軸グラジエントマグニチュードの生成時に用いられたディファレンスカーネルまたはソベルマスクを転置（ｔｒａｎｓｐｏｓｅ）したマスクを用いて生成することができる。

この後、グラジエントマップ生成部（図示せず）は、生成された横軸グラジエントおよび縦軸グラジエントを用いて、下記の式（４）および式（５）によってグラジエントマグニチュードおよびグラジエントアングル（ｇｒａｄｉｅｎｔ ａｎｇｌｅ）を生成する。

ここで、|Ｇ|はグラジエントマグニチュード、∠Ｇはグラジエントアングル、Ｇ_ｘは横軸グラジエント、Ｇ_ｙは縦軸グラジエントをそれぞれ意味する。

エッジマップ生成と関連して、エッジマップ生成部（図示せず）は、ピクセル別にエッジが存在するか否かを判断する。このとき、エッジが存在するか否かを判断するために、エッジマップ生成部（図示せず）は、第１高周波成分に含まれた第１ラプラシアン信号を用いることができる。すなわち、第１ラプラシアン信号からゼロクロッシングが発生する場合、該当するピクセルにはエッジが存在するものと判断する。

このとき、ノイズによってエッジの存在が誤って判断されることがあるため、生成されたグラジエントマップを用いてエッジが存在するか否かを判断する。すなわち、グラジエントマグニチュードが既に設定された閾値（ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）以上であるピクセルに対してのみ、エッジが存在するか否かを判断する。この場合、エッジ存在判断に対するエラーが減少する。

この後、エッジマップ生成部（図示せず）は、生成されたグラジエントマップのグラジエントアングル値を用いてエッジピクセル位置におけるオリエンテーション（ｏｒｉｅｎｔａｔｉｏｎ）を判断し、エッジが存在するか否かおよびオリエンテーションを用いてサブピクセル（ｓｕｂ−ｐｉｘｅｌ）単位で正確にエッジマップを生成する。

グラジエントマップとエッジマップを生成した後、高周波成分生成部１３０は、生成されたグラジエントマップとエッジマップを用いてエッジ領域におけるグラジエント分布を抽出し、抽出されたグラジエント分布の分散値を導出する。

すなわち、高周波成分生成部１３０は、エッジマップに含まれたエッジピクセル位置におけるオリエンテーションおよびグラジエントマップに含まれたグラジエントマグニチュードを用いてエッジ領域におけるグラジエント分布を抽出する。

グラジエント経路はエッジピクセル別に存在するため、１つのグラジエント経路は１つのエッジと対応する。したがって、グラジエント経路に沿って抽出されたグラジエント分布の分散値は、グラジエント経路と対応するエッジピクセルとマッチングすることができる。したがって、グラジエント分布の分散値は、エッジピクセル別に存在するものと解釈することができる（以下、特定エッジピクセルを含むグラジエント経路に沿って抽出されたグラジエント分布の分散値をエッジピクセルのグラジエント分散値とする）。

ここで、第１ガウス分布を生成するためには、エッジ領域におけるグラジエント分布の分散値およびグラジエント経路に属するピクセルのエッジピクセルまでの距離が必要となるため、高周波成分生成部１３０は、エッジ領域におけるグラジエント分布をグラジエントプロファイル（ｇｒａｄｉｅｎｔ ｐｒｏｆｉｌｅ）形態で格納することができる。したがって、グラジエントプロファイルには、該当するピクセルが属するグラジエント経路に対応するエッジピクセルのグラジエント分散値と該当するピクセルのエッジピクセルまでの距離が格納される。

該当するピクセルがどのグラジエント経路に属するかを判断するために、高周波成分生成部１３０は、該当するピクセルとユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）が最小であるエッジピクセルを検索する。検索されたエッジピクセルと対応するグラジエント経路が、該当するピクセルが属するグラジエント経路となる。

高周波成分生成部１３０は、グラジエントプロファイルの正確度を高めるために、サブピクセル単位でエッジピクセルのグラジエント分散値と該当するピクセルのエッジピクセルまでの距離を計算することができが、この場合、エッジピクセルのグラジエント分散値は、下記の式（６）によって計算することができる。

ここで、σはエッジピクセルのグラジエント分散値、ｍ’（ｘ）はグラジエントマグニチュードの確率分布、ｘは該当するピクセルの位置、ｘ_０は該当するピクセル内のサブピクセルの位置、ｄ^２（ｘ、ｘ_０）は該当するピクセルのエッジピクセルまでの距離、Ｐはグラジエント経路をそれぞれ意味する。グラジエントマグニチュードの確率分布は、下記の式（７）によって決定することができる。

第１出力映像のエッジ領域におけるグラジエント分布の分散値を導出した後、高周波成分生成部１３０は、導出されたグラジエント分布の分散値を用いてグラジエント分布をモデリングして第１ガウス分布を生成する。このとき、第１ガウス分布の平均はエッジピクセル位置値であり、第１ガウス分布の分散値は導出された分散値である。

この後、高周波成分生成部１３０は、第１分散値に基づいて第２分散値を決定し、決定された第２分散値を有してエッジピクセル位置値を平均とする第２ガウス分布を生成する。

上述したように、エッジ領域におけるグラジエント分布の分散値が小さいほど映像の鮮明度は向上するため、本発明の一実施形態によれば、第２分散値は第１分散値よりも小さいことがある。すなわち、高周波成分生成部１３０は、第１分散値よりも小さい値のうちのいずれか１つの値を任意に選択し、選択された任意の値を第２分散値として決定することができる。

以上、第１ガウス分布と第２ガウス分布を生成する高周波成分生成部１３０の動作について説明した。

本発明の一実施形態によれば、第１ガウス分布および第２ガウス分布は、一般化されたガウス分布（ｇｅｎｅｒａｌｉｚｅｄ Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ、ＧＧＤ）とすることができる。

したがって、エッジ領域におけるグラジエント分布は、一般化されたガウス分布でモデリングすることができる。このとき、第１ガウス分布は第１一般化されたガウス分布と対応し、第２ガウス分布は第２一般化されたガウス分布と対応する。

エッジ領域におけるグラジエント分布のモデリングされた一般化されたガウス分布は、下記の式（８）のように表現することができる。

ここで、ＧＧＤ（）は一般化されたガウス分布の関数、ｄはエッジピクセルまでの距離、σは分散値、λは一般化されたガウス分布の形状決定パラメータ、Γ（）はガンマ関数（ｇａｍｍａ ｆｕｎｃｔｉｏｎ）をそれぞれ意味し、α（λ）は

の関係を有する。

このとき、入力映像が自然映像（ｎａｔｕｒａｌ ｉｍａｇｅ）の場合、λは１．６の値を有することができるため、エッジ領域のグラジエント分布はσのみを変数とする一般化されたガウス分布でモデリングすることができる。したがって、高周波成分生成部１３０は、エッジ領域におけるグラジエント分布の分散値を式（８）に適用して、エッジ領域におけるグラジエント分布を第１一般化されたガウス分布でモデリングすることができる。

また、高周波成分生成部１３０は、第１一般化されたガウス分布の第１分散値を変更して第２分散値を決定し、第２分散値を式（８）に適用して第２一般化されたガウス分布を生成することができる。

この場合、高周波成分生成部１３０は、第１一般化されたガウス分布および第２一般化されたガウス分布を用いて大きさの比率を決定することができるが、上述したように、高周波成分に含まれるラプラシアン信号は、グラジエント成分の微分して抽出することができるため、大きさの比率は式（８）を用い、下記の式（９）によって決定することができる。

ここで、σ１は第１一般化されたガウス分布の分散値、σ２は第２一般化されたガウス分布の分散値をそれぞれ意味する。この後、高周波成分生成部１３０は、ｒ（ｄ）と第１ラプラシアン信号を掛けて第２ラプラシアン信号を生成することができる。

図２は、本発明の他の一実施形態に係る高解像度映像取得装置の詳細な構成を示すブロック図である。

本発明の一実施形態に係る高解像度映像取得装置２００は、スケーラ部２１０と、高周波成分生成部２２０と、映像合成部２３０とを備える。以下、各構成要素別にその機能について詳しく説明する。

スケーラ部２１０は、入力映像をスケーリングして第１出力映像を生成する。

高周波成分生成部２２０は、第１出力映像から第１高周波成分を抽出し、第１高周波成分に基づいて第１出力映像の第２高周波成分を生成する。

すなわち、第１高周波成分の抽出と関連して、高周波成分生成部２２０は、第１出力映像から高周波成分を直接抽出する。

この場合、高周波成分生成部２２０は、第１出力映像に対して式（１）を適用したり、式（２）と対応するカーネルを第１出力映像に適用したりして第１高周波成分を抽出することができる。

映像合成部２３０は、第１出力映像および第２高周波成分を合成して第２出力映像を生成する。

ここで、高解像度映像取得装置２００のスケーラ部２１０、高周波成分生成部２２０、および映像合成部２３０は、図１で説明した高解像度映像取得装置１００のスケーラ部１１０、高周波成分生成部１３０、および映像合成部１４０とそれぞれ対応することができるため、上述した高周波成分生成部２２０の第１高周波成分の抽出動作と関連した構成を除いた残りの構成についての詳しい説明は省略する。

図５は、本発明の一実施形態に係る高解像度映像取得方法を示すフローチャートである。以下、図５を参照しながら、本発明の一実施形態に係る高解像度映像取得方法について説明する。

まず、ステップＳ５１０では、入力映像をスケーリングして第１出力映像を生成する。

第１出力映像は、入力映像よりも解像度は向上したが、高周波成分が不足で鮮明度が低い高解像度映像である。

ステップＳ５２０では、入力映像の高周波成分を抽出する。

本発明の一実施形態によれば、映像の高周波成分は、ラプラシアン信号を含むことができる。

この場合、ステップＳ５２０では、式（１）に基づいて入力映像の高周波成分を抽出することができる。また、高周波成分がラプラシアン信号を含む場合、ステップＳ５２０では、式（２）と対応するカーネルまたはマスクを用いて入力信号からラプラシアン信号を抽出することができる。

ステップＳ５３０では、抽出された入力映像の高周波成分をスケーリングして第１出力映像の第１高周波成分を抽出する。

ステップＳ５４０では、第１高周波成分に基づいて第１出力映像の第２高周波成分を生成する。すなわち、ステップＳ５４０では、別途の付加データを用いず、現在映像に含まれているデータのみを用いて第２高周波成分を生成する。

本発明の一実施形態によれば、ステップＳ５４０は、第１高周波成分に基づいて第１高周波成分の大きさと第２高周波成分の大きさとの間の比率（大きさの比率）を予測するステップ（図示せず）を含むことができる。この場合、ステップＳ５４０では、予測された大きさの比率に基づいて第２高周波成分を生成することができる。

このとき、本発明の一実施形態によれば、大きさの比率を予測するステップ（図示せず）では、大きさの比率とステップＳ５３０で抽出された第１高周波成分を掛けて第２高周波成分を抽出することができる。この場合、大きさの比率は、式（３）によって決定することができる。

上述したように、映像の高周波成分はラプラシアン信号を含むことができるため、第１高周波成分は第１ラプラシアン信号を含むことができ、第２高周波成分は第２ラプラシアン信号を含むことができる。

また、本発明の一実施形態によれば、ステップＳ５４０は、第１出力映像のエッジ領域から抽出されたグラジエント分布の分散値に基づいて第１分散値を有する第１ガウス分布を生成するステップ（図示せず）と、前記第１分散値に基づいて第２分散値を有する第２ガウス分布を生成するステップ（図示せず）とを含むことができる。この場合、大きさの比率を予測するステップ（図示せず）では、第１ガウス分布および第２ガウス分布に基づいて大きさの比率を予測することができる。

上述したように、映像の高周波成分であるラプラシアン信号は、エッジ領域におけるグラジエント成分を微分して抽出することができ、エッジ領域におけるグラジエント分布は、ガウス分布でモデリングすることができるため、大きさの比率を予測するステップ（図示せず）では、モデリングされたガウス分布を用いて第１高周波成分の大きさおよび第２高周波成分の大きさに対する比率を予測することができる。

また、ラプラシアン信号は、グラジエント成分を微分して抽出することができるため、本発明の一実施形態によれば、大きさの比率は、第１ガウス分布の微分値および第２ガウス分布の微分値の比率とすることができる。

また、本発明の一実施形態によれば、第１ガウス分布および第２ガウス分布は、それぞれ第１一般化されたガウス分布および第２一般化されたガウス分布とすることができる。

この場合、第１一般化されたガウス分布および第２一般化されたガウス分布は、式（８）のように表現することができる。

この場合、大きさの比率を式（９）によって決定することができる。

ステップＳ５５０では、第１出力映像および第２高周波成分を合成して第２出力映像を生成する。これにより、高周波成分が向上した鮮明な高解像度映像である第２出力映像を取得することができる。

図６は、本発明の他の一実施形態に係る高解像度映像取得方法を示すフローチャートである。以下、図６を参照しながら、本発明の他の一実施形態に係る高解像度映像取得方法について説明する。

ステップＳ６１０では、入力映像をスケーリングして第１出力映像を生成する。

ステップＳ６２０では、第１出力映像から第１高周波成分を抽出する。すなわち、ステップＳ６２０では、第１出力映像から高周波成分を直接抽出する。この場合、ステップＳ６２０では、第１出力映像に対して式（１）を適用したり、式（２）と対応するカーネルを第１出力映像に適用したりして第１高周波成分を抽出することができる。

ステップＳ６３０では、第１高周波成分に基づいて第１出力映像の第２高周波成分を生成し、ステップＳ６４０では、第１出力映像および第２高周波成分を合成して第２出力映像を生成する。

以上、本発明に係る高解像度映像取得方法の実施形態について説明したが、図１および図２で上述した高解像度映像取得装置に関する構成が本実施形態にもそのまま適用が可能である。したがって、より詳細な説明は省略する。

なお、本発明に係る高解像度映像取得方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１００ 高解像度映像取得装置
１１０ スケーラ部
１２０ 高周波成分抽出部
１３０ 高周波成分生成部
１４０ 映像合成部

Claims (29)

1. 入力映像をスケーリングして第１出力映像を生成するスケーラ部と、
   前記入力映像から前記第１出力映像の第１高周波成分を抽出する高周波成分抽出部と、
   前記第１出力映像のエッジ領域におけるグラジエント分布をガウス分布でモデリングすることにより、前記第１高周波成分の大きさと前記第１出力映像の第２高周波成分の大きさとの間の比率を予測し、前記比率に基づいて前記第２高周波成分を生成する高周波成分生成部と、
   前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成する映像合成部と、
   を備えることを特徴とする高解像度映像取得装置。
2. 前記高周波成分抽出部は、前記入力映像の高周波成分をスケーリングして前記第１高周波成分を抽出することを特徴とする請求項１に記載の高解像度映像取得装置。
3. 前記高周波成分生成部は、前記比率と前記第１高周波成分を掛けて前記第２高周波成分を生成することを特徴とする請求項１に記載の高解像度映像取得装置。
4. 前記第１高周波成分は第１ラプラシア信号を含み、前記第２高周波成分は第２ラプラシアン信号を含むことを特徴とする請求項１に記載の高解像度映像取得装置。
5. 前記高周波成分生成部は
   前記第１出力映像のエッジ領域から抽出されたグラジエント分布の分散値に基づいて第１分散値を有する第１ガウス分布を生成し、
   前記第１分散値に基づいて第２分散値を有する第２ガウス分布を生成し、
   前記第１ガウス分布および前記第２ガウス分布に基づいて前記比率を予測することを特徴とする請求項１に記載の高解像度映像取得装置。
6. 前記比率は、前記第１ガウス分布の微分値および前記第２ガウス分布の微分値の比率であることを特徴とする請求項５に記載の高解像度映像取得装置。
7. 前記第２分散値は、前記第１分散値よりも小さいことを特徴とする請求項５に記載の高解像度映像取得装置。
8. 前記高周波成分生成部は、前記第１出力映像のグラジエントマップおよび前記第１出力映像のエッジマップに基づいて前記グラジエント分布を抽出することを特徴とする請求項５に記載の高解像度映像取得装置。
9. 前記第１ガウス分布および前記第２ガウス分布は、一般化されたガウス分布であることを特徴とする請求項５に記載の高解像度映像取得装置。
10. 入力映像をスケーリングして第１出力映像を生成するスケーラ部と、
    前記第１出力映像から第１高周波成分を抽出し、前記第１出力映像のエッジ領域におけるグラジエント分布をガウス分布でモデリングすることにより、前記第１高周波成分の大きさと前記第１出力映像の第２高周波成分の大きさとの間の比率を予測し、前記比率に基づいて前記第２高周波成分を生成する高周波成分生成部と、
    前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成する映像合成部と、
    を備えることを特徴とする高解像度映像取得装置。
11. 前記高周波成分生成部は、前記比率と前記第１高周波成分を掛けて前記第２高周波成分を生成することを特徴とする請求項１０に記載の高解像度映像取得装置。
12. 前記第１高周波成分は第１ラプラシアン信号を含み、前記第２高周波成分は第２ラプラシアン信号を含むことを特徴とする請求項１０に記載の高解像度映像取得装置。
13. 前記高周波成分生成部は
    前記第１出力映像のエッジ領域から抽出されたグラジエント分布の分散値に基づいて第１分散値を有する第１ガウス分布を生成し、
    前記第１分散値に基づいて第２分散値を有する第２ガウス分布を生成し、
    前記第１ガウス分布および前記第２ガウス分布に基づいて前記比率を予測することを特徴とする請求項１０に記載の高解像度映像取得装置。
14. 前記比率は、前記第１ガウス分布の微分値および前記第２ガウス分布の微分値の比率であることを特徴とする請求項１３に記載の高解像度映像取得装置。
15. 前記第２分散値は、前記第１分散値よりも小さいことを特徴とする請求項１３に記載の高解像度映像取得装置。
16. 前記高周波成分生成部は、前記第１出力映像のグラジエントマップおよび前記第１出力映像のエッジマップに基づいて前記グラジエント分布を抽出することを特徴とする請求項１３に記載の高解像度映像取得装置。
17. 前記第１ガウス分布および前記第２ガウス分布は、一般化されたガウス分布であることを特徴とする請求項１３に記載の高解像度映像取得装置。
18. 入力映像をスケーリングして第１出力映像を生成するステップと、
    前記入力映像から前記第１出力映像の第１高周波成分を抽出するステップと、
    前記第１出力映像のエッジ領域におけるグラジエント分布をガウス分布でモデリングすることにより、前記第１高周波成分の大きさと前記第１出力映像の第２高周波成分の大きさとの間の比率を予測するステップと、
    前記比率に基づいて前記第２高周波成分を生成するステップと、
    前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成するステップと、
    を含むことを特徴とする高解像度映像取得方法。
19. 前記第１高周波成分を抽出するステップは、前記入力映像の高周波成分をスケーリングして前記第１高周波成分を抽出することを特徴とする請求項１８に記載の高解像度映像取得方法。
20. 前記比率を予測するステップは、
    前記第１出力映像のエッジ領域から抽出されたグラジエント分布の分散値に基づいて第１分散値を持つ第１ガウス分布を生成するステップと、
    前記第１分散値に基づいて第２分散値を有する第２ガウス分布を生成するステップと、
    を含み、
    前記第１ガウス分布および前記第２ガウス分布に基づいて前記比率を予測することを特徴とする請求項１８に記載の高解像度映像取得方法。
21. 前記比率は、前記第１ガウス分布の微分値および前記第２ガウス分布の微分値の比率であることを特徴とする請求項２０に記載の高解像度映像取得方法。
22. 前記第２分散値は、前記第１分散値よりも小さいことを特徴とする請求項２０に記載の高解像度映像取得方法。
23. 前記第１ガウス分布および前記第２ガウス分布は、一般化されたガウス分布であることを特徴とする請求項２０に記載の高解像度映像取得方法。
24. 入力映像をスケーリングして第１出力映像を生成するステップと、
    前記第１出力映像から第１高周波成分を抽出し、前記第１出力映像のエッジ領域におけるグラジエント分布をガウス分布でモデリングすることにより、前記第１高周波成分の大きさと前記第１出力映像の第２高周波成分の大きさとの間の比率を予測するステップと、
    前記比率に基づいて前記第２高周波成分を生成するステップと、
    前記第１高周波成分に基づいて前記第１出力映像の第２高周波成分を生成するステップと、
    前記第１出力映像および前記第２高周波成分を合成して第２出力映像を生成するステップと、
    を含むことを特徴とする高解像度映像取得方法。
25. 前記比率を予測するステップは、
    前記第１出力映像のエッジ領域から抽出されたグラジエント分布の分散値に基づいて第１分散値を有する第１ガウス分布を生成するステップと、
    前記第１分散値に基づいて第２分散値を有する第２ガウス分布を生成するステップと、
    を含み、
    前記第１ガウス分布および前記第２ガウス分布に基づいて前記比率を予測することを特徴とする請求項２４に記載の高解像度映像取得方法。
26. 前記比率は、前記第１ガウス分布の微分値および前記第２ガウス分布の微分値の比率であることを特徴とする請求項２５に記載の高解像度映像取得方法。
27. 前記第２分散値は、前記第１分散値よりも小さいことを特徴とする請求項２５に記載の高解像度映像取得方法。
28. 前記第１ガウス分布および前記第２ガウス分布は、一般化されたガウス分布であることを特徴とする請求項２５に記載の高解像度映像取得方法。
29. 請求項１８〜２８のうちのいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images