JP4104937B2 - 動画像合成方法および装置並びにプログラム - Google Patents
動画像合成方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP4104937B2 JP4104937B2 JP2002249213A JP2002249213A JP4104937B2 JP 4104937 B2 JP4104937 B2 JP 4104937B2 JP 2002249213 A JP2002249213 A JP 2002249213A JP 2002249213 A JP2002249213 A JP 2002249213A JP 4104937 B2 JP4104937 B2 JP 4104937B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- patch
- interpolation
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【０００３】
また、複数のフレームのうち一のフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【特許文献１】
特開２０００−３５４２４４号公報
【０００６】
【非特許文献１】
中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００７】
【発明が解決しようとする課題】
しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、フレームに含まれる被写体の動きに拘わらず、画質の劣化を抑えた合成フレームを得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とするものである。
【００１０】
本発明による第２の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得し、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００１１】
ここで、本発明による第２の動画像合成方法において、他のフレームのパッチ内の画像のエッジ強度を表すエッジ情報は、他のフレームに対応して複数取得されるが、複数のエッジ強度の平均値や中間値をエッジ情報として取得し、これを重み係数を取得するために用いてもよい。
【００１２】
また、「第２の補間フレームを第１の補間フレームと対応付けて複数取得する」とは、１の第１の補間フレームにおける画素値を有する画素位置と同様の画素位置に、基準パッチ内の画素値を補間演算により割り当てることによりその第１の補間フレームに対応する第２の補間フレームを取得し、さらにこの処理を複数の第１の補間フレームのそれぞれについて行って、第１の補間フレームと同数の第２の補間フレームを取得することをいう。
【００１３】
一方、「第２の補間フレームを第１の補間フレームと対応付けて１取得する」とは、第１の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第２の補間フレームにおける整数画素位置のような所定の画素位置に基準パッチ内の画素値を補間演算により割り当てて１つの第２の補間フレームを取得することをいう。この場合、複数の第１の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第２の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【００１４】
なお、本発明による第１および第２の動画像合成方法においては、前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得してもよい。
【００１５】
すなわち、補間演算により各フレームよりも画素数が多い第１および第２の補間フレームが得られるが、重み係数はサンプリングしたフレームの画素にのみ対応して求められる。このため、その近傍の画素について取得された重み係数に対して補間演算を施して、増加した画素についての重み係数を求めるようにしてもよい。また、補間演算により増加した画素については、増加した画素の近傍にある元々存在する画素について取得された重み係数を用いて重み付け合成を行ってもよい。
【００１６】
また、本発明による第１および第２の動画像合成方法においては、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。
【００１７】
「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。
【００１８】
本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００１９】
本発明による第２の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２０】
なお、本発明による第１および第２の動画像合成装置においては、前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段を、前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手段としてもよい。
【００２１】
また、本発明による第１および第２の動画像合成装置においては、前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記エッジ情報取得手段、前記重み係数取得手段および前記合成手段を、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２２】
なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２３】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００２４】
そして推定された対応関係に基づいて、他のフレームのパッチ内の画像または他のフレームのパッチ内の画像および基準フレームの基準パッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い第１の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームが取得される。この第１の補間フレームは、各フレームに含まれる被写体の動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなるが、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００２５】
また、基準フレームの基準パッチ内の画像に対して補間演算が施されて各フレームよりも解像度が高い第２の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームに対応して１または複数の第２の補間フレームが取得される。この第２の補間フレームは第１の補間フレームと比較して１つのフレームのみしか補間演算に用いていないため、精細さは第１の補間フレームより劣るものの、１つのフレームのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はそれほどぼけたものとはならない。
【００２６】
さらに、基準フレームの基準パッチ内の画像および／または他のフレームのパッチ内の画像のエッジ強度を表すエッジ情報が取得され、エッジ情報に基づいて第１の補間フレームと第２の補間フレームとを合成する際の重み係数が算出される。この重み係数はエッジ情報により表されるエッジ強度が大きいほど第１の補間フレームの重みが大きくされてなるものである。
【００２７】
ここで、各フレームに含まれる被写体の動きが小さければ、基準フレームおよび／または他のフレームのエッジ強度は大きくなるが、被写体の動きが大きかったり複雑であったりすると、動きにより被写体の輪郭がぶれてエッジ強度が小さくなる。したがって、取得された重み係数に基づいて第１の補間フレームおよび第２の補間フレームを重み付け合成することにより、動きが小さい場合は高精細な第１の補間フレームが占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームの占める割合が多い合成フレームが作成される。なお、フレームが３以上サンプリングされた場合は、対応する第１および第２の補間フレームが合成されて中間合成フレームが取得され、さらに中間合成フレームが合成されて合成フレームが取得される。
【００２８】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【００２９】
請求項３，７，１１の発明によれば、エッジ情報が各フレームを構成する画素毎に算出されてなる場合、重み係数に対して補間演算を施して第１および第２の補間フレームを構成する全ての画素についての重み係数が取得される。このため、補間演算により増加した画素についてもその画素について取得された重み係数により重み付け合成がなされるため、エッジ強度が変化する局所領域において画像の変化を自然なものとすることができる。
【００３０】
請求項４，８，１２の発明によれば、対応関係の推定、第１の補間フレームの取得、第２の補間フレームの取得、エッジ情報の取得、重み係数の取得および合成フレームの作成がフレームを構成する少なくとも１つの成分を用いて行われる。このため、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【００３１】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームおよび基準フレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームＦｒＨ１を取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームＦｒＨ２を取得する空間補間手段５と、基準フレームからエッジ強度を表すエッジ情報を取得するエッジ情報取得手段６と、第１の補間フレームＨ１と第２の補間フレームＦｒＨ２とを重み付け加算するための重み係数をエッジ情報取得手段６において取得されたエッジ情報に基づいて算出する重み算出手段７と、重み算出手段７において算出された重み係数に基づいて第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算して合成フレームＦｒＧを取得する合成手段８とを備える。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとして説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００３２】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同一であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００３３】
対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を推定する。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００３４】
まず、対応関係推定手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【数１】
但し、Ｅ：相関値
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
【００３５】
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００３６】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【００３７】
【数２】
【００３８】
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに、上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００３９】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４０】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００４１】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。
【００４２】
具体的には、本実施形態においては、以下のように双１次変換を用いて対応関係を推定するものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【数３】
【００４３】
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００４４】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００４５】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【数４】
但し、Ｗｉ（１≦ｊ≦ｍ）：画素値Ｉｔｊ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００４６】
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【数５】
但し、Ｗ１＝ｕ×ｖ、Ｗ２＝（１−ｓ）×（１−ｔ）
【００４７】
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像と基準パッチＰ０内の画像との対応関係を求めることができる。
【００４８】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図６に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００４９】
◎
【数６】
但し、Ｉ１Ｎ＋１（ｘ°，ｙ°）：統合画像上に割り当てられたフレームＦｒＮ＋１の画素値
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
【００５０】
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００５１】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００５２】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００５３】
すなわち、図７に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【数７】
但し、Ｍｉ（１≦ｉ≦ｋ）：画素値Ｉ１Ｎ＋１ｉ（ｘ°，ｙ°）が割り当てられた位置における近傍の整数画素から見た座標内分比の積
【００５４】
ここで、簡単のため、図７を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【数８】
但し、Ｍ１＝ｕ×ｖ、Ｍ２＝（１−ｓ）×（１−ｔ）
【００５５】
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００５６】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００５７】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【数９】
但し、ｆ：補間演算の関数
【００５８】
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００５９】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【数１０】
【００６０】
エッジ情報取得手段６は、基準フレームＦｒＮのエッジ強度を表すエッジ情報ｅ０（ｘ，ｙ）を取得する。具体的には図８に示す３×３のラプラシアンフィルタ∇によるフィルタリング処理を下記の式（１４）に示すように基準フレームＦｒＮに施してエッジ情報ｅ０（ｘ，ｙ）を取得する。
【数１１】
【００６１】
なお、本実施形態ではラプラシアンフィルタによるフィルタリング処理により基準フレームＦｒＮのエッジ情報ｅ０（ｘ，ｙ）を取得しているが、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等、エッジ情報を取得することができるフィルタであればいかなるフィルタを用いることもできる。
【００６２】
重み算出手段７は、エッジ情報取得手段６により取得されたエッジ情報ｅ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図９に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。図９に示すテーブルは、重み係数α（ｘ，ｙ）が最小値α０と最大値α１との間を線形に変化するものである。なお、図９に示すテーブルは、エッジ情報ｅ０（ｘ，ｙ）が大きいほど、重み係数α（ｘ，ｙ）の値が予め定められた最大値α１に近いものとなる。なお、図９においてエッジ情報ｅ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００６３】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００６４】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００６５】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００６６】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１２】
【００６７】
なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００６８】
本実施形態においては、基準フレームＦｒＮにおけるエッジ強度が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００６９】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００７０】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。
【００７１】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【数１３】
【００７２】
次いで、本実施形態の動作について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ３）。
【００７３】
そして、エッジ情報取得手段６により基準フレームＦｒＮのエッジ強度を表すエッジ情報ｅ０（ｘ，ｙ）が取得される（ステップＳ４）。さらに、エッジ情報ｅ０（ｘ，ｙ）に基づいて重み算出手段７により重み係数α（ｘ°，ｙ°）が算出される（ステップＳ５）。
【００７４】
一方、推定された対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得され（ステップＳ６）、空間補間手段５により第２の補間フレームＦｒＨ２が取得される（ステップＳ７）。
【００７５】
なお、ステップＳ６〜Ｓ７の処理を先に行ってもよく、ステップＳ４〜Ｓ５の処理およびステップＳ６〜Ｓ７の処理を並列に行ってもよい。
【００７６】
そして、合成手段８において上記式（１５）により第１の補間フレームＦｒＨ１の画素Ｉ１（ｘ°，ｙ°）および第２の補間フレームＦｒＨ２の画素Ｉ２（ｘ°，ｙ°）とが合成されて、画素ＦｒＧ（ｘ＾，ｙ＾）からなる合成フレームＦｒＧが取得され（ステップＳ８）、処理を終了する。
【００７７】
ここで、第１の補間フレームＦｒＨ１は、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが小さい場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋１よりも解像度が高い高精細な画像を表すものとなるが、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００７８】
また、第２の補間フレームＦｒＨ２は第１の補間フレームＦｒＨ１と比較して１つの基準フレームＦｒＮのみしか補間演算に用いていないため、精細さは第１の補間フレームＦｒＨ１より劣るものの、１つの基準フレームＦｒＮのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はぼけたものとはならない。
【００７９】
さらに、重み算出手段７により算出される重み係数α（ｘ°，ｙ°）は、基準フレームＦｒＮのエッジ強度が大きいほど第１の補間フレームＦｒＨ１の重みが大きくされてなるものである。
【００８０】
ここで、各フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きが小さければ、基準フレームＦｒＮのエッジ強度は大きくなるが、被写体の動きが大きかったり複雑であったりすると、動きにより被写体の輪郭がぶれてエッジ強度が小さくなる。したがって、取得された重み係数α（ｘ°，ｙ°）に基づいて第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算することにより、動きが小さい場合は高精細な第１の補間フレームＦｒＨ１が占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームＦｒＨ２の占める割合が多い合成フレームＦｒＧが作成される。
【００８１】
このため、合成フレームＦｒＧは、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。
【００８２】
なお、上記実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよく、色差成分Ｃｂ，Ｃｒについて第１の補間フレームＦｒＨ１のみを取得し、これを色差成分の合成フレームとしてもよい。
【００８３】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを取得してもよい。
【００８４】
また、上記実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを取得しているが、３以上の複数のフレームから合成フレームＦｒＧを取得してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、基準フレームＦｒＮとの対応関係を推定し、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【００８５】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【００８６】
さらに、基準フレームＦｒＮのエッジ情報を表すエッジ情報に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【００８７】
そして、互いに対応する第１および第２のフレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１７）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＧ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【数１４】
【００８８】
なお、式（１７）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【００８９】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（１８）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１５】
【００９０】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００９１】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【００９２】
具体的には、まず、下記の式（１９）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２０）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（１８）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【００９３】
【数１６】
【００９４】
なお、上記実施形態においては、基準フレームＦｒＮからエッジ情報ｅ０（ｘ，ｙ）を取得しているが、フレームＦｒＮ＋１に対してラプラシアンフィルタによるフィルタリング処理を施して、フレームＦｒＮ＋１からエッジ情報ｅ０（ｘ，ｙ）を取得してもよい。
【００９５】
ここで、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ以外の他のフレームは複数得られるが、他のフレームからエッジ情報ｅ０（ｘ，ｙ）を取得する場合は、基準フレームＦｒＮ以外の他のフレームの全てについてエッジ情報ｅ０（ｘ，ｙ）が取得される。このため、複数のエッジ情報ｅ０（ｘ，ｙ）の平均値、中間値等を求め、これに基づいて重み係数α（ｘ，ｙ）を取得すればよい。
【００９６】
また、上記実施形態においては、基準フレームＦｒＮからエッジ情報ｅ０（ｘ，ｙ）を取得して重み係数α（ｘ，ｙ）を取得しているが、基準フレームＦｒＮおよびフレームＦｒＮ＋１の双方からエッジ情報ｅ０（ｘ，ｙ）を取得してもよい。
【００９７】
この場合、基準フレームＦｒＮから取得されたエッジ情報をｅ１（ｘ，ｙ）、他のフレームＦｒＮ＋１から取得されたエッジ情報をｅ２（ｘ，ｙ）とすると、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の平均値、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の乗算値、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の論理和、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の論理積等を求め、これを重み係数α（ｘ，ｙ）の取得に用いるエッジ情報ｅ０（ｘ，ｙ）とすればよい。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像合成装置の構成を示す概略ブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図７】統合画像における整数座標の画素値の算出を説明するための図
【図８】ラプラシアンフィルタを示す図
【図９】重み係数を求めるテーブルを示す図
【図１０】本実施形態において行われる処理を示すフローチャート
【符号の説明】
１ サンプリング手段
２ 対応関係推定手段
３ 座標変換手段
４ 時空間補間手段
５ 空間補間手段
６ エッジ情報取得手段
７ 重み算出手段
８ 合成手段
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、サンプリングしたフレームよりも高解像度の１の合成フレームを作成する動画像合成方法および装置並びに動画像合成方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画像からサンプリングした複数のフレームから、これらのフレームよりも高解像度の１の合成フレームを作成する方法が提案されている（例えば、特許文献１参照）。この方法は、複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから合成フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特許文献１に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の合成フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、フレーム間の動きを正確に補償してより高画質の合成フレームを得ることができる。
【０００３】
また、複数のフレームのうち一のフレームを基準フレームとし、基準フレームに１または複数の矩形領域からなる基準パッチを、基準フレーム以外の他のフレームに基準パッチと同様のパッチを配置し、パッチ内の画像が基準パッチ内の画像と一致するようにパッチを他のフレーム上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレーム上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係を推定して複数フレームをより精度よく合成する方法も提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１の方法においては、基準フレームと他のフレームとの対応関係を推定し、推定後、他のフレームと基準フレームとを、最終的に必要な解像度を有する統合画像上に割り当てることにより、高精細な合成フレームを得ることができる。
【０００５】
【特許文献１】
特開２０００−３５４２４４号公報
【０００６】
【非特許文献１】
中沢祐二、小松隆、斉藤隆弘，「フレーム間統合による高精細ディジタル画像の獲得」，テレビジョン学会誌，１９９５年，Ｖｏｌ．４９，Ｎｏ．３，ｐ２９９−３０８
【０００７】
【発明が解決しようとする課題】
しかしながら、非特許文献１に記載された方法においては、他のフレームに含まれる被写体の動きが非常に大きい場合や、局所的に含まれる被写体が複雑な動きをしていたり非常に高速で動いている場合には、被写体の動きにパッチの移動および／または変形が追随できない場合がある。このように、パッチの移動および／または変形が被写体の移動および／または変形に追随できないと、合成フレームの全体がぼけたり、フレームに含まれる動きの大きい被写体がぼけたりするため、高画質の合成フレームを得ることができないという問題がある。
【０００８】
本発明は上記事情に鑑みなされたものであり、フレームに含まれる被写体の動きに拘わらず、画質の劣化を抑えた合成フレームを得ることを目的とする。
【０００９】
【課題を解決するための手段】
本発明による第１の動画像合成方法は、動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成することを特徴とするものである。
【００１０】
本発明による第２の動画像合成方法は、動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得し、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とするものである。
【００１１】
ここで、本発明による第２の動画像合成方法において、他のフレームのパッチ内の画像のエッジ強度を表すエッジ情報は、他のフレームに対応して複数取得されるが、複数のエッジ強度の平均値や中間値をエッジ情報として取得し、これを重み係数を取得するために用いてもよい。
【００１２】
また、「第２の補間フレームを第１の補間フレームと対応付けて複数取得する」とは、１の第１の補間フレームにおける画素値を有する画素位置と同様の画素位置に、基準パッチ内の画素値を補間演算により割り当てることによりその第１の補間フレームに対応する第２の補間フレームを取得し、さらにこの処理を複数の第１の補間フレームのそれぞれについて行って、第１の補間フレームと同数の第２の補間フレームを取得することをいう。
【００１３】
一方、「第２の補間フレームを第１の補間フレームと対応付けて１取得する」とは、第１の補間フレームにおける画素値を有する画素位置に拘わらず、例えば第２の補間フレームにおける整数画素位置のような所定の画素位置に基準パッチ内の画素値を補間演算により割り当てて１つの第２の補間フレームを取得することをいう。この場合、複数の第１の補間フレームのそれぞれの画素位置の画素値と、これに最も近い第２の補間フレームにおける所定の画素位置の画素値とが互いに対応付けられることとなる。
【００１４】
なお、本発明による第１および第２の動画像合成方法においては、前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得してもよい。
【００１５】
すなわち、補間演算により各フレームよりも画素数が多い第１および第２の補間フレームが得られるが、重み係数はサンプリングしたフレームの画素にのみ対応して求められる。このため、その近傍の画素について取得された重み係数に対して補間演算を施して、増加した画素についての重み係数を求めるようにしてもよい。また、補間演算により増加した画素については、増加した画素の近傍にある元々存在する画素について取得された重み係数を用いて重み付け合成を行ってもよい。
【００１６】
また、本発明による第１および第２の動画像合成方法においては、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行ってもよい。
【００１７】
「フレームを構成する少なくとも１つの成分」とは、例えばフレームがＲＧＢの３つの色データからなる場合においてはＲＧＢ各色成分のうちの少なくとも１つの成分であり、ＹＣＣ輝度色差成分からなる場合には、輝度および色差の各成分のうちの少なくとも１つの成分、好ましくは輝度成分である。
【００１８】
本発明による第１の動画像合成装置は、動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００１９】
本発明による第２の動画像合成装置は、動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係に基づいて、前記複数の他のフレームの前記パッチ内の画像または前記他のフレームの前記パッチ内の画像および前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像に対して補間演算を施して、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームを重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とするものである。
【００２０】
なお、本発明による第１および第２の動画像合成装置においては、前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段を、前記重み係数に対して補間演算を施して前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手段としてもよい。
【００２１】
また、本発明による第１および第２の動画像合成装置においては、前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記エッジ情報取得手段、前記重み係数取得手段および前記合成手段を、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する少なくとも１つの成分を用いて行う手段としてもよい。
【００２２】
なお、本発明による第１および第２の動画像合成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２３】
【発明の効果】
本発明によれば、動画像がサンプリングされて連続する複数のフレームが取得され、複数のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチが配置される。また、基準フレーム以外の他のフレーム上に、基準パッチと同様のパッチが配置される。そして、パッチ内の画像が基準パッチ内の画像と一致するように移動および／または変形され、移動および／または変形後のパッチおよび基準パッチに基づいて、他のフレームの上のパッチ内の画素と基準フレーム上の基準パッチ内の画素との対応関係が推定される。
【００２４】
そして推定された対応関係に基づいて、他のフレームのパッチ内の画像または他のフレームのパッチ内の画像および基準フレームの基準パッチ内の画像に対して補間演算が施されて、各フレームよりも解像度が高い第１の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームが取得される。この第１の補間フレームは、各フレームに含まれる被写体の動きが小さい場合には、各フレームよりも解像度が高い高精細な画像を表すものとなるが、各フレームに含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００２５】
また、基準フレームの基準パッチ内の画像に対して補間演算が施されて各フレームよりも解像度が高い第２の補間フレームが取得される。なお、フレームが３以上サンプリングされた場合は、複数の第１の補間フレームに対応して１または複数の第２の補間フレームが取得される。この第２の補間フレームは第１の補間フレームと比較して１つのフレームのみしか補間演算に用いていないため、精細さは第１の補間フレームより劣るものの、１つのフレームのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はそれほどぼけたものとはならない。
【００２６】
さらに、基準フレームの基準パッチ内の画像および／または他のフレームのパッチ内の画像のエッジ強度を表すエッジ情報が取得され、エッジ情報に基づいて第１の補間フレームと第２の補間フレームとを合成する際の重み係数が算出される。この重み係数はエッジ情報により表されるエッジ強度が大きいほど第１の補間フレームの重みが大きくされてなるものである。
【００２７】
ここで、各フレームに含まれる被写体の動きが小さければ、基準フレームおよび／または他のフレームのエッジ強度は大きくなるが、被写体の動きが大きかったり複雑であったりすると、動きにより被写体の輪郭がぶれてエッジ強度が小さくなる。したがって、取得された重み係数に基づいて第１の補間フレームおよび第２の補間フレームを重み付け合成することにより、動きが小さい場合は高精細な第１の補間フレームが占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームの占める割合が多い合成フレームが作成される。なお、フレームが３以上サンプリングされた場合は、対応する第１および第２の補間フレームが合成されて中間合成フレームが取得され、さらに中間合成フレームが合成されて合成フレームが取得される。
【００２８】
このため、合成フレームは、フレームに含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、フレームに含まれる被写体の動きに拘わらず、高画質の合成フレームを得ることができる。
【００２９】
請求項３，７，１１の発明によれば、エッジ情報が各フレームを構成する画素毎に算出されてなる場合、重み係数に対して補間演算を施して第１および第２の補間フレームを構成する全ての画素についての重み係数が取得される。このため、補間演算により増加した画素についてもその画素について取得された重み係数により重み付け合成がなされるため、エッジ強度が変化する局所領域において画像の変化を自然なものとすることができる。
【００３０】
請求項４，８，１２の発明によれば、対応関係の推定、第１の補間フレームの取得、第２の補間フレームの取得、エッジ情報の取得、重み係数の取得および合成フレームの作成がフレームを構成する少なくとも１つの成分を用いて行われる。このため、各成分毎に画質の劣化を低減した合成フレームを得ることができ、これにより、各成分毎の合成フレームからなる高画質の合成フレームを得ることができる。
【００３１】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像合成装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、複数のフレームのうち、基準となる１の基準フレームの画素および基準フレーム以外の他のフレームの画素の対応関係を推定する対応関係推定手段２と、対応関係推定手段２において推定された対応関係に基づいて、他のフレームおよび基準フレームに対して補間演算を施して各フレームよりも解像度が高い第１の補間フレームＦｒＨ１を取得する時空間補間手段４と、基準フレームに対して補間演算を施して各フレームよりも解像度が高い第２の補間フレームＦｒＨ２を取得する空間補間手段５と、基準フレームからエッジ強度を表すエッジ情報を取得するエッジ情報取得手段６と、第１の補間フレームＨ１と第２の補間フレームＦｒＨ２とを重み付け加算するための重み係数をエッジ情報取得手段６において取得されたエッジ情報に基づいて算出する重み算出手段７と、重み算出手段７において算出された重み係数に基づいて第１および第２の補間フレームＦｒＨ１，ＦｒＨ２を重み付け加算して合成フレームＦｒＧを取得する合成手段８とを備える。なお、以降では、合成フレームＦｒＧはサンプリングしたフレームの縦横それぞれ２倍の画素を有するものとして説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい。
【００３２】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングするが、本実施形態においては動画像データＭ０から２つのフレームＦｒＮおよびフレームＦｒＮ＋１をサンプリングするものとする。なお、フレームＦｒＮを基準フレームとする。ここで、動画像データＭ０はカラーの動画像を表すものであり、フレームＦｒＮ，ＦｒＮ＋１はＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。なお、以降の説明において、Ｙ，Ｃｂ，Ｃｒの各成分に対して処理が行われるが、行われる処理は全ての成分について同一であるため、本実施形態においては輝度成分Ｙの処理について詳細に説明し、色差成分Ｃｂ，Ｃｒに対する処理については説明を省略する。
【００３３】
対応関係推定手段２は、以下のようにしてフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係を推定する。図２はフレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図である。なお、図２において、基準フレームＦｒＮに含まれる円形の被写体が、フレームＦｒＮ＋１においては図面上右側に若干移動しているものとする。
【００３４】
まず、対応関係推定手段２は、基準フレームＦｒＮ上に１または複数の矩形領域からなる基準パッチＰ０を配置する。図２（ａ）は、基準フレームＦｒＮ上に基準パッチＰ０が配置された状態を示す図である。図２（ａ）に示すように、本実施形態においては、基準パッチＰ０は４×４の矩形領域からなるものとする。次いで、図２（ｂ）に示すように、フレームＦｒＮ＋１の適当な位置に基準パッチＰ０と同様のパッチＰ１を配置し、基準パッチＰ０内の画像とパッチＰ１内の画像との相関を表す相関値を算出する。なお、相関値は下記の式（１）により平均二乗誤差として算出することができる。また、座標軸は紙面左右方向にｘ軸、紙面上下方向にｙ軸をとるものとする。
【数１】
ｐｉ，ｑｉ：基準パッチＰ０，Ｐ１内にそれぞれ対応する画素の画素値
Ｎ：基準パッチＰ０およびパッチＰ１内の画素数
【００３５】
次いで、フレームＦｒＮ＋１上のパッチＰ１を上下左右の４方向に一定画素±Δｘ，±Δｙ移動し、このときのパッチＰ１内の画像と基準フレームＦｒＮ上の基準パッチＰ０内の画像との相関値を算出する。ここで、相関値は上下左右方向のそれぞれについて算出され、各相関値をそれぞれＥ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）とする。
【００３６】
そして、移動後の４つの相関値Ｅ（Δｘ，０），Ｅ（−Δｘ，０），Ｅ（０，Δｙ），Ｅ（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を相関勾配として求め、この方向に予め設定した実数値倍だけ図２（ｃ）に示すようにパッチＰ１を移動する。具体的には、下記の式（２）により係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）を算出し、これらの係数Ｃ（Δｘ，０），Ｃ（−Δｘ，０），Ｃ（０，Δｙ），Ｃ（０，−Δｙ）から下記の式（３），（４）により相関勾配ｇｘ，ｇｙを算出する。
【００３７】
【数２】
そして、算出された相関勾配ｇｘ，ｇｙに基づいてパッチＰ１の全体を（−λ１ｇｘ，−λ１ｇｙ）移動し、さらに、上記と同様の処理を繰り返すことにより、図２（ｄ）に示すようにパッチＰ１がある位置に収束するまで反復的にパッチＰ１を移動する。ここで、λ１は収束の速さを決定するパラメータであり、実数値をとるものとする。なお、λ１をあまり大きな値とすると反復処理により解が発散してしまうため、適当な値（例えば１０）を選ぶ必要がある。
【００３９】
さらに、パッチＰ１の格子点を座標軸に沿った４方向に一定画素移動させる。このとき、移動した格子点を含む矩形領域は例えば図３に示すように変形する。そして、変形した矩形領域について基準パッチＰ０の対応する矩形領域との相関値を算出する。この相関値をそれぞれＥ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）とする。
【００４０】
そして、上記と同様に、変形後の４つの相関値Ｅ１（Δｘ，０），Ｅ１（−Δｘ，０），Ｅ１（０，Δｙ），Ｅ１（０，−Δｙ）から相関値が小さく（すなわち相関が大きく）なる勾配方向を求め、この方向に予め設定した実数値倍だけパッチＰ１の格子点を移動する。これをパッチＰ１の全ての格子点について行い、これを１回の処理とする。そして格子点の座標が収束するまでこの処理を繰り返す。
【００４１】
これにより、パッチＰ１の基準パッチＰ０に対する移動量および変形量が求まり、これに基づいて基準パッチＰ０内の画素とパッチＰ１内の画素との対応関係を推定することができる。
【００４２】
具体的には、本実施形態においては、以下のように双１次変換を用いて対応関係を推定するものとする。双１次変換による座標変換は、下記の式（５），（６）により定義される。
【数３】
式（５），（６）は、２次元座標上の４点（ｘｎ，ｙｎ）（１≦ｎ≦４）で与えられたパッチＰ１内の座標を、正規化座標系（ｕ，ｖ）（０≦ｕ，ｖ≦１）によって補間するものであり、任意の２つの矩形内の座標変換は、式（５），（６）および式（５），（６）の逆変換を組み合わせることにより行うことができる。
【００４４】
ここで、図４に示すように、パッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）が対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）内のどの位置に対応するかを考える。まずパッチＰ１（ｘｎ，ｙｎ）内の点（ｘ，ｙ）について、正規化座標（ｕ，ｖ）を求める。これは式（５），（６）の逆変換により求める。そしてこのときの（ｕ，ｖ）と対応する基準パッチＰ０（ｘ′ｎ，ｙ′ｎ）を元に、式（５），（６）から点（ｘ，ｙ）に対応する座標（ｘ′，ｙ′）を求める。ここで、点（ｘ，ｙ）が本来画素値が存在する整数座標であるのに対し、点（ｘ′，ｙ′）は本来画素値が存在しない実数座標となる場合があるため、変換後の整数座標における画素値は、基準パッチＰ０の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に変換された座標（ｘ′，ｙ′）の画素値の荷重和として求めるものとする。
【００４５】
具体的には、図５に示すように基準パッチＰ０上における整数座標ｂ（ｘ，ｙ）について、その８近傍の整数座標ｂ（ｘ−１，ｙ−１），ｂ（ｘ，ｙ−１），ｂ（ｘ＋１，ｙ−１），ｂ（ｘ−１，ｙ），ｂ（ｘ＋１，ｙ），ｂ（ｘ−１，ｙ＋１），ｂ（ｘ，ｙ＋１），ｂ（ｘ＋１，ｙ＋１）に囲まれる領域内に変換されたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｍ個の画素値が８近傍の画素に囲まれる領域内に変換され、変換された各画素の画素値をＩｔｊ（ｘ°，ｙ°）（１≦ｊ≦ｍ）とすると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は、下記の式（７）により算出することができる。なお、式（７）においてφは荷重和演算を表す関数である。
【数４】
【００４６】
ここで、簡単のため、図５を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉｔ１，Ｉｔ２が変換された場合について考えると、整数座標ｂ（ｘ，ｙ）における画素値Ｉｔ（ｘ＾，ｙ＾）は下記の式（８）により算出することができる。
【数５】
【００４７】
以上の処理をパッチＰ１内の全ての画素について行うことにより、パッチＰ１内の画像と基準パッチＰ０内の画像との対応関係を求めることができる。
【００４８】
時空間補間手段４は、フレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得する。具体的には、まず図６に示すように、最終的に必要な画素数を有する統合画像（本実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の縦横それぞれ２倍の画素数を有する場合について説明するが、ｎ倍（ｎ：正数）の画素数を有するものであってもよい）を用意し、対応関係推定手段２において求められた対応関係に基づいて、フレームＦｒＮ＋１（パッチＰ１内の領域）の画素の画素値を統合画像上に割り当てる。この割り当てを行う関数をΠとすると、下記の式（９）によりフレームＦｒＮ＋１の各画素の画素値が統合画像上に割り当てられる。
【００４９】
◎
【数６】
ＦｒＮ＋１（ｘ，ｙ）：フレームＦｒＮ＋１の画素値
【００５０】
このように統合画像上にフレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ°，ｙ°）を得、各画素についてＩ１（ｘ°，ｙ°）（＝Ｉ１Ｎ＋１（ｘ°，ｙ°））の画素値を有する第１の補間フレームＦｒＨ１を取得する。
【００５１】
ここで、画素値を統合画像上に割り当てる際に、統合画像の画素数とフレームＦｒＮ＋１の画素数との関係によっては、フレームＦｒＮ＋１上の各画素が統合画像の整数座標（すなわち画素値が存在すべき座標）に対応しない場合がある。本実施形態においては、後述するように合成時において統合画像の整数座標における画素値を求めるものであるが、以下、合成時の説明を容易にするために統合画像の整数座標における画素値の算出について説明する。
【００５２】
統合画像の整数座標における画素値は、統合画像の整数座標に隣接する８近傍の整数座標に囲まれた領域を設定し、この領域内に割り当てられたフレームＦｒＮ＋１上の各画素の画素値の荷重和として求める。
【００５３】
すなわち、図７に示すように統合画像における整数座標ｐ（ｘ，ｙ）については、その８近傍の整数座標ｐ（ｘ−１，ｙ−１），ｐ（ｘ，ｙ−１），ｐ（ｘ＋１，ｙ−１），ｐ（ｘ−１，ｙ），ｐ（ｘ＋１，ｙ），ｐ（ｘ−１，ｙ＋１），ｐ（ｘ，ｙ＋１），ｐ（ｘ＋１，ｙ＋１）に囲まれる領域内に割り当てられたフレームＦｒＮ＋１の画素値に基づいて算出する。ここで、フレームＦｒＮ＋１のｋ個の画素値が８近傍の画素に囲まれる領域内に割り当てられ、割り当てられた各画素の画素値をＩ１Ｎ＋１ｉ（ｘ°，ｙ°）（１≦ｉ≦ｋ）とすると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は、下記の式（１０）により算出することができる。なお、式（１０）においてΦは荷重和演算を表す関数である。
【数７】
【００５４】
ここで、簡単のため、図７を用いて８近傍の画素に囲まれる領域内にフレームＦｒＮ＋１の２つの画素値Ｉ１Ｎ＋１１，Ｉ１Ｎ＋１２が割り当てられた場合について考えると、整数座標ｐ（ｘ，ｙ）における画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）は下記の式（１１）により算出することができる。
【数８】
【００５５】
そして、統合画像の全ての整数座標について、フレームＦｒＮ＋１の画素値を割り当てることにより画素値Ｉ１Ｎ＋１（ｘ＾，ｙ＾）を得ることができる。この場合、第１の補間フレームＦｒＨ１の各画素値Ｉ１（ｘ＾，ｙ＾）はＩ１Ｎ＋１（ｘ＾，ｙ＾）となる。
【００５６】
なお、上記ではフレームＦｒＮ＋１に対して補間演算を施して第１の補間フレームＦｒＨ１を取得しているが、フレームＦｒＮ＋１とともに基準フレームＦｒＮをも用いて第１の補間フレームＦｒＨ１を取得してもよい。この場合、基準フレームＦｒＮの画素は、統合画像の整数座標に補間されて直接割り当てられることとなる。
【００５７】
空間補間手段５は、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、第２の補間フレームＦｒＨ２を取得する。ここで、第２の補間フレームＦｒＨ２の実数座標の画素値をＩ２（ｘ°，ｙ°）とすると、画素値Ｉ２（ｘ°，ｙ°）は下記の式（１２）により算出される。
【数９】
【００５８】
なお、補間演算としては、線形補間演算、スプライン補間演算等の種々の補間演算を用いることができる。
【００５９】
また、本実施形態においては、合成フレームＦｒＧは基準フレームＦｒＮの縦横それぞれ２倍の画素数であるため、基準フレームＦｒＮに対して縦横方向に画素数を２倍とする補間演算を施すことにより、統合画像の画素数と同一の画素数を有する第２の補間フレームＦｒＨ２を取得してもよい。この場合、補間演算により得られる画素値は統合画像における整数座標の画素値であり、この画素値をＩ２（ｘ＾，ｙ＾）とすると、画素値Ｉ２（ｘ＾，ｙ＾）は下記の式（１３）により算出される。
【数１０】
エッジ情報取得手段６は、基準フレームＦｒＮのエッジ強度を表すエッジ情報ｅ０（ｘ，ｙ）を取得する。具体的には図８に示す３×３のラプラシアンフィルタ∇によるフィルタリング処理を下記の式（１４）に示すように基準フレームＦｒＮに施してエッジ情報ｅ０（ｘ，ｙ）を取得する。
【数１１】
なお、本実施形態ではラプラシアンフィルタによるフィルタリング処理により基準フレームＦｒＮのエッジ情報ｅ０（ｘ，ｙ）を取得しているが、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ等、エッジ情報を取得することができるフィルタであればいかなるフィルタを用いることもできる。
【００６２】
重み算出手段７は、エッジ情報取得手段６により取得されたエッジ情報ｅ０（ｘ，ｙ）から第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算する際の重み係数α（ｘ，ｙ）を取得する。具体的には、図９に示すテーブルを参照して重み係数α（ｘ，ｙ）を取得する。図９に示すテーブルは、重み係数α（ｘ，ｙ）が最小値α０と最大値α１との間を線形に変化するものである。なお、図９に示すテーブルは、エッジ情報ｅ０（ｘ，ｙ）が大きいほど、重み係数α（ｘ，ｙ）の値が予め定められた最大値α１に近いものとなる。なお、図９においてエッジ情報ｅ０（ｘ，ｙ）は８ビットの値をとるものとする。
【００６３】
さらに、重み算出手段７は、フレームＦｒＮ＋１を統合画像上に割り当てた場合と同様に重み係数α（ｘ，ｙ）を統合画像上に割り当てることにより、フレームＦｒＮ＋１の画素が割り当てられた座標（実数座標）における重み係数α（ｘ°，ｙ°）を算出する。具体的には、空間補間手段５における補間演算と同様に、重み係数α（ｘ，ｙ）に対して、統合画像上のフレームＦｒＮ＋１の画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、重み係数α（ｘ°，ｙ°）を取得する。
【００６４】
なお、統合画像の上記実数座標における重み係数α（ｘ°，ｙ°）を補間演算により算出することなく、基準フレームＦｒＮを統合画像のサイズとなるように拡大または等倍して拡大または等倍基準フレームを取得し、統合画像におけるフレームＦｒＮ＋１の画素が割り当てられた実数座標の最近傍に対応する拡大または等倍基準フレームの画素について取得された重み係数α（ｘ，ｙ）の値をその実数座標の重み係数α（ｘ°，ｙ°）として用いてもよい。
【００６５】
さらに、統合画像の整数座標における画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）が取得されている場合には、統合画像上に割り当てた重み係数α（ｘ°，ｙ°）について上記と同様に荷重和を求めることにより、統合画像の整数座標における重み係数α（ｘ＾，ｙ＾）を算出すればよい。
【００６６】
合成手段８は、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み算出手段７により算出された重み係数α（ｘ°，ｙ°）に基づいて重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧ（ｘ＾，ｙ＾）を有する合成フレームＦｒＧを取得する。具体的には、下記の式（１５）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）を重み係数α（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１２】
なお、式（１５）において、ｋは合成フレームＦｒＧすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋１の画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１（ｘ°，ｙ°），Ｉ２（ｘ°，ｙ°）および重み係数α（ｘ°，ｙ°）を有するものである。
【００６８】
本実施形態においては、基準フレームＦｒＮにおけるエッジ強度が大きいほど、第１の補間フレームＦｒＨ１の重み付けが大きくされて、第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２の重み付け加算が行われる。
【００６９】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００７０】
また、上記では輝度成分Ｙについての合成フレームＦｒＧを求める処理について説明したが、色差成分Ｃｂ，Ｃｒについても同様に合成フレームＦｒＧが取得される。そして、輝度成分Ｙから求められた合成フレームＦｒＧ（Ｙ）および色差成分Ｃｂ，Ｃｒから求められた合成フレームＦｒＧ（Ｃｂ），ＦｒＧ（Ｃｒ）を合成することにより、最終的な合成フレームが得られることとなる。なお、処理の高速化のためには、輝度成分Ｙについてのみ基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係を推定し、色差成分Ｃｂ，Ｃｒについては輝度成分Ｙについて推定された対応関係に基づいて処理を行うことが好ましい。
【００７１】
また、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２並びに整数座標の重み係数α（ｘ＾，ｙ＾）を取得した場合には、下記の式（１６）により第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＧ２の対応する画素の画素値Ｉ１（ｘ＾，ｙ＾），Ｉ２（ｘ＾，ｙ＾）を重み係数α（ｘ＾，ｙ＾）により重み付け加算して合成フレームＦｒＧの画素値ＦｒＧ（ｘ，ｙ）を取得すればよい。
【数１３】
次いで、本実施形態の動作について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。なお、ここでは統合画像のフレームＦｒＮ＋１の画素が割り当てられた実数座標について第１の補間フレームＦｒＨ１、第２の補間フレームＦｒＨ２および重み係数α（ｘ°，ｙ°）を取得するものとして説明する。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで、動画像データＭ０から基準フレームＦｒＮおよびフレームＦｒＮ＋１がサンプリングされる（ステップＳ２）。続いて、対応関係推定手段２により、基準フレームＦｒＮとフレームＦｒＮ＋１との対応関係が推定される（ステップＳ３）。
【００７３】
そして、エッジ情報取得手段６により基準フレームＦｒＮのエッジ強度を表すエッジ情報ｅ０（ｘ，ｙ）が取得される（ステップＳ４）。さらに、エッジ情報ｅ０（ｘ，ｙ）に基づいて重み算出手段７により重み係数α（ｘ°，ｙ°）が算出される（ステップＳ５）。
【００７４】
一方、推定された対応関係に基づいて、時空間補間手段４により第１の補間フレームＦｒＨ１が取得され（ステップＳ６）、空間補間手段５により第２の補間フレームＦｒＨ２が取得される（ステップＳ７）。
【００７５】
なお、ステップＳ６〜Ｓ７の処理を先に行ってもよく、ステップＳ４〜Ｓ５の処理およびステップＳ６〜Ｓ７の処理を並列に行ってもよい。
【００７６】
そして、合成手段８において上記式（１５）により第１の補間フレームＦｒＨ１の画素Ｉ１（ｘ°，ｙ°）および第２の補間フレームＦｒＨ２の画素Ｉ２（ｘ°，ｙ°）とが合成されて、画素ＦｒＧ（ｘ＾，ｙ＾）からなる合成フレームＦｒＧが取得され（ステップＳ８）、処理を終了する。
【００７７】
ここで、第１の補間フレームＦｒＨ１は、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが小さい場合には、基準フレームＦｒＮおよびフレームＦｒＮ＋１よりも解像度が高い高精細な画像を表すものとなるが、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きかったり動きが複雑な場合には、動いている被写体がぼけてしまっているものとなる。
【００７８】
また、第２の補間フレームＦｒＨ２は第１の補間フレームＦｒＨ１と比較して１つの基準フレームＦｒＮのみしか補間演算に用いていないため、精細さは第１の補間フレームＦｒＨ１より劣るものの、１つの基準フレームＦｒＮのみから得られるものであるため、被写体が大きく動いていても動きが複雑であっても、その被写体はぼけたものとはならない。
【００７９】
さらに、重み算出手段７により算出される重み係数α（ｘ°，ｙ°）は、基準フレームＦｒＮのエッジ強度が大きいほど第１の補間フレームＦｒＨ１の重みが大きくされてなるものである。
【００８０】
ここで、各フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体の動きが小さければ、基準フレームＦｒＮのエッジ強度は大きくなるが、被写体の動きが大きかったり複雑であったりすると、動きにより被写体の輪郭がぶれてエッジ強度が小さくなる。したがって、取得された重み係数α（ｘ°，ｙ°）に基づいて第１の補間フレームＦｒＨ１および第２の補間フレームＦｒＨ２を重み付け加算することにより、動きが小さい場合は高精細な第１の補間フレームＦｒＨ１が占める割合が多く、動きが大きい場合には動きのある被写体のぼけが少ない第２の補間フレームＦｒＨ２の占める割合が多い合成フレームＦｒＧが作成される。
【００８１】
このため、合成フレームＦｒＧは、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きが大きい場合には被写体のぼけが少なく、被写体の動きが小さい場合には高精細なものとなり、これにより、基準フレームＦｒＮおよびフレームＦｒＮ＋１に含まれる被写体の動きに拘わらず、高画質の合成フレームＦｒＧを得ることができる。
【００８２】
なお、上記実施形態においては、基準フレームＦｒＮおよびフレームＦｒＮ＋１の輝度色差成分Ｙ，Ｃｂ，Ｃｒ毎に合成フレームＦｒＧを取得しているが、輝度成分Ｙについてのみ合成フレームＦｒＧを取得し、色差成分Ｃｂ，Ｃｒについては、基準フレームＦｒＮの色差成分Ｃｂ，Ｃｒを線形補間して色差成分の合成フレームを求めてもよく、色差成分Ｃｂ，Ｃｒについて第１の補間フレームＦｒＨ１のみを取得し、これを色差成分の合成フレームとしてもよい。
【００８３】
また、フレームＦｒＮ，ＦｒＮ＋１がＲＧＢの色データからなる場合には、ＲＧＢ各色データ毎に処理を行って合成フレームＦｒＧを取得してもよい。
【００８４】
また、上記実施形態においては、２つのフレームＦｒＮ，ＦｒＮ＋１から合成フレームＦｒＧを取得しているが、３以上の複数のフレームから合成フレームＦｒＧを取得してもよい。例えば、Ｔ個のフレームＦｒＮ＋ｔ′（０≦ｔ′≦Ｔ−１）から合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ（＝ＦｒＮ＋０）以外の他のフレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、基準フレームＦｒＮとの対応関係を推定し、統合画像上に画素値を割り当てて複数の第１の補間フレームＦｒＨ１ｔを得る。なお、第１の補間フレームＦｒＨ１ｔの画素値をＩ１ｔ（ｘ°，ｙ°）とする。
【００８５】
また、基準フレームＦｒＮに対して、統合画像上のフレームＦｒＮ＋ｔの画素が割り当てられた座標（実数座標（ｘ°，ｙ°））に画素値を割り当てる補間演算を施すことにより、フレームＦｒＮ＋ｔに対応した第２の補間フレームＦｒＨ２ｔを取得する。なお、第２の補間フレームＦｒＨ２ｔの画素値をＩ２ｔ（ｘ°，ｙ°）とする。
【００８６】
さらに、基準フレームＦｒＮのエッジ情報を表すエッジ情報に基づいて、対応する第１および第２の補間フレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み付け加算する重み係数αｔ（ｘ°，ｙ°）を取得する。
【００８７】
そして、互いに対応する第１および第２のフレームＦｒＨ１ｔ，ＦｒＨ２ｔを重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行うことにより、統合画像の整数座標において画素値ＦｒＧｔ（ｘ＾，ｙ＾）を有する中間合成フレームＦｒＧｔを取得する。具体的には、下記の式（１７）により第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＧ２ｔの対応する画素の画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）を対応する重み係数αｔ（ｘ°，ｙ°）により重み付け加算するとともに荷重和演算を行い、中間合成フレームＦｒＧｔの画素値ＦｒＧｔ（ｘ＾，ｙ＾）を取得する。
【数１４】
なお、式（１７）において、ｋは中間合成フレームＦｒＧｔすなわち統合画像の整数座標（ｘ＾，ｙ＾）の８近傍の整数座標に囲まれる領域に割り当てられたフレームＦｒＮ＋ｔの画素の数であり、この割り当てられた画素がそれぞれ画素値Ｉ１ｔ（ｘ°，ｙ°），Ｉ２ｔ（ｘ°，ｙ°）および重み係数αｔ（ｘ°，ｙ°）を有するものである。
【００８９】
そして、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。具体的には、下記の式（１８）により中間合成フレームＦｒＧｔを対応する画素同士で加算することにより、合成フレームＦｒＧの画素値ＦｒＧ（ｘ＾，ｙ＾）を取得する。
【数１５】
なお、統合画像の全ての整数座標に画素値を割り当てることができない場合がある。このような場合は、割り当てられた画素値に対して前述した空間補間手段５と同様の補間演算を施して、割り当てられなかった整数座標の画素値を算出すればよい。
【００９１】
また、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、統合画像の整数座標について画素値を有する第１の補間フレームＦｒＨ１ｔおよび第２の補間フレームＦｒＨ２ｔ並びに整数座標の重み係数αｔ（ｘ＾，ｙ＾）を取得してもよい。この場合、各フレームＦｒＮ＋ｔ（１≦ｔ≦Ｔ−１）について、各フレームＦｒＮ＋ｔの画素値ＦｒＮ＋ｔ（ｘ，ｙ）を統合座標の全ての整数座標に割り当てて画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）すなわち画素値Ｉ１ｔ（ｘ＾，ｙ＾）を有する第１の補間フレームＦｒＨ１ｔを取得する。そして、全てのフレームＦｒＮ＋ｔについて割り当てられた画素値Ｉ１ｔ（ｘ＾，ｙ＾）と第２の補間フレームＦｒＨ２ｔの画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを加算することにより複数の中間合成フレームＦｒＧｔを取得し、これらをさらに加算して合成フレームＦｒＧを取得すればよい。
【００９２】
具体的には、まず、下記の式（１９）に示すように、全てのフレームＦｒＮ＋ｔについて、統合画像の整数座標における画素値Ｉ１Ｎ＋ｔ（ｘ＾，ｙ＾）を算出する。そして、式（２０）に示すように、画素値Ｉ１ｔ（ｘ＾，ｙ＾）と画素値Ｉ２ｔ（ｘ＾，ｙ＾）とを重み係数α（ｘ＾，ｙ＾）により重み付け加算することにより中間合成フレームＦｒＧｔを得る。そして、上記式（１８）に示すように、中間合成フレームＦｒＧｔを加算することにより合成フレームＦｒＧを取得する。
【００９３】
【数１６】
なお、上記実施形態においては、基準フレームＦｒＮからエッジ情報ｅ０（ｘ，ｙ）を取得しているが、フレームＦｒＮ＋１に対してラプラシアンフィルタによるフィルタリング処理を施して、フレームＦｒＮ＋１からエッジ情報ｅ０（ｘ，ｙ）を取得してもよい。
【００９５】
ここで、３以上の複数のフレームから合成フレームＦｒＧを取得する場合、基準フレームＦｒＮ以外の他のフレームは複数得られるが、他のフレームからエッジ情報ｅ０（ｘ，ｙ）を取得する場合は、基準フレームＦｒＮ以外の他のフレームの全てについてエッジ情報ｅ０（ｘ，ｙ）が取得される。このため、複数のエッジ情報ｅ０（ｘ，ｙ）の平均値、中間値等を求め、これに基づいて重み係数α（ｘ，ｙ）を取得すればよい。
【００９６】
また、上記実施形態においては、基準フレームＦｒＮからエッジ情報ｅ０（ｘ，ｙ）を取得して重み係数α（ｘ，ｙ）を取得しているが、基準フレームＦｒＮおよびフレームＦｒＮ＋１の双方からエッジ情報ｅ０（ｘ，ｙ）を取得してもよい。
【００９７】
この場合、基準フレームＦｒＮから取得されたエッジ情報をｅ１（ｘ，ｙ）、他のフレームＦｒＮ＋１から取得されたエッジ情報をｅ２（ｘ，ｙ）とすると、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の平均値、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の乗算値、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の論理和、エッジ情報ｅ１（ｘ，ｙ），ｅ２（ｘ，ｙ）の論理積等を求め、これを重み係数α（ｘ，ｙ）の取得に用いるエッジ情報ｅ０（ｘ，ｙ）とすればよい。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像合成装置の構成を示す概略ブロック図
【図２】フレームＦｒＮ＋１と基準フレームＦｒＮとの対応関係の推定を説明するための図
【図３】パッチの変形を説明するための図
【図４】パッチＰ１と基準パッチＰ０との対応関係を説明するための図
【図５】双１次内挿を説明するための図
【図６】フレームＦｒＮ＋１の統合画像への割り当てを説明するための図
【図７】統合画像における整数座標の画素値の算出を説明するための図
【図８】ラプラシアンフィルタを示す図
【図９】重み係数を求めるテーブルを示す図
【図１０】本実施形態において行われる処理を示すフローチャート
【符号の説明】
１ サンプリング手段
２ 対応関係推定手段
３ 座標変換手段
４ 時空間補間手段
５ 空間補間手段
６ エッジ情報取得手段
７ 重み算出手段
８ 合成手段
Claims (12)
- 動画像から連続する２つのフレームをサンプリングし、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係を用いて前記他のフレームの前記基準パッチに対応するパッチ内の画像、または前記他のフレームの前記基準パッチに対応するパッチ内の画像および前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記各フレームの画素数よりも大きい画素数を有する統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第２の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像の各画素のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームの各画素の画素値を重み付け合成することにより合成フレームを作成することを特徴とする動画像合成方法。 - 動画像から連続する３以上のフレームをサンプリングし、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定し、
該対応関係を用いて前記複数の他のフレームの前記基準パッチに対応するパッチ内の画像、または前記複数の他のフレームの前記基準パッチに対応するパッチ内の画像および前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記各フレームの画素数よりも大きい画素数を有する統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得し、
前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得し、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像の各画素のエッジ強度を表すエッジ情報を取得し、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得し、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームの各画素の画素値を重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成することを特徴とする動画像合成方法。 - 前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数を前記統合画像の画素位置に割り当てる補間演算を行って、前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得することを特徴とする請求項１または２記載の動画像合成方法。 - 前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する輝度成分および色成分のうちの少なくとも１つの成分を用いて行うことを特徴とする請求項１から３のいずれか１項記載の動画像合成方法。
- 動画像から連続する２つのフレームをサンプリングするサンプリング手段と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係を用いて前記他のフレームの前記基準パッチに対応するパッチ内の画像、または前記他のフレームの前記基準パッチに対応するパッチ内の画像および前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記各フレームの画素数よりも大きい画素数を有する統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第２の補間フレームを取得する第２の補間手段と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像の各画素のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームの各画素の画素値を重み付け合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。 - 動画像から連続する３以上のフレームをサンプリングするサンプリング手段と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する対応関係推定手段と、
該対応関係を用いて前記複数の他のフレームの前記基準パッチに対応するパッチ内の画像、または前記複数の他のフレームの前記基準パッチに対応するパッチ内の画像および前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記各フレームの画素数よりも大きい画素数を有する統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する第１の補間手段と、
前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する第２の補間手段と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像の各画素のエッジ強度を表すエッジ情報を取得するエッジ情報取得手段と、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する重み係数取得手段と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームの各画素の画素値を重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する合成手段とを備えたことを特徴とする動画像合成装置。 - 前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数取得手段は、前記重み係数を前記統合画像の画素位置に割り当てる補間演算を行って、前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手段であることを特徴とする請求項５または６記載の動画像合成装置。 - 前記対応関係推定手段、前記第１の補間手段、前記第２の補間手段、前記エッジ情報取得手段、前記重み係数取得手段および前記合成手段は、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する輝度成分および色成分のうちの少なくとも１つの成分を用いて行う手段であることを特徴とする請求項５から７のいずれか１項記載の動画像合成装置。
- 動画像から連続する２つのフレームをサンプリングする手順と、
該２つのフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係を用いて前記他のフレームの前記基準パッチに対応するパッチ内の画像、または前記他のフレームの前記基準パッチに対応するパッチ内の画像および前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記各フレームの画素数よりも大きい画素数を有する統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第１の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第２の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像の各画素のエッジ強度を表すエッジ情報を取得する手順と、
該エッジ情報に基づいて、前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する手順と、
該重み係数に基づいて前記第１の補間フレームおよび前記第２の補間フレームの各画素の画素値を重み付け合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。 - 動画像から連続する３以上のフレームをサンプリングする手順と、
該３以上のフレームのうち、基準となる１の基準フレーム上に１または複数の矩形領域からなる基準パッチを配置し、該基準パッチと同様のパッチを該基準フレーム以外の複数の他のフレーム上に配置し、該パッチ内の画像が前記基準パッチ内の画像と一致するように、該パッチを前記他のフレーム上において移動および／または変形し、該移動および／または変形後のパッチおよび前記基準パッチに基づいて、前記複数の他のフレーム上の前記パッチ内の画素と前記基準フレーム上の前記基準パッチ内の画素との対応関係を推定する手順と、
該対応関係を用いて前記複数の他のフレームの前記基準パッチに対応するパッチ内の画像、または前記複数の他のフレームの前記基準パッチに対応するパッチ内の画像および前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記各フレームの画素数よりも大きい画素数を有する統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い複数の第１の補間フレームを取得する手順と、
前記基準フレームの前記基準パッチ内の画像の各画素の画素値を、前記統合画像の画素位置に割り当てる補間演算を行って、前記各フレームよりも解像度が高い第２の補間フレームを前記複数の第１の補間フレームと対応付けて１または複数取得する手順と、
前記基準フレームの前記基準パッチ内の画像および／または前記他のフレームの前記パッチ内の画像の各画素のエッジ強度を表すエッジ情報を取得する手順と、
該エッジ情報に基づいて、互いに対応する前記第１の補間フレームと前記第２の補間フレームとを合成する際に、前記エッジ強度が大きいほど前記第１の補間フレームの重みを大きくする重み係数を取得する手順と、
該重み係数に基づいて互いに対応する前記第１の補間フレームおよび前記第２の補間フレームの各画素の画素値を重み付け合成することにより中間合成フレームを取得し、該中間合成フレームを合成することにより合成フレームを作成する手順とを有する動画像合成方法をコンピュータに実行させるためのプログラム。 - 前記エッジ情報が前記各フレームを構成する画素毎に算出されてなる場合、
前記重み係数を取得する手順は、前記重み係数を前記統合画像の画素位置に割り当てる補間演算を行って、前記第１および第２の補間フレームを構成する全ての画素についての重み係数を取得する手順である請求項９または１０記載のプログラム。 - 前記対応関係を推定する手順、前記第１の補間フレームを取得する手順、前記第２の補間フレームを取得する手順、前記エッジ情報を取得する手順、前記重み係数を取得する手順および前記合成フレームを作成する手順は、前記対応関係の推定、前記第１の補間フレームの取得、前記第２の補間フレームの取得、前記エッジ情報の取得、前記重み係数の取得および前記合成フレームの作成を、前記フレームを構成する輝度成分および色成分のうちの少なくとも１つの成分を用いて行う手順である請求項９から１１のいずれか１項記載のプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249213A JP4104937B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
| US10/646,753 US7729563B2 (en) | 2002-08-28 | 2003-08-25 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US12/754,718 US8078010B2 (en) | 2002-08-28 | 2010-04-06 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US13/172,437 US8275219B2 (en) | 2002-08-28 | 2011-06-29 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US13/438,057 US20120189066A1 (en) | 2002-08-28 | 2012-04-03 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
| US13/593,636 US8805121B2 (en) | 2002-08-28 | 2012-08-24 | Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249213A JP4104937B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004088616A JP2004088616A (ja) | 2004-03-18 |
| JP4104937B2 true JP4104937B2 (ja) | 2008-06-18 |
Family
ID=32056392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002249213A Expired - Fee Related JP4104937B2 (ja) | 2002-08-28 | 2002-08-28 | 動画像合成方法および装置並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4104937B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8728635B2 (en) | 2006-06-08 | 2014-05-20 | Sumitomo Metal Mining Co., Ltd. | Oxide sintered body, target, transparent conductive film obtained by using the same, and transparent conductive substrate |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5012805B2 (ja) * | 2006-09-14 | 2012-08-29 | 株式会社ニコン | 画像処理装置、電子カメラおよび画像処理プログラム |
| JP6059899B2 (ja) * | 2012-07-25 | 2017-01-11 | 日本放送協会 | フレーム補間装置及びプログラム |
| WO2018156784A1 (en) | 2017-02-23 | 2018-08-30 | Magic Leap, Inc. | Variable-focus virtual image devices based on polarization conversion |
-
2002
- 2002-08-28 JP JP2002249213A patent/JP4104937B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8728635B2 (en) | 2006-06-08 | 2014-05-20 | Sumitomo Metal Mining Co., Ltd. | Oxide sintered body, target, transparent conductive film obtained by using the same, and transparent conductive substrate |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004088616A (ja) | 2004-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8098961B2 (en) | Resolution enhancement apparatus and method | |
| US8520009B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
| DE102010046259A1 (de) | Bildrequenzumwandlung unter Verwendung von Bewegungseinschätzung und -kompensation | |
| US20100067818A1 (en) | System and method for high quality image and video upscaling | |
| JPH09284798A (ja) | 信号処理装置 | |
| US8253854B2 (en) | Image processing method and system with repetitive pattern detection | |
| Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
| JP4173705B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4104937B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP2010181951A (ja) | 画像処理装置および画像処理プログラム | |
| Wang et al. | Improved super-resolution reconstruction from video | |
| KR101341617B1 (ko) | 단일 영상의 오차모델을 기반으로 한 고해상도 영상 복원장치 및 방법 | |
| JP5289540B2 (ja) | 画像処理装置、及び画像処理方法 | |
| JP4095204B2 (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2000152250A (ja) | 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2004152148A (ja) | 動画像合成方法および装置並びにプログラム | |
| CN113066014B (zh) | 一种图像超分辨方法及装置 | |
| JP4121024B2 (ja) | 動画像合成装置および方法並びにプログラム | |
| JP4582993B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4356876B2 (ja) | 動画像合成装置および方法並びにプログラム | |
| CN101778297A (zh) | 影像序列的干扰消除方法 | |
| JP4515698B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4104947B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4350493B2 (ja) | 動画像合成装置および方法並びにプログラム | |
| JP6817784B2 (ja) | 超解像装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080326 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |