JPWO2007142109A1 - 画像高解像度化装置及び画像高解像度化方法並びにプログラム - Google Patents

Abstract

複数枚の低解像度画像を合成して高解像度画像を生成する超解像処理において、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成する。動き推定手段１１は、入力された複数枚の低解像度画像の中から選択した基準画像と残りの参照画像との間の画素の動きを推定し、動き推定結果を出力する。動き推定信頼性評価手段１２は、動き推定手段１１から出力された動き推定結果の信頼性を、動き推定結果によって対応付けられる画素の輝度の類似度などにより評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する。高解像度画像推定手段１６は、動き推定信頼性評価手段１２から出力された動き推定信頼性評価値に応じた重みで、入力された各低解像度画像の各画素を合成し、高解像度画像を生成する。

Description

（関連出願）本発明は先の日本特許出願、特願２００６−１５１９００号（２００６年５月３１日出願）の優先権主張に基づき、この先の出願の全記載内容は、引用をもって本書に繰込み記載されたものとみなされる。
本発明は、複数枚の低解像度画像から高解像度画像を生成する画像高解像度化技術に関し、特に動き推定誤差によって生成高解像度画像上に生じるノイズを低減させ、人間の見た目に高品質な画像を生成する技術に関する。

従来から、同一シーンを撮影した位置ずれのある複数の低解像度画像を合成し、高解像度画像を生成する画像高解像度化方法が提案されている。

図２１に、複数枚の低解像度画像を合成して高解像度画像を生成する従来の高解像度化装置の構成例を示す。従来の高解像度化装置は、動き推定手段７１と高解像度画像推定手段７２とを備える。動き推定手段７１は、複数枚の低解像度画像を入力とし、それらの内の、高解像度化する基準画像の各画素について、参照画像との間の動き（位置ずれ）を推定し、推定結果を出力する。高解像度化装置においては、低解像度画像間の位置ずれの検出を画素単位未満の精度（サブピクセル精度）で行う必要がある。

動きを推定する手法は、領域ベース手法と特徴ベース手法とに分類できる。領域ベース手法の一般的な方法としてブロックマッチング法がある。ブロックマッチング法は、はじめに低解像度画像を必要とする精度の得られる解像度まで拡大した後にブロックマッチング処理によって移動ベクトルを求める方法である。ブロックマッチング処理は、画像I1中の注目画素(i,j)についてのある大きさのテンプレートブロックと参照画像I2中のブロックとの画素値の差分評価関数の値εを最小とする画素精度の移動ベクトル(ux,uy)を求める処理である。εを算出する方法の例を式（１）と式（２）に示す。I₁(i,j)とI₂(i,j)は、それぞれ画像I₁及び画像I₂の座標(i,j)における画素値を表す。但し、BLはブロックサイズである。

高解像度画像推定手段７２は、低解像度画像と動き推定結果を入力とし、これらの情報から高解像度画像を推定して出力する。高解像度画像推定手段７２の例として、式(３）で表される最尤推定や式（４）の最大事後確率（ＭＡＰ）推定の評価関数を最小化するｘを推定結果として出力する手法がある（例えば、非特許文献１参照）。ただし、ｘは高解像度画像、ｙは低解像度画像、Ａは画像間の動きやダウンサンプリングなどを含んだ画像変換行列、Ｃはハイパスフィルタ、λは定数である。また、画像変換行列Ａに含まれる画像間の動きは、前出した式（１）や式（２）を用いて算出した移動ベクトルを反映したものになっている。

複数の低解像度画像を合成して高解像度画像を生成する高解像度化の手法は一般に超解像処理と呼ばれる。動き推定処理を含む超解像処理では、前述したように、サブピクセル精度で動き推定を行う必要があるが、ピクセル単位の低解像度画像に基づいて、サブピクセル精度の動き推定を行うことは困難であり、誤差が含まれるのが一般的である。そして、この誤差が高解像度画像に不自然なノイズを発生させる主要な原因となる。

しかし、前出の式（３）や式（４）を用いて高解像度画像を生成する、非特許文献１に記載されている従来の技術では、動き推定に含まれる誤差が全く考慮されていない。このため、非特許文献１に記載されている従来の技術では、動き推定に誤差があった場合、生成された高解像度画像に不自然なノイズが発生してしまうという問題があった。即ち、非特許文献１に記載されている従来の技術では、動き推定結果に誤差がないことを前提にして高解像度画像を生成するようにしているため、生成した高解像度画像に不自然なノイズが発生してしまう場合があった。

一方、超解像処理により生成する高解像度画像の画質を改善するための技術として、従来、次のような技術が提案されている（特許文献１参照）。

特許文献１においては、基準画像と各参照画像との間の動き推定ベクトルと、基準画像と各参照画像との間の時間的距離（例えば、フレーム番号の差分）と、生成しようとしている高解像度画像中の画素（生成画素）と各低解像度画像中の上記生成画素に最も近い画素との間の距離（画素間距離）とに基づいて、各低解像度画像の各画素に対する重みを決定し、この重みを考慮して各低解像度画像の各画素を合成することにより高解像度画像を生成するようにしている。

図２２は、特許文献１に記載されている高解像度化装置の構成例を示すブロック図であり、動き推定手段９１と、動き距離評価手段９２と、動き推定評価手段９３と、重み生成手段９４と、高解像度画像推定手段９５とを備える。

動き推定手段９１は、複数枚の低解像度画像を入力とし低解像度画像間の動き推定結果（動き推定ベクトル）を出力する。動き距離評価手段９２は、動き推定ベクトルを入力とし、動き推定ベクトルの大きさと画像間の時間的距離と画素間距離とを評価する。より具体的には、動き距離評価手段９２は、動き推定ベクトルの大きさ、時間的距離および画素間距離それぞれについて、その値が大きいほど、画質を劣化させる可能性が高いと評価する。

動き推定評価手段９３は、上記動き距離評価手段９２の３つの評価を統合する。重み生成手段９４は、各低解像度画像の各画素に対する重みを決定し、高解像度画像推定手段９５は、重み生成手段９４で決定された重みを利用して各低解像度画像を合成し、高解像度画像を出力する。

特開２００６−０３３０６２号公報 S. C. Park and M. K. Park and M. G. Kang, "Super-Resolution Image Reconstruction: A Technical Overview", IEEE Signal Processing Magazine, vol.20, no.3, pp.21-36, May 2003.

以下の分析は、本発明の観点からなされたものである。
上記特許文献１及び非特許文献１の全開示事項は、本書に引用をもって繰込み記載されているものとする。

上述した特許文献１に記載されている従来の技術によれば、動き推定ベクトルの大きさ、時間的距離および画素間距離に基づいて、各低解像度画像の各画素を合成させる際の重みを決定し、この重みに従って各低解像度画像を合成しているため、非特許文献１に記載されている従来の技術に比較して、高解像度画像の画質を向上させることができる。しかしながら、特許文献１に記載されている従来の技術では、動き推定結果の信頼性（確からしさ）を全く評価していないため、高解像度画像の画質劣化を充分に抑制することができないという問題があった。即ち、動き推定を含む超解像処理では、動き推定における誤差が、生成される高解像度画像に不自然なノイズを発生させる主要な原因となるが、特許文献１に記載されている従来の技術では、動き推定における誤差を全く考慮していないため、画質劣化を充分に抑制することができない。

そこで、本発明の目的は、動き推定の信頼性を評価し、評価した信頼性を考慮して低解像度画像を合成することにより、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成できるようにすることにある。

本発明の第１の視点によれば、
複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段と、
該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段とを備える画像高解像度化装置が提供される。

更には、上記画像高解像度化装置の、前記高解像度画像推定手段に、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成させることも望ましい。

更には、上記画像高解像度化装置の、前記高解像度画像推定手段に、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成させることも望ましい。

更には、上記画像高解像度化装置の、前記高解像度画像推定手段に、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成させることも望ましい。

更には、上記画像高解像度化装置の、前記動き推定手段が、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力するよう構成し、
前記動き推定信頼性評価手段に、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えさせることも望ましい。

更には、上記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出するように構成することも望ましい。

更には、上記画像高解像度化装置の、前記動き推定信頼性評価手段に、
前記動き推定手段が推定した前記画素の動きに対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えさせることも望ましい。

更には、上記画像高解像度化装置に、
前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備えさせ、且つ、前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成するよう構成することも望ましい。

更には、上記画像高解像度化装置に、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備えさせ、且つ、前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成するよう構成することも望ましい。

本発明の第２の視点によれば、
前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、 該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成し、第１の高解像度画像を生成する高解像度画像推定手段と、
前記基準画像を拡大し、前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備え、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置が提供される。

本発明の第３の視点によれば、
前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、 該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成して第１の高解像度画像を生成する際、各画素の重みを前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じたものにする高解像度画像推定手段と、
前記基準画像を拡大して前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備え、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置が提供される。

更には、上記画像高解像度化装置に、前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備えさせ、且つ、前記高解像度画像合成手段が、前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成するよう構成することも望ましい。

更には、上記画像高解像度化装置に、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備えさせ、且つ、前記高解像度画像合成手段が、前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成するよう構成することも望ましい。

本発明の第４の視点によれば、複数枚の低解像度画像間の画素の動きを推定し、前記動き推定結果の信頼性に基づいて、前記複数枚の低解像度画像を合成し高解像度画像を生成する画像高解像度化方法が提供される。

本発明の第５の視点によれば、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、
前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定ステップとを含み、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法が提供される。

更には、上記画像高解像度化方法の前記高解像度画像推定ステップで、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成させることも望ましい。

更には、上記画像高解像度化方法の前記高解像度画像推定ステップで、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成させることも望ましい。

更には、上記画像高解像度化方法の前記高解像度画像推定ステップで、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた重みで合成させることも望ましい。

本発明の第６の視点によれば、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法において、低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた重みで合成する高解像度画像推定ステップとを含む画像高解像度化方法が提供される。

更には、上記画像高解像度化方法の前記動き推定ステップで、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力させ、
前記動き推定信頼性評価ステップで、
前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出させることも望ましい。

更には、上記画像高解像度化方法の前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、前記動き推定信頼性評価ステップで、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出させることも望ましい。

更には、上記画像高解像度化方法の前記動き推定信頼性評価ステップで、前記動き推定ステップで推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出させることも望ましい。

更には、上記画像高解像度化方法において、更に、前記動き推定ステップで推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価ステップを含み、 前記高解像度画像推定ステップで、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記移動距離評価値とに応じた重みで合成させることも望ましい。

更には、上記画像高解像度化方法において、更に、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価ステップを含み、且つ、前記高解像度画像推定ステップで、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記時間的距離評価値とに応じた重みで合成させることも望ましい。

本発明の第７の視点によれば、コンピュータを、
低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段、
該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段、
前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段として機能させ、
複数枚の低解像度画像を合成して画像高解像度化装置として機能させるプログラムが提供される。

更には、上記プログラムにおいて、前記高解像度画像推定手段として機能するコンピュータが、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することも望ましい。

更には、上記プログラムにおいて、前記高解像度画像推定手段として機能するコンピュータが、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することも望ましい。

更には、上記プログラムにおいて、前記高解像度画像推定手段として機能するコンピュータが、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成することも望ましい。

更には、上記プログラムにおいて、前記動き推定手段として機能するコンピュータが、
２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力すると共に、
前記コンピュータが、前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段としても機能する構成とすることもできる。

更には、上記プログラムにおいて、
前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、前記対応関係評価手段として機能するコンピュータが、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出することも望ましい。

更には、上記プログラムにおいて、
前記コンピュータが、前記動き推定手段が推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段としても機能する構成とすることもできる。

更には、上記プログラムにおいて、前記コンピュータを、前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段としても機能させ、且つ、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する高解像度画像推定手段としても機能する構成とすることもできる。

更には、上記プログラムにおいて、前記コンピュータを、前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段としても機能させ、且つ、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する高解像度画像推定手段としても機能する構成とすることもできる。

〔作用〕
動き推定手段は、入力された複数枚の低解像度画像を参照して低解像度画像間の画素の動きを推定し、動き推定結果を出力する。動き推定信頼性評価手段は、動き推定手段から出力された動き推定結果の信頼性を、動き推定結果によって対応付けられる画素の輝度の類似度などにより評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する。高解像度画像推定手段は、動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で、入力された各低解像度画像の各画素を合成し、高解像度画像を生成する。

ここで、高解像度画像推定手段は、各低解像度画像の各画素を合成する際、信頼性の低い画素は、影響が弱く或いは全く影響しないように合成し、信頼性の高い画素は、影響が強く現れるように合成する。このように各低解像度画像の各画素を合成するために、動き推定信頼性評価値に応じた重みを利用して合成するようにすることもできる。

本発明によれば、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成することができるという効果を得ることができる。その理由は、動き推定結果の信頼性を評価し、評価した信頼性を考慮して低解像度画像を合成するようにしているからである。ここで、ノイズを発生させる主要な原因は、動き推定誤差であるので、動き推定結果の信頼性を評価し、評価した信頼性に応じて低解像度画像を合成することにより、極めて高品質な高解像度画像を生成することが可能になる。図２０（Ａ），（Ｂ）は、それぞれ非特許文献１に記載されている従来技術により生成した高解像度画像、および本発明の画像高解像度化装置により生成した高解像度画像を示した図である。同図から分かるように、本発明の画像高解像度化装置によれば、ノイズのない高品質が高解像度画像を生成することが可能になる。

本発明の第一の実施例に係る画像高解像度化装置の構成を示すブロック図である。 入力低解像度画像群の構成および動き推定手段１１の動作を説明するための図である。 動き推定信頼性評価手段１２の構成例を示すブロック図である。 類似度評価値ｑ(α,β)を決定する方法を説明するための図である。 類似度評価値ｑ(α,β)を決定する他の方法を説明するための図である。 動き距離評価手段１３の構成例を示すブロック図である。 移動距離評価値ｒ(α,β)を決定する方法を説明するための図である。 時間的距離評価値ｓ(β)を決定する方法を説明するための図である。 第一の実施例の動作例を示すフローチャートである。 本発明にかかる画像高解像度化装置の第二の実施例の構成例を示すブロック図である。 第二の実施例の動作例を示すフローチャートである。 本発明の第三の実施例に係る画像高解像度化装置の構成を示すブロック図である。 第三の実施例の動作例を示すフローチャートである。 本発明の第四の実施例に係る画像高解像度化装置の例構成を示すブロック図である。 第四の実施例の動作例を示すフローチャートである。 本発明の第五の実施例に係る画像高解像度化装置の構成を示すフローチャートである。 第五の実施例の動作例を示すフローチャートである。 本発明の第六の実施例に係る画像高解像度化装置の構成を示すフローチャートである。 第六の実施例の動作例を示すフローチャートである。 本発明の効果を表した図である。 従来技術の構成例を示すブロック図である。 他の従来技術の構成例を示すブロック図である。

符号の説明

１、１ａ〜１ｅ…画像高解像度化装置
１１…動き推定手段
１２…動き推定信頼性評価手段
１２１…対応関係評価手段
１２２…類似度評価手段
１３…動き距離評価手段
１３１…移動距離評価手段
１３２…時間的距離評価手段
１４…動き推定評価手段
１５…重み付け行列算出手段
１６…高解像度画像推定手段
２１…動き推定手段
２２…動き推定信頼性評価手段
２３…動き推定評価手段
２４…重み付け行列算出手段
２５…高解像度画像推定手段
３１…動き推定手段
３２…動き推定信頼性評価手段
３３…動き距離評価手段
３４…動き推定評価手段
３５…合成重み算出手段
３６…高解像度画像推定手段
３７…基準画像拡大手段
３８…高解像度画像合成手段
４１…動き推定手段
４２…動き推定信頼性評価手段
４３…動き推定評価手段
４４…合成重み算出手段
４５…高解像度画像推定手段
４６…基準画像拡大手段
４７…高解像度画像合成手段
５１…動き推定手段
５２…動き推定信頼性評価手段
５３…動き距離評価手段
５４…動き推定評価手段
５５…合成重み算出手段
５６…重み付け行列算出手段
５７…高解像度画像推定手段
５８…基準画像拡大手段
５９…高解像度画像合成手段
６１…動き推定手段
６２…動き推定信頼性評価手段
６３…動き推定評価手段
６４…合成重み算出手段
６５…重み付け行列算出手段
６６…高解像度画像推定手段
６７…基準画像拡大手段
６８…高解像度画像合成手段
７１…動き推定手段
７２…高解像度画像推定手段
８１…基準画像
８２…１枚目の入力画像
８３…２枚目の入力画像
８４…Ｎ枚目の入力画像
９１…動き推定手段
９２…動き距離評価手段
９３…動き推定評価手段
９４…重み生成手段
９５…高解像度画像推定手段

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

〔第一の実施例〕
図１は、本発明の第一の実施例に係る画像高解像度化装置の構成例を示すブロック図である。図１に示す画像高解像度化装置１は、動き推定手段１１と、動き推定信頼性評価手段１２と、動き距離評価手段１３と、動き推定評価手段１４と、重み付け行列算出手段１５と、高解像度画像推定手段１６とを備え、画像サイズＭの低解像度画像（画像数Ｎ）を入力として高解像度画像（画素数Ｋ）を出力する。図１と図２２とを比較すると、従来の画像高解像度化装置に動き推定信頼性評価手段１２が新たに加えられていることが分かる。

動き推定手段１１は、Ｎ枚の低解像度画像を入力とし、１枚の基準画像と、残りの（Ｎ−１）枚の参照画像との間の画素毎の動きを推定し、動き推定結果を出力する。図２に動き推定手段１１の動作説明図を示す。動き推定手段１１は、はじめにＮ枚の低解像度画像の内の、第Ｎｂ番目（枚目）の画像を高解像度化する基準画像８１として選択し、基準画像８１以外の画像群を参照画像とする。図２の例では参照画像として、参照画像８２〜８４が示されている。その後、動き推定手段１１は、動き推定結果として、参照画像８２〜８４の各画素についての基準画像８１への動き推定ベクトルｕ(α,β)と、参照画像８２〜８４の画素と対応する基準画像８１の画素についての参照画像への動き推定ベクトルｖ(α,β)とを前出した式（１）や式（２）を利用して算出して出力する。ここで、βは、参照画像の指標を表し、１≦β≦Ｎ（但しβ＝Ｎｂを除く）によって定義され、αは、画素を示す指標であり、1≦α≦Ｍで定義される。なお、動き推定ベクトルｕ(α,β)，ｖ(α,β)の算出方法は、上記した方法に限られるものではなく、例えば、注目画素αを含むブロックの動き推定ベクトルｕ(α,β)，ｖ(α,β)を推定し、そのブロックに含まれている全ての画素の動き推定ベクトルを上記推定した動き推定ベクトルとする方法などを採用することもできる。

更に、動き推定手段１１は、動き推定ベクトルｕ(α,β)，ｖ(α,β)を動き推定結果として出力する処理以外にも、参照画像８２〜８４の各画素について、基準画像８１への動き推定ベクトルｕ(α,β)によって対応付けられる画素との輝度の類似度を示すマッチング距離値Ｓ(α,β)を算出して出力する処理、および基準画像８１と各参照画像８２〜８４との間の撮影時刻の差分に関連する時間的距離Δｔ(β)を算出して出力する処理を行っている。時間的距離Δｔ(β)としては、例えば、撮影時刻の秒単位の差分値や、動画像におけるフレーム数の差分値などを採用することができる。

マッチング距離値Ｓ(α,β)の算出方法としては、例えば、前出の式（１）、および式（２）のブロックマッチング処理による算出方法がある。これは対応関係にある画素の周辺情報を用い、それらの画素の差の絶対値和や二乗和をとる方法である。式（１）、および式（２）を用いる場合、マッチング距離値Ｓ(α,β)が小さいほど類似度が高く、マッチング距離値Ｓ(α,β)が大きいほど類似度は低くなる。これ以外にも、マッチング距離値Ｓ(α,β)を算出する際、用いる周辺情報の範囲を変化させることにより、大きな周辺領域のマッチング距離値と小さい周辺領域のマッチング距離値等、複数のマッチング距離値Ｓ(α,β)を算出する方法もある。更に、マッチング距離値Ｓ(α,β)は、本来画素間の類似度を評価することが目的であるので、画素の差分値の総和などの距離値ではなく、領域内画素値の相関係数などの類似度を利用する方法を採用しても良い。更に、注目画素を含むブロックと対応ブロックのマッチング距離値Ｓ(α,β)を求め、それをブロックに含まれる全ての画素のマッチング距離値Ｓ(α,β)とする方法や、ブロック内の対応画素同士の輝度の差の絶対値や二乗値をその画素のマッチング距離値Ｓ(α,β)とする方法を採用しても良い。

動き推定信頼性評価手段１２は、動き推定手段１１から出力された動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)とを入力とし、動き推定評価値として、対応関係評価値ｐ(α,β)と類似度評価値ｑ(α,β)とを出力する。図３は、動き推定信頼性評価手段１２の構成例を示すブロック図である。図３に示す動き推定信頼性評価手段１２は、対応関係評価手段１２１と類似度評価手段１２２とを備える。

対応関係評価手段１２１は、動き推定手段１１から出力された動き推定ベクトルｕ(α,β)，ｖ(α,β)を元に、参照画像の注目画素と基準画像の対応画素との関係が１対１の対応関係にあるか否かを示す対応関係評価値ｐ(α,β)を算出する。動き推定ベクトルｕ(α,β)は、参照画像から基準画像への動き推定結果であり、動き推定ベクトルｖ(α,β) は、基準画像から参照画像への動き推定結果である。一般に様々な要因により、探索基準を基準画像にするか、参照画像にするのかによって、動き推定ベクトルは異なるものになる。しかしながら推定される動き推定ベクトルは、基準画像から推定しても、参照画像から逆に推定しても、方向が正反対となるだけで大きさは一致するべきである。すなわちｕ(α,β)＋ｖ(α,β)＝０となるほど正確な動き推定であると考える。参照画像βの注目画素αにおける基準画像の対応画素との対応関係評価値ｐ(α,β)は、ｕ(α,β)＋ｖ(α,β)の加算ベクトルが０に近づくにつれて値が大きくなり、逆に加算ベクトルが大きくなるにつれて小さくなる。ｐ(α,β)の算出方法の一例を式(５)に示す。ただし、κはサブピクセル推定の曖昧さを考慮する閾値を表すパラメタである。

類似度評価手段１２２は、動き推定手段１１から出力される、参照画像βの注目画素αと基準画像の対応画素とのマッチング距離値Ｓ(α,β)を元に、参照画像βの注目画素αにおける類似度評価値ｑ(α,β)を算出する。類似度評価手段１２２における評価値算出方法の一例として、図４に示すようなグラフを利用してマッチング距離値Ｓ(α,β)を類似度評価値ｑ(α,β)に変換する方法がある。すなわち、マッチング距離値Ｓ(α,β)の値が小さいほど動き推定結果の信頼性が高いと考えて類似度評価値ｑ(α,β)を大きくし、マッチング距離値Ｓ(α,β)が大きいほど動き推定結果の信頼性が低いと考えて類似度評価値ｑ(α,β)が小さくなるように変換する。類似度評価値ｑ(α,β)の数式による算出方法の一例を式（６）に示す。ただし、ｌ₁およびｌ₂は、あらかじめ決められた定数である（但しｌ₁＜ｌ₂）。

更に、類似度評価値ｑ(α,β)の算出方法としては、上記したもの以外に、図５に示すようなマッチング距離値Ｓ(α,β)とその値に対応する類似度評価値ｑ(α,β)の値をデータとして持つあらかじめ用意されたテーブルから呼び出す方法を採用することもできる。また、動き推定手段１１からの出力が、大きな領域を用いた大局的なマッチング距離値、小さな領域を用いた局所的なマッチング距離値、注目画素を含むブロックのマッチング距離、注目画素と対応画素のマッチング距離など、注目画素についての複数種類のマッチング距離値Ｓ(α,β)を含む場合には、それぞれのマッチング距離値Ｓ(α,β)について類似度評価値ｑ(α,β)を算出し、最終的にそれらの積を類似度評価手段１２２の出力とする方法がある。

動き距離評価手段１３は、動き推定手段１１から出力される動き推定ベクトルｕ(α,β)および時間的距離Δｔ(β)を入力とし、動き距離評価値として、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)を出力する。図６は、動き距離評価手段１３の構成例を示すブロック図である。図６に示す動き距離評価手段１３は、移動距離評価手段１３１と時間的距離評価手段１３２とを備える。

移動距離評価手段１３１は、動き推定手段１１から出力される動き推定ベクトルｕ(α,β)から、撮影対象物体と撮影媒体の位置関係の変化により生じる画像の変形を考慮する移動距離評価値ｒ(α,β)を算出する。移動距離評価手段１３１における移動距離評価値算出方法の一例として、図７に示すグラフのように、移動距離|ｕ(α,β)|から移動距離評価値ｒ(α,β)に変換する方法がある。移動距離|ｕ(α,β)|が小さいほど移動距離評価値ｒ(α,β)が大きくなり、移動距離|ｕ(α,β)|が大きいほど移動距離評価値ｒ(α,β)が小さくなる。参照画像βの注目画素αにおける移動距離評価値ｒ(α,β)の数式による算出方法の一例を式（７）に示す。ただし、ｋ₁，ｋ₂はパラメタである（但しｋ₁＜ｋ₂）。

移動距離評価値ｒ(α,β)の算出は、類似度評価値q(α,β)の算出方法と同様にあらかじめ用意されているテーブルから呼び出すことによっても行うことが可能である。

時間的距離評価手段１３２は、低解像度画像の撮影のタイミングの違いによる変形の影響を考慮する時間的距離評価値ｓ(β)を出力する。参照画像βの時間的距離評価値ｓ(β)は、基準画像と参照画像βとの撮影タイミングの時間的距離Δｔ(β)を元に、撮影環境や撮影対象の性質に合わせて決定された関数により算出することができる。時間的距離Δｔ(β)が小さい時には動き量も小さい可能性が高いので、評価結果が高くなるようにし、逆に時間的距離Δｔ(β)が大きい時には評価結果が低くなるようにする。図８に時間的距離Δｔ(β)から時間的距離評価値ｓ(β)への変換特性の一例を示す。時間的距離評価値ｓ(β)の算出は、図８の特性に従ってあらかじめ用意されたテーブルを参照することにより、求めることも可能である。

動き推定評価手段１４は、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)および時間的距離評価値ｓ(β)を統合し、入力低解像度画像のそれぞれの画素の動き推定評価値ρ(α,ｎ)を出力する。動き推定評価値ρ(α,ｎ)の算出方法の一例を式（８）に示す。動き推定評価値ρ(α,ｎ)は、基準画像８１を含む全ての低解像度画像に対して値を持ち、ｎが基準画像Ｎｂの場合は１．０となる。また、対応関係評価値、類似度評価値、移動距離評価値、時間的距離評価値の各評価値は、評価結果が高いほど値が大きくなっており、式（８）における動き推定評価値ρ(α,ｎ)は、各評価値の積を取る形式で表現している。なお、動き推定評価値ρ(α,ｎ)は、入力低解像度画像ｎの画素αについての動き推定評価値を表す。動き推定評価値ρ(α,ｎ)のその他の例として、各評価値の積ではなく平均値あるいは加重平均等によって評価値を統合する方法がある。動き推定評価値ρ(α,ｎ)の値は、値が高いほど動き推定の信頼性が高く、逆に値が低いほど動き推定の信頼性が低いことを意味する。

重み付け行列算出手段１５は、動き推定評価値ρ(α,ｎ)から、入力された各低解像度画像のそれぞれの画素の合成の強さを表すＮ個のＭ行×Ｍ列の重み付け行列Ｗ_nを出力する。重み付け行列Ｗ_nによって低解像度画像の各画素の合成の強さを制御することにより、動き推定誤差により生じるノイズを抑制する効果がある。入力低解像度画像ｎの重み付け行列Ｗ_nの算出方法の一例を式（９）に示す。ただし、Ｗ_n(i,j)は、重み付け行列Ｗ_nのi行j列の要素である（１≦ｉ≦Ｍ、１≦ｊ≦Ｍ）。重み付け行列Ｗ_nの要素は、その値が大きいほど対応する画素についての動き推定の信頼性が高く、逆に小さいほど対応する画素の動き推定の信頼性が低いことを意味する。

高解像度画像推定手段１６は、低解像度画像と、動き推定結果である動き推定ベクトルｕ(α,β)と、重み付け行列Ｗ_nとを入力とし、式（１０）または式（１１）で示される評価関数を最小化するｘを推定高解像度画像（画素数Ｋ）として出力する。重み付け行列Ｗ_nの要素が大きいつまり信頼性が高い場合は、その対応する画素の式（１０）および式（１１）の評価関数の値に与える影響が大きくなるため、生成される高解像度画像にその画素が与える影響は大きくなる。逆に、重み付け行列Ｗ_nの要素が小さいつまり信頼性が低い場合は、その対応する画素が評価関数の値に与える影響が小さくなるため、生成される高解像度画像にその画素が与える影響は小さくなる。なお、式（１０）、式（１１）における画像変換行例Ａｎは、式（３）、式（４）における画像変換行列Ａｎと同様に、画像間の動きやダウンサンプリングなどを含むものであり、画像間の動きは、動き推定手段１１が推定した動き推定ベクトルｕ(α,β)を反映したものとなる。

なお、上述した機能を有する画像高解像度化装置１は、コンピュータによって実現可能であり、コンピュータによって実現する場合には、例えば、次のようにする。コンピュータを画像高解像度化装置１として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは、読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、動き推定手段１１、動き推定信頼性評価手段１２、動き距離評価手段１３、動き推定評価手段１４、重み付け行列算出手段１５および高解像度画像推定手段１６を実現する。

〔第１の実施例の動作の説明〕
次に、図９のフローチャートを参照して本実施例の動作を説明する。

先ず、動き推定手段１１が、入力されたＮ枚の低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段１１は、マッチング距離値Ｓ(α,β)を算出して出力すると共に、時間的距離Δｔ(β)も出力する（ステップＳ１１）。

次に、動き推定信頼性評価手段１２内の対応関係評価手段１２１が、動き推定ベクトルｕ(α,β)，ｖ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との対応関係評価値ｐ(α,β)を算出する（ステップＳ１２）。

その後、動き推定信頼性評価手段１２内の類似度評価手段１２２が、マッチング距離値Ｓ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との類似度評価値ｑ(α,β)を算出する（ステップＳ１３）。

動き推定信頼性評価手段１２の処理が終了すると、動き距離評価手段１３内の移動距離評価手段１３１が、動き推定ベクトルｕ(α,β)を参照し、参照画像の各画素について、移動距離評価値ｒ(α,β)を算出する（ステップＳ１４）。

その後、動き距離評価手段１３内の時間的距離評価手段１３２が、時間的距離Δｔ(β)を元に、時間的評価値ｓ(β)を算出する。（ステップＳ１５）。

次に、動き推定評価手段１４が、動き推定信頼性評価手段１２で算出された対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)と、動き距離評価手段１３で算出された移動距離評価値ｒ(α,β)および時間的距離評価値ｓ(α,β)とを参照し、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ１６）。

その後、重み付け行列算出手段１５が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗ_nを算出する（ステップＳ１７）。

そして、最後に、高解像度画像推定手段１６が、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)、重み付け行列Ｗ_ｎを参照し、前出の式（１０）または式（１１）を最小化する高解像度画像を推定する（ステップＳ１８）。

〔第一の実施例の効果〕
本実施例によれば、動き推定誤差に起因するノイズを抑制した高品質な高解像度画像を生成することができるという効果を得ることができる。その理由は、動き推定信頼性評価手段１２が動き推定手段１１から出力される動き推定結果〔動き推定ベクトルｕ(α,β)〕の信頼性を評価して、信頼性の度合いを示す動き推定信頼性評価値〔対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)〕を出力し、高解像度画像推定手段１６が、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に応じた重みで各低解像度画像の各画素を合成するようにしているからである。

〔第二の実施例〕
次に本発明の第二の実施例について説明する。前述した第一の実施例が、動き推定結果に対する信頼性の度合いを表す対応関係評価値ｐ(α,β)，類似度評価値ｑ(α,β)に加えて、移動距離評価値ｒ(α,β)，時間的距離評価値ｓ(β)も考慮した重み付け行列Ｗ_ｎを用いて低解像度画像を合成しているのに対し、本実施例は、動き推定に対する信頼性の度合いを表す対応関係評価値ｐ(α,β)，類似度評価値ｑ(α,β)だけを考慮した重み付け行列Ｗ_ｎを用いて低解像度画像を合成するようにしている。

図１０は、本実施例にかかる画像高解像度化装置１ａの構成例を示すブロック図である。図１０に示す画像高解像度化装置１ａは、動き推定手段２１と、動き推定信頼性評価手段２２と、動き推定評価手段２３と、重み付け行列算出手段２４と、高解像度画像推定手段２５とを備える。図１０と図２２とを比較すると、従来技術の動き距離評価手段９２に代わり、動き推定信頼性評価手段２２が設けられていることが分かる。

動き推定手段２１は、第一の実施例の動き推定手段１１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)とを出力する。なお、本実施例の動き推定手段２１は、時間的距離Δｔ(β)の算出は行わない。

動き推定信頼性評価手段２２は、第一の実施例の動き推定信頼性評価値１２と同様に、対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、それぞれ対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を出力する。

動き推定評価手段２３は、対応関係評価値ｐ(α,β)と類似度評価値ｑ(α,β)とを統合し、入力低解像度画像のそれぞれの画素の動き推定評価値ρ(α,ｎ)を出力する。動き推定評価値ρ(α,ｎ)の算出方法の一例を式（１２）に示す。

動き推定評価値ρ(α,ｎ)の算出方法のその他の例としては、各評価値の積ではなく平均値あるいは加重平均等によって評価値を統合する方法がある。

重み付け行列算出手段２４は、第一の実施例の重み付け行列算出手段１５と同様に、動き推定評価値ρ(α,ｎ)を入力とし、重み付け行列Ｗ_ｎを算出する。

高解像度画像推定手段２５は、第一の実施例の高解像度画像推定手段１６と同様に、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)及び重み付け行列Ｗ_ｎを参照し、式（１０）または式（１１）を最小化する高解像度画像を推定する。

なお、本実施例の画像高解像度化装置１ａも、第一の実施例の画像高解像度化装置１と同様にコンピュータによって実現することができる。

〔第二の実施例の動作の説明〕
次に、図１１のフローチャートを参照して本実施例の動作について説明する。

先ず、動き推定手段２１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力すると共に、マッチング距離値Ｓ(α,β)を出力する（ステップＳ２１）。

次に、動き推定信頼性評価手段２２内の対応関係評価手段（図示せず）が、動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との対応関係評価値ｐ(α,β)を算出する（ステップＳ２２）。

その後、動き推定信頼性評価手段２２内の類似度評価手段（図示せず）が、マッチング距離値Ｓ(α,β)を参照し、参照画像の各画素について、基準画像中の対応画素との類似度評価値ｑ(α,β)を算出する（ステップＳ２３）。

次いで、動き推定評価手段２３が、対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を参照し、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ２４）。

その後、重み付け行列算出手段２４が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗ_ｎを生成する（ステップＳ２５）。

そして、最後に、高解像度画像推定手段２５が、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)および重み付け行列Ｗ_ｎを参照し、前出の式（１０）または前記式（１１）を最小化する高解像度画像を推定する（ステップＳ２６）。

〔第二の実施例の効果〕
本実施例によれば、第一の実施例と同様の効果を得られると共に、処理速度を第一の実施例よりも速くすることができるという効果を得ることができる。その理由は、第一の実施例では、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に加えて、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)も考慮して低解像度画像を合成する際の重みを決定しているが、本実施例では、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)のみを考慮して重みを決定するようにしており、計算量を少なくすることができるからである。なお、高解像度画像にノイズを発生させる主な原因は、動き推定誤差であるので、本実施例にように、動き推定結果に対する信頼性の度合いを示す対応関係評価値ｐ(α,β)，類似度評価値ｑ(α,β)だけを考慮して重みを決定するようにしても、充分に高品質な高解像度画像を生成することができる。

〔第三の実施例〕
次に本発明の第三の実施例について説明する。図１２は、本発明の第三の実施例に係る画像高解像度化装置１ｂの構成例を示すブロック図である。図１２に示す画像高解像度化装置１ｂは、動き推定手段３１と、動き推定信頼性評価手段３２と、動き距離評価手段３３と、動き推定評価手段３４と、合成重み算出手段３５と、高解像度画像推定手段３６と、基準画像拡大手段３７と、高解像度画像合成手段３８とを備え、画像サイズＭの低解像度画像（画像数Ｎ）を入力として、画素数Ｋの高解像度画像を出力する。

動き推定手段３１は、第一の実施例における動き推定手段１１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)と、時間的距離Δｔ(β)とを出力する。

動き推定信頼性評価手段３２は、第一の実施例の動き推定信頼性評価手段１２と同様に、対応関係評価手段（図示せず）および類似度評価手段（図示せず）を備え、それぞれ対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を出力する。

動き距離評価手段３３は、第一の実施例の動き距離評価手段１３と同様に、移動距離評価手段（図示せず）および時間的距離評価手段（図示せず）を備え、それぞれ移動距離評価値ｒ(α,β)および時間的距離評価値ｓ(β)を出力する。

動き推定評価手段３４は、第一の実施例の動き推定評価手段１４と同様に、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)を入力とし、動き推定評価値ρ(α,ｎ)を出力する。

合成重み算出手段３５は、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、推定された高解像度画像と拡大した基準画像とを合成するための各画素の重みωを算出する。合成重みωを算出する方法の一例を以下に示す。

はじめに、入力低解像度画像ｎの画素αにおける動き推定評価値ρ(α,ｎ)と動き推定ベクトルｕ(α,ｎ)を基にして、基準画像Ｎｂの画素γにおける動き推定信頼性平均値φ(γ)を算出する。参照画像から基準画像への動き推定ベクトルｕ(α,ｎ)によって、参照画像ｎと基準画像Ｎｂの画素とが対応付けられているので、基準画像Ｎｂの画素γに対応する動き推定評価値ρ(α,ｎ)の値を求めることができる。なおｎ＝Ｎｂのときはρ(α,Ｎｂ)＝1.0である。得られた動き推定ベクトルｕ(α,ｎ)の状態によって（動き推定が誤っているか否かによって）、基準画像Ｎｂの画素γに対応する参照画像の画素数（参照画素数）は一定ではない。そこで画素γに対応する参照画像の画素数をν(γ)、画素γに対応する参照画像の画素の動き推定評価値ρ(α,ｎ)の総和をμ(γ)として定義すると、動き推定信頼性平均値φ(γ)は、式（１３）に示すものとなる。

次に、動き推定信頼性平均値φ(γ)の分布を画像と考えて、Bi-Cubic法などの一般的な補間方法を用いて拡大することにより、高解像度画像サイズの信頼性マップを作成する。得られた信頼性マップに対して低周波フィルタを作用させて分布を滑らかにした結果を合成重みωとして出力する。

高解像度画像推定手段３６は、入力低解像度画像と動き推定結果である動き推定ベクトルｕ(α,β)とを参照し、高解像度画像（推定高解像度画像）x₁を推定する。高解像度画像推定手段３６における高解像度画像の推定方法の一例としては、前出の式（３）や式（４）の評価関数を最小化する方法がある。

基準画像拡大手段３７は、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像（拡大基準画像）x₂を算出する。なお、高解像度画像x₁，x₂は同一サイズである。

高解像度画像合成手段３８は、高解像画像推定手段３６で推定された高解像度画像x₁と、基準画像拡大手段３７で算出された高解像度画像x₂と、合成重み算出手段３５で算出された合成重みωを参照し、出力高解像度画像xを算出する。高解像度画像xの算出方法の一例を式（１４）に示す。kは高解像度画像（画像サイズＫ）の画素値を示す（1≦k≦Ｋ）。x(k)、x₁(k)、x₂(k)及びω(k)は、それぞれ画素kにおけるxの値、x₁の値、x₂の値及びωの値である。ω(k)の値が大きいつまり動き推定の信頼性が高い画素には、複数枚の画像を合成した高解像度画像x₁の影響が大きくなる。逆に、ω(k)の値が小さいつまり動き推定の信頼性が低い画素には、動き推定誤差により生じるノイズのない基準画像Ｎｂを拡大した高解像度画像x₂の影響が大きくなる。

なお、本実施例の画像高解像度化装置１ｂも、画像高解像度化装置１，１ａと同様に、コンピュータによって実現することが可能である。

〔第三の実施例の動作の説明〕
次に、図１３のフローチャートを参照して本実施例の動作について説明する。

先ず、動き推定手段３１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段３１は、マッチング距離値Ｓ(α,β)及び時間的距離Δｔ(β)も出力する（ステップＳ３１）。

次いで、動き推定信頼性評価手段３２が、動き推定ベクトルｕ(α,β)，ｖ(α,β)に基づいて対応関係評価値ｐ(α,β)を算出すると共に、マッチング距離値Ｓ(α,β)に基づいて類似度評価値ｑ(α,β)を算出する（ステップＳ３２）。

その後、動き距離評価手段３３が、動き推定ベクトルｕ(α,β)に基づいて移動距離評価値ｒ(α,β)を算出し、時間的距離Δｔ(β)に基づいて時間的距離評価値ｓ(β)を算出する（ステップＳ３３）。

次いで、動き推定評価手段３４が、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)に対して、前出の式（９）に示す演算を行うことにより、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ３４）。

その後、合成重み算出手段３５が、動き推定結果である動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ３５）。

次いで、高解像度画像推定手段３６が、入力低解像度画像及び動き推定結果を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ３６）。

次に、基準画像拡大手段３７が、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ３７）。

そして、最後に、高解像度画像合成手段３８が、高解像度画像推定手段３６で推定された推定高解像度画像、基準画像拡大手段３７で拡大された拡大基準画像および合成重み算出手段３５で算出された合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ３８）。

〔第三の実施例の効果〕
本実施例によれば、第一の実施例と同様の効果を得ることができる。

〔第四の実施例〕
次に、本発明の第四の実施例について説明する。図１４は、本発明の第四の実施に係る画像高解像度化装置１ｃの構成例を示すブロック図である。図１４に示す画像高解像度化装置１ｃは、動き推定手段４１と、動き推定信頼性評価手段４２と、動き推定評価手段４３と、合成重み算出手段４４と、高解像度画像推定手段４５と、基準画像拡大手段４６と、高解像度画像合成手段４７とを備え、画像サイズＭの低解像度画像（画像数Ｎ）を入力として、画素数Ｋの高解像度画像を出力する。

動き推定手段４１は、第二の実施例における動き推定手段２１と同様に、低解像度画像を入力として、参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)と、マッチング距離値Ｓ(α,β)とを出力する。

動き推定信頼性評価手段４２は、第一の実施例の動き推定信頼性評価手段１２と同様に、その内部に対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、対応関係評価値ｐ(α,β)および類似度評価値ｑ(α,β)を出力する。

動き推定評価手段４３は、第二の実施例の動き推定評価手段２３と同様に、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を入力とし、動き推定評価値ρ(α,ｎ)を出力する。

合成重み算出手段４４は、第三の実施例の合成重み算出手段３５と同様に、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、高解像度画像推定手段４５で推定された高解像度画像と基準画像拡大手段４６で拡大した基準画像とを合成するための各画素の重みωを算出する。

高解像度画像推定手段４５は、第三の実施例の高解像度画像推定手段３６と同様に、入力低解像度画像と動き推定結果を参照し、高解像度画像x₁を推定する。

基準画像拡大手段４６は、第三の実施例の基準画像拡大手段３７と同様に、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像x₂を算出する。

高解像度画像合成手段４７は、第三の実施例の高解像度画像合成手段３８と同様に、高解像画像推定手段４５で推定された高解像度画像x₁と、基準画像拡大手段４６で算出された高解像度画像x₂と、合成重み算出手段４４で算出された合成重みωを参照し、出力高解像度画像xを算出する。

なお、本実施例の画像高解像度化装置１ｃも他の実施例の画像高解像度化装置と同様にコンピュータによって実現可能である。

〔第四の実施例の動作〕
次に、図１５のフローチャートを参照して本実施例の動作を説明する。

先ず、動き推定手段４１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段４１は、マッチング距離値Ｓ(α,β)も出力する（ステップＳ４１）。

次に、動き推定信頼性評価手段４２が、動き推定ベクトルｕ(α,β)，ｖ(α,β)及びマッチング距離値Ｓ(α,β)を参照し、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を算出する（ステップＳ４２）。

その後、動き推定評価手段４３が、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に対して前出の式（１２）に示す演算を行い、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ４３）。

次に、合成重み算出手段４４が、動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ４４）。

その後、高解像度画像推定手段４５が、入力低解像度画像及び動き推定結果である動き推定ベクトルｕ(α,β)を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ４５）。

次いで、基準画像拡大手段４６が、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ４６）。

そして、最後に、高解像度画像合成手段４７が、推定高解像度画像、拡大基準画像および合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ４７）。

〔第四の実施例の効果〕
本実施例によれば、第二の実施例と同様の効果を得ることができる。

〔第五の実施例〕
次に、本発明の第五の実施例について説明する。

図１６は、本発明の第五の実施例に係る画像高解像度化装置１ｄの構成例を示すブロック図である。図１６に示す画像高解像度化装置１ｄは、動き推定手段５１と、動き推定信頼性評価手段５２と、動き距離評価手段５３と、動き推定評価手段５４と、合成重み算出手段５５と、重み付け行列算出手段５６と、高解像度画像推定手段５７と、基準画像拡大手段５８と、高解像度画像合成手段５９とを備える。

動き推定手段５１は、第一の実施例における動き推定手段１１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力すると共に、マッチング距離値Ｓ(α,β)及び時間的距離Δｔ(β)を出力する。

動き推定信頼性評価手段５２は、第一の実施例の動き推定信頼性評価手段１２と同様に、対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を出力する。

動き距離評価手段５３は、第一の実施例の動き距離評価手段１３と同様に、移動距離評価手段（図示せず）及び時間的距離評価手段（図示せず）を備え、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)を出力する。

動き推定評価手段５４は、第一の実施例の動き推定評価手段１４と同様に、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)とを入力とし、動き推定評価値ρ(α,ｎ)を出力する。

合成重み算出手段５５は、第三の実施例の合成重み算出手段３５と同様に、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、推定された高解像度画像と拡大した基準画像とを合成するための各画素の重みωを算出する。

重み付け行列算出手段５６は、第一の実施例の重み付け行列算出手段１５と同様に、動き推定評価値を入力とし、重み付け行列Ｗ_ｎを算出する。

高解像度画像推定手段５７は、第一の実施例の高解像度画像推定手段１６と同様に、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)及び重み付け行列Ｗ_ｎを参照し、式（１０）または式（１１）を最小化する高解像度画像（推定高解像度画像）x₃を推定する。

基準画像拡大手段５８は、第三の実施例の基準画像拡大手段３７と同様に、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像x₂を算出する。

高解像度画像合成手段５９は、第三の実施例の高解像度画像造成手段３８と同様に、高解像画像推定手段５７で推定された高解像度画像x₃と、基準画像拡大手段５８で算出された高解像度画像x₂と、合成重み算出手段５５で算出された合成重みωを参照し、出力高解像度画像xを算出する。

なお、本実施例の画像高解像度化装置１ｄも他の実施例の画像高解像度化装置と同様に、コンピュータによって実現可能である。

〔第五の実施例の動作の説明〕
次に、本実施例の動作を図１７のフローチャートを参照して説明する。

先ず、動き推定手段５１が、入力低解像度画像を参照して動き推定を行い、動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段５１は、マッチング距離値Ｓ(α,β)及び時間的距離Δｔ(β)を出力する（ステップＳ５１）。

次いで、動き推定信頼性評価手段５２が、動き推定ベクトルｕ(α,β)，ｖ(α,β)に基づいて対応関係評価値ｐ(α,β)を算出し、マッチング距離値Ｓ(α,β)に基づいて類似度評価値ｑ(α,β)を算出する（ステップＳ５２）。

その後、動き距離評価手段５３が、動き推定ベクトルｕ(α,β)に基づいて移動距離評価値ｒ(α,β)を算出すると共に、時間的距離Δｔ(β)に基づいて時間的距離評価値ｓ(β)を算出する（ステップＳ５３）。

次に、動き推定評価手段５４が、対応関係評価値ｐ(α,β)、類似度評価値ｑ(α,β)、移動距離評価値ｒ(α,β)及び時間的距離評価値ｓ(β)に対して、前出の式（９）に示す演算を行うことにより、動き推定評価値ρ(α,ｎ)を算出する（ステップＳ５４）。

その後、合成重み算出手段５５が、動き推定結果である動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ５５）。

次いで、重み付け行列算出手段５６が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗ_ｎを算出する（ステップＳ５６）。

その後、高解像度画像推定手段５７が、入力低解像度画像及び動き推定結果である動き推定ベクトルｕ(α,β)を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ５７）。

次いで、基準画像拡大手段５８が、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ５８）。

そして、最後に、高解像度画像合成手段５９が、高解像度画像推定手段５７で推定された推定高解像度画像、基準画像拡大手段５８で拡大された拡大基準画像および合成重み算出手段５５で算出された合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ５９）。

〔第五の実施例の効果〕
本実施例によれば、第一の実施例と同様の効果を得ることができる。

〔第六の実施例〕
次に、本発明の第六の実施例について説明する。

図１８は、本発明の第六の実施例に係る画像高解像度化装置１ｅの構成例を示すブロック図である。図１８に示す画像高解像度化装置１ｅは、動き推定手段６１と、動き推定信頼性評価手段６２と、動き推定評価手段６３と、合成重み算出手段６４と、重み付け行列算出手段６５と、高解像度画像推定手段６６と、基準画像拡大手段６７と、高解像度画像合成手段６８とを備える。

動き推定手段６１は、第二の実施例における動き推定手段２１と同様に、低解像度画像を入力として参照画像と基準画像との間の動き推定結果として動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力すると共に、マッチング距離値Ｓ(α,β)を出力する。

動き推定信頼性評価手段６２は、第一の実施例の動き推定信頼性評価手段１２と同様に、対応関係評価手段（図示せず）と類似度評価手段（図示せず）とを備え、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を出力する。

動き推定評価手段６３は、第二の実施例の動き推定評価手段２３と同様に、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に対して前出の式（１２）に示す演算を行うことにより、動き推定評価値ρ(α,ｎ)を算出する。

合成重み算出手段６４は、第三の実施例の合成重み算出手段３５と同様に、動き推定結果である動き推定ベクトルｕ(α,β)および動き推定評価値ρ(α,ｎ)を参照し、推定された高解像度画像と拡大した基準画像とを合成するための各画素の重みωを算出する。

重み付け行列算出手段６５は、第一の実施例の重み付け行列算出手段１５と同様に、動き推定評価値ρ(α,ｎ)を入力とし、重み付け行列Ｗ_ｎを算出する。

高解像度画像推定手段６６は、第五の実施例の高解像度画像推定手段５７と同様に、入力低解像度画像、動き推定結果である動き推定ベクトルｕ(α,β)及び重み付け行列Ｗ_ｎを参照し、式（１０）または式（１１）を最小化する高解像度画像x₃を推定する。

基準画像拡大手段６７は、第三の実施例の基準画像拡大手段３７と同様に、入力低解像度画像のうち、高解像度化する基準画像Ｎｂを、Bi-Cubic法などの一般的な補間手法を用いて拡大することにより、高解像度画像x₂を算出する。

高解像度画像合成手段６８は、第五の実施例の高解像度画像合成手段５９と同様に、高解像画像推定手段６６で推定された高解像度画像x₃と、基準画像拡大手段６７で算出された高解像度画像x₂と、合成重み算出手段６４で算出された合成重みωを参照し、出力高解像度画像xを算出する。

なお、本実施例の画像高解像度化装置１ｅも他の実施例の画像高解像度化装置と同様に、コンピュータによって実現可能である。

〔第六の実施例の動作の説明〕
次に、図１９のフローチャートを参照して本実施例の動作について説明する。

先ず、動き推定手段６１が、入力低解像度画像を参照して動き推定を行い、動き推定結果として動き推定ベクトルｕ(α,β)，ｖ(α,β)を出力する。更に、動き推定手段６１は、マッチング距離値Ｓ(α,β)も出力する（ステップＳ６１）。

次に、動き推定信頼性評価手段６２が、動き推定結果である動き推定ベクトルｕ(α,β)，ｖ(α,β)およびマッチング距離値Ｓ(α,β)を参照し、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)を算出する（ステップＳ６２）。

その後、動き推定評価手段６３が、対応関係評価値ｐ(α,β)及び類似度評価値ｑ(α,β)に対して、式（１２）に示す演算を行うことにより動き推定評価値ρ(α,ｎ)を算出する（ステップＳ６３）。

次に、合成重み算出手段６４が、動き推定結果である動き推定ベクトルｕ(α,β)及び動き推定評価値ρ(α,ｎ)を参照し、推定高解像度画像と拡大基準画像を合成するための合成重みωを算出する（ステップＳ６４）。

その後、重み付け行列算出手段６５が、動き推定評価値ρ(α,ｎ)を参照し、重み付け行列Ｗ_ｎを算出する（ステップＳ６５）。

次いで、高解像度画像推定手段６６が、入力低解像度画像及び動き推定結果である動き推定ベクトルｕ(α,β)を参照し、前出の式（３）または式（４）を最小化する高解像度画像を推定する（ステップＳ６６）。

その後、基準画像拡大手段６７が、入力低解像度画像の内の、高解像度化する基準画像Ｎｂを参照し、基準画像Ｎｂを拡大した拡大基準画像を算出する（ステップＳ６７）。

そして、最後に、高解像度画像合成手段６８が、高解像度画像推定手段６６が推定した推定高解像度画像、基準画像拡大手段６７が算出した拡大基準画像および合成重み算出手段６４が算出した合成重みωを参照し、出力する高解像度画像を算出する（ステップＳ６８）。

〔第六の実施例の効果〕
本実施例によれば、第二の実施例と同様の効果を得ることができる。

以上本発明の実施例について説明したが、本発明は上記実施例に限定されず、その他各種の付加・変更・調整が可能である。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、上記実施例に対する更なる変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。

本発明は、複数枚の低解像度画像から高解像度画像を生成する画像高解像度化装置に適用することができる。入力画像としては静止画像だけでなく、動画像中の複数フレームにも適用することができるので、映像機器全般に適用することができる。

Claims (32)

1. 複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
   低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段と、
   該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
   前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段とを備えたことを特徴とする画像高解像度化装置。
2. 請求項１記載の画像高解像度化装置において、
   前記高解像度画像推定手段が、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することを特徴とする画像高解像度化装置。
3. 請求項１または２記載の画像高解像度化装置において、
   前記高解像度画像推定手段が、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することを特徴とする画像高解像度化装置。
4. 請求項１記載の画像高解像度化装置において、
   前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成することを特徴とする画像高解像度化装置。
5. 請求項１乃至４いずれか一に記載の画像高解像度化装置において、
   前記動き推定手段が、
   ２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力する構成を有し、
   前記動き推定信頼性評価手段が、
   前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えたことを特徴とする画像高解像度化装置。
6. 請求項５記載の画像高解像度化装置において、
   前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
   前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出する構成を有することを特徴とする画像高解像度化装置。
7. 請求項１乃至６いずれか一に記載の画像高解像度化装置において、
   前記動き推定信頼性評価手段が、
   前記動き推定手段が推定した前記画素の動きに対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えたことを特徴とする画像高解像度化装置。
8. 請求項１乃至７いずれか一に記載の画像高解像度化装置において、
   前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備え、且つ、
   前記高解像度画像推定手段が、
   前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
9. 請求項１乃至７いずれか一に記載の画像高解像度化装置において、
   前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備え、且つ、
   前記高解像度画像推定手段が、
   前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
10. 複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
    前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、 該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成し、第１の高解像度画像を生成する高解像度画像推定手段と、
    前記基準画像を拡大し、前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
    前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備えたことを特徴とする画像高解像度化装置。
11. 複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置において、
    前記複数枚の低解像度画像の中から１枚の基準画像を選択し、該選択した基準画像と残りの各参照画像との間の画素の動きを推定して動き推定結果を出力する動き推定手段と、 該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段と、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成して第１の高解像度画像を生成する際、各画素の重みを前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じたものにする高解像度画像推定手段と、
    前記基準画像を拡大して前記第１の高解像度画像と同一サイズの第２の高解像度画像を生成する基準画像拡大手段と、
    前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを前記動き推定信頼性評価値に応じた重みで合成する高解像度画像合成手段とを備えたことを特徴とする画像高解像度化装置。
12. 請求項１０または１１記載の画像高解像度化装置において、
    前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段を備え、且つ、
    前記高解像度画像合成手段が、
    前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
13. 請求項１０または１１記載の画像高解像度化装置において、
    前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段を備え、且つ、
    前記高解像度画像合成手段が、
    前記第１の高解像度画像の各画素と前記第２の高解像度画像の各画素とを合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する構成を有することを特徴とする画像高解像度化装置。
14. 複数枚の低解像度画像間の画素の動きを推定し、動き推定結果を利用して前記複数枚の低解像度画像を合成することにより高解像度画像を生成する画像高解像度化方法において、
    前記動き推定結果の信頼性に基づいて、前記複数枚の低解像度画像を合成する合成方法を変更することを特徴とする画像高解像度化方法。
15. 複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化方法において、
    低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定ステップと、 前記動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価ステップと、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定ステップとを含むことを特徴とする画像高解像度化方法。
16. 請求項１５記載の画像高解像度化方法において、
    前記高解像度画像推定ステップでは、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することを特徴とする画像高解像度化方法。
17. 請求項１５または１６記載の画像高解像度化方法において、
    前記高解像度画像推定ステップでは、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することを特徴とする画像高解像度化方法。
18. 請求項１５記載の画像高解像度化方法において、
    前記高解像度画像推定ステップでは、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値に応じた重みで合成することを特徴とする画像高解像度化方法。
19. 請求項１５乃至１８いずれか一に記載の画像高解像度化方法において、
    前記動き推定ステップでは、
    ２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力し、
    前記動き推定信頼性評価ステップでは、
    前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出することを特徴とする画像高解像度化方法。
20. 請求項１９記載の画像高解像度化方法において、
    前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
    前記動き推定信頼性評価ステップでは、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出することを特徴とする画像高解像度化方法。
21. 請求項１５乃至２０いずれか一に記載の画像高解像度化方法において、
    前記動き推定信頼性評価ステップでは、
    前記動き推定ステップで推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出することを特徴とする画像高解像度化方法。
22. 請求項１５乃至２１いずれか一に記載の画像高解像度化方法において、
    前記動き推定ステップで推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価ステップを含み、
    前記高解像度画像推定ステップでは、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記移動距離評価値とに応じた重みで合成することを特徴とする画像高解像度化方法。
23. 請求項１５乃至２１いずれか一に記載の画像高解像度化方法において、
    前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価ステップを含み、且つ、
    前記高解像度画像推定ステップでは、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価値と前記時間的距離評価値とに応じた重みで合成することを特徴とする画像高解像度化方法。
24. コンピュータを、複数枚の低解像度画像を合成して高解像度画像を生成する画像高解像度化装置として機能させるためのプログラムであって、
    前記コンピュータを、
    低解像度画像間の画素の動きを推定し、動き推定結果を出力する動き推定手段、
    該動き推定手段が出力した動き推定結果に対する信頼性を評価し、信頼性の度合いを示す動き推定信頼性評価値を出力する動き推定信頼性評価手段、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた合成方法で合成する高解像度画像推定手段として機能させるためのプログラム。
25. 請求項２４記載のプログラムにおいて、
    前記高解像度画像推定手段が、信頼性の低い画素は、影響が弱く或いは全く影響しないように高解像度画像を合成することを特徴とするプログラム。
26. 請求項２４または２５記載のプログラムにおいて、
    前記高解像度画像推定手段が、信頼性の高い画素は、影響が強く現れるように高解像度画像を合成することを特徴とするプログラム。
27. 請求項２４記載のプログラムにおいて、
    前記高解像度画像推定手段が、前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値に応じた重みで合成することを特徴とするプログラム。
28. 請求項２４乃至２７いずれか一に記載のプログラムにおいて、
    前記動き推定手段が、
    ２枚の低解像度画像の組み合わせにおいて、一方の低解像度画像上に存在する注目画素の、他方の低解像度画像への動きを推定して第１の動き推定結果として出力すると共に、前記他方の低解像度画像上に存在する、前記注目画素と対応する対応画素の、前記一方の低解像度画像への動きを推定して第２の動き推定結果として出力する構成を有し、
    前記動き推定信頼性評価手段が、
    前記第１の動き推定結果に対する動き推定信頼性評価値を、前記第１の動き推定結果と、前記第２の動き推定結果との対応関係に基づいて算出する対応関係評価手段を備えたことを特徴とするプログラム。
29. 請求項２８記載のプログラムにおいて、
    前記第１及び第２の動き推定結果が、動き推定ベクトルであり、且つ、
    前記対応関係評価手段が、前記第１の動き推定結果に対応する動き推定ベクトルと前記第２の動き推定結果に対応する動き推定ベクトルとの加算ベクトルの大きさに応じた動き推定信頼性評価値を算出する構成を有することを特徴とするプログラム。
30. 請求項２４乃至２９いずれか一に記載のプログラムにおいて、
    前記動き推定信頼性評価手段が、
    前記動き推定手段が推定した前記画素の動き推定結果に対する動き推定信頼性評価値を、前記画素と前記画素に対応する対応画素との輝度の類似度に基づいて算出する類似度評価手段を備えたことを特徴とするプログラム。
31. 請求項２４乃至３０いずれか一に記載のプログラムにおいて、
    前記コンピュータを、
    前記動き推定手段が推定した前記画素の動きの動き量に応じた移動距離評価値を算出する移動距離評価手段として機能させ、且つ、
    前記高解像度画像推定手段が、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記移動距離評価手段で算出された移動距離評価値とに応じた重みで合成する構成を有することを特徴とするプログラム。
32. 請求項２４乃至３０いずれか一に記載のプログラムにおいて、
    前記コンピュータを、
    前記複数枚の低解像度画像の撮影時刻の差分に応じた時間的距離評価値を算出する時間的距離評価手段として機能させ、且つ、
    前記高解像度画像推定手段が、
    前記複数枚の低解像度画像の各画素を、前記動き推定結果を利用して合成する際、前記動き推定信頼性評価手段から出力された動き推定信頼性評価値と前記時間的距離評価手段で算出された時間的距離評価値とに応じた重みで合成する構成を有することを特徴とするプログラム。

Images