JPWO2011018878A1 - 画像処理システム、画像処理方法および画像処理用プログラム - Google Patents

Abstract

幾何変換パラメータ算出手段は、前フレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、その幾何変換パラメータの信頼度を計算する。解像画像予測手段は、前フレームの超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する。超解像画像生成手段は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーション結果との差分を計算し、当該差分のアップサンプリング結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する。このとき、幾何変換パラメータの信頼度に基づいて重み付き平均を計算する。

Description

本発明は、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に、動画像を高画質化できる画像処理システム、画像処理方法および画像処理用プログラムに関する。

同じ被写体を撮影した複数枚の低解像画像から、より高い解像度をもつ高解像画像を生成する技術が種々提案されている（例えば、特許文献１参照）。この高解像画像は、超解像画像と呼ばれる。なお、低解像画像は、低解像度画像と呼ばれることもある。高解像画像は高解像度画像と呼ばれることもある。

近年では、静止画像だけでなく、動画像にも同技術を適用し、低解像の動画像から、より高い解像度の動画像を生成する動画超解像技術に対するニーズが高まっている。動画超解像技術は、例えば、ＳＤ（Standard Definition ）解像度で撮影された映像を、ＨＤ（High Definition ）解像度のテレビジョン受像機で表示するためのアップコンバートに利用される。

特許文献１には、位置ずれのある複数の低解像度画像から高解像度画像を生成する高解像度画像生成方法が記載されている。特許文献１に記載の方法では、複数の低解像度画像の各画素は、高解像度画像空間のある位置に対応付けられる。つまり、位置合わせの後では、複数の低解像度画像は、高解像度空間内で不等間隔にサンプリングされた画素であるとする。特許文献１に記載の方法では、この不等間隔にサンプリングされた画素位置（観測画素位置と称する）を高解像度画像の画素位置で近似する。このとき、ある高解像度画素位置に近似される観測画素位置は、複数あったり、あるいは、存在しなかったりすることも考えられる。特許文献１に記載の方法では、各高解像度画素位置に近似された複数の観測画素の平均画素値をそれぞれ計算することにより、１つの画像を生成する。特許文献１に記載の方法では、この画像を「平均画像」と称している。また、各高解像度画素位置に近似された観測画素も、同様に１つの画像となる。特許文献１では、この画像を「重み画像」と称している。特許文献１に記載の方法では、複数の低解像度画像と、位置合わせによって得られた低解像度画像の位置ずれ情報から、平均画像および重み画像を生成する。そして、生成された平均画像に含まれている未定義画素の画素値を推定することにより、高解像度画像を生成する。また、特許文献１に記載の方法では、低解像度画像が取得される毎に、平均画像および重み画像を更新し、逐次的に高解像度画像を生成する。

また、種々のシステム等の状態を推定する手法として、カルマンフィルタが知られている。カルマンフィルタは、例えば、非特許文献１に記載されている。非特許文献１に記載されたカルマンフィルタでは、ノイズｗ_ｔ，ｖ_ｔが以下に示す式（１）、式（２）で与えられる正規分布に従う場合に、状態の予測と更新を逐次的に繰り返すことにより、最小二乗解を計算する。

ｗ_ｔ〜Ｎ（０，Ｑ） 式（１）
ｖ_ｔ〜Ｎ（０，Ｒ） 式（２）

特開２００８−１０９３７５号公報（段落００２２−００３４）

Greg Welch, Gray Bishop, "An Introduction to the Kalman Filter," Technical Report TR 95-041, University of North Carolina, Department of Computer Science, 1995.

特許文献１に記載された方法では、低解像度画像の位置合わせに失敗した場合において、超解像画像の画質が低くなってしまうという問題があった。

そこで、本発明は、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。

本発明による画像処理システムは、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出手段と、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測手段と、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段とを備え、超解像画像生成手段は、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする。

また、本発明による画像処理方法は、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、幾何変換パラメータの信頼度を計算し、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成し、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成し、重み付き平均を計算する際に、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする。

また、本発明による画像処理用プログラムは、コンピュータに、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出処理、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測処理、および、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成処理を実行させ、超解像画像生成処理で、幾何変換パラメータの信頼度に基づいて重み付き平均を計算させることを特徴とする。

本発明によれば、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる。

本発明において入力される低解像画像と出力される超解像画像との関係を示す説明図である。 ぼかしの対象となる画像の例を示す説明図である。 図２に例示する画像を表す列ベクトルを示す説明図である。 ぼかしを表す行列Ｂの例を示す説明図である。 ダウンサンプリング後の画像の例を示す説明図である。 ダウンサンプリングを表す行列Ｄの例を示す説明図である。 本発明の第１の実施形態の画像処理システムの例を示すブロック図である。 第１の実施形態における処理経過の例を示すフローチャートである。 第１の実施形態における超解像画像の予測結果更新（ステップＳ５）の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の画像処理システムの例を示すブロック図である。 第２の実施形態における処理経過の例を示すフローチャートである。 第２の実施形態における超解像画像の予測結果更新（ステップＳ４４）の処理経過の例を示すフローチャートである。 本発明による画像処理システムの具体的な構成例を示すブロック図である。 本発明の最小構成を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明において、入力される低解像画像と出力される超解像画像との関係を示す説明図である。本発明の画像処理システムには、低解像画像のシーケンスが入力され、超解像処理によって得られた超解像画像のシーケンスを出力する。本発明の画像処理システムは、例えば、ＳＤ解像度の画像を入力され、ＨＤ解像度の画像を出力する。ただし、ＳＤ、ＨＤは解像度の例示であり、他の解像度の画像を入出力してもよい。また、以下の説明では、低解像画像をｙで表し、超解像画像をｘで表す。低解像画像ｙおよび超解像画像ｘは、画像中の画素値をラスタスキャン順に列ベクトルに格納したものである。また、低解像画像を表す符号ｙや、超解像画像を表す符号ｘには、フレームを表す添え字を付して表す。そして、処理対象とする現フレームをｔで表し、その１つ前のフレームをｔ−１で表す。

現フレームｔにおける超解像画像ｘ_ｔと、その１つ前のフレームｔ−１における超解像画像ｘ_ｔ−１との関係は、以下に示す式（３）で示すことができる。

ｘ_ｔ＝Ｍ_{ｔ，ｔ−１}ｘ_ｔ−１＋ｗ_ｔ 式（３）

式（３）において、Ｍ_{ｔ，ｔ−１}は、フレームｔ−１における超解像画像ｘ_ｔ−１から、フレームｔにおける超解像画像ｘ_ｔへの幾何変換を表す行列である。ｗ_ｔは、幾何変換に独立なノイズ（予測ノイズ）を表すベクトルである。

また、現フレームｔにおける低解像画像ｙ_ｔと超解像画像ｘ_ｔとの関係は、以下に示す式（４）で示すことができる。

ｙ_ｔ＝ＤＢｘ_ｔ＋ｖ_ｔ 式（４）

Ｂは、低解像画像ｙ_ｔ生成時におけるぼかしを表す行列である。Ｄは、低解像画像ｙ_ｔ生成時におけるダウンサンプリングを表す行列である。ｖ_ｔは、ノイズ（観測ノイズ）を表すベクトルである。

図２ないし図４を用いて、ぼかしの模擬の例を説明する。ぼかしは、画像内の画素毎に、画素値を、近傍の他の画素の画素値との平均値で置き換えることで模擬できる。図２は、ぼかしの対象となる画像の例を示し、図２では、５×５画素の画像を例示している。例えば、画素値ａ_２２の画素に着目した場合、その着目画素の画素値を、その画素値ａ_２２およびその近傍画素の画素値ａ_１１，ａ_１２，ａ_１３，ａ_２１，ａ_２３，ａ_３１，ａ_３２，ａ_３３の平均値で置き換える。また、例えば、画素値ａ_２３の画素に着目した場合、その着目画素の画素値を、その画素値ａ_２３およびその近傍画素の画素値ａ_１２，ａ_１３，ａ_１４，ａ_２２，ａ_２４，ａ_３２，ａ_３３，ａ_３４の平均値で置き換える。他の画素についても、同様に画素値の置換を行うことで、ぼかしを模擬できる。図３は、図２に例示する画像を表す列ベクトルである。図４は、ぼかしを表す行列Ｂの例である。ただし、図４では、行列Ｂの２行分の要素を示し、他の行の図示は省略している。図４において、具体的に示した２行のうち、最初の行を便宜的にｋ行目と称し、その次の行をｋ＋１行目と称することとする。

図２に示す画像は、図３に示す列ベクトルで表すことができる。従って、この列ベクトルに乗じる行列Ｂとして、図４に例示する行列を用いればよい。図４に示すｋ行目は、画素値ａ_２２の置換に用いる行列成分である。また、図４に示すｋ＋１行目は、画素値ａ_２３の置換に用いる行列成分である。なお、上述のように、図４では他の行を省略している。図４に示す行列Ｂの右側から、図３に示す列ベクトルを乗じれば、各画素の平均値を計算することができる。図４に示す行列Ｂの他の行の計算に関しても同様である。従って、ぼかしを示す行列Ｂは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行が画像中の各画素に対応していることである。第２の条件は、平均計算に用いる画素の個数をｎとしたときに、各行の個々の成分の値を、その成分に乗じられる画素値がその行に対応する画素およびその近傍の画素の画素値である場合には１／ｎとし、その乗じられる画素値がその行に対応する画素およびその近傍の画素以外の画素の画素値である場合には０とすることである。なお、この条件は一例であり、例えば、行列Ｂの各行の値を均等とするかわりに、正規分布に基づいて設定するなど、他の条件を満足するように行列Ｂを定めてもよい。

図５および図６を用いて、ダウンサンプリングの模擬の例を説明する。図５は、ダウンサンプリング後の画像の例を示す説明図である。図６は、ダウンサンプリングを表す行列Ｄの例である。ここでは、図２に例示する画像を、図５に例示する画像にダウンサンプリングする場合を例にして説明する。ダウンサンプリングでは、画像の画素値を間引けばよい。例えば、図６に示す行列Ｄに、図３に示す画像の列ベクトルを右側から乗じれば、画素値ａ_１１，ａ_１３，ａ_１５，ａ_３１，ａ_３３，ａ_３５，ａ_５１，ａ_５３，ａ_５５を含む画像（図５参照）を得ることができる。従って、ダウンサンプリングを示す行列Ｄは、例えば、以下の条件を満たすように定めておけばよい。第１の条件は、各行がダウンサンプリング後の画像の各画素と対応していることである。第２の条件は、各行の個々の成分の値を、その成分に乗じられる画素値がダウンサンプリング後も残す画素の画素値であれば１とし、間引く画素の画素値であれば０とすることである。なお、この条件は一例であり、他の条件を満足するように行列Ｄを定めてもよい。

式（３）および式（４）において、ｙ_ｔを「観測結果」、ｘ_ｔを「直接観測できない状態」と捉えると、式（３）および式（４）は、それぞれ状態観測モデルにおける状態方程式、観測方程式に該当すると言える。

本発明の画像処理システムは、既知のｘ_ｔ−１（すなわち前のフレームにおける超解像画像）から現フレームにおける超解像画像を予測する。また、本発明の画像処理システムは、現フレームにおける低解像画像ｙ_ｔを用いた演算を行い、その演算結果と、超解像画像の予測結果とで重み付き演算を行うことによって、超解像画像を生成する。具体的には、本発明の画像処理システムは、超解像画像の予測結果に対して、実世界中の被写体をカメラで撮影する際の撮像プロセスを模擬するシミュレーションを行うことにより低解像画像を生成する。そして、本発明の画像処理システムは、現フレームにおける低解像画像ｙ_ｔとシミュレーションで得た低解像画像との差分を計算し、その差分をアップサンプリングする。この演算結果と、超解像画像の予測結果との重み付き演算結果として、超解像画像を生成する。

以下の説明では、超解像画像の予測結果をｘ_ｐと表し、確定した超解像画像をｘ_ｒと表し、それぞれフレームを示す添え字を付して示す。例えば、現フレームｔの超解像画像の予測結果はｘ_ｐ，ｔと表し、現フレームｔで確定した超解像画像をｘ_ｒ，ｔと表す。また、例えば、１つ前のフレームにおいて確定した超解像画像をｘ_{ｒ，ｔ−１}と表す。各フレームにおけるｘ_ｐ，ｘ_ｒも、画像中の画素値をラスタスキャン順に並べた列ベクトルとして表現される。

超解像画像の予測結果ｘ_ｐ，ｔからシミュレーションにより低解像画像を得る場合、例えば、ｘ_ｐ，ｔに対して、ぼかしおよびダウンサンプリングに相当する変換を行えばよい。具体的には、ＤＢｘ_ｐ，ｔを計算することによって、予測結果ｘ_ｐ，ｔから模擬的に低解像画像を得ることができる。既に説明したように、Ｂはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。以下の説明では、このように行列Ｂ，Ｄを用いて超解像画像の予測結果ｘ_ｐ，ｔから低解像画像を計算する場合を例にする。ただし、行列Ｂ，Ｄを用いて低解像画像を得る方法は、シミュレーションの一例であり、被写体の撮像プロセスを表すシミュレーションであれば、他のシミュレーションによってｘ_ｐ，ｔから低解像画像を導出してもよい。

既に説明したように、式（３）および式（４）は、それぞれ状態観測モデルにおける状態方程式、観測方程式に該当すると言うことができる。そして、カルマンフィルタによれば、状態空間モデルで表現された問題において、前の時刻における状態と、現在の観測結果から、現在の時刻の状態を推定することができる。式（３）および式（４）で表される状態空間モデルにおける状態（超解像画像）を求めるために、カルマンフィルタを適用することができる。以下、本発明にカルマンフィルタを適用した場合を例にして説明する。

図７は、本発明の第１の実施形態の画像処理システムの例を示すブロック図である。第１の実施形態の画像処理システム２０は、幾何変換行列算出手段２１と、超解像画像予測手段２２と、超解像画像更新手段２３と、誤差パラメータ設定手段２４とを備える。

幾何変換行列算出手段２１は、１つ前のフレームにおける超解像画像から現フレームの超解像画像への幾何的な変形を表す変換行列を算出する。以下、この変換行列を幾何変換行列と呼び、Ｍ_{ｔ，ｔ−１}と記す。具体的は、Ｍ_{ｔ，ｔ−１}は、１つ前のフレームｔ−１における低解像画像ｙ_ｔ−１から現フレームｔにおける低解像画像ｙ_ｔへの幾何変形に相当する幾何変形を、超解像画像間で実現する変換行列である。例えば、低解像画像ｙ_ｔ−１から低解像画像ｙ_ｔへの幾何変形が５画素分の平行移動であったとする。また、低解像画像から超解像画像への拡大率がｓであるとする。この場合、Ｍ_{ｔ，ｔ−１}は、５ｓ画素分の平行移動を実現する変換行列となる。

さらに、幾何変換行列算出手段２１は、幾何変換行列Ｍ_{ｔ，ｔ−１}による予測の信頼度を計算する。すなわち、幾何変換行列Ｍ_{ｔ，ｔ−１}を用いて現フレームの超解像画像を予測したときにおける、その予測結果の信頼度を計算する。以下、この信頼度は、Ｍ_{ｔ，ｔ−１}による幾何変換の信頼度ということができ、以下、幾何変換信頼度と記す。

超解像画像予測手段２２は、幾何変換行列算出手段２１によって算出されたＭ_{ｔ，ｔ−１}を用いて、１つ前のフレームｔ−１で生成された超解像画像ｘ_{ｒ，ｔ−１}を変形させることによって、現フレームｔの超解像画像の予測ｘ_ｐ，ｔを生成する。さらに、超解像画像予測手段２２は、事前誤差行列を計算する。

事前誤差行列とは、現フレームの超解像画像ｘ_ｔに関する誤差であって、過去の観測の履歴（すなわち、ｙ_１，ｙ_２，・・・，ｙ_ｔ−１）から推定した誤差を表す行列である。以下、事前誤差行列をＰ_ｂと記し、さらに、その符号にフレームを表す添え字を付す。現フレームｔにおける事前誤差行列Ｐ_ｂ，ｔは、ｙ_１からｙ_ｔ−１までの各低解像画像から推定したｘ_ｔに関する誤差を表している。

超解像画像予測手段２２は、現フレームｔにおける事前誤差行列Ｐ_ｂ，ｔを、以下に示す式（５）により計算すればよい。

Ｐ_ｂ，ｔ＝Ｍ_{ｔ，ｔ−１}Ｐ_{ａ，ｔ−１}Ｍ_{ｔ，ｔ−１} ^Ｔ＋Ｑ 式（５）

式（５）において、Ｍ_{ｔ，ｔ−１} ^ＴはＭ_{ｔ，ｔ−１}の転置行列である。また、Ｑは、式（３）における予測ノイズｗ_ｔに関する正規分布を表す共分散行列である。共分散行列Ｑは、事前誤差行列Ｐ_ｂ，ｔを計算するためのパラメータであるということができる。共分散行列Ｑは、幾何変換信頼度に基づいて、誤差パラメータ設定手段２４によって定められる。

超解像画像更新手段２３は、超解像画像の予測結果ｘ_ｐ，ｔに対するシミュレーションを行い、現フレームｔの低解像画像を模擬的に算出する。さらに、超解像画像更新手段２３は、現フレームｔにおける低解像画像ｙ_ｔと、シミュレーションで得た低解像画像との差分を計算する。また、超解像画像更新手段２３は、カルマンゲインを計算し、計算した差分、カルマンゲイン、および超解像画像の予測結果ｘ_ｐ，ｔを用いて、差分とｘ_ｐ，ｔとの重み付き平均を計算する。この計算結果が、現フレームｔにおける超解像画像ｘ_ｒ，ｔである。そして、次のフレームｔ＋１に関する処理では、ｘ_ｒ，ｔは、超解像画像予測手段２２がフレームｔ＋１の超解像画像の予測ｘ_{ｐ，ｔ＋１}を生成する際に用いられる。また、超解像画像更新手段２３は、事後誤差行列を計算する。

事後誤差行列とは、現フレームの超解像画像ｘ_ｔに関する誤差であって、過去の観測の履歴（すなわち、ｙ_１，ｙ_２，・・・，ｙ_ｔ−１）および現フレームｔの低解像画像ｙ_ｔから推定した誤差を表す行列である。以下、事後誤差行列をＰ_ａと記し、さらに、その符号にフレームを表す添え字を付す。現フレームｔにおける事前誤差行列Ｐ_ａ，ｔは、ｙ_１からｙ_ｔまでの各低解像画像から推定したｘ_ｔに関する誤差を表している。また、その１つ前のフレームにおける事後誤差行列Ｐ_{ａ，ｔ−１}は、ｙ_１からｙ_ｔ−１までの各低解像画像から推定したｘ_ｔに関する誤差を表している。事後誤差行列の計算方法については、後述する。

超解像画像更新手段２３は、現フレームｔにおけるカルマンゲインをＫ_ｔとすると、以下に示す式（６）の計算を行うことによってカルマンゲインＫ_ｔを計算すればよい。

Ｋ_ｔ＝Ｐ_ｂ，ｔ ^Ｔ（ＤＢ）^Ｔ（ＤＢＰ_ｂ，ｔ ^Ｔ（ＤＢ）^Ｔ＋Ｒ）^−１ 式（６）

式（６）において、Ｐ_ｂ，ｔ ^ＴはＰ_ｂ，ｔの転置行列であり、同様に、（ＤＢ）^Ｔは（ＤＢ）の転置行列である。また、式（６）における“−１”は逆行列を表す。また、Ｒは、式（４）における観測ノイズｖ_ｔに関する正規分布を表す共分散行列である。共分散行列Ｒは、カルマンゲインＫ_ｔを計算するためのパラメータであるということができる。共分散行列Ｒは、幾何変換信頼度に基づいて、誤差パラメータ設定手段２４によって定められる。また、Ｂはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。

誤差パラメータ設定手段２４は、幾何変換行列算出手段２１によって算出された幾何変換信頼度に基づいて、予測ノイズｗ_ｔに関する正規分布を表す共分散行列Ｑ、および観測ノイズｖ_ｔに関する正規分布を表す共分散行列Ｒを設定する。換言すれば、誤差パラメータ設定手段２４は、事前誤差行列Ｐ_ｂ，ｔを計算する際に用いるパラメータＱと、カルマンゲインＫ_ｔを計算する際に用いるパラメータＲを、幾何変換信頼度に基づいて定める。

幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、コンピュータのプログラム記憶手段（図示略）に記憶された画像処理用プログラムをＣＰＵが読み込み、ＣＰＵがそのプログラムに従って、幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４として動作する。また、幾何変換行列算出手段２１、超解像画像予測手段２２、超解像画像更新手段２３および誤差パラメータ設定手段２４がそれぞれ別々の回路として実現されていてもよい。

次に、動作について説明する。
図８は、第１の実施形態における処理経過の例を示すフローチャートである。画像処理システム２０には、低解像の動画像をなす低解像画像が時間順に入力される。処理対象とする現フレームｔの低解像画像ｙ_ｔが入力されると、幾何変換行列算出手段２１は、幾何変換行列Ｍ_{ｔ，ｔ−１}を算出する（ステップＳ１）。

ステップＳ１では、幾何変換行列算出手段２１は、現フレームの１つ前のフレームの低解像画像ｙ_ｔ−１と、現フレームｔの低解像画像ｙ_ｔとを用いて、幾何変換行列Ｍ_{ｔ，ｔ−１}を算出する。このとき、幾何変換行列算出手段２１は、低解像画像ｙ_ｔ−１およびｙ_ｔを、超解像画像と同画素数の画像に拡大する。言い換えれば、低解像画像から超解像画像への拡大率で低解像画像ｙ_ｔ−１およびｙ_ｔを拡大する。この拡大処理は、例えば、バイリニア補間やバイキュービック補間によって行えばよい。低解像画像ｙ_ｔ−１を拡大した画像をＹ_ｔ−１とし、低解像画像ｙ_ｔを拡大した画像をＹ_ｔと記す。ここで、Ｙ_ｔ−１は、フレームｔ−１における超解像画像に近似し、Ｙ_ｔは、現フレームｔにおける超解像画像に近似しているとみなすことができ、幾何変換行列算出手段２１は、Ｙ_ｔ−１からＹ_ｔへの幾何的な変形を表す変換行列をＭ_{ｔ，ｔ−１}として算出する。

また、幾何変換行列算出手段２１は、Ｍ_{ｔ，ｔ−１}によってＹ_ｔ−１を変換した結果とＹ_ｔとの差が最小となるＭ_{ｔ，ｔ−１}を求めればよい。すなわち、幾何変換行列算出手段２１は、Ｍ_{ｔ，ｔ−１}を変更していき、以下に示す式（７）の値が最小となるときのＭ_{ｔ，ｔ−１}を特定すればよい。

この方法は、勾配法と呼ばれる。なお、ここで示したＭ_{ｔ，ｔ−１}の算出方法は例示であり、他の方法でＭ_{ｔ，ｔ−１}を計算してもよい。

続いて、幾何変換行列算出手段２１は、幾何変換信頼度を算出する（ステップＳ２）。幾何変換信頼度の算出方法の一例を示す。幾何変換行列算出手段２１は、Ｍ_{ｔ，ｔ−１}算出時に低解像画像から拡大した画像Ｙ_ｔ−１，Ｙ_ｔのうち、現フレームに対応する画像Ｙ_ｔを基準として、Ｙ_ｔ−１を幾何変換行列Ｍ_{ｔ，ｔ−１}で変換した結果と、基準画像Ｙ_ｔとの差が大きいほど、幾何変換信頼度が小さくなり、その差が小さいほど幾何変換信頼度が大きくなるように、幾何変換信頼度を定めればよい。例えば、Ｙ_ｔ−１を幾何変換行列Ｍ_{ｔ，ｔ−１}で変換した結果をＹ’とすると、幾何変換行列算出手段２１は、Ｙ’および基準画像Ｙ_ｔの対応する各画素同士に関して、画素値（輝度値）の差の絶対値を計算し、その絶対値の画像全体における平均値の逆数を算出し、その値を幾何変換信頼度とすればよい。なお、この幾何変換信頼度の算出方法は例示であり、幾何変換行列算出手段２１は、他の方法で幾何変換信頼度を算出してもよい。

幾何変換信頼度が算出された後、誤差パラメータ設定手段２４は、幾何変換信頼度に応じて、予測ノイズｗ_ｔに関する正規分布を表す共分散行列Ｑ、および観測ノイズｖ_ｔに関する正規分布を表す共分散行列Ｒを設定する（ステップＳ３）。

ステップＳ３では、誤差パラメータ設定手段２４は、幾何変換信頼度が大きくなるほど、Ｑの各成分の値が小さくなり、Ｒの各成分の値が大きくなるようにし、幾何変換信頼度が小さくなるほど、Ｑの各成分の値が大きくなり、Ｒの各成分の値が小さくなるように、共分散行列Ｑ，Ｒを設定する。ここで、Ｑの各成分とはＱの全ての成分を意味する。同様に、Ｒの各成分とはＲの全ての成分を意味する。

幾何変換信頼度に応じたＱ，Ｒの設定の一例を示す。以下、幾何変換信頼度をｒで表す。また、幾何変換信頼度ｒは０から１までの範囲の値となるように正規化されているものとする。幾何変換信頼度ｒの正規化は、例えば幾何変換行列算出手段２１が行ってもよい。あるいは、誤差パラメータ設定手段２４が行ってもよい。誤差パラメータ設定手段２４は、前のフレームで算出したＱに対して、以下に示す式（８）の計算を行うことによって、新たに共分散行列Ｑを導出する。すなわち、前のフレームで算出したＱに（１−ｒ）を乗じた結果を、新たなＱとする。

Ｑ←（１−ｒ）×Ｑ 式（８）

同様に、誤差パラメータ設定手段２４は、前のフレームで算出したＲに対して、以下に示す式（９）の計算を行うことによって、新たに共分散行列Ｒを導出する。すなわち、前のフレームで算出したＲにｒを乗じた結果を、新たなＲとする。

Ｒ←ｒ×Ｒ 式（９）

なお、最初に式（８）、式（９）の演算を行う場合のために、Ｑ，Ｒの初期値を予め定めておけばよい。そして、最初に式（８）、式（９）の演算を行う場合には、Ｑ，Ｒの初期値を用いればよい。

次に、超解像画像予測手段２２は、１つ前のフレームｔ−１で生成された超解像画像ｘ_{ｒ，ｔ−１}を、幾何変換行列Ｍ_{ｔ，ｔ−１}を用いて変形させることで、現フレームｔの超解像画像の予測ｘ_ｐ，ｔを生成する（ステップＳ４）。具体的には、超解像画像予測手段２２は、以下に示す式（１０）のように、超解像画像ｘ_{ｒ，ｔ−１}を表す列ベクトルを幾何変換行列Ｍ_{ｔ，ｔ−１}に右側から乗じる演算を行って、超解像画像の予測ｘ_ｐ，ｔを生成する。

ｘ_ｐ，ｔ＝Ｍ_{ｔ，ｔ−１}ｘ_{ｒ，ｔ−１} 式（１０）

また、超解像画像予測手段２２は、ステップＳ４でｘ_ｐ，ｔを生成する際に、事前誤差行列Ｐ_ｂ，ｔも合わせて計算する。超解像画像予測手段２２は、ステップＳ４で、現フレームｔにおける事前誤差行列Ｐ_ｂ，ｔを、前述の式（５）により計算すればよい。ただし、式（５）の計算でＰ_ｂ，ｔを算出する際に、超解像画像予測手段２２は、誤差パラメータ設定手段２４がステップＳ３で設定した共分散行列Ｑを用いてＰ_ｂ，ｔを算出する。

ステップＳ４の次に、超解像画像更新手段２３は、ステップＳ４で計算された超解像画像の予測結果ｘ_ｐ，ｔを更新することによって、現フレームにおける超解像画像ｘ_ｒ，ｔを計算する（ステップＳ５）。図９は、第１の実施形態における超解像画像の予測結果更新（ステップＳ５）の処理経過の例を示すフローチャートである。

ステップＳ５において、超解像画像更新手段２３は、まず、現フレームｔにおけるカルマンゲインＫ_ｔを計算する（ステップＳ３１）。超解像画像更新手段２３は、ステップＳ３１で、現フレームｔにおけるカルマンゲインＫ_ｔを、前述の式（６）の計算を行うことにより計算すればよい。ただし、式（６）の計算でＫ_ｔを算出する際に、超解像画像更新手段２３は、誤差パラメータ設定手段２４がステップＳ３で設定した共分散行列Ｒを用いてＫ_ｔを算出する。

また、式（６）で用いるＢはぼかしを表す行列であり、Ｄはダウンサンプリングを表す行列である。このＢ，Ｄは、後述のステップＳ３２で、超解像画像の予測結果に対するシミュレーションを行うときに用いる行列Ｂ，Ｄと同一の行列である。

ステップＳ３１の後、超解像画像更新手段２３は、ステップＳ４（図８参照）で計算された現フレームｔの超解像画像の予測結果ｘ_ｐ，ｔからシミュレーションによって、現フレームｔの低解像画像を生成する。そして、超解像画像更新手段２３は、実際に現フレームｔにおいて入力された低解像画像ｙ_ｔと、シミュレーションによってｘ_ｐ，ｔから生成した低解像画像との差分を計算する（ステップＳ３２）。本例では、超解像画像更新手段２３は、ぼかしを表す行列Ｂおよびダウンサンプリングを表す行列Ｄを用いたシミュレーションにより、低解像画像を、ＤＢｘ_ｐ，ｔの計算により求める。そして、ｙ_ｔとの差分を、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）の計算によって求めればよい。

次に、超解像画像更新手段２３は、現フレームｔの超解像画像の予測結果ｘ_ｐ，ｔと、ステップＳ３２で計算した差分（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）との重み付き平均を計算することによって、現フレームにおける超解像画像ｘ_ｒ，ｔを計算する（ステップＳ３３）。具体的には、超解像画像更新手段２３は、ステップＳ３１で計算したカルマンゲインＫ_ｔを用いて、以下の式（１１）に示す計算を行えばよい。

ｘ_ｒ，ｔ＝ｘ_ｐ，ｔ＋Ｋ_ｔ（ｙ_ｔ−ＤＢｘ_ｐ，ｔ） 式（１１）

式（１１）において、カルマンゲインＫ_ｔは、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）に対するアップサンプリングおよび重み付けを行う行列である。式（１１）で表される重み付き加算は、ｘ_ｐ，ｔと（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）との重み付き平均の計算の一態様である。

また、カルマンゲインＫ_ｔは、共分散行列Ｑ，Ｒを用いて計算されているので、幾何変換信頼度がカルマンゲインＫ_ｔに反映されている。

ステップＳ３３の後、超解像画像更新手段２３は、現フレームｔにおける事後誤差行列Ｐ_ａ，ｔを計算する（ステップＳ３４）。超解像画像更新手段２３は、以下に示す式（１２）の計算を行うことでＰ_ａ，ｔを算出すればよい。

Ｐ_ａ，ｔ＝（Ｉ−Ｋ_ｔＤＢ）Ｐ_ｂ，ｔ 式（１２）

式（１２）においてＩは単位行列である。

超解像画像更新手段２３は、現フレームｔで計算したｘ_ｒ，ｔおよびＰ_ａ，ｔを超解像画像予測手段２２に渡す。次のフレームｔ＋１のステップＳ４では、１つ前のフレームの超解像画像として、このｘ_ｒ，ｔを用いて処理を行う。また、次のフレームｔ＋１のステップＳ３３では、事前誤差行列Ｐ_{ｂ，ｔ＋１}を計算する場合に、このＰ_ａ，ｔを用いる。

画像処理システム２０は、ステップＳ１〜Ｓ５の処理を、各フレームの低解像画像が入力されるたびに行う。この結果、フレーム毎に超解像画像が得られる。そして、フレーム毎の超解像画像のシーケンスが超解像動画像となる。よって、画像処理システム２０によって、低解像の動画像から超解像動画像を生成することができる。画像処理システム２０は、フレーム順に超解像画像を出力する。

本実施形態によれば、幾何変換行列算出手段２１が、ステップＳ１で、低解像画像ｙ_ｔ−１およびｙ_ｔを超解像画像と同画素数の画像Ｙ_ｔ−１，Ｙ_ｔに拡大し、Ｙ_ｔ−１からＹ_ｔへの幾何的な変形を表す変換行列をＭ_{ｔ，ｔ−１}を算出し、さらに幾何変換信頼度を計算する。幾何変換信頼度の値が小さい場合は、変換の信頼度が低く、画像の位置合わせがうまくいっていないことを意味する。逆に、幾何変換信頼度の値が大きい場合は、変換の信頼度が高く、画像の位置合わせがうまくいっていることを意味する。本実施形態では、誤差パラメータ設定手段２４が、幾何変換信頼度に基づいて共分散行列Ｑ，Ｒを設定する。そして、超解像画像予測手段２２は、このＱを用いて事前誤差行列Ｐ_ｂ，ｔを計算し、超解像画像更新手段２３は、そのＰ_ｂ，ｔおよびＲを用いてカルマンゲインを計算する。さらに、超解像画像更新手段２３は、そのカルマンゲインを用いて現フレームにおける超解像画像ｘ_ｒ，ｔを計算する。従って、画像処理システム２０は、画像Ｙ_ｔ−１，Ｙ_ｔの位置合わせに失敗するような場合でも、その場合に応じたパラメータＱ，Ｒを設定して、超解像画像ｘ_ｒ，ｔを計算するので、超解像画像の画質低下を防止することができる。

すなわち、超解像画像更新手段２３が、フレーム毎に、重み付けを行うための行列としてカルマンゲインを計算するが、このカルマンゲインに、幾何変換信頼度が反映されている。この結果、フレーム毎に適切な重みが設定されるので、超解像画像の画質を向上させることができる。

より具体的に説明すると、画像処理システム２０は、幾何変換行列Ｍ_{ｔ，ｔ−１}を用いた超解像画像の予測の信頼性が低い場合には、現フレームｔに入力された低解像画像ｙ_ｔに関する重みを大きくすることができる。逆に、幾何変換行列Ｍ_{ｔ，ｔ−１}を用いた超解像画像の予測の信頼性が高い場合には、超解像画像の予測結果ｘ_ｐ，ｔに対する重みを大きくすることができる。その結果、幾何変換行列Ｍ_{ｔ，ｔ−１}による超解像画像の予測に失敗することがあっても、超解像画像が破綻することを防ぐことができる。

また、本発明では、超解像画像更新手段２３が、ステップＳ３２で計算した差分を用いて、ステップＳ３３で現フレームｔの超解像画像の予測結果を更新する。従って、超解像画像の精度を高めることができる。具体的には、超解像画像を縮小して低解像度化した場合に、元の低解像画像との差が小さい画像が得られる。このことは、生成した超解像画像の精度が高いことを意味する。

なお、画像シーケンスにおける第１のフレーム（最初のフレーム）には、その１つ前のフレームが存在しない。そこで、第１のフレームに関しては、第１のフレームの低解像画像を超解像画像の画素数と同じ画素数にアップサンプリングした画像を、超解像画像とみなし、図８に示す処理を第２のフレームから行ってもよい。この場合、第２のフレームに関して式（５）の計算を行う場合には、第１のフレームにおける事後誤差行列Ｐ_ａ，１が例えば単位行列であると仮定してよい。

また、第１のフレームの１つ前のフレームにおける低解像画像として、第１のフレームの低解像画像と同一の画像を用い、また、第１のフレームの低解像画像をアップサンプリングした画像を、第１のフレームの１つ前のフレームにおける超解像画像をみなして、第１のフレームから図８に示す処理を行ってもよい。この場合にも、第１のフレームの１つ前のフレームにおける事後誤差行列が例えば単位行列であると仮定すればよい。

また、シーンチェンジ直後のように、現フレームｔと、その前のフレームｔ−１とで画像が完全に異なる場合がある。この場合には、誤差パラメータ設定手段２４は、予測ノイズに関する共分散行列Ｑの成分を全て０とし、画像処理システム３０は現フレームｔの低解像画像だけから超解像画像を生成してもよい。この場合、超解像画像予測手段２２は、現フレームｔの低解像画像を拡大した画像を現フレームｔの超解像画像の予測とすればよい。他の動作は、上記の第１の実施形態と同様である。

シーンチェンジがあったか否かの判定は、幾何変換信頼度が予め定めた閾値以下となっているか否かにより判定すればよい。この閾値は、閾値以下の値が０と見なせる程度の小さな値として定めておけばよい。そして、例えば、誤差パラメータ設定手段２４が、幾何変換信頼度が閾値以下であるならば、シーンチェンジが生じたと判定し、幾何変換信頼度が閾値より大きければ、シーンチェンジは生じていないと判定すればよい。

また、シーンチェンジの他の判定方法として、以下の方法を採用してもよい。例えば、誤差パラメータ設定手段２４が、現フレームｔの低解像画像と、前のフレームｔ−１の低解像画像とで、対応する画素同士の差分の絶対値を画素毎に判定する。誤差パラメータ設定手段２４は、画像全体（全画素）について求めた差分の絶対値の総和が閾値以上であれば、シーンチェンジが生じたと判定し、差分の絶対の総和が閾値未満であればシーンチェンジが生じていないと判定してもよい。

なお、ここでは、誤差パラメータ設定手段２４がシーンチェンジの有無の判定を行う場合を例にしたが、他の構成要素がシーンチェンジの有無を判定してもよい。

また、現フレームｔがシーンチェンジ直後と判定された場合、処理の順序を過去のフレームから進めるのではなく、時間的に後のフレームから前のフレームに進めることで超解像画像を生成してもよい。すなわち、本発明の画像処理システムは、時間的に先のフレームｔ＋１の超解像画像からの幾何変換に基づいて、現フレームｔの超解像画像を予測し、その予測結果を、入力された低解像画像ｙ_ｔに基づいて更新して、現フレームｔの超解像画像を生成してもよい。

次に、第１の実施形態の変形例について説明する。
上記の説明では、式（３）および式（４）で表される状態空間モデルにおける状態（超解像画像）を求めるためにカルマンフィルタを適用する場合を示した。カルマンフィルタの代わりに他のフィルタを用いてもよい。例えば、以下に示す参考文献等に記載されたパーティクルフィルタを適用してもよい。

［参考文献］
M.Sanjeev Arulampalam, Simon Maskell, Neil Gordon, Tim Clapp, "A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking," IEEE Transactions on Signal Processing Vol.50, No.2, pp.174-188, 2002.

また、上記の例では、現フレームｔにおける低解像画像ｙ_ｔと、ｘ_ｐ，ｔからシミュレーションで求めた低解像画像ＤＢｘ_ｐ，ｔとの差分（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）に対して、アップサンプリングおよび重み付けを行うための行列（例えばカルマンゲインＫ_ｔ）を乗算する場合を説明した。アップサンプリングおよび重み付けを行うための行列は、カルマンゲインＫ_ｔ以外であってもよい。

実施形態２．
第１の実施形態では、カルマンゲインを用いた重み付け計算を行う場合を示した。第２の実施形態では、スカラである幾何変換信頼度を重み係数として用いて、式（１１）の代わりに、以下に示す式（１３）の計算を行うことによって、現フレームにおける超解像画像ｘ_ｒ，ｔを計算する。

ｘ_ｒ，ｔ＝ｒ×ｘ_ｐ，ｔ＋（１−ｒ）Ｕ（ｙ_ｔ−ＤＢｘ_ｐ，ｔ） 式（１３）

式（１３）において、ｒは、幾何変換信頼度である。ただし、幾何変換信頼度ｒは０から１までの範囲の値となるように正規化されているものとする。Ｕは、例えばバイリニア補間またはバイキュービック補間等により、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）を超解像画像と同画素数にアップサンプリングすることを表す行列である。

図１０は、本発明の第２の実施形態の画像処理システムの例を示すブロック図である。第２の実施形態の画像処理システム３０は、幾何変換行列算出手段２１と、超解像画像予測手段２２と、超解像画像更新手段３３とを備える。第１の実施形態と同様の構成要素については、図７と同一の符号を付し、詳細な説明を省略する。ただし、超解像画像予測手段２２は事前誤差行列を算出しない。また、本実施形態では、誤差パラメータ設定手段２４を備えず、幾何変換行列算出手段２１は、計算した幾何変換信頼度を超解像画像更新手段３３に入力する。

超解像画像更新手段３３は、超解像画像の予測結果ｘ_ｐ，ｔに対するシミュレーションを行い、現フレームｔの低解像画像を模擬的に算出する。さらに、超解像画像更新手段３３は、現フレームｔにおける低解像画像ｙ_ｔと、シミュレーションで得た低解像画像との差分を計算する。この処理は、第１の実施形態における超解像画像構成手段２３の処理と同様である。ただし、超解像画像更新手段３３は、計算した差分と、現フレームにおける超解像画像の予測結果ｘ_ｐ，ｔとの重み付き平均を計算して、現フレームｔにおける超解像画像ｘ_ｒ，ｔを計算する場合に、幾何変換信頼度ｒと、（１−ｒ）とをそれぞれ重み係数として、前述の式（１３）に示す重み付き平均の計算を行う。

従って、本実施形態では、超解像画像更新手段３３は、事後誤差行列およびカルマンゲインを算出しない。

幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３は、例えば、画像処理用プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、コンピュータのプログラム記憶手段（図示略）に記憶された画像処理用プログラムをＣＰＵが読み込み、ＣＰＵがそのプログラムに従って、幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３として動作する。また、幾何変換行列算出手段２１、超解像画像予測手段２２および超解像画像更新手段３３がそれぞれ別々の回路として実現されていてもよい。

次に、本実施形態の動作について説明する。図１１は、本実施形態の処理経過の例を示すフローチャートである。

画像処理システム３０には、低解像の動画像をなす低解像画像が時間順に入力される。処理対象とする現フレームｔの低解像画像が入力されると、幾何変換行列算出手段２１は、幾何変換行列Ｍ_{ｔ，ｔ−１}を算出する（ステップＳ４１）。ステップＳ４１の動作は、第１の実施形態のステップＳ１（図８参照）と同様である。例えば、幾何変換行列算出手段２１は、第１の実施形態と同様に、低解像画像ｙ_ｔ−１を拡大した画像Ｙ_ｔ−１を生成し、低解像画像ｙ_ｔを拡大した画像Ｙ_ｔを生成する。Ｙ_ｔ−１，Ｙ_ｔは、超解像画像と同画素数の画像である。そして、幾何変換行列算出手段２１は、前述の式（７）の値が最小となるときのＭ_{ｔ，ｔ−１}を特定してもよい。

次に、幾何変換行列算出手段２１は、幾何変換信頼度を算出する（ステップＳ４２）。ステップＳ４２の動作は、第１の実施形態のステップＳ２（図８参照）と同様である。すなわち、幾何変換行列算出手段２１は、Ｍ_{ｔ，ｔ−１}算出時に低解像画像から拡大した画像Ｙ_ｔ−１，Ｙ_ｔのうち、現フレームに対応する画像Ｙ_ｔを基準として、Ｙ_ｔ−１を幾何変換行列Ｍ_{ｔ，ｔ−１}で変換した結果と、基準画像Ｙ_ｔとの差が大きいほど、幾何変換信頼度が小さくなり、その差が小さいほど幾何変換信頼度が大きくなるように、幾何変換信頼度を定めればよい。ただし、幾何変換行列算出手段２１は、幾何変換信頼度ｒの値が０から１までの範囲の値となるように幾何変換信頼度ｒを正規化する。幾何変換行列算出手段２１は、計算した幾何変換信頼度を超解像画像更新手段３３に入力する。

次に、超解像画像予測手段２２は、１つ前のフレームｔ−１で生成された超解像画像ｘ_{ｒ，ｔ−１}を、幾何変換行列Ｍ_{ｔ，ｔ−１}を用いて変形させることで、現フレームｔの超解像画像の予測ｘ_ｐ，ｔを生成する（ステップＳ４３）。ステップＳ４３の動作は、ステップＳ４（図８参照）におけるｘ_ｐ，ｔ生成動作と同様である。すなわち、超解像画像予測手段２２は、前述の式（１０）の計算を行うことによって、現フレームｔの超解像画像の予測ｘ_ｐ，ｔを求めればよい。

ステップＳ４３の次に、超解像画像更新手段３３は、ステップＳ４３で計算された超解像画像の予測結果ｘ_ｐ，ｔを更新することによって、現フレームにおける超解像画像ｘ_ｒ，ｔを計算する（ステップＳ４４）。この動作の態様は、上述の第１の実施形態と異なる。図１２は、第２の実施形態における超解像画像の予測結果更新（ステップＳ４４）の処理経過の例を示すフローチャートである。

第２の実施形態では、ステップＳ４４において、超解像画像更新手段３３は、ステップＳ４３で計算された現フレームｔの超解像画像の予測結果ｘ_ｐ，ｔからシミュレーションによって、現フレームｔの低解像画像を生成する。そして、超解像画像更新手段３３は、実際に現フレームｔにおいて入力された低解像画像ｙ_ｔと、シミュレーションによってｘ_ｐ，ｔから生成した低解像画像との差分を計算する（ステップＳ５１）。ステップＳ５１の処理は、第１の実施形態におけるステップＳ３２（図９参照）と同様である。例えば、超解像画像更新手段３３は、ぼかしを表す行列Ｂおよびダウンサンプリングを表す行列Ｄを用いたシミュレーションにより、低解像画像を、ＤＢｘ_ｐ，ｔの計算により求める。そして、ｙ_ｔとの差分を、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）の計算によって求めればよい。

次に、超解像画像更新手段３３は、現フレームｔの超解像画像の予測結果ｘ_ｐ，ｔと、ステップＳ５１で計算した差分（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）との重み付き平均を計算する（ステップＳ５２）。具体的には、超解像画像更新手段３３は、幾何変換行列算出手段２１に入力された幾何変換信頼度ｒをｘ_ｐ，ｔ側の重み係数とし、（１−ｒ）を、差分（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）側の重み係数とする。ただし、ｘ_ｐ，ｔ側と、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）とは、画素数が異なっているので、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）にＵ（アップサンプリングを表す行列）を乗じ、その結果に（１−ｒ）を乗じる。超解像画像更新手段３３は、このように重み係数ｒ、（１−ｒ）を用いて、前述の式（１３）の計算を行う。

図１２に示すように、超解像画像更新手段３３は、ステップＳ５１〜Ｓ５４のループ処理を行う。ステップＳ５２の次には、超解像画像更新手段３３は、このループ処理を終了するか否かを判定する（ステップＳ５３）。例えば、超解像画像更新手段３３は、直前のステップＳ５２で求めたｘ_ｒ，ｔと、前回のステップＳ５２で求めたｘ_ｒ，ｔとの差が閾値以下になったならば、ｘ_ｒ，ｔが収束したとみなし、ループ処理を終了すると判定すればよい。また、直前のステップＳ５２で求めたｘ_ｒ，ｔと、前回のステップＳ５２で求めたｘ_ｒ，ｔとの差が閾値より大きければ、ｘ_ｒ，ｔが収束していないとみなして、ループ処理を続行すると判定すればよい。

ループ処理を続行する場合（ステップＳ５３のＮ）、超解像画像更新手段３３は、超解像画像の予測結果ｘ_ｐ，ｔを、直前のステップＳ５２で求めたｘ_ｒ，ｔに更新する（ステップＳ５４）。そして、超解像画像更新手段３３は、その新たな超解像画像の予測ｘ_ｐ，ｔを用いて、ステップＳ５１以降のループ処理を繰り返す。

ループ処理を終了すると判定した場合（ステップＳ５３のＹ）、超解像画像更新手段３３は、直前のステップＳ５２で計算されたｘ_ｒ，ｔを現フレームｔの超解像画像として出力する。

なお、ステップＳ５３の終了判定は、他の方法で行ってもよい。例えば、ステップＳ５１〜Ｓ５４のループ処理の実行回数を予め定めておき、ｘ_ｒ，ｔを計算する処理（ステップＳ５２）の実施回数が所定回数に達したならば、超解像画像更新手段３３は、ループ処理を終了すると判定してもよい。

第２の実施形態においても、第１の実施形態と同様の効果が得られ、精度の高い超解像画像を生成することができる。すなわち、幾何変換信頼度ｒが低い場合には、Ｕ（ｙ_ｔ−ＤＢｘ_ｐ，ｔ）の重みを高くするように調整することで、ｘ_ｒ，ｔの精度低下を防止することができる。

なお、カルマンフィルタを適用した第１の実施形態と、第２の実施形態とを比較すると、カルマンフィルタを適用した場合の方が、ループ処理を繰り返す必要がなく、演算時間を短縮できる。よって、第１の実施形態のようにカルマンフィルタを適用して処理を行うことが好ましい。

図１３は、本発明による画像処理システムの具体的な構成例を示す。コンピュータ４０には、低解像画像の動画として、フレーム毎の低解像画像が順次入力される画像入力手段４１が設けられる。同様に、コンピュータ４０には、超解像画像の動画として、フレーム毎の超解像画像を順次出力する画像出力手段４２が設けられる。さらに、コンピュータ４０は、画像処理用プログラムを記憶する記憶媒体４３を備える。記憶媒体４３は、例えば、磁気ディスク、半導体メモリ等の記憶装置によって実現されるが、記憶媒体４３の態様は特に限定されない。記憶媒体４３は、コンピュータに着脱可能な記憶媒体であってもよい。コンピュータ４０のＣＰＵ（図示略）は、記憶媒体４３から画像処理用プログラムを読み込み、そのプログラムに従って、例えば、第１の実施形態の画像処理システム２０（図７参照）、または、第２の実施形態の画像処理システム３０（図１０参照）として、動作する。

次に、本発明の最小構成について説明する。図１４は、本発明の最小構成を示すブロック図である。本発明の画像処理システムは、幾何変換パラメータ算出手段５１と、超解像画像予測手段５２と、超解像画像生成手段５３とを備える。

幾何変換パラメータ算出手段５１（例えば、幾何変換行列算出手段２１）は、前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータ（例えば、幾何変換行列Ｍ_{ｔ，ｔ−１}）を算出し、当該幾何変換パラメータの信頼度（例えば、幾何変換信頼度）を計算する。

解像画像予測手段５２（例えば、超解像画像予測手段２２）は、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する。

超解像画像生成手段５３（例えば、超解像画像更新手段２３，３３）は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する。そして、超解像画像生成手段５３は、重み付き平均を計算する際に、幾何変換パラメータの信頼度に基づいて重み付き平均を計算する。

そのような構成によれば、動画の高解像度化を行う場合において、画像の位置合わせが失敗することによって高解像画像の画質低下が生じるという問題を解決することができる。

また、上記の実施形態には、以下の（１）〜（５）に示す構成の画像処理システムが開示されている。

（１）前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータ（例えば、幾何変換行列Ｍ_{ｔ，ｔ−１}）を算出し、幾何変換パラメータの信頼度（例えば、幾何変換信頼度）を計算する幾何変換パラメータ算出手段（例えば、幾何変換行列算出手段２１）と、前のフレームに生成された超解像画像を幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測（例えば、ｘ_ｐ，ｔ）を生成する超解像画像予測手段（例えば、超解像画像予測手段２２）と、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像（例えば、ｙ_ｔ）と、シミュレーションで計算した低解像画像（例えば、ＤＢｘ_ｐ，ｔ）との差分を計算し、当該差分（例えば、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ））を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段（例えば、超解像画像更新手段２３，３３）とを備え、超解像画像生成手段が、幾何変換パラメータの信頼度に基づいて重み付き平均を計算することを特徴とする画像処理システム。

（２）超解像画像生成手段（例えば、第１の実施形態における超解像画像更新手段２３）が、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像（例えば、ｙ_ｔ）と、シミュレーションで計算した低解像画像（例えば、ＤＢｘ_ｐ，ｔ）との差分を計算し、カルマンフィルタを適用することによって、当該差分（例えば、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ））を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする画像処理システム。

（３）前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズ（例えば、ｗ_ｔ）を表す第１の誤差パラメータ（例えば、共分散行列Ｑ）と、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズ（例えば、ｖ_ｔ）を表す第２の誤差パラメータ（例えば、共分散行列Ｒ）とを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定手段（例えば、誤差パラメータ設定手段２４）を備え、超解像画像生成手段が、第１の誤差パラメータと第２の誤差パラメータとに基づくカルマンゲイン（例えば、Ｋ_ｔ）を計算し、カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分（例えば、（ｙ_ｔ−ＤＢｘ_ｐ，ｔ））を乗じ、現フレームの超解像画像の予測結果に加算することで、差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する画像処理システム。

（４）超解像画像生成手段（例えば、第２の実施形態における超解像画像更新手段３３）が、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する画像処理システム。

（５）超解像画像生成手段が、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセス（例えば、ぼかしおよびダウンサンプリング）を表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する画像処理システム。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年８月１３日に出願された日本特許出願２００９−１８７７６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、低解像画像の動画を高解像画像の動画に変換する画像処理システムに好適に適用できる。例えば、ＮＴＳＣ（National Television System Committee）方式のビデオカメラで撮影された動画像を録画する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら保存する画像処理システムに適用できる。また、ＮＴＳＣ方式で録画されたビデオ信号を再生機で再生する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら表示機器に出力する画像処理システムにも適用可能である。また、ハイビジョン対応のテレビジョン受像機でＮＴＳＣ方式の映像を受信し、表示する際に、ハイビジョンと同等の画質やハイビジョンと同等の解像度にリアルタイムに変換しながら表示するテレビジョン受像機にも適用可能である。

２１ 幾何変換行列算出手段
２２ 超解像画像予測手段
２３，３３ 超解像画像更新手段
２４ 誤差パラメータ設定手段

Claims (15)

1. 前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出手段と、
   前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測手段と、
   現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成手段とを備え、
   超解像画像生成手段は、前記幾何変換パラメータの信頼度に基づいて前記重み付き平均を計算する
   ことを特徴とする画像処理システム。
2. 超解像画像生成手段は、現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする
   請求項１に記載の画像処理システム。
3. 前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定手段を備え、
   超解像画像生成手段は、
   前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算し、カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する
   請求項２に記載の画像処理システム。
4. 超解像画像生成手段は、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する
   請求項１に記載の画像処理システム。
5. 超解像画像生成手段は、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する
   請求項１から請求項４のうちのいずれか１項に記載の画像処理システム。
6. 前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、
   当該幾何変換パラメータの信頼度を計算し、
   前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成し、
   現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成し、
   前記重み付き平均を計算する際に、前記幾何変換パラメータの信頼度に基づいて重み付き平均を計算する
   ことを特徴とする画像処理方法。
7. 現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とする
   請求項６に記載の画像処理方法。
8. 前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定し、
   前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算し、
   カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算する
   請求項７に記載の画像処理方法。
9. 幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算する
   請求項６に記載の画像処理方法。
10. 現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出する
    請求項６から請求項９のうちのいずれか１項に記載の画像処理方法。
11. コンピュータに、
    前のフレームから現フレームへの画像の幾何変換を表す幾何変換パラメータを算出し、当該幾何変換パラメータの信頼度を計算する幾何変換パラメータ算出処理、
    前のフレームに生成された超解像画像を前記幾何変換パラメータに基づいて変形することで現フレームの超解像画像の予測を生成する超解像画像予測処理、および、
    現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算することによって、現フレームの超解像画像を生成する超解像画像生成処理を実行させ、
    前記超解像画像生成処理で、前記幾何変換パラメータの信頼度に基づいて前記重み付き平均を計算させる
    ための画像処理用プログラム。
12. コンピュータに、
    超解像画像生成処理で、
    現フレームの超解像画像の予測結果から現フレームの低解像画像をシミュレーションにより計算し、現フレームの入力画像である低解像画像と、シミュレーションで計算した低解像画像との差分を計算し、カルマンフィルタを適用することによって、当該差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算し、当該重み付き平均の計算結果を現フレームの超解像画像とさせる
    請求項１１に記載の画像処理用プログラム。
13. コンピュータに、
    前のフレームの超解像画像に基づいて現フレームの超解像画像を表す場合におけるノイズを表す第１の誤差パラメータと、現フレームの超解像画像に基づいて現フレームの低解像画像を表す場合におけるノイズを表す第２の誤差パラメータとを、幾何変換パラメータの信頼度に基づいて設定する誤差パラメータ設定処理を実行させ、
    超解像画像生成処理で、
    前記第１の誤差パラメータと前記第２の誤差パラメータとに基づくカルマンゲインを計算させ、
    カルマンゲインに、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分を乗じ、現フレームの超解像画像の予測結果に加算することで、前記差分を超解像画像と同画素数にアップサンプリングした結果と、現フレームの超解像画像の予測結果との重み付き平均を計算させる
    請求項１２に記載の画像処理用プログラム。
14. コンピュータに、
    超解像画像生成処理で、幾何変換パラメータの信頼度をｒとしたときに、ｒを現フレームの超解像画像の予測結果の重み係数とし、１−ｒを、現フレームの入力画像である低解像画像とシミュレーションで計算した低解像画像との差分のアップサンプリング結果の重み係数として重み付き平均を計算させる
    請求項１１に記載の画像処理用プログラム。
15. コンピュータに、
    超解像画像生成処理で、現フレームの超解像画像の予測結果に対して、被写体の撮像プロセスを表すシミュレーション計算を行うことにより、現フレームの低解像画像を算出させる
    請求項１１から請求項１４のうちのいずれか１項に記載の画像処理用プログラム。

Images