JP4932900B2 - ロバストな超解像度ビデオスケーリング方法及び装置 - Google Patents

Description

本発明は、概してビデオ画像の処理に関し、更に具体的にはスケーリングによってビデオシーケンスの形式を変換する技術に関するものである。ビデオ形式の多重度には、入力されるビデオの形式を表示装置が要求する又は送信のために必要な形式に適合させることが要求される。インターレース方式のビデオにおいて、フィールドとも称される各連続的な画像は、偶数及び奇数行を時間内に二者択一的に呈する。ＮＴＳＣ、ＰＡＬ及びＳＥＣＡＭテレビ形式等の標準画質テレビ（ＳＤＴＶ）は、インターレース方式である。ブラウン管（ＣＲＴ）等のインターレース方式のモニターは、偶数及び奇数行をインターレーススキャンすることによって、これらのフィールドを表示するように設計されている。プログレッシブ方式のビデオ画像の形式は、各画像に全ての行（偶数及び奇数）を組み入れている。ＬＣＤビデオモニターは、プログレッシブ方式のビデオを表示するように設計されている。従って入力されるインターレース方式のビデオは、プログレッシブ方式のビデオを出力するために、インターレース方式のビデオシーケンスの各フィールドにおいて欠けている奇数及び偶数行をそれぞれ計算するデインターレース処理を行う必要がある。７２０行のプログレッシブ形式７２０ｐ、あるいは１０８０行のインターレース形式１０８０ｉを用いる、幾つかのハイビジョンテレビ形式もまた適用されている。ＳＤＴＶビデオ形式をＨＤＴＶビデオ形式に変換するには、通常デインターレース処理を行い、例えばＮＴＳＣの４８６行を７２０ｐＨＤＴＶの７２０行に変更するなど、行数を変更する必要がある。

デインターレース及びビデオシーケンスの行数の変更は、インターレース方式のサンプリンググリッド上に定義された入力ビデオを出力サンプリンググリッド上に定義された出力ビデオへ変換するスケーリング操作である。デインターレースとは、出力サンプリンググリッドが偶数及び奇数行の両方を含んでいるスケーリング方法である。行数の更なる修正により、出力サンプリンググリッドが更に修正される。ビデオのスケーリングには、異なる入力サンプリンググリッド上に定義された入力ビデオのピクセル値から、所定の出力サンプリンググリッド上のピクセル値を算定することが必要である。

第１の方法は、時間ｔにおける入力ビデオ画像から時間ｔにおける各出力ビデオ画像をＦＩＲフィルタリングを用いて算定し、入力サンプル値から出力グリッド上のサンプルを算定する空間補間を行う方法である。入力画像がインターレースされると、シャノンのサンプリング・レートを大きく下回ってサンプルが抽出され、これにより得られたビデオに補間によるアーチファクトがはっきりと現われる。指向性の補間によって部分的にこれらのアーチファクトを削減することができるが完全ではなく、これは、補間を行うのに必要な情報が入手できないためである。入力画像がプログレッシブ方式である場合、サンプリング密度の増加によってぼやけた画像も生成される。米国特許第６６１４４８９号明細書にはこの方法の実施例が記載されている。

「運動適応」と称される第２の方法では、画像において運動が局所的に検出されない場合に時間補間が行われ、大きな運動が検出された場合に空間補間が行われる。大きな運動が存在すると、これらの技術では空間補間が行われるため、空間補間技術と同様に同じタイプのアーチファクトが生じる。米国特許第５４２８３９８号明細書には、この方法の実施例が記載されている。

「運動補正」と称される第３の方法では、画像内での移動が測定され、測定された運動を考慮に入れた時間内補間が実施される。時間内の幾つかの画像の情報を組み合わせることにより、上記方法は、スケーリング処理後の画像の空間解像度を向上させ、より細部まで復元させることができる。これは超解像度処理と呼ばれる。ただし、現存する運動補正の技術は不安定であり、目に見えるアーチファクトが生じてしまう。実際、特にインターレースされたアンダーサンプリング画像の画像画素の移動を正確に計算するのは難しい。閉鎖による運動の不継続又は例えばほこりによって生じた細かい運動、あるいは運動透明視により、これらの運動ベクトルを時間補間に用いる場合に、運動推定に誤差が生じ、アーチファクトをもたらす。これらのアーチファクトを低減するために、運動補正スケーリング方法においては、測定された運動が信頼に足るものでない場合、空間補間が行われる。したがって運動のアーチファクトは、空間スケーリングによってもたらされるアーチファクトが生じる代わりに削減される。米国特許第６９４０５５７号明細書には、この方法の実施例が記載されている。

最先端のビデオスケーリング方法のうちで、高品質の超解像度スケーリングを行うために、入力ビデオシーケンスによって供給される時空間情報をフルに活用するものは一つもない。従って、本発明の目的は、少なくとも幾つかの上述した欠点を未然に防ぐあるいは軽減させて、ビデオシーケンスをスケーリング手法で変換することである。

本発明の主な目的は、デインターレース処理を含む、入力ビデオのロバストな超解像度スケーリング処理を行う方法及び手段を考案することである。

本発明による方法は、時空間入力グリッド上に定義された入力画像でビデオ信号を処理する。この方法では、所定の時空間出力グリッド上にビデオが出力される。入力グリッドにはない出力グリッドのポイントである新しいポイントの新しい時空間グリッド上で計算が行われる。

本発明は、所定の一群のパラメータ化された補間器を適用し、この補間器は、新しいグリッドの新しいポイントそれぞれの時空間近傍の入力ビデオ値のパラメータ化された重み付け平均化を実行し、各新しいポイントにおいてパラメータ化された補間値を出力する新しい線形演算子である。運動を推定し推定された運動に従って空間又は時間補間のいずれかに決定し補間値を算定する運動適応又は運動補正技術とは対照的に、本発明においては、運動の推定を必要としないため、このような運動の推定によって一般に発生する誤差が軽減される。補間値を最適化するために運動を推定する代わりに、全ての見込まれる補間器が算定され、負の対数尤度により定義される損失値を最小化する、最適な補間器がロバストな最大尤度技術で選択される。

各新しいポイントにおいて、本方法は、時空間近傍における入力ビデオ値を前提として、新しいポイント値の条件付確率分布を推定する。上記近傍における入手可能なデータ量が限られており、ビデオ値のばらつきが大きいため、区間鈍感型確率分布を用いてロバストな結果を得る。新しいポイントそれぞれに対して、この新しいポイントの時空間的近傍における入力画像値から１つの区間が推定され、これにより、この新しいポイントの出力画像値の確率密度が、この値の区間内において最大値を有するように推定される。

各新しいポイントに対して、本発明は、前記新しいポイントに関連する値の区間内において一定及び最大である第２の確率分布に基づく鈍感型損失値を各パラメータ化された補間値に対して算定する。第２の確率分布は、本明細書において「区間−鈍感型」とも称される。この鈍感型損失値は、前記新しいポイントに関連する値の区間から定義される区間−鈍感型確率分布に対する前記補間値の負の対数尤度を表す。

各パラメータ化された補間器に対して、各新しいポイントの空間近傍における加重和に合わせて正規化するために鈍感型損失値が空間的に選別され、この正規化された損失値は最小損失値選択工程で入力される。

前記新しいグリッドの各新しいポイントに対して、本発明はこの新しいポイントにおける全てのパラメータ化された補間値のうちで、正規化された損失値を最小化する最適なパラメータ化された補間値を選択する。次に、出力グリッドの各出力ポイントにおける値が、この出力ポイントが入力グリッド内にある場合に入力ビデオ値と等しいか、あるいはこの出力ポイントが新しいポイントである場合にこの出力ポイントにおける最適なパラメータ化された補間値に等しいかのいずれかであるビデオが出力される。

本発明においては、各新しいポイントごとに鈍感型区間を、新しいポイントの時空間近傍を複数の近傍に分割するロバスト工程によって推定することができる。各小近傍に対して、部分的鈍感型区間が、この小近傍の入力画像値を仕分けすることによって得られる特定の階数の２つの値から推定され、単一の鈍感型区間が、この複数の部分的鈍感型区間を組み合わせることにより得られる。

本発明においては、区間−鈍感型確率分布は、鈍感型区間の外側に指数関数的減衰を有するバプニック区間鈍感型確率分布であり得る。

本発明による方法は、総変動増分による鈍感型損失値のペナリゼーションを更に含むことができる。このペナリゼーションにより、選択された最適な補間値によりもたらされた振動を制御する。各パラメータ化された補間器及び各新しいポイントに対して、本方法は、新しいポイントの一次元近傍において、パラメータ化された補間器によって計算される入力画像値及び補間値の集約から得られる、総変動増分の算定を含むこともできる。この一次元近傍は選択により水平又は垂直にすることができる。各パラメータ化された補間器に対して、この総変動増分は各新しいポイントの空間近傍の加重和を用いて空間的に選別され、この正規化された総変動増分が最小損失値選択工程の入力に加えられる。各新しいポイントに対して、正規化された鈍感型損失値を前記新しいポイントにおける正規化された総変動増分によってペナライズすることができ、これにより、選択された最適なパラメータ化された指向性補間によりこのペナライズされた正規化鈍感型損失値が新しいポイントにおける全てのパラメータ化された補間値のうちで最小化される。

本発明においては、パラメータ化された補間器は、入力グリッドのパラメータ化された時空方向に沿って線形補間値を算定する、パラメータ化された指向性補間器であり得る。

本発明による方法は、指向性マッチングエラーによる鈍感型損失値のペナリゼーションを更に含み得る。ペナライズされた指向性補間器に対しては、このペナリゼーションによって、選択された最適な補間値の時空方向における入力画像値の変動が確実に小さくなる。パラメータ化された時空方向に沿ったパラメータ化された指向性補間器のそれぞれと各新しいポイントに対して、時空方向に沿って新しいポイントに合わせて配向されている補間入力ビデオ値間の差から指向性マッチングエラーが算定される。パラメータ化された指向性補間器のそれぞれに対して、各新しいポイントの空間近傍における加重和を用いて指向性マッチングエラーが選別され、この正規化されたマッチングエラーが最小損失値の選択工程の入力に加えられる。各新しいポイントに対して、正規化された鈍感型損失値が正規化されたマッチングエラーによってペナライズされ、この新しいポイントにおけるパラメータ化された補間値全てのうちでこのペナライズされた正規化鈍感型損失値を最小化する最適なパラメータ化された指向性補間値が選択される。各新しいポイントに対して、正規化された鈍感型損失値は、この新しいポイントにおける正規化された総変動増分及び正規化されたマッチングエラーの両方によってもペナライズすることができ、これにより最適なパラメータ化された指向性補間値が選択される。

本発明の方法は、特にプログレッシブ方式のビデオを出力するためにインターレースされる入力ビデオに適用される。上記デインターレース処理に対しては、本発明による方法は、入力画像を「テレシネフィルム方式」又は「インターレース方式のビデオ」に分類するステップと、入力画像が「前の」入力画像又は「次の」入力画像のどちらに最も類似しているかを特定するステップとを更に含み得る。次に、各新しいポイントにおける最適なパラメータ化された指向性補間値の選択が変更され、画像の種類によって、この新しいポイントにおけるぺナライズされた正規化鈍感型損失値を最小化するか、あるいはこの新しいポイントの位置における「次の」又は「前の」画像値の複写であるかのいずれかとなる。

本発明の別態様は、時空間入力グリッドのポイントにおけるそれぞれの入力画像値を有する入力ビデオ信号を処理し、前記入力グリッドのポイント及び新しいポイントを包含する時空間出力グリッドのポイントにおけるそれぞれの出力画像値を有する出力ビデオ信号を送信するためのデジタルビデオスケーリング方法に関する。該方法は、前記新しいポイントそれぞれに対して下記のステップを含む。所定の一群のパラメータ化された線形補間器を、前記新しいポイントのそれぞれの時空近傍の入力画像値に適用し、一群の各補間器に対して前記新しいポイントの補間値を供給する。一群の各補間器に対して、前記新しいポイントの一次元空間近傍において前記補間器によって計算される入力画像値及び補間値の集約から得られる総変動増分を算定する。一群の各補間器に対して、前記新しいポイントの空間近傍での総変動増分を空間的に選別する。選別された総変動増分に応じて最小化基準を満たす前記一群の補間器を選択し、選択された補間器の補間値が前記新しいポイントの出力画像値としてみなされる。上記最小化基準は通常、選別された総変動増分を、上述したような区間−鈍感型確率分布から生成され選別された損失値で有利に構成される別のコスト又は損失値と組み合わせている。しかし、他のコスト又は損失関数も、本発明の代替実施形態において使用することができる。

本発明は更に、テレビの画面上に画像を表示するテレビジョン方式を備え、このテレビジョン方式が、入力ビデオ信号を受信する手段、上に開示した方法に従って入力ビデオ信号を処理する手段と、該処理する手段によって生成された出力ビデオ信号を表示する手段とを備える。

本発明は更に、上に開示した方法を実行するように構成された算定手段を備える、ビデオスケーリング装置を含む。

本発明は更に、コンピュータプログラム製品がコンピュータ処理装置内で実行される場合に、上に開示した方法を実行するための命令を備える、コンピュータプログラム製品を含む。

本発明とともに、本発明の前述及び他の目的、本発明の様々な特徴は、添付の図とともに下記の説明を読むことにより更に十分に理解できる。

図１に、本発明を例示する第１の装置を示す。該装置は、時空間入力グリッドG上に定義された２Ｄ画像のビデオ信号を処理する。ｔが整数パラメータである各時間インデックスｔに対し、時空間入力グリッドGは、Ｒ^３における座標がｘ（ｎ_１，ｎ_２，ｔ）＝ｎ_１τ_１＋αｎ_２τ_２＋ｔτ_３＋τ_４（ｔ）であるポイントのグリッドであり、この座標において、τ_１＝（１，０，０）及びτ_２＝（０，１，０）が正規化された水平及び垂直の空間ベクトル、τ_３＝（０，０，１）が時間ベクトル、τ_４（ｔ）がビデオがインターレース方式であるかプログレッシブ方式であるかによって変わる空間シフトである。入力ビデオがインターレース方式である場合、入力ビデオは２つの時刻ｔ及びｔ＋１における２つのフィールドから成り、時刻ｔについては、第１のフィールドにも偶数行が含まれ、第２のフィールドには奇数行が含まれる。この場合、入力グリッドはＲ^３においてα＝２及びｔが偶数の場合はτ_４（ｔ）＝（０，０，０）、ｔが奇数の場合はτ_４（ｔ）＝（０，１，０）で定義される。入力ビデオがプログレッシブ方式の場合、入力グリッドはＲ^３においてα＝１及び全てのｔに対してτ_４（ｔ）＝（０，０，０）で定義される。各入力グリッドポイントｘ（ｎ_１，ｎ_２，ｔ）に対し入力ビデオの画像値はｖ（ｎ_１，ｎ_２，ｔ）となる。例えば、ＰＡＬ基準によれば、整数ｎ_１、ｎ_２はそれぞれ１から７２０まで、及び１から２８８までの範囲にあり、αは２に等しく、ｔの一単位に相当する時間増分は２０ミリ秒である。

画像値は一般に多成分の値である。例えば、ＹＣｂＣｒの色空間において、各グリッドポイントは輝度を特定するＹ成分、及び共に色を特定する２つの彩度成分ＣｂとＣｒを有する。本明細書においては、処理工程を単一成分において説明しているため、画像値ｖ（ｎ_１，ｎ_２，ｔ）は単一成分の値全てを特定するのに使用される。しかし、幾つかの代替方法では、全ての成分を同時に処理することが可能であり、下記に更に説明する。

図１の超解像度システムでは、時空間出力グリッドＧ^{^}上に定義された２Ｄ画像のビデオストリームが出力される。各時刻ｔにおいて、出力グリッドＧ^{^}はポイントｘ（ｎ_１，ｎ_２，ｔ）＝α_１ｎ_１τ_１＋α_２αｎ_２τ_２＋ｔτ_３＋τ_５（ｔ）の均一な空間グリッドであり、ここでｎ_１，ｎ_２及びｔは整数、（α_１，α_２）は１より大きい又は小さい入力グリッドに対する空間スケーリングパラメータ、τ_５（ｔ）は空間シフトである。出力グリッドがインターレース方式のグリッドの場合、ｔが偶数である場合はτ_５（ｔ）＝（０，０，０）であり、ｔが奇数である場合はτ_５（ｔ）＝（０，１，０）である。出力グリッドがプログレッシブ方式のグリッドである場合、全てのｔにおいてτ_５（ｔ）＝（０，０，０）である。次に、ｎ＝（ｎ_１，ｎ_２）となる。各出力グリッドポイントｘ^{^}（ｎ，ｔ）に対して、出力ビデオは値ｖ^{^}（ｎ，ｔ）によって特定される。入力グリッドがインターレース方式であり、出力グリッドがプログレッシブ方式である場合、スケーリングシステムはデインターレースシステムといわれる。α_１＝α_２＝１が成り立つ場合、尺度単位のデインターレースシステムといわれる。例えば、７２０ｐＨＤＴＶ基準では、整数ｎ_１、ｎ_２はそれぞれ１から１２８０まで及び１から７２０までの範囲にある。入力ビデオがＰＡＬ基準に基づく場合、パラメータはα_１＝５７６／７２０、α_２＝７２０／１２８０である。

各時間ｔにおいて、超解像度スケーリングシステムは、画像ｖ（ｎ，ｔ＋ｄ）の入力を取り込み、通常１から５の間である遅延ｄの遅れで画像ｖ^{^}（ｎ，ｔ）を出力する。新しいグリッドＧ^~は、Ｇに属さない出力グリッドＧ^{^}の全てのポイント一式として定義される。新しいポイントとは、新しいグリッドのポイントである。

ｖ^{^}（ｎ，ｔ）の計算は最大尤度法で行われる。推測的に定義される一群の補間器により、各新しいポイントの一群の画像値が得られる。未知の新しいポイント値の条件付確率分布は、各新しいポイントの近傍で得られた入力画像値から推定される。

装置には、入力ビデオの入力を取り込み、マルチパラメータγで指標付けされた一群の線形補間器｛Ｅ_γ｝_γ∈Γを所定のパラメータ一式Γに適用するパラメータ化された補間モジュール（１０１）が含まれる。モジュール（１０１）は、各新しいグリッドポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~において、一群の補間値｛ｖ^{^} _γ（ｎ，ｔ）｝_γ∈Γを出力する。線形補間器Ｅ_γは、ｘ^{^}（ｎ，ｔ）∈Ｇ^~のｖ_γ（ｎ，ｔ）を│ｓ│≦ｄである入力画像値ｖ^{^}（ｎ’，ｔ−ｓ）のパラメータ化された加重平均で算定する：

二次元補間カーネルＫ_γ（ｘ）は有限サポートを有するため、和（１）はｘ（ｎ’，ｔ−ｓ）がｘ^{^}（ｎ，ｔ）に十分近い有限項数で評価される。全ての最先端の補間器を本発明において使用することができる。指向性時空補間器の例示実施形態を後に説明する。補間は、異なる方向に沿って、分離可能な一次元線形補間によって実行される。ｆ（ｐ）の値からのｕにおけるある一次元線形補間値は、ＦＩＲ線形フィルタリングによって計算可能である：

ここで、補間カーネルＫは〔−Δ，Δ〕に含まれるサポートを有し、全てのｕ∈〔０，１〕に対してΣ^Δ _ｐ＝−ΔＫ（ｕ−ｐ）＝１が満たされる。通常△は１から８の間である。

鈍感型対数尤度
各新しいポイントｘ^{^}（ｎ，ｔ）における最適な補間値の選択は、近傍の入力ビデオ値ｖ（ｐ，ｔ）から計算される負の対数尤度を最小化することによって有利に行われる。近傍の入力画像値が既知である新しいポイントの画像値の条件付確率分布は、鈍感型区間を用いて推定され、鈍感型区間内では、この区間内の確率分布値の判別を可能にするデータが欠けるため、この確率分布が最大限及び一定になるように推定される。ポイントｘと区間Ｉ＝〔ａ，ｂ〕との間の距離は、下記のように表される：

区間鈍感型確率分布ｐ_Ｉ（ｕ）は、Ｉ＝〔ａ，ｂ〕及び∈＝ｂ−ａに対して下記のように定義される：

ここで、定数∈全てに対してｆ（０，∈）＝１が成り立ち、ｆ（ｕ，∈）はｕの単調減少関数であり、ηが∫ｐ_Ｉ（ｕ）ｄｘ＝１が成り立つように調整される。ｆ（ｕ，∈）には何を選択してもよい。バプニックロバスト区間鈍感型確率分布は下記のように定義される：

これは、ｆ（∈，ｕ）＝ｅｘｐ（−ｕ）に対応する。ｆ（∈，ｕ）＝ｅｘｐ（−ｕ／∈）を選択することもまた可能である。

本装置は、各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対して、鈍感型区間Ｉ（ｎ，ｔ）＝〔ａ（ｎ，ｔ），ｂ（ｎ，ｔ）〕を算定する鈍感型区間推定モジュール（１０２）を有し、鈍感型区間Ｉ（ｎ，ｔ）＝〔ａ（ｎ，ｔ），ｂ（ｎ，ｔ）〕内にはｘ（ｎ，ｔ）の出力画像値が位置する可能性が高いが、この中には異なる値の確率を判別する重要な情報が含まれていない。区間Ｉ（ｎ，ｔ）は、ｘ（ｎ’，ｔ’）が特定の近傍ｘ^{^}（ｎ，ｔ）のＮ（ｎ，ｔ）にある入力画像値ｖ（ｎ’，ｔ’）から計算される。Ｃ（ｎ，ｔ）を、この近傍のポイント数と仮定する。例示の実施形態においては、近傍ｘ^{^}（ｎ，ｔ）のＮ（ｎ，ｔ）は、｜ｔ−ｔ’｜≦ｄである入力グリッドポイント一式、ｘ（ｎ’，ｔ’）として定義され、ここでｘ（ｎ’，ｔ’）の空間座標は、ｘ^{^}（ｎ，ｔ）の空間座標の中央にある幅２Δを有する空間的正方形にあり、ここでΔは所定のパラメータである。通常Δは１から５の間である。

例示の実施形態では、鈍感型区間は平均値ｍ（ｎ，ｔ）及び近傍の全てのポイントの標準偏差σ（ｎ，ｔ）から算定される：

モジュール（１０２）は、Ｉ（ｎ，ｔ）＝〔ｍ（ｎ，ｔ）−βσ（ｎ，ｔ），ｍ（ｎ，ｔ）＋βσ（ｎ，ｔ）〕を設定し、ここでβは通常３よりも小さい定数である。別の実施形態では、モジュール（１０２）はＮ（ｎ，ｔ）のポイントの順位化された統計値から鈍感型区間を推定する。ｖ_ｋ≧ｖ_ｋ＋１である場合のＮ（ｎ，ｔ）の順位化された値Ｃ（ｎ，ｔ）を｛ｖ_ｋ｝_{１≦ｋ≦Ｃ（ｎ，ｔ）}で示す。ｐをｐ＜Ｃ（ｎ，ｔ）／２となる正の整数とする。Ｃ（ｎ，ｔ）が偶数の場合、ｋ_１＝Ｃ（ｎ，ｔ）／２−ｐ＋１及びｋ_２＝Ｃ（ｎ，ｔ）／２＋ｐであり、Ｃ（ｎ，ｔ）が奇数の場合、ｋ_１＝（Ｃ（ｎ，ｔ）＋１）／２−ｐ及びｋ_２＝（Ｃ（ｎ，ｔ）＋１）／２＋ｐである。順位化された統計値である鈍感型区間Ｉ（ｎ，ｔ）＝〔ａ（ｎ，ｔ），ｂ（ｎ，ｔ）〕は、ａ（ｎ，ｔ）＝ｖ_ｋ１及びｂ（ｎ，ｔ）＝ｖ_ｋ２によって定義される。通常ｐは１から３の間である。

更に別の例示実施形態では、鈍感型区間の推定はＮ（ｎ，ｔ）を複数の互いに素であるサブセットＮ（ｎ，ｔ）＝Ｕ^ｋ _ｉ＝１Ｎ_ｉ（ｎ，ｔ）に分割することによって行われる。鈍感型区間Ｉ_ｉ（ｎ，ｔ）は、平均値及び標準偏差手法又は順位化統計手法等の全ての手法を用いて、各Ｎ_ｉ（ｎ，ｔ）から計算される。これらの鈍感型区間は次に組み合わされて、単一の鈍感型区間を形成する。例示の実施形態では、Ｎ（ｎ，ｔ）はｔ’＝ｔに対する全てのポイントｘ（ｎ’，ｔ’）∈Ｎ（ｎ，ｔ）の一集団Ｎ_１（ｎ，ｔ）に、及びｔ’≠ｔに対する全てのポイントｘ（ｎ’，ｔ’）∈Ｎ（ｎ，ｔ）の一集団Ｎ_２（ｎ，ｔ）に分離される。２つの鈍感型区間Ｉ_１（ｎ，ｔ）及びＩ_２（ｎ，ｔ）が非空交差を有する場合、最終的な鈍感型区間Ｉ（ｎ，ｔ）はこの交差として定義され、そうでない場合、区間Ｉ（ｎ，ｔ）は２つの区間の結合として設定できる。

本装置は更に、各補間器Ｅ_γ及び各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対して、Ｉ（ｎ，ｔ）＝〔ａ（ｎ，ｔ），ｂ（ｎ，ｔ）〕に関して計算された区間鈍感型確率分布に対するｖ^{^} _γ（ｎ，ｔ）の負の対数尤度を出力する、鈍感型損失値計算モジュール（１０３）を含む。この目的は、負の対数尤度から追加の定数を除去できるように、この損失値を最小化することである。（２）の結果、この損失値は∈（ｎ，ｔ）＝ｂ（ｎ，ｔ）−ａ（ｎ，ｔ）に対して、下記のように表される：

バプニックロバスト区間鈍感型確率分布（３）に対しては、この損失値は下記のように表される：

空間正規化モジュール（１０４）は、各γ∈Γに対して及び各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~において計算された鈍感型損失値ｌ_γ（ｎ，ｔ）の入力を取り込み、空間低域フィルタリングを行って、空間近傍Ｎ^~ _１（ｎ，ｔ）上の正規化された損失値をこの近傍上の加重和を生成することによって算定する。例示の実施形態においては、Ｎ^~ _１（ｎ，ｔ）は、新しいグリッドポイントの固定番号Ｃ_１を含むｘ^{^}（ｎ，ｔ）に中心がある長方形であり、全ての加重は１に設定される。正規化は従って、通常１６から２５６の間である、これらのＣ_１ポイント上の和として計算される：

この和を評価するのに、最先端の全ての高速アルゴリズムを使用することが可能である。別の例示実施形態では、この和は、Ｎ^~ _１（ｎ，ｔ）の全ての加重の和が全ての新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対して変わらない定数に等しい加重和に置き換えられる。

図１に示す装置は、各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~及び全てのγ∈Γに対する入力値ｌ^{^} _γ（ｎ，ｔ）を取り込み、全ての補間器上の損失値ｌ^{^} _γ（ｎ，ｔ）を最小化する最適な補間器のパラメータφ（ｎ，ｔ）∈Γを求める最小損失値選択モジュール（１０５）を有する：

損失値選択モジュール（１０５）は、各新しいポイントに対する最小損失補間値ｖ^{^} _{φ（ｎ，ｔ）}（ｎ，ｔ）を出力する。

入力／新しいグリッド集約モジュール（１０６）は、各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~及び入力ビデオ値ｖ（ｐ，ｔ）の最小損失補間値ｖ^{^} _{φ（ｎ，ｔ）}（ｎ，ｔ）の入力を取り込み、出力グリッドＧ^{^}上に定義される超解像度ビデオを出力する。各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対し、集約モジュール（１０６）は、最小損失補間値ｖ^{^}（ｎ，ｔ）＝ｖ^{^} _{φ（ｎ，ｔ）}（ｎ，ｔ）を出力する。入力グリッドｘ^{^}（ｎ，ｔ）＝ｘ（ｐ，ｔ）∈Ｇ内の各出力ポイントに対して、集約モジュール（１０６）は、対応する入力ビデオ値ｖ^{^}（ｎ，ｔ）＝ｖ（ｐ，ｔ）を出力する。

上述した図１の例示実施形態の詳細説明により、同業者には様々な代替物、変更物、及び同等物が明らかとなる。例えば、メモリー要求を削減するための、モジュール（１０１）、（１０２）、（１０３）、（１０４）及び（１０５）での計算による空間位置特定を有効利用する全ての最先端の最適化及び計算の順序付けは、本発明の構想から外れることなく同じ機能を実行する。

上述した装置は、ビデオ画像の単一成分を処理する。多成分画像に対しては、全ての成分を個々に処理することができる。本発明に含まれる別の可能性としては、全ての成分を同時に処理して、モジュール（１０３）の鈍感型損失値を各成分に対して得られる鈍感型損失値の加重和として定義し、これにより全ての所定の新しいグリッドポイントの全ての成分に対して同じ最適な補間器Ｅ_γを選択することである。

総変動ペナリゼーション
本発明による方法は更に、鈍感型損失値を総変動増分によってペナライズすることを含む。このペナリゼーションを行うことにより、選択された最適な補間によりもたらされた振動が制御される。

図２に本発明による別の装置を示す。この実施形態においては、パラメータ化された補間値を選択するのに用いた損失関数が、総変動増分によってペナライズされる。図２のモジュール（２０１）、（２０２）、（２０３）及び（２０４）は、それぞれ図１のモジュール（１０１）、（１０２）、（１０３）及び（１０４）と同一である。図２のモジュール（２０８）は図１のモジュール（１０６）とも同一である。

図２に示す装置は、各補間器Ｅ_γに対して補間された新しいポイント値のグリッドを各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~の近傍で入力ビデオ値のグリッドに挿入することにより得られる総変動増分を算定する総変動増分モジュール（２０５）を備えている。好ましい実施形態においては、近傍は一次元であり、水平又は垂直のいずれかになるように選択される。デインターレースシステムでは、この近傍はデインターレース処理の結果得られる垂直方向の総画像変動増分を制御するために垂直になるように選択される。垂直の一次元近傍が選択された例示の実施形態を下に説明する。同じ手法は画像の行と列の役割を交換することにより、水平の近傍に対して適用される。

ｘ^{^}（ｎ，ｔ）∈Ｇ^~の垂直の一次元近傍は、ｘ^{^}（ｎ，ｔ）の中央に位置するサイズＬの垂直セグメントである。Ｌの値は、通常１から１５の間のパラメータである。最上部から最下部まで、ｘ^{^}（ｎ，ｔ）の垂直近傍にあるＧ^~の新しいポイントの垂直座標を｛ｈ^{^} _ｌ｝_ｌで示し、Ｅ_γを用いて計算される対応する補間値を｛ｖ^{^} _ｌ｝_ｌで示す。図４に入力ポイントｘ（ｐ，ｔ）の位置を十字、新しいポイントｘ^{^}（ｎ，ｔ）を黒い丸、他の新しいポイントｘ^{^}（ｎ’，ｔ）を白い丸、そして一次元の垂直近傍を垂直の破線セグメントで示す。この垂直セグメントを交差する各入力画像行に対して、入力画像値が画像行に沿った一次元の補間操作によって交差位置で計算される。最上部から最下部まで、これらの交差位置の垂直座標を｛ｈ_ｋ｝_ｋで示し、対応する入力画像値を｛ｖ_ｋ｝_ｋで示す。これらの補間ポイントの位置を、図４において三角形で示す。入力グリッドがインターレース方式のグリッドであり、出力グリッドがスケーリングファクタがα_１＝α_２＝１であるプログレッシブ方式のグリッドである場合、図５に示すように、新しいポイントは入力ポイントと同じ列上にあり、値ｖ_ｋは入力ビデオ値に対応する。

垂直座標ｈ^{^} _ｌの垂直近傍の各新しいポイントに対して、ｈ_ｋ＞ｈ_ｌ≧ｈ_ｋ＋１である座標ｈ_ｋ及びｈ_ｋ＋１の２つの連続する入力画像ポイントが存在するか、あるいはこのポイントが垂直セグメントの最下部又は最上部のポイントに対応するかのいずれかである。第１の条件が満たされる場合、ｖ_ｋ及びｖ_ｋ＋１の間にｖ^{^} _ｌを挿入することによって得られる総変動増分は、｜ｖ^{^} _ｌ−Ｉ_ｋ｜で表されるｖ^{^} _ｌ及び区間Ｉ_ｋ＝〔ｍｉｎ（ｖ_ｋ，ｖ_ｋ＋１），ｍａｘ（ｖ_ｋ，ｖ_ｋ＋１）〕の間の距離に等しい。この距離は、２つの入力画像ポイント値の間に位置する垂直近傍で各新しいポイントに対して計算される。

逆に、垂直座標ｈ_ｋの垂直近傍の各入力ポイントに対しては、ｈ^{^} _ｌ’>ｈ_ｋ≧ｈ^{^} _ｌ’＋１である座標ｈ^{^} _ｌ’及びｈ^{^} _ｌ’＋１の２つの連続する新しいポイントが存在するか、あるいはこのポイントが垂直セグメントの最下部又は最上部のポイントに対応するかのいずれかである。ｖ^{^} _ｌ’−１及びｖ^{^} _ｌ’の間にｖ_ｋを挿入することによって得られる総変動増分は、｜ｖ_ｋ−Ｉ^{^} _ｌ’｜で表されるｖ_ｋ及び区間Ｉ^{^} _ｌ’＝〔ｍｉｎ（ｖ^{^} _ｌ’，ｖ^{^} _ｌ’−１），ｍａｘ（ｖ^{^} _ｌ’，ｖ^{^} _ｌ’−１）〕の間の距離に等しい。この距離は、２つの新しいポイント画像値ｖ^{^} _ｌ’−１及びｖ^{^}’_ｌの間に位置する各ｖ_ｋに対して計算される。

この結果得られたｘ^{^}（ｎ，ｔ）の垂直近傍における推定器Ｅ_γの総変動増分測定量は、ｗ_γ（ｎ，ｔ）で表される。これは、この垂直近傍の２つの新しいポイント画像値ｖ^{^} _ｌ’−１及びｖ^{^} _ｌ’との間に位置する全ての入力ポイントｖ_ｋと、２つの入力画像ポイント値ｖ_ｋ及びｖ_ｋ＋１の間に位置する全ての補間値に対して得られた総変動増分を集約することによって計算される。例示の実施形態では、ｗ_γ（ｎ，ｔ）はこれら全ての総変動増分の加重平均である。更に別の例示実施形態では、ｗ_γ（ｎ，ｔ）はこれら全ての総変動増分における順位化された統計から得られる。ｗ_γ（ｎ，ｔ）の値は、全ての総変動増分の順位化されたリストのｐ値として得られ、ｐは正の整数である。

図２に示す空間正規化モジュール（２０６）は、各パラメータ化された補間器Ｅ_γに対して各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~で計算される総変動の値ｗ_γ（ｎ，ｔ）の入力を取り込み、空間低域フィルタリングを行って、より大きい空間近傍上の加重和で正規化された総変動増分を計算する。例示の実施形態においては、モジュール（２０６）は、新しいグリッドポイントの通常４から６４の間である固定数Ｃ_２を含む長方形の空間近傍ｘ^{^}（ｎ，ｔ）のＮ^~ _２（ｎ，ｔ）の和を算定する：

別の例示実施形態においては、この和はＮ^~ _２（ｎ，ｔ）の全ての加重の和が全ての新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対して変わらない定数に等しい加重和と置き換えられる。

最小損失値選択モジュール（２０７）は、各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対する及び各補間器Ｅ_γに対する正規化された区間鈍感型損失値ｌ^{^} _γ（ｎ，ｔ）及び正規化された総変動値ｗ^{^} _γ（ｎ，ｔ）の入力を取り込み、ペナライズされた損失値を算定する

ここで、λは通常１から１０の間である所定のペナリゼーション定数である。モジュール（２０７）は、全ての補間器においてペナライズされた損失値ｌ^{^} _γ（ｎ，ｔ）を最小化する最適な補間器のパラメータφ（ｎ，ｔ）∈Гを求める：

そして、モジュール（２０７）は、各新しいポイントに対して最小損失推定値ｖ^{^} _{φ（ｎ、ｔ）}（ｎ，ｔ）を出力する。

最適な補間器の選択の精度を上げるために、図１を参照して記述されている区間鈍感型損失値とは異なる損失測定値に、総変動ペナリゼーションを適用することができる。従って、総変動ペナリゼーションは、本発明とは異なる構成において使用することができる。

図１に示した装置と同様に、上述した装置はビデオ画像の単一成分を処理する。多成分画像に対しては、全ての成分を個々に処理することができる。本発明に含まれる別の可能性としては、全ての成分を同時に処理して、モジュール（２０７）のペナライズされた損失値を各成分に対して得られるペナライズされた損失値の加重和として定義し、これにより所定の新しいグリッドポイントにおける全ての成分に対して同じ最適な補間器Ｅ_γを選択することである。

パラメータ化された指向性補間値
図３に本発明による装置の別の実施形態を示す。補間はパラメータ化された方向に沿って実施され、指向性マッチング損失値によってこれらの方向に沿った入力画像の変動測定値が得られる。図３のモジュール（３０２）、（３０３）、（３０４）、（３０６）はそれぞれ図２のモジュール（２０２）、（２０３）、（２０４）、（２０６）と同一であり、モジュール（３１１）はモジュール（２０８）と同一である。

パラメータ化された指向性補間器モジュール（３０１）は入力ビデオの入力を取り込み、方向パラメータを含むマルチパラメータγで指標付けされ、一群の線形補間器｛Ｅ_γ｝_γ∈Γを適用することにより得られる一群の補間値｛ｖ^{^} _γ（ｎ，ｔ）｝_γ∈Γを各新しいグリッドポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~で算定する。好ましい実施形態においては、これらのパラメータ化された指向性補間器は、入力画像の行又は列に沿った一次元補間によって、そしてパラメータ化された時空方向に沿った指向性補間によって計算される。一次元補間には、全ての最先端の手法を活用することができる。

指向性マッチングエラーモジュール（３０７）は、入力ビデオを受信して、パラメータ化された指向性補間器｛Ｅ_γ｝_γ∈Γに関連する一群の指向性マッチングエラー値｛ｅ_γ（ｎ，ｔ）｝_γ∈Γを各新しいグリッドポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~において算定する。好ましい実施形態においては、これらのマッチングエラーは各パラメータ化された方向に沿った入力画像値間の差から計算される。これらの指向性マッチングエラーによって、各指向性補間器の時空方向における入力ビデオの変動値が数値表示される。

好ましい実行例においては、補間器は空間ベクトルｗ＝ｗ_１τ_１＋ｗ_２τ_２（ｗ_１，ｗ_２，０）によって特定された時空方向と、入力画像ｖ（ｐ，ｔ−ｓ）及びｖ（ｐ，ｔ＋ｓ）を特定する時間増分によってパラメータ化され、時間増分からｘ^{^}（ｎ，ｔ）の補間値が計算される。これらの補間器はしたがって、時空パラメータのΓの所定の一群のうちから選択されるマルチパラメータ値γ＝（ｗ_１，ｗ_２，ｓ）によって特定される。

Γにおける時間的推移ｓの最大値は、超解像度システムの遅延ｄである。ｓ＝ｄとなるまでの画像ｘ（ｎ，ｔ＋ｓ）は、新しいポイント値ｖ_γ（ｎ，ｔ）を推定するのに必要であり、これらの推定を実行するためには、ｔ−ｄ≦ｔ’≦ｔ＋ｄに対しては２ｄ＋１画像ｘ（ｎ，ｔ’）であることを覚えておかなければならない。

ｓ＝０の場合、ｖ_γ（ｎ，ｔ）は入力画像値ｖ（ｎ’，ｔ）から空間補間器を用いて計算される。この空間補間は、最初に優先的な方向、すなわち水平又は垂直方向のいずれかに沿って、その後に空間的方向ｗ＝（ｗ_１，ｗ_２，０）に沿って分離可能な補間によって行われる。入力ビデオがインターレース方式の場合、優先的な補間の方向には、サンプリングの分布が列より行に沿ってのほうが２倍大きいため、水平方向が選択される。入力ビデオがプログレッシブ方式である場合、優先的な補間の方向には、水平方向（１，０）における（ｗ_１，ｗ_２）の角度がπ／４よりも小さい場合に垂直方向を選択することができ、この場合、ｗ_１＝１を正規化し、優先的な補間の方向には、水平方向における（ｗ_１，ｗ_２）の角度がπ／４よりも大きい場合に水平方向が選択され、この場合、ｗ_２＝１を正規化する。

従って、優先的な補間の方向がｘ^{^}（ｎ，ｔ）において水平と仮定すると、ｗ＝（ｗ_１，１）となる。ｘ^{^}（ｎ，ｔ）が入力グリッドの行上に位置している場合は、ｖ_γ（ｎ，ｔ）は、一次元の線形補間によってｘ^{^}（ｎ，ｔ）においてこの行に沿って計算することができる。ｘ^{^}（ｎ，ｔ）が入力グリッドの行上に位置していない場合、その位置は、ｘ^{^}（ｎ，ｔ）＝ｘ_１τ_１＋αｘ_２τ_２＋τ_４（ｔ）＋ｔτ_３で表すことができ、ｎ_２をｎ_２＜ｘ_２＜ｎ_２＋１となるように固有の整数とする。ｙ＝ｘ（ｎ，ｔ）＋α（ｎ_２＋１−ｘ_２）ｗとｚ＝ｘ^{^}（ｎ，ｔ）−α（ｘ_２−ｎ_２）ｗを、ｘ^{^}（ｎ，ｔ）のｗ方向における入力画像行の真上及び真下の予測値とする。ｙにおける画像値ｖ_ｙは、ｎ’＝（ｐ，ｎ_２）に対して行ｖ（ｎ’，ｔ）に沿った入力画像値の補間を、変数ｐに沿った一次元補間法を用いて行うことによって得られ、ｚにおける画像値ｖ_ｚは、ｎ’＝（ｐ，ｎ_２＋１）に対して行ｖ（ｎ’，ｔ）に沿った入力画像値の一次元補間法を実施することによって得られる。例示の実施形態においては、ｘ^{^}（ｎ，ｔ）における画像の補間値は、一次の線形補間値ｖ_ｙ及びｖ_ｚで定義される：

ｘ^{^}（ｎ，ｔ）の補間器Ｅ_γに対しモジュール（３０７）によって計算された指向性マッチングエラーは、ｖ_ｙ及びｖ_ｚの間のｗ方向における指向性の変動量である：

ここで、η＞０は推測的に選択された固定指数であり、通常１又は２に等しい。尺度単位でデインターレース処理が行われる特殊な例では、ｘ_２＝ｎ_２＋１／２であり、従ってｖ^{^} _γ＝（ｎ，ｔ）＝（ｖ_ｙ＋ｖ_ｚ）／２となる。この例を図６に示す。

優先的な補間の方向が水平ではなく垂直である場合、ｗ＝（１，ｗ_２）であり、入力画像の行及び列の役割を交換し、及びαを１に置き換えるだけでなく、水平及び垂直座標軸の役割を交換することによって、同じ算定方法を補間器に対して適用することができる。

ｓ＞０である場合、ｔ−ｓ及びｔ＋ｓにおける画像でのｘ^{^}（ｎ，ｔ）の時空予測値は、ｙ＝ｘ^{^}（ｎ，ｔ）−ｗ−ｓτ_３及びｚ＝ｘ^{^}（ｎ，ｔ）＋ｗ＋ｓτ_３に位置する。位置ｙにおける画像値ｖ_ｙは、グリッドポイントｘ（ｎ’，ｔ−ｓ）の入力画像値ｖ（ｎ’，ｔ−ｓ）の行及び列に沿った分離可能な補間によって計算される。同様に、位置ｚの画像値ｖ_ｚは、グリッドポイントｘ（ｎ’，ｔ−ｓ）の入力画像値ｖ（ｎ’，ｔ＋ｓ）の行及び列に沿った分離可能な補間によって計算される。ｘ^{^}（ｎ，ｔ）の推定画像値は、ｖ^{^} _γ（ｎ，ｔ）＝（ｖ_ｙ＋ｖ_ｚ）／２であり、指向性マッチングエラーは、ｅ_γ（ｎ，ｔ）＝｜ｖ_ｙ−ｖ_ｚ｜^ηである。

好ましい実施形態においては、各新しいポイントｘ^{^}（ｎ，ｔ）に対して、ｔ−ｓ及びｔ＋ｓにおける予測位置ｙ及びｚがこれらの行及び列に沿った固定因数で入力画像値ｖ（ｎ’，ｔ−ｓ）及びｖ（ｎ’，ｔ＋ｓ）をオーバーサンプリングすることにより推測的に計算された均一のグリッド上に位置するように、全て可能性のある方向一式ｗが選択される。

デインターレースシステムにおいては、優先的な空間補間の方向は水平方向である。例示の実施形態では、尺度単位で、ｓ＝０に対する一群の空間方向ベクトルｗは、｛（ｋ／ｑ，１，０）｝_{−Ｋ≦ｋ≦Ｋ}であり、ここでｑは固定整数である。図６に、これらの空間補間を行うのに必要なオーバーサンプリングを、通常の選択条件であるｑ＝２及びＫ＝４で示す。十字は入力画像ポイントｘ（ｐ，ｔ）を示し、白い丸は中間の補間ポイントであり、黒い丸は異なる９方向の出発点である新しいポイントである。一群の時空方向ベクトルは、時間的推移のパリティによって変わる。ｓが奇数である場合、一群の時空方向ベクトルは｛ｗ＝（ｋ／ｑ，２ｌ，０）｝_{−Ｋｌ≦ｋ≦Ｋｌ，−Ｌ≦ｌ≦Ｌ}であり、ｓ＞０が偶数の場合、一群の時空方向ベクトルは｛ｗ＝（ｋ／ｑ，２ｌ＋１，０）｝_{−Ｋｌ≦ｋ≦Ｋｌ，−Ｌ≦ｌ≦Ｌ}であり、ここでＫ_ｌはｌによって変わり、又は、通常２から８の間の値である定数として選択される。ｑの値は通常１から８の間の値であり、Ｌの値は通常１から５の間の値である。このような一群の方向に対して、全ての予測位置ｙ及びｚは、入力画像行ｖ（ｎ’，ｔ−ｓ）及びｖ（ｎ’，ｔ＋ｓ）を因数ｑでオーバーサンプリングすることにより得られる均一のグリッドに沿った位置である。図７に、オーバーサンプリングの因数ｑ＝２に対応する時空間補間の方向を示す。十字は入力画像ポイントｘ（ｐ，ｔ）を示し、白い丸は中間の補間ポイントであり、黒い丸は新しいポイントｘ^{^}（ｎ，ｔ）である。

図３に示す空間正規化モジュール（３０８）は、各パラメータ化された補間器Ｅ_γに対する各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~において計算された指向性マッチングエラーｅ_γ（ｎ，ｔ）の入力値を取り込み、空間低域フィルタリングを行ってより大きい空間近傍上の加重和を用いて正規化された指向性マッチングエラーを算定する。例示の実施形態では、モジュール（３０８）は、通常１６から２５６の間の値である新しいグリッドポイントの固定数Ｃ_３を含むｘ^{^}（ｎ，ｔ）の長方形の空間近傍Ｎ^~ _３（ｎ，ｔ）上の和を算定する：

別の例示実施形態では、この和はＮ^~ _３（ｎ，ｔ）の全ての加重の和が全ての新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~に対して変わらない定数と等しい加重和に置き換えられる。

尺度単位を用いるデインターレースシステムにおいては、テレシネフィルム形式の入力ビデオのデインターレース処理のケースを組み入れるために、前の及び次の画像の複製を行う２つの単一の補間器が組み込まれる。前の画像の複製を行う補間器をＥ_γｐと記載し、Ｅ_γｐはｘ（ｎ’，ｔ−１）がｘ^{^}（ｎ，ｔ）と同じ空間位置を有するｖ_γｐ（ｎ，ｔ）＝ｖ（ｎ’，ｔ−１）を設定し、次の画像の複製を行う補間器をＥ_γｎと記載し、Ｅ_γｎはｘ（ｎ’，ｔ＋１）がｘ^{^}（ｎ，ｔ）と同じ空間位置を有するｖ_γｎ（ｎ，ｔ）＝ｖ（ｎ’，ｔ＋１）を設定する。

デインターレースシステムにおいて、スケーリングシステムは、各入力画像ｖ（ｎ，ｔ）に対して画像が「インターレース型ビデオ」シーケンスであるか又は「テレシネフィルム型ビデオ」であるかを特定する画像の種類ｃ（ｔ）を出力するグローバルビデオ／フィルム分類器（３０９）を備えることもできる。「インターレース型ビデオ」のカテゴリーは、画像がインターレースされたビデオのフィールドであることを表す。「テレシネフィルム型」のカテゴリーは、入力画像がテレシネフィルムのフィールドであることを表す。これら種類の各々は、画像ｖ（ｎ，ｔ）が「前の」入力画像に最も類似しているか、あるいは「次の」入力画像に最も類似しているかを特定することにより、微細化される。従って、４つの種類は、「テレシネフィルム型、次」、「テレシネフィルム型、前」、「インターレース型ビデオ、次」及び「インターレース型ビデオ、前」となる。

第１の実施形態では、グローバルビデオ／フィルム分類器（３０９）は、ユーザーにより画像が「インターレース型ビデオ」画像であるか、あるいは「テレシネフィルム型」画像であるかを特定することが可能となるユーザーインターフェースを有する。モジュール（３０９）の自動的な実施形態では、分類は大域的な総変動増分を測定することによって行われる。各新しいポイントｘ^{^}（ｎ，ｔ）に対して総変動増分モジュール（３０５）は各補間器Ｅ_γに及び特に前の及び次の画像からの複製に相当するγ＝γ_ｐ及びγ＝γ_ｎに対応する総変動増分ｗ_γ（ｎ，ｔ）を出力する。モジュール（３０９）はこれら総変動増分ｗ_γｐ（ｎ，ｔ）とｗ_γｎ（ｎ，ｔ）の入力値を取り込み、新しいグリッド全体にわたる大域的な総変動増分を算定する：
もし

が成り立つ場合、

、

、及び

上述の式では、η_１＞１が通常１０より小さく、η_２＞１が通常１０より小さい場合、画像の種類ｃ（ｔ）は「テレシネ型」画像に設定される。そうでない場合、推測的に通常１バイトの画像に対して１から５０の間に設定される閾値Ｔに対し、

が成り立つ場合には、ｃ（ｔ）もまた「テレシネフィルム型」に設定される。そうでない場合には、ｃ（ｔ）は「インターレース型ビデオ」画像に設定される。いずれの場合も、Ｗ_{γｎ（ｔ）}＜Ｗ_{γｐ（ｔ）}である場合に、画像が次の画像により類似していることを示すサブ種類は「次」と判断され、そうでない場合は、サブ種類は「前」と判断される。

最小損失値選択モジュール（３１０）は、各新しいポイントｘ^{^}（ｎ，ｔ）∈Ｇ^~及び各補間器Ｅ_γに対して正規化された区間鈍感型損失値ｌ^{^} _γ（ｎ，ｔ）、正規化された総変動増分ｗ^{^} _γ（ｎ，ｔ）、及び正規化された指向性マッチングエラーｅ^{^} _γ（ｎ，ｔ）の入力値を取り込む。モジュール（３１０）はペナライズされた損失値を算定し、設定された画像の種類ｃ（ｔ）によって最適な補間器のパラメータφ（ｎ，ｔ）を求める条件付最小化を行う。モジュール（３１０）は、各新しいポイントに対して最小損失推定値ｖ^{^} _{φ（ｎ，ｔ）}（ｎ，ｔ）を出力する。

スケーリングシステムが尺度単位のデインターレースシステムでない場合、各新しいポイントｘ^{^}（ｎ，ｔ）に対して、正規化された鈍感型損失値は入力された総変動増分及び指向性マッチングエラーによってペナライズされる：

ここで、λ及びμは２つのペナリゼーション定数である。λ及びμには、通常１から１０の数が選択される。最小損失値選択モジュール（３１０）は、２つの複製補間器を除いて、このペナライズされた損失値を最小化するパラメータξを求める：

そして、φ（ｎ，ｔ）＝ξを設定する。

スケーリングシステムが尺度単位のデインターレースシステムである場合、最適な補間器の選択は、グローバルビデオ／フィルム分類器（３０９）の出力によって変わる。画像の種類ｃ（ｔ）が「テレシネフィルム型、次」である場合、分類器（３０９）は次の画像からの複製に対応するφ（ｎ，ｔ）＝γ_ｎを設定する。画像の種類ｃ（ｔ）が「テレシネフィルム型、前」である場合、前の画像からの複製に対応するφ（ｎ，ｔ）＝γ_ｐを設定する。画像の種類が「インターレース型ビデオ」である場合、[数２３]（（数（９））と同様に最小損失値補間器指標ξが計算される。画像の種類ｃ（ｔ）が「インターレース型ビデオ、次」である場合、この最適な補間器は局所的にテレシネ化されたシーケンスに対して次の画像補間器からの複製と比較される。もし

が成り立ち、λ’がペナリゼーション定数である場合、φ（ｎ，ｔ）＝ξであり、そうでない場合は、φ（ｎ，ｔ）＝γ_ｎである。λ’は通常１から１０までの数から選択される。同様に、画像の種類ｃ（ｔ）が「インターレース型ビデオ、前」の場合、もし

が成り立ち、λ’がペナリゼーション定数である場合、φ（ｎ，ｔ）＝ξであり、そうでない場合は、φ（ｎ，ｔ）＝γ_ｐである。

図１及び図２に記載の装置のように、上述した装置はビデオ画像の単一成分を処理する。

複数の成分を含む画像に対しては、全ての成分を個々に処理することができる。本発明に含まれる別の可能性は、全ての成分を同時に処理してモジュール（３１０）のペナライズされた損失値を各成分に対して得られるペナライズされた損失値の加重和として定義し、これにより所定の新しいグリッドポイントの全ての成分に対して同じ最適な補間器Ｅ_γを選択する。

本発明は、汎用マイクロプロセッサ、若しくはデジタル信号プロセッサによって実行されるソフトウェアとして実現することができ、この場合図１ないし３を参照して上述したモジュールは、ソフトウェアモジュール又はルーティンである、あるいはソフトウェアモジュール又はルーティンの一部を形成している、と理解される。本発明はまた、例えばＡＳＩＣ又はＦＰＧＡ等におけるハードウェア要素として実現することもでき、この場合、上述したモジュールは固体の要素の領域を形成することが可能である。本発明のこれらの実施形態は、インターレース方式のＳＤＴＶビデオを受信し、ＨＤＴＶビデオを出力あるいは表示するセットトップボックスまたはハイビジョンテレビセット等の種々のユニットに組み込むことができる。本発明はまた、入力ビデオの形式を変更して規定のビデオ形式を出力するために、アップ／クロス／ダウンコンバータに組み込むこともできる。

本発明の例示の実施形態の詳細の説明を上述したが、様々な代替物、変更物、同等物は同業者に明らかとなるであろう。例えば、本発明のパラメータ化された補間器モジュール又は最小損失値選択モジュールの異なる要素は、ある特定の機能を行うものとして本明細書に記述されており、同業者は本発明の精神から逸脱することなしに、サービスモジュールにおけるほかの要素又は回路が上記の機能の幾つかあるいは全てを実施できることを理解するであろう。従って上述した説明により、添付の請求項によって規定された本発明の範囲が限定されると判断するべきではない。

ビデオ入力を取り込み、区間鈍感型損失値を最小化することにより所定の出力グリッド上で出力ビデオを算定する、本発明の例示実施形態を示すブロック図である。 ビデオ入力を取り込み、正規化された総変動増分によってペナライズされた区間鈍感型損失値を最小化することにより所定の出力グリッド上で出力ビデオを算定する、本発明の構成例を示すブロック図である。 ビデオ入力を取り込み、総変動増分及び指向性マッチングエラーによってペナライズされた鈍感型損失値を最小化することにより所定の出力グリッド上で出力ビデオを算定する、本発明の構成例を示すブロック図である。 総変動増分を計算するための入力グリッドポイント及び新しいポイントの形態を示す概略図である。 デインターレースシステムの総変動増分を計算するための入力グリッドポイント及び新しいポイントの形態を示す概略図である。 新しいポイントの指向性空間補間に使用される入力グリッドポイントを示す概略図である。 新しいポイントの指向性時空補間に使用される入力グリッドポイントを示す概略図である。

Claims (16)

1. 時空間入力グリッドのポイントのそれぞれの入力画像値を有する入力ビデオ信号を処理し、前記入力グリッドのポイント及び新しいポイントを包含する時空間出力グリッドのポイントのそれぞれの出力画像値を有する出力ビデオ信号を送信するためのデジタルビデオスケーリング方法であって、前記方法が、前記新しいポイントそれぞれに対する下記のステップ、すなわち：
   （ａ）所定の一群のパラメータ化された線形補間器を、前記新しいポイントのそれぞれの時空近傍の入力画像値に適用し、それにより前記一群の補間器それぞれが前記新しいポイントの補間値を供給するステップ；
   （ｂ）前記新しいポイントの出力画像値の確率分布が、前記値の区間内で最大になると推定されるように、前記新しいポイントに関連する値の区間を、前記新しいポイントの時空近傍の入力画像値から推定するステップ；
   （ｃ）前記新しいポイントの補間値それぞれに対する損失値を、前記新しいポイントに関連する値の区間内で一定及び最大である第２の確率分布に基づいて算定するステップ；
   （ｄ）前記新しいポイントの空間近傍において、前記一群の補間器それぞれについて算定した損失値を空間的にフィルタ処理するステップ； 及び、
   （ｅ）フィルタ処理された損失値に応じて最小化基準を満たす前記一群のうち１つの補間器を選択するステップであって、選択された補間器に対する補間値が前記新しいポイントの出力画像値として採用されるステップ
   を含む、デジタルビデオスケーリング方法。
2. 新しいポイントの補間値に対して算定された損失値が、第２の確率分布に対する前記補間値の負の対数尤度を表す、請求項１に記載のスケーリング方法。
3. 新しいポイントの値の区間を推定するステップが、
   （ａ）前記値の区間を推定するのに使用される時空近傍を、複数の小近傍に分割すること；
   （ｂ）入力画像値を前記小近傍の各々に仕分けすること；
   （ｃ）前記小近傍の各々に対して、仕分けされた入力画像値の内の順位の２つの値から部分区間を推定すること； 及び、
   （ｄ）複数の部分区間を組み合わせて、前記新しいポイントに関連する値の区間を形成すること、
   を含む、請求項１又は２に記載のスケーリング方法。
4. 前記第２の確率分布が前記値の区間の外側において指数関数的減衰を有する、請求項１ないし３のいずれか１項に記載のスケーリング方法。
5. 前記新しいポイントのそれぞれと、前記一群の補間器のそれぞれに対して、下記のステップ、すなわち：
   （ａ）前記新しいポイントの一次元空間近傍において前記補間器によって計算される入力画像値及び補間値の集約から得られる総変動増分を算定すること； 及び、
   （ｂ）前記新しいポイントの空間近傍での前記総変動増分を空間的にフィルタ処理すること
   を更に含み、新しいポイントに対する前記一群のうち１つの補間器を選択するための最小化基準が、フィルタ処理された総変動増分に更に依存する、請求項１ないし４のいずれか１項に記載のスケーリング方法。
6. 前記一次元空間近傍が、垂直又は水平の空間近傍である、請求項５に記載のスケーリング方法。
7. 新しいポイントに対して前記一群のうち１つの補間器を選択する最小化基準が、フィルタ処理された損失値の加重和及びフィルタ処理された総変動増分の加重和を含む、請求項５又は６に記載のスケーリング方法。
8. 前記一群の補間器が、入力グリッドの各々パラメータ化した時空方向に沿った線形補間値を算定するためのパラメータ化された指向性補間器を含む、請求項１ないし７のいずれか１項に記載のスケーリング方法。
9. 前記新しいポイントの各々と、前記一群の指向性補間器の各々に対して、下記のステップ、すなわち：
   （ａ）前記補間器に対応する時空方向に沿って前記新しいポイントに配向している補間入力画像値間の差から指向性マッチングエラーを算定するステップ； 及び、
   （ｂ）前記新しいポイントの空間近傍での前記指向性マッチングエラーを空間的にフィルタ処理するステップ；
   を更に含み、新しいポイントに対する前記一群のうち１つの補間器を選択するための最小化基準が、フィルタ処理された指向性マッチングエラーに更に依存する、請求項８に記載のスケーリング方法。
10. 新しいポイントに対する前記一群のうち１つの補間器を選択するための最小化基準が、フィルタ処理された損失値の加重和と、フィルタ処理された指向性マッチングエラーの加重和とを含む、請求項９に記載のスケーリング方法。
11. 新しいポイントに対する前記一群のうち１つの補間器を選択するための最小化基準が、フィルタ処理された損失値の加重和と、フィルタ処理された総変動増分の加重和と、及びフィルタ処理された指向性マッチングエラーの加重和とを含む、請求項５及び９の両方に記載のスケーリング方法。
12. 入力ビデオ信号がインターレース方式であり、出力ビデオ信号がプログレッシブ方式である、請求項１ないし１１のいずれか１項に記載のスケーリング方法。
13. 請求項１２に記載のスケーリング方法であって、下記のステップ、すなわち：
    （ａ） 入力ビデオ信号の各画像を、「インターレース方式のビデオ」又は「テレシネ方式」に分類するステップ；と、
    （ｂ） 前記画像が、入力ビデオ信号の次の画像よりも入力ビデオ信号の前の画像に更に類似しているかどうかを決定するステップ；
    を更に含み、
    「テレシネ方式」に分類された連続的な画像間の新しいポイントの値が、前記新しいポイントの位置において次の又は前の画像を複写することにより合成される一方で、「インターレース方式のビデオ」に分類された画像の新しいポイントの値が、前記一群の選択された補間器によって合成される、請求項１２に記載のスケーリング方法。
14. テレビの画面上に画像を表示するテレビジョン方式であって、このテレビジョン方式が、入力ビデオ信号を受信する手段、請求項１ないし１３のいずれか１項に記載の方法に従って入力ビデオ信号を処理する手段と、前記処理する手段によって生成された出力ビデオ信号を表示する手段とを備える、テレビの画面上に画像を表示するテレビジョン方式。
15. 請求項１ないし１３のいずれか１項に記載の方法を実行するように構成された計算手段を備える、ビデオスケーリング装置。
16. コンピュータプログラムがコンピュータ処理装置内で実行される場合に、請求項１ないし１３のいずれか１項に記載の方法を実行するための命令を備える、コンピュータプログラム。

Images