JP3668509B2

JP3668509B2 - Motion compensation output video generation method

Info

Publication number: JP3668509B2
Application number: JP14969594A
Authority: JP
Inventors: レックスドリコットマーチン; イアンサーンダースニコラス
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1993-07-07
Filing date: 1994-06-30
Publication date: 2005-07-06
Anticipated expiration: 2020-07-06
Also published as: GB2279844A; GB2279844B; GB9314042D0; JPH0759057A

Description

【０００１】
【産業上の利用分野】
本発明は、動き補正映像補間の分野に関し、もっと詳しくいえば、出力レートとは異なる入力レートの入力映像から出力レートの出力映像を発生する動き補正出力映像発生方式（装置及び方法）に関するものである。
【０００２】
【従来の技術】
例えば、フィルムからテレビジョンへ又は或るテレビジョン・フォーマットから他のテレビジョン・フォーマットへの標準方式変換などに使用される動き補正映像補間は、公知である。そのような装置の一例は、英国公開特許出願ＧＢ−Ａ−２，２３１，７４９号（ソニー株式会社）に記載されている。公知の動き補正標準方式変換装置は、人為雑音（artifact）に悩まされている。これらの人為雑音は、閾値のようなシステム・パラメータや変換モードを調整して制御することができる。オペレータは、出力ビデオのエラーを調べ、それに応じてシステム・パラメータを制御すなわち修正する必要がある。これは、経費がかかるばかりでなく、オンライン動作のためには不満足である。
【０００３】
【発明が解決しようとする課題】
本発明の課題は、上述の如きシステム・パラメータをもっと効率よく制御して出力映像の質を改善することである。
【０００４】
【課題を解決するための手段及び作用】
本発明は、一面からみて、入力レートの入力映像から入力レートとは異なる出力レートの動き補正された出力映像を発生する装置であって、次の如き構成要素を含むものを提供する。時間的に隣接する第１の入力映像及び第２の入力映像から映像動きベクトルに応じて上記出力レートで補間された映像を発生する出力補間器と、
上記第１の入力映像及び第２の入力映像から補間される映像のうちの上記第１の入力映像とほぼ時間的に一致する映像をテスト補間映像として、上記テスト補間映像の少なくとも一部分と、上記第１の入力映像を動き補正していない映像である非動き補正映像の少なくとも一部分との差を求めることによってエラー信号を生成するエラー信号生成手段、
上記エラー信号に応じて上記出力レートの動き補正された出力映像を発生する動作を制御する制御手段。
【０００５】
本発明は、時間的に隣接する第１の入力映像及び第２の入力映像から補間された映像のうちの第１の入力映像とほぼ時間的に一致する映像（テスト補間映像）を、その第１の入力映像を動き補正していない映像である非動き補正映像と比較することにより、自動帰還（フィードバック）路を設けることの認識に立っている。これら２つの映像間に差があれば、それは、動き補正補間過程で生じた何らかの人為雑音によるものと考えられる。よって、２映像間の差から導出したエラー信号は、映像内の人為雑音の量の尺度を与え、上記出力補間器への制御入力を調整するフィードバック信号として使用できる。入力映像を、人為雑音がないとすれば、動き補正補間処理が忠実に再生しうる筈である参照信号として有効に使用する。
【０００６】
本発明を実施するために付加する必要があるハードウェアの量は、上記出力補間器からの補間映像が上記第１の入力映像と時間的にほぼ一致する時に、上記テスト補間映像を上記出力補間器によって作る、本発明の好適な具体構成においてうまい具合に減少させることができる。
【０００７】
出力レート及び入力レートが異なる同期システムでは、或いは非同期のシステムでさえ、出力フレームが入力フレームと時間的にほぼ一致する時がある。これが発生するときは、入力フレームから出力フレームを作るために処理をする必要が、たとえあっても、極めて僅かであり、該システム内の予備のハードウェアの能力を利用して上述の制御動作を行うことができる。
【０００８】
同期システムでは、時間的に正確に一致する時があるように考えられるが、非同期システムでは、意味のある比較が行なえる程度にフレームが時間的にほぼ一致することを確かめるのに、或る種の閾値設定（thresholding）が必要である。１映像期間の４％より小さい一致があれば、多分容認できるであろう。
【００１０】
前述のとおり、上記出力補間器からの補間映像と第１の入力映像とが、時間的にほぼ一致する時を決定する何らかのメカニズムがあることが重要である。これを処理するよい方法は、次のような、上記出力補間器からの補間映像と時間的にほぼ一致する第１の入力映像を検出する閾（しきい）検出器を設けることである。上記検出器は、上記補間映像に対する最大の動きベクトルに該補間映像の第１の入力映像からの時間的変位（ずれ）の値を乗じた値が閾値より小さいものを、上記出力補間器からの補間映像と時間的にほぼ一致する第１の入力映像として検出する。
【００１１】
特定のシーン（場面）内で最大の動きベクトルに応答するように動作する閾検出器を設けると、システムが、テスト補間映像と対応する入力映像とが時間的に一致すると認められるほど十分に時間的に接近しているかどうかを判断する際、存在する動きの程度を考慮することができる。即ち、大きな動きがある場合には、映像は時間的に一層接近していなければならない。そうしないと、その動きによる映像間の真の差によって上記の比較が誤ったものとなる。
【００１２】
動き補正映像補間を行うシステムのデータ処理能力に対する要求は、高い。処理すべき映像データの量及び行うべき計算の数は、一般に大きい。これを処理するためには、装置が高速且つ効率的に動作する必要がある。本発明の好適な具体構成では、上記補間器は次の如き構成要素を含む。
第１の部分的補間ピクセル値を生成するために、第１の入力映像からのピクセル値に第１の時間的加重（重み付け）係数を乗じる第１の乗算器、
第２の部分的補間ピクセル値を生成するために、第２の入力映像からのピクセル値に第２の時間的加重係数を乗じる第２の乗算器、
補間ピクセル値を生成するために、上記第１の部分的補間ピクセル値と上記第２の部分的補間ピクセル値を加える加算器。
【００１３】
標準的補間動作を行う上記形式の補間器の場合、この補間器をエラー信号生成手段として使用することも可能である。したがって、好適な具体構成では、上記エラー信号生成手段は、上記第１の入力映像からのピクセル値に第１の減算係数を乗じる上記第１乗算器と、上記第２の入力映像からのピクセル値に、上記第１減算係数と大きさが等しく符号が反対の第２の減算係数を乗じる上記第２乗算器と、上記エラー信号を作るために上記第１及び第２乗算器からの出力を加える上記加算器とを含んでいる。
【００１４】
上記減算動作に対する要件は、上記第１及び第２減算係数が大きさ等しく符号反対でなければならないことである。これらの係数の大きさが１であれば、必要な処理量が減少して好都合である。
【００１５】
動き補正補間過程で使用する動きベクトルを特定するための便利なシステムは、次の手段を具えるべきである。
第１の入力映像内の映像データのサーチブロックと、該サーチブロックから異なる変位ベクトルだけ変位した、時間的に隣接する第２の入力映像の部分との間の映像相関を表す相関面を計算する手段、
上記相関面内の相関最大点に対応する動きベクトルを検出する手段。
【００１６】
かようなシステムでは、相関面におけるエイリアシング（偽物が存在する）の如き問題に対する或る程度の防止策を与える、相関面における相関最大点を識別するメカニズムを設けるのが普通である。この目的のために種々のテストを使用できるが、それらに共通の特徴は、或る種の相関最大点確認閾値を設定することである。この閾値は、これを調整することにより、システムによって生じる人為雑音の数をかなり変えることができるシステム制御パラメータとなる。よって、本発明の好適な具体構成では、上記エラー信号を空間的にローパスろ波し、上記の制御手段が上記空間的にローパスろ波されたエラー信号に応じて相関最大点確認閾値を制御する作用をする。この閾値は、上記検出手段が明瞭な特徴が不十分な相関最大点を除外するのに用いる。
【００１７】
出力の質に影響を与えるもう１つのシステム制御パラメータは、使用するベクトル選択ブロック突合せ用ブロックの大きさ（サイズ）である。したがって、好適な具体構成では、上記エラー信号を空間的にハイパスろ波し、上記制御手段が、この空間的にハイパスろ波されたエラー信号に応じてサーチブロックのサイズを制御する作用をする。
【００１８】
動き補正映像補間システムは複雑であるので、人為雑音を減らすため制御パラメータを調整すべきかどうかは、直ぐには分からない。検出されるエラー信号が増加する場合、或る映像に対してはベクトル選択ブロック突合せ用ブロックのサイズの増加が必要であるのに対し、他の映像に対しては減少が必要である。これを処理するため、好適な具体構成では、上記の制御手段は、制御入力に対してテスト調整を行い、現在の制御入力値よりも高いテスト制御入力値から上記エラー信号生成手段に第１のテストエラー信号を生成させ、現在の制御入力値よりも低いテスト制御入力値から上記エラー信号生成手段に第２のテストエラー信号を生成させ、これら第１テストエラー信号、第２テストエラー信号及び現在の制御入力値からの現エラー信号を比較して、より低いエラーを生じる制御入力値を識別し、それを採用すべきものとする。
【００１９】
こうして、制御手段は、試行錯誤法を採用して制御入力値を調整すべき方向を決定する。
かような試行錯誤方式を遂行する１つの方法は、シーン変化の相対的な不定期性及び１シーン内の遅い変化を頼りにして、上記エラー信号生成手段に３つの連続する非動き補正映像及びテスト補間映像の対から上記第１テストエラー信号、上記第２テストエラー信号及び上記現エラー信号を作らせることである。これらのテストエラー信号を比較し、出力映像を発生するために用いる最善のシステムパラメータを決定してから、該パラメータを変化させる。
【００２０】
したがって、時間的一致が５つの出力フレーム毎に生じる場合、原エラー信号は出力フレーム０で導出され、第１テストエラー信号は出力フレーム５で、第２テストエラー信号は出力フレーム１０で導出されることになる。
【００２１】
代わりの方法は、現エラー信号、第１テストエラー信号及び第２テストエラー信号を同時に導出することである。これは、上記エラー信号生成手段が上記第１テストエラー信号、上記第２テストエラー信号及び現エラー信号をただ１つの非動き補正映像の反復される部分及びテスト補間映像対から作る具体構成において、達成されるであろう。
【００２２】
これらのエラー信号の各々は同じ映像の小部分から導出されるので、映像シーンの差による差異は生じない。よって、幾つかの具体構成では、１映像シーンの中央１／３を上記３つの各エラー信号の導出に使用している。
【００２３】
もっと一般的なレベルでは、上述のエラー信号及び減算解析は、映像全体でなく映像の関係部分について行ってよいことが認められるであろう。更に、本発明は、フレーム又はフィールドのどちらを使用するシステムにも等しく適用可能である。
【００２４】
前述したように、本発明の或る種の具体構成では、出力補間映像が第１の入力映像と偶然一致したときにエラー信号を導出している。他の種類の具体構成では、上記出力補間器から送られる少なくとも１つの補間（された）映像から上記テスト補間映像を補間するテスト補間器を設けている。
【００２５】
こうすると、テスト補間器が、時間的一致が起こるのを待たずに、出力補間器により生成された補間映像から、第１の入力映像と時間的に一致するテスト補間映像を発生する。したがって、フィードバック制御が連続的に行われ且つ作用がより速くなる。
【００２６】
幾つかの具体構成では、上記テスト補間器を、上記出力補間器に使用された動きベクトルに応じて動作するようにし、必要なハードウェアの量を減らしている。入力映像の時間に逆投影補間することにより隠されるかも知れないエラーを処理できる代替策は、上記テスト補間器が、出力補間器とは異なるアルゴリズムを用いて動作し、それの独自の動きベクトルを検出するようにすることである。
【００２７】
上述の閾及びサーチブロックのサイズに対する制御パラメータの調整の外に、エラーが検出された場合、補間映像のやり直しを制御する働きをする制御パラメータを設けてもよい。したがって、好適な具体構成では、制御手段が容認できないエラー信号を与える補間映像のエラー部分が発生すると、該エラー部分を置換えるために代わりの補間映像部分を発生するもう１つの出力補間器に切替える作用をする制御入力を与えている。
【００２８】
この好ましい特徴により、万一エラーが映像の特定のエラー部分に発生したとき、上記フィードバックを用いてそれらのエラー部分をやり直すように切替えることができる。その場合は、該エラー部分における映像の質をよくするため、別のベクトルを用いるか或いは異なるサーチブロック・サイズでやり直すことになる。
【００２９】
上述したとおり、映像の質をよくするため、システムへの制御入力をどの方向に調整すべきかは、必ずしも直ぐには分からない。これは、該映像のやり直しにも当てはまる。よって、好適な具体構成では、上記代わりの補間映像部分を用いて、上記非動き補正映像とほぼ一致する時間位置における、少なくとももう１つのテスト補間映像部分を補間するもう１つのテスト補間器と、もう１つのエラー信号を作るために、少なくとも上記もう１つのテスト補間映像部分と上記非動き補正映像の少なくとも一部分との差を求めるもう一つのエラー信号生成手段と、上記エラー信号と上記もう１つのエラー信号との比較に応じて上記切替えを制御する手段とが設けられる。
【００３０】
上記もう１つのテスト補間器及び上記もう１つのエラー信号生成手段を設けると、改善があった場合、やり直されたエラー部分の質を、最初に生成され代わりに置換されただけのものと比較することが可能となる。
【００３１】
映像のエラー部分をやり直すと、やり直された部分とやり直されない部分との間の接触領域に、求められている映像の質を何ら改善しない邪魔なエッジ効果を導入する可能性がある。これを減らすため、上記もう１つの出力補間器からの上記代わりの補間映像部分と、上記出力補間器からの上記補間映像とを、加重関数を用いて一緒に結合するのがよい。この場合、加重関数は、上記エラーブロックを中心として該エラーブロックから離れるに従って、上記代わりの補間映像部分からの関与が減り、上記補間映像からの関与が増すようなものとする。
【００３２】
本発明は、もう１つの面からみて、入力レートの入力映像から入力レートと異なる出力レートの動き補正（された）出力映像を発生する方法であって、次のステップを含むものを提供する。
映像動きベクトルに応じて時間的に隣接する第１の入力映像及び第２の入力映像から上記出力レートの補間された映像を発生するステップ、
上記第１の入力映像及び第２の入力映像から補間される映像のうちの上記第１の入力映像とほぼ時間的に一致する映像をテスト補間映像として、上記テスト補間映像の少なくとも一部分と、上記第１の入力映像を動き補正していない映像である非動き補正映像の少なくとも一部分との差を求めることによってエラー信号を作るステップ、
上記エラー信号に応じて上記出力レートの動き補正された出力映像を発生する動作を制御するステップ。
【００３３】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、一連の入力映像２及び出力映像４の相対的時間位置を示す。図示のように、６つの入力映像６のグループが５つの出力映像８のグループに対応付けられ（マップされ）ている。かようなマッピングは、６０Ｈｚから５０Ｈｚへのフォーマット変換に見られる。
【００３４】
図示の例は、同期システムの場合である。この例では、各５番目の出力映像１０，１２が対応する入力映像１４，１６と時間的に一致している。２つの入力映像２の間の期間内の出力映像４の相対的時間位置を図の下部に示す。この同期システムでは、それらの位置は、ｔ＝０，０．２，０．４，０．６及び０．８である。非同期システムでは、相対的時間位置は、このようなラウンドナンバーの値でないであろうが、一連の出力映像４を通じて同じ現象が見られるであろう。即ち、対応する入力映像と時間的にほぼ一致する出力映像が周期的に生じるであろう。
【００３５】
入力映像と時間的に一致しない出力映像に対しては、時間的に隣接する入力映像間で動き補正補間が行われ、出力映像が導出される。いま出力映像１８を考えると、これは、入力映像２０からのベクトル（＋ｖで示す。）の順（前）方向投影と、入力映像２２からのベクトル（−ｖで示す。）の逆（後）方向投影とによって作られている。入力映像２０，２２間の相対的時間位置はｔ＝０．２であるので、入力映像２０からの関与が入力映像２２からの関与より大きくなるよう加重（重み付け）される。これは、入力映像２０からの関与は０．８が乗じられ、入力映像２２からの関与は０．２が乗じられる線形加重である。コサイン加重のような他の加重も可能である。
【００３６】
図２は、図１の動き補正補間動作を行う装置の一部を示すブロック図である。時間的に隣接する入力映像が、現ビデオ及び次のビデオの信号ラインに沿って入力される。これは夫々、ベクトル適用及び補間ユニット２４，２６に供給される。時間的に隣接する入力映像間で識別された動きベクトルも、これらのユニットに供給される。出力補間映像における特定のピクセル値を導出しようとするとき、当該点に対する動きベクトルを、ベクトル適用及び補間ユニット２６では逆方向投影として、ベクトル適用及び補間ユニット２４では順方向投影として適用する。これらのベクトル適用はまた、ベクトルｖ・ｔ及びｖ（１−ｔ）で示すように、２入力映像間の出力補間映像の相対的時間位置に応じて加重される。
【００３７】
逆方向及び順方向投影されたベクトルにより指し示された入力映像内のピクセル値はそれから、夫々第１及び第２の乗算器２８，３０に供給される。これらの乗算器は、出力補間映像の時間的近接度に応じてピクセル値を加重する（加重係数（１−ｔ）及びｔで示す。）。それから、それらの出力を加算器３２に供給し、そこから出力補間ピクセル値を供給する。
【００３８】
図３はエラー信号を導出するよう図２の装置を変形したものを示す。この回路の動作形式では、出力補間映像は、現ビデオ信号ラインにおける入力映像と時間的にほぼ一致する。したがって、システム出力は、乗算器２８の出力からタップを取って引出すことができる。この出力は、加算器３２による加算を除き、動き補正補間時に大抵行われる同じフィルタリング（ろ波）及び他の処理を受けたものである。システム出力として、ベクトル適用及び補間ユニット２４と乗算器２８の間から、又は等化遅延器（ＥＤ）３４を用いてベクトル適用及び補間ユニット２４の上流から、代わりのタップを取ってもよい。
【００３９】
現ビデオ信号ラインと次のビデオ信号ラインの時間的に隣接する入力映像の間の動きベクトルは、ベクトル適用及び補間ユニット２４，２６に供給される。時間位置ｔはほぼゼロであるので、ベクトル適用及び補間ユニット２４は、実効的にゼロ動き（動きのない）補正動作をする。しかし、ベクトル適用及び補間ユニット２６は、実効的に動きベクトルを最大限に逆方向投影して、システム出力（非動き補正映像）に対応すべきもの（テスト補間映像）を発生する。
【００４０】
乗算器２８及び３０には夫々、加重係数＋１及び−１が供給される。これらの係数は、加算器３２の動作と相俟って、乗算器３０からのテスト補間映像出力を、乗算器２８からの非動き補正映像出力より減算する手段を与える働きをする。加算器３２からの出力は、補間の結果そうなるべきものと補間されたものとの差を示すエラー信号に相当する。もし、補間に人為雑音がなく全く正確であれば、出力映像内のすべての点に対するエラー信号はゼロであろう。
【００４１】
ゼロ時間位置が生じるように強制的にロックされる同期システムでは、この解析を定期的に行うことができる。例えば、６０Ｈｚから５０Ｈｚへの変換では、５出力フィールド（１００ｍｓ）毎にゼロ時間位置が発生するであろう。非同期システムでも、この技法を適用しうるが、ゼロ位置はめったに生じないであろう。ｔ＝０に近い時間位置（例えば、およそｔ＜０．０４）を恰もｔ＝０の如く処理することにより、出力の時間的円滑性を犠牲にして解析の頻度を増すことが可能である。この方法の改良は、出力映像に対する最大の動きベクトル（動きベクトルを抽出する前段の処理から取出すことができる。）にアクセスし、これに該出力映像の時間位置を乗じることである。その結果を閾値と比較し、該映像の相対的時間位置及び動きの量の組合せ結果が、意味のあるエラー信号を生じるために、出力が入力と時間的にほぼ一致することを示しているかどうかを決める。
【００４２】
図４は、図２及び３の装置を構成要部とするシステム（実施例１）を示すブロック図である。このシステムは、補間器段３６を含む（標準）方式変換器３４を有する。補間器段３６は、図３に示したように、システムの解析時に、出力補間映像及び乗算器２８の下流からタップで引出された映像より成るシステム出力をライン３８に与える。図３のエラー信号はエラーフィルタ４０に送られ、そこで、種々のろ波処理、例えば空間的ローパスろ波及び空間的ハイパスろ波の処理を受ける。該ろ波処理は非線形であり、例えば、閾値設定を行って或る値より下のエラーを除去したり、或いは、指数的加重を行って高対照エラーの関与を増加したりする。エラーフィルタ４０の出力（単数又は複数）は加算ユニット４２に供給され、そこで、それらは１つの出力映像について加算される。当該映像に対するシステム性能指標（ＳＰＦ）を制御装置４４に供給し、方式変換器３４への制御入力を与えることができる。
【００４３】
エラー信号から導出されるエラーフィールドをローパスろ波により解析して、エラーの大きい領域（部分）についての情報を得ることができる。これは、相関最大点を動きベクトルのソース（根源）として用いる前に、相関最大点を明確に定めるための、ベクトル推定に用いる閾値の制御に使用することができる。更に、或いは代わりに、エラー信号をハイパスろ波してエラーの小さい部分についての情報を得てもよい。この情報は、公知の動きベクトル識別に用いるベクトル選択ブロック突合せブロックのサイズの制御に使用できる。
【００４４】
存在するエラーの量を減らすために制御パラメータを動かすべき方向は、必ずしも明瞭ではなく、特に現在処理している映像の性質によって決まると考えられる。図５及び６は、これを処理するための２つの異なる方法を示す。図５は、入力映像と出力映像との時間的一致点が５番目の出力映像毎に生じる、図１に示した変換に関するものである。制御値が値αをもつようにセットされるとすると、これは出力フレーム０に対しシステム性能指標ＳＰＦ₀を導出するのに使用され、出力フレーム５で、代わりのテスト制御値α＋δが試され、システム性能指標ＳＰＦ₅を生じる。この過程は、出力フレーム１０で繰返される。ただし、制御値が今度はα−δにセットされる。
【００４５】
これら３つのシステム性能指標を連続する非動き補正及びテスト補間映像の対に対して導出し終わったとき、最低のエラー信号（システム性能指標）を与えた制御値のセッティングを、制御値βで示すように、引続き使用するために選ぶことができる。
【００４６】
図６は、同時に試行錯誤判断を行う代わりの方法を示す。この場合は、非動き補正及びテスト補間映像の対の中央部分を比較する。映像の一部分だけを比較するので、α−δ，α及びα＋δに対する３つの比較を同時に行えるように処理能力を高めることができる。これは、テストしようとする映像のその部分を追跡する読出しアドレスを用い、図３の装置を介して入力フレームメモリから適正なピクセル値を読出すことにより、達成されるであろう。３つの試行錯誤比較が終わると、最低のシステム性能指標を与えるものとして新しいセッティングβが選ばれる。
【００４７】
図７は、システム性能指標（ＳＰＦ）対被制御システムセッティングの関数の中に１つより多い最小点が存在する場合、システムにおいて発生する可能性がある問題を示すものである。かような場合、システムが実際に最低でないシステム性能指標最小点を識別してそれを保持する可能性がある。これを防ぐため、現在使用しているかもしれない間違った最小点から逃れるために、現在使用しているセッティングとかなり異なる試行錯誤セッティングを周期的に選ぶように、システムを構成することができる。
【００４８】
図８は、出力補間器から送られた少なくとも１つの補間映像から、テスト補間映像を補間するテスト補間器を有する他の具体構成（実施例２）を示すブロック図である。こうすると、システム性能の解析を、出力映像が入力映像と一致するときばかりでなく連続的にモニタすることができる。即ち、入力ビデオ信号は、システムに対して１次補間器として働く出力補間器を含む主方式変換器４６に供給される。入力ビデオ信号はまた、等化遅延ユニット４８，５０を経て（１次）エラー解析ユニット５２及びエラー減少ユニット５４に送られる。エラー解析ユニット５２には、主方式変換器４６により使用される各ピクセルに対する動きベクトルが、等化遅延ユニット４８を介して到着する入力ビデオと同期して送られる。エラー解析ユニット５２はまた、主方式変換器４６から補間映像出力を受ける。
【００４９】
これらの補間映像は、供給された動きベクトルを用いて、それらが導出された入力映像と時間的に一致するように投影される。もし補間過程に人為雑音がなかったならば、原入力映像が上記補間映像出力から主方式変換器４６によって再発生される筈であり、エラー解析ユニット５２がこれらの映像を減じたとき、何も差は見られないことになる。人為雑音があれば、エラー解析ユニット５２における減算によって作られるエラー信号がこれを示す。
【００５０】
エラー減少ユニット５４は、等化遅延ユニット４８，５０を介して入力映像を受け、関係映像の特定部分に対し主方式変換器４６によって達成された結果よりよい結果を得るために、更に出力補間を行うものである。エラー解析ユニット５２は、エラーが生じた映像の適正なエラー部分を識別する。この情報はそれから、試行錯誤解析に基いて適切に調整された代わりのパラメータ制御値を発生するために、回路の外の場所で使用される。
【００５１】
エラー減少ユニット５３が補修を試みたエラー部分は、入力ビデオの対応する選択（された）部分と共に２次エラー解析ユニット５６に供給される。この２次エラー解析ユニット５６は、更にテスト補間器を含む。このテスト補間器は、上記エラー部分に対して補修を試みたもの（パッチ）を入力ビデオの対応部分上に逆投影し、１次エラー解析ユニット５２におけるものと類似のもう１つの減算手段により両者の差を取る。これら２つの信号の差は、もう１つのエラー信号を形成し、１次エラー解析ユニット５２からの原エラー信号と比較して、エラー減少ユニット５４が試みた補修の結果が良くなっているか或いは悪くなっているかを決めるのに用いられる。主方式変換器４６に対する制御値を、２次エラー解析ユニット５６からの出力によって調整してもよい。
【００５２】
ミキサ５８は、時間遅延線６０を介して主方式変換器４６から原出力補間映像を受けると共に、２次エラー解析ユニット５６から上記エラー部分に対する補修パッチを受ける。もし、補修部分が主方式変換器４６により作成されたものより質が良ければ、ミキサ５８はこれらを選択して出力する。その他の場合は、主方式変換器４６から出力を取る。
【００５３】
図８の具体構成の総合動作は、次のとおりである。主方式変換器４６が動き補正出力ビデオを生じ、この出力を各出力ピクセルに対して選択したベクトルと一緒にエラー解析ユニット５２に供給する。エラー解析ユニット５２は、「入力」ビデオと一致するビデオを（入力ビデオとベクトルからむ補外（推定）により）発生する。このテスト補間ビデオを参照ビデオと呼んでもよい。参照ビデオを実際の入力ビデオと比較する。かなりの差がある部分が、主方式変換器４６のエラーを発生している場所を示す。
【００５４】
エラー解析ユニット５２でフラグした（フラグを立てた）部分を、実効的にもう１つの小さい方式変換器であるエラー減少ユニット５４において（最初に用いたパラメータを変えた又は制御したパラメータを使用して）やり直すことができる。変えることができるパラメータの例としては、ベクトル推定に用いる閾値がある。制御されるパラメータの例としては、エラーを生じているピクセル位置のベクトルを、エラー減少ユニット５４内で繰返されるベクトル選択過程から隠す場合が挙げられる。
【００５５】
エラー減少ユニット５４からのやり直されたビデオは、２次エラー解析ユニット５６に供給され、入力ビデオと比較できる参照ビデオの発生に使用される。このやり直されたビデオは、そのエラーが原出力より少ない場合に出力ミキサ５８に送られる。この改善された出力を生じたパラメータの変化はまた、主方式変換器４６にも送られる。
【００５６】
出力ミキサ５８は、やり直されたビデオ部分を主方式変換器４６からの原出力と組合せる。
【００５７】
エラー減少ユニット５４のサイズは、法外なものとするには及ばない。一般に最悪の場合でも画像の１０％しかやり直す必要がない場合、エラー減少ユニット５４は、主方式変換器４６が取扱うデータの１０％に対処するよう設計するだけでよい。エラー減少ユニット５４は、主方式変換器４６のアルゴリズムと全く異なるアルゴリズムで動作するように作るのがよい。例えば、エラー減少ユニット５４におけるベクトル推定過程を、主方式変換器４６でブロック突合せに基くのに対し、位相相関に基くものとしてもよい。
【００５８】
図９は、図８の具体構成のオフライン型のもの（実施例３）を示すブロック図である。ビデオテープレコーダ６２，６４は、システムに対する入力映像及び出力映像のメモリを提供する。補間しようとする入力映像は、少なくとも２つの入力映像を記憶しうる入力時間遅延ユニット６８を介して主方式変換器６６に供給される。主方式変換器６６は、入力映像を補間して補間出力映像を出力ミキサ７０に供給する。入力映像及び補間出力映像はまた、各出力ピクセルに対するベクトルと共にエラー解析ユニット７２に供給される。
【００５９】
エラー解析ユニット７２は、出力補間映像を入力映像時間位置に逆投影し、減算を行って出力補間映像内の人為雑音を示すエラー信号を導出する。このような人為雑音が見付かると、エラー解析ユニット７２は、主方式変換器６６を制御してそれらのエラー部分をやり直す。その際、入力時間遅延ユニット６８に一時記憶した入力映像を用いる。これらのやり直した部分を、出力ミキサ７０において該映像の残りと混合し、これを出力ビデオテープレコーダ６４に供給することができる。
【００６０】
図９の具体構成は、図８に示したオンライン発生用のものを簡略化したものと考えることができる。本システムに対する入力は、主方式変換器６６によって処理され、その出力はエラー解析ユニット７２及び出力ミキサ７０に供給される。
【００６１】
エラー解析ユニット７２は、補間された映像ビデオと各出力映像ピクセルに対するベクトルとを用いて参照ビデオフレームを発生し、これを入力映像ビデオと比較する。この比較で所定閾値を越えるエラー信号が見付かると、出力ビデオの対応するエラー部分をやり直す。
【００６２】
やり直しをしようとする場合、所要の入力映像ビデオを、主方式変換器６６を介してビデオテープレコーダ６２又は任意の入力時間遅延ユニット６８のどちらか一方から再生する。今度は、主方式変換器６６が図８のエラー減少ユニット５４の機能を行う。この場合、主方式変換器６６を最大サイズのビデオデータに対処するよう設計する。そうすると、エラー減少ユニットとして動作するとき、ハードウェアの能力の範囲内でもっと多くのパラメータ変更を試みることができる。最悪の場合でもビデオの１０％しかやり直す必要がないと仮定すると、主方式変換器６６の能力で、よりよい結果を生ずる１つのパラメータを見付けるのに、システム・パラメータの１０通りの変化を試すことができることになる。主方式変換器６６によるビデオのやり直しが終わると、それを再びエラー解析ユニット７２に入れ、そこで、それを入力映像時間位置に逆補間しエラー信号を導出するのに使用する。やり直したビデオが原ビデオより良ければ、それを選択して出力ミキサ７０に前もって記憶されたものと混合する。主方式変換器６６は、映像の当該部分に対してこの改善された出力を生じたパラメータ変化を採用することができる。こうして、最良の結果を与えるものに基いて変換しようとする映像の種々異なる部分に対し、夫々異なるシステム制御パラメータで上記変換器を動作させることが可能となる。
【００６３】
図１０及び１１は、出力補間映像から参照映像、即ちテスト補間映像を発生する方法を示す。図１０では、出力補間映像が入力映像と一致する時間に順方向投影されており、図１１では、出力映像が入力映像と一致する時間に逆方向投影されている。
【００６４】
図１２は、順方向及び逆方向に投影された映像を用いてエラー信号を導出する回路を示す。入力映像ビデオは方式変換器７４に供給され、そこで出力補間映像が発生される。順方向及び逆方向投影ユニット７６，７８はそれから、図１０及び１１に示した夫々の処理を行ってテスト補間映像を生成する。減算器８０，８２は、入力映像と時間的に一致する位置に投影されたこれらの参照映像との差を、等化遅延ユニット８４を介して供給される入力映像ビデオ信号を用いて作成する。減算器８０，８２からの出力は、フィルタ及び加算ユニット８６，８８に供給され、そこで図２〜４の具体例について前に述べた種類のフィルタリング（ろ波）作用を受けたのち、加算器９０によって結合されエラー信号を生じる。
【００６５】
図１３は、目立つエッジ効果を避けるため、図８及び９のミキサ５８，７０において最初に補間された映像とやり直された補間映像とを一緒に混合するのに使用できる加重（重み付け）関数δを示す。加重関数は、エラー部分の中心における１の値からエラー部分より離れたゼロの値まで変化する。加重関数は、エラー部分の中心からの変位を表すｘ，ｙ座標に応じて決まる。
【００６６】
図１４は、図８及び９のミキサ５８，７０の動作を示す。原（最初の）ブロックとやり直されたブロックとは夫々乗算器９２，９４に供給され、そこで両者に夫々加重関数の補数（１−δ_x,y）と加重関数δ_x,yとが乗ぜられ、加算器９６に送られる。やり直されたブロックの中心では、出力はやり直しブロックから全部取出される。こうすると、やり直されたデータと原データとの間の滑らかな移り変わりが得られる。
【００６７】
【発明の効果】
以上説明したとおり、本発明によれば、動き補正出力映像発生装置において、補間出力映像における人為雑音を減らすための装置への制御入力を自動的に調整することができる。
【図面の簡単な説明】
【図１】時間的に隣接する入力映像から動き補正補間された出力映像を発生する場合の、入力及び出力映像の時間関係を示す説明図である。
【図２】図１の動き補正補間を行う装置を示すブロック図である。
【図３】図２の装置をエラー信号の発生に用いるように変形したものを示すブロック図である。
【図４】図２及び図３の装置を使用したシステムの例（実施例１）を示すブロック図である。
【図５】制御値を調整するための映像順次試行錯誤方法を示す説明図である。
【図６】制御値を調整するための同時試行錯誤方法を示す説明図である。
【図７】制御値の最良セッティング探索に発生する問題を示す図である。
【図８】図５及び６の代わりの方法を用いる実時間型方式変換システムの例（実施例２）を示すブロック図である。
【図９】図８のシステムを非実時間型にした例（実施例３）を示すブロック図である。
【図１０】出力補間映像から参照（テスト補間）映像への順方向投影を示す説明図である。
【図１１】出力補間映像から参照（テスト補間）映像への逆方向投影を示す説明図である。
【図１２】順方向及び逆方向投影を用いてエラー信号を導出する回路を示すブロック図である。
【図１３】ミキサでやり直し及び非やり直し映像部分の混合に用いる加重関数を示す図である。
【図１４】図１３の加重関数を用いてやり直し及び非やり直し映像部分を混合するミキサの動作を示すブロック図である。
【符号の説明】
２４，２６ベクトル適用及び補間ユニット
２８，３０乗算器
３２加算器
２８，３０，３２減算手段
３６補間器段（出力補間器及び減算手段）
４４制御装置（制御入力調整手段）
４６主方式変換器（１次出力補間器を含む。）
５２１次エラー解析ユニット（減算手段を含む。）
５４エラー減少ユニット（２次出力補間器を含む。）
５６２次エラー解析ユニット（減算手段、テスト補間器及び調整手段を含む。）
６６主方式変換器（出力補間器及びエラー減少ユニットを含む。）
７２エラー解析ユニット（２次エラー解析ユニットを含む。）
７４方式変換器
７６，７８テスト補間器
８０，８２減算手段[0001]
[Industrial application fields]
The present invention relates to the field of motion compensated video interpolation, and more particularly, to a motion compensated output video generation method (apparatus and method) for generating an output video having an output rate from an input video having an input rate different from the output rate. is there.
[0002]
[Prior art]
For example, motion compensated video interpolation used for standard conversion from film to television or from one television format to another television format is well known. An example of such a device is described in UK published patent application GB-A-2,231,749 (Sony Corporation). Known motion-compensated standard converters suffer from artifacts. These artificial noises can be controlled by adjusting system parameters such as threshold values and conversion modes. The operator needs to examine the output video for errors and control or correct system parameters accordingly. This is not only expensive, but unsatisfactory for online operation.
[0003]
[Problems to be solved by the invention]
An object of the present invention is to improve the quality of output video by controlling the system parameters as described above more efficiently.
[0004]
[Means and Actions for Solving the Problems]
The present invention provides an apparatus for generating motion-corrected output video having an output rate different from the input rate from an input video having an input rate as viewed from one aspect, and includes the following components. Adjacent in time First input video and second input video An output interpolator for generating video interpolated at the output rate according to the video motion vector from
Of the images interpolated from the first input image and the second input image, an image that substantially coincides with the first input image as a test interpolation image, at least a part of the test interpolation image, and Error signal generating means for generating an error signal by obtaining a difference between at least a part of a non-motion corrected video that is a video that has not undergone motion correction for the first input video. ,
According to the above error signal Control means for controlling the operation of generating the output rate-corrected output video at the output rate .
[0005]
The present invention From first input video and second input video that are temporally adjacent Interpolated video Video (test interpolation video) that almost matches the first input video in time The Its first Input video The video is not motion compensated It is based on the recognition that an automatic feedback (feedback) path is provided by comparing with a non-motion corrected image. If there is a difference between these two images, it can be attributed to some human noise generated in the motion compensation interpolation process. Thus, the error signal derived from the difference between the two videos gives a measure of the amount of human noise in the video, and Output interpolator It can be used as a feedback signal to adjust the control input to. If there is no human noise, the input video is effectively used as a reference signal that should be faithfully reproduced by the motion compensation interpolation process.
[0006]
The amount of hardware that needs to be added to implement the present invention is When the interpolated image from the output interpolator substantially coincides in time with the first input image, In the preferred embodiment of the present invention in which the test interpolated image is produced by the output interpolator, it can be reduced in a good manner.
[0007]
In synchronous systems with different output rates and input rates, or even in asynchronous systems, there are times when the output frame approximately matches the input frame in time. When this happens, there is very little, if any, processing to create the output frame from the input frame, and the above-described control action is taken advantage of the spare hardware capabilities in the system. It can be carried out.
[0008]
In synchronous systems, there may be times when there is an exact match in time, but in asynchronous systems, certain types of frames can be used to make sure that the frames match in time so that a meaningful comparison can be made. Threshold setting is required. If there is a match less than 4% of one video period, it will probably be acceptable.
[0010]
As mentioned above, Interpolated video from the output interpolator When First It is important that there is some mechanism for determining when the input video substantially coincides with time. A good way to handle this is as follows: A first time substantially coincident with the interpolated video from the output interpolator. A threshold detector for detecting an input image is provided. The detector has a maximum motion vector for the interpolated video and the interpolated video. First A value that is less than the threshold value multiplied by the time displacement (deviation) value from the input video. A first time substantially coincident with the interpolated video from the output interpolator. Detect as input video.
[0011]
Providing a threshold detector that operates to respond to the largest motion vector within a particular scene (scene) will allow the system enough time to allow the test interpolated video and the corresponding input video to be found in time agreement. The degree of movement that exists can be taken into account when determining whether or not they are close together. That is, if there is a large movement, the video must be closer in time. Otherwise, the above comparison will be incorrect due to the true difference between the images due to that motion.
[0012]
The demand for data processing capability of a system that performs motion compensated video interpolation is high. The amount of video data to be processed and the number of calculations to be performed are generally large. In order to handle this, the device needs to operate fast and efficiently. In a preferred embodiment of the invention, the interpolator includes the following components.
A first multiplier for multiplying a pixel value from the first input image by a first temporal weighting (weighting) factor to generate a first partially interpolated pixel value;
A second multiplier for multiplying a pixel value from the second input image by a second temporal weighting factor to generate a second partially interpolated pixel value;
An adder that adds the first partial interpolation pixel value and the second partial interpolation pixel value to generate an interpolated pixel value;
[0013]
For interpolators of the above format that perform standard interpolation operations, this interpolator is Error signal generation means It can also be used. Therefore, in a preferred specific configuration, the above Error signal generation means Is the above First input video The first multiplier for multiplying the pixel value from by a first subtraction factor; and Second input video From the second multiplier for multiplying the pixel value from by a second subtraction coefficient that is equal in magnitude and opposite in sign to the first subtraction coefficient, and from the first and second multipliers to produce the error signal And the adder for adding
[0014]
A requirement for the subtraction operation is that the first and second subtraction coefficients must be equal in magnitude and opposite in sign. If the size of these coefficients is 1, it is advantageous to reduce the amount of processing required.
[0015]
A convenient system for identifying motion vectors for use in motion compensated interpolation processes should include the following means.
A correlation plane representing a video correlation between a search block of video data in the first input video and a portion of the second input video adjacent in time displaced by a different displacement vector from the search block is calculated. means,
Means for detecting a motion vector corresponding to the maximum correlation point in the correlation plane;
[0016]
In such systems, it is common to provide a mechanism to identify the correlation maximum point in the correlation plane that provides some degree of protection against problems such as aliasing in the correlation plane. Various tests can be used for this purpose, but a feature common to them is to set a certain correlation maximum point confirmation threshold. This threshold is a system control parameter that can be adjusted to significantly change the number of artifacts generated by the system. Therefore, in a preferred specific configuration of the present invention, the error signal is spatially low-pass filtered, Control means Acts to control the correlation maximum point confirmation threshold according to the spatially low-pass filtered error signal. This threshold value is used by the detection means to exclude correlation maximum points with insufficient clear features.
[0017]
Another system control parameter that affects output quality is the size (size) of the vector selection block matching block used. Therefore, in a preferred specific configuration, the error signal is spatially high-pass filtered and Control means However, the search block size is controlled according to the spatially high-pass filtered error signal.
[0018]
Since motion compensated video interpolation systems are complex, it is not immediately obvious whether control parameters should be adjusted to reduce human noise. When the number of detected error signals increases, the size of the vector selection block matching block needs to be increased for a certain video, while it needs to be decreased for the other video. In order to handle this, the preferred configuration is Control means Makes a test adjustment to the control input, Than the current control input value From high test control input values In the error signal generation means Generate first test error signal Let , Than the current control input value From low test control input values In the error signal generation means Generate second test error signal Let The first test error signal, the second test error signal, and the current error signal from the current control input value are compared to identify and adopt the control input value that causes the lower error.
[0019]
Thus, Control means Uses a trial and error method to determine the direction in which the control input value should be adjusted.
One method of performing such a trial and error scheme relies on the relative irregularity of scene changes and slow changes within a scene, Error signal generation means And generating the first test error signal, the second test error signal, and the current error signal from a pair of three consecutive non-motion corrected images and test interpolated images. These test error signals are compared to determine the best system parameters to use to generate the output video, and then the parameters are changed.
[0020]
Thus, if a temporal match occurs every five output frames, the original error signal is derived at output frame 0, the first test error signal is derived at output frame 5, and the second test error signal is derived at output frame 10. It will be.
[0021]
An alternative method is to derive the current error signal, the first test error signal, and the second test error signal simultaneously. This is the above Error signal generation means Would be achieved in a configuration that makes the first test error signal, the second test error signal, and the current error signal from a single non-motion compensated video repeated portion and a test interpolated video pair.
[0022]
Since each of these error signals is derived from a small portion of the same video, there is no difference due to video scene differences. Therefore, in some specific configurations, the center 1/3 of one video scene is used to derive the three error signals.
[0023]
At a more general level, it will be appreciated that the error signal and subtraction analysis described above may be performed on relevant portions of the video rather than the entire video. Furthermore, the present invention is equally applicable to systems that use either frames or fields.
[0024]
As mentioned above, in some specific configurations of the present invention, the output interpolated video is First When coincident with the input video D Error signal is derived. In another type of specific configuration, a test interpolator is provided that interpolates the test interpolated video from at least one interpolated video sent from the output interpolator.
[0025]
This way, the test interpolator does not wait for a time match to occur, from the interpolated video generated by the output interpolator, First Generate test interpolated video that temporally matches the input video. Therefore, feedback control is performed continuously and the action is faster.
[0026]
In some implementations, the test interpolator is operated in response to the motion vector used in the output interpolator, reducing the amount of hardware required. An alternative that can handle errors that may be hidden by backprojection interpolation to the time of the input video is that the test interpolator operates using a different algorithm than the output interpolator and uses its own motion vector. It is to be detected.
[0027]
In addition to the adjustment of the control parameters for the threshold and search block size described above, a control parameter may be provided that serves to control the replay of the interpolated video when an error is detected. Therefore, in a preferred specific configuration, Control means When an error portion of an interpolated video image that gives an unacceptable error signal occurs, a control input is provided to switch to another output interpolator that generates a replacement interpolated video portion to replace the error portion.
[0028]
With this preferable feature, when an error occurs in a specific error part of the video, the error part can be switched to redo using the feedback. In that case, in order to improve the quality of the video in the error portion, another vector is used or the search is performed again with a different search block size.
[0029]
As described above, it is not always immediately clear which direction the control input to the system should be adjusted in order to improve the image quality. This also applies to redoing the video. Thus, in a preferred embodiment, another test interpolator is used to interpolate at least another test interpolated video portion at a time position that substantially matches the non-motion compensated video using the alternative interpolated video portion; In order to generate another error signal, at least the other test interpolated video portion. When At least a portion of the non-motion compensated video Find the difference between one more Error signal generation means And means for controlling the switching in response to a comparison between the error signal and the other error signal.
[0030]
Said another test interpolator and said another one Error signal generation means If there is an improvement, it is possible to compare the quality of the redone error part with the one that was originally generated and replaced instead.
[0031]
If the error part of the video is redone, there is a possibility that a disturbing edge effect that does not improve the quality of the required video is introduced in the contact area between the redoed part and the part that is not redone. To reduce this, the alternative interpolated video portion from the other output interpolator and the interpolated video from the output interpolator may be combined together using a weighting function. In this case, the weighting function is such that the involvement from the alternative interpolated video portion decreases and the involvement from the interpolated video increases as the error block is separated from the error block.
[0032]
According to another aspect, the present invention provides a method for generating motion-corrected output video having an output rate different from the input rate from an input video having an input rate, which includes the following steps.
Adjacent in time according to video motion vector First input video and second input video Generating an interpolated image of the output rate from
Of the images interpolated from the first input image and the second input image, an image that substantially coincides with the first input image as a test interpolation image, at least a part of the test interpolation image, and By determining a difference between at least a part of the non-motion-corrected video that is a video that is not motion-corrected from the first input video Creating an error signal,
Controlling an operation of generating an output image whose motion is corrected at the output rate according to the error signal.
[0033]
【Example】
Hereinafter, the present invention will be specifically described with reference to the drawings.
FIG. 1 shows the relative time positions of a series of input video 2 and output video 4. As shown in the figure, groups of six input videos 6 are associated (mapped) with groups of five output videos 8. Such a mapping is seen in the format conversion from 60 Hz to 50 Hz.
[0034]
The example shown is for a synchronous system. In this example, the fifth output images 10 and 12 are temporally coincident with the corresponding input images 14 and 16. The relative time position of the output video 4 within the period between the two input videos 2 is shown in the lower part of the figure. In this synchronization system, their positions are t = 0, 0.2, 0.4, 0.6 and 0.8. In an asynchronous system, the relative time position will not be such a round number value, but the same phenomenon will be seen through a series of output images 4. That is, an output image that substantially coincides with the corresponding input image in time will be generated periodically.
[0035]
For an output video that does not coincide with the input video in time, motion correction interpolation is performed between temporally adjacent input videos, and an output video is derived. Considering the output video 18 now, this is the forward (front) direction projection of the vector (indicated by + v) from the input video 20 and the reverse (after) of the vector (indicated by −v) from the input video 22. Made by directional projection. Since the relative time position between the input videos 20 and 22 is t = 0.2, weighting (weighting) is performed so that the involvement from the input video 20 is greater than the involvement from the input video 22. This is a linear weighting that the involvement from the input image 20 is multiplied by 0.8 and the involvement from the input image 22 is multiplied by 0.2. Other weights are possible, such as cosine weighting.
[0036]
FIG. 2 is a block diagram showing a part of the apparatus that performs the motion compensation interpolation operation of FIG. The temporally adjacent input images are input along the signal lines of the current video and the next video. This is fed to vector application and interpolation units 24 and 26, respectively. The motion vectors identified between temporally adjacent input images are also supplied to these units. When trying to derive a particular pixel value in the output interpolated video, the motion vector for that point is applied as a backward projection in the vector application and interpolation unit 26 and as a forward projection in the vector application and interpolation unit 24. These vector applications are also weighted according to the relative time position of the output interpolated video between the two input videos, as shown by the vectors v · t and v (1-t).
[0037]
The pixel values in the input image pointed to by the backward and forward projected vectors are then supplied to first and second multipliers 28 and 30, respectively. These multipliers weight the pixel values according to the temporal proximity of the output interpolated video (indicated by weighting factors (1-t) and t). These outputs are then provided to adder 32, from which output interpolated pixel values are provided.
[0038]
FIG. 3 shows a modification of the apparatus of FIG. 2 to derive an error signal. In the operation form of this circuit, the output interpolated video substantially coincides in time with the input video in the current video signal line. Thus, the system output can be extracted from the output of multiplier 28 by tapping. This output has been subjected to the same filtering (filtering) and other processing that are usually performed during motion correction interpolation, except for addition by the adder 32. As system outputs, alternative taps may be taken from between the vector application and interpolation unit 24 and the multiplier 28 or upstream of the vector application and interpolation unit 24 using an equalization delay (ED) 34.
[0039]
The motion vectors between the temporally adjacent input images of the current video signal line and the next video signal line are supplied to the vector application and interpolation units 24,26. Since the time position t is almost zero, the vector application and interpolation unit 24 effectively performs a zero motion (no motion) correction operation. However, the vector application and interpolation unit 26 effectively reverse projects the motion vector to the maximum to produce what should correspond to the system output (non-motion compensated video) (test interpolated video).
[0040]
Multipliers 28 and 30 are supplied with weighting factors +1 and −1, respectively. Together with the operation of the adder 32, these coefficients serve to provide means for subtracting the test interpolated video output from the multiplier 30 from the non-motion corrected video output from the multiplier 28. The output from the adder 32 corresponds to an error signal indicating a difference between what is supposed to be the result of interpolation and what is interpolated. If the interpolation is completely accurate without artifacts, the error signal for all points in the output video will be zero.
[0041]
In a synchronous system that is forced to lock so that a zero time position occurs, this analysis can be performed periodically. For example, in a 60 Hz to 50 Hz conversion, a zero time position will occur every 5 output fields (100 ms). Even in asynchronous systems, this technique can be applied, but the zero position will rarely occur. By processing time positions close to t = 0 (for example, approximately t <0.04) such that t = 0, it is possible to increase the frequency of analysis at the expense of temporal smoothness of output. An improvement of this method is to access the maximum motion vector for the output video (which can be taken from the previous processing to extract the motion vector) and multiply it by the time position of the output video. If the result is compared to a threshold and the combined result of the relative time position and amount of motion of the video indicates that the output is approximately in time with the input to produce a meaningful error signal Decide.
[0042]
FIG. 4 is a block diagram showing a system (first embodiment) having the apparatus shown in FIGS. The system has a (standard) converter 34 that includes an interpolator stage 36. Interpolator stage 36 provides on line 38 a system output consisting of the output interpolated video and the video tapped from downstream of multiplier 28 during system analysis, as shown in FIG. The error signal of FIG. 3 is sent to an error filter 40 where it undergoes various filtering processes, such as spatial low-pass filtering and spatial high-pass filtering. The filtering process is non-linear, for example, setting a threshold to remove errors below a certain value, or applying exponential weighting to increase the involvement of high contrast errors. The output (s) of the error filter 40 are supplied to the summing unit 42 where they are summed for one output video. A system performance index (SPF) for the video can be supplied to the controller 44 and a control input to the system converter 34 can be provided.
[0043]
An error field derived from the error signal can be analyzed by low-pass filtering to obtain information on a region (part) having a large error. This can be used to control a threshold used for vector estimation in order to clearly define the maximum correlation point before using the maximum correlation point as a source of motion vectors. Additionally or alternatively, the error signal may be high pass filtered to obtain information about the portion of the error that is small. This information can be used to control the size of the vector selection block matching block used for known motion vector identification.
[0044]
The direction in which the control parameter should be moved to reduce the amount of error that is present is not always clear, and is thought to depend in particular on the nature of the image currently being processed. Figures 5 and 6 show two different ways to handle this. FIG. 5 relates to the conversion shown in FIG. 1 in which a temporal coincidence point between the input video and the output video occurs for every fifth output video. If the control value is set to have the value α, this is the system performance index SPF for output frame 0. ₀ , And in the output frame 5, an alternative test control value α + δ is tried and the system performance index SPF _Five Produce. This process is repeated for output frame 10. However, the control value is now set to α−δ.
[0045]
When these three system performance indicators have been derived for successive non-motion correction and test interpolated video pairs, the control value setting that gave the lowest error signal (system performance indicator) is indicated by the control value β. As you can, you can choose to continue to use.
[0046]
FIG. 6 shows an alternative method for making a trial and error decision at the same time. In this case, the middle part of the pair of non-motion compensated and test interpolated images is compared. Since only a portion of the video is compared, the processing capability can be increased so that three comparisons for α−δ, α, and α + δ can be performed simultaneously. This would be accomplished by reading the appropriate pixel value from the input frame memory via the device of FIG. 3 using a read address that tracks that portion of the video to be tested. After three trial and error comparisons, the new setting β is chosen to give the lowest system performance index.
[0047]
FIG. 7 illustrates a problem that may occur in the system when there is more than one minimum point in the function of system performance index (SPF) versus controlled system setting. In such a case, the system may identify and retain a system performance index minimum that is not actually the lowest. To prevent this, the system can be configured to periodically select a trial and error setting that is significantly different from the currently used setting in order to escape from the wrong minimum that may be currently in use.
[0048]
FIG. 8 is a block diagram showing another specific configuration (Example 2) having a test interpolator that interpolates a test interpolated video from at least one interpolated video sent from the output interpolator. In this way, system performance analysis can be continuously monitored as well as when the output video matches the input video. That is, the input video signal is supplied to a main converter 46 that includes an output interpolator that acts as a primary interpolator for the system. The input video signal is also sent to (primary) error analysis unit 52 and error reduction unit 54 via equalization delay units 48, 50. A motion vector for each pixel used by the main converter 46 is sent to the error analysis unit 52 in synchronism with the incoming video arriving via the equalization delay unit 48. The error analysis unit 52 also receives the interpolated video output from the main system converter 46.
[0049]
These interpolated images are projected using the supplied motion vectors so that they are temporally coincident with the derived input images. If there was no human noise in the interpolation process, the original input video should be regenerated by the main converter 46 from the interpolated video output and nothing will happen when the error analysis unit 52 subtracts these videos. There will be no difference. If there is an artificial noise, an error signal generated by subtraction in the error analysis unit 52 indicates this.
[0050]
Error reduction unit 54 receives the input video via equalization delay units 48, 50 and performs further output interpolation to obtain a better result than the result achieved by main converter 46 for a particular portion of the relevant video. Is what you do. The error analysis unit 52 identifies a proper error part of the video in which an error has occurred. This information is then used at a location outside the circuit to generate an alternative parameter control value that is appropriately adjusted based on trial and error analysis.
[0051]
The error portion that the error reduction unit 53 attempted to repair is supplied to the secondary error analysis unit 56 along with the corresponding selected portion of the input video. The secondary error analysis unit 56 further includes a test interpolator. This test interpolator backprojects the patch (patch) that has been repaired to the error part onto the corresponding part of the input video, and another subtraction means similar to that in the primary error analysis unit 52, Take the difference. The difference between these two signals forms another error signal, and the result of the repair attempted by the error reduction unit 54 is better or worse compared to the original error signal from the primary error analysis unit 52. Used to determine whether or not The control value for the main system converter 46 may be adjusted by the output from the secondary error analysis unit 56.
[0052]
The mixer 58 receives the original output interpolated video from the main system converter 46 via the time delay line 60 and receives a repair patch for the error portion from the secondary error analysis unit 56. If the repaired parts are better than those created by the main converter 46, the mixer 58 selects and outputs them. In other cases, the output is taken from the main system converter 46.
[0053]
The overall operation of the specific configuration shown in FIG. 8 is as follows. A master converter 46 produces the motion compensated output video and provides this output to the error analysis unit 52 along with the vector selected for each output pixel. The error analysis unit 52 generates a video (by extrapolation (estimation) from the input video and the vector) that matches the “input” video. This test interpolation video may be referred to as a reference video. Compare the reference video with the actual input video. The part where there is a considerable difference shows where the error of the main system converter 46 occurs.
[0054]
The portion flagged (flagged) by the error analysis unit 52 is effectively replaced by an error reduction unit 54, which is another small method converter (using a parameter that was originally changed or controlled). ) You can start over. An example of a parameter that can be changed is a threshold used for vector estimation. An example of a controlled parameter is to hide a vector of pixel locations that are in error from the vector selection process that is repeated in the error reduction unit 54.
[0055]
The redone video from error reduction unit 54 is fed to secondary error analysis unit 56 and used to generate a reference video that can be compared to the input video. This redone video is sent to the output mixer 58 if the error is less than the original output. The parameter change that produced this improved output is also sent to the main converter 46.
[0056]
The output mixer 58 combines the redone video portion with the original output from the main converter 46.
[0057]
The size of the error reduction unit 54 does not need to be prohibitive. In general, if only 10% of the image needs to be redone in the worst case, the error reduction unit 54 need only be designed to handle 10% of the data handled by the main converter 46. The error reduction unit 54 may be made to operate with a completely different algorithm from that of the main converter 46. For example, the vector estimation process in the error reduction unit 54 may be based on phase correlation while the main system converter 46 is based on block matching.
[0058]
FIG. 9 is a block diagram showing an offline type (third embodiment) of the specific configuration of FIG. Video tape recorders 62 and 64 provide memory for input video and output video to the system. The input video to be interpolated is supplied to the main system converter 66 via an input time delay unit 68 capable of storing at least two input videos. The main system converter 66 interpolates the input video and supplies the interpolated output video to the output mixer 70. The input video and the interpolated output video are also supplied to the error analysis unit 72 along with a vector for each output pixel.
[0059]
The error analysis unit 72 back-projects the output interpolated video to the input video time position and performs subtraction to derive an error signal indicating human noise in the output interpolated video. When such an artificial noise is found, the error analysis unit 72 controls the main system converter 66 to redo those error portions. At this time, the input video temporarily stored in the input time delay unit 68 is used. These redone portions can be mixed with the rest of the video at output mixer 70 and fed to output video tape recorder 64.
[0060]
The specific configuration of FIG. 9 can be considered as a simplified version of the online generation shown in FIG. The input to the system is processed by the main converter 66 and the output is supplied to the error analysis unit 72 and the output mixer 70.
[0061]
Error analysis unit 72 generates a reference video frame using the interpolated video video and a vector for each output video pixel and compares it to the input video video. If an error signal exceeding a predetermined threshold is found in this comparison, the corresponding error portion of the output video is redone.
[0062]
When trying to redo, the required input video is played from either the video tape recorder 62 or any input time delay unit 68 via the main converter 66. This time, the main system converter 66 performs the function of the error reduction unit 54 of FIG. In this case, the main converter 66 is designed to handle the maximum size video data. Then, when operating as an error reduction unit, more parameter changes can be attempted within the capabilities of the hardware. Assuming that only 10% of the video needs to be redone in the worst case, the ability of the main converter 66 to try 10 variations of system parameters to find one parameter that produces better results. Will be able to. When the video has been redone by the main converter 66, it is re-entered into the error analysis unit 72 where it is back-interpolated to the input video time position and used to derive an error signal. If the redone video is better than the original video, it is selected and mixed with what was previously stored in the output mixer 70. The main system converter 66 can employ the parameter change that produced this improved output for that portion of the video. In this way, the converter can be operated with different system control parameters for different parts of the video to be converted based on what gives the best results.
[0063]
10 and 11 illustrate a method for generating a reference image, that is, a test interpolation image, from the output interpolation image. In FIG. 10, the output interpolated video is projected in the forward direction at a time coincident with the input video, and in FIG. 11, the output video is reversely projected at the time coincident with the input video.
[0064]
FIG. 12 shows a circuit for deriving an error signal using images projected in the forward and backward directions. The input video is supplied to the format converter 74 where an output interpolated video is generated. The forward and backward projection units 76 and 78 then perform the respective processes shown in FIGS. 10 and 11 to generate test interpolated images. The subtracters 80 and 82 create a difference between these reference images projected at positions that coincide with the input image in time using the input image video signal supplied through the equalization delay unit 84. The outputs from the subtracters 80, 82 are supplied to filter and adder units 86, 88, where they are subjected to the type of filtering described above for the embodiments of FIGS. To produce an error signal.
[0065]
FIG. 13 shows a weighting function δ that can be used to mix together the initially interpolated video and the redone interpolated video in the mixers 58, 70 of FIGS. 8 and 9 to avoid noticeable edge effects. Show. The weighting function varies from a value of 1 at the center of the error part to a value of zero away from the error part. The weighting function is determined according to the x and y coordinates representing the displacement from the center of the error part.
[0066]
FIG. 14 shows the operation of the mixers 58 and 70 of FIGS. The original (first) block and the redone block are supplied to multipliers 92 and 94, respectively, where the complement of the weighting function (1-δ _{x, y} ) And weighting function δ _{x, y} And are sent to the adder 96. At the center of the redone block, all output is taken from the redo block. This provides a smooth transition between the redone data and the original data.
[0067]
【The invention's effect】
As described above, according to the present invention, it is possible to automatically adjust the control input to the apparatus for reducing artificial noise in the interpolation output video in the motion correction output video generation device.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a temporal relationship between input and output video when an output video that has undergone motion compensation interpolation is generated from temporally adjacent input video.
FIG. 2 is a block diagram showing an apparatus for performing motion compensation interpolation in FIG. 1;
FIG. 3 is a block diagram showing a modification of the apparatus of FIG. 2 used for generating an error signal.
4 is a block diagram showing an example (Example 1) of a system using the apparatus of FIGS. 2 and 3. FIG.
FIG. 5 is an explanatory diagram showing a video sequential trial and error method for adjusting a control value.
FIG. 6 is an explanatory diagram showing a simultaneous trial and error method for adjusting a control value.
FIG. 7 is a diagram showing a problem that occurs in searching for the best setting of control values.
FIG. 8 is a block diagram showing an example (Example 2) of a real-time system conversion system using the method instead of FIGS. 5 and 6;
FIG. 9 is a block diagram illustrating an example (third embodiment) in which the system of FIG. 8 is of a non-real time type;
FIG. 10 is an explanatory diagram showing forward projection from an output interpolation video to a reference (test interpolation) video.
FIG. 11 is an explanatory diagram showing backward projection from an output interpolation video to a reference (test interpolation) video.
FIG. 12 is a block diagram illustrating a circuit for deriving an error signal using forward and backward projection.
FIG. 13 is a diagram illustrating a weighting function used for mixing redo and non-redo video portions in a mixer.
14 is a block diagram illustrating the operation of a mixer that mixes redo and non-redo video portions using the weighting function of FIG. 13. FIG.
[Explanation of symbols]
24,26 Vector application and interpolation unit
28, 30 multiplier
32 Adder
28, 30, 32 Subtraction means
36 Interpolator stage (output interpolator and subtracting means)
44 Control device (control input adjusting means)
46 Main system converter (including primary output interpolator)
52 Primary error analysis unit (including subtraction means)
54 Error reduction unit (including secondary output interpolator)
56 Secondary error analysis unit (including subtraction means, test interpolator and adjustment means)
66 Main system converter (including output interpolator and error reduction unit)
72 Error analysis unit (including secondary error analysis unit)
74 system converter
76,78 test interpolator
80, 82 subtraction means

Claims

An apparatus for generating motion-corrected output video having an output rate different from the input rate from input video having an input rate,
An output interpolator for generating a video interpolated at the output rate from the first input video and the second input video that are temporally adjacent according to the video motion vector;
Of the video interpolated from the first input video and the second input video, a video that substantially coincides with the first input video in terms of time as a test interpolation video, and at least a part of the test interpolation video, Error signal generating means for generating an error signal by determining a difference between at least a part of the non-motion corrected video that is a video that has not undergone motion correction for the first input video;
A motion-corrected output video generation device comprising control means for controlling an operation for generating an output video whose motion is corrected at the output rate in response to the error signal.

The apparatus of claim 1, wherein the test interpolated video is generated by the output interpolator when the interpolated video from the output interpolator substantially coincides in time with the first input video .

A value obtained by multiplying an input video substantially in time with the interpolated video from the output interpolator by a value obtained by multiplying the maximum vector for the interpolated video by the temporal displacement value of the interpolated video from the input video. The apparatus of claim 2 having a threshold detector to detect.

The interpolator is
A first multiplier for multiplying a pixel value from the first input image by a first temporal weighting factor to generate a first partially interpolated pixel value;
A second multiplier for multiplying a pixel value from the second input image by a second temporal weighting factor to generate a second partially interpolated pixel value;
An adder that adds the first partial interpolation pixel value and the second partial interpolation pixel value to generate an interpolated pixel value;
The apparatus of claim 2 comprising:

The error signal generating means is
The first multiplier for multiplying a pixel value from the first input image by a first subtraction coefficient;
The second multiplier for multiplying a pixel value from the second input image by a second subtraction coefficient having the same magnitude and the opposite sign as the first subtraction coefficient;
The adder for adding outputs from the first and second multipliers to generate the error signal;
The apparatus of claim 4 comprising:

A correlation plane representing a video correlation between a search block of video data in the first input video and a portion of the second input video adjacent in time displaced by a different displacement vector from the search block is calculated. Means,
Means for detecting a motion vector corresponding to the maximum correlation point in the correlation plane;
The apparatus of claim 1 comprising:

The error signal is spatially low-pass filtered, and the control means excludes a correlation maximum point whose clear feature is insufficient in response to the spatially low-pass filtered error signal. 7. The apparatus of claim 6, wherein the apparatus operates to control a correlation maximum point confirmation threshold value used for the purpose.

7. The apparatus of claim 6, wherein the error signal is spatially high-pass filtered and the control means operates to control the size of the vector selection block match block in response to the spatially high-pass filtered error signal.

The control means performs test adjustment on the control input, causes the error signal generation means to generate a first test error signal from a test control input value higher than the current control input value, and based on the current control input value The error signal generation means generates a second test error signal from the lower test control input value, and compares the first test error signal, the second test error signal, and the current error signal from the current control input value. 2. The apparatus of claim 1 for identifying a control input value to be employed as causing a lower error.

10. The apparatus of claim 9, wherein the error signal generating means generates the first test error signal, the second test error signal, and the current error signal from a pair of three consecutive non-motion corrected images and a test interpolation image.

10. The apparatus of claim 9, wherein the error signal generating means generates the first test error signal, the second test error signal, and the current error signal from a single non-motion compensated video repeat portion and a test interpolated video pair.

The apparatus of claim 1 including a test interpolator for interpolating the test interpolated video from at least one interpolated video sent from the output interpolator.

13. The apparatus of claim 12, wherein the test interpolator operates in response to a motion vector used for the output interpolator.

13. The apparatus of claim 12, wherein the test interpolator operates using a different algorithm than the output interpolator and detects its own motion vector.

When an error part of the interpolated video that gives an unacceptable error signal occurs, the control means has a control input for switching to another output interpolator that generates a substitute interpolated video part to replace the error part. The apparatus of claim 1 to supply.

Another test interpolator that interpolates at least another test interpolated video portion at a time position substantially coincident with the non-motion compensated video using the alternative interpolated video portion;
Another error signal generating means for determining a difference between at least the other test interpolated image portion and at least a portion of the non-motion corrected image to generate another error signal;
Means for controlling the switching in response to a comparison between the error signal and the other error signal;
16. The apparatus of claim 15, comprising:

As the alternative interpolated video portion from the other output interpolator and the interpolated video from the output interpolator center on the error block and move away from the error block, the involvement from the alternative interpolated video portion 16. The apparatus of claim 15, wherein the devices are combined together using a weighting function that reduces and increases involvement from the interpolated video.

A method for generating motion-corrected output video having an output rate different from the input rate from an input video having an input rate,
Generating an interpolated video of the output rate from a first input video and a second input video that are temporally adjacent according to a video motion vector;
Of the images interpolated from the first input image and the second input image, an image that substantially coincides with the first input image as a test interpolation image, at least a part of the test interpolation image, and Creating an error signal by determining a difference from at least a portion of a non-motion corrected video that is a video that has not undergone motion correction of the first input video;
Controlling an operation of generating an output image whose motion is corrected at the output rate according to the error signal;
A motion compensation output video generation method including