JP3883589B2

JP3883589B2 - 動き予測と、異なる内挿をする信号経路とを用いてビデオ信号を形成する方法および装置

Info

Publication number: JP3883589B2
Application number: JP24547794A
Authority: JP
Inventors: ハケットアンドリュー; ニーマイケル; ケルドランヴァミシェル; ボランダーナディーヌ
Original assignee: Thomson Multimedia SA
Current assignee: Technicolor SA
Priority date: 1993-10-11
Filing date: 1994-10-11
Publication date: 2007-02-21
Anticipated expiration: 2022-02-21
Also published as: DE69434467D1; US5546130A; SG66297A1; DE69434467T2; JPH07162812A

Description

【０００１】
【産業上の利用分野】
本発明は、動き予測と、異なる補間をする信号経路とを用いてビデオ信号を形成する方法および装置に関する。
【０００２】
【技術の背景】
本発明の装置は、動き補償フィールドレートアップコンバートシステムの一部であり、入力側に存在しないテレビ画像の中間フィールドを動き補償補間により計算する。典型的な用途は、ディスプレイのフリッカを低減するためのテレビ信号の５０Ｈｚから１００Ｈｚへの変換である。
【０００３】
【発明が解決しようとする課題】
本発明の１つの課題は、関連する動きベクトルの信頼度に関連して、補間モードを選択する方法を提案することである。
【０００４】
本発明の別の課題は、本発明の方法を実施した装置を提供することである。
【０００５】
【課題を解決するための手段】
上記課題は、フィールドレートアップコンバージョンにおいてビデオ入力信号からビデオ出力信号を形成するための方法において、ビデオ入力信号のピクセルブロックに関して局所的に動き予測を行い、この予測された動きを用いて前記ビデオ入力信号のピクセル値の動き補償補間を行うステップを有し、ただし、前記の局所的動き予測はブロックマッチングを使用し、最小ブロックマッチング誤差に対応する動きベクトルを選択するものであり、動きが速すぎる又は複雑すぎて予測できないピクチャ内容に対しては、動き補償を用いないフォールバック補間である前記別種の補間を用いて、前記入力信号のピクセル値を局所的に補間するステップを有し、前記ブロックマッチング誤差および／または前記画素ブロック動きベクトルもしくは当該ベクトルの水平および垂直成分の値または事前処理された値から最小値をとるか、またはこれらの値の乗算により、信頼度を計算するステップを有し、前記動き補償補間されたピクセル値と前記フォールバック補間されたピクセル値を前記信頼度に応じて結合することにより、前記ビデオ出力信号のピクセル値を形成するステップを有しており、ただし、前記ブロックマッチング誤差が増大する場合には、前記フォールバック補間されたピクセル値の重みに対して前記動き補償補間されたピクセル値の重みを低下させるようにすることにより解決される。
【０００６】
原理的に、中間フィールドの全ての画素を、動き補償補間回路の直接の出力にすることができる。しかし、実際は正確に予測するには移動が早すぎ、または複雑すぎる画像領域が常に存在する。出願人のヨーロッパ特許第９３４０２５０５号明細書に’フォールバック処理’が記載されており、そのような領域に、特別な非補償フォールバックモードまたは他の類似のモードを用いることができる。
【０００７】
実際に最終出力は、動き補償補間とフォールバックモードとの間のフェード、すなわちソフトスイッチの結果から得られ、前記スイッチは、予測された動きベクトルの信頼度により制御される。信頼度は０から１までの値をとり、ここで０（全く信頼できない）でフォールバックモードだけを選択し、１（最大の信頼度）で動き補償補間だけを選択し、中間値で２つの間を両者をミックスした線形補間をする。
【０００８】
有利にも、信頼度は次の２つの成分を有する。すなわち、動き測定の誤差を反映している’基本的信頼度’と移動速度に基づく信頼度とを有する。
【０００９】
原理的に本発明の方法は、動き予測と、異なる補間、特に有利には動き補償補間信号経路およびフォールバック補間信号経路とを用いてビデオ信号を形成するのに適しており、前記異なる信号経路の出力信号を、ビデオ入力信号の、特にブロックに基づく最小動き予測誤差から得られる信頼の程度と関連して結合する。
【００１０】
原理的に、本発明の動き予測と、異なる補間、たとえば動き補償補間およびフォールバック補間とによる信号経路とを用いてビデオ信号を形成する装置は、以下の手段を有している。すなわち、
ビデオ入力信号のピクセルブロックに関する局所的な動き予測とこの予測された動きを用いた前記ビデオ入力信号のピクセル値の動き補償補間のための手段を有し、ただし、前記の局所的動き予測はブロックマッチングを使用し、最小ブロックマッチング誤差に対応する動きベクトルを選択するものであり、
動きが速すぎ又は複雑すぎて予測できないピクチャ内容に対して、動き補償を用いないフォールバック補間である前記別種の補間を用いて、前記入力信号のピクセル値を局所的に補間する手段を有し、
前記ブロックマッチング誤差から信頼度を計算する手段を有し、
前記動き補償補間されたピクセル値と前記フォールバック補間されたピクセル値を前記信頼度に応じて結合することにより、前記ビデオ出力信号のピクセル値を形成する手段を有しており、ただし、前記ブロックマッチング誤差が増大する場合には、前記動き補償補間されたピクセル値の重みは前記フォールバック補間されたピクセル値の重みに対して低下させられる。
【００１１】
動き補償補間手段およびフォールバック補間手段を有しており、前記両補間手段は、前記ビデオ入力信号を受信し、それらの出力画素値が、ビデオ入力信号のブロックに基づく最小動き予測誤差、および関連するブロック動きベクトル、または該ベクトル成分から結合手段で導出される信頼度の値と関連して、別の結合手段で混成され、
さらに前記入力信号から、前記ブロックに基づく最小動き予測誤差、および前記関連するブロック動きベクトル、または該ベクトル成分を計算する動き予測手段、または伝送された入力信号のデータ流から、前記ブロックに基づく最小動き予測誤差、および相関する前記ブロック動きベクトル、または該ベクトル成分を抽出する動き情報抽出手段を有している。
【００１２】
本発明の別の実施例は、各実施態様から明らかである。
【００１３】
【実施例】
本発明の実施例を添付図面を参照して説明する。
【００１４】
動き測定の１つの方法は、出願人のヨーロッパ特許第９３４０２１８８号明細書に記載のように、サブブロックマッチングを用いる局所化処理が後続するブロックマッチングである。
【００１５】
そのようなサブブロックマッチング処理は、動きベクトルを生成し、その成分はメディアンフィルタで処理される。動きベクトルの算出において、サブブロックマッチング処理または他の全ての類似の処理は、候補となる各動きベクトルに対する誤差（たとえば、マッチングに用いられる２つのブロック内の対応する画素値の間の差分の絶対値または２乗の和）を生成し、最小の誤差を与えるベクトルを選択する。
【００１６】
この最小の誤差値は、図１に示す規則に従って基本的信頼度を計算するために用いられる。このサブブロックマッチング誤差ＳＢＭＥが零の場合、信頼度ＣＦは最大値１をとる。誤差ＳＢＭＥがカットオフ値ＣＶまで増加するにつれて、信頼度は最小値零まで減少する。その他に、サブブロックマッチング誤差と信頼度との間の類似の関係（たとえば、サイン関数、コサイン関数、またはガウス関数の一部）も、そのような制限フィルタに使用することができる。
【００１７】
この基本的信頼度に関する１つの問題は、通常サブブロックマッチング処理が、精密な背景を移動する対象のエッジの周りに大きな誤差を生成し、信頼度を低くするかまたは零にすることである。このことは、動きベクトル自体は正しくエッジに追従しているとしても、フォールバックモードを用いてエッジは補間されることを意味する。解決策は、サブブロック誤差をたとえば３×３窓のランクオーダフィルタに通過させることである。フィルタはメディアンフィルタ、または別のたとえば窓内の３番目に大きな誤差値を選択するランクオーダフィルタにすることができる。
【００１８】
有利にも信頼の尺度は、移動速度ＥＳを考慮するように変更することができる。この変更の目的は、動きベクトルを用いて予測することができ、かつ符号化することのできる移動速度の範囲を超えて対象が加速される場合、補間モードをスムーズにフォールバックモードに確実に切り換えるためである。適用することのできる適当な規則の一例を図２に示す。ここでも移動速度ＥＳと信頼度ＣＦとの間の他の関係（たとえば、異なるスタート値ＳＶサイン関数、コサイン関数、またはガウス関数の一部）を用いることもできる。
【００１９】
その規則は、実の移動速度、または動きベクトルの２つの成分に別個に適用することができ、２つの結果の最小値または他の結合を用いる。たとえば、最小値をとるかまたは乗算をとるかによって、その結果を信頼性の主尺度とする。
【００２０】
図３の信頼度の測定回路において、ビデオ入力信号、たとえば５０Ｈｚ、２：１、または６０Ｈｚ、２：１は、動き補償補間回路ＭＣＩ、フォールバックフィルタＦＦＩ、および動き予測器ＭＥに供給される。ソフトスイッチＳＳＷは、補間回路ＭＣＩとフィルタＦＦＩの出力信号に対して動作し、１００／１２０Ｈｚ、２：１、または５０／６０Ｈｚ、１：１の形を有する最終的な出力信号Ｏを出力する。スイッチＳＳＷは、結合器ＣＢから出力される信頼度信号ＣＦにより制御される。動き予測器ＭＥは、関連する動きベクトルのブロックマッチング誤差ＢＭＥ、水平方向成分ＭＶＸ、および垂直方向成分ＭＶＹを計算する。
【００２１】
もし動き予測器が送信機内に配置され、図３の回路が受信機、たとえばＴＶ受信機の一部であるとすると、これらの値を伝送することができる。その場合、回路ＭＥは、マッチング誤差、および／または動きベクトル、および／またはその成分を、伝送された入力信号のデータ流から抽出する。動き情報を補間回路ＭＣＩに使用することもできる。
【００２２】
誤差ＢＭＥは、ランクオーダフィルタＲＯＦＩ、たとえばメディアンフィルタと、図１の規則に従って動作する第１重み付けフィルタＬ１とを通り、結合器ＣＢに供給される。
【００２３】
水平方向のベクトル成分ＭＶＸは、第１メディアンフィルタＭＦＩ１と、図２の規則に従って動作する第２重み付けフィルタＬ２とを通り、結合器ＣＢに供給される。
【００２４】
垂直方向のベクトル成分ＭＶＹは、第２メディアンフィルタＭＦＩ２と、図２の規則に従って動作する第３重み付けフィルタＬ３とを通り、結合器ＣＢに供給される。
【００２５】
結合器ＣＢは、上述のように動作し、メモリ手段に記憶されているルックアップテーブルのように作動することができる。フィルタＬ２とＬ３の規則を異なるものにすることができる（異なる関数、または異なるスタート値ＳＶ）。フィルタＬ１、Ｌ２、およびＬ３に表示される規則をルックアップテーブルに記憶することができる。
【００２６】
特定の画像データの特性（たとえば、カメラ／フィルムのモード）の場合、異なる規則を選択することができ、または規則メモリにダウンロードすることができる。
【００２７】
色成分が、信号ＣＦにより、輝度成分と一緒に制御されない場合、それらを色成分のために特に構成された規則を有する図３の別の手段により処理することができる。
【００２８】
また、本発明を標準変換、冗長度抑圧符号化、デジタルＨＤＴＶ、デジタルＶＣＲ、およびＭＰＥＧ１またはＭＰＥＧ２装置（ＩＥＣ／ＩＳＯ標準）に用いることができる。冗長度抑圧符号化の場合、フォールバック処理は、フィールド内符号化にすることができる。
【００２９】
【発明の効果】
本発明により、動きベクトルの信頼度に関連して、補間モードを選択する方法および装置を提供することができる。
【図面の簡単な説明】
【図１】サブブロックマッチング誤差に対する信頼度に関する規則の一例を示す線図である。
【図２】予測速度に対する信頼度に関する規則の一例を示す線図である。
【図３】信頼度を測る装置のブロック図である。
【符号の説明】
ＭＣＩ動き補正形内挿回路
ＦＦＩフォールバックフィルタ
ＳＳＷソフトスイッチ
ＭＥ動き予測器
ＲＯＦＩランクオーダフィルタ
ＭＦＩ１第１メディアンフィルタ
ＭＦＩ２第２メディアンフィルタ
Ｌ１第１重み付けフィルタ
Ｌ２第２重み付けフィルタ
Ｌ３第３重み付けフィルタ
ＣＢ結合器

Claims

動き予測と、一方の信号経路においては動き補償補間を含み、他方の信号経路においては別種の補間（ＦＦＩ）を含む異なる補間処理を備えた信号経路とを用いて、フィールドレートアップコンバージョンにおいてビデオ入力信号（Ｉ）からビデオ出力信号（Ｏ）を形成するための方法において、該方法は、
前記ビデオ入力信号（Ｉ）のピクセルブロックに関して局所的に動き予測（ＭＥ）を行い、この予測された動きを用いて前記ビデオ入力信号（Ｉ）のピクセル値の動き補償補間（ＭＣＩ）を行うステップを有し、ただし、前記の局所的動き予測はブロックマッチングを使用し、最小ブロックマッチング誤差に対応する動きベクトルを選択するものであり、
動きが速すぎる又は複雑すぎて予測できないピクチャ内容に対しては、動き補償を用いないフォールバック補間である前記別種の補間を用いて、前記入力信号（Ｉ）のピクセル値を局所的に補間するステップ（ＦＦＩ）を有し、
前記ブロックマッチング誤差（ＢＭＥ）および／または前記画素ブロック動きベクトルもしくは当該ベクトルの水平および垂直成分（ＭＶＸ，ＭＶＹ）の値または事前処理された値から最小値をとるか、またはこれらの値の乗算により、信頼度（ＣＦ）を計算するステップを有し、
前記動き補償補間されたピクセル値と前記フォールバック補間されたピクセル値を前記信頼度に応じて結合する（ＳＳＷ）ことにより、前記ビデオ出力信号（Ｏ）のピクセル値を形成するステップを有しており、ただし、前記ブロックマッチング誤差が増大する場合には、前記フォールバック補間されたピクセル値の重みに対して前記動き補償補間されたピクセル値の重みを低下させる、ことを特徴とするビデオ入力信号（Ｉ）からビデオ出力信号（Ｏ）を形成するための方法。
前記動き予測誤差（ＢＭＥ）の値を、前記信頼度（ＣＦ）の形成（ＣＢ）に使用される前に、２次元のランクオーダフィルタ手段（ＲＯＦＩ）、特にメディアンフィルタに通す、請求項１に記載の方法。
前記画素ブロック動きベクトルまたは当該ベクトルの成分（ＭＶＸ，ＭＶＹ）の値を、前記信頼度（ＣＦ）の形成に使用される前に、メディアンフィルタ手段（ＭＦ１，ＭＦ２）に通す、請求項１または２に記載の方法。
前記ブロックマッチング誤差（ＢＭＥ）および／または前記画素ブロック動きベクトルもしくは当該ベクトルの成分（ＭＶＸ，ＭＶＹ）の値または事前処理された値を、前記信頼度（ＣＦ）の形成に使用される前に、制限フィルタ手段（Ｌ１，Ｌ２，Ｌ３）に通す、請求項１から３のいずれか１項に記載の方法。
前記信頼度（ＣＦ）を導出するために、スイッチング関数メモリ手段を使用し、
その際、特定の画像データ特性、例えばカメラまたはフィルムモードの場合には、異なるスイッチング関数を選択するか、または前記スイッチング関数メモリにダウンロードする、請求項１から４のいずれか１項に記載の方法。
特別に設計されたスイッチング関数を用いたそれぞれのビデオ出力信号を形成するために、クロミナンス成分を別個の信頼度によって処理する、請求項１から５のいずれか１項に記載の方法。
動き予測と、一方の信号経路においては動き補償補間を含み、他方の信号経路においては別種の補間（ＦＦＩ）を含む異なる補間処理を備えた信号経路とを用いて、フィールドレートアップコンバージョンにおいてビデオ入力信号（Ｉ）からビデオ出力信号（Ｏ）を形成するための装置において、該装置は、
前記ビデオ入力信号（Ｉ）のピクセルブロックに関する局所的な動き予測とこの予測された動きを用いた前記ビデオ入力信号（Ｉ）のピクセル値の動き補償補間のための手段（ＭＥ，ＭＣＩ）を有し、ただし、前記の局所的動き予測はブロックマッチングを使用し、最小ブロックマッチング誤差に対応する動きベクトルを選択するものであり、
動きが速すぎ又は複雑すぎて予測できないピクチャ内容に対して、動き補償を用いないフォールバック補間である前記別種の補間を用いて、前記入力信号（Ｉ）のピクセル値を局所的に補間する手段（ＦＦＩ）を有し、
前記ブロックマッチング誤差（ＢＭＥ）から信頼度（ＣＦ）を計算する手段を有し、
前記動き補償補間されたピクセル値と前記フォールバック補間されたピクセル値を前記信頼度に応じて結合することにより、前記ビデオ出力信号（Ｏ）のピクセル値を形成する手段（ＳＳＷ）を有しており、ただし、前記ブロックマッチング誤差が増大する場合には、前記動き補償補間されたピクセル値の重みは前記フォールバック補間されたピクセル値の重みに対して低下させられる、ことを特徴とするビデオ入力信号（Ｉ）からビデオ出力信号（Ｏ）を形成するための装置。
前記信頼度（ＣＦ）は、さらに、画素ブロック動きベクトルの値から、または前記画素ブロック動きベクトルの水平成分（ＭＶＸ）および垂直成分（ＭＶＹ）の値から導出される、請求項７に記載の装置。
前記ブロックマッチング誤差（ＢＭＥ）および前記関連するブロック動きベクトルもしくは当該ベクトルの成分（ＭＶＸ，ＭＶＹ）は、前記信頼度（ＣＦ）を形成するために前記結合手段（ＣＢ，ＳＳＷ）において使用される前に、ランクオーダフィルタ手段もしくはメディアンフィルタ手段（ＲＯＦＩ，ＭＦＦＩ１，ＭＦＩ２）および／または制限フィルタ手段（Ｌ１，Ｌ２，Ｌ３）を通過する、請求項７または８に記載の装置。