JP3720723B2

JP3720723B2 - Motion vector detection device

Info

Publication number: JP3720723B2
Application number: JP2001087647A
Authority: JP
Inventors: 晃太朗平野; 興一丹野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-03-26
Filing date: 2001-03-26
Publication date: 2005-11-30
Anticipated expiration: 2021-03-26
Also published as: JP2002290977A

Description

【０００１】
【発明の属する技術分野】
この発明は動きベクトル検出装置に関し、特に、画像予測符号化における動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】
図８に予測符号化を行うディジタル画像の説明図を示す。図８のように、ピクチャ（１）、ピクチャ（２）、ピクチャ（３）、ピクチャ（４）という順で、時間とともに変化するディジタル映像が入力されたとき、ピクチャ（１）を参照画像として、ピクチャ（４）を予測符号化するときの動きベクトル検出について従来例の動作について説明する。
【０００３】
図９は、この種の従来のベクトル検出装置の一例を示した構成図である。ディジタル映像１として入力された図８のピクチャ（１）からピクチャ（４）までの画像はフレームメモリ２０１に蓄積される。蓄積されたピクチャ（４）とピクチャ（１）は、それぞれ、符号化画像７及び参照画像８として、動きベクトル検出器２０２へ出力される。符号化画像７はブロックに分割されており、動きベクトル検出器２０２は、ブロック単位でのブロックマッチングにより動きベクトル検出を行い、動きベクトル９を出力する。
【０００４】
【発明が解決しようとする課題】
図８のように、隣接するピクチャ間においては時間的な相関性が高くても、ピクチャ間距離が大きくなると、すなわち、隣接せずに時間的に離れているピクチャ同士（例えば、ピクチャ（１）と（４））の場合は、時間的な相関性は低くなってしまい、正しい動きベクトルを検出することができない。そのため、ピクチャ（１）を参照画像としてピクチャ（２）を予測符号化するときは良いが、ピクチャ（１）を参照画像としてピクチャ（４）を予測符号化するときには、間違った動きベクトルが検出され、動きベクトルに割り当てられる情報量が無駄に大きくなり、画質の低下が生じてしまうという問題点があった。
【０００５】
本発明はかかる問題点を解決するためになされたものであり、参照画像と符号化画像の間の隣接ピクチャ間の動きベクトル情報を用いて、動きベクトルの信頼性を判断し、間違った動きベクトルの採用による情報量増大に伴う画質の低下を抑制することを可能にした動きベクトル検出装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明は、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器と、動き推定器による推定結果を用いて参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、上記動き推定器において、上記参照画像と上記符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する上記符号化画像の推定動きベクトルを得て、各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、上記標準偏差の上記平均値に対する比率が所定の値より小さい場合には、上記推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、上記標準偏差の上記平均値に対する比率が上記所定の値以上の場合には、上記推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力する動きベクトル検出装置である。
【０００７】
また、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器と、参照画像と符号化画像とを比較して参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、動き推定器は、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得て、上記第２動きベクトル検出器は、決定した上記動きベクトルと上記動き推定器による上記推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、上記動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは上記推定動きベクトルのいずれか一方の値に修正する動きベクトル検出装置である。
【０００９】
また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の動きベクトルとして推定されるベクトル領域を得る。
【００１１】
また、第２動きベクトル検出器により参照画像に対する符号化画像の動きベクトルとして検出されるベクトルを、動き推定器により得られるベクトル領域に制限する。
【００１２】
【発明の実施の形態】
実施の形態１．
図１に実施の形態１による本発明の動きベクトル検出装置の構成図を示す。図において、１０１は、ディジタル映像１として入力される複数のピクチャを蓄積するフレームメモリ、１０２は、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器、１０３は、第１動きベクトル検出器１０２の検出結果を蓄積する動き情報蓄積メモリ、１０４は、動き情報蓄積メモリ１０３に蓄積した検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器、１０５は、動き推定器１０４による推定結果を用いて参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器である。
【００１３】
次に、図１にしたがって動作を説明する。ディジタル映像１として入力された図８のピクチャ（１）からピクチャ（４）までの画像はフレームメモリ１０１に蓄積される。蓄積されたピクチャ（２）〜（４）は検出画像２として、ピクチャ（１）〜（３）は参照画像３として第１動きベクトル検出器１０２に入力される。フレームメモリ１０１は、図９に示した従来のフレームメモリ２０１と容量など基本的には同じであり、ピクチャの出力順序と枚数が異なるだけである。
【００１４】
ここで、検出画像とは動きベクトルを検出する画像のことであり、符号化画像に相当するが、実際に符号化するのではないため検出画像と呼ぶ。
【００１５】
第１動きベクトル検出器１０２は、図９に示した従来の動きベクトル検出器２０２と同じ動作をするものであり、ピクチャ（２）とピクチャ（１）をそれぞれ検出画像２及び参照画像３として動きベクトル検出を行い、ピクチャ（３）とピクチャ（２）をそれぞれ検出画像２及び参照画像３として動きベクトル検出を行い、ピクチャ（４）とピクチャ（３）をそれぞれ検出画像２及び参照画像３として動きベクトル検出を行う。検出結果は動き検出結果４として動き情報蓄積メモリ１０３に一時的に蓄積され、隣接ピクチャ動き情報５として動き推定器１０４へ出力される。
【００１６】
動き推定器１０４は、入力された隣接ピクチャ動き情報５をもとに図２のように各隣接ピクチャ間の動きベクトルを時間逆順に追っていくことによって、参照画像８に対する符号化画像７の動きベクトルを推定し、動き情報６を第２動きベクトル検出器１０５へ出力する。以下、図３のフローチャートにしたがって動き推定器１０４の動作手順について説明する。
【００１７】
まず、ステップＳ１０１にて、図２のピクチャ（４）上の各ブロックＭＢ₄に対して、動き推定器１０４は、ピクチャ（４）を検出画像、ピクチャ（３）を参照画像としたときのブロックＭＢ₄の（ピクチャ（３）に対する）動きベクトルＶ₃₄を求める。
【００１８】
次に、ステップＳ１０２にて、図２のピクチャ（４）上のブロックＭＢ₄を動きベクトルＶ₃₄だけずらした位置にあるピクチャ（３）上のブロックＭＢ₃を求める。
【００１９】
次に、ステップＳ１０３にて、ピクチャ（３）を検出画像、ピクチャ（２）を参照画像としたときのブロックＭＢ₃の（ピクチャ（２）に対する）動きベクトルＶ₂₃を求める。
【００２０】
次に、ステップＳ１０４にて、図２のピクチャ（３）上のブロックＭＢ₃を動きベクトルＶ₂₃だけずらした位置にあるピクチャ（２）上のブロックＭＢ₂を求める。
【００２１】
次に、ステップＳ１０５にて、ピクチャ（２）を検出画像、ピクチャ（１）を参照画像としたときのブロックＭＢ₂の（ピクチャ（１）に対する）動きベクトルＶ₁₂を求める。
【００２２】
次に、ステップＳ１０６にて、推定動きベクトルＶ_eを、Ｖ₁₂＋Ｖ₂₃＋Ｖ₃₄によって与え、動き情報６として出力する。
【００２３】
上記のようにして得られた動き情報６が入力され、第２動きベクトル検出器１０５は図４の手順で動きベクトル検出を行い、動きベクトル９を出力する。以下、図４のフローチャートにしたがって第２動きベクトル検出器の動作を説明する。
【００２４】
第２動きベクトル検出器１０５は、ステップＳ２０１にて、ピクチャ（４）を符号化画像、ピクチャ（１）を参照画像として、従来の動きベクトル検出器２０２と同様に動きベクトル検出を行い、動きベクトルＶ₁₄を求める。
【００２５】
次に、ステップＳ２０２にて、動き情報６として入力された推定動きベクトルＶ_eとステップＳ２０１で求めた動きベクトルＶ₁₄との差（成分ごとの差分絶対値和）を求める。
【００２６】
差が閾値より小さい場合、隣接ピクチャ間の時間相関性が高い、すなわち、信頼性が高いと判断し、ステップＳ２０３にて動きベクトルＶ₁₄を動きベクトル９として出力する。
【００２７】
差が閾値より小さくない場合、隣接ピクチャ間の時間相関性が低い、すなわち、信頼性が低いと判断し、ステップＳ２０４にてゼロベクトルを動きベクトル９として出力する。
【００２８】
なお、ステップＳ２０４ではゼロベクトルを動きベクトル９として出力したが、推定動きベクトルＶ_eを動きベクトル９として出力するようにしてもよい。
【００２９】
以上のように、本発明の動きベクトル検出装置においては、第１動きベクトル検出器１０２の検出結果から得られた隣接ピクチャ動き情報５を用いて、動き推定器１０４により各隣接ピクチャ間の動きベクトルを推定して、第２動きベクトル検出器により推定された参照画像に対する符号化画像の動きベクトルと比較することにより、動きベクトルの信頼性を判断し、信頼性の高い動きベクトルのみを検出するようにしたので、動きベクトルの信頼性を向上することができる。よって、間違った動きベクトルを採用することによる情報量増大が抑制でき、画質の劣化を抑えることが出来る。
【００３０】
実施の形態２．
実施の形態１では、動き推定器１０４を図３の動作手順１のように動作させたが、実施の形態２では、図５に示す動作手順２のように動作させる。以下、動き推定器１０４の動作手順について説明する。なお、他の構成及び動作については実施の形態１と同様であるため、ここでは説明を省略する。
【００３１】
まず、ステップＳ１１１にて、推定動きベクトルＶ_e（＝Ｖ₁₂＋Ｖ₂₃＋Ｖ₃₄）および隣接動きベクトルＶ₁₂，Ｖ₂₃，Ｖ₃₄を求める。ステップＳ１１１の具体的な手順としては、図３の動作手順１のステップＳ１０１〜Ｓ１０６の手順で行う。
【００３２】
次に、ステップＳ１１２にて、隣接動きベクトルＶ₁₂，Ｖ₂₃，Ｖ₃₄の水平成分及び垂直成分のそれぞれに対して、平均値Ｖ_x，Ｖ_y、標準偏差σ_x，σ_yを求める。
【００３３】
次に、ステップＳ１１３にて、σ_xがＶ_xの大きさより十分小さく、かつ、σ_yがＶ_yの大きさより十分小さければ、隣接動きベクトル同士の時間相関性が高いとし、ステップＳ１１４の処理を行う。そうでなければ、ステップＳ１１５の処理を行う。
【００３４】
次に、ステップＳ１１４では、隣接動きベクトル同士の時間相関性が高いので、それらをもとに生成された推定動きベクトルＶ_eは信頼性が高いと判断し、推定動きベクトルＶ_eを動き情報６として出力する。
【００３５】
次に、ステップＳ１１５では、隣接動きベクトル同士の時間相関性が低いので、それらをもとに生成された推定動きベクトルＶ_eは信頼性が低いと判断してこれを破棄し、ゼロベクトルを動き情報６として出力する。
【００３６】
以上のように、本実施の形態においては、第１動きベクトル検出器１０２の検出結果から得られた隣接ピクチャ動き情報５を用いて、動き推定器１０４により隣接動きベクトルの水平成分及び垂直成分の平均値及び標準偏差を求め、標準偏差の値が平均値の大きさより十分小さいかを判定することにより、隣接ピクチャ間動きベクトルの信頼性も考慮して、動きベクトルを推定することができ、第２動きベクトル検出器での推定された動きベクトルとの比較により動きベクトルの信頼性を判断し、信頼性が低ければ推定動きベクトルを修正するようにしたので、動きベクトルの信頼性を向上できる。よって、間違った動きベクトルを採用することによる情報量増大が抑制でき、画質の劣化を抑えることが出来る。
【００３７】
実施の形態３．
実施の形態１及び２では、動き推定器１０４から出力される動き情報６として推定動きベクトルを用いたが、実施の形態３では第２動きベクトル検出器１０５での探索範囲を動き情報６として構成する。
【００３８】
まず、図６にしたがって、動き推定器１０４の動作を説明する。ステップＳ１１１にて、図３の動作手順１の手順で推定動きベクトルＶ_eおよび隣接動きベクトルＶ₁₂，Ｖ₂₃，Ｖ₃₄を求める。
【００３９】
次に、ステップＳ１１２にて、隣接動きベクトルＶ₁₂，Ｖ₂₃，Ｖ₃₄の水平成分および垂直成分のそれぞれに対して、平均値Ｖ_x，Ｖ_yおよび標準偏差σ_x，σ_yを求める。
【００４０】
ステップＳ１２１にて、符号化画像と参照画像との距離ｎおよび標準偏差σ_x，σ_yの積により、探索幅ｄ_x，ｄ_yの求める。
【００４１】
ステップＳ１２２にて、図７に示すような探索範囲（１）と探索範囲（２）を求める。ここで、探索範囲（１）はゼロベクトルを中心とする、水平±ｄ_x、垂直±ｄ_yの長方形領域であり、探索範囲（２）は推定動きベクトルＶ_eを中心とする、水平±ｄ_x、垂直±ｄ_yの長方形領域である。
【００４２】
ステップＳ１２３にて、探索範囲（１）と探索範囲（２）の和集合で表される探索範囲を動き情報６として出力する。
【００４３】
一方、第２動きベクトル検出器１０５は、動き情報６として入力された探索範囲に対して動きベクトル検出を行い、検出結果を動きベクトル９として出力する。
【００４４】
以上のように、本実施の形態においては、第１動きベクトル検出器１０２の検出結果から得られた隣接ピクチャ動き情報５を用いて、動き推定器１０４により推定される探索範囲に動きベクトルを限定することにより、第２動きベクトル検出器で検出される動きベクトルの信頼性を向上することができる。
【００４５】
また、隣接ピクチャ間の動きベクトルのばらつきにより探索範囲の広さを変えるようにしたため、無意味に大きい動きベクトルが選択されることはなく、動きベクトルの情報量増大による画質の劣化を抑えることが出来る。
【００４６】
【発明の効果】
この発明は、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに参照画像に対する符号化画像の動きを推定する動き推定器と、動き推定器による推定結果を用いて参照画像に対する符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから上記参照画像に対する符号化画像の推定動きベクトルを得て、各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、標準偏差の平均値に対する比率が所定の値より小さい場合には、推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、標準偏差の平均値に対する比率が所定の値以上の場合には、推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力する動きベクトル検出装置であるので、参照画像と符号化画像の間の隣接ピクチャ間の動きベクトル情報を用いて動きベクトルを決定するので、動きベクトルの信頼性を向上させることができ、間違った動きベクトルの採用による情報量増大に伴う画質の低下を抑制する。また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得るようにしたので、推定動きベクトルと第２の動きベクトル検出器により推定された動きベクトルとの比較により動きベクトルの信頼性を向上させることができる。また、各隣接ピクチャ間の動きベクトルの平均値および標準偏差を求め、上記標準偏差の上記平均値に対する比率が所定の値より小さい場合には、上記推定動きベクトルの信頼性が高いと判定し、当該推定動きベクトルの値を出力し、上記標準偏差の上記平均値に対する比率が上記所定の値以上の場合には、上記推定動きベクトルの信頼性が低いと判定し、当該推定動きベクトルの値をゼロベクトルに修正して出力するようにしたので、さらに動きベクトルの信頼性を向上させることができる。
【００４７】
また、ディジタル映像信号の予測符号化における動きベクトル検出装置であって、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルを検出する第１動きベクトル検出器と、上記第１動きベクトル検出器の検出結果を蓄積するメモリと、蓄積した上記検出結果をもとに上記参照画像に対する上記符号化画像の動きを推定する動き推定器と、上記参照画像と上記符号化画像とを比較して上記参照画像に対する上記符号化画像の動きベクトルを決定する第２動きベクトル検出器とを備え、動き推定器は、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得て、上記第２動きベクトル検出器は、決定した上記動きベクトルと上記動き推定器による上記推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、上記動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは上記推定動きベクトルのいずれか一方の値に修正する動きベクトル検出装置であるので、参照画像と符号化画像の間の隣接ピクチャ間の動きベクトル情報を用いて動きベクトルを決定するので、動きベクトルの信頼性を向上させることができ、間違った動きベクトルの採用による情報量増大に伴う画質の低下を抑制する。また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の推定動きベクトルを得るようにしたので、推定動きベクトルと第２の動きベクトル検出器により推定された動きベクトルとの比較により動きベクトルの信頼性を向上させることができる。また、第２動きベクトル検出器による動きベクトルと動き推定器による推定動きベクトルとを比較して、両者の差の絶対値が所定の閾値以上だった場合に、動きベクトルの信頼性が低いと判定し、当該動きベクトルの値を、ゼロベクトルまたは推定動きベクトルのいずれか一方の値に修正するようにしたので、さらに動きベクトルの信頼性を向上させることができる。
【００４９】
また、動き推定器において、参照画像と符号化画像の間の各隣接ピクチャ間の動きベクトルから参照画像に対する符号化画像の動きベクトルとして推定されるベクトル領域を得るようにしたので、無意味に大きい動きベクトルが選択されることはなく、間違った動きベクトルを採用することによる情報量増大による画質の劣化を抑えることができる。
【００５１】
また、第２動きベクトル検出器により参照画像に対する符号化画像の動きベクトルとして検出されるベクトルを、動き推定器により得られるベクトル領域に制限するようにしたので、無意味に大きい動きベクトルが選択されることはなく、間違った動きベクトルを採用することによる情報量増大による画質の劣化を抑えることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１〜３による動きベクトル検出装置の構成を示した構成図である。
【図２】本発明の実施の形態１〜３による動きベクトル検出装置において、隣接ピクチャの動き情報を求める処理を示した説明図である。
【図３】本発明の実施の形態１による動きベクトル検出装置の動き推定器の動作を示した流れ図である。
【図４】本発明の実施の形態１による動きベクトル検出装置の第２動きベクトル検出器の動作を示した流れ図である。
【図５】本発明の実施の形態２による動きベクトル検出装置の動き推定器の動作を示した流れ図である。
【図６】本発明の実施の形態３による動きベクトル検出装置の動き推定器の動作を示した流れ図である。
【図７】本発明の実施の形態１による動きベクトル検出装置の動き推定器における探索範囲の説明図である。
【図８】予測符号化を行うディジタル画像の説明図である。
【図９】従来の動きベクトル検出装置の構成を示した構成図である。
【符号の説明】
１ディジタル映像、２検出画像、３参照画像、４動き検出結果、５隣接ピクチャ動き情報、６動き情報、７符号化画像、８参照画像、９動きベクトル、１０１，２０１フレームメモリ、１０２第１動きベクトル、１０３動き情報蓄積メモリ、１０４動き推定器、１０５第２動きベクトル検出器、２０２動きベクトル検出器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection device, and more particularly to a motion vector detection device in image predictive coding.
[0002]
[Prior art]
FIG. 8 is an explanatory diagram of a digital image for predictive coding. As shown in FIG. 8, when a digital video that changes with time in the order of picture (1), picture (2), picture (3), and picture (4) is input, picture (1) is used as a reference image. The operation of the conventional example will be described for motion vector detection when predictively encoding picture (4).
[0003]
FIG. 9 is a block diagram showing an example of this type of conventional vector detection apparatus. The images from the picture (1) to the picture (4) in FIG. 8 input as the digital video 1 are stored in the frame memory 201. The stored picture (4) and picture (1) are output to the motion vector detector 202 as an encoded image 7 and a reference image 8, respectively. The encoded image 7 is divided into blocks, and the motion vector detector 202 detects a motion vector by block matching in units of blocks and outputs a motion vector 9.
[0004]
[Problems to be solved by the invention]
As shown in FIG. 8, even if the temporal correlation between adjacent pictures is high, if the inter-picture distance increases, that is, pictures that are not adjacent but temporally separated (for example, picture (1) And (4)), the temporal correlation is low, and a correct motion vector cannot be detected. Therefore, it is good to predictively encode picture (2) using picture (1) as a reference image, but an incorrect motion vector is detected when predictively encoding picture (4) using picture (1) as a reference image. However, there is a problem in that the amount of information assigned to the motion vector is unnecessarily large and the image quality is deteriorated.
[0005]
The present invention has been made to solve such a problem, and by using motion vector information between adjacent pictures between a reference image and an encoded image, the reliability of the motion vector is determined, and an incorrect motion vector is determined. An object of the present invention is to obtain a motion vector detection device that can suppress a decrease in image quality due to an increase in the amount of information due to the adoption of.
[0006]
[Means for Solving the Problems]
The present invention is a motion vector detection apparatus in predictive encoding of a digital video signal, and includes a first motion vector detector for detecting a motion vector between adjacent pictures between a reference image and an encoded image, and a first motion A memory for storing the detection results of the vector detector, a motion estimator for estimating the motion of the encoded image with respect to the reference image based on the stored detection results, and a code for the reference image using the estimation result by the motion estimator A second motion vector detector for determining a motion vector of the encoded image, wherein in the motion estimator, the encoding for the reference image from a motion vector between adjacent pictures between the reference image and the encoded image Obtain the estimated motion vector of the image, determine the average value and standard deviation of the motion vectors between adjacent pictures, When the rate is smaller than the predetermined value, it is determined that the reliability of the estimated motion vector is high, the value of the estimated motion vector is output, and the ratio of the standard deviation to the average value is greater than or equal to the predetermined value. In this case, the motion vector detection apparatus determines that the estimated motion vector has low reliability, corrects the value of the estimated motion vector to a zero vector, and outputs the result .
[0007]
A motion vector detection apparatus for predictive encoding of a digital video signal, comprising: a first motion vector detector for detecting a motion vector between adjacent pictures between a reference image and an encoded image; and a first motion vector detection A memory for storing the detection results of the detector, a motion estimator for estimating the motion of the encoded image with respect to the reference image based on the stored detection results, and a code for the reference image by comparing the reference image with the encoded image estimated motion vector of the coded image for a second motion and a vector detector, a motion estimator, see from the motion vectors between the adjacent pictures between the reference image and the encoded picture of determining the motion vector of the coded image was obtained, and the second motion vector detector, determined by comparing the estimated motion vector by the motion vector and the motion estimator, the absolute of the difference between the two A motion vector detecting device that determines that the reliability of the motion vector is low and corrects the value of the motion vector to one of a zero vector and the estimated motion vector. There is .
[0009]
Further, the motion estimator obtains a vector region estimated as a motion vector of the encoded image with respect to the reference image from a motion vector between adjacent pictures between the reference image and the encoded image.
[0011]
Further, the vector detected as the motion vector of the encoded image with respect to the reference image by the second motion vector detector is limited to the vector region obtained by the motion estimator.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 shows a configuration diagram of a motion vector detection apparatus according to the first embodiment of the present invention. In the figure, 101 is a frame memory for storing a plurality of pictures input as digital video 1, and 102 is a first motion vector detector for detecting a motion vector between adjacent pictures between a reference image and an encoded image. , 103 is a motion information storage memory for storing the detection result of the first motion vector detector 102, and 104 is for estimating the motion of the encoded image with respect to the reference image based on the detection result stored in the motion information storage memory 103. A motion estimator 105 is a second motion vector detector that determines a motion vector of an encoded image with respect to a reference image using an estimation result obtained by the motion estimator 104.
[0013]
Next, the operation will be described with reference to FIG. The images from picture (1) to picture (4) in FIG. 8 input as digital video 1 are stored in frame memory 101. The stored pictures (2) to (4) are input to the first motion vector detector 102 as the detected image 2, and the pictures (1) to (3) are input to the first motion vector detector 102 as the reference image 3. The frame memory 101 is basically the same in capacity and the like as the conventional frame memory 201 shown in FIG. 9, and only the picture output order and the number of pictures are different.
[0014]
Here, the detected image is an image for detecting a motion vector, which corresponds to an encoded image, but is not actually encoded, and is called a detected image.
[0015]
The first motion vector detector 102 operates in the same manner as the conventional motion vector detector 202 shown in FIG. 9, and moves with the picture (2) and the picture (1) as the detected image 2 and the reference image 3, respectively. Vector detection is performed, motion vector detection is performed using picture (3) and picture (2) as detected image 2 and reference image 3, respectively, and picture (4) and picture (3) are detected as detected image 2 and reference image 3, respectively. Perform vector detection. The detection result is temporarily stored in the motion information storage memory 103 as the motion detection result 4 and output to the motion estimator 104 as the adjacent picture motion information 5.
[0016]
The motion estimator 104 follows the motion vectors between adjacent pictures based on the input adjacent picture motion information 5 as shown in FIG. And the motion information 6 is output to the second motion vector detector 105. Hereinafter, the operation procedure of the motion estimator 104 will be described with reference to the flowchart of FIG.
[0017]
First, in step S101, for each block MB ₄ on the picture of FIG. 2 (4), a motion estimator 104, the block when the detected image picture (4), and the reference image picture (3) Determine the motion vector V ₃₄ (for picture (3)) of MB ₄ .
[0018]
Next, in step S102, obtains the block MB ₃ on the picture (3) in a position shifted by vector V ₃₄ motion blocks MB ₄ on the picture of FIG. 2 (4).
[0019]
Next, in step S103, the detected image of the picture (3), picture (2) the reference image and the block MB ₃ when (for picture (2)) obtains a motion vector V _23.
[0020]
Next, in step S104, obtains the block MB ₂ on the picture (2) in a position shifted by vector V ₂₃ motion block MB ₃ on the picture of FIG. 2 (3).
[0021]
Next, in step S105, the detected image of the picture (2), picture (1) the reference image and the block MB ₂ when (for picture (1)) determining the motion vector V _12.
[0022]
Next, in step S106, the estimated motion vector V _e is given by V ₁₂ + V ₂₃ + V ₃₄ and is output as motion information 6.
[0023]
The motion information 6 obtained as described above is input, and the second motion vector detector 105 detects a motion vector by the procedure of FIG. 4 and outputs a motion vector 9. Hereinafter, the operation of the second motion vector detector will be described with reference to the flowchart of FIG.
[0024]
In step S201, the second motion vector detector 105 performs motion vector detection in the same manner as the conventional motion vector detector 202 using the picture (4) as an encoded image and the picture (1) as a reference image. determine the V _14.
[0025]
Next, at step S202, determines the difference (sum of absolute differences for each component) of the motion vector V ₁₄ determined by the estimated motion vector V _e and step S201 which is input as the motion information 6.
[0026]
If the difference is smaller than the threshold value, the time correlation between adjacent pictures is high, i.e., it is determined to be reliable, and output as a vector 9 that the movement vector V ₁₄ at step S203.
[0027]
If the difference is not smaller than the threshold, it is determined that the temporal correlation between adjacent pictures is low, that is, the reliability is low, and the zero vector is output as the motion vector 9 in step S204.
[0028]
Although the zero vector is output as the motion vector 9 in step S204, the estimated motion vector V _e may be output as the motion vector 9.
[0029]
As described above, in the motion vector detection device of the present invention, the motion vector between the adjacent pictures is detected by the motion estimator 104 using the adjacent picture motion information 5 obtained from the detection result of the first motion vector detector 102. And the motion vector reliability is judged by comparing the motion vector of the encoded image with respect to the reference image estimated by the second motion vector detector, and only a highly reliable motion vector is detected. Therefore, the reliability of the motion vector can be improved. Therefore, an increase in the amount of information due to employing an incorrect motion vector can be suppressed, and deterioration in image quality can be suppressed.
[0030]
Embodiment 2. FIG.
In the first embodiment, the motion estimator 104 is operated as in the operation procedure 1 of FIG. 3, but in the second embodiment, the operation is performed as in the operation procedure 2 shown in FIG. Hereinafter, an operation procedure of the motion estimator 104 will be described. Since other configurations and operations are the same as those in the first embodiment, description thereof is omitted here.
[0031]
First, in step S111, an estimated motion vector V _e (= V ₁₂ + V ₂₃ + V ₃₄ ) and adjacent motion vectors V ₁₂ , V ₂₃ , V ₃₄ are obtained. As a specific procedure of step S111, the procedure of steps S101 to S106 of the operation procedure 1 of FIG. 3 is performed.
[0032]
Next, in step S112, average values V _x , V _y and standard deviations σ _x , σ _y are obtained for the horizontal and vertical components of the adjacent motion vectors V ₁₂ , V ₂₃ , V ₃₄ , respectively.
[0033]
Next, in step S113, if σ _x is sufficiently smaller than the magnitude of V _x and σ _y is sufficiently smaller than the magnitude of V _y , it is assumed that the temporal correlation between adjacent motion vectors is high, and the process of step S114 is performed. Do. Otherwise, the process of step S115 is performed.
[0034]
Next, in step S114, there is a high time correlation between the neighboring motion vector, the estimated motion vector V _e which they were generated based judged to be reliable, the motion estimation motion vector V _e Information 6 Output as.
[0035]
Next, in step S115, since the temporal correlation between adjacent motion vectors is low, it is determined that the estimated motion vector V _e generated based on them is low in reliability, and this is discarded, and the zero vector is moved. Output as information 6.
[0036]
As described above, in the present embodiment, using the adjacent picture motion information 5 obtained from the detection result of the first motion vector detector 102, the motion estimator 104 causes the horizontal and vertical components of the adjacent motion vector to be detected. By calculating the average value and the standard deviation and determining whether the standard deviation value is sufficiently smaller than the average value, the motion vector can be estimated in consideration of the reliability of the motion vector between adjacent pictures. Since the reliability of the motion vector is determined by comparison with the motion vector estimated by the two motion vector detectors and the estimated motion vector is corrected if the reliability is low, the reliability of the motion vector can be improved. Therefore, an increase in the amount of information due to employing an incorrect motion vector can be suppressed, and deterioration in image quality can be suppressed.
[0037]
Embodiment 3 FIG.
In the first and second embodiments, the estimated motion vector is used as the motion information 6 output from the motion estimator 104. However, in the third embodiment, the search range in the second motion vector detector 105 is configured as the motion information 6. To do.
[0038]
First, the operation of the motion estimator 104 will be described with reference to FIG. In step S111, the estimated motion vector V _e and the adjacent motion vectors V ₁₂ , V ₂₃ , and V ₃₄ are obtained by the procedure of the operation procedure 1 of FIG.
[0039]
Next, in step S112, average values V _x , V _y and standard deviations σ _x , σ _y are obtained for the horizontal and vertical components of the adjacent motion vectors V ₁₂ , V ₂₃ , V ₃₄ , respectively.
[0040]
In step S121, the distance between the reference image and the encoded image n and the standard deviation sigma _x, the product of sigma _y, calculation width d _x, required by the d _y.
[0041]
In step S122, a search range (1) and a search range (2) as shown in FIG. 7 are obtained. Here, the search range (1) is centered on the zero vector is horizontal ± d _x, rectangular area of the vertical ± d _y, the search range (2) is centered on the estimated motion vector V _e, horizontal ± d _x, a rectangular area of the vertical ± d _y.
[0042]
In step S123, the search range represented by the union of search range (1) and search range (2) is output as motion information 6.
[0043]
On the other hand, the second motion vector detector 105 performs motion vector detection on the search range input as the motion information 6 and outputs the detection result as a motion vector 9.
[0044]
As described above, in this embodiment, the motion vector is limited to the search range estimated by the motion estimator 104 using the adjacent picture motion information 5 obtained from the detection result of the first motion vector detector 102. As a result, the reliability of the motion vector detected by the second motion vector detector can be improved.
[0045]
In addition, since the search range is changed due to variations in motion vectors between adjacent pictures, meaningless large motion vectors are not selected, and deterioration in image quality due to an increase in the amount of motion vector information can be suppressed. I can do it.
[0046]
【The invention's effect】
The present invention is a motion vector detection apparatus in predictive encoding of a digital video signal, and includes a first motion vector detector for detecting a motion vector between adjacent pictures between a reference image and an encoded image, and a first motion A memory for storing the detection results of the vector detector, a motion estimator for estimating the motion of the encoded image with respect to the reference image based on the stored detection results, and a code for the reference image using the estimation result by the motion estimator A second motion vector detector for determining a motion vector of the encoded image, wherein in the motion estimator, an estimated motion of the encoded image with respect to the reference image from a motion vector between adjacent pictures between the reference image and the encoded image The vector is obtained, and the average value and standard deviation of motion vectors between adjacent pictures are obtained, and the ratio of the standard deviation to the average value is smaller than a predetermined value. The estimated motion vector is determined to have high reliability, and the value of the estimated motion vector is output. If the ratio of the standard deviation to the average value is equal to or greater than a predetermined value, the reliability of the estimated motion vector is Since this is a motion vector detection apparatus that determines that the estimated motion vector value is low and corrects the value of the estimated motion vector to a zero vector and outputs it, a motion vector is obtained using motion vector information between adjacent pictures between the reference image and the encoded image. Therefore, the reliability of the motion vector can be improved, and the deterioration of the image quality due to the increase in the information amount due to the adoption of the wrong motion vector is suppressed. In the motion estimator, since the estimated motion vector of the encoded image for the reference image is obtained from the motion vector between adjacent pictures between the reference image and the encoded image, the estimated motion vector and the second motion vector The reliability of the motion vector can be improved by comparison with the motion vector estimated by the detector. Further, an average value and a standard deviation of motion vectors between adjacent pictures are obtained, and when a ratio of the standard deviation to the average value is smaller than a predetermined value, it is determined that the estimated motion vector has high reliability, When the estimated motion vector value is output, and the ratio of the standard deviation to the average value is equal to or greater than the predetermined value, it is determined that the reliability of the estimated motion vector is low, and the estimated motion vector value is Since it is corrected to a zero vector and output, the reliability of the motion vector can be further improved.
[0047]
A motion vector detection apparatus for predictive encoding of a digital video signal, the first motion vector detector detecting a motion vector between adjacent pictures between a reference image and an encoded image, and the first motion vector A memory for storing a detection result of the detector, a motion estimator for estimating a motion of the encoded image with respect to the reference image based on the stored detection result, and comparing the reference image with the encoded image. And a second motion vector detector for determining a motion vector of the encoded image with respect to the reference image, and the motion estimator determines the reference image from the motion vector between adjacent pictures between the reference image and the encoded image. obtaining an estimated motion vector of the coded image, the second motion vector detector, the estimated motion vector according to the determined the motion vector and the motion estimator If the absolute value of the difference between the two is equal to or greater than a predetermined threshold value, it is determined that the reliability of the motion vector is low, and the value of the motion vector is set to either the zero vector or the estimated motion vector. Since the motion vector detection apparatus corrects the value to one value, the motion vector is determined using the motion vector information between adjacent pictures between the reference image and the encoded image, so that the reliability of the motion vector can be improved. It is possible to suppress a decrease in image quality due to an increase in information amount due to adoption of an incorrect motion vector. Further, in the motion estimator, since the so that give the estimated motion vector of the coded image for the reference image from the motion vectors between the adjacent pictures between the reference image and the encoded image, the estimated motion vector and the second motion The reliability of the motion vector can be improved by comparison with the motion vector estimated by the vector detector. Also, the motion vector by the second motion vector detector and the motion vector estimated by the motion estimator are compared, and if the absolute value of the difference between the two is greater than or equal to a predetermined threshold, it is determined that the motion vector is not reliable. Since the value of the motion vector is corrected to one of the zero vector and the estimated motion vector, the reliability of the motion vector can be further improved.
[0049]
Also, in the motion estimator, the vector region estimated as the motion vector of the encoded image with respect to the reference image is obtained from the motion vector between adjacent pictures between the reference image and the encoded image. A motion vector is not selected, and deterioration of image quality due to an increase in information amount due to adoption of an incorrect motion vector can be suppressed.
[0051]
Moreover, since the vector detected as the motion vector of the encoded image with respect to the reference image by the second motion vector detector is limited to the vector region obtained by the motion estimator, a meaningless large motion vector is selected. In other words, it is possible to suppress deterioration in image quality due to an increase in the amount of information by adopting an incorrect motion vector.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a configuration of a motion vector detection device according to first to third embodiments of the present invention.
FIG. 2 is an explanatory diagram showing processing for obtaining motion information of adjacent pictures in the motion vector detection devices according to Embodiments 1 to 3 of the present invention.
FIG. 3 is a flowchart showing the operation of the motion estimator of the motion vector detection device according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing the operation of the second motion vector detector of the motion vector detection device according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing the operation of the motion estimator of the motion vector detection device according to the second embodiment of the present invention.
FIG. 6 is a flowchart showing the operation of the motion estimator of the motion vector detection device according to the third embodiment of the present invention.
FIG. 7 is an explanatory diagram of a search range in the motion estimator of the motion vector detection device according to the first embodiment of the present invention.
FIG. 8 is an explanatory diagram of a digital image on which predictive encoding is performed.
FIG. 9 is a configuration diagram showing a configuration of a conventional motion vector detection device.
[Explanation of symbols]
1 digital image, 2 detected image, 3 reference image, 4 motion detection result, 5 adjacent picture motion information, 6 motion information, 7 encoded image, 8 reference image, 9 motion vector, 101, 201 frame memory, 102 1st motion Vector, 103 motion information storage memory, 104 motion estimator, 105 second motion vector detector, 202 motion vector detector.

Claims

A motion vector detection apparatus in predictive encoding of a digital video signal,
A first motion vector detector for detecting a motion vector between adjacent pictures between the reference image and the encoded image;
A memory for accumulating detection results of the first motion vector detector;
A motion estimator that estimates the motion of the encoded image with respect to the reference image based on the accumulated detection result;
A second motion vector detector that determines a motion vector of the encoded image with respect to the reference image using an estimation result by the motion estimator ;
In the motion estimator,
Obtaining an estimated motion vector of the encoded image for the reference image from a motion vector between adjacent pictures between the reference image and the encoded image;
Find the mean and standard deviation of the motion vectors between each adjacent picture,
When the ratio of the standard deviation to the average value is smaller than a predetermined value, the reliability of the estimated motion vector is determined to be high, and the value of the estimated motion vector is output.
When the ratio of the standard deviation to the average value is equal to or greater than the predetermined value, the reliability of the estimated motion vector is determined to be low, and the estimated motion vector value is corrected to a zero vector and output. A featured motion vector detection device.

A motion vector detection apparatus in predictive encoding of a digital video signal,
A first motion vector detector for detecting a motion vector between adjacent pictures between the reference image and the encoded image;
A memory for accumulating detection results of the first motion vector detector;
A motion estimator that estimates the motion of the encoded image with respect to the reference image based on the accumulated detection result;
A second motion vector detector that compares the reference image with the encoded image to determine a motion vector of the encoded image with respect to the reference image;
With
The motion estimator, with the estimated motion vector of the coded picture from the motion vector with respect to the reference image between the adjacent pictures between the reference image and the encoded image,
The second motion vector detector compares the determined motion vector with the motion vector estimated by the motion estimator. determines that the reliability is low, the value of the motion vector, motion-out vector detecting device characterized by modifying the value of either zero vector or the estimated motion vector.

The motion estimator obtains a vector region estimated as a motion vector of the encoded image with respect to the reference image from a motion vector between adjacent pictures between the reference image and the encoded image. Item 3. The motion vector detection device according to Item 1 or 2 .

The vector detected by the second motion vector detector as a motion vector of the coded image for the reference image, according to claim 3, characterized in that to limit to the vector field obtained by the motion estimator Motion vector detection device.