JP4210910B2

JP4210910B2 - Motion vector correction apparatus, motion vector correction method, and program

Info

Publication number: JP4210910B2
Application number: JP2003065769A
Authority: JP
Inventors: 晃大崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-11
Filing date: 2003-03-11
Publication date: 2009-01-21
Anticipated expiration: 2023-03-11
Also published as: JP2004274628A

Description

【０００１】
【発明の属する技術分野】
本発明は動き検出装置、動き検出方法及びプログラムに関し、例えば映像信号の符号化に用いる動き検出装置に適用して好適なものである。
【０００２】
【従来の技術】
従来、ＭＰＥＧ（Moving Picture Experts Group）２方式等の映像信号高能率符号化方法において、相前後する少なくとも２つの画像間の相関を利用した動き補償予測処理に用いる動きベクトルの検出方法として、ブロックマッチング法が用いられている（例えば、特許文献１参照）。
【０００３】
かかるブロックマッチング法においては、画像を所定サイズのブロックに分割し、現フレームのブロックと、前フレームにおける所定の探索範囲内の複数の候補ブロックとをパターン照合して誤差（これをＭＥ（Motion Estimation ）残差と呼ぶ）を求める。そしてブロックマッチング法においては、ＭＥ残差が最小となる候補ブロックを選択し、当該選択した候補ブロックと現フレームのブロックとのずれを、当該現フレームのブロックの動きベクトルとして検出する。
【０００４】
【特許文献１】
特開２００１−２８５８７３公報
【０００５】
【発明が解決しようとする課題】
上述したようにブロックマッチング法では、単にＭＥ残差が最小となるブロックに基づいて、各ブロック毎に局所的に動きベクトルを検出している。このため、画面全体で偏った動きがある場合（パニング等）や画面全体の動きが少ない場合等において、本来ならば近隣のブロック間で動きベクトルが揃うべきところが、互いにばらついた動きベクトルを誤検出してしまうことがある。
【０００６】
このように、誤検出によって近隣のブロック間で動きベクトルにばらつきが生じた場合、復号後の映像にばたつきが発生して映像品質が低下してしまうという問題があった。
【０００７】
本発明は以上の点を考慮してなされたもので、検出した動きベクトルを補正して復号後の映像のばたつきを低減し、映像品質の低下を防止し得る動き検出装置を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像を所定の大きさの複数のブロックに分割して当該ブロックごとに検出した動きベクトルそれぞれに対し、当該動きベクトルを含む補正参照範囲内の動きベクトルの偏差を算出する偏差算出手段と、偏差算出手段によって算出された偏差が閾値以上である補正対象の動きベクトルに対しては、補正参照範囲内の動きベクトルを単純平均して平均値を算出し、偏差が閾値未満である補正対象の動きベクトルに対しては、補正参照範囲内の動きベクトルを重み付け平均して平均値を算出する平均値算出手段と、補正対象の動きベクトルを平均値算出手段によって算出された平均値で置き換えることにより、当該補正対象の動きベクトルを補正する動きベクトル補正手段とを動きベクトル補正装置に設けた。
【００１１】
こうすることにより、誤検出等によって近隣のブロック間で動きベクトルにばらつきが生じた場合でも、動きベクトルのばらつき度合いに応じた適応的な補正を行うことができる。
【００１２】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１３】
（１）映像信号符号化装置の構成
図１は全体として映像信号符号化装置１を示し、外部から入力されるアナログ映像信号Ｓ１をＭＰＥＧ２方式を用いて高能率圧縮符号化し、符号化データＤ７として出力するようになされている。すなわち映像信号符号化装置１のアナログ／ディジタル変換部２は、ビデオテープレコーダ等の映像信号供給装置（図示せず）から入力されるアナログ映像信号Ｓ１をディジタル変換してディジタル映像信号Ｄ１を生成し、これを画面並替部３に送出する。
【００１４】
画面並替部３は所定の符号化シーケンスに従い、ディジタル映像信号Ｄ１の各フレーム画像に対し、Ｉピクチャ（イントラ符号化フレーム）、Ｐピクチャ（順方向予測符号化フレーム）又はＢピクチャ（双方向予測符号化フレーム）のうちのどのピクチャタイプとして処理するかを指定する。そして画面並替部３は、ディジタル映像信号Ｄ１の各フレーム画像をそのピクチャタイプに応じた符号化順に並び替え、さらに当該フレーム画像を１６画素×１６ラインのマクロブロックに分割し、これを画像データＤ２として演算回路４及び動きベクトル検出部１５に送出する。
【００１５】
このとき演算回路４には、画像データＤ２のピクチャタイプに応じた予測画像データＤ３（後述）が動き補償部１５から供給されている。演算回路４は、画像データＤ２から予測画像データＤ３を減算することにより予測残差としての演算データＤ４を生成し、これをＤＣＴ（Discrete Cosine Transform 、離散コサイン変換）部５に送出する（Ｉピクチャは予測符号化を行わないので予測画像データＤ３は供給されず、演算回路４は画像データＤ２をそのまま演算データＤ４としてＤＣＴ部５に送出する）。
【００１６】
ＤＣＴ部５は演算データＤ４に対し、マクロブロックを４分割した８画素×８ラインのブロック単位でＤＣＴ変換処理を施してＤＣＴ係数化し、これをＤＣＴ係数データＤ５として量子化部６に送出する。量子化部６はＤＣＴ係数データＤ５に対して量子化処理を施して量子化ＤＣＴ係数データＤ６を生成し、これを可変長符号化部７及び逆量子化部１０に送出する。
【００１７】
可変長符号化部７は、量子化ＤＣＴ係数データＤ６に対して可変長符号化処理を施すことによりそのデータ量を削減し、これを符号化データＤ７としてバッファメモリ８を介して外部に出力する。このときレート制御部９はバッファメモリ８内における符号化データＤ７の蓄積量を常に監視しており、当該蓄積量の増減に応じて量子化部６におけるＤＣＴ係数データＤ５の量子化ステップを可変することにより、符号化データＤ７のデータレートを所定範囲内に制御する。
【００１８】
一方、逆量子化部１０は量子化ＤＣＴ係数データＤ６を逆量子化処理してＤＣＴ係数データＤ８に復元し、これを逆ＤＣＴ部１１に送出する。逆ＤＣＴ部１１は、ＤＣＴ係数データＤ８に対して逆ＤＣＴ変換処理を施して予測残差に相当する演算データＤ９を生成し、これを演算回路１２に送出する。
【００１９】
このとき演算回路１２には演算回路４と同様に、演算データＤ９のピクチャタイプに応じた予測画像データＤ３が動き補償部１５から供給されている。演算回路１２は、予測画像データＤ３に予測残差としての演算データＤ９を加算することにより画像データを再生し、これを参照画像データＤ１０としてフレームメモリ１３に格納する（Ｉピクチャは予測符号化を行わないので予測画像データＤ３は供給されず、演算回路２２は演算データＤ９をそのまま参照画像データＤ１０としてフレームメモリ１３に格納する）。
【００２０】
一方動き検出部１４は、画像データＤ２とフレームメモリ１３に記憶されている参照画像データＤ１０のマクロブロックとの間でブロックマッチングを行い動きベクトルを検出する。実際上この動きベクトルは、画像における水平方向成分及び垂直方向成分で表される直交座標データである。
【００２１】
さらに動き検出部１４は、検出した動きベクトルを本願発明の特徴である動きベクトル補正処理（後述）に従って適宜補正して動きベクトルデータＤ１２を生成し、これを動き補償部１５に供給する。上述したように動き補償部１５は、フレームメモリ１３に記憶されている参照画像データＤ１０を動きベクトルデータＤ１２を用いて動き補償することにより、画像データＤ２に対する予測画像データＤ３を生成し、これを演算回路４及び１２に供給する。
【００２２】
そして画像信号符号化装置１は、演算回路４において画像データＤ２から予測画像データＤ３を減算し、その予測残差としての演算データＤ４に対して上述したようにＤＣＴ、量子化及び可変長符号化処理を施すことにより、アナログ映像信号Ｓ１を高能率圧縮符号化して符号化データＤ７を生成する。
【００２３】
（２）動きベクトル検出及び補正処理
次に、動き検出部１４による動きベクトル検出及び補正処理を説明する。図２に示すように動き検出部１４は、動きベクトル検出回路２１、動きベクトル保存メモリ２２及び動きベクトル補正回路２３で構成される。
【００２４】
動きベクトル検出回路２１は、画面並替部３（図１）から供給される画像データＤ２の各マクロブロックについて、フレームメモリ１３（図１）に記憶されている参照画像データＤ１０のマクロブロックとの間でブロックマッチングを行い、ＭＥ残差が最小となるマクロブロックへの動きベクトルを検出し、これを仮動きベクトルデータＤ１１として動きベクトル保存メモリ２２に格納する。
【００２５】
動きベクトル補正回路２３は、動きベクトル保存メモリ２２に格納されている仮動きベクトルデータＤ１１の各動きベクトルに対し、その周囲の動きベクトルを加味した補正を行う。すなわち動きベクトル補正回路２３は、図３に示すように、補正対象となるマクロブロックの動きベクトルである対象ベクトルｘ及びその周囲のマクロブロックの動きベクトルである参照ベクトルａ〜ｈの、計９個の動きベクトルを補正参照範囲と設定し、当該補正参照範囲内の対象ベクトルｘ及び参照ベクトルａ〜ｈに対する偏差σを算出する。この偏差σは、対象ベクトルｘ自身を含む周囲の動きベクトルのばらつき度合いに相当する。
【００２６】
そして動きベクトル補正回路２３は、算出した偏差σが所定の閾値以上の場合、対象ベクトルｘ周辺における動きベクトルのばらつきが大きいとして、式（１）に示す補正式を用いて対象ベクトルｘ及びその周囲の参照ベクトルａ〜ｈの平均を取ることにより、対象ベクトルｘに対して周囲の影響を加味した補正を行い、補正ベクトルＸを生成する。
【００２７】
【数１】

【００２８】
このとき動きベクトル補正回路２３は、ベクトル値が「０」の参照ベクトルが存在する場合、当該ベクトル値「０」の参照ベクトルを上述の補正式に組み込まず、分母の値もその分小さくして補正を行う。
【００２９】
これに対して偏差σが閾値未満の場合は、対象ベクトルｘ周辺における動きベクトルのばらつきが小さいとして、動きベクトル補正回路２３は上述した補正を行うことなく、対象ベクトルｘをそのまま補正ベクトルＸとする。
【００３０】
そして動きベクトル補正回路２３は、このようにして補正した補正ベクトルＸを、動きベクトルデータＤ１２として動き補償部１５（図１）に供給する。
【００３１】
次に、上述した動き検出部１４による動きベクトル検出及び補正処理を、図４に示すフローチャートを用いて詳細に説明する。すなわち動き検出部１４は、ルーチンＲＴ１の開始ステップから入ってステップＳＰ１に移る。
【００３２】
ステップＳＰ１において、動き検出部１４の動きベクトル検出回路２１は、画面並替部３から供給される画像データＤ２とフレームメモリ１３に記憶されている参照画像データＤ１０との間でブロックマッチングを行うことにより、各マクロブロックの動きベクトルを検出し、次のステップＳＰ２に移る。
【００３３】
ステップＳＰ２において、動き検出部１４の動きベクトル検出回路２１は、検出した各マクロブロックの動きベクトルを仮動きベクトルデータＤ１１として動きベクトル保存メモリ２２に格納し、次のステップＳＰ３に移る。
【００３４】
ステップＳＰ３において、動き検出部１４の動きベクトル補正回路２３は、動きベクトル保存メモリ２２に格納されている仮動きベクトルデータＤ１１の各動きベクトル（すなわち対象ベクトルｘ）について、その補正参照範囲内の動きベクトル（対象ベクトルｘ及び参照ベクトルａ〜ｈ）に対する偏差σを算出し、次のステップＳＰ４に移る。
【００３５】
ステップＳＰ４において、動き検出部１４の動きベクトル補正回路２３は、算出した各対象ベクトルｘについての偏差σと所定の閾値とを比較して、対象ベクトルｘそれぞれに対する補正の可否を判断する。
【００３６】
すなわちステップＳＰ４において、偏差σが閾値以上の場合、このことは対象ベクトルｘ周辺の動きベクトルのばらつきが大きいことを表しており、このとき動きベクトル補正回路２３はステップＳＰ５に移り、上述した式（１）に示す補正式を用いて対象ベクトルｘ及びその周囲の参照ベクトルａ〜ｈの平均を取ることにより、対象ベクトルｘを補正して補正ベクトルＸを生成し、ステップＳＰ７に移る。
【００３７】
これに対してステップＳＰ４において、偏差σが閾値未満の場合、このことは対象ベクトルｘ周辺の動きベクトルのばらつきが小さいことを表しており、このとき動きベクトル補正回路２３はステップＳＰ５に移り、対象ベクトルｘを補正することなく、対象ベクトルｘをそのまま補正ベクトルＸとし、ステップＳＰ７に移る。
【００３８】
そして、ステップＳＰ７において動きベクトル補正回路２３は、このようにして補正した補正ベクトルＸを動きベクトルデータＤ１２として動き補償部１５に出力し、ステップＳＰ１に戻って再度ステップＳＰ１〜ＳＰ７を繰り返す。
【００３９】
（３）動作及び効果
以上の構成において、動き検出部１４の動きベクトル検出回路２１は、画面並替部３から供給される画像データＤ２の各マクロブロックについて、フレームメモリ１３に記憶されている参照画像データＤ１０との間でブロックマッチングを行い、ＭＥ残差が最小となるマクロブロックへの動きベクトルを検出して仮動きベクトルデータＤ１１を生成し、動きベクトルメモリ２２に格納する。
【００４０】
動き検出部１４の動きベクトル補正回路２３は、動きベクトルメモリ２２から仮動きベクトルデータＤ１１を読み出し、当該動きベクトルデータＤ１１の各動きベクトルそれぞれを対象ベクトルｘとして、当該対象ベクトルｘを中心とした補正参照範囲内における動きベクトルの偏差σを算出する。
【００４１】
そして動きベクトル補正回路２３は、算出した偏差σが閾値以上の場合、補正参照範囲内の動きベクトルのばらつきが大きいものとして、補正参照範囲内の動きベクトルの平均を取ることにより、対象ベクトルｘに対し周囲の影響を加味した補正を施して補正ベクトルＸを生成する。
【００４２】
以上の構成によれば、検出した各マクロブロックの動きベクトルについて、その補正参照範囲内の動きベクトルの偏差をそれぞれ算出し、偏差が閾値以上の場合、当該補正参照範囲内の動きベクトルを加味した補正を行うようにしたことにより、誤検出等によって近隣のブロック間で動きベクトルにばらつきが生じた場合でも、動きベクトルを平均化して、復号後の映像のばたつきを回避して映像品質の低下を防止することができる。
【００４３】
（４）他の実施の形態
なお上述の実施の形態においては、対象ベクトルｘ及びその周囲の参照ベクトルａ〜ｈを単純平均して対象ベクトルｘを補正するようにしたが、本発明はこれに限らず、対象ベクトルｘ及びその周囲の参照ベクトルａ〜ｈを重み付け平均して当該対象ベクトルｘを補正するようにしてもよい。
【００４４】
例えば次式に示すように、対象ベクトルｘ自身の重み付けを大きくし、当該対象ベクトルｘからの距離が離れるにつれて重み付けを小さくするようにすれば、対象ベクトルｘの影響を残した弱い補正を施すことができる。
【００４５】
【数２】

【００４６】
さらには、算出した偏差σの大小に応じて、補正の強弱を調整することも考えられる。例えば、偏差σが閾値以上でばらつきが大きいと判断した場合は、（１）式を用いて強い補正を施し、偏差σが閾値未満でばらつきが小さいと判断した場合は、（２）式を用いて弱い補正を施すようにすれば、動きベクトルのばらつき度合いに応じた適応的な補正を行うことができる。
【００４７】
また、パニングやチルト等によって画像全体で特定方向の動きが生じている場合に、これに応じて重み付けを変化させることも考えられる。例えば、パニングによって画像全体で水平方向の動きが生じている場合、次式に示すように水平方向に関する動きベクトルの重み付けを大きくすることにより、画像全体の動きを考慮した適応的な補正を行うことができる。
【００４８】
【数３】

【００４９】
この場合、上述した特定方向の動きを検出する方法としては、例えば画面全体の動きベクトルの平均値を用いることができる。また、ユーザが視覚的判断によって上述した特定方向の動きを検出し、当該検出した特定方向の動きをユーザが動きベクトル補正回路２３に指定するようにしてもよい。
【００５０】
さらに上述の実施の形態においては、補正参照範囲内の動きベクトルの偏差が閾値以上の場合に補正を行うようにしたが、本発明はこれに限らず、逆に偏差が閾値未満の場合に補正を行うようにしてもよい。
【００５１】
さらに上述の実施の形態においては、補正参照範囲内の動きベクトルの偏差の大小に基づいて補正の実行を判断するようにしたが、本発明はこれに限らず、補正を行うマクロブロックをユーザが任意に指定するようにしてもよい。
【００５２】
さらに上述の実施の形態においては、対象ベクトルｘを中心とした９個の動きベクトルを参照範囲としてベクトル補正を行うようにしたが、本発明はこれに限らず、例えば図５に示すように、対象ベクトルｘを中心とした５×５＝２５個の動きベクトルを参照範囲としてベクトル補正を行う等、様々な参照範囲でベクトル補正を行ってもよい。この場合、参照範囲が大きいほど参照ベクトルの影響が大きくなって強い補正が施され、画像全体の動きベクトルが均一化されるのに対し、参照範囲が小さいほど周囲の動きベクトルの影響が小さくなって弱い補正が施される。
【００５３】
【発明の効果】
上述のように本発明によれば、画像を所定の大きさの複数のブロックに分割して当該ブロックごとに検出した動きベクトルそれぞれに対し、当該動きベクトルを含む補正参照範囲内の動きベクトルの偏差を算出する偏差算出手段と、偏差算出手段によって算出された偏差が閾値以上である補正対象の動きベクトルに対しては、補正参照範囲内の動きベクトルを単純平均して平均値を算出し、偏差が閾値未満である補正対象の動きベクトルに対しては、補正参照範囲内の動きベクトルを重み付け平均して平均値を算出する平均値算出手段と、補正対象の動きベクトルを平均値算出手段によって算出された平均値で置き換えることにより、当該補正対象の動きベクトルを補正する動きベクトル補正手段とを動きベクトル補正装置に設けたことにより、誤検出等によって近隣のブロック間で動きベクトルにばらつきが生じた場合でも、動きベクトルのばらつき度合いに応じた適応的な補正を行うことができ、かくして復号後の映像のばたつきを回避して映像品質の低下を防止することができる。
【図面の簡単な説明】
【図１】映像信号符号化装置の全体構成を示すブロック図である。
【図２】本発明による動き検出部の構成を示すブロック図である。
【図３】補正参照範囲の説明に供する略線図である。
【図４】動きベクトル検出・補正処理手順を示すフローチャートである。
【図５】他の実施の形態の補正参照範囲の説明に供する略線図である。
【符号の説明】
１……映像信号符号化装置、２……Ａ／Ｄ変換部、３……画面並替部、４、１２……演算器、５……ＤＣＴ変換部、６……量子化部、７……可変長符号化部、８……バッファメモリ、９……レート制御部、１０……逆量子化部、１１……逆ＤＣＴ変換部、１３……フレームメモリ、１４……動き検出部、１５……動き補償部、２１……動きベクトル検出回路、２２……動きベクトル保存メモリ、２３……動きベクトル補正回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion detection device, a motion detection method, and a program, and is suitable for application to, for example, a motion detection device used for encoding a video signal.
[0002]
[Prior art]
Conventionally, block matching as a motion vector detection method used for motion compensation prediction processing using a correlation between at least two successive images in a video signal high-efficiency encoding method such as MPEG (Moving Picture Experts Group) 2 method. The method is used (for example, refer to Patent Document 1).
[0003]
In such a block matching method, an image is divided into blocks of a predetermined size, and a block of the current frame is pattern-matched with a plurality of candidate blocks within a predetermined search range in the previous frame, and an error (this is called ME (Motion Estimation). ) Called the residual). In the block matching method, a candidate block having the smallest ME residual is selected, and a deviation between the selected candidate block and the current frame block is detected as a motion vector of the current frame block.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-285873
[Problems to be solved by the invention]
As described above, in the block matching method, a motion vector is detected locally for each block based simply on the block having the smallest ME residual. For this reason, when there is a biased movement on the entire screen (panning, etc.) or when there is little movement on the entire screen, where motion vectors should normally be aligned between neighboring blocks, erroneously detected motion vectors that differ from each other May end up.
[0006]
As described above, when the motion vector varies between neighboring blocks due to erroneous detection, there is a problem that the video after decoding is fluttered and the video quality is deteriorated.
[0007]
The present invention has been made in consideration of the above points, and intends to propose a motion detection apparatus that corrects a detected motion vector to reduce fluttering of a video after decoding and can prevent deterioration of video quality. It is.
[0008]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, an image is divided into a plurality of blocks having a predetermined size, and for each motion vector detected for each block , a motion vector within the correction reference range including the motion vector is calculated . A deviation calculating means for calculating a deviation, and for a motion vector to be corrected whose deviation calculated by the deviation calculating means is equal to or greater than a threshold, a mean is calculated by simply averaging the motion vectors in the correction reference range, For a motion vector to be corrected whose deviation is less than a threshold value, an average value calculating means for calculating an average value by weighted averaging of the motion vectors in the correction reference range, and an average value calculating means for calculating the motion vector to be corrected by replacing the calculated average value, the vector correction unit motion and motion vector correction means for correcting the motion vector of the corrected Digits.
[0011]
In this way, even when motion vectors vary between neighboring blocks due to erroneous detection or the like, adaptive correction according to the degree of motion vector variation can be performed.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0013]
(1) Configuration of Video Signal Encoding Device FIG. 1 shows a video signal encoding device 1 as a whole, and an analog video signal S1 input from the outside is subjected to high-efficiency compression encoding using the MPEG2 system as encoded data D7. It is designed to output. That is, the analog / digital conversion unit 2 of the video signal encoding device 1 digitally converts the analog video signal S1 input from a video signal supply device (not shown) such as a video tape recorder to generate a digital video signal D1. This is sent to the screen rearrangement unit 3.
[0014]
The screen rearrangement unit 3 follows the predetermined coding sequence and performs I picture (intra coding frame), P picture (forward prediction coding frame) or B picture (bidirectional prediction) for each frame image of the digital video signal D1. The picture type to be processed is specified. Then, the screen rearrangement unit 3 rearranges the frame images of the digital video signal D1 in the order of encoding according to the picture type, and further divides the frame image into 16 pixel × 16 line macroblocks, which are converted into image data. The result is sent to the arithmetic circuit 4 and the motion vector detection unit 15 as D2.
[0015]
At this time, predicted image data D3 (described later) corresponding to the picture type of the image data D2 is supplied from the motion compensation unit 15 to the arithmetic circuit 4. The arithmetic circuit 4 subtracts the predicted image data D3 from the image data D2 to generate arithmetic data D4 as a prediction residual, and sends this to a DCT (Discrete Cosine Transform) unit 5 (I picture) Since no predictive coding is performed, the predicted image data D3 is not supplied, and the arithmetic circuit 4 sends the image data D2 as it is to the DCT unit 5 as the arithmetic data D4).
[0016]
The DCT unit 5 performs DCT conversion processing on the operation data D4 in units of blocks of 8 pixels × 8 lines obtained by dividing the macroblock into four to generate DCT coefficients, which are sent to the quantization unit 6 as DCT coefficient data D5. The quantization unit 6 performs quantization processing on the DCT coefficient data D5 to generate quantized DCT coefficient data D6, which is sent to the variable length coding unit 7 and the inverse quantization unit 10.
[0017]
The variable length encoding unit 7 reduces the amount of data by performing variable length encoding processing on the quantized DCT coefficient data D6, and outputs this as encoded data D7 to the outside via the buffer memory 8. . At this time, the rate control unit 9 constantly monitors the accumulation amount of the encoded data D7 in the buffer memory 8, and varies the quantization step of the DCT coefficient data D5 in the quantization unit 6 according to the increase / decrease of the accumulation amount. Thus, the data rate of the encoded data D7 is controlled within a predetermined range.
[0018]
On the other hand, the inverse quantization unit 10 performs inverse quantization processing on the quantized DCT coefficient data D6 to restore the DCT coefficient data D8, and sends this to the inverse DCT unit 11. The inverse DCT unit 11 performs inverse DCT transform processing on the DCT coefficient data D8 to generate computation data D9 corresponding to the prediction residual, and sends this to the computation circuit 12.
[0019]
At this time, similarly to the arithmetic circuit 4, the prediction circuit data D 3 corresponding to the picture type of the arithmetic data D 9 is supplied from the motion compensation unit 15 to the arithmetic circuit 12. The arithmetic circuit 12 reproduces the image data by adding the operation data D9 as the prediction residual to the prediction image data D3, and stores this in the frame memory 13 as the reference image data D10 (the I picture is subjected to prediction encoding). Since the prediction image data D3 is not supplied, the calculation circuit 22 stores the calculation data D9 in the frame memory 13 as the reference image data D10.
[0020]
On the other hand, the motion detection unit 14 detects a motion vector by performing block matching between the image data D2 and the macroblock of the reference image data D10 stored in the frame memory 13. In practice, this motion vector is orthogonal coordinate data represented by a horizontal component and a vertical component in the image.
[0021]
Furthermore, the motion detection unit 14 appropriately corrects the detected motion vector according to a motion vector correction process (described later) that is a feature of the present invention to generate motion vector data D12, and supplies this to the motion compensation unit 15. As described above, the motion compensation unit 15 generates the predicted image data D3 for the image data D2 by performing motion compensation on the reference image data D10 stored in the frame memory 13 using the motion vector data D12. This is supplied to the arithmetic circuits 4 and 12.
[0022]
Then, the image signal encoding device 1 subtracts the predicted image data D3 from the image data D2 in the arithmetic circuit 4, and performs DCT, quantization and variable length encoding on the arithmetic data D4 as the prediction residual as described above. By performing the processing, the analog video signal S1 is subjected to high-efficiency compression encoding to generate encoded data D7.
[0023]
(2) Motion Vector Detection and Correction Processing Next, motion vector detection and correction processing by the motion detection unit 14 will be described. As shown in FIG. 2, the motion detection unit 14 includes a motion vector detection circuit 21, a motion vector storage memory 22, and a motion vector correction circuit 23.
[0024]
The motion vector detection circuit 21 calculates the macroblock of the image data D2 supplied from the screen rearrangement unit 3 (FIG. 1) and the macroblock of the reference image data D10 stored in the frame memory 13 (FIG. 1). Block matching is performed between them, and a motion vector to a macroblock having the smallest ME residual is detected, and this is stored in the motion vector storage memory 22 as temporary motion vector data D11.
[0025]
The motion vector correction circuit 23 corrects each motion vector of the temporary motion vector data D11 stored in the motion vector storage memory 22 in consideration of the surrounding motion vectors. That is, as shown in FIG. 3, the motion vector correction circuit 23 includes a total of nine target vectors x that are motion vectors of macroblocks to be corrected and reference vectors a to h that are motion vectors of surrounding macroblocks. Is set as the correction reference range, and a deviation σ with respect to the target vector x and the reference vectors a to h within the correction reference range is calculated. This deviation σ corresponds to the degree of variation of surrounding motion vectors including the target vector x itself.
[0026]
Then, when the calculated deviation σ is equal to or greater than a predetermined threshold, the motion vector correction circuit 23 assumes that the variation of the motion vector around the target vector x is large, and uses the correction formula shown in Expression (1) to correct the target vector x and its surroundings. By taking an average of the reference vectors a to h, a correction that takes into account the influence of the surroundings is performed on the target vector x, and a correction vector X is generated.
[0027]
[Expression 1]

[0028]
At this time, if there is a reference vector with a vector value “0”, the motion vector correction circuit 23 does not incorporate the reference vector with the vector value “0” in the above correction equation, and reduces the denominator value accordingly. Make corrections.
[0029]
On the other hand, when the deviation σ is less than the threshold value, the motion vector correction circuit 23 assumes that the target vector x is directly used as the correction vector X without performing the above-described correction, assuming that the variation of the motion vector around the target vector x is small. .
[0030]
The motion vector correction circuit 23 supplies the correction vector X corrected in this way to the motion compensation unit 15 (FIG. 1) as motion vector data D12.
[0031]
Next, motion vector detection and correction processing by the motion detection unit 14 described above will be described in detail with reference to the flowchart shown in FIG. That is, the motion detection unit 14 enters from the start step of the routine RT1 and proceeds to step SP1.
[0032]
In step SP1, the motion vector detection circuit 21 of the motion detection unit 14 performs block matching between the image data D2 supplied from the screen rearrangement unit 3 and the reference image data D10 stored in the frame memory 13. Thus, the motion vector of each macroblock is detected, and the process proceeds to the next step SP2.
[0033]
In step SP2, the motion vector detection circuit 21 of the motion detection unit 14 stores the detected motion vector of each macroblock in the motion vector storage memory 22 as temporary motion vector data D11, and proceeds to the next step SP3.
[0034]
In step SP3, the motion vector correction circuit 23 of the motion detection unit 14 moves each motion vector (that is, the target vector x) of the temporary motion vector data D11 stored in the motion vector storage memory 22 within the correction reference range. Deviation σ with respect to the vector (target vector x and reference vectors a to h) is calculated, and the process proceeds to the next step SP4.
[0035]
In step SP4, the motion vector correction circuit 23 of the motion detector 14 compares the calculated deviation σ for each target vector x with a predetermined threshold value, and determines whether correction is possible for each target vector x.
[0036]
That is, if the deviation σ is greater than or equal to the threshold value in step SP4, this means that the motion vector around the target vector x has a large variation. At this time, the motion vector correction circuit 23 proceeds to step SP5, and the above equation ( By taking the average of the target vector x and the surrounding reference vectors a to h using the correction formula shown in 1), the target vector x is corrected to generate a correction vector X, and the process proceeds to step SP7.
[0037]
On the other hand, when the deviation σ is less than the threshold value in step SP4, this indicates that the variation of the motion vector around the target vector x is small. At this time, the motion vector correction circuit 23 moves to step SP5, and the target The target vector x is directly used as the correction vector X without correcting the vector x, and the process proceeds to step SP7.
[0038]
In step SP7, the motion vector correction circuit 23 outputs the correction vector X corrected in this way as motion vector data D12 to the motion compensation unit 15, returns to step SP1, and repeats steps SP1 to SP7 again.
[0039]
(3) Operation and Effect In the above configuration, the motion vector detection circuit 21 of the motion detection unit 14 refers to each macroblock of the image data D2 supplied from the screen rearrangement unit 3 stored in the frame memory 13. Block matching is performed with the image data D10, a motion vector to a macroblock with the smallest ME residual is detected, temporary motion vector data D11 is generated, and stored in the motion vector memory 22.
[0040]
The motion vector correction circuit 23 of the motion detector 14 reads the provisional motion vector data D11 from the motion vector memory 22, makes each motion vector of the motion vector data D11 the target vector x, and corrects the target vector x as the center. A deviation σ of the motion vector within the reference range is calculated.
[0041]
Then, when the calculated deviation σ is equal to or larger than the threshold, the motion vector correction circuit 23 determines that the motion vector in the correction reference range is large and takes the average of the motion vectors in the correction reference range to obtain the target vector x. On the other hand, a correction vector X is generated by performing correction in consideration of the influence of surroundings.
[0042]
According to the above configuration, the motion vector deviation within the correction reference range is calculated for each detected motion vector of the macroblock, and when the deviation is equal to or greater than the threshold, the motion vector within the correction reference range is taken into account. By making corrections, even if motion vectors vary between neighboring blocks due to false detection, etc., motion vectors are averaged to avoid video flutter after decoding and reduce video quality. Can be prevented.
[0043]
(4) Other Embodiments In the above-described embodiment, the target vector x and the surrounding reference vectors a to h are simply averaged to correct the target vector x. The target vector x and the surrounding reference vectors a to h may be weighted and averaged to correct the target vector x.
[0044]
For example, as shown in the following equation, if the weight of the target vector x itself is increased and the weight is decreased as the distance from the target vector x increases, a weak correction that leaves the influence of the target vector x is applied. Can do.
[0045]
[Expression 2]

[0046]
Furthermore, it is conceivable to adjust the strength of correction according to the calculated deviation σ. For example, when it is determined that the deviation σ is greater than or equal to the threshold and the variation is large, strong correction is performed using the equation (1), and when it is determined that the deviation σ is less than the threshold and the variation is small, the equation (2) is used. Therefore, adaptive correction according to the degree of motion vector variation can be performed.
[0047]
In addition, when a movement in a specific direction occurs in the entire image due to panning, tilt, or the like, it is conceivable to change the weighting according to this. For example, when horizontal movement occurs in the entire image due to panning, adaptive correction considering the movement of the entire image is performed by increasing the weight of the motion vector in the horizontal direction as shown in the following equation: Can do.
[0048]
[Equation 3]

[0049]
In this case, as a method of detecting the motion in the specific direction described above, for example, an average value of motion vectors of the entire screen can be used. Alternatively, the user may detect the motion in the specific direction described above by visual judgment, and the user may specify the detected motion in the specific direction to the motion vector correction circuit 23.
[0050]
Furthermore, in the above-described embodiment, the correction is performed when the deviation of the motion vector within the correction reference range is equal to or greater than the threshold value. May be performed.
[0051]
Further, in the above-described embodiment, the execution of correction is determined based on the magnitude of the motion vector deviation within the correction reference range. However, the present invention is not limited to this, and the user selects a macroblock to be corrected. It may be arbitrarily specified.
[0052]
Furthermore, in the above-described embodiment, the vector correction is performed using the nine motion vectors centered on the target vector x as a reference range. However, the present invention is not limited to this, for example, as shown in FIG. Vector correction may be performed in various reference ranges, such as performing vector correction using 5 × 5 = 25 motion vectors centered on the target vector x as a reference range. In this case, the larger the reference range, the greater the influence of the reference vector and the stronger correction is performed, and the motion vector of the entire image is made uniform. On the other hand, the smaller the reference range, the smaller the influence of surrounding motion vectors. Weak correction.
[0053]
【The invention's effect】
As described above, according to the present invention, for each motion vector detected for each block by dividing the image into a plurality of blocks of a predetermined size, the deviation of the motion vector within the corrected reference range including the motion vector For the deviation calculation means for calculating the deviation, and for the motion vector to be corrected whose deviation calculated by the deviation calculation means is equal to or greater than the threshold, the average value is calculated by simply averaging the motion vectors within the correction reference range. For a motion vector to be corrected whose threshold is less than a threshold value, an average value calculating means for calculating an average value by weighted averaging of the motion vectors in the correction reference range, and a motion vector to be corrected are calculated by the average value calculating means. by replacing average value, in particular provided in the vector correction unit motion and motion vector correction means for correcting the motion vector of the corrected , Even if the variation in the motion vectors between neighboring blocks by erroneous detection or the like occurs, to avoid can perform adaptive compensation in accordance with the degree of dispersion of the motion vector, thus flapping of the video after decoding the video Quality degradation can be prevented.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a video signal encoding apparatus.
FIG. 2 is a block diagram illustrating a configuration of a motion detection unit according to the present invention.
FIG. 3 is a schematic diagram for explaining a correction reference range;
FIG. 4 is a flowchart showing a motion vector detection / correction processing procedure.
FIG. 5 is a schematic diagram for explaining a correction reference range according to another embodiment;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Video signal encoding apparatus, 2 ... A / D conversion part, 3 ... Screen rearrangement part, 4, 12 ... Operation unit, 5 ... DCT conversion part, 6 ... Quantization part, 7 ... ... Variable length coding unit, 8... Buffer memory, 9... Rate control unit, 10 .. inverse quantization unit, 11 .. inverse DCT conversion unit, 13. ... Motion compensation unit, 21... Motion vector detection circuit, 22... Motion vector storage memory, 23.

Claims

Deviation calculating means for dividing a motion vector detected for each block by dividing the image into a plurality of blocks having a predetermined size, and calculating a deviation of the motion vector within the correction reference range including the motion vector ;
For the motion vector to be corrected whose deviation calculated by the deviation calculating means is greater than or equal to a threshold value, an average value is calculated by simply averaging the motion vectors in the correction reference range, and the deviation is the threshold value. For the motion vector to be corrected that is less than, an average value calculating means for calculating an average value by weighted averaging the motion vectors in the correction reference range;
A motion vector correction apparatus comprising: a motion vector correction unit configured to correct the motion vector to be corrected by replacing the motion vector to be corrected with an average value calculated by the average value calculation unit .

The average value calculating means is:
For the motion vector of the correction target whose deviation is less than the threshold value, the weight of the motion vector of the correction target itself is increased, and the weight is decreased as the distance from the motion vector of the correction target increases. The motion vector correction apparatus according to claim 1, wherein the motion vectors within the correction reference range are weighted averaged .

The average value calculating means is:
For the motion vector to be corrected whose deviation is less than the threshold, the motion vector within the correction reference range is increased by increasing the weight of the motion vector related to the motion in a specific direction occurring in the entire image. The motion vector correction apparatus according to claim 1 , wherein the vectors are weighted and averaged .

A deviation calculating step of calculating a deviation of the motion vector within the correction reference range including the motion vector for each of the motion vectors detected for each block by dividing the image into a plurality of blocks of a predetermined size ;
For the motion vector to be corrected whose deviation calculated in the deviation calculating step is greater than or equal to a threshold value, an average value is calculated by simply averaging the motion vectors in the correction reference range, and the deviation is less than the threshold value. An average value calculating step for calculating an average value by weighted averaging the motion vectors in the correction reference range,
A motion vector correction method comprising: a motion vector correction step of correcting the correction target motion vector by replacing the correction target motion vector with the average value calculated in the average value calculation step .

Against the computer,
Deviation calculation in which deviation calculation means calculates the deviation of the motion vector within the correction reference range including the motion vector for each of the motion vectors detected for each block by dividing the image into a plurality of blocks of a predetermined size Steps,
The average value calculating means calculates the average value by simply averaging the motion vectors in the correction reference range for the motion vector to be corrected whose deviation calculated in the deviation calculating step is equal to or greater than a threshold value. For the motion vector to be corrected whose deviation is less than the threshold, an average value calculating step of calculating an average value by weighted averaging the motion vectors in the correction reference range;
A motion vector correcting step in which the motion vector correcting means corrects the motion vector to be corrected by replacing the motion vector to be corrected with the average value calculated in the average value calculating step;
Motion vector correction program for executing