JP4145837B2 - ブロックに基いた動き補償装置および方法 - Google Patents

Description

本発明は、ブロックに基いた動き補償装置および方法に係り、より詳しくは、ブロックアーチファクトの発生したブロックに対してのみ選別的にＯＢＭＣ技法を施すことによりブロックアーチファクトが除去された映像信号を出力するブロックに基いた動き補償装置および方法に係る。

圧縮とは、データの内容を保持する状態でデータの量を縮小する技術であって、動画圧縮技術の代表的な例としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が挙げられる。

ＭＰＥＧは、データの圧縮時に各フレーム／フィールド間の時間的または空間的重複性（冗長度）を除去することによりデータの圧縮率を向上する方式である。ここで、時間的重複性は、前フレーム／フィールドと現フレーム／フィールドとの間から最も類似しているブロックを探す動き推定により除去され、空間的重複性は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）により除去される。

特に、動き推定は、一般に、ブロック整合アルゴリズム（以下、“ＢＭＡ”と称す）により行われる。ＢＭＡとは、前フレーム／フィールドと現フレーム／フィールドのように連続入力される２枚のフレームをブロック単位で比較し、比較されるブロック内の複数の画素が並進運動（ｔｒａｎｓｌａｔｉｏｎ）をするという仮定下でブロック当たりに1つの動きベクトルを推定することをいう。

前述したように、送信機で推定された動きベクトルは、現フレーム／フィールドと前フレーム／フィールドとの動き予測誤差、例えば、ＳＡＤ値と共に受信機に伝送される。すると、受信機では、現および／または前フレーム／フィールドと受信された動きベクトルを用いて動き補償を行った後、受信された動き予測誤差によって適応的にフレーム／フィールドを復元する。

しかし、従来の動き補償方法により圧縮データを復元する場合、復元された映像ではブロックアーチファクトが発生する。ブロックアーチファクトとは、復元されたフレーム／フィールドにおいて隣接しているブロック間の境界が不連続的に見える現象であって、視覚的に障る映像を提供し、画質の劣化を招く。かかるブロックのアーチファクトは、ブロック単位で行われる動き推定および補償により発生する。

また、従来の動き補償方法では、ブロックアーチファクトの発生を防ぐために全体のブロックに重複ブロック動き補償（以下、“ＯＢＭＣ”と称す）技法を施したが、かかる場合、全体としてぼけが発生する映像が提供されるという問題点が発生する。

本発明は、前記のような従来技術における問題点を解決するためになされたものであって、その目的は、ブロックアーチファクトの発生するブロックに対してのみ選別的にＯＢＭＣ技法を施すことでより精度よい動き補償が可能なブロックに基いた動き補償装置および方法を提供することである。

前記目的を達成するための、本発明に係るブロックに基いた動き補償装置は、推定された現ブロックの動きベクトルに対応する第１および第２の画素を入力される現および前フレーム／フィールドからそれぞれ抽出して第１の補間画素を算出する第１の動き補償補間部と、補間すべき前記現ブロックに隣接している少なくとも1つの周辺ブロック毎に推定された動きベクトルに対応する第３および第４の画素を入力される前記現フレームおよび前フレーム／フィールドからそれぞれ抽出して第２の補間画素を算出する少なくとも1つの第２の動き補償補間部と、補間すべき前記現ブロックのうちの前記第１および第２の補間画素が補間される相対的位置によって前記第１および第２の補間画素に所定の重み値を割り当てて候補補間画素を算出する候補補間画素算出部と、推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルを分析して前記現ブロックと前記周辺ブロックとの不連続有無を判断する動き分析部、および前記動き分析部で判断された前記不連続有無によって前記第１の補間画素および前記候補補間画素のいずれかを最終補間画素として選択し出力する最終補間画素選択部とを含む。

より詳しくは、前記動き分析部は、推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルとの差を求め、前記差が予め設定された閾値より大きいと、前記候補補間画素算出部から算出された前記候補補間画素を前記最終補間画素として選択させる信号を前記最終補間画素選択部に出力し、前記差が予め設定された前記閾値より小さいと、前記第１の動き補償補間部から算出された前記第１の補間画素を前記最終補間画素として選択させる信号を出力する。

また、前記第１および第２の動き補償補間部は、それぞれ、前記現ブロックの動きベクトルに対応する前記第１の画素を入力される前記現フレーム／フィールドから抽出する第１の画素抽出部と、前記現ブロックの動きベクトルに対応する前記第２の画素を入力される前記前フレーム／フィールドから抽出する第２の画素抽出部と、補間すべきフレーム／フィールドと前記現および前フレーム／フィールドとの相対的位置相関係数を抽出された前記第１および第２の画素のそれぞれに乗算して第１および第２の乗算データを出力する第１および第２の乗算部、および前記第１および第２の乗算部から出力される前記第１および第２の乗算データを加算して前記第１の補間画素を算出する第１の加算部と、を含み、前記第１および第２の画素のそれぞれに与えられる前記相対的位置相関係数の和は１である。

さらに、前記第２の画素に乗算される前記相対的位置相関係数は、次の式により算出される。

（前記式の中で、ｒは、前記第２の画素に乗算される相対的位置相関係数を表し、ａは、前記補間すべきフレーム／フィールドから前記前フレーム／フィールドまでの最小距離を表し、ｂは、前記補間すべきフレーム／フィールドから前記現フレーム／フィールドまでの最小距離を表す。）
好ましくは、前記候補補間画素算出部は、前記現ブロック内において補間すべき画素の相対的位置毎に重み値が割り当てられており、前記相対的位置毎に割り当てられた重み値のうちから算出された前記第１および第２の補間画素が補間される位置に対応する重み値を抽出し提供する重み値記憶部と、前記重み値記憶部から前記第１および第２の補間画素が補間される位置に対応する重み値を提供され前記第１および第２の補間画素毎に乗算して第３および第４の乗算データを出力する第３および第４の乗算部、および前記第３および第４の乗算部から出力される前記第３および第４の乗算データを加算して前記候補補間画素を算出する第２の加算部とを更に含み、前記第１および第２の補間画素が補間される位置における前記第１および第２の補間画素に割り当てられる前記重み値の和は１である。

また、前記第１および第２の補間画素の補間される位置が補間ブロックの中心から前記補間ブロックの境界領域に移動するほど前記第１の補間画素に割り当てられる重み値は減少し、前記第２の補間画素に割り当てられる重み値は増加する。

そして、入力される前記現フレーム／フィールドを所定の時間遅延させ、前記所定の時間遅延された前記前フレーム／フィールドを前記第１および第２の動き補償補間部および前記動き補償部に提供する遅延器を更に含む。

また、前記第２の動き補償補間部の個数は、前記周辺ブロックの個数と同一に設けられる。

一方、前記のような目的を達成するための、本発明に係るブロックに基いた動き補償方法は、推定された現ブロックの動きベクトルに対応する第１および第２の画素を入力される現および前フレーム／フィールドからそれぞれ抽出して第１の補間画素を算出するステップと、補間すべき前記現ブロックに隣接している少なくとも1つの周辺ブロック毎に推定された動きベクトルに対応する第３および第４の画素を入力される前記現および前フレーム／フィールドからそれぞれ抽出して第２の補間画素を算出するステップと、補間すべき前記現ブロックのうちの前記第１および第２の補間画素が補間される相対的位置によって前記第１および第２の補間画素に所定の重み値を割り当てて候補補間画素を算出するステップと、推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルを分析して前記現ブロックと前記周辺ブロックとの不連続有無を判断するステップと、前記判断ステップで判断された前記不連続有無によって前記第１の補間画素および前記候補補間画素のいずれかを最終補間画素として選択し出力するステップとを含む。

より詳しくは、前記動き分析ステップは、推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルとの差を求め、前記差が予め設定された閾値より大きいと、前記候補補間画素を算出するステップから算出された前記候補補間画素を前記最終補間画素として選択させる信号を出力し、前記差が予め設定された前記閾値より小さいと、前記第１の補間画素を前記最終補間画素として選択させる信号を出力する。

また、前記第１および第２の補間画素算出ステップは、それぞれ、前記現ブロックの動きベクトルに対応する前記第１の画素を入力される前記現フレーム／フィールドから抽出するステップと、前記現ブロックの動きベクトルに対応する前記第２の画素を入力される前記前フレーム／フィールドから抽出するステップと、補間すべきフレーム／フィールドと前記現および前フレーム／フィールドとの相対的位置相関係数を抽出された前記第１および第２の画素のそれぞれに乗算して第１および第２の乗算データを出力するステップ、および前記第１および第２の乗算部から出力される前記第１および第２の乗算データを加算して前記第１の補間画素を算出するステップとを含み、前記第１および第２の画素のそれぞれに与えられる前記相対的位置相関係数の和は１である。

前記候補補間画素算出ステップは、前記現ブロック内において補間すべき画素の相対的位置毎に割り当てられた重み値のうちから、算出された前記第１および第２の補間画素が補間される位置に対応する重み値を抽出し提供するステップと、提供された前記第１および第２の補間画素が補間される位置に対応する重み値を前記第１および第２の補間画素毎に乗算して第３および第４の乗算データを出力するステップと、出力された前記第３および第４の乗算データを加算して前記候補補間画素を算出するステップとを含み、前記第１および第２の補間画素が補間される位置における前記第１および第２の補間画素に割り当てられる前記重み値の和は１である。

また、入力される前記現フレーム／フィールドを所定の時間遅延させ、前記所定の時間遅延された前記前フレーム／フィールドを前記第１および第２の補間画素算出ステップに提供するステップを更に含む。

以上で説明したように、本発明に係るブロックに基いた動き補償装置および方法によれば、ブロック間において発生する不連続領域、即ち、ブロックアーチファクトの発生する領域を選別し、選別された領域に対してのみＯＢＭＣ技法を施すことが可能である。従って、選別的にＯＢＭＣ技法を施すことにより全体のブロックにＯＢＭＣ技法を施す場合に発生するぼけのような画質の劣化を減少させつつ、ブロックアーチファクトも除去または減少する動き補償を行うことができる。

図１は、本発明の好適な実施例に係るブロックに基いた動き補償装置を概略的に示すブロック図である。

同図に示すように、本発明に係るブロックに基いた動き補償装置１００は、遅延器１１０、第１の動き補償補間部１２０、第２の動き補償補間部１３０、候補補間画素算出部１４０、動き分析部１５０、および最終補間画素選択部１６０を含む。

まず、本発明に係るブロックに基いた動き補償装置１００は、ＢＭＡにより推定された補間すべき現ブロックおよび前ブロックの動きベクトルおよび動き予測誤差（Ｍｏｔｉｏｎ Ｅｒｒｏｒ）を用いて動き補償を行う装置である。

従って、本発明に係るブロックに基いた動き補償装置１００には、図２に示す現ブロックに対して推定された動きベクトルｖ_０および現ブロックに隣接している所定の周辺ブロックに対して推定された動きベクトルｖ_ｃが入力される。また、本発明に係るブロックに基いた動き補償装置１００には、入力映像信号（ｉｎｐｕｔ ｓｉｇｎａｌ）として現フレーム／フィールドＦ_ｎが入力される。

入力される現フレーム／フィールドＦ_ｎは、後述する第１および第２の画素抽出部１２２、１３２および動き分析部１５０に提供される。

遅延器１１０は、入力される現フレーム／フィールドＦ_ｎを所定の時間遅延させた後、所定の時間遅延された前フレーム／フィールドＦ_ｎ−１を出力する。遅延器１１０から出力された前フレーム／フィールドＦ_ｎ−１は、後述する第２および第４の画素抽出部１２４、１３４および動き分析部１５０に提供される。

第１の動き補償補間部１２０は、第１および第２の画素抽出部１２２、１２４、第１および第２の乗算部１２６、１２８および第１の加算部１２９を含む。

第１の動き補償補間部１２０は、推定された現ブロックの動きベクトルｖ_０に対応する第１および第２の画素ｆ_１、ｆ_２を入力される現および前フレーム／フィールドＦ_ｎ、Ｆ_ｎ−１からそれぞれ抽出して第１の補間画素ｆ_０を算出する。

詳述すれば、第１の画素抽出部１２２は、補間すべき現ブロックの動きベクトルｖ_０に対応する第１の画素ｆ_１を入力される現フレーム／フィールドＦ_ｎから抽出する。

第２の画素抽出部１２４は、補間すべき現ブロックの動きベクトルｖ_０に対応する第２の画素ｆ_２を入力される前フレーム／フィールドＦ_ｎ−１から抽出する。

第１の乗算部１２６は、補間すべきフレーム／フィールドＦ_ｉと現および前フレーム／フィールドＦ_ｎ、Ｆ_ｎ−１との相対的位置相関係数を抽出された第１の画素ｆ_１に乗算して第１の乗算データを出力する。相対的位置相関関係は、フレームレート変換比に関わるものであって、次の式（１）により算出できる。

図３および式（１）の中で、（１−ｒ）は、第１の画素ｆ_１に乗算される相対的位置相関係数を表し、ａは、補間すべきフレーム／フィールドＦ_ｉから前フレーム／フィールドＦ_ｎ−１までの最小距離を表し、ｂは、補間すべきフレーム／フィールドＦ_ｉから現フレーム／フィールドＦ_ｎまでの最小距離を表す。

第２の乗算部１２４は、式（１）により算出された相関係数ｒを第２の画素ｆ_２に乗算して第２の乗算データを出力する。ここで、第１および第２の画素ｆ_１、ｆ_２にそれぞれ与えられる相対的位置相関係数の和は１であることが分かる。

第１の加算部１２９は、第１および第２の乗算部１２６、１２８から出力される第１および第２の乗算データを加算して第１の補間画素ｆ_０を算出する。

第２の動き補償補間部１３０は、第３および第４の画素抽出部１３２、１３４、第３および第４の乗算部１３６、１３８および第２の加算部１３９を含む。第２の動き補償補間部１３０は、多数の周辺ブロックのうちの所定の周辺ブロックに対して推定された動きベクトルｖ_ｃに対応する第３および第４の画素ｆ_３、ｆ_４を入力される現および前フレーム／フィールドＦ_ｎ、Ｆ_ｎ−１からそれぞれ抽出して第２の補間画素ｆ_ｃを算出する。

詳述すれば、第３の画素抽出部１３２は、所定の周辺ブロックの動きベクトルｖ_ｃに対応する第３の画素ｆ_３を入力される現フレーム／フィールドＦ_ｎから抽出する。また、第４の画素抽出部１３４は、所定の周辺ブロックの動きベクトルｖ_ｃに対応する第４の画素ｆ_４を入力される前フレーム／フィールドＦ_ｎ−１から抽出する。

第３の乗算部１３６は、式（１）により算出された相関係数（１−ｒ）を第３の画素ｆ_３に乗算して第３の乗算データを出力する。また、第４の乗算部１３８は、相関係数ｒを第４の画素ｆ_４に乗算して第４の乗算データを出力する。ここで、第３および第４の画素ｆ_３、ｆ_４に乗算される相関係数は、それぞれ第１および第２の画素ｆ_１、ｆ_２に適用される相関係数と同一である。

第２の加算部１３９は、第３および第４の乗算部１３６、１３８から出力される第３および第４の乗算データを加算して第２の補間画素ｆ_ｃを算出する。

従って、第１および第２の動き補償補間部１２０、１３０からそれぞれ出力される第１および第２の補間画素ｆ_０、ｆ_ｃは、次の式（２）および式（３）により算出される。

前記式の中で、ｘは、所定のブロック（即ち、現ブロックまたは周辺ブロック）に位置する所定の画素の座標値を表し、ｎは、現フレーム／フィールドＦ_ｎの時間的位置を表し、ｎ−１は、前フレーム／フィールドＦ_ｎ−１の時間的位置を表し、ｒ（ここで、０≦ｒ≦１）は、第２および第４の画素ｆ_２、ｆ_４に与えられる相関係数を表す。

候補補間画素算出部１４０は、重み値記憶部１４２、第５および第６乗算部１４４、１４６および第３の加算部１４８を含む。候補補間画素算出部１４０は、補間すべきブロックのうちのブロックアーチファクトの発生するブロックに対してＯＢＭＣ技法を施すことによりブロックアーチファクトを除去または減少させる。

このために、候補補間画素算出部１４０は、補間すべき現ブロックのうちの第１および第２の補間画素ｆ_０、ｆ_ｃが補間される相対的位置によって第１および第２の補間画素ｆ_０、ｆ_ｃに所定の重み値を割り当てて候補補間画素ｆ’を算出する。

ＯＢＭＣ技法は、現に補間すべきブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_ｃとの相関性が高いという特性を用いるのである。従って、ＯＢＭＣ技法は、図４に示すように所定の周辺ブロックＢ_１を横／縦方向（矢印方向）に所定の大きさ拡張させることで現ブロックＢ_０の一部と重なり合わせた後、重なり合ったサブブロック（斜線で図示）を補償単位に設定して動き補償を行う。即ち、ＯＢＭＣ技法は、重なり合ったサブブロックでは現ブロックＢ_０の動きベクトルｖ_０と周辺ブロックＢ_１の動きベクトルｖ_１が動き補償に影響を与えるという仮定下で、現に補間される所定の位置毎に重み値を割り当てて補間に用いられる候補補間画素ｆ’を算出するのである。

詳述すれば、重み値記憶部１４２には、補間すべき現ブロック内において補間すべき画素の相対的位置毎に重み値が割り当てられている。即ち、補間すべき現ブロックにおいて現に動きベクトルｖ_０に対応する第１の画素ｆ_１が多数存在する場合、多数の第１の画素ｆ_１が抽出される度に算出される第１の補間画素ｆ_０に与えられる重み値ｋが割り当てられており、第１の補間画素ｆ_０が補間される位置毎に割り当てられている。併せて、第２の補間画素ｆ_ｃに与えられる重み値は（１−ｋ）値を有する。

この時、重み値記憶部１４２に記憶されている補間すべき画素の相対的位置に対応する重み値は、補間すべき現ブロックの中央から境界部分にいくにつれて大きくなる。即ち、サブブロックを含む現ブロックＢ_０の境界部分にいくにつれて現ブロックＢ_０の動きベクトルｖ_０を反映した第１の補間画素ｆ_０に割り当てられる重み値ｋは小さくなる。反面、サブブロックを含む現ブロックＢ_０の境界部分にいくにつれて周辺ブロックの動きベクトルｖ_１を反映した第２の補間画素ｆ_ｃに割り当てられる重み値（１−ｋ）は大きくなる。

従って、第１および第２の補間画素ｆ_０、ｆ_ｃが算出されると、重み値記憶部１４２は、第１および第２の補間画素ｆ_０、ｆ_ｃが補間される位置に対応する重み値ｋおよび（１−ｋ）を取り出して提供する。例えば、算出された第１および第２の補間画素ｆ_０、ｆ_ｃの補間される位置が補間すべき現ブロックのうちの（３、３）位置である場合、重み値記憶部１４２は、（３、３）位置に対応する所定の重み値ｋを取り出して第５の乗算部１４４に提供し、（１−ｋ）を有する重み値を第６の乗算部１４６に提供する。ここで、第５および第６の乗算部１４４、１４６に提供される重み値の和は、‘１’であることが分かる。

第５の乗算部１４４は、第１の補間画素ｆ_０が補間される位置に対応する重み値ｋと第１の補間画素ｆ_０を乗算して第５の乗算データを出力し、第６の乗算部１４６は、第２の補間画素ｆ_ｃが補間される位置に対応する重み値（１−ｋ）と第２の補間画素ｆ_ｃを乗算して第６の乗算データを出力する。

第３の加算部１４８は、第５および第６の乗算部１４４、１４６から出力される第５および第６の乗算データを加算して候補補間画素ｆ’を算出する。

従って、候補補間画素算出部１４０から出力される候補補間画素ｆ’は、次の式（４）により求められる。

前記式の中で、ｋは、第１の補間画素ｆ_０に与えられる重み値、（１−ｋ）は、第２の補間画素ｆ_ｃに与えられる重み値であり、０≦ｒ≦１である。

動き分析部１５０は、現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_ｃを分析して現ブロックと周辺ブロックとの不連続有無を判断する。詳述すれば、動き分析部１５０は、動きベクトルフィールド（図示せず）において現ブロックと周辺ブロックとが不連続領域であるものと判断されると、ブロックアーチファクトが発生すると判断し、ＯＢＭＣモードを行うようにするモーションフラグ（Ｍｏｔｉｏｎ Ｆｌａｇ）ｍを出力する。

反面、動きベクトルフィールド（図示せず）において現ブロックと周辺ブロックとが不連続領域ではないものと判断されると、動き分析部１５０は、一般の動き補償を行うようにするモーションフラグを出力する。

かかる各ブロック間の不連続特性は、現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトル（例えば、ｖ_１）とのずれが大きい所で発生する可能性が高い。従って、本発明では、不連続領域を検出するための方法として、次のような実施例を適用することができる。即ち、動き分析部１５０は、現動きベクトルｖ_０と周辺動きベクトルｖ_ｃとの偏差と予め設定された閾値とを比較することで現ブロックと周辺ブロックとの不連続有無を判断することができる。

詳述すれば、動き分析部１５０は、推定された現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_１との偏差を算出する。そして、該偏差が予め設定された閾値より大きいと、動き分析部１５０は、候補補間画素算出部１４０から算出された候補補間画素ｆ’を最終補間画素ｆとして選択させるモーションフラグ、即ち、ｍ＝１という選択信号を最終補間画素選択部１６０に出力する。

反面、該差が予め設定された閾値より小さいと、動き分析部１５０は、第１の動き補償補間部１２０から算出された第１の補間画素ｆ_０を最終補間画素ｆとして選択させるモーションフラグ、即ち、ｍ＝０という選択信号を最終補間画素選択部１６０に出力する。

最終補間画素選択部１６０は、動き分析部１５０で判断された不連続有無によって第１の補間画素ｆ_０および候補補間画素ｆ’のいずれかを最終補間画素ｆとして選択し、本発明では、マルチプレクサを使用する。

式（５）を参照して詳述すれば、動き分析部１５０からｍ＝１を有するモーションフラグが入力されると、最終補間画素選択部１６０は、ＯＢＭＣ技法により算出された候補補間画素ｆ’を最終補間画素ｆとして選択する。反面、動き分析部１５０からｍ＝０を有するモーションフラグが入力されると、最終補間画素選択部１６０は、第１の動き補償補間部１２０から算出された第１の補間画素ｆ_０を最終補間画素ｆとして選択する。

図５は、図１によるブロックに基いた動き補償方法を概略的に説明するためのフローチャートである。

図１乃至図５を参照すれば、まず、第１および第１の画素抽出部１２２、１２４は、現動きベクトルｖ_０に対応する第１および第２の画素ｆ_１、ｆ_２をそれぞれ現および前フレーム／フィールドＦ_ｎ、Ｆ_ｎ−１から抽出する（Ｓ４１０）。そして、第３および第４の画素抽出部１３２、１３４は、周辺動きベクトルｖ_ｃに対応する第３および第４の画素ｆ_３、ｆ_４をそれぞれ現および前フレーム／フィールドＦ_ｎ、Ｆ_ｎ−１から抽出する（Ｓ４２０）。

Ｓ４２０ステップが行われると、第１乃至第４の乗算部１２６、１２８、１３６、１３８は、式（１）により算出された所定の相関係数（１−ｒ）およびｒを適応的に第１乃至第４の画素ｆ_１乃至ｆ_４に乗算して第１乃至第４の乗算データを算出する（Ｓ４３０）。

そして、第１の加算部１２９は、第１および第２の乗算データを加算して第１の補間画素ｆ_０を算出し、第２の加算部１３９は、第３および第４の乗算データを加算して第２の補間画素ｆ_ｃを算出する（Ｓ４４０）。

Ｓ４４０ステップが行われると、候補補間画素算出部１４０は、ＯＢＭＣ技法を適用してサブブロック単位で動き補償を行う。詳述すれば、候補補間画素算出部１４０は、補間すべき現ブロックのうちの第１および第２の補間画素ｆ_０、ｆ_ｃが補間される相対的位置によって第１および第２の補間画素ｆ_０、ｆ_ｃに所定の重み値を割り当てて候補補間画素ｆ’を算出する（Ｓ４５０）。この時、第１の補間画素ｆ_０に重み値ｋが割り当てられる場合、第２の補間画素ｆ_ｃには重み値（１−ｋ）が割り当てられる。

そして、動き分析部１５０は、補間すべき現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_ｃを分析し、現ブロックと周辺ブロックとの不連続有無を判断した後、判断結果に相応するモーションフラグを出力する（Ｓ４６０）。

例えば、現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_ｃとの偏差が予め設定された閾値より大きいと、動き分析部１５０は、現ブロックと周辺ブロックとの不連続領域が存在しブロックアーチファクトが発生すると判断して、ｍ＝１というモーションフラグを出力する。反面、現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_ｃとの偏差が予め設定された閾値より小さいと、動き分析部１５０は、現ブロックと周辺ブロックとの不連続領域が存在しないものと判断して、ｍ＝０というモーションフラグを出力する。

Ｓ４６０ステップからｍ＝１というモーションフラグが入力されると、最終補間画素選択部１６０は、候補補間画素算出部１４０から算出された候補補間画素ｆ’を最終補間画素ｆとして選択出力する（Ｓ４７０）。

一方、Ｓ４６０ステップからｍ＝０というモーションフラグが入力されると、最終補間画素選択部１６０は、第１の動き補償補間部１２０から算出された第１の補間画素ｆ_０を最終補間画素ｆとして選択出力する（Ｓ４８０）。

前述したブロックに基いた動き補償装置１００および方法では、現ブロックおよび現ブロックに隣接している多数の周辺ブロックのいずれかとの相関度を考慮してＯＢＭＣ技法を施す。従って、ブロックに基いた動き補償装置１００および方法によれば、ブロックアーチファクトの発生したブロックに対してのみＯＢＭＣ技法を施すことでブロックアーチファクトが除去または減少した動き補償映像の提供が可能となる。

図６は、本発明の他の実施例に係るブロックに基いた動き補償装置６００を概略的に示すブロック図である。ブロックに基いた動き補償装置６００は、遅延器６１０、動き補償補間部６２０、候補補間画素算出部６３０、動き分析部６４０、および最終補間画素選択部６５０を含む。まず、図６に示すブロックに基いた動き補償装置６００は、現ブロックに隣接している多数の周辺ブロックを考慮してＯＢＭＣ技法を選択的に施す装置である。

また、図６に示すブロックに基いた動き補償装置６００の遅延器６１０、動き補償補間部６２０、候補補間画素算出部６３０、動き分析部６４０、および最終補間画素選択部６５０は、図１に示す遅延器１１０、第１の動き補償補間部１２０、第２の動き補償補間部１３０、候補補間画素算出部１４０、動き分析部１５０、および最終補間画素選択部１６０と類似の動作を行うため、各ブロックに対する詳細な説明は省く。

動き補償補間部６２０は、第１乃至第Ｎの動き補償補間部６２０＿１乃至６２０＿Ｎを有する。ここで、Ｎは、動き補償時に考慮される現ブロックと周辺ブロックの個数である。

第１の動き補償補間部６２０＿１は、現ブロックの動きベクトルに対応する画素を抽出して第１の補間画素ｆ_１を算出する。第２乃至第Ｎの動き補償補間部６２０＿２乃至６２０＿Ｎは、それぞれ周辺ブロックの動きベクトルｖ_１乃至ｖ_ｎ−１に対応する画素を抽出して第２乃至第Ｎの補間画素ｆ_２乃至ｆ_ｎを算出する。

候補補間画素算出部６３０は、重み値記憶部（図示せず）、第１乃至第Ｎの乗算部６３２＿１乃至６３２＿Ｎおよび加算部６３４を含む。

候補補間画素算出部６３０は、補間すべきブロックのうちのブロックアーチファクトの発生するブロックに対してＯＢＭＣ技法を施すことにより動き補償を行う。

このために、各第１乃至第Ｎの乗算部６３２＿１乃至６３２＿Ｎは、補間すべき現ブロックにおいて第１および第Ｎの補間画素ｆ_２、ｆ_Ｎが補間される相対的位置によって第１および第Ｎの補間画素ｆ_２乃至ｆ_Ｎに所定の重み値ｋ_１乃至ｋ_Ｎを乗算する。この時、第１乃至第Ｎの乗算部６３２＿１乃至６３２＿Ｎに提供される各重み値ｋ_１乃至ｋ_Ｎの和は、‘１’であることが好ましい。加算部６３４は、重み値ｋ_１乃至ｋ_Ｎが乗算された各データを加算して候補補間画素ｆ’を算出する。

動き分析部６４０は、現ブロックの動きベクトルｖ_０と周辺ブロックの動きベクトルｖ_１乃至ｖ_Ｎ−１を分析して現ブロックと周辺ブロックとの不連続有無を判断する。

最終補間画素選択部６５０は、動き分析部６４０で判断された不連続有無によって第１の補間画素ｆ_０および候補補間画素ｆ’のいずれかを最終補間画素ｆとして選択出力する。

前述したブロックに基いた動き補償装置１００、６００および方法は、動画圧縮システム、高鮮明ＴＶのフレームレートの変換等のような産業分野にわたって広範囲に活用され得る。

以上では、好適な実施例を挙げて本発明について詳しく説明したが、本発明の属する技術分野における通常の知識を有する者であれば、前述した実施例に対し本発明の範疇を逸脱しない限度内で種々の変形が可能であることが理解できるはずである。ゆえに、本発明の権利範囲は、説明された実施例に限られるものではなく、添付する特許請求の範囲のみならず、該特許請求の範囲と均等な物により定められるべきである。

本発明は、ブロックアーチファクトの発生したブロックに対してのみ選別的にＯＢＭＣ技法を施すことによりブロックアーチファクトが除去された映像信号を出力するブロックに基いた動き補償装置および方法に利用され得る。

本発明の好適な実施例に係るブロックに基いた動き補償装置を概略的に示すブロック図である。 現ブロックおよび周辺ブロックのそれぞれに対して推定された動きベクトルを示す図である。 図１の動き補償装置に適用される相対的位置相関係数の算出方法を説明するための図である。 ブロックアーチファクトを除去するために適用されるＯＢＭＣ技法を説明するために示す図である。 図１によるブロックに基いた動き補償方法を概略的に説明するためのフローチャートである。 本発明の他の実施例に係るブロックに基いた動き補償装置を概略的に示すブロック図である。

符号の説明

１００、６００ 動き補償装置
１１０、６１０ 遅延器
１２０ 第１の動き補償補間部
１３０ 第２の動き補償補間部
１４０、６３０ 候補補間画素算出部
１５０、６４０ 動き分析部
１６０、６５０ 最終補間画素選択部
６２０ 動き補償補間部

Claims (14)

1. 推定された現ブロックの動きベクトルに対応する第１および第２の画素を入力される現および前フレーム／フィールドからそれぞれ抽出して第１の補間画素を算出する第１の動き補償補間部と；
   補間すべき前記現ブロックに隣接している少なくとも1つの周辺ブロック毎に推定された動きベクトルに対応する第３および第４の画素を入力される前記現フレームおよび前フレーム／フィールドからそれぞれ抽出して第２の補間画素を算出する少なくとも1つの第２の動き補償補間部と；
   補間すべき前記現ブロックのうちの前記第１および第２の補間画素が補間される相対的位置によって前記第１および第２の補間画素に所定の重み値を割り当てて候補補間画素を算出する候補補間画素算出部と；
   推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルを分析して前記現ブロックと前記周辺ブロックとの不連続有無を判断する動き分析部と；
   前記動き分析部で判断された前記不連続有無によって前記第１の補間画素および前記候補補間画素のいずれかを最終補間画素として選択し出力する最終補間画素選択部とを含み、
   前記動き分析部は、推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルとの差を求め、前記差が予め設定された閾値より大きいと、前記候補補間画素算出部から算出された前記候補補間画素を前記最終補間画素として選択させる信号を前記最終補間画素選択部に出力し、前記差が予め設定された前記閾値より小さいと、前記第１の動き補償補間部から算出された前記第１の補間画素を前記最終補間画素として選択させる信号を出力することを特徴とするブロックに基いた動き補償装置。
2. 前記第１および第２の動き補償補間部は、それぞれ、
   前記現ブロックの動きベクトルに対応する前記第１の画素を入力される前記現フレーム／フィールドから抽出する第１の画素抽出部と；
   前記現ブロックの動きベクトルに対応する前記第２の画素を入力される前記前フレーム／フィールドから抽出する第２の画素抽出部と；
   補間すべきフレーム／フィールドと前記現および前フレーム／フィールドとの相対的位置相関係数を抽出された前記第１および第２の画素のそれぞれに乗算して第１および第２の乗算データを出力する第１および第２の乗算部と；
   前記第１および第２の乗算部から出力される前記第１および第２の乗算データを加算して前記第１の補間画素を算出する第１の加算部とを含み、
   前記第１および第２の画素のそれぞれに与えられる前記相対的位置相関係数の和は１であることを特徴とする請求項１に記載のブロックに基いた動き補償装置。
3. 前記第２の画素に乗算される前記相対的位置相関係数は、次の式
   

   

   （前記式の中で、ｒは、前記第２の画素に乗算される相対的位置相関係数を表し、ａは、前記補間すべきフレーム／フィールドから前記前フレーム／フィールドまでの最小距離を表し、ｂは、前記補間すべきフレーム／フィールドから前記現フレーム／フィールドまでの最小距離を表す。）により算出されることを特徴とする請求項２に記載のブロックに基いた動き補償装置。
4. 前記候補補間画素算出部は、
   前記現ブロック内において補間すべき画素の相対的位置毎に重み値が割り当てられており、前記相対的位置毎に割り当てられた重み値のうちから算出された前記第１および第２の補間画素が補間される位置に対応する重み値を抽出し提供する重み値記憶部と；
   前記重み値記憶部から前記第１および第２の補間画素が補間される位置に対応する重み値を提供され前記第１および第２の補間画素毎に乗算して第３および第４の乗算データを出力する第３および第４の乗算部と；
   前記第３および第４の乗算部から出力される前記第３および第４の乗算データを加算して前記候補補間画素を算出する第２の加算部とを更に含み、
   前記第１および第２の補間画素が補間される位置における前記第１および第２の補間画素に割り当てられる前記重み値の和は１であることを特徴とする請求項１に記載のブロックに基いた動き補償装置。
5. 前記第１および第２の補間画素の補間される位置が補間ブロックの中心から前記補間ブロックの境界領域に移動するほど前記第１の補間画素に割り当てられる重み値は減少し、前記第２の補間画素に割り当てられる重み値は増加することを特徴とする請求項４に記載のブロックに基いた動き補償装置。
6. 入力される前記現フレーム／フィールドを所定の時間遅延させ、前記所定の時間遅延された前記前フレーム／フィールドを前記第１および第２の動き補償補間部および前記動き補償部に提供する遅延器を更に含むことを特徴とする請求項１に記載のブロックに基いた動き補償装置。
7. 前記第２の動き補償補間部の個数は、前記周辺ブロックの個数と同一に設けられることを特徴とする請求項１に記載のブロックに基いた動き補償装置。
8. 推定された現ブロックの動きベクトルに対応する第１および第２の画素を入力される現および前フレーム／フィールドからそれぞれ抽出して第１の補間画素を算出するステップと；
   補間すべき前記現ブロックに隣接している少なくとも1つの周辺ブロック毎に推定された動きベクトルに対応する第３および第４の画素を入力される前記現および前フレーム／フィールドからそれぞれ抽出して第２の補間画素を算出するステップと；
   補間すべき前記現ブロックのうちの前記第１および第２の補間画素が補間される相対的位置によって前記第１および第２の補間画素に所定の重み値を割り当てて候補補間画素を算出するステップと；
   推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルを分析して前記現ブロックと前記周辺ブロックとの不連続有無を判断するステップと；
   前記判断ステップで判断された前記不連続有無によって前記第１の補間画素および前記候補補間画素のいずれかを最終補間画素として選択し出力するステップとを含み、
   前記動き分析ステップは、推定された前記現ブロックの動きベクトルと前記周辺ブロックの動きベクトルとの差を求め、前記差が予め設定された閾値より大きいと、前記候補補間画素を算出するステップから算出された前記候補補間画素を前記最終補間画素として選択させる信号を出力し、前記差が予め設定された前記閾値より小さいと、前記第１の補間画素を前記最終補間画素として選択させる信号を出力することを特徴とするブロックに基いた動き補償方法。
9. 前記第１および第２の補間画素算出ステップは、それぞれ、
   前記現ブロックの動きベクトルに対応する前記第１の画素を入力される前記現フレーム／フィールドから抽出するステップと；
   前記現ブロックの動きベクトルに対応する前記第２の画素を入力される前記前フレーム／フィールドから抽出するステップと；
   補間すべきフレーム／フィールドと前記現および前フレーム／フィールドとの相対的位置相関係数を抽出された前記第１および第２の画素のそれぞれに乗算して第１および第２の乗算データを出力するステップと；
   前記第１および第２の乗算部から出力される前記第１および第２の乗算データを加算して前記第１の補間画素を算出するステップとを含み、
   前記第１および第２の画素のそれぞれに与えられる前記相対的位置相関係数の和は１であることを特徴とする請求項８に記載のブロックに基いた動き補償方法。
10. 前記第２の画素に乗算される前記相対的位置相関係数は、次の式
    

    

    （前記式の中で、ｒは、前記第２の画素に乗算される相対的位置相関係数を表し、ａは、前記補間すべきフレーム／フィールドから前記前フレーム／フィールドまでの最小距離を表し、ｂは、前記補間すべきフレーム／フィールドから前記現フレーム／フィールドまでの最小距離を表す。）
    により算出されることを特徴とする請求項９に記載のブロックに基いた基盤の動き補償方法。
11. 前記候補補間画素算出ステップは、
    前記現ブロック内において補間すべき画素の相対的位置毎に割り当てられた重み値のうちから、算出された前記第１および第２の補間画素が補間される位置に対応する重み値を抽出し提供するステップと；
    提供された前記第１および第２の補間画素が補間される位置に対応する重み値を前記第１および第２の補間画素毎に乗算して第３および第４の乗算データを出力するステップと；
    出力された前記第３および第４の乗算データを加算して前記候補補間画素を算出するステップとを含み、
    前記第１および第２の補間画素が補間される位置における前記第１および第２の補間画素に割り当てられる前記重み値の和は１であることを特徴とする請求項８に記載のブロックに基いた動き補償方法。
12. 前記第１および第２の補間画素の補間される位置が補間ブロックの中心から前記補間ブロックの境界領域に移動するほど前記第１の補間画素に割り当てられる重み値は減少し、前記第２の補間画素に割り当てられる重み値は増加することを特徴とする請求項１１に記載のブロックに基いた動き補償方法。
13. 入力される前記現フレーム／フィールドを所定の時間遅延させ、前記所定の時間遅延された前記前フレーム／フィールドを前記第１および第２の補間画素算出ステップに提供するステップを更に含むことを特徴とする請求項８に記載のブロックに基いた動き補償方法。
14. 前記第２の補間画素算出ステップにおいて、前記第２の補間画素は、補間すべき前記現ブロックに隣接している前記周辺ブロックの個数と同一に算出されることを特徴とする請求項８に記載のブロックに基いた動き補償方法。

Images