JP3418799B2 - 動きベクトル補正制御方式 - Google Patents
動きベクトル補正制御方式Info
- Publication number
- JP3418799B2 JP3418799B2 JP02174994A JP2174994A JP3418799B2 JP 3418799 B2 JP3418799 B2 JP 3418799B2 JP 02174994 A JP02174994 A JP 02174994A JP 2174994 A JP2174994 A JP 2174994A JP 3418799 B2 JP3418799 B2 JP 3418799B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- processing block
- motion
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、動き補償により得られ
た動きベクトルを補正して、再生画質の改善を図る動き
ベクトル補正制御方式に関する。入力画像信号を高能率
符号化して伝送又は蓄積する為の各種の方式が知られて
いる。その高能率符号化の一部として動き補償があり、
８×８画素や１６×１６画素等の大きさを１ブロックと
し、入力画像信号のブロックが前フレームのどのブロッ
クに最も近似しているかを探索して最適予測ブロックと
し、この最適予測ブロックからの入力画像信号のブロッ
クの方向及び距離を動きベクトルとするものである。こ
の動きベクトルが最適でない場合、再生画質が劣化す
る。従って、動きベクトルの最適化を図ることが必要と
なる。
た動きベクトルを補正して、再生画質の改善を図る動き
ベクトル補正制御方式に関する。入力画像信号を高能率
符号化して伝送又は蓄積する為の各種の方式が知られて
いる。その高能率符号化の一部として動き補償があり、
８×８画素や１６×１６画素等の大きさを１ブロックと
し、入力画像信号のブロックが前フレームのどのブロッ
クに最も近似しているかを探索して最適予測ブロックと
し、この最適予測ブロックからの入力画像信号のブロッ
クの方向及び距離を動きベクトルとするものである。こ
の動きベクトルが最適でない場合、再生画質が劣化す
る。従って、動きベクトルの最適化を図ることが必要と
なる。
【０００２】
【従来の技術】図７は従来例の説明図であり、４１はフ
レームメモリ、４２は量子化器等を含む符号器、４３は
逆量子化器等を含む復号器、４４，４５は加算器、４６
は可変遅延器、４７は動き補償器、４８は可変長符号器
である。
レームメモリ、４２は量子化器等を含む符号器、４３は
逆量子化器等を含む復号器、４４，４５は加算器、４６
は可変遅延器、４７は動き補償器、４８は可変長符号器
である。
【０００３】入力画像信号と、可変遅延器１６を介した
予測値とを加算器４４に加えて差分の予測誤差を求め、
その予測誤差を符号器４４に於いて例えば量子化して符
号化し、可変長符号器４８に於いて生起確率等基にした
可変長符号に符号化して、伝送或いは画像蓄積等を行
う。又復号器４３により符号器４２と逆の処理、即ち、
復号して逆量子化し、加算器４５により予測値と加算し
て画像信号を復元し、フレームメモリ４１に蓄積する。
従って、フレームメモリ４１には、１フレーム前の画像
信号が蓄積されることになる。
予測値とを加算器４４に加えて差分の予測誤差を求め、
その予測誤差を符号器４４に於いて例えば量子化して符
号化し、可変長符号器４８に於いて生起確率等基にした
可変長符号に符号化して、伝送或いは画像蓄積等を行
う。又復号器４３により符号器４２と逆の処理、即ち、
復号して逆量子化し、加算器４５により予測値と加算し
て画像信号を復元し、フレームメモリ４１に蓄積する。
従って、フレームメモリ４１には、１フレーム前の画像
信号が蓄積されることになる。
【０００４】又動き補償器４７は、入力画像信号とフレ
ームメモリ４１からの前フレームの画像信号とが入力さ
れ、ブロック対応の動き補償が行われ、それによって得
られた動きベクトルは、可変遅延器４６と可変長符号器
４８とに加えられ、可変長符号器４８に於いて可変長符
号化される。
ームメモリ４１からの前フレームの画像信号とが入力さ
れ、ブロック対応の動き補償が行われ、それによって得
られた動きベクトルは、可変遅延器４６と可変長符号器
４８とに加えられ、可変長符号器４８に於いて可変長符
号化される。
【０００５】図８は従来例の説明図であり、５１はフレ
ームメモリ、５２は量子化器等を含む符号器、５３は逆
量子化器等を含む復号器、５４，５５は加算器、５６は
可変遅延器、５７は動き補償器、５８は可変長符号器、
５９は入力画像信号を入力するフレームメモリである。
ームメモリ、５２は量子化器等を含む符号器、５３は逆
量子化器等を含む復号器、５４，５５は加算器、５６は
可変遅延器、５７は動き補償器、５８は可変長符号器、
５９は入力画像信号を入力するフレームメモリである。
【０００６】加算器５４からの予測誤差を符号器５２に
より量子化して符号化し、可変長符号器５８により可変
長符号化し、又復号器５３により復号化して逆量子化
し、予測値と加算器５５で加算してフレームメモリ５１
に蓄積し、動き補償器５７からの動きベクトルにより可
変遅延器５６を制御すると共に、動きベクトルを可変長
符号器５８により可変長符号化する構成は、図７に示す
従来例と同様である。
より量子化して符号化し、可変長符号器５８により可変
長符号化し、又復号器５３により復号化して逆量子化
し、予測値と加算器５５で加算してフレームメモリ５１
に蓄積し、動き補償器５７からの動きベクトルにより可
変遅延器５６を制御すると共に、動きベクトルを可変長
符号器５８により可変長符号化する構成は、図７に示す
従来例と同様である。
【０００７】フレームメモリ５１に蓄積された前フレー
ムの画像信号は、予測誤差を符号化し、更に復号化して
前フレームの予測値と加算したものであるから、量子化
誤差等を含むものである。これに対して、フレームメモ
リ５９は、入力画像信号をそのまま蓄積するものである
から、量子化誤差等を含まないものである。従って、こ
のフレームメモリ５９に蓄積された前フレームの画像信
号と入力画像信号とを、動き補償器５７に入力してブロ
ック対応に精度の良い動き補償を行うことができる。
ムの画像信号は、予測誤差を符号化し、更に復号化して
前フレームの予測値と加算したものであるから、量子化
誤差等を含むものである。これに対して、フレームメモ
リ５９は、入力画像信号をそのまま蓄積するものである
から、量子化誤差等を含まないものである。従って、こ
のフレームメモリ５９に蓄積された前フレームの画像信
号と入力画像信号とを、動き補償器５７に入力してブロ
ック対応に精度の良い動き補償を行うことができる。
【０００８】又従来例の動き補償手段として、例えば、
特開平３−２１４９８８号公報が知られている。これ
は、入力画像信号の動き補償を行う為の処理ブロックに
ついて動き補償を行わないと判定した時に、その周辺で
同じ動きベクトルのブロックが所定数以上存在した場合
は、その処理ブロックについても動き補償を行うように
変更するものである。
特開平３−２１４９８８号公報が知られている。これ
は、入力画像信号の動き補償を行う為の処理ブロックに
ついて動き補償を行わないと判定した時に、その周辺で
同じ動きベクトルのブロックが所定数以上存在した場合
は、その処理ブロックについても動き補償を行うように
変更するものである。
【０００９】又動きベクトルの検出方式として、特開平
２−３３２８６号公報が知られている。これは、間引き
処理を行った入力画像信号と前フレームの画像信号とを
第１のベクトル検出部に入力して、入力画像信号の動き
補償を行う為の処理ブロックに最も近似した前フレーム
のブロックを探索し、次に間引き処理を行わない入力画
像信号の処理ブロックと最も近似した前フレームのブロ
ックを中心とした周辺のブロックとを第２のベクトル検
出部に入力して、入力画像信号の処理ブロックに最も近
似したブロックを探索するものである。
２−３３２８６号公報が知られている。これは、間引き
処理を行った入力画像信号と前フレームの画像信号とを
第１のベクトル検出部に入力して、入力画像信号の動き
補償を行う為の処理ブロックに最も近似した前フレーム
のブロックを探索し、次に間引き処理を行わない入力画
像信号の処理ブロックと最も近似した前フレームのブロ
ックを中心とした周辺のブロックとを第２のベクトル検
出部に入力して、入力画像信号の処理ブロックに最も近
似したブロックを探索するものである。
【００１０】
【発明が解決しようとする課題】動き補償器４７，５７
に於いては、ハードウェアの削減や演算処理の負担軽減
の為に、例えば、前述の特開平２−３３２８６号公報に
於ける第１のベクトル検出部のように画素を間引いて処
理するものである。更にブロック内の画素のマッチング
をとる場合も、マッチングのポイントを間引く場合があ
る。このような間引き処理によって最適な動きベクトル
が得られない場合が多くなる。
に於いては、ハードウェアの削減や演算処理の負担軽減
の為に、例えば、前述の特開平２−３３２８６号公報に
於ける第１のベクトル検出部のように画素を間引いて処
理するものである。更にブロック内の画素のマッチング
をとる場合も、マッチングのポイントを間引く場合があ
る。このような間引き処理によって最適な動きベクトル
が得られない場合が多くなる。
【００１１】例えば、比較的平坦な背景を含む画像信号
の場合に、画素の間引き及びマッチングポイントの間引
きによって、同一内容のブロックであっても、入力画像
信号の動き補償を行う為の処理ブロックに最も近似した
ブロックとなる場合と、大きく異なるブロックとなる場
合が生じるから、周辺のブロックの動きベクトルと大き
く異なる動きベクトルが得られる場合がある。即ち、最
適な動きベクトルが得られないことになる。このように
最適な動きベクトルが得られない場合は、再生画像に不
自然な動きが生じ、画質の劣化が目立つ問題がある。
の場合に、画素の間引き及びマッチングポイントの間引
きによって、同一内容のブロックであっても、入力画像
信号の動き補償を行う為の処理ブロックに最も近似した
ブロックとなる場合と、大きく異なるブロックとなる場
合が生じるから、周辺のブロックの動きベクトルと大き
く異なる動きベクトルが得られる場合がある。即ち、最
適な動きベクトルが得られないことになる。このように
最適な動きベクトルが得られない場合は、再生画像に不
自然な動きが生じ、画質の劣化が目立つ問題がある。
【００１２】又前述の特開平３−２１４９８８号公報に
示された従来例は、入力画像信号の処理ブロックについ
て動き補償を行うか否かを、その周辺のブロックの動き
ベクトルを用いて判定するもので、動き補償を行わない
ブロックが島状に発生することを防止できるだけであ
り、再生画像の画質の向上には不充分である。
示された従来例は、入力画像信号の処理ブロックについ
て動き補償を行うか否かを、その周辺のブロックの動き
ベクトルを用いて判定するもので、動き補償を行わない
ブロックが島状に発生することを防止できるだけであ
り、再生画像の画質の向上には不充分である。
【００１３】又前述のように、従来例の特開平２−３３
２８６号公報に於いては、第１のベクトル検出部に於い
て入力ブロックに最も近似した１フレーム前のブロック
を探索し、この最も近似したブロックを中心とした近傍
ブロックと入力ブロックとを第２のベクトル検出部に入
力して、入力ブロックに最も近似したブロックを探索す
るもので、背景パターン、例えば、比較的平坦な背景パ
ターンに於いては、近似ブロック探索に於いて複数のブ
ロックが候補となることが多く、それにより、最適なブ
ロックを選択できない場合が生じ、結果として最適な動
きベクトルを求めることができないことにより、再生画
像の画質が劣化する問題があった。本発明は、最適な動
きベクトルが得られるようにして、再生画像の画質の向
上を図ることを目的とする。
２８６号公報に於いては、第１のベクトル検出部に於い
て入力ブロックに最も近似した１フレーム前のブロック
を探索し、この最も近似したブロックを中心とした近傍
ブロックと入力ブロックとを第２のベクトル検出部に入
力して、入力ブロックに最も近似したブロックを探索す
るもので、背景パターン、例えば、比較的平坦な背景パ
ターンに於いては、近似ブロック探索に於いて複数のブ
ロックが候補となることが多く、それにより、最適なブ
ロックを選択できない場合が生じ、結果として最適な動
きベクトルを求めることができないことにより、再生画
像の画質が劣化する問題があった。本発明は、最適な動
きベクトルが得られるようにして、再生画像の画質の向
上を図ることを目的とする。
【００１４】
【課題を解決するための手段】本発明の動きベクトル補
正制御方式は、図１を参照して説明すると、（１）入力
画像信号と予測値との差分の予測誤差を符号化する符号
処理部１と、入力画像信号と前フレームの画像信号又は
動き補償前の前記予測値とを入力して動き補償を行う動
き補償部２とを備えた動き補償方式に於いて、動き補償
部２からの動きベクトルを蓄積するメモリ３と、動きベ
クトルを補正する動きベクトル補正部４とを設け、動き
ベクトル補正部４は、入力画像信号の処理ブロックの動
きベクトルと、この処理ブロックの周辺のブロックの動
きベクトルとをメモリ３から読出し、処理ブロックの動
きベクトルが他の動きベクトルと極端に異なるか否かを
判定し、且つ動き補償部２に加える前記予測値又は前フ
レームの画像信号と入力画像信号の処理ブロックとを用
いて、平坦なブロックを示すか否かを判定し、処理ブロ
ックの動きベクトルが他の動きベクトルに対して極端に
異なり、且つ平坦なブロックであることを示す時に、こ
の処理ブロックの周辺のブロックの動きベクトルを、こ
の処理ブロックの動きベクトルとして出力する。
正制御方式は、図１を参照して説明すると、（１）入力
画像信号と予測値との差分の予測誤差を符号化する符号
処理部１と、入力画像信号と前フレームの画像信号又は
動き補償前の前記予測値とを入力して動き補償を行う動
き補償部２とを備えた動き補償方式に於いて、動き補償
部２からの動きベクトルを蓄積するメモリ３と、動きベ
クトルを補正する動きベクトル補正部４とを設け、動き
ベクトル補正部４は、入力画像信号の処理ブロックの動
きベクトルと、この処理ブロックの周辺のブロックの動
きベクトルとをメモリ３から読出し、処理ブロックの動
きベクトルが他の動きベクトルと極端に異なるか否かを
判定し、且つ動き補償部２に加える前記予測値又は前フ
レームの画像信号と入力画像信号の処理ブロックとを用
いて、平坦なブロックを示すか否かを判定し、処理ブロ
ックの動きベクトルが他の動きベクトルに対して極端に
異なり、且つ平坦なブロックであることを示す時に、こ
の処理ブロックの周辺のブロックの動きベクトルを、こ
の処理ブロックの動きベクトルとして出力する。
【００１５】（２）又動きベクトル補正部４は、入力画
像信号の処理ブロックの動きベクトルと、この処理ブロ
ックの周辺のブロックの動きベクトルとの差分の絶対値
の少なくとも一つが予め設定した閾値を超えている時
に、この処理ブロックの動きベクトルは、他の動きベク
トルに対して極端に異なると判定する。
像信号の処理ブロックの動きベクトルと、この処理ブロ
ックの周辺のブロックの動きベクトルとの差分の絶対値
の少なくとも一つが予め設定した閾値を超えている時
に、この処理ブロックの動きベクトルは、他の動きベク
トルに対して極端に異なると判定する。
【００１６】（３）又動きベクトル補正部４は、入力画
像信号の処理ブロックについて、画素の平均値に対する
各画素の差分の絶対値の平均値が、予め設定した閾値を
超えない時に、平坦なブロックを示すと判定する。
像信号の処理ブロックについて、画素の平均値に対する
各画素の差分の絶対値の平均値が、予め設定した閾値を
超えない時に、平坦なブロックを示すと判定する。
【００１７】（４）又動きベクトル補正部４は、入力画
像信号の処理ブロックの動きベクトルが他の動きベクト
ルに対して極端に異なり、且つ平坦なブロックと判定さ
れた時に、この処理ブロックの周辺のブロックの動きベ
クトルの平均値に最も近い動きベクトルを探索して、処
理ブロックの動きベクトルを補正した動きベクトルとし
て出力する。
像信号の処理ブロックの動きベクトルが他の動きベクト
ルに対して極端に異なり、且つ平坦なブロックと判定さ
れた時に、この処理ブロックの周辺のブロックの動きベ
クトルの平均値に最も近い動きベクトルを探索して、処
理ブロックの動きベクトルを補正した動きベクトルとし
て出力する。
【００１８】
（１）符号化処理部１は、入力画像信号と予測値との差
分の予測誤差を量子化して符号化するもので、可変長符
号化を行う機能を含む場合もある。又動き補償部２は、
入力画像信号と前フレームの画像信号とをブロック対応
に動き補償を行うもので、メモリ３は、複数ブロック対
応の動きベクトルを蓄積する。動き補正部４は、入力画
像信号の処理ブロックの動きベクトルが、周辺のブロッ
クの動きベクトルと極端に異なり、且つ平面的な背景等
による平坦な画面のブロックであると判定した時に、こ
の処理ブロックの動きベクトルを、周辺のブロックの動
きベクトルを基に補正する。
分の予測誤差を量子化して符号化するもので、可変長符
号化を行う機能を含む場合もある。又動き補償部２は、
入力画像信号と前フレームの画像信号とをブロック対応
に動き補償を行うもので、メモリ３は、複数ブロック対
応の動きベクトルを蓄積する。動き補正部４は、入力画
像信号の処理ブロックの動きベクトルが、周辺のブロッ
クの動きベクトルと極端に異なり、且つ平面的な背景等
による平坦な画面のブロックであると判定した時に、こ
の処理ブロックの動きベクトルを、周辺のブロックの動
きベクトルを基に補正する。
【００１９】（２）又動きベクトル補正部４は、入力画
像信号の処理ブロックの動きベクトルと、この処理ブロ
ックの周辺の複数のブロックの動きベクトルとの差分の
絶対値を求め、複数のブロックの動きベクトルとの差分
の絶対値の一つでも閾値を超えている時は、入力画像信
号の処理ブロックの動きベクトルが周辺の複数のブロッ
クの動きベクトルに対して極端に異なると判定する。
像信号の処理ブロックの動きベクトルと、この処理ブロ
ックの周辺の複数のブロックの動きベクトルとの差分の
絶対値を求め、複数のブロックの動きベクトルとの差分
の絶対値の一つでも閾値を超えている時は、入力画像信
号の処理ブロックの動きベクトルが周辺の複数のブロッ
クの動きベクトルに対して極端に異なると判定する。
【００２０】（３）又動き補正部４は、入力画像信号の
処理ブロックを構成する画素の平均値を求め、この平均
値と各画素との差分の絶対値を求め、その絶対値の画素
数による平均値を求めて、閾値と比較し、この閾値を超
えない時は、画素間の差分が小さいから、平坦な画面を
示すブロックと判定する。
処理ブロックを構成する画素の平均値を求め、この平均
値と各画素との差分の絶対値を求め、その絶対値の画素
数による平均値を求めて、閾値と比較し、この閾値を超
えない時は、画素間の差分が小さいから、平坦な画面を
示すブロックと判定する。
【００２１】（４）又動きベクトル補正部４は、入力画
像信号の処理ブロックの動きベクトルが他の動きベクト
ルに対して極端に異なり、且つ平坦なブロックと判定さ
れた時に、この処理ブロックの周辺、例えば、上下左右
のブロックの動きベクトルの平均値を求め、この平均値
と各ブロックの動きベクトルとを比較して、平均値に最
も近い動きベクトルを見つけて、処理ブロックの動きベ
クトルを補正した動きベクトルとして出力する。
像信号の処理ブロックの動きベクトルが他の動きベクト
ルに対して極端に異なり、且つ平坦なブロックと判定さ
れた時に、この処理ブロックの周辺、例えば、上下左右
のブロックの動きベクトルの平均値を求め、この平均値
と各ブロックの動きベクトルとを比較して、平均値に最
も近い動きベクトルを見つけて、処理ブロックの動きベ
クトルを補正した動きベクトルとして出力する。
【００２２】
【実施例】図２は本発明の実施例の説明図であり、１１
はフレームメモリ、１２は符号器、１３は復号器、１
４，１５は加算器、１６，２１は可変遅延器、１７は動
き補償器、１８は可変長符号器、１９はメモリ、２０は
動きベクトル補正器である。この実施例は、図７に示す
従来例に、メモリ１９と動きベクトル補正器２０と可変
遅延器２１とを付加した構成に相当する。又図８に示す
従来例に、同様な構成を付加して構成することも可能で
ある。
はフレームメモリ、１２は符号器、１３は復号器、１
４，１５は加算器、１６，２１は可変遅延器、１７は動
き補償器、１８は可変長符号器、１９はメモリ、２０は
動きベクトル補正器である。この実施例は、図７に示す
従来例に、メモリ１９と動きベクトル補正器２０と可変
遅延器２１とを付加した構成に相当する。又図８に示す
従来例に、同様な構成を付加して構成することも可能で
ある。
【００２３】メモリ１９は、動き補償器１７からの動き
ベクトルを複数ブロック対応に蓄積するものである。又
動きベクトル補正器２０は、入力画像信号とフレームメ
モリ１１から読出して可変遅延器２１を介した前フレー
ムの画像信号とが入力され、又メモリ１９から過去の動
きベクトルが入力されて、動きベクトルを補正し、この
補正した動きベクトルを可変遅延器１６と可変長符号器
１８とに加えるものである。この動きベクトル補正器２
０は、動き補償を行う処理ブロックの動きベクトルが周
辺のブロックの動きベクトルと極端に異なり、且つ平坦
なブロックを示す時に、最適な動きベクトルではないと
判定して、周辺のブロックの動きベクトルを代用するよ
うに補正するものである。
ベクトルを複数ブロック対応に蓄積するものである。又
動きベクトル補正器２０は、入力画像信号とフレームメ
モリ１１から読出して可変遅延器２１を介した前フレー
ムの画像信号とが入力され、又メモリ１９から過去の動
きベクトルが入力されて、動きベクトルを補正し、この
補正した動きベクトルを可変遅延器１６と可変長符号器
１８とに加えるものである。この動きベクトル補正器２
０は、動き補償を行う処理ブロックの動きベクトルが周
辺のブロックの動きベクトルと極端に異なり、且つ平坦
なブロックを示す時に、最適な動きベクトルではないと
判定して、周辺のブロックの動きベクトルを代用するよ
うに補正するものである。
【００２４】図３は本発明の実施例の極端に異なる動き
ベクトルの検出説明図であり、動きベクトル補正器２０
の処理の一部を示し、メモリ１９に蓄積された動きベク
トルｖ00〜ｖ22を入力する（Ａ１）。即ち、処理ブロッ
クの動きベクトルｖ11と、その周囲のブロックの動きベ
クトルｖ00〜ｖ02，ｖ10，ｖ12，ｖ20〜ｖ22とを入力す
る。又各動きベクトルｖ00〜ｖ22は、それぞれｘ方向と
ｙ方向との成分ｘ00，ｙ00〜ｘ22，ｙ22を有するもので
ある。
ベクトルの検出説明図であり、動きベクトル補正器２０
の処理の一部を示し、メモリ１９に蓄積された動きベク
トルｖ00〜ｖ22を入力する（Ａ１）。即ち、処理ブロッ
クの動きベクトルｖ11と、その周囲のブロックの動きベ
クトルｖ00〜ｖ02，ｖ10，ｖ12，ｖ20〜ｖ22とを入力す
る。又各動きベクトルｖ00〜ｖ22は、それぞれｘ方向と
ｙ方向との成分ｘ00，ｙ00〜ｘ22，ｙ22を有するもので
ある。
【００２５】そして、例えば、ｘ方向の成分について差
分の絶対値が閾値ａにより小さいか否かを判定し（Ａ
２）、小さい場合はｙ方向の成分について差分の絶対値
が閾値ａより小さいか否かを判定する（Ａ３）。即ち、
ステップ（Ａ２）に於いては、｜ｘ11−ｘ00｜＜ａ，・
・・｜ｘ11−ｘ22｜＜ａの条件を総て満足する場合、ス
テップ（Ａ３）に移行し、｜ｙ11−ｙ00｜＜ａ，・・・
｜ｙ11−ｙ22｜＜ａの条件を総て満足する場合は、動き
ベクトルｖ11は、周辺の動きベクトルと極端に異なるも
のではないと判定する（Ａ６）。
分の絶対値が閾値ａにより小さいか否かを判定し（Ａ
２）、小さい場合はｙ方向の成分について差分の絶対値
が閾値ａより小さいか否かを判定する（Ａ３）。即ち、
ステップ（Ａ２）に於いては、｜ｘ11−ｘ00｜＜ａ，・
・・｜ｘ11−ｘ22｜＜ａの条件を総て満足する場合、ス
テップ（Ａ３）に移行し、｜ｙ11−ｙ00｜＜ａ，・・・
｜ｙ11−ｙ22｜＜ａの条件を総て満足する場合は、動き
ベクトルｖ11は、周辺の動きベクトルと極端に異なるも
のではないと判定する（Ａ６）。
【００２６】又ステップ（Ａ２）又はステップ（Ａ３）
に於いて、閾値ａに対する条件が一つでも満足しない場
合は、動きベクトルｖ11は、周辺の動きベクトルと極端
に異なると判定する（Ａ５）。従って、閾値ａは、入力
画像信号の性質等を考慮して設定するものである。
に於いて、閾値ａに対する条件が一つでも満足しない場
合は、動きベクトルｖ11は、周辺の動きベクトルと極端
に異なると判定する（Ａ５）。従って、閾値ａは、入力
画像信号の性質等を考慮して設定するものである。
【００２７】図４は本発明の実施例の平坦なブロックの
検出説明図であり、動きベクトル補正器２０の処理の一
部を示し、平坦な部分を示すブロックであるか否かを判
定するものであり、１ブロックを１６×１６画素〔ｂ
（１６，１６）〕とした場合を示す（Ｂ１）。そして、
ブロック内の平均値ｂを求める（Ｂ２）。即ち、画素ｂ
（ｉ，ｊ）について、ｉ＝１からｉ＝１６までと、ｊ＝
１からｊ＝１６までの画素を加算して、（１６×１６）
で除算する。
検出説明図であり、動きベクトル補正器２０の処理の一
部を示し、平坦な部分を示すブロックであるか否かを判
定するものであり、１ブロックを１６×１６画素〔ｂ
（１６，１６）〕とした場合を示す（Ｂ１）。そして、
ブロック内の平均値ｂを求める（Ｂ２）。即ち、画素ｂ
（ｉ，ｊ）について、ｉ＝１からｉ＝１６までと、ｊ＝
１からｊ＝１６までの画素を加算して、（１６×１６）
で除算する。
【００２８】次に、ステップ（Ｂ２）に於いて求めた平
均値ｂとブロック内の各画素ｂ（ｉ，ｊ）との差の絶対
値を、ｉ＝１からｉ＝１６までと、ｊ＝１からｊ＝１６
までの画素について求めて加算し、（１６×１６）で除
算する（Ｂ３）。このステップ（Ｂ３）に於いて求めた
値ｂｖが閾値ｋより大きいか否かを判定し（Ｂ４）、大
きい場合は平坦でないブロックと判定する（Ｂ６）。又
大きくない場合は平坦なブロックと判定する（Ｂ５）。
即ち、画素間の差分が小さい場合に平坦なブロックと判
定する。
均値ｂとブロック内の各画素ｂ（ｉ，ｊ）との差の絶対
値を、ｉ＝１からｉ＝１６までと、ｊ＝１からｊ＝１６
までの画素について求めて加算し、（１６×１６）で除
算する（Ｂ３）。このステップ（Ｂ３）に於いて求めた
値ｂｖが閾値ｋより大きいか否かを判定し（Ｂ４）、大
きい場合は平坦でないブロックと判定する（Ｂ６）。又
大きくない場合は平坦なブロックと判定する（Ｂ５）。
即ち、画素間の差分が小さい場合に平坦なブロックと判
定する。
【００２９】図５及び図６は本発明の実施例の動きベク
トル補正処理の説明図であり、動きベクトル補正器２０
の処理の主要部を示す。入力は、動きベクトルｖ11の周
辺のブロックの動きベクトルｖ00〜ｖ02，ｖ10，ｖ12，
ｖ20〜ｖ22と、前述のステップ（Ａ４），（Ａ５）の判
定結果Ｖと、ステップ（Ｂ５），（Ｂ６）の判定結果Ｂ
とを用いる（Ｃ１）。
トル補正処理の説明図であり、動きベクトル補正器２０
の処理の主要部を示す。入力は、動きベクトルｖ11の周
辺のブロックの動きベクトルｖ00〜ｖ02，ｖ10，ｖ12，
ｖ20〜ｖ22と、前述のステップ（Ａ４），（Ａ５）の判
定結果Ｖと、ステップ（Ｂ５），（Ｂ６）の判定結果Ｂ
とを用いる（Ｃ１）。
【００３０】そして、Ｖ＝極端に異なる動きベクトル
で、且つＢ＝平坦なブロックの判定結果であるか否かを
判定する（Ｃ２）。この条件を満足しない時は、動きベ
クトルの補正を行わない。即ち、動きベクトルｖ11（ｘ
11，ｙ11）をそのまま処理ブロックの動きベクトルとす
る（Ｃ３）。
で、且つＢ＝平坦なブロックの判定結果であるか否かを
判定する（Ｃ２）。この条件を満足しない時は、動きベ
クトルの補正を行わない。即ち、動きベクトルｖ11（ｘ
11，ｙ11）をそのまま処理ブロックの動きベクトルとす
る（Ｃ３）。
【００３１】又ステップ（Ｃ２）の条件を満足した場合
は、動きベクトルｖ11を中心として上下左右のブロック
の動きベクトルｖ01，ｖ21，ｖ10，ｖ12のｘ方向成分ｘ
01，ｘ21，ｘ10，ｘ12の平均値ｘとｙ方向成分ｙ01，ｙ
21，ｙ10，ｙ12の平均値ｙとを求める（Ｃ４）。
は、動きベクトルｖ11を中心として上下左右のブロック
の動きベクトルｖ01，ｖ21，ｖ10，ｖ12のｘ方向成分ｘ
01，ｘ21，ｘ10，ｘ12の平均値ｘとｙ方向成分ｙ01，ｙ
21，ｙ10，ｙ12の平均値ｙとを求める（Ｃ４）。
【００３２】次に、ｗ１を初期値の最大値９９９とし
（Ｃ５）、次にｉ＝１とし（Ｃ６）、次にｊ＝１とし
（Ｃ７）、動きベクトルｖijのｘ方向成分ｘijとｙ方向
成分ｙijとについて、ステップ（Ｃ４）に於いて求めた
平均値ｘ，ｙとの差の絶対値の和ｗを求め（Ｃ８）、ｗ
＜ｗ１で、且つ、（ｉ，ｊ）が（０，１）又は（１，
０）又は（１，２）又は（２，１）であるか否かを判定
する（Ｃ９）。即ち、処理ブロックの動きベクトルｖ11
に対して、上下左右のブロックの動きベクトルについて
処理しているか否かを判定する。
（Ｃ５）、次にｉ＝１とし（Ｃ６）、次にｊ＝１とし
（Ｃ７）、動きベクトルｖijのｘ方向成分ｘijとｙ方向
成分ｙijとについて、ステップ（Ｃ４）に於いて求めた
平均値ｘ，ｙとの差の絶対値の和ｗを求め（Ｃ８）、ｗ
＜ｗ１で、且つ、（ｉ，ｊ）が（０，１）又は（１，
０）又は（１，２）又は（２，１）であるか否かを判定
する（Ｃ９）。即ち、処理ブロックの動きベクトルｖ11
に対して、上下左右のブロックの動きベクトルについて
処理しているか否かを判定する。
【００３３】ステップ（Ｃ９）の条件を満足しない場合
は、ステップ（Ｃ１１）に移行し、又条件を満足する場
合はステップ（Ｃ１０）に移行し、ｍ＝ｉ，ｎ＝ｊ，ｗ
１＝ｗとする。即ち、初期値が９９９のｗ１を、順次ス
テップ（Ｃ８）に於いて求めたｗとし、次のステップ
（Ｃ１１）に移行する。ステップ（Ｃ１１）では、ｊ＝
ｊ＋１とし、次のステップ（Ｃ１２）では、ｊ＞２か否
かを判定する。ｊが２より大きくなければステップ（Ｃ
８）に移行し、ｊが２より大きい場合は、ステップ（Ｃ
１３）に移行し、ｉ＝ｉ＋１とし、次のステップ（Ｃ１
４）でｉ＞２か否かを判定し、ｉが２より大きくない場
合はステップ（Ｃ７）に移行し、ｉが２より大きい場合
は、動きベクトルｖ11（ｘ11，ｙ11）をｖmn（ｘmn，ｙ
mn）に補正する（Ｃ１５）。即ち、ステップ（Ｃ９）に
於けるｗ＜ｗ１のように、ステップ（Ｃ８）に於いて求
めた値ｗが最小となる動きベクトルｖmnを探索して、補
正することになる。
は、ステップ（Ｃ１１）に移行し、又条件を満足する場
合はステップ（Ｃ１０）に移行し、ｍ＝ｉ，ｎ＝ｊ，ｗ
１＝ｗとする。即ち、初期値が９９９のｗ１を、順次ス
テップ（Ｃ８）に於いて求めたｗとし、次のステップ
（Ｃ１１）に移行する。ステップ（Ｃ１１）では、ｊ＝
ｊ＋１とし、次のステップ（Ｃ１２）では、ｊ＞２か否
かを判定する。ｊが２より大きくなければステップ（Ｃ
８）に移行し、ｊが２より大きい場合は、ステップ（Ｃ
１３）に移行し、ｉ＝ｉ＋１とし、次のステップ（Ｃ１
４）でｉ＞２か否かを判定し、ｉが２より大きくない場
合はステップ（Ｃ７）に移行し、ｉが２より大きい場合
は、動きベクトルｖ11（ｘ11，ｙ11）をｖmn（ｘmn，ｙ
mn）に補正する（Ｃ１５）。即ち、ステップ（Ｃ９）に
於けるｗ＜ｗ１のように、ステップ（Ｃ８）に於いて求
めた値ｗが最小となる動きベクトルｖmnを探索して、補
正することになる。
【００３４】前述のように、動きベクトルｖ11が周辺の
動きベクトルと極端に異なり、且つ平坦な画面の場合
に、周辺のブロックの動きベクトルのｘ方向とｙ方向
と、その平均値との差の絶対値の和が最小となる動きベ
クトルｖmnを選択して、動きベクトルｖ11の補正動きベ
クトルとして出力する。
動きベクトルと極端に異なり、且つ平坦な画面の場合
に、周辺のブロックの動きベクトルのｘ方向とｙ方向
と、その平均値との差の絶対値の和が最小となる動きベ
クトルｖmnを選択して、動きベクトルｖ11の補正動きベ
クトルとして出力する。
【００３５】本発明は、前述の実施例にのみ限定される
ものではなく、例えば、動きベクトルｖ11を補正する為
に、この動きベクトルｖ11が得られたブロックの上下左
右のブロックの動きベクトルを用いているが、斜め方向
のブロックの動きベクトルを含めて補正対象とすること
ができる。又動き補正器２０は、プロセッサの演算処理
機能によって容易に実現することができる。又符号器１
２は、ＤＣＴ（離散コサイン変換）処理等の機能を含め
ることも可能であり、その場合は、局部復号器としての
復号器１３は、逆ＤＣＴ処理等の機能を含めることにな
る。
ものではなく、例えば、動きベクトルｖ11を補正する為
に、この動きベクトルｖ11が得られたブロックの上下左
右のブロックの動きベクトルを用いているが、斜め方向
のブロックの動きベクトルを含めて補正対象とすること
ができる。又動き補正器２０は、プロセッサの演算処理
機能によって容易に実現することができる。又符号器１
２は、ＤＣＴ（離散コサイン変換）処理等の機能を含め
ることも可能であり、その場合は、局部復号器としての
復号器１３は、逆ＤＣＴ処理等の機能を含めることにな
る。
【００３６】
【発明の効果】以上説明したように、本発明は、入力画
像信号の動き補償を行う処理ブロックの動きベクトル
が、周辺のブロックの動きベクトルと極端に異なり、且
つ平坦なブロックを示す時に、その周辺のブロックの動
きベクトルを基に、処理ブロックの動きベクトルを補正
するものであり、背景が同一色の平面であるような平坦
なブロックの場合、ハードウェアやソフトウェアの軽減
の為に、画素の間引き処理やマッチングポイントの間引
き等を行った時に生じ易い不適当な動きベクトルを、周
辺のブロックの動きベクトルを基に補正するから、再生
画像に不自然な動きが生じるようなことはなく、再生画
質の改善が可能となる利点がある。
像信号の動き補償を行う処理ブロックの動きベクトル
が、周辺のブロックの動きベクトルと極端に異なり、且
つ平坦なブロックを示す時に、その周辺のブロックの動
きベクトルを基に、処理ブロックの動きベクトルを補正
するものであり、背景が同一色の平面であるような平坦
なブロックの場合、ハードウェアやソフトウェアの軽減
の為に、画素の間引き処理やマッチングポイントの間引
き等を行った時に生じ易い不適当な動きベクトルを、周
辺のブロックの動きベクトルを基に補正するから、再生
画像に不自然な動きが生じるようなことはなく、再生画
質の改善が可能となる利点がある。
【図１】本発明の原理説明図である。
【図２】本発明の実施例の説明図である。
【図３】本発明の実施例の極端に異なる動きベクトルの
検出説明図である。
検出説明図である。
【図４】本発明の実施例の平坦なブロックの検出説明図
である。
である。
【図５】本発明の実施例の動きベクトル補正処理の説明
図である。
図である。
【図６】本発明の実施例の動きベクトル補正処理の説明
図である。
図である。
【図７】従来例の説明図である。
【図８】従来例の説明図である。
１ 符号処理部
２ 動き補償部
３ メモリ
４ 動き補正部
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平３−214988（ＪＰ，Ａ)
特開 平４−345288（ＪＰ，Ａ)
特開 平５−219529（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
Claims (4)
- 【請求項１】 入力画像信号と予測値との差分の予測誤
差を符号化する符号処理部（１）と、前記入力画像信号
と前フレームの画像信号又は動き補償前の前記予測値と
を入力して動き補償を行う動き補償部（２）とを備えた
動き補償方式に於いて、 前記動き補償部（２）からの動きベクトルを蓄積するメ
モリ（３）と、前記動きベクトルを補正する動きベクト
ル補正部（４）とを設け、 該動きベクトル補正部（４）は、前記入力画像信号の処
理ブロックの動きベクトルと、該処理ブロックの周辺の
ブロックの動きベクトルとを前記メモリ（３）から読出
し、該処理ブロックの動きベクトルが他の動きベクトル
と極端に異なるか否かを判定し、且つ前記入力画像信号
の前記処理ブロックを用いて、該処理ブロックが平坦な
ブロックを示すか否かを判定し、該処理ブロックの動き
ベクトルが前記周辺のブロックの動きベクトルに対して
極端に異なり、且つ該処理ブロックが平坦なブロックで
あることを示す時に、該処理ブロックの周辺のブロック
の動きベクトルを、該処理ブロックの動きベクトルとし
て出力することを特徴とする動きベクトル補正制御方
式。 - 【請求項２】 前記動きベクトル補正部（４）は、前記
入力画像信号の処理ブロックの動きベクトルと、該処理
ブロックの周辺のブロックの動きベクトルとの差分の絶
対値の少なくとも一つが予め設定した閾値を超えている
時に、該処理ブロックの動きベクトルは、他の動きベク
トルに対して極端に異なると判定することを特徴とする
請求項１記載の動きベクトル補正制御方式。 - 【請求項３】 前記動きベクトル補正部（４）は、前記
入力画像信号の処理ブロックについて、該処理ブロック
の動きベクトルが周辺のブロックの動きベクトルに対し
て極端に異なり、且つ該処理ブロックの画素の平均値に
対する各画素の差分の絶対値の平均値が、予め設定した
閾値を超えない時に、該処理ブロックは平坦なブロック
を示すと判定することを特徴とする請求項１記載の動き
ベクトル補正制御方式。 - 【請求項４】 前記動きベクトル補正部（４）は、前記
入力画像信号の処理ブロックの動きベクトルが該処理ブ
ロックの周辺のブロックの動きベクトルに対して極端に
異なり、且つ該処理ブロックが平坦なブロックと判定さ
れた時に、該処理ブロックの周辺のブロックの動きベク
トルの平均値に最も近い動きベクトルを探索して、前記
処理ブロックの動きベクトルを補正した動きベクトルと
して出力することを特徴とする請求項１記載の動きベク
トル補正制御方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02174994A JP3418799B2 (ja) | 1994-02-21 | 1994-02-21 | 動きベクトル補正制御方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02174994A JP3418799B2 (ja) | 1994-02-21 | 1994-02-21 | 動きベクトル補正制御方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07231446A JPH07231446A (ja) | 1995-08-29 |
| JP3418799B2 true JP3418799B2 (ja) | 2003-06-23 |
Family
ID=12063722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02174994A Expired - Fee Related JP3418799B2 (ja) | 1994-02-21 | 1994-02-21 | 動きベクトル補正制御方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3418799B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1589763A2 (en) * | 2004-04-20 | 2005-10-26 | Sony Corporation | Image processing apparatus, method and program |
| JP2006186504A (ja) * | 2004-12-27 | 2006-07-13 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| WO2007074605A1 (ja) | 2005-12-26 | 2007-07-05 | Nikon Corporation | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 |
| JP4799330B2 (ja) * | 2006-09-08 | 2011-10-26 | 株式会社東芝 | フレーム補間回路、フレーム補間方法、表示装置 |
| JP4982345B2 (ja) * | 2007-12-10 | 2012-07-25 | 株式会社東芝 | フレーム補間回路、フレーム補間方法、表示装置 |
| JP6468703B2 (ja) * | 2013-12-20 | 2019-02-13 | キヤノン株式会社 | 動き検出装置、動き検出方法及びプログラム |
-
1994
- 1994-02-21 JP JP02174994A patent/JP3418799B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07231446A (ja) | 1995-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5418569A (en) | Method and apparatus for predictive coding of moving images while adaptively changing the method in accordance with them | |
| CA2070757C (en) | Motion compensated predicting apparatus | |
| US20060098740A1 (en) | Motion estimation method using adaptive mode decision | |
| US6452971B1 (en) | Moving picture transforming system | |
| JPH09261662A (ja) | ディジタルビデオ符号化器における動き推定方法および装置 | |
| JP2000278694A (ja) | 符号化装置、画像処理装置、画像処理システム、符号化方法、及び記憶媒体 | |
| EP0985318B1 (en) | System for extracting coding parameters from video data | |
| US6748114B1 (en) | Moving picture encoding method and moving picture encoding apparatus | |
| JPH08251422A (ja) | ブロック歪み補正器及び画像信号伸張装置 | |
| JP3418799B2 (ja) | 動きベクトル補正制御方式 | |
| EP0786907A2 (en) | Video encoder | |
| US20040105589A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
| JPH11177993A (ja) | 動画像符号化装置 | |
| JP2702139B2 (ja) | 動画像の予測符号化方式 | |
| US6064696A (en) | Encoding apparatus | |
| US6332001B1 (en) | Method of coding image data | |
| JPH0746595A (ja) | 動画像符号化器および復号化器 | |
| JP3200518B2 (ja) | 画像信号符号化装置 | |
| JPH07336684A (ja) | 画像信号復号化装置 | |
| JP2916027B2 (ja) | 画像符号化装置 | |
| JPH07240927A (ja) | 映像符号化装置 | |
| JP3341528B2 (ja) | 量子化装置および量子化方法 | |
| JPH06233279A (ja) | 動き補償符号化装置 | |
| JP3234544B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JPH07203442A (ja) | デジタル伝送装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030311 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080418 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |