JP2685010B2

JP2685010B2 - 動画像信号の動き検出方法および動画像信号の動き検出器

Info

Publication number: JP2685010B2
Application number: JP1135295A
Authority: JP
Inventors: 孝志望月
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1995-01-27
Filing date: 1995-01-27
Publication date: 1997-12-03
Anticipated expiration: 2012-12-03
Also published as: JPH08205162A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像信号を高能率符
号化するのに用いられる動き検出器に関し、特に画面内
の動きをブロック毎に補正してフレーム間予測信号を作
成し、予測誤差信号の直交変換係数を符号化伝送する装
置における動き検出器に関する。

【０００２】

【従来の技術】アイティーユー・ティー（ＩＴＵ−Ｔ）
勧告Ｈ．２６１等の動画像信号高能率符号化方式におい
て、動き補償フレーム間予測方式が採用されている。図
１１に示すように動き補償フレーム間予測では、入力画
像の各フレームを数画素・数ライン単位のブロックに区
切り、付加情報の動きベクトルに応じて参照フレームの
画像をずらし、当該ブロックの予測信号とする。動きベ
クトルは名前の通り、当該ブロックのフレーム間での移
動方向と移動距離を表す。

【０００３】従来、動きベクトルの探索方法としては、
基準フレームのブロックに最も似ている波形を参照フレ
ーム上で探すパターンマッチング探索が用いられてい
る。例えば電子通信学会技術報告ＣＳ８１−８７（以下
では文献１と呼ぶ）では、各ブロックにおいて、複数の
ベクトルについて動き補償予測誤差信号の電力を計算
し、電力が最小のものを当該ブロックの動きベクトルと
している。ベクトルの選択基準としては、誤差信号の電
力すなわち二乗和の他に、演算量低減のために誤差信号
の絶対値和を用いることもある。これら誤差信号の二乗
和や絶対値和は、元になった２つのブロックの類似度を
表している。

【０００４】特開昭６３−１９３７８４（以下では文献
２と呼ぶ）に記載の方式では、動き補償予測誤差信号の
高周波成分電力を最小とする動きベクトルを求めてい
る。例えば、予測誤差信号についてブロック内平均値か
らの差分二乗和を求め、それを最小とするベクトルを探
索する。そのような動きベクトルを探索することで、動
き補償予測誤差信号を直交変換して記録／伝送する符号
化方式では、予測誤差信号を表すのに必要な符号量を削
減できるとしている。

【０００５】

【発明が解決しようとする課題】画像信号には画面内で
高い画素間相関があるため、従来の動き検出方式ではブ
ロックの中心部分でのブロック類似度が相対的に強調さ
れる。すなわち、ある画素でブロック類似度が大きい場
合、その周囲でもブロック類似度は大きいことが多い。
ブロック中心部はブロック辺部に比べ周囲画素が多いの
で、その分だけブロック類似度が補強される。この結
果、図９に示すように、ブロック中心部分に比べブロッ
ク辺部に振幅の大きな予測誤差が残る電力分布となる。
文献２の方式では、この現象は幾分軽減されるが、やは
り逃れることはできない。

【０００６】一方、直交変換符号化は信号位置に偏りが
ある波形に対しては、波形を符号化するのにも細かい量
子化が必要で、多くの符号量が必要となる。例えば、図
１３（ａ）に示す２次元信号を離散コサイン変換（ＤＣ
Ｔ）を用いて符号化する場合について説明する。図１３
（ａ）の信号に８×８次の２次元離散コサイン変換を施
すと、図１３（ｂ）に示す結果が得られる。図１３
（ｂ）の信号を、図１０に示す量子化・逆量子化総合特
性において中程度の粗さに相当するｓ＝６として量子化
・逆量子化すると、図１３（ｃ）に示す結果が得られ
る。これをさらに８×８次の２次元離散コサイン逆変換
を施すと、図１３（ｄ）に示す結果となる。図１３
（ｅ）は図１３（ｄ）と原信号（ａ）との差分である。
図１３（ａ）の原信号では信号がブロック右端に偏って
いる。図１３（ｄ）の復号信号では、ブロック右端の信
号段差が半分の振幅しか表現されていない上に、原信号
にはなかった信号段差がブロック左端に生じている。こ
のように、直交変換符号化は信号位置に偏りがある波形
に対しては、中程度の量子化を行っても符号化誤差が大
きい。即ち、より正確に波形を符号化するには、量子化
を細かくしなければならず、多くの符号量が必要にな
る。

【０００７】したがって、動き補償予測誤差信号を直交
変換符号化する符号化方式においては、従来手法により
動き補償を行うと、ブロック辺部に振幅の大きな予測誤
差が生じやすく、これらは正確に符号化しにくい。ブロ
ック辺部の振幅の大きな予測誤差が正確に符号化されな
いと、再生画像信号においてブロック境界で信号が不連
続となり、ブロック状の歪となって画像品質を低下させ
る。特に再生画像信号をモニタに表示する場合には、画
質調整回路により走査線方向の鮮鋭度が強調されるた
め、ブロック左右端の信号の不連続が目立つことにな
る。画質調整回路については、例えばテレビジョン学会
編テレビジョン画像情報工学ハンドブック（１９９０年
１１月発行）の８８３ページに記載がある。

【０００８】本発明の目的は、ブロック辺部での予測誤
差が小さい動きベクトルの検出方式および装置を提供す
ることにある。

【０００９】

【課題を解決するための手段】本発明における第１の発
明は、基準画像と参照画像の２つの画像信号を比較して
ブロック毎の動きを検出する動き検出方法であって、前
記基準画像の中の第１のブロックに対して前記参照画像
における前記第１のブロックに対応する第２のブロック
を予め用意した複数の試行ベクトルの各々に応じて前記
参照画像内での位置をずらし、このずらした前記第２の
ブロックと前記基準画像の前記第１のブロックとの差分
をとり、この差分信号より前記第１のブロックと前記第
２のブロックのブロック類似度を計算し、このブロック
類似度が最も高い前記試行ベクトルを前記ブロックの動
きを表す動きベクトルとする動画像信号の動き検出方法
において、前記差分信号をブロック辺部で重く重み付け
して前記ブロック類似度を計算することを特徴とする。

【００１０】また、第２の発明は、基準画像の画像信号
を取り込んで記憶する第１のメモリと参照画像の画像信
号を取り込んで記憶する第２のメモリと、複数の試行ベ
クトルを生成する試行ベクトル生成手段と、前記基準画
像の中の第１のブロックに対して前記参照画像における
前記第１のブロックに対応する第２のブロックを前記試
行ベクトル生成手段が出力する前記試行ベクトルに応じ
て前記参照画像内での位置をずらしこのずらした前記第
２のブロックを前記第２のメモリからまた前記第１のブ
ロックを前記第１のメモリからそれぞれ読み出し読み出
した前記第１のブロックと前記第２のブロックとの差分
信号を計算する減算器と、前記試行ベクトルの各々に対
して前記減算器の出力である前記差分信号より前記第１
のブロックと前記第２のブロックの類似度を計算するベ
クトル評価器と、前記類似度が最も高い前記試行ベクト
ルを検出する検出器を含んで構成される動画像信号の動
き検出器において、前記ベクトル評価器では前記差分信
号をブロック辺部で重く重み付けして前記ブロック類似
度の計算をすることを特徴とする。

【００１１】さらに、第３の発明は、第２の発明におい
て、前記ベクトル評価器ではブロック中心部ほど前記第
１のブロックと前記第２のブロックとの前記差分信号に
おけるサンプル点差分信号を間引いてから前記ブロック
類似度の計算をすることを特徴とする。

【００１２】さらに、第４の発明は、第２の発明におい
て、前記ベクトル評価器では前記差分信号をブロック左
右辺部で重く重み付けして前記ブロック類似度の計算を
することを特徴とする。

【００１３】最後に、第５の発明は、第２の発明におい
て、前記ベクトル評価器ではブロック左右辺からブロッ
ク中心部に近ずくほど前記第１のブロックと前記第２の
ブロックとの前記差分信号におけるサンプル点差分信号
を間引いてから前記ブロック類似度の計算をすることを
特徴とする。

【００１４】

【実施例】次に、本発明について図面を参照して説明す
る。

【００１５】図１は本発明による動き検出器の一実施例
のブロック図である。図では入力信号Ｘを基準画像とし
て入力信号Ｙ（参照画像）の中で動きベクトルを求め
る。メモリ１０は入力画像信号Ｘを記憶するメモリであ
り、サイズは１ブロック分あればよい。メモリ１１は入
力画像信号Ｙを記憶するメモリであり、サイズは動きベ
クトルの探索時に参照される画像の最大範囲分あればよ
い。ブロック内アドレス生成器１８はブロック内各画素
点のブロック内アドレスを出力する。加算器２０は、ブ
ロック内アドレス生成器１８が出力するブロック内アド
レスと外部から与えられるブロック始点アドレスＡＤを
加算する。加算器２０の加算結果が画像メモリ１０の読
み出しアドレスＡＤＸとなる。試行ベクトル生成器１９
は動きベクトルの候補となる試行ベクトルＶｄを出力す
る。加算器２１は、試行ベクトル生成器１９が出力する
試行ベクトルＶｄと加算器２０の加算結果ＡＤＸを加算
する。加算器２１の加算結果が参照画像メモリ１１の読
み出しアドレスＡＤＹとなる。

【００１６】図２に図１の動作タイミングを示す。試行
ベクトルがＭ本ある場合、それぞれについてブロック類
似度を計算し、類似度が最大となる試行ベクトルＶｄを
見つける。そのためブロック内アドレス生成器１８は、
各試行ベクトルに対してブロック内各画素のアドレスを
一通り出力する。図には１ブロックがＮ画素で構成され
る場合を示した。まずアドレスＡＤＸ、ＡＤＹが出力さ
れ、メモリ１０、１１より画素値Ｘｉｊ、Ｙｉｊを読み
出す。読み出された画像信号Ｘｉｊ、Ｙｉｊは減算器１
２において差分が計算され、ＲＯＭ１３でブロック類似
度の評価値に変換された後、累算器１４で１ブロック分
が積算される。累算器１４は試行ベクトル毎に予めリセ
ットしておく。１ブロック分の積算が終了したところ
で、累算器１４の累算結果Ａは比較器１５に出力され
る。比較器１５はラッチ１６に記憶されている値と累算
結果Ａを比較し、累算結果Ａの方が小さい場合には出力
をＯＮにする。比較器１５の出力がＯＮの場合には、ラ
ッチ１６はその時の累算結果Ａを新たに保持し、またラ
ッチ１７はその時の試行ベクトルＶｄを保持する。最初
の試行ベクトルに対しては比較器１５は無条件でＯＮを
出力する。比較器１５の出力がＯＦＦの場合にはラッチ
１６、１７はそのままである。全ての試行ベクトルに対
する評価が終った時にラッチ１７が記憶している試行ベ
クトルが、ブロック類似度が最大のベクトルであり、当
該ブロックの動きベクトルＶとして出力される。尚、Ｒ
ＯＭ１３と累算器１４の機能を合わせたものが、請求項
２から請求項５に記載されたベクトル評価器であり、比
較器１５とラッチ１７を合わせものが請求項２記載の検
出器である。

【００１７】ＲＯＭ１３で減算器１２の出力信号をブロ
ック類似度の評価値に変換するとき、画素位置を参照し
て、ブロック辺部での評価値の重みを大きくすることで
本発明の目的を達することができる。すなわち、ブロッ
ク辺部での評価値の重みを大きくすることで、ブロック
辺部の評価値が小さい試行ベクトルが優先的に選択され
る。一般に評価値としては予測誤差が大きいほど値が大
きくなるものを用いるので、ブロック辺部での評価値が
小さければすなわち予測誤差が小さい。

【００１８】図３にＲＯＭ１３の入出力特性の例を２つ
示す。（ａ）では入力の二乗値のａ倍の値を、（ｂ）で
は入力の絶対値のａ倍の値を出力する。ａの値を図５に
示すようにブロック辺部で値を大きくすることで、ブロ
ック辺部で評価値の重みを大きくできる。図５のように
ａの値を変える代りに、評価に用いる画素の密度をブロ
ック辺部で高く、ブロック中心部に行くほど低くなるよ
うにサブサンプリングを行っても同じ効果を得ることが
できる。図６にサブサンプルパターンの例を２つ示す。
黒丸がサンプル点、白丸は間引く点である。

【００１９】図４は、本発明による動き検出器をアイテ
ィーユー・ティー（ＩＴＵ−Ｔ）勧告Ｈ．２６１に準拠
した動画像符号化装置に適用したときのブロック図であ
る。カメラ５０で撮影された動画像信号はＡＤ変換器５
１でディジタル信号に変換され、フレームメモリ５２に
記憶される。ブロック始点アドレス生成器２９は、フレ
ームメモリ５２上の画像信号をブロックに分割するため
の各ブロックの始点アドレスＡＤを出力する。動き検出
器６１は図１の構成であるが、２面のメモリ１０、１１
はそれぞれ外部のフレームメモリ５２、６０を用い、フ
レームメモリ５２に記憶されている信号を基準フレーム
Ｘｉｊ、フレームメモリ６０に記憶されている信号を参
照フレームＹｉｊとして動きベクトルを求める。フレー
ムメモリ５２、６０をアクセスするときには、ブロック
始点アドレス生成器２９が出力するアドレスＡＤをブロ
ックの始点アドレスとする。求まった動きベクトルＶは
可変遅延器６２と可変長符号器５６に通知する。可変遅
延器６２は、フレームメモリ６０の出力信号を動きベク
トルＶに応じて画面内に位置をずらして出力する。減算
器５３は、可変遅延器６２の出力信号を、フレームメモ
リ５２に記憶されている現フレームの信号より減算す
る。減算器５３の出力信号は、直交変換回路５４で直交
変換され、量子化器５５で量子化された後、可変長符号
器５６と逆量子化器５７に出力される。逆量子化器５７
では、量子化器５５の出力信号に量子化器５５の逆操作
を施し逆直交変換回路５８に出力する。逆直交変換回路
５８では、逆量子化器５７の出力信号に直交変換回路５
４の逆操作を施す。加算器５９は逆直交変換回路５８の
出力信号と可変遅延器６２の出力信号を加算し、加算結
果はフレームメモリ６０に蓄えられる。フレームメモリ
６０に蓄えられた画像信号は次のフレームの符号化に使
われる。可変長符号器５６は、量子化器５５が出力する
符号化結果と動き検出器６１が出力する動きベクトル情
報を可変長符号化し端子６３に出力する。

【００２０】符号化した動画像信号の再生画像をモニタ
に表示する場合、画質調整回路により走査線方向の鮮鋭
度が強調されるため、ブロック左右端に信号の不連続が
あれば一緒に強調されてしまう。この画質調整回路の効
果を考慮すると、ＲＯＭ１３においては、図７に示すよ
うにブロック左右端の重みを大きくすれば、本発明によ
る動き検出器を動画像符号化装置に適用した場合の符号
化画質について、ある程度の画質改善を達成できる。Ｒ
ＯＭ１３において図７のような重み特性を用いる代り
に、ブロック左右辺部での密度が高いサブサンプリング
を用いても同じ効果を得ることができる。図８にサブサ
ンブルパターンの例を２つ示す。黒丸がサンブル点で白
丸は間引く点である。

【００２１】以上説明したように本発明によれば、ブロ
ック辺部でのブロック類似度評価量に重み付けして動き
検出を行うので、ブロック辺部での予測誤差を低減でき
る効果がある。

【００２２】例えば、図１２（ａ）の基準信号のブロッ
クに対して、同図（ｂ）と（ｃ）の２つのブロックを考
える。基準信号との差分は、それぞれ同図（ｄ）、
（ｅ）となる。画素あたりの平均誤差電力は、（ｂ）で
は２．０、（ｃ）では４．０となり、従来方式による動
き検出では（ｂ）が予測信号として選択される。図１３
は図１２（ｄ）の予測誤差信号を符号化した場合の結果
であった。また画素あたりの平均交流電力は、（ｂ）で
は１．７５、（ｃ）では４．０となり、文献２の動き検
出方式でも（ｂ）が選択される。一方、予測誤差に同図
（ｆ）の重み関数をかけてから画素あたりの平均電力を
計算すると、（ｂ）では３２．０、（ｃ）では３０．２
５となり、本発明による動き検出方式では（ｃ）が予測
信号として選択される。

【００２３】図１４は、図１３と同じく離散コサイン変
換を用いて図１２（ｅ）の予測誤差信号を符号化した場
合の結果である。図１４（ａ）に示す入力信号は図１２
（ｅ）そのものであり、図１４（ｂ）は同図（ａ）をＤ
ＣＴした結果、（ｃ）は（ｂ）を量子化・逆量子化した
結果、（ｄ）は（ｃ）を逆ＤＣＴした結果であり、
（ｅ）は（ａ）と（ｄ）の差分である。図１３（ｅ）と
図１４（ｅ）を比較すると、図１４（ｅ）の方がブロッ
ク辺部で符号化誤差が低減されていることがわかる。

【００２４】

【発明の効果】以上説明したように本発明によれば、ブ
ロック辺部でのブロック類似度評価量に重み付けして動
き検出を行うので、ブロック辺部での予測誤差を低減で
き、予測誤差信号に直交変換符号化を行っても復号画像
でのブロック境界の信号不連続を低減できる効果があ
る。

【図面の簡単な説明】

【図１】本発明による動き検出器の一実施例を示すブロ
ック図である。

【図２】図１の動き検出器各部の動作タイミング図であ
る。

【図３】（ａ）、（ｂ）ともＲＯＭ１３の入出力特性を
示す図である。

【図４】本発明による動き検出器を用いた動画像信号符
号化装置の一実施例を示すブロック図である。

【図５】ＲＯＭ１３の重み付け特性の例を示す図であ
る。

【図６】ＲＯＭ１３においてサブサンプリングにより重
み付けを実現する場合のサブサンプリングパターン例を
示す図である。

【図７】ＲＯＭ１３の重み付け特性の他の例を示す図で
ある。

【図８】ＲＯＭ１３においてサブサンプリングにより重
み付けを実現する場合のサブサンプリングパターンの他
の例を示す図である。

【図９】従来の動き検出器による動き補償予測誤差信号
の電力分布を示す図である。

【図１０】図４の量子化器５５と逆量子化器５７の総合
入出力特性の一例を示す図である。

【図１１】動き補償フレーム間予測の原理を示す図であ
る。

【図１２】動き検出器の動作を説明するための数値例を
示す図である。

【図１３】直交変換符号化による第１の数値例を示す図
である。

【図１４】直交変換符号化による第２の数値例を示す図
である。

【符号の説明】

１０（基準画像）メモリ１１（参照画像）メモリ１２減算器１３ＲＯＭ１４累算器１５比較器１６ラッチ１７ラッチ１８ブロック内アドレス生成器１９試行ベクトル生成器２０加算器２１加算器２９ブロック始点アドレス生成器５０カメラ５１ＡＤ変換器５２フレームメモリ５３減算器５４直交変換回路５５量子化器５６可変長符号器５７逆量子化器５８逆直交変換回路５９加算器６０フレームメモリ６１動き検出器６２可変遅延器６３符号化データ出力端子

Claims

(57)【特許請求の範囲】

【請求項１】基準画像と参照画像の２つの画像信号を
比較してブロック毎の動きを検出する動き検出方法であ
って、前記基準画像の中の第１のブロックに対して前記
参照画像における前記第１のブロックに対応する第２の
ブロックを予め用意した複数の試行ベクトルの各々に応
じて前記参照画像内での位置をずらし、このずらした前
記第２のブロックと前記基準画像の前記第１のブロック
との差分をとり、この差分信号より前記第１のブロック
と前記第２のブロックのブロック類似度を計算し、この
ブロック類似度が最も高い前記試行ベクトルを前記ブロ
ックの動きを表す動きベクトルとする動画像信号の動き
検出方法において、前記差分信号をブロック辺部で重く
重み付けして前記ブロック類似度を計算することを特徴
とする動画像信号の動き検出方法。
【請求項２】基準画像の画像信号を取り込んで記憶す
る第１のメモリと参照画像の画像信号を取り込んで記憶
する第２のメモリと、複数の試行ベクトルを生成する試
行ベクトル生成手段と、前記基準画像の中の第１のブロ
ックに対して前記参照画像における前記第１のブロック
に対応する第２のブロックを前記試行ベクトル生成手段
が出力する前記試行ベクトルに応じて前記参照画像内で
の位置をずらしこのずらした前記第２のブロックを前記
第２のメモリからまた前記第１のブロックを前記第１の
メモリからそれぞれ読み出し読み出した前記第１のブロ
ックと前記第２のブロックとの差分信号を計算する減算
器と、前記試行ベクトルの各々に対して前記減算器の出
力である前記差分信号より前記第１のブロックと前記第
２のブロックの類似度を計算するベクトル評価器と、前
記類似度が最も高い前記試行ベクトルを検出する検出器
を含んで構成される動画像信号の動き検出器において、
前記ベクトル評価器では前記差分信号をブロック辺部で
重く重み付けして前記ブロック類似度の計算をすること
を特徴とする動画像信号の動き検出器。
【請求項３】前記ベクトル評価器ではブロック中心部
ほど前記第１のブロックと前記第２のブロックとの前記
差分信号におけるサンプル点差分信号を間引いてから前
記ブロック類似度の計算をすることを特徴とする請求項
２記載の動画像信号の動き検出器。
【請求項４】前記ベクトル評価器では前記差分信号を
ブロック左右辺部で重く重み付けして前記ブロック類似
度の計算をすることを特徴とする請求項２記載の動画像
信号の動き検出器。
【請求項５】前記ベクトル評価器ではブロック左右辺
からブロック中心部に近ずくほど前記第１のブロックと
前記第２のブロックとの前記差分信号におけるサンプル
点差分信号を間引いてから前記ブロック類似度の計算を
することを特徴とする請求項２記載の動画像信号の動き
検出器。