JPH0476557B2 - - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビジヨン等の動画像における動き
量推定方式の改善に関するものである。

（従来の技術） 動画像信号の符号化方式のひとつとして、動き
補償技術を用いたフレーム間高能率符号化方式や
標準フレーム数変換方式に関する研究開発が活発
に行われている。この動き補償を行うためには、
動画像信号の動き量を高精度で推定する技術が要
求され、標本化された画素信号のひとつひとつ
（以下、「画素」と称す）に関して行う方法と、あ
る一定数の画素をブロツク形にまとめて動き量の
推定を行う方法とがある。このうち後者のブロツ
ク単位で動き量の推定を行う方法が一般に広く採
用されているので、以下の説明ではこの方法につ
いて詳しく述べる。なお、前者の画素単位で行う
方式も後者のブロツク単位を画素単位に置き換え
るだけでほぼ同様に行える。

動画像信号の動き量をブロツク単位で推定する
場合には、１フレームを例えば横方向８画素、縦
方向８ラインの計64画素からなるブロツク単位に
分ける。次に、現フレーム内の各ブロツク単位ご
とにひとつ前のフレーム内より、 (1) ブロツク内信号パターンの類似性を用いて動
き量を推定する方法（特開昭55−162683〜５）。

(2) フレーム内信号勾配及びフレーム間信号差分
値の物理的対応等により動き量を推定する方法
（特開昭60−158786）。

等が知られている。

第３図は従来のブロツク内信号パターンの類似
性を用いて動き量を推定する方式のブロツク図で
あり、画像入力信号１は現フイールドの内容、１
つ前のフイールド内容、１フレーム前のフイール
ド内容がブロツク単位ごとにフイールドメモリ
２，３及び４にそれぞれ記憶され、現フレーム信
号であるフイールドメモリ２からあるブロツクと
１フレーム前の信号であるフイールドメモリ４か
ら読出したブロツクとが動き量推定部５へ入力さ
れる。動き量推定部５は両フレーム信号の一致度
（類似度）を検出するためのもので、現フレーム
信号は直接比較器６へ入力され、一方前フレーム
信号は可変遅延回路７で動き量を見つけようとす
る範囲（推定範囲）に合わせて遅延量が与えら
れ、その出力は比較器６に入力される。比較器６
では両フレーム信号の類似度を比較し、そのうち
最も類似した時における可変遅延回路７の遅延量
を動き量出力信号８として読み出す。このように
して、従来は連続するフレーム間でブロツク単位
ごとのパターン類似度を求めていた。

（発明が解決しようとする問題点） しかし、動き量を推定しようとするあるブロツ
クに対して、前フレームで同じ位置にあるブロツ
クＢから広い範囲にわたつて動き量を推定しよう
とすると、可変遅延回路が膨大な大きさとなつて
しまう。従つて、従来はハードウエア上の制限か
ら推定範囲が限定され、正確な動き量を推定する
ことができないという欠点があつた。

本発明は上述した従来技術の欠点に鑑みなされ
たもので、動き量の推定範囲に限定されることな
く、動き量を高精度に推定することが可能な動画
像の動き量推定における初期偏位方式を提供する
ことを目的とする。

（問題点を解決するための手段） 本発明の特徴は、動画像信号の性質に基づいて
平均偏位、加速度偏位及び隣接偏位の３種類の動
き量推定値を実際の推定に先立ち計算等により求
め、この計算値のうち最適と思われるものを推定
における初期偏位として用いることにより、実際
必要となる動き量の推定範囲を縮少させて、等価
的に動き量の推定範囲の限定をなくしたことにあ
る。

（発明の原理） 本発明で初期偏位の候補となる平均偏位、
加速度偏位及び隣接偏位の用語並びに特徴につ
いて説明する。なお、以下では実際のテレビジヨ
ン信号が単なるフレームの繰り返しではなく、１
フレームが奇数及び偶数フイールドの２枚から構
成されているものとする。

第４図は本発明で用いる１フレームの構成を説
明するための図であり、通常１画面（１フレー
ム）を送る場合飛び越し走査により２フイールド
（実線及び破線）に分けている。従つて、フレー
ム間Ｆとは奇数フイールド（破線）同志あるいは
偶数フイールド（実線）同志となる。

平均偏位（B_M） 第５図は本発明に用いる平均偏位の説明図で
ある。図において、平均偏位は現フイールド
F₀のうち動き量Ｖの推定を行おうとするブロ
ツクB₀（B_M）を中心として、１つ前のフイール
ドF₁中のこれと同一位置を中心とする幾つか
のブロツク（図ではB₁〜B₉の９ブロツク例を
示す）に対し、これ等の動き量の推定結果の平
均値をとるものである。

従つて、この平均偏位は例えば画像の平坦部
分が平行移動している場合に用いれば、前フイ
ールドF₁における動き量の誤差が平滑化され
推定精度が向上するという特徴を有している。

加速度偏位（B_A）） 第６図及び第７図は本発明に用いる加速度偏
位の説明図である。

第６図は加速度偏位を求める場合の概略図で
あり、第５図の平均偏位を求める場合と同様
に、現フイールドF₀の推定ブロツクB₀（B_A））
を中心とする、１つ前のフイールドF₁内の９
つのブロツクB₁₁〜B₁₉、更に１フレーム前の
フイールドF₂内の９つのブロツクB₂₁〜B₂₉に
対してブロツクB₂₁〜B₂₉の動き量の平均推定
値（平均偏位）に対し乗算器４−１で（−１）
を掛けたものと、ブロツクB₁₁〜B₁₉の動き量
の平均推定値に対し乗算器４−２で２を掛けた
ものとを加算器４−３で加えることによりブロ
ツクB₀の加速度偏位を求めるものである。す
なわち、直前フイールドF₁における平均推定
値に、連続するフイールド間（F₁及びF₂）で
の動き量推定値の変化分（加速度）を加えるも
のである。

この加速度偏位は第７図に示すような移動す
るエツジ部Ｇ（斜線部分）に対する推定精度を
向上させる特徴がある。例えば、これを説明す
ると同図ａのようにエツジ部Ｇが静止した背景
Ｍの中を速度Ｖで、同図ｂの如く静止背景Ｍの
約1/3のところまで移動すれば、平均偏位が
Ｖ／３となるのに対し、加速度偏位は2V／３
（０×（−１）＋Ｖ／３×２｝となり、より真の値に 近い推定値を得ることができるというものであ
る。

隣接偏位（B_N） 第８図は本発明で用いる隣接偏位の説明図で
あり、現フイールドF₀で推定値を求めようと
するブロツクB₀（B_N）に隣接し、かつ推定値が
すでに求められている左ブロツクB_L、真上ブ
ロツクB_Uあるいは右上ブロツクB_R、更に前フ
イールドF₁でブロツクB₀に相当する位置にあ
るブロツクB₁に隣接し、かつ推定値がすでに
求められている真下ブロツクB_Dの４つのうち
最も真の動きに近いものをひとつ選ぶものであ
る。なお、この４つのパラメータとなるブロツ
クの選定は他のものを用いてもよい。

この隣接偏位は動いている背景から新たな部
分が出現したり、消えたりする時に有効であ
り、特にシーンチエンジにおける推定精度を向
上できるという特徴がある。

本発明では上述した３種類の偏位（パラメータ
としては、隣接偏位が上下・左右の４個があり、
平均偏位の１個及び加速度偏位の１個の計６個）
のうち、最適と思われる偏位を選び出し、初期偏
位として用いるものである。この初期偏位の選定
は、現フイールドF₀の推定ブロツクB₀と上述し
た６個の動き量をそれぞれのフイールドより読み
出した６個のブロツクB_M，B_A，B_U，B_D，B_L及び
B_Rとの間で、例えばフレーム間差分値の二乗和
あるいは絶対和を用いて信号パターンの類似度を
調べ、最も類似しているものをひとつ選ぶもので
ある。例えば、フレーム間差分値の絶対和P_oを
用いる場合は、現フイールドF₀内のブロツクB₀
の信号をA_x、_y、ｎ（１〜６）番目に相当する動
き推定値分だけずらした位置のブロツクB_oの信
号をB⁽ⁿ⁾ _x、_yとすれば、 P_o＝ 〓^x 、^y｜A_x、_y−B⁽ⁿ⁾ _x、_y｜ ……(1) となり、この絶対的P_oを６個のブロツクについ
てそれぞれ求め、このうち絶対和P_oが最小とな
るブロツクの動き量を初期偏位として採用する。

第９図は本発明で述べている初期偏位として用
いられる各偏位の実際の使用率を求めた実験結果
で、縦軸は平均偏位、加速度偏位及び隣接偏位が
それぞれ初期偏位として使用された割合（％）、
横軸は実際のテレビジヨンのフイールド番号を示
している。同図から明らかなように、隣接偏位
（B_N）が40〜60％と使用する割合が最も多く、次
いで加速度偏位（B_A）が30〜40％、平均偏位
（B_M）が10〜15％の順となつている。従つて、実
際のテレビジヨン伝送を行う場合には唯一種類の
偏位を用いて動き量を推定するよりも必要に応じ
て最適な偏位を用いた方が信号の性質に合つた推
定が実行できる上に結果として大幅に推定精度を
向上させることができる。

（発明の構成） 以下に本発明について図面を用いて詳細に説明
する。

第１図は本発明の実施例であり、ブロツク内信
号パターンの類似性を用いて動き量を推定する方
式でブロツク図である。

画像入力信号１は４フイールド（２フレーム）
分を順次蓄積するフイールドメモリ２，３，４及
び５に入力される。このうち現時点における動き
量の推定対象となるのはフイールドメモリ３及び
５に入力されている画像信号であり、動き推定回
路９により動き量V_x、_yが推定される。一方、フ
イールドメモリ１２及び１４の内容は次時点にお
ける初期偏位量を決定するもので、フレーム間差
分演算回路１０に入力され、同演算回路１０によ
りフレーム間差分値が計算される。次に、動き推
定回路９により推定された動き量V_x、_yは、推定
値記憶回路１６及び１７により２フイールド分記
憶されたのち、３種類の偏位を求めるためにそれ
ぞれ局部平滑回路１８，１９及び読み出し制御回
路２０に入力される。

まず、隣接偏位（B_N）２１は前述した推定ブ
ロツクB₀の左ブロツクB_L、真上ブロツクB_U及び
右上ブロツクB_Rを推定値記憶回路１７、１フイ
ールド前の真下ブロツクB_Dを推定値記憶回路１
６から読み出し制御回路２０により読み出すこと
により得られる。

次に、平均偏位（B_M）２２は推定値記憶回路
１６から第５図に示す局部平滑回路１８を通さ
れ、ブロツクB_o（第５図では９ブロツク）の動き
量V_x、_yの平均値を計算することにより求められ
る。

最後に加速度偏位（B_A）２３は、推定値記憶
回路１７から前フイールドの平均値を求めるため
の局部平滑回路１９を通した出力のうち一方は、
前述の局部平滑回路１８の出力を反転したものと
加算器２４により加算され、他方は加算器２４の
出力と加算器２５で加算され、この加算器２５の
出力が求める加速度偏位（B_A）となる。なお、
第６図のところでは乗算器４−１及び４−２を用
いていたが、ここでは演算処理が容易な加算器２
４，２５により構成した。

このようにして求められた初期偏位の候補の各
側位は前述のフレーム間差分演算回路１０に送ら
れ、すでに求められているフイールドメモリ１２
及び１４のフレーム間差分値と比較して最も近い
値となる偏位が初期偏位として選択され、初期偏
位メモリ１１に記憶される。次に、フイールドメ
モリ１２及び１４の内容がフイールドメモリ１３
及び１５へ移され、該当するブロツクの動き量を
推定する時に、初期偏位メモリ１１に記憶されて
いる初期偏位を初期値として用いる。

第２図は本発明により得られた初期偏位量が動
き量推定回路９にどのように用いられるかを示す
ための具体的な回路構成図であり、特にフレーム
間差分値の絶対和P_oを用いた場合の構成を示し
たものである。

フイールドメモリ１３及び１５に記載されてい
るブロツクのうち、動き量推定の演算を実行する
ブロツク内の各画素は読み出しアドレス制御回路
２６により順次読み出される。これらはフイール
ドメモリ１３内にある現フイールドにおける動き
量推定位置の推定ブロツクB₀よりの信号A_x、_yの
絶対値｜A_x、_y｜と、与えられる初期偏位の動き
量だけ偏位させたブロツクの信号B⁽ⁿ⁾ _x、_yの絶対
値｜B⁽ⁿ⁾ _x、_y｜（但し、ｎ＝１、２、…、６）と
し、更にこれらの差分（図では｜B⁽ⁿ⁾ _x、_y｜を反
転させて加えている）を加算器２７で得る。この
結果をブロツクの画素分だけ総和した後、加算器
２８に保持しておく。同様の手順を全ての検出動
き量に対して行い、その結果のうち、フレーム間
差分の絶対値和が最小となるものをフレーム間差
分和の最小値判定回路３０で選定する。この出力
とすでに求めてある初期偏位置とが加算器３１に
より加算されたものが実際の動き量の推定値
V_x、_yとなる。

なお、１フレーム前の信号を読み出しアドレス
制御回路から読み出すときには、初期偏位の候補
分だけアドレスをシフトさせるように加算器３２
で制御回路３２のアドレスと初期偏位を加えてい
る。

（発明の効果） 以上説明したように、本発明は平均偏位、加速
度偏位及び隣接偏位の３種類の動き量を求めて、
そのうち最適となる偏位をひとつ選定して初期偏
位として用いることにより、動き量の推定範囲に
限定されることなく動き量を高精度で検出するこ
とが可能となり、かつ動画像信号の高能率符号化
やフレーム数変換にも適用可能であり、その効果
は極めて大である。

【図面の簡単な説明】

第１図は本発明の実施例で、動き量を推定する
ブロツク図、第２図は本発明の動き量推定回路の
ブロツク図、第３図は従来の動画像の動き量を推
定するブロツク図、第４図は本発明による１フレ
ームを説明するための概略図、第５図は本発明に
よる平均偏位を求めるための説明図、第６図及び
第７図は本発明による加速度偏位を求めるための
説明図、第８図は本発明による隣接偏位を求める
ための説明図、第９図は本発明による平均偏位、
加速度偏位及び隣接偏位の使用割合を示す図であ
る。 ９……動き量推定回路、１０……フレーム間差
分演算回路、１１……初期偏位メモリ、１２，１
３，１４，１５……フイールドメモリ。

Claims (1)

1. 【特許請求の範囲】 １ 入力動画像信号の１フイールドを複数のブロ
   ツクに分割し、該ブロツクのうち動き量を推定す
   べき推定ブロツクとすでに動き量が求められてい
   る前記ブロツクとのパターンの類似性を比較し
   て、最も類似しているブロツクの動き量を用いる
   動画像の動き量推定方式において、 前記推定ブロツクが存在する第１のフイールド
   よりも１つ前の第２のフイールドのうち複数のブ
   ロツクの動き量の推定値の平均値である平均偏位
   と、 該第２フイールドと前記第２フイールドよりも
   更に１つ前の第３フイールドとの間の動き量推定
   値の変化分である加速度偏位と、 前記推定ブロツクに近接し、かつすでに動き量
   が求められているブロツクあるいは前記第２フイ
   ールドで前記推定ブロツクに相当する位置にある
   ブロツクに近接したブロツクのうち最も真の動き
   に近いブロツクの動き推定値である隣接偏位とを
   求め、 前記平均偏位と加速度偏位と隣接偏位のうち、
   前記推定ブロツクの動き量に最もパターンが類似
   している前記偏位を初期偏位として用いることを
   特徴とする動画像の動き量推定における初期偏位
   方式。