JPH1155677A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】フレーム間ブロック動き予測により動画像を圧
縮符号化する動画像符号化装置に関し，ピクチャー毎の
演算量をある一定範囲に保ったまま，動き探索範囲を適
応的に変更して，動きの激しい画像でもリアルタイムに
効率よく符号化できるようにすることを目的とする。 【解決手段】動き探索範囲判定部５を設け，これにより
動きベクトルの探索範囲が十分足りているかどうかを判
定し，動き探索範囲の大きさを適応的に変更する。動き
補償部２の動きベクトル探索部21では，動き探索範囲判
定部５が決定した動き探索範囲内における動きベクトル
の探索を，飛び越し探索または探索対象の解像度を変更
したものによる探索によって，ピクチャー毎に所定の探
索回数で実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，通信・放送・蓄積
・コンピュータなどの様々な分野で用いられている，デ
ィジタル画像システムやアプリケーション，画像データ
ベースの動画像符号化装置に関する。

【０００２】

【従来の技術】動画像符号化装置においては，現在，動
き補償（ＭＣ：Motion Compensation)と離散コサイン変
換（ＤＣＴ：Discrete Cosine Transfer) を行う方式が
主流となっている。動き補償は，画面を小さく分割した
ブロック単位で行われ，符号化する差分情報をできるだ
け小さくするために，動き探索によって画像が似ている
ブロックを参照ブロックとして行われる。

【０００３】この動き探索を含む動き補償部の演算量
は，動画像符号化の中で全体の演算量に占める割合が大
きく，動き探索の範囲は，処理するブロックを中心とし
た，ある一定の限られた大きさで行われるのが普通であ
る。しかしながら，探索範囲をある一定の大きさに限定
してしまうと，実際，動きの極端に大きな画像などで
は，探索範囲が足りず，差分情報が大きくなって符号化
効率の低下を招くことになる。

【０００４】これを解決するために，動きの大きさを予
測して，予測結果に応じて動きベクトルの探索範囲を変
化させることによって，符号化効率を低下させることな
く全体の探索時間を短縮させる方式が考えられている
（特開昭６３−１４４６２６号「動ベクトル検出方
式」）。

【０００５】

【発明が解決しようとする課題】元来，ＭＰＥＧやＨ．
２６ｘ等の動画像符号化の規定は，符号化されたビット
ストリームから画像信号を生成する復号方法を規定して
いて，符号化側の規定はされていない。すなわち，動画
像のフレーム間符号化を行う際に，原画のあるブロック
が参照画像のどの位置のブロックに近いかを探索する動
き探索の範囲等は，符号化側で自由に設定することがで
きる。

【０００６】一般には，符号化する画像の性質（動きの
大きさ等）にかかわらず，同範囲の探索が行われている
が，全体の探索時間の短縮のために，画像の性質によっ
て探索範囲を適応的に制限する方法も用いられている。
しかし，以上のような従来方式では，探索範囲を大きく
すれば演算量が増え，演算量をある一定値にすると，探
索範囲の大きさが限定されるという問題があった。

【０００７】現在では，ＬＳＩ等の動画像符号化のため
の専用回路はもちろん，ＤＳＰでさえも演算能力が以前
に比べてはるかに向上しており，ある定められた範囲の
動き探索をリアルタイムで行うことは実現が容易になっ
てきている。これに伴い，符号化対象の画像として，ス
ポーツ番組等のテレビ番組や映画等のダイナミックな動
きをする動画像までもターゲットとなってきている。こ
のため，ＬＳＩ等のように，１ピクチャーの処理に費や
すクロック数が同じ，つまりは一定の演算量を保ったま
まの処理でも，動画像の動きの大きさによって，動き探
索の範囲を適応的に変更することの実現が望まれる。

【０００８】本発明は上記問題点の解決を図り，ピクチ
ャー毎の演算量をある一定範囲に保ったまま，動き探索
範囲を適応的に変更して，動きの激しい画像でもリアル
タイムに効率よく符号化できるようにすることを目的と
する。

【０００９】

【課題を解決するための手段】本発明は，過去の符号化
処理の履歴を調べる手段を設けることにより，符号化パ
ラメータの動き探索範囲を適応的に増減できる符号器を
提供するものである。なおかつ，探索範囲の変更の仕方
を工夫することにより，動き探索部分での演算量の増加
を抑制する。探索範囲の決定は，次のように行う。

【００１０】まず，過去の符号化の動きベクトルのヒス
トグラムをとる計測手段を設ける。そのとき，その計測
時の探索範囲の大きさにより，探索範囲を変更する基準
となる閾値を設定する。動きベクトルを計測し，設定し
た閾値との大小関係を比較して，閾値を超えるベクトル
の数が一定割合より多くなると，動き範囲が足りていな
いと判断し，これを拡大する。また，現在の動き探索範
囲で足りていると判断された場合で，閾値を超えるベク
トルの数が一定割合より少なくなると（つまり，閾値を
下回るベクトルの数が一定割合より多くなると），動き
探索範囲が広すぎると判断し，これを縮小する。もちろ
ん，この動き探索範囲の変更とは，符号化パラメータも
含めての変更である。

【００１１】この方式で，動きベクトルの探索範囲を変
更する閾値の数を増やして，これらそれぞれの閾値を超
える動きベクトルの割合を調べることにより，変更する
動き探索範囲をいくつか選べるようにすることも可能で
ある。

【００１２】また，動きベクトル探索範囲を周期的に初
期値にリセットする手段を設けることも望ましい。探索
範囲の変更は，単純に動き探索の演算量を変更するので
はなく，探索範囲が変更されても，動き探索部分でのピ
クチャー毎の演算量を一定に保つために，動き探索をｎ
画素（ｎ：整数）飛びのステップ動き探索にしたり，動
き探索を行う原画／参照画の片方の解像度または原画／
参照画の両方の解像度をｎ：１に縮小して全探索を行
い，実際の動きベクトルは，その低解像度で求めたベク
トルのｎ倍として求めたりする方式を用いる。ｎの値
は，探索範囲の変更に応じて変更する。

【００１３】特に，探索範囲を変更しても，一定範囲の
演算量でベクトルの精度を最小単位まで出せるように，
後段に探索最小単位のベクトルまで検出可能な探索手段
を設けることも好ましい。また，ｎ：１に解像度を縮小
して動き探索を行うときには，低解像度にしたことによ
る動きベクトルの誤検出を低減するために，サブサンプ
ルフィルタをかけて低解像度の画面を作成することも望
ましい。

【００１４】以上により，探索範囲を変更しても所定の
探索回数で精度よく探索を行うことができる。ここで，
所定の探索回数とは，各ピクチャーについての動き探索
が，あらかじめ定まったほぼ同じような探索回数である
ことを意味する。

【００１５】

【発明の実施の形態】図１は，本発明の構成例を示す。
図中の１は画像前処理部，２は動き補償（ＭＣ）部，３
は符号化部，４は量子化制御部，５は本発明の制御を行
うために付加した動き探索範囲判定部を表す。このう
ち，画像前処理部１，動き補償部２の大部分，符号化部
３および量子化制御部４は従来技術と同様であり，周知
の構成である。動き探索範囲決定部５は，動きベクトル
の大きさの統計をとるベクトル計測部５１，計測結果か
ら探索範囲を決定する探索範囲決定部５２，動きベクト
ルの統計をとるときの閾値を記憶する閾値格納部５３，
初期値を格納する初期値格納部５４，所定の周期でリセ
ット信号を生成するためのクロック生成部５５を持つ。

【００１６】符号化系を簡単に説明すると，符号化対象
の原画は，画像前処理部１に入力される。画像前処理部
１では，入力された原画についてフレーム構造やフィー
ルド構造の画像処理構造を作成する。動き補償部２で
は，画像前処理部１で作成された画像をブロックに分割
し，動きベクトル探索部２１によりブロック単位に最適
な動きベクトルを検出し，その動きベクトルを用いて予
測ブロック（動き補償を行った画像）を作成する。

【００１７】予測ブロックと原画ブロックとの差分が，
符号化部３でＤＣＴ変換され，量子化，可変長符号化を
経て，符号化画像として出力される。この際に，主に発
生情報量を一定に保つため，符号化情報を与えられた量
子化制御部４により，量子化パラメータの大きさが制御
される。

【００１８】図２および図３は，本発明に関連する部分
の処理概要を説明する図である。動画像符号化における
フレーム間ブロック動き予測では，図２（Ａ）に示すよ
うに，フレームを分割したブロック（ＢＬ）単位で動き
ベクトルが求められる。ベクトル計測部５１は，動き補
償部２によって求められた各ブロックの動きベクトルの
大きさの統計をとる。ＭＶｘは，この動きベクトルの水
平方向成分，ＭＶｙは，この動きベクトルの垂直方向成
分を表す。

【００１９】この統計情報の収集では，図２（Ｂ）に示
すように，ＭＶｘの絶対値が，所定の閾値ＴＨｘ（ｉ）
〔ただし，Ｉｍｉｎ≦ｉ≦Ｉｍａｘ〕によって区切られ
たどのクラスに属するかによって，各クラス毎に該当す
るブロックの個数（ベクトルの個数）がカウントされ
る。垂直方向についても同様に，ＭＶｙの絶対値が，所
定の閾値ＴＨｙ（ｊ）〔ただし，Ｊｍｉｎ≦ｊ≦Ｊｍａ
ｘ〕によって区切られたどのクラスに属するかによっ
て，各クラス毎に該当するブロックの個数（ベクトルの
個数）がカウントされる。

【００２０】ＮｕｍＸ（ｉ）は，これまでにカウントさ
れた｜ＭＶｘ｜が閾値ＴＨｘ（ｉ）以上のブロックの個
数を表し，ＮｕｍＹ（ｊ）は，これまでにカウントされ
た｜ＭＶｙ｜が閾値ＴＨｙ（ｊ）以上のブロックの個数
を表す。

【００２１】探索範囲決定部５２では，このＮｕｍＸ
（ｉ），ＮｕｍＹ（ｊ）の全ブロック数に対する割合を
算出し，所定の閾値との比較により動きベクトルの探索
範囲を決定する。

【００２２】動き補償部２の動きベクトル探索部２１で
は，探索範囲決定部５２が決定した探索範囲に応じて，
まず図３（Ａ）に示すように，水平方向ｉ画素ステッ
プ，垂直方向ｊ画素ステップの飛び越し探索を行い，そ
の中で画素差分絶対値の和が最小となるブロック位置を
見つけ，次に，図３（Ｂ）に示すように，そのブロック
位置の近傍で１画素単位に全探索を行う。

【００２３】図４は，ベクトル計測部５１の処理フロー
チャートである。ベクトル計測部５１は，閾値格納部５
３から与えられるいくつかの動き探索範囲変更のための
閾値ＴＨｘ（ｉ），ＴＨｙ（ｊ）や，動き探索範囲決定
のための係数の最大値，最小値であるＩｍａｘ，Ｉｍｉ
ｎ，Ｊｍａｘ，Ｊｍｉｎと，動き補償部２から与えられ
る各ブロックの動きベクトルＭＶｘ，ＭＶｙとによっ
て，動きベクトルの絶対値が動き探索範囲変更のための
閾値によって区切られたどのクラスに属するかを判断
し，カウントしていく。

【００２４】まず，ステップＳ１では，動き補償部２か
ら与えられる各ブロックの動きベクトルＭＶｘ，ＭＶｙ
の絶対値を，それぞれ変数Ｘ，Ｙに設定し，また，Ｉｍ
ａｘ，Ｊｍａｘを，変数ｉ，ｊに設定する。

【００２５】次に，Ｘが閾値ＴＨｘ（ｉ）より大きい
か，またはｉがＩｍｉｎになるまで，ｉを１ずつカウン
トダウンする（ステップＳ２，Ｓ３）。Ｘが閾値ＴＨｘ
（ｉ）より大きいか，またはｉがＩｍｉｎになったなら
ば，ステップＳ４へ進み，ＴＨｘ（ｉ）を超えるベクト
ル（もしくはブロック）の数ＮｕｍＸ（ｉ）を１カウン
トアップする。

【００２６】同様に，Ｙが閾値ＴＨｙ（ｊ）より大きい
か，またはｊがＪｍｉｎになるまで，ｊを１ずつカウン
トダウンし（ステップＳ５，Ｓ６），Ｙが閾値ＴＨｙ
（ｊ）より大きいか，またはｊがＪｍｉｎになったなら
ば，ステップＳ７により，ＴＨｙ（ｊ）を超えるベクト
ル（もしくはブロック）の数ＮｕｍＹ（ｊ）を１カウン
トアップする。

【００２７】以上の処理を１ピクチャーの全ブロックに
ついて繰り返し（ステップＳ８），１ピクチャー分終了
したならば，結果を探索範囲決定部５２へ通知する。図
５は，探索範囲決定部５２の処理フローチャートであ
る。

【００２８】探索範囲決定部５２には，閾値格納部５３
から，動き探索範囲決定のための係数の最大値，最小値
であるＩｍａｘ，Ｉｍｉｎ，Ｊｍａｘ，Ｊｍｉｎと，ベ
クトル測定の閾値ＴＨｘ（ｉ），ＴＨｙ（ｊ）を超える
ベクトルが，全体のベクトルに対してどれだけの割合を
超えると，ベクトル探索範囲を決定するかを決める閾値
ＲＴＨｘ，ＲＴＨｙが与えられる。

【００２９】また，初期値格納部５４から，デフォルト
の探索範囲を設定する係数であるＩｉｎｉｔ，Ｊｉｎｉ
ｔが与えられる。ベクトル計測部５１からは，図４に示
す処理によりカウントされたＮｕｍＸ（ｉ），ＮｕｍＹ
（ｊ）が与えられる。

【００３０】探索範囲決定部５２には，フレームのクロ
ック生成部５５からＮフレーム周期の探索範囲リセット
信号が入力される。探索範囲決定部５２は，まずクロッ
ク生成部５５からの探索範囲リセットかどうかを判断
し，そうであれば初期値Ｉｉｎｉｔ，Ｊｉｎｉｔとし
て，探索範囲を決定する。そうでなければ，ベクトル計
測部５１の閾値ＴＨｘ（ｉ），ＴＨｙ（ｊ）を超えるベ
クトルの，全体のベクトルに対する割合が，それぞれ閾
値ＲＴＨｘ，ＲＴＨｙを超えるまで計算していき，その
ときのｉ，ｊにより，ベクトル探索範囲を決定する。

【００３１】具体的には，探索範囲決定部５２は以下の
ように処理する。まず，ステップＳ１０において，クロ
ック生成部５５からのリセット信号の入力を検出する
と，ステップＳ１１により水平方向（Ｘ方向）の探索範
囲をＩｉｎｉｔに，垂直方向（Ｙ方向）の探索範囲をＪ
ｉｎｉｔに設定し，ステップＳ２３により，それを探索
範囲として決定する。

【００３２】リセット信号の入力がない場合，ステップ
Ｓ１２では，Ｉｍａｘ，Ｊｍａｘを，それぞれ変数ｉ，
ｊに設定する。ステップＳ１３では，閾値ＴＨｘ（ｉ）
を超えるベクトルの数ＮｕｍＸ（ｉ）の，全体のベクト
ル数（ΣＮｕｍＸ（ｋ），ただしΣはｋ＝Ｉｍｉｎから
Ｉｍａｘまでの総和）に対する割合ＲＸ（ｉ）を計算
し，ステップＳ１４では，ＲＸ（ｉ）の累積値ＲＸを算
出する。

【００３３】次に，ＲＸが閾値ＲＴＨｘより大きいか，
またはｉがＩｍｉｎになるまで，ｉを１ずつカウントダ
ウンする（ステップＳ１５，Ｓ１６）。ＲＸが閾値ＲＴ
Ｈｘ（ｉ）より大きいか，またはｉがＩｍｉｎになった
ならば，水平方向（Ｘ方向）の探索範囲ＣＸｒａｎｇｅ
をｉとし（ステップＳ１７），それを探索範囲とする。

【００３４】垂直方向（Ｙ方向）についても同様に，閾
値ＴＨｙ（ｉ）を超えるベクトルの数ＮｕｍＹ（ｊ）
の，全体のベクトル数（ΣＮｕｍＹ（ｋ），ただしΣは
ｋ＝ＪｍｉｎからＪｍａｘまでの総和）に対する割合Ｒ
Ｙ（ｊ）を計算し（ステップＳ１８），ＲＹ（ｊ）の累
積値ＲＹを算出する（ステップＳ１９）。

【００３５】次に，ＲＹが閾値ＲＴＨｙより大きいか，
またはｊがＪｍｉｎになるまで，ｊを１ずつカウントダ
ウンする（ステップＳ２０，Ｓ２１）。ＲＹが閾値ＲＴ
Ｈｙ（ｊ）より大きいか，またはｊがＪｍｉｎになった
ならば，垂直方向（Ｙ方向）の探索範囲ＣＹｒａｎｇｅ
をｊとし（ステップＳ２２），それをステップＳ２３に
より探索範囲とする。

【００３６】図６は，動きベクトル探索部２１の処理フ
ローチャートである。この例では，１段目の探索（ステ
ップＳ４０〜Ｓ４６）で，ｎ画素毎の探索を行い，２段
目の探索（ステップＳ４７〜Ｓ５３）で，近傍全探索を
行うものとする。１段目の探索の水平探索範囲を［ｈ１
ｍｉｎ，ｈ１ｍａｘ］，垂直探索範囲を［ｖ１ｍｉｎ，
ｖ１ｍａｘ］，動きベクトルを（Ｖｅｃｈ１，Ｖｅｃｖ
１），探索の幅を（Ｓｔｅｐｈ１，Ｓｔｅｐｖ１）とす
る。また，２段目の探索の水平探索範囲を［ｈ２ｍｉ
ｎ，ｈ２ｍａｘ］，垂直探索範囲を［ｖ２ｍｉｎ，ｖ２
ｍａｘ］，動きベクトルを（Ｖｅｃｈ２，Ｖｅｃｖ
２），探索の幅を（Ｓｔｅｐｈ２（＝１），Ｓｔｅｐｖ
２（＝１））とする。

【００３７】ＭＳＥを，動きベクトルを探索するブロッ
ク内の画素差分絶対値和，Ｍａｘｍｓｅをブロックの画
素差分絶対値和の取り得る最大値として，ブロック単位
に以下の処理を行う。

【００３８】まず，ステップＳ４０では，ｈ１ｍｉｎ，
ｖ１ｍｉｎ，Ｍａｘｍｓｅを，それぞれ変数ｉ，ｊ，Ｍ
ＳＥに設定する。次に，ｉがｈ１ｍａｘになるまで（ス
テップＳ４３），ｉをＳｔｅｐｈ１ずつ増加させながら
（ステップＳ４４），ｉ，ｊの位置におけるブロック内
の画素差分絶対値和ＭＳＥｉｊがＭＳＥより小さいもの
を探索する（ステップＳ４１）。それまでのＭＳＥより
小さいものが見つかったならば，ｉ，ｊ，ＭＳＥｉｊを
それぞれＶｅｃｈ１，Ｖｅｃｖ１，ＭＳＥに設定し（ス
テップＳ４２），次のｉについて探索を繰り返す。

【００３９】ｉがｈ１ｍａｘになったならば，同様にｊ
をＳｔｅｐｖ１ずつ増加させながら（ステップＳ４
６），ｊがｖ１ｍａｘになるまで，前述したステップＳ
４１〜Ｓ４４の探索を繰り返す。

【００４０】Ｓｔｅｐｈ１，Ｓｔｅｐｖ１がｎであると
すると，以上の処理により，ｎ画素おきの飛び越し探索
が行われたことになる。次に，求まったＶｅｃｈ１，Ｖ
ｅｃｖ１の近傍について，以下の２段目の探索により１
画素毎の全探索を行う。

【００４１】ステップＳ４７では，ｈ２ｍｉｎ，ｖ２ｍ
ｉｎを，それぞれ変数ｉ，ｊに設定する。次に，ｉがｈ
２ｍａｘになるまで（ステップＳ５０），ｉを１ずつ増
加させながら（ステップＳ５１），ｉ，ｊの位置におけ
るブロック内の画素差分絶対値和ＭＳＥｉｊがＭＳＥよ
り小さいものを探索する（ステップＳ４８）。それまで
のＭＳＥより小さいものが見つかったならば，Ｖｅｃｈ
２に（Ｖｅｃｈ１＋ｉ）を，Ｖｅｃｖ２に（Ｖｅｃｖ１
＋ｊ）を，ＭＳＥにＭＳＥｉｊをそれぞれ設定し（ステ
ップＳ４９），次のｉについて探索を繰り返す。

【００４２】ｉがｈ２ｍａｘになったならば，同様にｊ
を１ずつ増加させながら（ステップＳ５３），ｊがｖ２
ｍａｘになるまで，前述したステップＳ４８〜Ｓ５１の
探索を繰り返す。

【００４３】図６に示す動きベクトルの探索は一例であ
るが，以上の処理により，探索範囲の大きさによらず
に，演算量をほぼ一定に保つことができる。ここでは，
飛び越し探索の例を説明したが，飛び越し探索に代え
て，１段目の探索では，動き探索を行う原画／参照画の
片方または両方の解像度をｎ：１に縮小して全探索を行
い，２段目の探索では，その低解像度で求めたベクトル
の近傍について通常の解像度で全探索を行うようにして
も，同様に演算量をほぼ一定に保つことが可能である。
また，２段の探索ではなく，段階的に飛び越し探索の幅
または解像度の縮小率を変化させることにより，３段以
上の探索を行うような実施も可能である。

【００４４】

【発明の効果】以上説明したように，本発明によれば，
動きベクトル探索において，過去の動きベクトルの統計
を取ることにより，探索範囲の適切さを判断し，適応的
に探索範囲を変更するので，画像の動きの大きさが変化
することによる符号化効率の低下を低減させることがで
きる。しかも，動き探索の部分における演算量を，探索
範囲に関係なくほぼ一定にすることが可能であるので，
特にハードウェア化する場合などに非常に効果的であ
る。

【図面の簡単な説明】

【図１】本発明の概要説明図である。

【図２】本発明の処理概要を説明する図である。

【図３】本発明の処理概要を説明する図である。

【図４】ベクトル計測部の処理フローチャートである。

【図５】探索範囲決定部の処理フローチャートである。

【図６】動きベクトル探索部の処理フローチャートであ
る。

【符号の説明】

１ 画像前処理部 ２ 動き補償（ＭＣ）部 ２１ 動きベクトル探索部 ３ 符号化部 ４ 量子化制御部 ５ 動き探索範囲判定部 ５１ ベクトル計測部 ５２ 探索範囲決定部 ５３ 閾値格納部 ５４ 初期値格納部 ５５ クロック生成部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 フレーム間ブロック動き予測により動画
   像を圧縮符号化する動画像符号化装置において，動きベ
   クトルの探索範囲が十分足りているかどうかを判定し，
   判定結果に応じて動き探索範囲の大きさを変更する動き
   探索範囲判定手段と，前記動き探索範囲内における動き
   ベクトルの探索を，ピクチャー毎に所定の探索回数で実
   行する動き補償手段とを備えたことを特徴とする動画像
   符号化装置。
2. 【請求項２】 請求項１記載の動画像符号化装置におい
   て，前記動き探索範囲判定手段は，各ブロック毎の動き
   ベクトルの統計をとり，あらかじめ決められた一つまた
   は複数の閾値のそれぞれを超えているブロックの割合を
   求め，その割合の大きさにより動き探索範囲の大きさを
   変更することを特徴とする動画像符号化装置。
3. 【請求項３】 請求項１記載の動画像符号化装置におい
   て，前記動き探索範囲判定手段は，変更した動き探索範
   囲の大きさを周期的に初期値にリセットする手段を持つ
   ことを特徴とする動画像符号化装置。
4. 【請求項４】 請求項１記載の動画像符号化装置におい
   て，前記動き補償手段は，動きベクトルの探索をｎ画素
   おきの飛び越し探索により行う探索手段を持ち，動き探
   索範囲の大きさが変更された場合にｎの値を変更するこ
   とにより，所定の探索回数で探索を行うことを特徴とす
   る動画像符号化装置。
5. 【請求項５】 請求項１記載の動画像符号化装置におい
   て，前記動き補償手段は，フレーム間予測の原画と参照
   画のいずれか一方または両方をｎ：１に間引くことによ
   って帯域を落とした画像を用いて動きベクトルを探索す
   る手段を持ち，動き探索範囲の大きさが変更された場合
   にｎの値を変更することにより，所定の探索回数で探索
   を行うことを特徴とする動画像符号化装置。