JP4216796B2

JP4216796B2 - 動きベクトル探索方法，動きベクトル探索装置，動きベクトル探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4216796B2
Application number: JP2004362784A
Authority: JP
Inventors: 淳清水; 隆一谷田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2004-12-15
Filing date: 2004-12-15
Publication date: 2009-01-28
Anticipated expiration: 2024-12-15
Also published as: JP2006174014A

Description

本発明は，小数画素精度の動き補償予測モードを有する映像符号化方式において，小数画素精度での動きベクトル探索の高速化技術に関するものである。

ＭＰＥＧ−２（例えば，非特許文献１参照）やＭＰＥＧ−４（例えば，非特許文献２参照），Ｈ．２６４（例えば，非特許文献３参照）などの多くの映像符号化方式は，動き補償予測方式を採用している。この動き補償予測は，参照フレームと符号化対象フレーム間で，映像の動きを補償することで符号化効率を向上させている。動き補償を行う際，整数画素精度だけでなく，小数画素で動き補償を行うことにより符号化効率の向上が望める。ＭＰＥＧ−２やＭＰＥＧ−４では半画素精度，Ｈ．２６４では１／４画素精度の動き補償が可能となっている。

図１０に小数画素精度の位置関係を示す。本来，整数画素位置にしか信号は存在しないため，整数画素間の信号を整数画素から生成する。

一般に動き補償予測に用いる動きベクトルの探索（以下，動き探索という）は，多くの演算量を必要とする。さらに，小数画素精度での検出では，探索点数が，整数画素に比べて４倍（半画素精度）から１６倍（１／４画素精度）と増大し，演算時間も探索点数に比例する。このため，小数画素精度での動きベクトル探索は，多段での検出を行うことが一般的である。

例えば，「http://iphome.hhi.de/suehring/tml/download/ 」のＵＲＬからダウンロード可能なＨ．２６４の参照ソフトウェアでは，次のようにして，１／４画素精度の動きベクトルを検出している。図１１に動きベクトルの探索の例を示す。
１．最初に整数画素精度で動き探索
２．整数画素精度で求まった動きベクトル近傍の半画素精度動きベクトルを探索
３．半画素精度で求まった動きベクトル近傍の１／４画素精度動きベクトルを探索
このようにして，小数画素精度の動きベクトルを探索し，多くの映像符号化方式では，動き補償予測を行っている。小数画素精度の動き補償を行うことで，符号化効率の向上を図っている。
ＭＰＥＧ−２：ISO/IEC IS 13818-2,ITU-T Recommendation H.262,"Generic coding of moving pictures and associated audio information",Nov.1994 ＭＰＥＧ−４：ISO/IEC IS 14496-2,"Information technology-coding of audio/visual objects",Jul.2001 ＩＴＵ−ＴＨ．２６４：ITU-T Rec.H.264,"Advanced video coding for generic audiovisual services",2003.

小数画素精度の動きベクトルによる動き補償予測は，予測効率が高いものの，探索に必要な演算量が増加する。特に，ステップサーチなど整数画素精度の探索を高速に行う場合，動き探索に要する整数画素精度探索の比率が低下し，小数画素精度の探索に要する演算量も無視できないものとなる。例えば，±１５×±１５の探索範囲を全探索する場合，その探索点数は，約９６０となる。それを８画素間隔，４画素間隔，２画素間隔，１画素間隔の４段階のステップサーチとすると，探索点数は３３となる。

図１２にステップサーチの例を示す。図１２に示すステップサーチの後，１／４画素精度まで探索を行うと，探索点数は，半画素精度と１／４画素精度の探索点数１６点を加えて，４９点となり，約１／３が小数画素精度の探索点数となる。

また，小数画素は，整数画素精度の信号から補間するため，小数画素の信号の生成も演算量を増加させる。図１３に１／４画素精度での画素の並びを示す。この図で●は整数画素で，それ以外は整数画素から求める小数画素の信号である。模様が同じ点は，同じ算出方法で整数画素から求める画素である。先の図１３の例では，１５種類の算出方法がある。

このように，小数画素精度の動き補償予測を行うことで，符号化効率の向上は望めるものの，演算量が増加する問題点がある。

本発明は，上記従来技術の課題を解決し，符号化効率の低下を抑制しつつ，小数画素精度の動き探索による演算量を削減することができるようにすることを目的とする。

先に述べたように，小数画素精度での動き補償予測は，符号化効率を向上させる反面，演算量が増加する問題がある。

ここで，小数画素精度での動き補償について述べる。通常，必要な動きベクトルの精度は，映像によって異なる。例えば，パニングしている映像の場合，動きの少ない垂直方向の精度は，それほど必要ないが，水平方向は高い精度が要求される。このように，小数画素精度の動き補償予測を行う場合でも，全ての探索点を探索する必要はない。

そこで，本発明では，符号化済みフレームで使用した動きベクトル精度の使用頻度を計測し，その頻度分布から符号化対象フレームに必要とされる動きベクトル精度を推定し，小数画素精度での探索点数を制限して動き検出を行う。これにより，符号化効率の低下を最小限に抑えつつ，演算量を削減することを実現する。

図１に本発明に係る動きベクトル探索処理フローの一例を示す。
１．動きベクトル精度の頻度分布の計測（ステップＳ１）
符号化済みフレームでの動きベクトル精度の頻度分布を計測する。
２．使用する動きベクトル精度の選択（ステップＳ２）
頻度分布から使用する動きベクトル精度を選択する。
３．動き検出（ステップＳ３）
小数画素精度の探索点数を制限して動きベクトルを検出する。
４．符号化処理（ステップＳ４）
通常の符号化処理を行う。

本発明では，符号化済みフレームでの動きベクトル精度の頻度分布をもとに，符号化対象フレームの動きベクトル精度を制限することで，符号化効率の低下を抑制しつつ，小数画素精度の動き探索による演算量を削減することができる。

まず，本発明の制御単位となる動きベクトル精度の分類について説明する。小数画素精度の動きベクトル探索は，整数画素間に小数画素を補間して探索を行う。

図２にＨ．２６４における１／４画素精度の例を示す。この例では，小数画素を算出する演算方法の違いから，各成分を整数，半画素，＋０．２５画素，−０．２５画素の４つに分類している。ベクトル単位で制御する場合，図２（Ｂ）に示す１６種類のベクトル単位で制御できる。なお，制御単位は，複数の成分やベクトルを組み合わせて制御することも可能である。例えば，±０．２５画素を１つにまとめて，各成分を３種類に分類し，ベクトルを９種類とすることもできる。この場合，各制御単位で頻度分布を調査する。

次に，符号化に使用する動きベクトル精度の決定方法について説明する。最初に，ベクトルを制御単位とする場合について説明する。まず，動きベクトル精度をＮ種類に分類する。図２の例では，Ｎ＝１６となる。分類した動きベクトル精度ごとに頻度分布を調べ，使用頻度が多い順に順位を決定する。

次に，Ｎ種類の動きベクトル精度の中から符号化対象フレームで使用するＭ種類の動きベクトル精度候補を選択する。符号化対象フレームで使用する動きベクトル精度の候補は，符号化済みフレームの使用頻度上位Ｋ（＜Ｍ）種類の動きベクトル精度を候補とし，Ｍ−Ｋ種類を符号化済みフレームで使用されていない動きベクトルから選択する。これは，使用される動きベクトル精度が固定されることを防ぐためである。

未使用の動きベクトル精度は，符号化済みフレームの頻度情報がないため，過去の選択状況から選択回数の低いものから選ぶ。過去の選択情報もない場合には，ランダムにあるいは，付与している番号順等により選択する。

続いて，制御単位を各成分毎とする場合について説明する。まず，動きベクトル精度を，各成分毎にＮ_h種類またはＮ_v種類に分類する。図２の例では，Ｎ_h＝Ｎ_v＝４となる。分類した各成分毎に頻度分布を計測し，使用頻度が多い順に順位を決定する。次に，各成分毎に，Ｎ_hまたはＮ_v種類の動きベクトル精度の中から符号化対象フレームで使用するＭ_hまたはＭ_v種類の動きベクトル精度候補を選択する。各成分の候補数をＭ_hまたはＭ_v種類とすると，使用できる動きベクトル精度の種類は，Ｍ_h×Ｍ_v種類となる。

動きベクトル精度の制御単位を各成分毎に設定する場合，２つの状態がある。一つは，両成分の候補数が等しい場合Ｍ_h＝Ｍ_vと，候補数が異なる場合Ｍ_h≠Ｍ_vである。候補数が等しい場合（Ｍ_h＝Ｍ_v＝Ｍ），ベクトル単位で制御する場合同様，各成分毎に頻度分布を計測し，各成分毎に上位Ｋ_vまたはＫ_h個の候補を残し，下位Ｍ−Ｋ_hまたはＭ−Ｋ_v個の候補を入れ替える。

候補数が異なる場合（Ｍ_h≠Ｍ_v），２段階で動きベクトル精度の候補を決定する。図３に符号化に使用する動きベクトル精度の決定処理フローの一例を示す。各成分の候補数をＭ_g，Ｍ_l（Ｍ_g＞Ｍ_l）とする。
１．候補数が多い成分で頻度の偏りを調査する（ステップＳ１１）。
２．偏りの大小比較を行い（ステップＳ１２），偏りが小さい場合には，５（ステップＳ１５）へ進む。
３．偏りが大きい場合，両成分の候補数を入れ替える（ステップＳ１３）。
４．候補数が少ない成分について，上位Ｍ_l個の候補を選択する（ステップＳ１４）。
５．候補数が多い成分について，上位Ｋ_g個の候補を残し，下位Ｍ_g−Ｋ_gを入れ替える（ステップＳ１５）。

ここで，頻度の偏りは，分散や占有率などを用いる。このように，両成分の候補数が異なる場合には，１段目で候補数の大小関係を頻度分布に応じて入れ替え，２段目で候補数の多い成分について頻度に応じて候補を入れ替える。

上記の通り，符号化対象フレームで利用する動きベクトル精度を決定した後，動き探索を行う。ここでは，選択された動きベクトル精度のみを探索し，最小コストの動きベクトルを検出する。

図４に動きベクトル精度の制御例を示す。この例では，図４（Ｂ）に示す７種類の動きベクトル精度が選択されたと仮定する。従来では，図４（Ａ）に示す全ての探索点を探索したが，本発明では，図４（Ａ）中の探索点のうち，破線の探索点を除く，実線の探索点のみを探索する。これにより，図４の例では，小数画素の探索点数が１６点から１０点に削減できる。

次に，本発明の一実施形態の構成について説明する。図５に本発明の一実施形態に係る動きベクトル探索装置の構成の一例を示す。動きベクトル探索装置１において，統計量計測部１１は，符号化済みフレームで符号化に使用された動きベクトル情報をメモリに蓄積し，符号化済み動きベクトル情報を基に，動きベクトル精度の分類に基づいて頻度分布を計測する。

制御情報生成部１２では，統計量計測部１１から伝送された頻度情報から，使用する動きベクトル精度を決定し，決定した使用可能な動きベクトル精度情報を，探索可能小数画素精度情報として小数画素精度動き探索部１３に伝送する。

小数画素精度動き探索部１３では，探索可能小数画素精度について動きベクトルの探索を行う。探索結果は，小数画素精度動きベクトル情報として出力する。通常，映像符号化方式は，複数の符号化モードを持ち，これらの中から１つのモードを選択できる。このため，最終的に符号化される動きベクトルと，小数画素精度動き探索部１３の出力は，必ずしも一致しない。そこで，統計量計測部１１では，実際に符号化に用いられた動きベクトルの統計量を計測するために，統計量計測部１１の入力と小数画素精度動き探索部１３の出力を分けている。

ここで述べたように，動きベクトル精度をベクトル単位もしくは成分単位に頻度分布を計測し，その頻度分布に応じて探索点数を制御することができる。

以下に，本発明の実施例を示す。本実施例では，Ｈ．２６４をベースとする映像符号化方式において，小数画素精度の動き補償は１／４画素，ブロックサイズは８×８のみ，動き探索方法は，整数画素精度探索後に小数画素精度の探索を行う。動きベクトル精度は，図２に示した各成分を４種類に分類したものを用いる。また，頻度分布を調査するフレームは，直前に符号化したフレームのみとする。

最初に，本実施例の構成を説明する。図６に本実施例に係る動きベクトル探索装置の構成の一例を示す。

動きベクトル探索装置２において，統計量計測部１１は，メモリに記憶された符号化済み動きベクトル情報を基に，動きベクトル精度の分類に基づいて頻度分布を調査する。制御情報生成部１２では，頻度情報から，使用する動きベクトル精度を決定し，使用可能な動きベクトル精度情報を探索可能小数画素精度情報として小数画素精度動き探索部２１に伝送する。

また，整数画素精度動き探索部２２では，整数画素精度の動き探索を行い，整数画素精度動きベクトル情報を小数画素精度動き探索部２１に伝送する。続いて，小数画素精度動き探索部２１では，整数画素精度の動きベクトルの近傍領域において，探索可能小数画素精度について動きベクトルの探索を行う。探索結果は，小数画素精度動きベクトル情報として出力する。

次に，使用する動きベクトル精度の選択方法について説明する。本発明の実施例１として，動きベクトルを制御単位とする例を示す。本実施例１では，動きベクトル精度の候補数は８とし，上位４候補を採用し，下位４候補を入れ替える。

以下に，本実施例１の流れを説明する。図７に本実施例１の処理フローを示す。
１．動きベクトル単位で頻度を計測する（ステップＳ２１）。
２．各成分単位で頻度を計測する（ステップＳ２２）。
３．各成分単位の頻度から入れ替え対象候補を選択する（ステップＳ２３）。
４．ベクトル単位での頻度について下位４候補を入れ替える（ステップＳ２４）。
５．整数画素精度での動き検出を行う（ステップＳ２５）。
６．探索点数を制限した小数画素精度の動き検出を行う（ステップＳ２６）。

ここで，図７のステップＳ２３における各成分単位の頻度から入れ替え対象候補を選択する方法について説明する。まず，水平／垂直成分ごとに計測した頻度分布から，各成分の下位２種類（３位，４位）を取り出し，以下の通りに組み合わせる。
・水平成分３位と垂直成分３位
・水平成分３位と垂直成分４位
・水平成分４位と垂直成分３位
・水平成分４位と垂直成分４位
既に選択済みの精度が選ばれた場合には，以下の組み合わせを採用する。
・水平成分２位と垂直成分３位
・水平成分３位と垂直成分２位

次に，各成分毎に制御する例を示す。ここでは，各成分の候補数を等しく３とする場合を実施例２，候補数が２または４と異なる場合を実施例３として説明する。

まず，実施例２について説明する。両成分の候補数を３とする場合（Ｍ_h＝Ｍ_v＝３），各成分毎に頻度分布の上位２候補はそのまま選択し，最下位候補の頻度が閾値未満（または閾値以下）の場合，候補の入れ替えを行う。なお，本実施例２では，各成分の分類を４，候補数を３としているため，入れ替えの対象となる候補は１つのみである。以下に，本実施例２の流れを説明する。図８に本実施例２の処理フローを示す。
１．各成分毎に頻度を計測する（ステップＳ３１）。
２．各成分毎に最下位候補を検出する（ステップＳ３２）。
３．各成分毎に最下位候補の頻度が閾値以上かを判断し（ステップＳ３３），閾値以上の場合には５（ステップＳ３５）へ進む。最下位候補の頻度が閾値以下なら４（ステップＳ３４）へ進む。
４．各成分毎に最下位候補の入れ替え処理を行う（ステップＳ３４）。
５．整数画素精度の動き検出を行う（ステップＳ３５）。
６．探索点数を制限した小数画素精度の動き検出を行う（ステップＳ３６）。

次に実施例３について説明する。候補数が異なる場合，候補数の多い成分の頻度分布によって，両成分の候補数を入れ替える。実施例３では，候補数が４つの成分に対し，各候補の頻度分布の偏りを見る。ここでは，偏りは，上位２候補の頻度の合計とする。上位２候補による占有率が閾値ＴＨ以上の場合，候補数を入れ替える。その際，上位２候補を候補数が少ない成分の候補とする。候補数が多い成分は，候補数が４となるため，全成分を候補とする。なお，閾値ＴＨは，予め与えておく。

以下に，本実施例３の流れを説明する。図９に本実施例３の処理フローを示す。
１．候補数が４つの成分について頻度を計測する（ステップＳ４１）。
２．上位２候補の頻度を合計する（ステップＳ４２）。
３．上位２候補の頻度合計が閾値未満かを確認し（ステップＳ４３），閾値未満なら５（ステップＳ４５）へ進む。上位２候補の頻度合計が閾値以上なら４（ステップＳ４４）へ進む。
４．各成分の候補数の入れ替え処理を行う（ステップＳ４４）。
５．整数画素精度の動き検出を行う（ステップＳ４５）。
６．探索点数を制限した小数画素精度の動き検出を行う（ステップＳ４６）。

以上の動きベクトル探索の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

動きベクトル探索処理フローの一例を示す図である。Ｈ．２６４における１／４画素精度の例を示す図である。符号化に使用する動きベクトル精度の決定処理フローの一例を示す図である。動きベクトル精度の制御例を示す図である。動きベクトル探索装置の構成の一例を示す図である。動きベクトル探索装置の構成の一例を示す図である。実施例１の処理フローを示す図である。実施例２の処理フローを示す図である。実施例３の処理フローを示す図である。小数画素精度の位置関係を示す図である。動きベクトルの探索の例を示す図である。ステップサーチの例を示す図である。１／４画素精度での画素の並びを示す図である。

符号の説明

１，２動きベクトル探索装置
１１統計量計測部
１２制御情報生成部
１３，２１小数画素精度動き探索部
２２整数画素精度動き探索部

Claims

小数画素精度で動き補償予測を行う映像符号化方式における動きベクトル探索方法において，
符号化済みフレームで符号化に使用された動きベクトル精度をメモリに記憶し，メモリに記憶された動きベクトル精度の頻度分布を計測する過程と，
計測した頻度分布から符号化対象フレームで使用する動きベクトル精度候補を選択する過程と，
選択した動きベクトル精度候補に基づいて動きベクトルを探索する過程とを有し，
動きベクトルの探索精度を動的に制御する
ことを特徴とする動きベクトル探索方法。
請求項１に記載の動きベクトル探索方法において，
前記動きベクトル精度の頻度分布を計測する過程では，ベクトル単位で動きベクトル精度の使用頻度を計測し，
前記動きベクトル精度候補を選択する過程では，予め定められた個数の既選択候補のうち使用頻度が下位に属する候補を検出し，検出した下位候補と入れ替える未選択候補を選択し，前記下位候補と前記未選択候補とを入れ替えた探索精度の候補を，前記動きベクトル精度候補とする
ことを特徴とする動きベクトル探索方法。
請求項２に記載の動きベクトル探索方法において，
前記動きベクトル精度の頻度分布を計測する過程では，さらに，動きベクトルの各成分毎に動きベクトル精度の使用頻度を計測し，
前記動きベクトル精度候補を選択する過程では，前記各成分毎に計測した動きベクトル精度の使用頻度が下位に属する候補を，前記下位候補と入れ替える未選択候補として選択する
ことを特徴とする動きベクトル探索方法。
請求項１に記載の動きベクトル探索方法において，
前記動きベクトル精度の頻度分布を計測する過程では，動きベクトルの成分毎に動きベクトル精度の使用頻度を計測し，
前記動きベクトル精度候補を選択する過程では，計測した使用頻度から前記動きベクトルの各成分毎に動きベクトル精度候補を選択する
ことを特徴とする動きベクトル探索方法。
請求項４に記載の動きベクトル探索方法において，
前記動きベクトル精度候補を選択する過程では，動きベクトルの水平垂直の両成分で精度候補数が異なる場合，精度候補数が多い成分の頻度の偏りを算出し，算出した偏りが所定の値より大きい場合に両成分間で候補数を入れ替え，候補数が減少した成分について，新しい候補数に合わせて頻度の上位から候補を選択し，選択した候補を前記動きベクトル精度候補とする
ことを特徴とする動きベクトル探索方法。
請求項４に記載の動きベクトル探索方法において，
前記動きベクトル精度候補を選択する過程では，動きベクトルの水平垂直の両成分で精度候補数が等しい場合，前記動きベクトルの各成分毎に既選択候補のうち使用頻度が下位に属する候補を検出し，各成分毎に下位候補と入れ替え対象となる未選択候補を選択し，前記下位候補と前記未選択候補とを入れ替えた探索精度の候補を，前記動きベクトル精度候補とする
ことを特徴とする動きベクトル探索方法。
小数画素精度で動き補償予測を行う映像符号化方式における動きベクトル探索装置において，
符号化済みフレームで符号化に使用された動きベクトル精度をメモリに記憶し，メモリに記憶された動きベクトル精度の頻度分布を計測する手段と，
計測した頻度分布から符号化対象フレームで使用する動きベクトル精度候補を選択する手段と，
選択した動きベクトル精度候補に基づいて動きベクトルを探索する手段とを備え，
動きベクトルの探索精度を動的に制御する
ことを特徴とする動きベクトル探索装置。
請求項１から請求項６までのいずれか１項に記載の動きベクトル探索方法を，コンピュータに実行させるための動きベクトル探索プログラム。
請求項１から請求項６までのいずれか１項に記載の動きベクトル探索方法を，コンピュータに実行させるための動きベクトル探索プログラムを記録したコンピュータ読み取り可能な記録媒体。