JP3455635B2 - 動きベクトル検出装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、画像の記録・通信
・伝送および放送等における動き補償予測符号化方式の
動画像符号化装置に係り、特に動きベクトル検出対象画
面の部分領域が符号化済みの参照画面のどの部分領域か
ら動いたものかを表す動きベクトルを検出する動きベク
トル検出装置に関する。 【０００２】 【従来の技術】動画像信号は情報量が膨大であるため、
単にディジタル化して伝送や記録を行おうとすると、極
めて広帯域の伝送路や、大容量の記録媒体を必要とす
る。そこで、テレビ電話、テレビ会議、ＣＡＴＶおよび
画像ファイル装置等では、動画像信号を少ないデータ量
に圧縮符号化する技術が用いられる。 【０００３】動画像信号の圧縮符号化技術の一つとし
て、動き補償予測符号化方式が知られている。この動き
補償予測符号化方式では、符号化済みの画面を参照画面
とし、入力画面である符号化対象画面の部分領域に対し
て参照画面の最も相関の高い部分領域を検出することに
より、符号化対象画面の部分領域が参照画面のどの部分
領域から動いたものかを表す動きベクトルを求め、符号
化対象画面の部分領域と動きベクトルにより示される参
照画面の部分領域との差分である予測誤差信号を符号化
する。 【０００４】また、動き補償予測符号化方式において
は、符号化効率を高めるために、符号化する際の画面順
序を入れ替えることにより、過去の画面からのみでな
く、将来の画面からの予測をも用いて動き補償を行う場
合がある。これに伴い、動きベクトルの検出について
も、過去の画面を参照画面とする前方予測動きベクトル
検出と、将来の画面を参照画面とする後方予測動きベク
トル検出とがある。 【０００５】動き補償予測符号化に際しては、符号化対
象画面の種類に応じて、例えば符号化対象画面がいわゆ
るＰピクチャの場合は、前方予測）のみを使用して符号
化を行い、符号化対象画面がいわゆるＢピクチャの場合
は、前方予測と後方予測の双方の予測を使用して符号化
を行う。ここで、動きベクトル検出については、前方予
測と後方予測のうちの一方の予測のみを使用する場合、
使用されないもう一方の予測手段を流用して、予測を行
う方向の動きベクトル検出動作を補うようにすることに
より、動きベクトル探索のための限られた演算量の下で
動きベクトル検出能力を向上させる方法が従来とられて
きた。 【０００６】例えば、ノンインタレース画像のフレーム
構造の予測を行う場合、一方の予測方向では例えば図６
に示す探索パターンで動きベクトルの探索を行い、他方
の予測方向では例えば図７に示す探索パターンで動きベ
クトルの探索を行う。また、前方予測と後方予測の双方
の予測を使用する際には、図６と図７のそれぞれの探索
パターンで各予測方向の動きベクトル探索を行う。図６
の探索パターンと図７の探索パターンとでは、探索点が
異なっている。 【０００７】そして、一方の予測のみを使用する場合に
は、使用されない方向の予測手段を流用し、結果として
図６の探索パターンと図７の探索パターンの両方の探索
点を持つ図８に示す探索パターンで動きベクトルを探索
することにより、動きベクトル検出能力を向上させてい
る。 【０００８】また、ノンインタレース画像のフレーム構
造の予測を行う場合、例えば図９に示すように探索点を
不均一に配置した探索パターンで動きベクトルの初期探
索を行うことにより、１画素精度の動きベクトル侯補点
数を削減し、この初期探索により得られた動きベクトル
候補の配列パターンに応じて、例えば図１０に示すよう
に探索精度の異なる探索パターンを切り替えて動きベク
トルの再探索を行って最終的な動きベクトルを求めるこ
とにより、動きベクトル探索のための演算量を大幅に削
減する方法も知られている。図１０の各図において、上
段は初期探索時の探索パターン、下段は再探索時の探索
パターンをそれぞれ示している。 【０００９】 【発明が解決しようとする課題】ノンインタレース画像
のフレーム構造における動きベクトル検出において、上
述のように探索点を不均一に配置した探索パターンで動
きベクトルの初期探索を行った後、探索精度の異なる探
索パターンを切り替えて動きベクトルの再探索を行うこ
とにより動きベクトル探索のための演算量を削減する方
法では、符号化対象画面の部分領域毎に精度の異なる再
探索パターンの様々な変更が必要となり、その制御が非
常に複雑であるという問題点があった。また、再探索に
よる動きベクトルの検出精度が一定ではなく、常に高精
度の動きベクトルを得ることができないという問題点が
あった。 【００１０】また、使用されない予測方向の予測手段を
流用して動きベクトル検出能力を向上させる手法におい
ては、符号化対象画面の種類や動き補償予測の予測方向
によっても動きベクトルの検出精度が異なるため、これ
に上述したノンインタレース画像のフレーム構造の動き
ベクトル検出方法をそのまま組み合わせると、さらに制
御が複雑になってしまうという問題点があった。 【００１１】本発明は、二段階の動きベクトル探索によ
り探索のための演算量を減らすと同時に、簡単な制御に
よって常に一定の高い精度で動きベクトルを検出できる
動きベクトル検出装置を提供することを目的とする。 【００１２】 【課題を解決するための手段】上記の課題を解決するた
め、本発明は符号化対象画面の部分領域が参照画面のど
の部分領域から動いたかを示す動きベクトルを参照画面
上で探索して検出し、該動きベクトルを用いて動き補償
予測符号化を行う動画像符号化装置に用いられる動きベ
クトル検出装置において、画面の水平および垂直方向の
動きベクトル探索密度の大小関係が符号化対象画面の種
類および動き補償予測の予測方向に応じて少なくとも部
分的に異なる初期探索を行うことにより、動きベクトル
候補を検出する第１の動きベクトル検出手段と、この第
１の動きベクトル検出手段により検出された動きベクト
ル候補を基準とする位置に、長辺方向と短辺方向で動き
ベクトル探索密度が等しい長方形の探索パターンを少な
くとも符号化対象画面の種類に応じた向きに設定して再
探索を行うことにより、動きベクトルを検出する第２の
動きベクトル検出手段とを有することを特徴とする。 【００１３】このように本発明においては、符号化対象
画面の種類および動き補償予測の予測方向に応じて水平
および垂直方向の探索密度の大小関係を全体的または部
分的に異ならせた探索パターンで動きベクトルの初期探
索を行った後に、再探索を行って最終的な動きベクトル
を求めることにより、動きベクトル探索のための演算量
を減らしている。そして、特に再探索時に探索パターン
として長辺方向と短辺方向で動きベクトル探索密度が等
しい共通の長方形パターンを用い、この探索パターンを
符号化対象画面の種類に応じた向きに設定することによ
って、簡単な手段により常に一定精度で高精度に動きベ
クトルの検出を行うことが可能となる。 【００１４】 【発明の実施の形態】以下、図面を用いて本発明の実施
形態を説明する。図１は、本発明の一実施形態に係る動
きベクトル検出装置を含む動画像符号化装置の構成を示
すブロック図である。 【００１５】この動画像符号化装置は、画像信号が入力
される入力端子１０１、第１の画像メモリ１０２、第１
の動きベクトル検出部１０３、第２の動きベクトル検出
／予測部１０４、第２の画像メモリ１０５、遅延器１０
６、減算器１０７、直交変換器１０８、量子化器１０
９、逆量子化器１１０、逆直交変換器１１１、遅延器１
１２、加算器１１３、可変長符号化器１１４、符号化デ
ータを出力する出力端子１１５、および第１の動きベク
トル検出部１０３と第２の動きベクトル検出／予測部１
０４と第２の画像メモリ１０５を制御するコントローラ
１１６からなる。図１において、破線で囲んだ部分が本
発明による動きベクトル検出装置に関わる要素である。 【００１６】第１、第２の画像メモリ１０２、１０５は
１画面（フレーム）分の画像信号を記憶するフレームメ
モリにより構成され、遅延器１０６もフレームメモリに
より構成される。直交変換器１０８は例えばＤＣＴ（離
散コサイン変換）回路により構成され、これに対応して
逆直交変換器１１１は逆ＤＣＴ（逆離散コサイン変換）
回路により構成される。第１の画像メモリ１０２は、入
力端子１０１からフレーム単位で入力される画像信号を
記憶する。 【００１７】第１の動きベクトル検出部１０３は、入力
端子１０１から入力される画像信号で構成される符号化
対象画面内の所定の複数画素で構成される部分領域（マ
クロブロック）に対し、第１の画像メモリ１０２に記憶
されている過去に入力された画像信号の画面を参照画面
として、この参照画面上で符号化対象画面中の部分領域
に最も相関の高い部分領域を探索して動きベクトル候補
を検出する。この際、第１の動きベクトル検出部１０３
ではコントローラ１１６からの制御情報に基づいて、符
号化対象画面の種類および動き補償予測の予測方向に応
じて水平方向と垂直方向の動きベクトル探索密度の大小
関係を少なくとも部分的に異ならせて動きベクトル候補
の検出を行う。 【００１８】第１の動きベクトル検出部１０３で検出さ
れた動きベクトル候補は、第２の動きベクトル検出／予
測部１０４に入力される。第２の動きベクトル検出／予
測部１０４は、第１の動きベクトル検出部１０３により
検出された動きベクトル候補を基準とする位置に、長辺
方向と短辺方向で動きベクトル探索密度が等しい長方形
の探索パターンを符号化対象画面の種類に応じた向きに
設定して再探索を行うことにより、最終的な動きベクト
ルを検出する。 【００１９】コントローラ１１６は、符号化対象画面の
種類や動き補償予測の予測方向に応じて水平方向と垂直
方向の動きベクトル探索密度の大小関係を異ならせるた
めの制御情報を第１の動きベクトル検出部１０３に出力
する。 【００２０】コントローラ１１６は、さらに第１の動き
ベクトル検出部１０３に出力した制御情報にリンクし
て、第２の画像メモリ１０５からの画素の読み出し順序
を切り替えるための制御情報を画像メモリ１０５および
第２の動きベクトル検出／予測部１０４に出力する。第
２の画像メモリ１０５からの画素の読み出し順序の切り
替えに際しては、例えば水平方向の読み出し順序と垂直
方向の読み出し順序を入れ替えるようにする。 【００２１】こうして第２の画像メモリ１０５よりコン
トローラ１１６からの制御情報に基づいて設定された読
み出し順序に従って画素単位で読み出された参照画面の
画像信号は、第２の動きベクトル検出／予測部１０４に
入力される。第２の動きベクトル検出／予測部１０４
は、後述するように局部再生により得られ、かつ第２の
画像メモリ１０５に記憶された過去の画面を参照画面と
して、第１の動きベクトル検出部１０３から受け取った
動きベクトル候補の近傍を高精度で再探索し、１／２画
素精度の動きベクトルを検出すると共に、その動きベク
トルに従った予測信号を生成して、その予測信号と予測
モード信号および動きベクトル情報を出力する。 【００２２】ここで、第２の動きベクトル検出／予測部
１０４では、コントローラ１１６からの制御情報に基づ
いて画像メモリ１０５からの読み出し順序を切り替えた
参照画面の画像信号が画素単位で入力されることによ
り、特に回路構成を変えることなく、符号化対象画面の
種類に応じた向きに長辺方向と短辺方向で動きベクトル
探索密度が等しい長方形の探索パターンを設定して再探
索を行うことにより、動きベクトルを検出する。この
際、第２の動きベクトル検出／予測部１０４は、第１の
動きベクトル検出部１０３での初期探索密度が方向によ
って異なる場合、後述するように初期探索密度の小さな
方向の探索密度を補うような探索パターンで再探索を行
うようにすることが好ましい。 【００２３】減算器１０７は、第２の動きベクトル検出
／予測部１０４から出力される予測信号と、遅延器１０
６を介して入力される画像信号との差分を算出し、予測
誤差信号を出力する。減算器１０７から出力される予測
誤差信号は、複数の予測誤差信号毎に直交変換器１０８
で例えば離散コサイン変換が行なわれることにより、周
波数成分に変換される。これにより直交変換器１０８で
得られた変換係数、例えばＤＣＴ係数に量子化器１０９
により再量子化処理が施される。 【００２４】可変長符号化器１１４は、量子化器１０９
から出力される再量子化信号を第２の動きベクトル検出
／予測部１０４から出力される予測モード信号と動きベ
クトル情報と共に可変長符号化して出力端子１１５に出
力する。 【００２５】また、量子化器１０９から出力される再量
子化信号は、逆量子化器１１０にも入力されて逆量子化
処理が施され、さらに逆直交変換器１１１により予測誤
差信号に逆変換される。加算器１１３は、逆直交変換器
１１１から出力される予測誤差信号と遅延器１１２を介
して入力される予測信号との加算により、局部再生信号
を生成する。この局部再生信号は、入力端子１０１への
次の符号化対象画面の予測信号の生成に使用するため
に、第２の画像メモリ１０５に記憶される。 【００２６】次に、図２〜図５を用いて本実施形態にお
ける動きベクトル検出動作を具体的に説明する。図２、
図３および図４は、第１の動きベクトル検出部１０３に
おける動きベクトルの初期探索法の一例を示す図であ
る。図中で使用している記号の意味は、図の下部に示し
た通りである。 【００２７】第１の動きベクトル検出部１０３では、符
号化対象画面の種類に応じて前方予測と後方予測の双方
の予測を使用して、または一方の予測のみを使用して動
きベクトルの検出を行う。すなわち、符号化対象画面が
Ｐピクチャの場合には、前方予測のみを使用して動きベ
クトル検出を行い、符号化対象画面がＢピクチャの場合
には、前方予測と後方予測の双方の予測を使用して動き
ベクトル検出を行う。 【００２８】具体的には、第１の動きベクトル検出部１
０３は前方予測と後方予測の双方の予測を使用する場
合、コントローラ１１６からの制御情報に基づいて、一
方からの予測の際には図２に示す初期探索パターンで予
測を行い、他方からの予測の際には図３に示す初期探索
パターンで予測を行う。さらに、一方の予測の際に他方
の予測手段をも流用して動きベクトル検出能力を向上さ
せて予測を行う場合には、コントローラ１１６からの制
御情報に基いて、図２と図３の双方の探索パターンを併
用した図４に示す初期探索パターンで予測を行う。 【００２９】図５に、第２の動きベクトル検出／予測部
１０４における動きベクトルの再探索パターンの例を示
す。図５（ａ）（ｂ）（ｃ）（ｄ）において、上段は第
１の動きベクトル検出部１０３における初期探索パター
ン、下段が第２の動きベクトル検出／予測部１０４にお
ける再探索パターンをそれぞれ示している。これらの再
探索パターンは、符号化対象画面の種類に応じて、第１
の動きベクトル検出部１０３での初期探索パターンにリ
ンクして画像メモリ１０５からの画素の読み出し順序を
切り替えることによって切り替えられる。 【００３０】すなわち、第１の動きベクトル検出部１０
３が図２および図３の探索パターンで予測を行う場合に
は、第２の動きベクトル検出／予測部１０４は、第１の
動きベクトル検出部１０３による動きベクトル候補の検
出点を基準とする位置に図５（ａ）（ｂ）の再探索パタ
ーンを設定して動きベクトルの再探索を行い、また第１
の動きベクトル検出部１０３が図４の探索パターンで予
測を行う場合には、第２の動きベクトル検出／予測部１
０４は、第１の動きベクトル検出部１０３による動きベ
クトル候補の検出点を基準とする位置に図５（ｃ）
（ｄ）の再探索パターンを設定して動きベクトルの再探
索を行う。 【００３１】ここで、図５（ａ）（ｂ）（ｃ）（ｄ）の
下段に示す再探索パターンは、高精度に配列された５×
３ドットの探索点からなる長方形パターンであり、動き
ベクトル探索密度は長辺方向および短辺方向で共に１／
２画素精度となっている。これらの再探索パターンは、
図５（ａ）（ｂ）（ｃ）（ｄ）の上段に示す初期探索パ
ターンにおける動きベクトル候補の検出点を基準とする
位置に、符号化対象画面の種類に応じた向きに設定され
る。 【００３２】図５（ａ）（ｂ）の上段は、図２および図
３に示した初期探索パターンの一部であり、符号化対象
画面の種類がＢピクチャの場合である。このようにＢピ
クチャの場合には、図５（ａ）（ｂ）の下段に示すよう
に長方形の再探索パターンを横長に、つまり長辺が画面
の水平方向を向き、短辺が画面の垂直方向を向くように
設定する。図５（ａ）（ｂ）の上段に示す初期探索パタ
ーンは、画面水平方向および垂直方向の探索密度が等し
いが、探索精度は２画素精度と低い。このような場合
に、長方形の再探索パターンを横長に設定するのは、一
般に自然画像の動きは垂直方向より水平方向の方が大き
いため、動きの大きい方向の動きベクトル検出能力を上
げるためである。 【００３３】一方、図５（ｃ）（ｄ）の上段は、図４に
示した初期探索パターンの一部であり、符号化対象画面
の種類がＰピクチャの場合である。このようにＰピクチ
ャの場合には、図５（ｃ）（ｄ）の下段に示すように長
方形の再探索パターンを縦長に、つまり長辺が画面の垂
直方向を向き、短辺が画面の水平方向を向くように設定
する。すなわち、図５（ｃ）の上段に示す初期探索パタ
ーンは、水平方向の探索精度は１画素精度であるのに対
して、垂直方向は２画素精度と低いパターンとなってい
る。このような場合には、初期探索パターンの探索精度
の小さな方向（この例では垂直方向）の探索精度を補う
べく、図５（ｃ）の下段に示すように再探索パターンを
縦長に設定する。 【００３４】なお、図５（ｄ）の上段に示す初期探索パ
ターンは、水平方向および垂直方向の探索精度が共に１
画素精度と等しい。このような場合にも図５（ｃ）の場
合と同様に再探索パターンを縦長に設定するのは、図５
（ｄ）の場合、再探索パターンの向きをどのように設定
するかによって動きベクトル検出上大差がないことか
ら、探索パターンの切り替えに要する制御を簡単にする
ためである。 【００３５】尚、図２、図３、図４および図５は、あく
まで本発明の一実施形態を示したものであり、ここに示
したもの以外にも本発明の主旨を逸脱しない範囲で様々
な形態を取り得ることはもちろんである。例えば、本実
施形態では再探索パターンの向きを符号化対象画面の種
類のみに応じて設定するようにしたが、符号化対象画面
の種類に加えて、動き補償予測の予測方向も考慮して再
探索パターンの向きを設定するようにしてもよい。 【００３６】 【発明の効果】以上説明したように、本発明の動きベク
トル検出装置によれば、動きベクトルの検出のための探
索を初期探索と再探索に分けて行うことにより、探索の
ための演算量を減らすと共に、特に再探索パターンの切
り替え制御を単純にして、動きベクトル検出のための回
路構成を変更することなく、常に一定の高い精度で動き
ベクトルを検出することができる。

【図面の簡単な説明】 【図１】本発明の一実施形態に係る動きベクトル検出装
置を含む動画像符号化装置の構成を示すブロック図 【図２】第１の動きベクトル検出部における一方の予測
での初期探索パターンの例を示す図 【図３】第１の動きベクトル検出部における他方の予測
での初期探索パターンの例を示す図 【図４】第１の動きベクトル検出部における双方の予測
を併用した初期探索パターンの例を示す図 【図５】第２の動きベクトル検出／予測部における再探
索パターンの例を第１の動きベクトル検出部における初
期探索パターンに対応させて示す図 【図６】ノンインタレース画像のフレーム構造における
一方の予測での動きベクトル探索パターンの例を示す図 【図７】ノンインタレース画像のフレーム構造における
他方の予測での動きベクトル探索パターンの例を示す図 【図８】ノンインタレース画像のフレーム構造における
双方の予測を併用した高精度予測での動きベクトル探索
パターンの例を示す図 【図９】ノンインタレース画像のフレーム構造における
不均一な動きベクトル探索パターンの例を示す図 【図１０】検出精度を切り替えて動きベクトルの再探索
を行う例を示す図 【符号の説明】 １０１…入力端子 １０２…第１の画像メモリ １０３…第１の動きベクトル検出部 １０４…第２の動きベクトル検出／予測部 １０５…第２の画像メモリ １０６…遅延器 １０７…減算器 １０８…直交変換器 １０９…量子化器 １１０…逆量子化器 １１１…逆直交変換器 １１２…遅延器 １１３…加算器 １１４…可変長符号化器 １１５…出力端子 １１６…コントローラ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】符号化対象画面の部分領域が参照画面のど
   の部分領域から動いたかを示す動きベクトルを参照画面
   上で探索して検出し、該動きベクトルを用いて動き補償
   予測符号化を行う動画像符号化装置に用いられる動きベ
   クトル検出装置において、 画面の水平および垂直方向の動きベクトル探索密度の大
   小関係が前記符号化対象画面の種類および前記動き補償
   予測の予測方向に応じて少なくとも部分的に異なる初期
   探索を行うことにより、動きベクトル候補を検出する第
   １の動きベクトル検出手段と、 前記第１の動きベクトル検出手段により検出された動き
   ベクトル候補を基準とする位置に、長辺方向と短辺方向
   で動きベクトル探索密度が等しい長方形の探索パターン
   を少なくとも前記符号化対象画面の種類に応じた向きに
   設定して再探索を行うことにより、動きベクトルを検出
   する第２の動きベクトル検出手段とを有することを特徴
   とする動きベクトル検出装置。