JP4179548B2

JP4179548B2 - 動きベクトル検出装置

Info

Publication number: JP4179548B2
Application number: JP2003331459A
Authority: JP
Inventors: 智行清水; 康之中島; 広昌柳原
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2003-09-24
Filing date: 2003-09-24
Publication date: 2008-11-12
Anticipated expiration: 2023-09-24
Also published as: JP2005101811A; US20050063468A1; US7953151B2

Description

本発明は、複数のブロックサイズによる動き探索を行って動きベクトルを検出する動きベクトル検出装置に関し、特に、デジタル動画像信号の高能率符号化における動き補償予測に使用される動きベクトルを検出する動きベクトル検出装置に関する。

連続して入力される動画像信号をより少ない符号量で符号化する高能率符号化方式のうち、画像信号間の相関性を利用する符号化方式として、動き補償予測符号化方式がある。動き補償予測符号化においては、入力画像において参照画像内の最も相関性の高いブロックを検出し、その動きを表す動きベクトルおよび入力画像と参照画像間の予測誤差を符号化することによって大幅に符号量を低減させることができる。

動きベクトルの検出および動き補償を行う面積単位として複数のブロックサイズを使用することにより予測誤差をさらに小さくし、符号量をより低減することができる。例えば、画像符号化の国際標準であるH.264では、動き補償を行う面積単位を、図１（ａ）、（ｂ）、（ｃ）、（ｄ）に示すような８×８画素、８×１６画素、１６×８画素、１６×１６画素の４種類のブロックサイズとし、そのうちから符号化効率の高いブロックサイズを選択して符号化を行う。また、８×８画素のブロックサイズが選択される場合は、各ブロックをさらに４×４画素、４×８画素、８×４画素に分割することも可能である。

複数のブロックサイズを単位として動きベクトルを検出する動きベクトル検出装置の最も単純なものは、全てのブロックサイズにおいて予測誤差を最小にする動きベクトルを求め、予測誤差が最小となるブロックサイズを選択する方式（以下、第１の方式と称する。）である。

また、下記特許文献１では、動き探索の途中でブロックサイズごとに予測誤差を比較し、所定の条件が満たされた時点で大きなブロックサイズを候補から外して動き探索を行うことにより、動き探索の過程でブロックサイズ候補を減らす方式（以下、第２の方式と称する。）が提案されている。
特開２００３−１１１０８２号公報

前記第１の方式においては、全てのブロックサイズについて動き探索を行うため、計算量が膨大になり、処理速度が低下するという課題がある。

また、前記第２の方式においては、動き探索の過程の途中からブロックサイズ候補の除外を行うため、第１の方式に比べると高い処理速度が見込めるが、途中までの段階において複数のブロックサイズについての動き探索を並行して行っているため、依然として計算量が多いという課題がある。

本発明の目的は、前記課題を解決し、探索精度をあまり落とすことなく計算量を大幅に軽減し、高能率で複数のブロックサイズによる動き探索を行って動きベクトルを検出することができる動きベクトル検出装置を提供することにある。

前記課題を解決するため、本発明は、第１〜第ｎの複数のブロックサイズ（ｎは２以上の整数）を探索単位として、連続して入力される画像信号間の動きベクトルを検出する動きベクトル検出装置において、最小の第１のブロックサイズの複数ブロックを単位として各ブロックについての動きベクトルを検出する第１の動きベクトル検出手段と、前記第１の動きベクトル検出手段で検出された動きベクトルに基づいて、少なくとも隣接するブロック間の動きベクトルのベクトル間距離または分散を特徴値として検出する特徴値検出手段と、前記特徴値検出手段で検出された特徴値から隣接するブロック間の動きベクトルのベクトル間距離または分散が一定閾値を下回っているとき第２〜第ｎのブロックサイズを選択し、第２〜第ｎのブロックサイズのブロックについての動きベクトルを検出する第２の動きベクトル検出手段を具備したことを特徴とする。

また、本発明は、前記特徴値検出手段が、さらに前記第１の動きベクトル検出手段で検出された動きベクトルの中心ベクトルを特徴値として検出し、前記第２の動きベクトル検出手段は、該中心ベクトルを利用して探索中心を決定し、第２〜第ｎのブロックサイズのブロックについての動きベクトルをすることを特徴とする。

また、本発明は、前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離に応じた画素領域を探索範囲と決定し、第２〜第ｎのブロックサイズのブロックについての動きベクトルを検出することを特徴とする。

また、本発明は、前記複数のブロックサイズが、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記特徴値検出手段が、前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離を特徴値として検出し、前記第２の動きベクトル検出手段は、水平方向に隣接する第１のブロックサイズのブロックについての動きベクトルのベクトル間距離が小さい場合、第３のブロックサイズを選択して動きベクトルを検出することを特徴とする。

また、本発明は、前記複数のブロックサイズが、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記特徴値検出手段が、前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離を特徴値として検出し、前記第２の動きベクトル検出手段は、垂直方向に隣接する第１のブロックサイズのブロックについての動きベクトルのベクトル間距離が小さい場合、第２のブロックサイズを選択して動きベクトルを検出することを特徴とする。

また、本発明は、前記複数のブロックサイズが、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記特徴値検出手段が、前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離を特徴値として検出し、前記第２の動きベクトル検出手段は、第１のブロックサイズのブロック全てについての動きベクトルのベクトル間距離が小さい場合、第４のブロックサイズを選択して動きベクトルを検出することを特徴とする。

さらに、本発明は、前記複数のブロックサイズが、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記第２の動きベクトル検出手段は、第１のブロックサイズのブロックについて前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離ないし分散が一定閾値を下回っているとき第２ないし第４のブロックサイズのうちの少なくとも１つを選択して動きベクトルを検出することを特徴とする。

本発明においては、第１のブロックサイズについての動き探索が終了した時点で他のブロックサイズについての動き探索を行うかどうかを判定し、また、第１のブロックサイズについての動きベクトルに基づいて検出した特徴値を使用して動き探索の探索中心や探索範囲を決定するので、第１のブロックサイズ以外のブロックサイズにおける動き探索に必要な処理ステップ数を大幅に削減することができる。

また、第１のブロックサイズについての動きベクトルに基づいて検出した特徴値を使用し、他のブロックサイズについての動きベクトルに近い動きベクトルを予測して探索中心や探索範囲を求めるので、動き探索の処理ステップ数を削減しつつも精度の高い動き探索を行うことができる。

以下、図面を参照して本発明を説明する。図２は、本発明の一実施形態の構成を示すブロック図である。なお、以下では図１に示す第１のブロックサイズ（ａ）、第２のブロックサイズ（ｂ）、第３のブロックサイズ（ｃ）、第４のブロックサイズ（ｄ）の４つのブロックサイズにより動き検出を行う例について説明する。

図２において、入力画像（動画像）信号１は、入力画像記憶メモリ３に蓄えられ、参照画像信号２は、参照画像記憶メモリ１２に蓄えられる。

第１ブロックサイズ動き探索器４は、入力画像記憶メモリ３および参照画像記憶メモリ１２に蓄えられた入力画像信号１と参照画像信号２間で、第１ブロックサイズを単位として動き探索を行い、８×８画素ブロック（ａ−１）、（ａ−２）、（ａ−３）、（ａ−４）についての動きベクトルを検出する。なお、第１ブロックサイズ動き探索器４からは動き探索の過程で予測誤差も導出され、この予測誤差は動きベクトルとともに、後述するブロックサイズ決定器１１に与えられる。

ブロックサイズ選択器５は、第２、第３、第４のブロックサイズを順に選択する信号を送出し、特徴値抽出器６に対し処理対象とするブロックサイズを指示する。

特徴値抽出器６は、第１ブロックサイズ動き探索器４で検出された、８×８画素ブロック（ａ−１）、（ａ−２）、（ａ−３）、（ａ−４）についての動きベクトルおよびブロックサイズ選択器５によって与えられたブロックサイズに基づいて特徴値を抽出する。特徴値は、例えば、動きベクトルの中心ベクトル、ベクトル間距離、分散などである。図３は、２つのベクトルＭＶａ，ＭＶｂの中心ベクトルおよびベクトル間距離を表したものである。また、分散とは、複数のベクトルの散らばり具合を表す数値である。

動き探索判定器７は、特徴抽出器６によって抽出された特徴値に基づいて、ブロックサイズ選択器５によって指示されたブロックサイズを単位として選択ブロックサイズ探索器１０に動き探索を行わせるかどうかを判定する。この判定の基準には、例えば、以下のようにベクトル間距離を使用することができる。

ブロックサイズ選択器５が第２のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−３）についての動きベクトルのベクトル間距離、あるいはブロック（ａ−２），（ａ−４）についての動きベクトルのベクトル間距離のうちいずれかが一定の閾値を下回るかどうかで、動き探索を行わせるかどうかを判定する。例えば、前記動きベクトルのベクトル間距離が一定の閾値を下回っているとき、第２のブロックサイズでの動き探索を行わせると判定する。

ブロックサイズ選択器５が第３のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−２）についての動きベクトルのベクトル間距離、あるいはブロック（ａ−３），（ａ−４）についての動きベクトルのベクトル間距離のうちいずれかが一定の閾値を下回るかどうかで、動き探索を行わせるかどうかを判定する。例えば、前記動きベクトルのベクトル間距離が一定の閾値を下回っているとき、第３のブロックサイズでの動き探索を行わせると判定する。

ブロックサイズ選択器５が第４のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−３），（ａ−２），（ａ−４）についての動きベクトルのベクトル間距離のいずれもが一定の閾値を下回るかどうかで、動き探索を行わせるかどうかを判定する。例えば、前記動きベクトルのベクトル間距離のいずれもが一定の閾値を下回っているとき、第４のブロックサイズでの動き探索を行わせると判定する。

ブロックサイズ選択器５によって指示されたブロックサイズを単位として選択ブロックサイズ探索器１０に動き探索を行わせるかの判定の基準には動きベクトルの分散を使用することもできる。例えば、ブロック（ａ−１），（ａ−３），（ａ−２），（ａ−４）についての動きベクトルの分散が一定の閾値を超過しているときには、第２ないし第４のブロックサイズの少なくとも１つ、例えば第４のブロックサイズでの動き探索を行わせることができる。

動き探索判定器７が探索を行うと判定したとき、探索中心発生器８は、特徴抽出器６によって抽出された特徴値に基づいて、選択ブロックサイズ動き探索器１０が動き探索を行う際の探索中心を求め、これを参照画像記憶メモリ１２に与える。探索中心は、参照画像記憶メモリ１２が選択ブロックサイズ動き探索器１０に渡す参照画像中のブロック位置を指示する。探索中心発生器８が発生する探索中心は、例えば、以下のように動きベクトルの中心ベクトルより求めることができる。

ブロックサイズ選択器５が第２のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−３）についての動きベクトルの中心ベクトル（先端）をブロック（ｂ−１）の探索中心とし、ブロック（ａ−２），（ａ−４）についての動きベクトルの中心ベクトルをブロック（ｂ−２）の探索中心とする。

ブロックサイズ選択器５が第３のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−２）についての動きベクトルの中心ベクトルをブロック（ｃ−１）の探索中心とし、ブロック（ａ−３），（ａ−４）についての動きベクトルの中心ベクトルをブロック（ｃ−２）の探索中心とする。

ブロックサイズ選択器５が第４のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−２），（ａ−３），（ａ−４）についての動きベクトルの中心ベクトルを探索中心とする。

探索範囲発生器９は、動き探索判定器７が探索を行うと判定したとき、特徴抽出器６によって抽出された特徴値に基づいて、選択ブロックサイズ動き探索器１０が動き探索を行う際の探索範囲を求め、これを選択ブロックサイズ動き探索器１０に与える。探索範囲発生器９が発生する探索範囲は、例えば、以下のように動きベクトルのベクトル間距離より求めることができる。

ブロックサイズ選択器５が第２のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−３）についての動きベクトル間距離を半径とする画素領域をブロック（ｂ−１）の探索範囲とし、ブロック（ａ−２），（ａ−４）についての動きベクトルのベクトル間距離を半径とする画素領域をブロック（ｂ−２）の探索範囲とする。

ブロックサイズ選択器５が第３のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−２）についての動きベクトルのベクトル間距離を半径とする画素領域をブロック（ｃ−１）の探索範囲とし、ブロック（ａ−３），（ａ−４）についての動きベクトルのベクトル間距離を半径とする画素領域をブロック（ｃ−２）の探索範囲とする。

ブロックサイズ選択器５が第４のブロックサイズを指示している場合、ブロック（ａ−１），（ａ−２），（ａ−３），（ａ−４）についての動きベクトルのベクトル間距離のうち最大値を半径とする画素領域を探索範囲とする。

選択ブロックサイズ動き探索器１０は、探索範囲発生器９で指示された探索範囲で、探索中心発生器８で求められた探索中心によって中心位置が修正された参照画像と入力画像との間で動き探索を行う。なお、選択ブロックサイズ動き探索器１０からは動き探索の過程で予測誤差も導出され、この予測誤差は動きベクトルとともにブロックサイズ決定器１１に与えられる。

第１ブロックサイズ動き探索器４によって求められた動きベクトルおよび予測誤差と、選択ブロックサイズ動き探索器１０によって求められた動きベクトルおよび予測誤差は、ブロックサイズ決定器１１に与えられる。

ブロックサイズ決定器１１は、各ブロックサイズの動きベクトルに対する符号長および予測誤差に基づいて最も符号化効率の良いブロックサイズを決定し、決定したブロックサイズおよび該ブロックサイズ対応の動きベクトルを送出する。

図４は、本発明の一実施形態の動作を示すフローチャートである。まず、入力画像と参照画像間で第１ブロックサイズでの動き探索を行う（Ｓ０１）。これにより第１ブロックサイズのブロックについての動きベクトルおよび予測誤差が導出される。

次に、初期ブロックサイズを選択し（Ｓ０２）、そのブロックサイズにおいて隣接するブロック間の特徴値を抽出する（Ｓ０３）。なお、前記例では、初期ブロックサイズは第２のブロックサイズであり、ブロック（ｂ−１），（ｂ−２）についての動きベクトルの中心ベクトル、分散、ベクトル間距離などが特徴値として抽出される。

次に、抽出された特徴値に基づいて、初期ブロックサイズを単位として動き探索を行うかどうかを判定する（Ｓ０４）。この判定の基準は上述したように、動きベクトルのベクトル間距離や分散といった特徴値に従って定めることができる。

Ｓ０４で、動き探索を行う（Ｙ）と判定すれば、探索中心および探索範囲を決定する（Ｓ０５）。この決定は上述したように、動きベクトルの中心ベクトルやベクトル間距離といった特徴値に基づいて行うことができる。

次に、Ｓ０５で決定された探索中心および探索範囲に従って入力画像と参照画像間で動き探索を行う。これにより初期ブロックサイズのブロックについての動きベクトルおよび予測誤差が導出される。

Ｓ０４で、動き探索を行わない（Ｎ）と判定した場合、あるいはＳ０６で初期ブロックについての動き探索が終了した場合には、Ｓ０７に進んで全ブロックサイズのブロックについての動き探索が終了したかどうかを判定する。ここで全ブロックサイズのブロックについての動き探索が終了したと判定されれば、これまでに導出された動きベクトルおよび予測誤差に基づいて最も符号化効率のよいブロックサイズを最終的に決定する（Ｓ０９）。

Ｓ０７で、全ブロックサイズのブロックについての動き探索が終了していない判定されれば、次のブロックサイズに更新して（Ｓ０８）Ｓ０３からのステップを繰り返す。前記例では第３ブロックサイズ、第４ブロックサイズのブロックについてステップＳ０３〜Ｓ０８を繰り返し、第４のブロックサイズのブロックについての処理が終了すればＳ０９に進むことになる。

以上では、動画像符号化方式をH.264/MPEG-4 AVC（Advanced Video Coding）とし、複数のブロックサイズを、図３に示すような、第１のブロックサイズ（ａ）、第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ（ｂ）、第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ（ｃ）、第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズ（ｄ）を探索単位とした例について説明したが、本発明における符号化方式やブロックサイズ、ブロック数はこれに限定されない。本発明は、動画像を利用するアプリケーションおよび符号化装置一般に適用することができる。

複数のブロックサイズの説明図である。本発明の一実施形態の構成を示すブロック図である。中心ベクトルおよびベクトル間距離の説明図である。本発明の一実施形態の動作を示すフローチャートである。

符号の説明

１・・・入力画像信号、２・・・参照画像信号、３・・・入力画像記憶メモリ、４・・・第１ブロックサイズ動き探索器、５・・・ブロックサイズ選択器、６・・・特徴抽出器、７・・・動き探索器、８・・・探索中心発生器、９・・・探索範囲発生器、１０・・・選択ブロックサイズ動き探索器、１１・・・ブロックサイズ決定器、１２・・・参照画像記憶メモリ、１３・・・ブロックサイズおよび動きベクトル出力

Claims

第１〜第ｎの複数のブロックサイズ（ｎは２以上の整数）を探索単位として、連続して入力される画像信号間の動きベクトルを検出する動きベクトル検出装置において、
最小の第１のブロックサイズの複数ブロックを単位として各ブロックについての動きベクトルを検出する第１の動きベクトル検出手段と、
前記第１の動きベクトル検出手段で検出された動きベクトルに基づいて、少なくとも隣接するブロック間の動きベクトルのベクトル間距離または分散を特徴値として検出する特徴値検出手段と、
前記特徴値検出手段で検出された特徴値から隣接するブロック間の動きベクトルのベクトル間距離または分散が一定閾値を下回っているとき第２〜第ｎのブロックサイズを選択し、第２〜第ｎのブロックサイズのブロックについての動きベクトルを検出する第２の動きベクトル検出手段を具備したことを特徴とする動きベクトル検出装置。
前記特徴値検出手段は、さらに前記第１の動きベクトル検出手段で検出された動きベクトルの中心ベクトルを特徴値として検出し、前記第２の動きベクトル検出手段は、該中心ベクトルを利用して探索中心を決定し、第２〜第ｎのブロックサイズのブロックについての動きベクトルを検出することを特徴とする請求項１に記載の動きベクトル検出装置。
前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離に応じた画素領域を探索範囲と決定し、第２〜第ｎのブロックサイズのブロックについての動きベクトルを検出することを特徴とする請求項１または２に記載の動きベクトル検出装置。
前記複数のブロックサイズは、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記第２の動きベクトル検出手段は、水平方向に隣接する第１のブロックサイズのブロックについて前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離が小さい場合、第３のブロックサイズを選択して動きベクトルを検出することを特徴とする請求項１ないし３のいずれかに記載の動きベクトル検出装置。
前記複数のブロックサイズは、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記第２の動きベクトル検出手段は、垂直方向に隣接する第１のブロックサイズのブロックについて前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離が小さい場合、第２のブロックサイズを選択して動きベクトルを検出することを特徴とする請求項１ないし３のいずれかに記載の動きベクトル検出装置。
前記複数のブロックサイズは、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記第２の動きベクトル検出手段は、第１のブロックサイズのブロック全てについて前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離が小さい場合、第４のブロックサイズを選択して動きベクトルを検出することを特徴とする請求項１ないし３のいずれかに記載の動きベクトル検出装置。
前記複数のブロックサイズは、第１のブロックサイズ、および第１のブロックサイズの２倍の高さを持つ第２のブロックサイズ、および第１のブロックサイズの２倍の幅を持つ第３のブロックサイズ、および第１のブロックサイズの２倍の幅と２倍の高さを持つ第４のブロックサイズであり、前記第２の動きベクトル検出手段は、第１のブロックサイズのブロックについて前記第１の動きベクトル検出手段で検出された動きベクトルのベクトル間距離ないし分散が一定閾値を下回っているとき第２ないし第４のブロックサイズのうちの少なくとも１つを選択して動きベクトルを検出することを特徴とする請求項１ないし３のいずれかに記載の動きベクトル検出装置。