WO2006001485A1

WO2006001485A1 - 動き予測補償方法及び動き予測補償装置

Info

Publication number: WO2006001485A1
Application number: PCT/JP2005/011989
Authority: WO
Inventors: Toshiharu Tsuchiya; Toru Wada; Kazushi Sato; Makoto Yamada
Original assignee: Sony Corporation
Priority date: 2004-06-29
Filing date: 2005-06-29
Publication date: 2006-01-05
Also published as: KR101182977B1; EP1763252B1; EP1763252A4; CN1977541A; JPWO2006001485A1; KR20070033385A; JP5018085B2; CN1977541B; US20080037642A1; EP1763252A1

Abstract

　複数フレームの参照画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数フレームの参照画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行うにあたり、間引き装置（１２）において、上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成し、参照フレーム決定装置（１５）により縮小画像上で縮小参照画像を決定し、生成された縮小画像を用いて動き予測補償装置（１／Ｎ２解像度）１５において動きベクトルを探索し、動き予測補償装置（フル解像度）１７により、縮小前の画像について、上記動き予測補償装置（１／Ｎ２解像度）１５において探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測補償を行う。

Description

明細書

動き予測補償方法及び動き予測補償装置

技術分野

[0001] 本発明は、動き予測補償方法及び動き予測補償装置に関し、例えば MPEG、 H.

26x等のように、離散コサイン変換若しくはカルーネン ·レーべ変換等の直交変換と動き補償によって圧縮された画像情報 (ビットストリーム)を、衛星放送、ケーブル TV 、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報符号ィ匕装置に適用して好適なものである。

本出願は、日本国において 2004年 6月 29日に出願された日本特許出願番号 200 4- 191937を基礎として優先権を主張するものであり、この出願は参照することにより、本出願に援用される。

背景技術

[0002] 例えば、特開 2004— 56827号公報等に示されているように、近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する MPEGなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、 MPEG2 (ISOZlEC 13818— 2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられて、る。 MPEG2圧縮方式を用いることにより、例えば 720 X 480画素を持つ標準解像度の飛び越し走査画像であれば 4〜 8Mbps, 1920 X 1088画素を持つ高解像度の飛び越し走査画像であれば 18〜22 Mbpsの符号量 (ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象として!/ヽたが、 MPEG 1より低、符号量 (ビットレート）、つまりより高、圧縮率の符号化方式には対応してヽなかった。携帯端末の普及により、今後そのような符号ィヒ方式のニーズは高まると思われ、これに対応して MPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、 1998年 12月に ISOZIEC 14496— 2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号ィ匕を目的として、 H. 26L (ITU-T Q 6/16 VCEG)という標準の規格化が進んでいる。 H. 26Lは MPEG2や MPEG4 といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号ィ匕効率が実現されることが知られている。また、現在、 MP EG4の活動の一環として、この H. 26Lをベースに、 H. 26Lではサポートされない機能をも取り入れ、より高い符号ィ匕効率を実現する標準化力 Sjoint Model of Enha need -Compression Video Codingとして行われている。標準化のスケジュールとしては、 2003年 3月には H. 264及び MPEG— 4 Part 10 (Advanced Video Coding：以下 AVCと、う） t ヽぅ名の元に国際標準となった。

AVC規格に基づいた画像圧縮情報 DPCを出力とする画像情報符号ィ匕装置 100 の構成例を図 1のブロック図に示す。

この画像情報符号ィ匕装置 100は、入力となる画像信号 Sinが供給される AZD変換装置 1、この AZD変換装置 101によりデジタル化された画像データが供給される画面並べ替えバッファ 102、この画面並べ替えバッファ 102から読み出された画像データが供給される加算器 103、イントラ予測装置 112及び動き予測補償装置 113、上記加算器 103の出力が供給される直交変換装置 104、この直交変換装置 104の出力が供給される量子化装置 105、この量子化装置 105の出力が供給される可逆符号化装置 106及び逆量子化装置 108、上記可逆符号化装置 106の出力が供給される蓄積バッファ 107、上記逆量子化装置 108の出力が供給される逆直交変換装置 109、この逆直交変換装置 109の出力が供給されるデブロックフィルタ 110、このデブロックフィルタ 110の出力が供給されるフレームメモリ 111、上記蓄積バッファ 107 の出力が供給されるレート制御装置 114等力もなる。

この画像情報符号化装置 100において、入力となる画像信号は、まず、 AZD変換装置 101においてデジタル信号に変換される。次に、出力となる画像圧縮情報 DPC の GOP(Group of Pictures)構造に応じ、画面並べ替えバッファ 102においてフレームの並べ替えが行われる。イントラ符号ィ匕が行われる画像に関しては、入力画像と、イントラ予測装置 112により生成される画素値の差分情報が直交変換装置 104に入力され、ここで離散コサイン変換、カルーネン 'レーべ変換等の直交変換が施される。直交変換装置 104の出力として得られる変換係数は、量子化装置 105において量子化処理が施される。量子化装置 105の出力として得られる量子化された変換係数は、可逆変換装置 106に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ 107に蓄積され、画像圧縮情報 DPCとして出力される。量子化装置 105の挙動はレート制御装置 114によって制御される。同時に、量子化装置 105の出力として得られる量子化された変換係数は、逆量子化装置 108に入力され、更に逆直交変換装置 109において逆直交変換処理が施されて、復号化画像情報となり、デブロックフィルタ 110においてブロック歪の除去が施された後、その情報はフレームメモリ 111に蓄積される。イントラ予測装置 112において、当該ブロック Zマクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化装置 106に伝送され、画像圧縮情報 DPCにおけるヘッダ情報の一部として符号化される。

インター符号ィ匕が行われる画像に関しては、まず、画像情報は動き予測補償装置 1 13に入力される。同時に参照となる画像情報がフレームメモリ 111より取り出され、動き予測補償処理を施され、参照画像情報が生成される。参照画像情報は加算器 10 3に送られ、ここで当該画像情報との差分信号へ変換される。動き予測補償装置 113 は、同時に動きベクトル情報を可逆符号ィ匕装置 106に出力し、その情報は可変長符号化、算術符号ィ匕といった可逆符号ィ匕処理が施され、画像圧縮情報 DPCのヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報 DPCと同様である。

図 2に、離散コサイン変換若しくはカルーネン 'レーべ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置 150の構成例のブロック図を示すこの画像情報復号ィ匕装置 150は、画像圧縮情報 DPCが供給される蓄積バッファ 1 15、この蓄積バッファ 115から読み出された画像圧縮情報 DPCが供給される可逆符号化装置 116、この可逆符号化装置 116の出力が供給される逆量子化装置 117、この逆量子化装置 117の出力が供給される逆直交変換装置 118、この逆直交変換装置 118の出力が供給される加算器 119、この加算器 119の出力がデブロックフィルタ 125を介して供給される画面並べ替えバッファ 120及びフレームメモリ 122、上記画面並べ替えバッファ 120の出力が DZ A変換装置 121、上記フレームメモリ 122の出力が供給される動き予測補償装置 123及びイントラ予測装置 124等力もなる。

この画像情報復号化装置 150において、入力となる画像圧縮情報 DPCは、まず、蓄積バッファ 115に格納された後、可逆復号ィ匕装置 116に転送される。ここで、定められた画像圧縮情報 DPCのフォーマットに基づき、可変長復号化、算術復号化等の処理が行われる。同時に、当該フレーム力 Sイントラ符号ィ匕されたものである場合、可逆復号化装置 116におヽては、画像圧縮情報 DPCのヘッダ部に格納されたイントラ予測モード情報をも復号化し、その情報をイントラ予測装置 124へ伝送する。当該フレーム力インター符号ィ匕されたものである場合、可逆復号ィ匕装置 116においては、画像圧縮情報 DPCのヘッダ部に格納された動きベクトル情報をも復号ィ匕し、その情報を動き予測補償装置 123へ転送する。

可逆復号ィ匕装置 116の出力として得られる量子化された変換係数は、逆量子化装置 117に入力され、ここで変換係数として出力される。変換係数は、逆直交変換装置 118において、定められた方式に基づき、 4次の逆直交変換が施される。当該フレーム力イントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、イントラ予測装置 124において生成された予測画像との合成が加算器 119において行われ、更に、デブロックフィルタ 125においてブロック歪の除去が施された後、画面並べ替えバッファ 120に格納され、 DZA変換装置 121により DZA変換処理されて出力信号 Soutとされる。

当該フレーム力インター符号ィ匕されたものである場合には、可逆復号化処理が施された動きベクトル情報、及びフレームメモリ 122に格納された画像情報を元に参照画像が生成され、この参照画像と、逆直交変換装置 118の出力とが、加算器 120において合成される。その他の処理はイントラ符号ィ匕されたフレームと同様である。

ところで、図 1に示した画像情報符号ィ匕装置において、高い圧縮効率を実現するために、動き予測補償装置 112が重要な役割を果たす。 AVC符号ィ匕方式においては、以下に述べる 3つの方式を導入することで、従来の MPEG2'4等の画像符号化方式と比較して高い圧縮効率を実現している。すなわち、第一の方式はマルチプルリフアレンスフレーム（Multiple Reference Frame)、第二の方式は、可変動き予測補償ブロックサイズ、第三の方式は、 FIRフィルタを用いた、 1Z4画素精度の動き補償である。

まず、 AVC符号化方式で規定されて、るマルチプルリファレンスフレームにつ、てベる。

AVCにおいては、図 3に示すとおり、あるフレームの画像 Forgに対し複数フレームの参照画像 Fre 持ち、それぞれの動き補償ブロック毎に、複数フレームの参照画像 Freのどれを用いるかを指定することが可能である。

これは、例えば、直前のフレームにおいては、ォクルージョン（occlusion)〖こより、参照すべきブロックが存在しない場合でも、過去に遡って参照を行うことで、符号化効率の低下を防ぐことが可能となる。すなわち、参照画で本来サーチして欲しい領域が前景によって隠れてしまった場合にも、違う参照画ではその画が隠れていない場合、そちらを参照すれば動き予測補償を行うことができる。

また、参照となる画像にフラッシュが存在した場合、このフレームを参照することにより符号ィ匕効率は著しく低下するが、この場合も、過去に遡って参照を行うことで、符号化効率の低下を防ぐことが可能となる。

次に、 AVC符号ィ匕方式で規定されている、可変ブロックサイズについて述べる。

AVC符号化方式においては、図 4A,図 4B,図 4C,図 4Dにマクロブロックパーテイシヨンを示すように、一つのマクロブロック MBは 16 X 16, 16 X 8, 8 X 16もしくは 8 X 8のいずれかの動き補償ブロックに分割し、それぞれの動き補償ブロックで独立に動きベクトル及び参照フレームを持つことが可能であり、更に、図 5A,図 5B,図 5C, 図 5Dにサブマクロブロックパーティションを示すように、 8 X 8動き補償ブロックに関しては、それぞれのパーティションを 8 X 8, 8 X 4, 4 X 8もしくは 4 X 4のいずれかのサブパーティションに分割することが可能である。各マクロブロック MBにおいて、それぞれの動き補償ブロックは、別個の動きベクトル情報を持つことが可能である。

次に、 AVC符号ィ匕方式で規定されている 1Z4画素精度の動き補償処理についてべる。

以下では、図 6を用いて、 1Z4画素精度の動き補償処理について説明する。 AVC符号ィ匕方式では、 1Z2画素精度の画素値を生成するため、次の式 1に示すようなフィルタ係数を有する 6タップの FIR(Finite Impulse Response)フィルタが定義されている。

{1, -5, 20, 20, -5, 1} (式 1)

図 6に示す画素値 b, hに対する動き補償 (補間）に関しては、式 1のフィルタ係数を用いて、まず式 2に示すように積和演算を行う。

b= (E— 5F+20G + 20H— 5H+J)

h= (A-5C + 20G + 20M-5R+T) (式 2)

その後式 3に示す処理を行う。

b = Clipl((b+16) >>5) (式 3)

ここで Cliplは（0, 255)間でのクリップ処理を示す。また。 >>5は、 5ビットシフトすなわち 2⁵の除算を示す。

また、画素値 jに関しては、 b, hと同様の手法で画素値 aa, bb, cc, dd, ee, ff, gg , hhを生成した後、式 4に示すように積和演算が施され、式 5に示すようなクリップ処理によって算出される。

る。

j = cc-5dd+20h+20m-5ee+ff

若しくは（式 4) j = aa-5bb + 20b + 20s-5gg+hh

j = Clipl ((j + 512) >> 10) (式 5)

画素値 a, c, d, n, f, i, k, qに関しては、次の式 6に示すように、整数画素精度の画素値と、 1Z2画素精度の画素値の線形内挿により求められる。 a=(G+b + l)>>l

c=(H+b + l)>>l

d=(G+h+l)>>l

n=(M+h+l)>>l

f=(b+j + l)>>l

i=(h+j + l)>>l (式 6)

k=(j+m+l)>>l

q=(j + s + l)>>l

また、画素値 e, g, pに関しては、次の式 7に示すように、 1Z2画素精度の画素値を用いた線形内挿により求められる。

e=(b + h+l)>>l

g=(b+m+l)>>l (式 7)

p=(h+s + l)>>l

ところで、図 1に示した画像情報符号ィ匕装置 100では、動きベクトルの探索に多くの演算量を要する。実時間動作する装置を構築するためには、画質劣化を最小限に抑えながら、動きベクトル探索に要する演算量を如何に削減するかが鍵となる。し力しながら、 AVC符号ィ匕方式では、先に述べたように、マルチプルリファレンスフレーム、可変動き予測補償ブロックサイズ、及び、 1Z4画素精度の動き補償が許されているため、候補参照フレームの数が増えてくると、動き予測補償におけるリファインメント（Refinement)処理でも重くなつてしまう。リファインメント（Refinement)処理では、階層サーチで荒くサーチした後、本来のスケールに戻して、階層サーチの結果得られたベクトルの周辺をサーチする。

さらに、画像符号ィ匕装置 (HZW化）を考えた場合には、マクロブロック内の全てのブロックサイズに対して参照フレーム毎に、動き探索処理を行うため、メモリーへのァクセスが頻繁になるため、場合によってはメモリー帯域をあげる必要が出てくる。発明の開示

発明が解決しょうとする課題

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、 AVC等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号ィ匕装置において、動きべ外ル探索の高速化や、メモリアクセスの低減を実現することにある。

本発明は、上述した課題を解決するために、複数フレームの参照画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数フレームの参照画像のどれを用いるかを指定して、階層探索に基づく動きべ外ルの探索を行う動き予測補償方法であって、上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大き、上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層ィ匕ステップと、上記階層ィ匕ステップにおヽて生成された縮小画像を用いて動きベクトルを探索する第 1の動き予測補償ステップと、上記第 1の動き予測補償ステップにおいて使用する縮小参照画像を縮小画像上で決定する参照画決定ステップと、縮小前の画像について、上記第 1の動き予測補償ステップで探索された動きベクトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測補償を行う第 2の動き予測補償ステップとを備えることを特徴とする。

また、本発明は、複数フレームの参照画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数フレームの参照画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償装置であって、上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大きい上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層化手段と、上記階層化手段により生成された縮小画像を用いて動きベクトルを探索する第 1の動き予測補償手段と、上記第 1の動き予測補償手段において使用する縮小参照画像を縮小画像上で決定する参照画決定手段と、縮小前の画像について、上記第 1の動き予測補償手段により探索された動きべ外ルにより指定される所定の検索範囲を用いて、動きべ外ルを探索して動き予測補償を行う第 2の動き予測補償手段とを備えることを特徴とする。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。図面の簡単な説明

[図 1]図 1は、離散コサイン変換若しくはカルーネン 'レーべ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置の構成を示すブロック図である

[図 2]図 2は、離散コサイン変換若しくはカルーネン 'レーべ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号化装置の構成を示すブロック図である

[図 3]図 3は、 AVC符号化方式で規定されているマルチプルリファレンスフレームの概念を示した図である。

[図 4]図 4A,図 4B,図 4C及び図 4Dは、 AVC符号化方式で規定されている、可変ブロックサイズに基づく動き補償処理におけるマクロブロックパーティションを示す図である。

[図 5]図 5A,図 5B,図 5C及び図 5Dは、 AVC符号化方式で規定されている、可変ブロックサイズに基づく動き補償処理におけるサブマクロブロックパーティションを示す図である。

[図 6]図 6は、 AVC符号ィ匕方式で規定されている、 1Z4画素精度の動き補償処理を説明するための図である。

[図 7]図 7は、本発明を適用した画像情報符号ィ匕装置の構成を示すブロック図である

[図 8]図 8は、上記画像情報符号化装置における間引き装置の動作原理を示した図である。

[図 9]図 9は、動き予測補償装置（1ZN²解像度）における碁の目サンプリングを説明するための図である。

[図 10]図 10は、上記画像情報符号化装置における縮小画と参照画の関係の一例を示した図である。

[図 11]図 11 A及び図 11Bは、上記画像情報符号化装置における複数の MB帯の区切り方の一例を示した図である。

[図 12]図 12は、上記画像情報符号ィ匕装置における画像処理の手順を示すフローチヤートである。

[図 13]図 13は、メモリアクセスの低減の様子を示した図である。

発明を実施するための最良の形態

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなぐ本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図 7に示すような構成の画像情報符号ィ匕装置 20に適用される。すなわち、図 7に示す画像情報符号ィ匕装置 20は、入力となる画像信号 Sinが供給される AZD変換装置 1、この AZD変換装置 1によりデジタル化された画像データが供給される画面並べ替えバッファ 2、この画面並べ替えバッファ 2から読み出された画像データが供給される加算器 3、イントラ予測装置 16及び動き予測補償装置 17、上記加算器 3の出力が供給される直交変換装置 4、この直交変換装置 4の出力が供給される量子化装置 5、この量子化装置 5の出力が供給される可逆符号化装置 6及び逆量子化装置 8、上記可逆符号化装置 6の出力が供給される蓄積バッファ 7、この蓄積バッファ 7の出力が供給されるレート制御装置 18、上記逆量子化装置 8の出力が供給される逆直交変換装置 9、この逆直交変換装置 9の出力が供給されるデブロックフィルタ 10、このデブロックフィルタ 110の出力が供給されるフレームメモリ（フル解像度） 11、上記フレームメモリ（フル解像度） 11の出力が供給される間引き装置 12、この間引き装置 12の出力が供給されるフレームメモリ（1ZN²解像度） 13、このフレームメモリ（1ZN²解像度） 13の出力が供給される動き予測補償装置 (フル解像度） 14 、この動き予測補償装置 (フル解像度） 14に接続された参照フレーム決定装置 15等を備えてなる。

この画像情報符号化装置 20において、入力となる画像信号 Sinは、まず、 AZD変換装置 101においてデジタル信号に変換される。次に、出力となる画像圧縮情報 D PCの GOP(Group of Pictures)構造に応じ、画面並べ替えバッファ 2においてフレームの並べ替えが行われる。イントラ符号ィ匕が行われる画像に関しては、入力画像と、イントラ予測装置 16により生成される画素値の差分情報が直交変換装置 4に入力され、ここで離散コサイン変換、カルーネン 'レーべ変換等の直交変換が施される。直交変換装置 4の出力として得られる変換係数は、量子化装置 5において量子化処理が施される。量子化装置 5の出力として得られる量子化された変換係数は、可逆変換装置 6に入力され、ここで可変長符号化、算術符号化等の可逆符号化が施された後、蓄積バッファ 7に蓄積され、画像圧縮情報 DPCとして出力される。量子化装置 5の挙動はレート制御装置 18によって制御される。同時に、量子化装置 5の出力として得られる量子化された変換係数は、逆量子化装置 8に入力され、更に逆直交変換装置 9において逆直交変換処理が施されて、復号化画像情報となり、デブロックフィルタ 10にお、てブロック歪の除去が施された後、その情報はフレームメモリ 11に蓄積される。イントラ予測装置 16において、当該ブロック Zマクロブロック〖こ対して適用されたイントラ予測モードに関する情報は、可逆符号化装置 6に伝送され、画像圧縮情報 DPCにおけるヘッダ情報の一部として符号ィ匕される。

インター符号ィ匕が行われる画像に関しては、まず、画像情報は動き予測補償装置 1 7に入力される。同時に参照となる画像情報がフレームメモリ 11より取り出され、動き予測補償処理を施され、参照画像情報が生成される。参照画像情報は加算器 3に送られ、ここで当該画像情報との差分信号へ変換される。動き予測補償装置 17は、同時に動きベクトル情報を可逆符号化装置 6に出力し、その情報は可変長符号化、算術符号化といった可逆符号化処理が施され、画像圧縮情報 DPCのヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報 DP Cと同様である。

そして、この画像情報符号化装置 20において、間引き装置 12では、図 8に示すように、フレームメモリ（フル解像度） 11に格納された画像情報を入力とし、これに、水平方向、垂直方向それぞれに対して、 1ZN間引き処理を行い、これにより生成された画素値を、フレームメモリ（1ZN²解像度） 13に格納する。

また、動き予測補償装置（1ZN²解像度） 14では、フレームメモリ（1ZN²解像度） 1 3に格納された画素値を用い、 8 X 8ブロック、若しくは 16 X 16ブロックの画素値を用いて、ブロックマッチングにより、当該ブロックに対する最適な動きベクトル情報の探索を行う。その際、全ての画素値を用いて予測エネルギーを計算するのではなぐ図 9に示すように、マクロブロック MBに対して、碁の目状に指定された画素 PXの画素値を用いて、計算を行う。

当該ピクチャをフィールド符号ィ匕する際には、図 8に示した間引き処理は、第一フィ一ルドと第二フィールドに分けて行う。

このように、縮小画像を用いて探索された動きべ外ル情報は、動き予測補償装置（フル解像度） 17へ入力される。例えば、 N= 2のとき、動き予測補償装置（1Z4解像度） 14において、探索の単位が 8 X 8ブロックであった場合には、一つのマクロブロック MBに対して、 1つの 16 X 16ブロック力探索の単位が 16 X 16ブロックであった場合には、四つのマクロブロック MBに対して 1つの 16 X 16ブロックが求まっていることになるが、動き予測補償装置 (フル解像度） 17においては、これらの 16 X 16動きべタトルを中心としたごく僅かの範囲を、図 4及び図 5において定義された全ての動きべタトル情報の探索を行う。このように、縮小画像上で求まった動きベクトル情報を元に、ごく僅かの探索範囲に対して動き予測補償を行うことで、画質劣化を最小限に抑えながら、演算量を大幅に削減することが可能である。

それぞれの動き補償ブロックに対する参照フレームの決定は、以下のように行われる。

すなわち、動き予測補償装置（1ZN²解像度） 14においては、候補となる全ての参照フレームに対する動きべ外ルの検出を行う。動き予測補償装置 (フル解像度） 17 において、それぞれの参照フレームに対して求められた動きベクトルのリファインメント（Refinement)処理を行った後、残差若しくはなんらかのコスト関数を最小にするような参照フレームを、当該動き補償ブロックに対する参照フレームとして選択する。リフアインメント（Refinement)処理では、階層サーチで荒くサーチした後、本来のスケールに戻して、階層サーチの結果得られた動きベクトルの周辺をサーチする。

ところで、 AVCでは先に述べたように、マルチプルリファレンスフレーム、可変動き予測補償ブロックサイズ、及び 1Z4画素精度の動き補償が許されているため、候補参照フレームの数が増えてくると、動き予測補償装置 (フル解像度） 17におけるリファインメント処理でも重くなつてしまう。

さらに、画像符号ィ匕装置 (HZW化）を考えた場合には、マクロブロック MB内の全てのブロックサイズに対して参照フレーム毎に、動き探索処理を行うため、メモリーへのアクセスが頻繁になるため、場合によってはメモリー帯域をあげる必要が出てくる。ここで、フィールドコーディングのときの具体的な例を図 10に示す。当該フィールドが Bピクチヤのボトムフィールドで、参照フィールドが前方側（ListO)、後方側（Listl) が共に 2フィールドの時、さらにフレームメモリ（1ZN²解像度） 13の縮小率 Nが 4のときの例である。 ListO, Listlは参照画像のインデックスのリストであって、前方側を参照する Pピクチャでは ListOと呼ばれるインデックスリストを用いて参照画像の指定が行われ、後方側を参照する Bピクチャでは Listlと呼ばれるインデックスリストを用いて参照画像の指定が行われる。

参照フィールドごとにブロックマッチングにより、最適な動きベクトルを動き予測補償装置（1ZN²解像度） 14で導出し、その動きベクトルを中心に動き予測補償装置 (フル解像度） 17において、全てのブロックサイズに対する refinement処理を行い、参照フィールドを List毎に決定したのでは、動き予測補償装置 (フル解像度） 17における Refinement処理が重くなつてしまうので、この画像情報符号化装置 20では、参照フレーム決定装置 15にお、て、図 11及び図 12に示すように参照フィールドを決定する。

図 10に示した縮小率（1Z4)では、図 11 (A)に示すように、動き予測補償装置（1 /16解像度) 57でのブロックマッチングの単位を 16 X 16にした場合、動き予測補償装置（フル解像度） 59では 4 X 4マクロブロック（16個分）への動きベクトルが同一に設定される。

この画像情報符号化装置 20では、図 11 (B)のように 16 X 16ブロックを 16 X 4の帯に分割し、動き予測補償装置（1Z16解像度） 14での 16 X 16ブロックマッチングの際に、 16 X 4の帯毎〖こ、エネルギー（SAD)を保持する。

つまり、図 11 (B)のように、帯の上からインデックス番号（Blkldx)を 0, 1, 2, 3とつけると、参照フィールドごとに、次の式 8で表すようなエネルギー（SAD)を得ることができる。

ListXに対して（X=0, 1)

SAD— ListX[refIdx] [Blkldx] (式 8)

(Blkldx =0〜 3) ここで、 SAD— ListX[refIdx] [Blkldx]は ListXの参照画像インデックス番号 refl dx毎に 16 X 16ブロックマッチングによって求められた最適な動きベクトルに対して Bl kldx毎に SADを格納したものを表す。参照画像インデックス番号 refldxは、規格上の任意に定義することができる参照画像を示すインデックスであって、通常は近ヽ方から小さい番号が割り振られる。同じ参照画像であっても、前方側の参照画像を示す ListOと、後方側の参照画像を示す Listlでは、異なる参照画像インデックス番号が付される。

さらに、各参照フィールドで 16 X 16ブロックマッチングにより、最適な動きベクトル MV— ListX [refldx] (MV— ListO[0]、 MV— ListO[l]、 MV— Listl [0]、 MV — Listl [1])を得ている。

ここで、参照フレーム決定装置 56では、次の式 9で表すように、各 Listの対応したィンデッタス番号 Blkldx毎に残差エネルギーの大小比較を行!、、エネルギーの小さヽ参照フィールドを 16 X 4単位での参照フィールドであると決定する。

ListXに対して（X=0, 1)

refldx [Blkldx]

= MIN (SAD_ListX[refIdx] [Blkldx]

(Blkldx =0〜 3)

(式 9) また、決められた参照画像インデックス番号 refldx毎に動きベクトル MV—ListX[r efldx]の切り替えも行う。

エネルギーが同値の場合には、参照画像インデックス番号 refldxの小さなフィールドを参照フィーノレドとする。

上記処理により Blkldx毎に参照フィールド (refldx— ListX[BlkIdx])および、動きベクトル (MV_ListX [Blkldx] )を得る。

ここで、比較に用いる指標値を M X Nのブロックマッチングの結果として得られる差分絶対値和（SAD)としたが、 M X Nのブロックマッチングの結果として得られる直交変換された差分絶対値和 (SATD)や差分 2乗和 (SSD)を用いてもょヽ。また、残差エネルギー力求められる SAD, SATDあるは SSDだけを指標値とするのではなぐ参照画像インデックス番号 refldxの値も任意の重み付け（λ 1)で SA D等に足し込んだ値を評価指標値としてもょヽ。

評価指標を Costとヽぅ名前で定義すると式 10のように表す。

Cost = SAD + λ Xrefldx (式 10)

さらに、評価指標には、動きベクトルの情報量を加えてもよい。

具体的には、式 11のように重み付け変数え 2を用いて評価指標生成式を定義する

Cost = SAD + λ Xrefldx + λ X MV (式 11)

1 2

すなわち、この画像情報符号化装置 20では、図 12のフローチャートに示す手順に従って、画像処理を行う。

すなわち、間引き装置 137によりフレームメモリ（フル解像度） 136に格納された画像情報を入力とし、これに、水平方向、垂直方向それぞれに対して、 1ZN間引き処理を行い、これにより生成された画素値を、フレームメモリ（1ZN²解像度） 139に格納する（ステップ Sl)。

ListX(X=0)とする（ステップ S 2)。

refldx=0とする（ステップ S3)。

動き予測補償装置（1ZN²解像度） 138により、フレームメモリ（1ZN²解像度） 139 に格納された画素値を用いて、ブロックマッチングにより、当該ブロックに対する最適な動きベクトル情報の探索を行う（ステップ S4)。

そして、ブロックマッチングの結果として得られる SADが最小値となるポイントで Blk Idx毎に SAD値を格納する（ステップ S 5)。

次に、 ListXの参照画像インデックス番号 refldx毎に 16 X 16ブロックマッチングによって求められた最適な動きベクトルに対して Blkldx毎に SADを格納したものを表す SAD_ListX [refldx] [Blkldx]を求める（ステップ S6)。

参照画像インデックス番号 refldxをインクリメントする（ステップ S 7)。

参照画像インデックス番号 refldxが最終値になったか否かを判定して (ステップ S8 )、その判定結果が NOである場合には上記ステップ S4に戻ってステップ S4〜ステツプ S8の処理を繰り返し行う。

上記ステップ S8における判定結果が YESになったら、 ListXで Blkldx毎に SAD が最小値となる参照画像インデックス番号 refldxを求める（ステップ S9)。

ListX (X= 1)とする（ステップ SI 0)。

そして、 Listlであるか否かを判定して (ステップ S 11)、その判定結果が YESである場合には上記ステップ S3に戻ってステップ S3〜ステップ S11の処理を繰り返し行い、また、上記ステップ S1における判定結果が NOである場合には、処理を終了する以上のようにして得られた List毎 .Blkldx毎に求められた参照画像インデックス番号 refldx及び動きベクトルの周りだけリファインメント処理を行うことで、リファインメント処理の演算量を削減し、 MEの高速ィ匕を図ることができる。

また、上記処理では、 4 X 1MBの帯で参照画像インデックス番号 refldxおよび動きベクトルが揃っているため、リファインメント処理において、動きベクトルを探索する領域をメモリアクセスする際に、当該マクロブロック MBの前に探索したメモリーを再利用し、図 13に示すように、リファインメントウィンドウ REW内の新たに必要な領域 ARnだけアクセスすることでメモリアクセスの低減も可能となる。

フィールドを例にあげて説明したが、これはフレームにも同様に適用できる。

さらに、 4 X 1MBの帯を例に上げたが、 M X Nのマクロブロック MBを縮小画でのブロックマッチングの単位とした場合に、 Μ Χ Ν' (Ν，は 1以上 Ν以下）や、 Μ， Χ Ν (Μ，は 1以上 Μ以下）の単位を Blkldxとする場合に適用可能である。

Claims

請求の範囲

[1] 1.複数フレームの参照画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数フレームの参照画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償方法であって、

上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大き!ヽ上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層ィ匕ステップと、

上記階層ィ匕ステップにお、て生成された縮小画像を用いて動きベクトルを探索する第 1の動き予測補償ステップと、

上記第 1の動き予測補償ステップにおいて使用する縮小参照画像を縮小画像上で決定する参照画決定ステップと、

縮小前の画像について、上記第 1の動き予測補償ステップで探索された動きべタトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測補償を行う第 2の動き予測補償ステップと

を備えることを特徴とする動き予測補償方法。

[2] 2.上記第 1の動き予測補償ステップでは、階層探索の単位を M X Nのマクロブロックとし、 Μ， Χ Ν' (Μ'は 1以上 M以下、 N'は 1以上 Ν以下）のブロックに分割し、 Μ Χ Ν のブロックマッチングの結果として得られる差分絶対値和（SAD)を M， X N'単位で保持することを特徴とする請求の範囲第 1項記載の動き予測補償方法。

[3] 3.上記第 1の動き予測補償ステップでは、階層探索の単位を M X Nのマクロブロックとし、 Μ， Χ Ν' (Μ'は 1以上 M以下、 N'は 1以上 Ν以下）のブロックに分割し、 Μ Χ Ν のブロックマッチングの結果として得られる直交変換された差分絶対値和（SATD)を

Μ' Χ Ν'単位で保持することを特徴とする請求の範囲第 1項記載の動き予測補償方法。

[4] 4.上記第 1の動き予測ネ ΐ償ステップでは、階層探索の単位を M X Νのマクロブロックとし、 Μ， Χ Ν' (Μ'は 1以上 M以下、 N'は 1以上 Ν以下）のブロックに分割し、 Μ Χ Ν のブロックマッチングの結果として得られる差分 2乗和（SSD)を Μ， X Ν，単位で保持することを特徴とする請求の範囲第 1項記載の動き予測補償方法。

[5] 5.上記参照画決定ステップでは、参照画像ごとに M' X N'の単位で大小比較を行い参照画像と動きベクトルを切り替えることを特徴とする請求の範囲第 2項乃至第 4項のいずれか 1項に記載の動き予測補償方法。

[6] 6.上記参照画決定ステップでは、分割したブロックの評価指標値が各参照画像で同値となった場合に、参照画像インデックス番号 (refldx)が小さいほうを採用することを特徴とする請求の範囲第 5項記載の動き予測補償方法。

[7] 7.上記参照画決定ステップでは、ブロックマッチングの結果力も算出される評価指標値とともに、参照画像インデックス番号 (refldx)の大きさを任意の重み付けで足し込んだ値を評価指標とすることを特徴とする請求の範囲第 2項乃至第 4項のいずれ力 1項に記載の動き予測補償方法。

[8] 8.上記参照画決定ステップでは、 Bピクチャの場合に、各 Listで決定された参照画像インデックス番号 (refldx)を元に、両方向予測の評価指標算出を行い、階層画像上で前方予測、後方予測、両方向予測の判定を行うことを特徴とする請求の範囲第

1項記載の動き予測補償方法。

[9] 9.複数フレームの参照画像を持ち、連続するフレーム画像のうち処理対象の対象フレーム画像を分割してなるそれぞれの動き補償ブロック毎に、複数フレームの参照画像のどれを用いるかを指定して、階層探索に基づく動きベクトルの探索を行う動き予測補償装置であって、

上記動き補償ブロックの画素サイズのうち、最上位層とすべき最も大き!ヽ上記画素サイズでなる上記動き補償ブロックの画素を間引くことにより、所定の縮小率でなる下位層の縮小画像を生成する階層化手段と、

上記階層化手段により生成された縮小画像を用いて動きベクトルを探索する第 1の動き予測補償手段と、

上記第 1の動き予測補償手段において使用する縮小参照画像を縮小画像上で決定する参照画決定手段と、

縮小前の画像について、上記第 1の動き予測補償手段により探索された動きべタトルにより指定される所定の検索範囲を用いて、動きベクトルを探索して動き予測補償を行う第 2の動き予測補償手段と

を備えることを特徴とする動き予測補償装置。

[10] 10.第 1の動き予測補償手段は、階層探索の単位を M X Nのマクロブロックとし、 M，

X N，（M，は 1以上 M以下、 N，は 1以上 N以下）のブロックに分割し、 M X Nのブロックマッチングの結果として得られる差分絶対値和（SAD)を M， X N'単位で保持することを特徴とする請求の範囲第 9項記載の動き予測補償装置。

[11] 11.上記第 1の動き予測補償手段は、階層探索の単位を M X Nのマクロブロックとし、 Μ' Χ Ν' (Μ'は 1以上 M以下、 N'は 1以上 Ν以下）のブロックに分割し、 Μ Χ Νのブロックマッチングの結果として得られる直交変換された差分絶対値和（SATD)を

Μ' Χ Ν'単位で保持することを特徴とする請求の範囲第 9項記載の動き予測補償装置。

[12] 12.上記第 1の動き予測補償手段は、階層探索の単位を M X Νのマクロブロックとし、 Μ' Χ Ν' (Μ'は 1以上 M以下、 N'は 1以上 Ν以下）のブロックに分割し、 Μ Χ Νのブロックマッチングの結果として得られる差分 2乗和（SSD)を Μ' X N'単位で保持することを特徴とする請求の範囲第 9項記載の動き予測補償装置。

[13] 13.上記参照画決定手段は、参照画像ごとに M' X N'の単位で大小比較を行い参照画像と動きベクトルを切り替えることを特徴とする請求の範囲第 9項乃至第 12項のいずれか 1項に記載の動き予測補償装置。

[14] 14.上記参照画決定手段は、分割したブロックの評価指標値が各参照画画像で同値となった場合に、参照画像インデックス番号 (refldx)が小さいほうを採用することを特徴とする請求の範囲第 13項記載の動き予測補償装置。

[15] 15.上記参照画決定手段は、ブロックマッチングの結果力算出される評価指標値とともに、参照画像インデックス番号 (refldx)の大きさを任意の重み付けで足し込んだ値を評価指標とすることを特徴とする請求の範囲第 9項乃至第 12項のいずれか 1 項に記載の動き予測補償装置。

[16] 16.上記参照画決定手段は、 Bピクチャの場合に、各 Listで決定された参照画像ィンデッタス番号 (refldx)を元に、両方向予測の評価指標算出を行い、階層画像上で前方予測、後方予測、両方向予測の判定を行うことを特徴とする請求の範囲第 9項記載の動き予測補償装置。