WO2005104564A1 - 動き補償装置 - Google Patents

Abstract

　回路規模の増加を抑えつつ、参照画素データを格納したマルチフレームメモリとのデータ転送量を削減し、効率的に動き補償画素を生成する動き補償装置を提供する。動き補償装置（１００）は、動きベクトルからどの位置の補償画素を生成するかを判定する動き補償位置判定部（１０１）、６タップフィルタを実行するために必要な画素を判定する必要画素判定部（１０２）、転送するデータの取り出し順序などを制御するデータ転送制御部（１０３）、１／２小数精度画素データを格納するための中間画素格納メモリ（１０５）、所定の方向に連続的なフィルタ演算を実行し、１／２小数精度画素データを生成する高次タップフィルタ部（１０６）、および動き補償画素位置に基づいて線形補間を行い、１／２小数精度画素未満の動き補償精度の画素データを生成し出力する線形補間演算部（１０７）を備える。                                                                                 

Description

明 細 書

動き補償装置

技術分野

[0001] 本発明は、ピクチャ間で小数画素精度の動き補償予測を行う動き補償装置に関し

、特に高次タップのフィルタを用いて動き補償画像生成する動き補償装置に関する。 背景技術

[0002] 近年、マルチメディアアプリケーションの発展に伴い、画像 ·音声'テキストなど、あら ゆるメディアの情報を統一的に扱うことが一般的になってきた。この時、全てのメディ ァをディジタルィ匕することにより、統一的にメディアを扱うことが可能になる。しかしな がら、ディジタル化された画像は膨大なデータ量を持っため、蓄積'伝送のためには 、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用す るためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、 I TU-T (国際電気通信連合 電気通信標準化部門）の H. 621、 H. 263, ISO/IE C (国際標準化機構 国際電気標準会議）の MPEG (Moving Picture Experts G roup)— 1、 MPEG— 2、 MPEG— 4など、また ITU—Tと MPEGの合同である JVT([oi nt Video Team)により現在標準化中の H.264(MPEG_4AVC)がある。

[0003] 一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することに よって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測 符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および 予測画像の作成を行い、得られた予測画像と符号化対象ピクチヤとの差分値に対し て符号化を行う。ここで、ピクチャとは 1枚の画面を表す用語であり、プログレッシブ画 像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味す る。ここで、インタレース画像とは、 1つのフレームが時刻の異なる 2つのフィールドか ら構成される画像である。インタレース画像の符号化や復号化処理においては、 1つ のフレームをフレームのまま処理したり、 2つのフィールドとして処理したり、フレーム 内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができ る。 [0004] 参照画像を持たず画面内予測符号ィ匕を行うものを Iピクチャと呼ぶ。また、 1枚の参 照画像のみを参照し画面間予測符号化を行うものを Pピクチヤと呼ぶ。また、同時に 2枚の参照画像を参照して画面間予測符号ィ匕を行うことのできるものを Bピクチヤと呼 ぶ。 Bピクチャは表示時間が前方もしくは後方から任意の組み合わせとして 2枚のピク チヤを参照することが可能である。参照画像 (参照ピクチャ）は符号化の基本単位で あるマクロブロックごとに指定することができる力 符号ィ匕を行ったビットストリーム中に 先に記述される方の参照ピクチャを第 1参照ピクチャ、後に記述される方を第 2参照 ピクチャとして区別する。ただし、これらのピクチャを符号ィ匕する場合の条件として、参 照するピクチャが既に符号化されている必要がある。

[0005] Pピクチャ又は Bピクチャの符号ィ匕には、動き補償画面間予測符号化が用いられて いる。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符 号化方式である。動き補償とは、単純に参照ピクチヤの画素値から予測するのではな ぐピクチャ内の各部の動き量 (以下、これを動きベクトルと呼ぶ）を検出し、当該動き 量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方 式である。例えば、符号化対象ピクチヤの動きベクトルを検出し、その動きベクトルの 分だけシフトした予測値と符号ィ匕対象ピクチヤとの予測残差を符号化することにより データ量を減している。この方式の場合には、復号ィ匕の際に動きベクトルの情報が必 要になるため、動きベクトルも符号化されて記録又は伝送される。

[0006] 動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピク チヤ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲 内で移動させ、符号ィ匕対象ブロックと最も似通った参照ブロックの位置を見つけるこ とにより、動きベクトルが検出される。

[0007] 図 1は従来の画面間予測符号化装置の構成を示すブロック図である。

この画面間予測符号化装置は、動き検出部 401、マルチフレームメモリ 402、減算 部 403、減算部 404、動き補償部 405、符号化部 406、加算部 407、動きベクトルメ モリ 408、および動きベクトル予測部 409を備えてレ、る。

[0008] 動き検出部 401は、マルチフレームメモリ 402から出力される動き検出参照画素

MEpelと画面信号 Vinとを比較し、動きベクトル MVと参照ピクチャ番号 Ref oを出力す る。参照ピクチャ番号 RefNoは、複数の参照画像の中から選択された、対象画像で参 照する参照画像を特定する識別信号である。動きベクトル MVは、動きベクトルメモリ 4 08に一時的に記憶されたのち近傍動きベクトル PrevMVとして動きベクトル予測部 40 9へ出力される。動きベクトル予測部 409は、入力された近傍動きベクトル PrevMVを 参照して予測動きベクトル PredMVを予測する。減算部 404は動きベクトル MVから予 測動きベクトル PredMVを減算し、その差を動きベクトル予測差分 DifMVとして出力す る。

[0009] 一方、マルチフレームメモリ 402は、参照ピクチャ番号 RefNoおよび動きベクトル MV で示される画素を動き補償参照画素 MCpel lとして出力する。動き補償部 405は、小 数画素精度の参照画素を生成し、参照画面画素 MCpel2として出力する。減算部 40 3は、画面信号 Vinから参照画面画素 MCpel2を減算し、画面予測誤差 DifPelを出力 する。

[0010] 符号化部 406は、画面予測誤差 DifPelと動きベクトル予測差分 DifMVと参照ピクチ ャ番号 RefNoを可変長符号化し、符号化信号 Strを出力する。なお、符号化時に画面 予測誤差の復号化結果である復号画面予測誤差 RecDifPelも同時に出力する。復号 画面予測誤差 RecDifPelは、画面予測誤差 DifPelに符号ィヒ誤差が重畳されたもので あり、画面間予測復号ィ匕装置で符号ィ匕信号 Strを復号化して得られる画面間予測誤 差と一致する。

[0011] 加算部 407は、参照画面画素 MCpel2に復号画面予測誤差 RecDifPelを加算し、復 号画面 RecPelとしてマルチフレームメモリ 402に記憶される。但し、マルチフレームメ モリ 402の容量を有効に利用するため、マルチフレームメモリ 402に記憶されている 画面の領域は不要な場合は開放され、またマルチフレームメモリ 402に記憶する必 要が無い画面の復号画面 RecPelはマルチフレームメモリ 402に記憶されなレ、。なお、 符号化の処理は 16 X 16画素のマクロブロックと呼ばれる単位で行われ、動き補償の ブロックのサイズとしては、 H. 264では、 4 X 4、 4 X 8、 8 X 4、 8 X 8、 8 X 16、 16 X 8 、 16 X 16の 7通りの動き補償のブロックサイズの中からマクロブロック単位で適切な ブロックサイズを選択して符号化に使用する。

[0012] 図 2は従来の画面間予測復号ィ匕装置の構成を示すブロック図である。なお、同図 において、図 1に示す画面間予測符号ィ匕装置と同様の部分については同じ符号を 付し、その説明を省略する。

[0013] 図 2に示す従来の画面間予測復号化装置は、図 1に示す従来の画面間予測符号 化装置で符号化された符号化信号 Strを復号化して復号画面信号 Voutを出力する 装置であり、マノレチフレームメモリ 402、動き補償部 405、加算部 407、加算部 501、 動きベクトルメモリ 408、動きベクトル予測部 409、および復号ィ匕部 502を備えている

[0014] 復号化部 502は、符号化信号 Strを復号化し、復号画面予測誤差 R_ecDifPel、動き ベクトノレ予測差分 DifMV、および参照ピクチャ番号 Ref oを出力する。加算部 501は 、動きべクトノレ予測部 409から出力される予測動きベクトル PredMVと動きべクトノレ予 測差分 DifMVをカ卩算し、動きベクトル MVを復号する。

[0015] マルチフレームメモリ 402は、参照ピクチャ番号 RefNoおよび動きベクトル MVで示さ れる画素を動き補償参照画素 MCpellとして出力する。動き補償部 405は、小数画素 精度の参照画素を生成し、参照画面画素 MCpel2として出力する。加算部 407は、参 照画面画素 MCpel2に復号画面予測誤差 RecDifPelを加算し、復号画面 RecPelとして マルチフレームメモリ 402へ記憶する。但し、マルチフレームメモリ 402の容量を有効 に利用するため、マルチフレームメモリ 402に記憶されている画面の領域は不要な場 合は開放され、またマルチフレームメモリ 402に記憶する必要が無い画面の復号画 面 RecPelはマルチフレームメモリ 402に記憶されなレ、。以上のようにして、復号画面 信号 Vout、すなわち復号画面 RecPelを符号ィ匕信号 Strから正しく復号化することがで きる。

[0016] ところで、 H. 264規格では 1Z4画素までの単位で動き補償を行うことが許可され ている (MPEG-4 Simple Profileでは lZ2画素まで)。この際、 H. 264規格ではその線 形フィルタ画素補間の方法として 6タップフィルタが採用されており、 1Z2精度画素を 周辺の 6画素力ら求めることが決められている。この 6タップフィルタによる画素補間 の方法について、図 3を用いて説明する。

[0017] 図 3は H. 264における輝度成分の画素補間方法を説明するための概略図である 。画素 F00、 F01、 F02、 F03、 F04、 F05、 F10、 Fl l、 F12、 F13、 F14、 F15、 F 20、 F21、 F22、 F23、 F24、 F25、 F30、 F31、 F32、 F33、 F34、 F35、 F40、 F41 、 F42、 F43、 F44、 F45、 F50、 F51、 F52、 F53、 F54、及び F55は整数画素位置 の画素であり、斜線をつけた四角形で表している。ここで、 A、 B、 C、 D、 E、 F、 G、 H 、 I、 J、 K、 L、 M、 N、 P、 Q、 R、 S、 T、及び Uは、それぞれの位置及びその画素値を 表している。また、小数画素位置の画素に関しては、白抜きの四角で表している。画 素 aa、 bb、 cc、 dd、 ee、 ff、 gg、及び hhは 6タップフィルタの係数を乗算したビットシ フト前の中間計算画素値及びその位置を示している。 a、 b、 c、 d、 e、 f、 g、 h、 i、 j、 k 、 m、 n、 p、 q、 r、及び sは各小数画素位置における 6タップフィルタと線形補間を行つ た画素値及びその位置を表している。以下、 a、 b、 c、 d、 e、 f、 g、 h、 i、 j、 k、 n、 p、 q、 及び rの各小数画素位置の画素値計算方法を説明する。ここで、 bl、 hl、 sl、 mlは それぞれ b、 h、 s、 mの画素値を求めるための 6タップフィルタ係数を乗算したビットシ フト前の中間計算画素値を表す。

[0018] 1/2精度画素 bの画素値を計算する場合、水平方向の周辺の整数精度画素 E、 F 、 G、 H、 I、 Jの 6画素を用いて式 1で表す 6タップフィルタを実行することで中間計算 画素値 blを求める。次に、式 2で表すビットシフトにより整数精度の四捨五入付きの 割り算処理と、画素レベルを有効範囲に収めるためのまるめ処理を行い、水平方向 に 1/2精度画素移動した位置 bの画素値が求められる。

bl = (E-5 X F + 20 X G + 20 X H-5 X I+J)

b = Clip ( (bl + 16) > > 5) …（2)

[0019] ここで、 Clip関数は丸め処理を表しており、 0以下の値は 0に補正し、 255以上の値 は 255に補正することで出力結果が 0から 255の値に制限する関数である。以下、 C1 ip関数の処理は簡単に丸め処理と記載する。

[0020] また、 1Z2精度画素 hの画素値を計算する場合、垂直方向の周辺の整数精度画 素 A、 C、 G、 M、 R、 Tの 6画素を用いて式 3で表す 6タップフィルタを実行することで 同様に中間計算画素値 hiを求め、次に式 4で表すビットシフトと丸め処理を行い垂 直方向に移動した 1/2精度の画素位置 hの画素値が求められる。

hi = (A-5 X C + 20 X G + 20 X M-5 X R+T) … ）

h=Clip ( (hl + 16) > > 5) …（4) [0021] また、 1Z2精度画素 jの画素値を計算する場合は、中間計算画素値 blと同様に計 算した中間計算画素値 sl、 aa、 bb、 gg、 hhの 6画素を用いて式 5で表すタップフィノレ タを実行する、または中間計算画素値 hiと同様に計算した ml、 cc、 dd、 ee、 ffの 6 画素を用いて式 6で表す 6タップフィルタを実行することで中間計算画素値 jlを求め る。次に、式 7で表すビットシフトと丸め処理を行い水平 ·垂直それぞれの方向に移動 した 1Z2精度の画素位置の画素値 jが求められる。ここで、画素値 jの値を少しでもま るめ誤差をなくすよう、中間計算画素値 jlの途中計算ではビットシフト前の中間計算 画素値 ml、 sl、 aa、 bb、 cc、 dd、 ee、 ff、 gg、 hhを用いて算出する。

jl = cc-5Xdd + 20Xhl + 20Xml-5Xee + ff …（5)

jl = aa-5Xbb + 20Xbl + 20Xsl-5Xgg+hh …（6)

j = Clip((jl + 512) >>10) ---(7)

[0022] また、 1/2精度画素 s、 mの画素値はそれぞれ 1/2精度画素 b、 hと同様に式 8、 式 9のビットシフトと丸め処理で求めることができる。

s = Clip((sl + 16) >>5) ---(8)

m=Clip((ml + 16) >>5) …（9)

[0023] 最後に、整数精度画素 G、 H、 M、 N、式 2、式 4、式 7、式 8、及び式 9から小数点以 下四捨五入を行った画素値を計算することで、 1/4精度画素 a、 c、 d、 n、 f、 i、 k、 q、 e、 g、 p、及び rの値を計算する（式 10—式 21)。

a=(G + b + l) >>1 …（： 10)

c=(H + b + l) >>1 …（： 11)

d=(G + h+l) >>1 -(12)

n=(M + h+l) >>1 …（： 13)

f=(b+j + l) >>l -(14)

i=(h+j + l) >>l …（： 15)

k=(j+m+l) >>l -(16)

q=(j + s + l) >>l -(17)

e=(b + h+l) >>1 -(18)

g=(b + m+l) >>1 ー（19) p= (h + s + l) > > 1 - - - (20)

r= (m + s + l) > > 1 - - - (21)

[0025] 図 4は、以上の動き補償画素生成を行う動き補償部 405を、従来技術で構成した場 合の構成を示す回路図である。動き補償部 405は、図 1の画面間予測符号化装置及 び図 2の画面間予測復号化装置で説明したものと同一のものであり、動き補償部 40 5には、マルチフレームメモリ 402から動き補償参照画素 MCpellが入力される。また 、マノレチフレームメモリ 402は、図 1の画面間予測符号化装置及び図 2の画面間予測 復号ィ匕装置で説明したものと同じものであるので説明を省略する。

[0026] 動き補償部 405は、遅延回路 501と、高次タップフィルタ部 502、信号選択及びカロ 算を行うセレクタ加算器 517、およびビットシフト 518を備えている。

[0027] 遅延回路 501は、マルチフレームメモリ 402から得られる動き補償参照画素 MCpel を取得し、タイミングを遅延させながら画素データの保持及び出力を行う。高次タップ フイノレタ部 502は、遅延回路 501からの出力画素データを受け取り 6タップフィルタ、 ビットシフト及び丸め処理を行レ、、その結果を出力する。セレクタ加算器 517は、遅延 回路 501および高次タップフィルタ部 502から入力された画素値を動き補償画素位 置に従って選択し、必要であれば加算を行い出力する。ビットシフト 518は、セレクタ 加算器 517からの出力結果を動き補償画素位置に従って必要であればビットシフト し、必要がなければそのままの値を参照画面画素 MCpel2として出力する。

[0028] 遅延回路 501は、横 6画素を同時に取得し 6段の遅延を行う。遅延回路 501の構成 バッファにおいて、ノ ッファ BA、 ノ ッファ BB、 ノ ッファ BC、 ノ ッファ BD、 ノ ッファ BE 、 ノ ッファ BF、バッファ BG、バッファ BH、バッファ BI、バッファ BJ、バッファ BK：、バッ ファ BL、 ノ ッファ BM、 ノ ッファ BN、 ノ ッファ BP、 ノ ッファ BQ、 ノ ッファ BR、 ノ ッファ BS、バッファ BT、及びバッファ BUは、それぞれ図 3の画素補間方法の概略図に示 す整数画素位置 A、 B、 C、 D、 E、 F、 G、 H、 I、 J、 K、レ M、 N、 P、 Q、 R、 S、 T、及 び Uの画素データが蓄えられる。

[0029] 高次タップフィルタ部 502は、複数の 6タップフイノレタ 503— 511と、小数点以下の 四捨五入と丸め処理を併せて行うための複数のビットシフト 512— 516を備えている 。 6タップフィルタ 503、 6タップフィルタ 504、 6タップフイノレタ 505、 6タップフィルタ 50 6、 6タップフイノレタ 507、 6タップフイノレタ 508、 6タップフィノレタ 509、及び 6タップフィ ルタ 510は、遅延回路 501からの出力信号を受け取り、係数の乗算と加算を行い、そ れぞれ中間計算画素値 Saa、 Sbb、 Sbl、 Ssl、 Sgg、 Shh、 Sml、 Shiを出力する。 この時、中間計算画素値 Sbl、 Shiはそれぞれ式 1、式 3の計算による値になってお り、その他の中間計算画素値 Saa、 Sbb、 Ssl、 Sgg、 Shh、及び Smlの値も式 1、式 3同様の 6タップフィルタの出力値であり、図 3の画素補間方法の概略図に示す aa、 b b、 sl、 gg、 hh、及び mlに相当する。

[0030] 6タップフィルタ 511は、水平方向の 6タップフィルタ結果の出力値 Saa、 Sbb、 Sbl 、 Ssl、 Sgg、 Shh、 Sml、 Shiを入力とし、 Sj lを式 6で示した垂直方向の 6タップフ ィルタ結果として出力する。ビットシフト 512、ビットシフト 513、ビットシフト 514、ビット シフト 515、及びビットシフト 516は、それぞれ、 Ssl、 Sj l , Sbl、 Sml、及び Shiを 入力とし、それぞれ式 8、式 7、式 2、式 9、及び式 4で示した小数点以下四捨五入を 行うビットシフトと丸め処理を行レ、、それぞれ Ss、 Sj、 Sb、 Sm、及び Shとして出力す る。

[0031] セレクタカロ算器 517とビットシフト 518は、遅延回路 501からのバッファ値である SN 、 SM、 SH,及び SGと、高次タップフイノレタ咅 B502力らの出カイ直である Sb、 Ss、 Sm、 Sh、及び Sjとを入力とし、動き補償画素位置に従って、必要であれば式 10から式 21 の四捨五入付き平均値計算を行い、小数精度の動き補償画素 MCpel2を出力する

[0032] 以上のような構成及び一連の動作を行うことで、動き補償参照画素 MCpellから 1 Z4画素精度の動き補償画像を生成し、小数精度の動き補償画像 MCpel2として出 力し、復号画面信号 Vout、すなわち復号画面 RecPelを符号化信号 Strから正しく復号 化して出力することができる（例えば、非特許文献 1参照）。

非特霄午文献 1： Draft ITU—T Recomendation and Final Standard of Jo int Video Specification" 8. 4. 2. 2, Joint Video Team (JVT) of ISO /IEC MPEG & ITU—T VCEG, JVT— G050rl , 27 May 2003 発明の開示

発明が解決しょうとする課題 [0033] し力 ながら、 H. 264規格の輝度信号について、上記のように従来技術で動き補 償部を構成した場合、 1画素あたりの動き補償画素生成のために、マルチフレームメ モリ 402から参照画素データを読み出すためのバスバンド幅が大きくなつてしまうとい う課題がある。

[0034] つまり、例えば前述の図 4で示した H. 264規格の動き補償では、水平'垂直で半 画素ずつずれた場所の画素を求めるには周辺の 36画素が必要となっているため、 6 画素のデータ転送を 5サイクル繰り返した後、 1サイクルにっき 1画素分の補償画素 が出力されるようになる。 1ブロック単位では、上記処理をブロックの列の回数だけ繰 り返し 6タップフィルタをかける。従って、 H. 264規格でとり得る最大のブロック形状で ある 16 X 16ブロックを 1つ処理する場合と、最小のブロック形状である 4 X 4ブロック を 16個処理する場合の各転送画素数は、それぞれ次の式 22と式 23のように計算す ること力 Sできる。

(16 + 5) X 16 X 6画素幅 X 1ブロック = 2, 016 …（22)

(4 + 5) X 4 X 6画素幅 X 16ブロック = 3, 456 …（23)

[0035] 一方、高次タップのフィルタを用いない水平 2画素 ·垂直 2画素の線形補間程度で 生成する動き補償画像の場合は、 16 X 16のブロックサイズ及び 4 X 4のブロックサイ ズの各転送画素数は、次の式 24及び式 25のように計算することができる。

(16 + 1) X 16 X 2画素幅 X 1ブロック = 544 …（24)

(4 + 1) X 4 X 2画素幅 X 16ブロック = 640 …（25)

[0036] 従って、式 22—式 25より、 H. 264規格では、マルチフレームメモリ 402から 1マクロ ブロック（MB)あたりに参照画像としての転送される画素転送数は、 2画素間の線形 補間で生成する場合と比べ、 3. 7倍から 5. 4倍となることがわかる。

[0037] そこで、本発明は上記のような問題を解決するためになされたものであり、回路規 模の増加を抑えつつ、参照画素データを格納したマルチフレームメモリとのデータ転 送量を削減し、効率的に動き補償画素を生成する動き補償装置を提供することを目 的とする。

課題を解決するための手段

[0038] 上記目的を達成するため、本発明に係る動き補償装置は、動画像を構成するピク チヤ間で小数画素精度の動き補償予測を行う動き補償装置であって、転送されるブ ロック単位の参照画素データに対して、所定の方向に連続的なフィルタ演算を実行 し、動き補償予測を行うための 1/2小数精度画素データを生成する高次タップフィ ルタ手段と、前記高次タップフィルタ手段により生成された 1/2小数精度画素データ を格納するための中間出力画素記憶手段とを備え、前記高次タップフィルタ手段は、 前記中間出力画素記憶手段から入力された 1/2小数精度画素データに対して、前 記所定の方向と直交する方向に連続的なフィルタ演算を実行し、 1Z2小数精度画 素データを生成することを特徴とする。

[0039] これによつて、高次タップのフィルタ処理において、水平方向もしくは垂直方向にま とめて 1/2小数精度画素生成フィルタ演算をし、 1回目のフィルタ結果を中間出力 画素として専用の中間出力画素記憶手段に記憶しておき、 1回目の方向と直交する 方向の 1/2小数精度画素生成のフィルタ演算で中間出力画素を利用することで、 例えば参照画素データを格納したマルチフレームメモリから動き補償装置へ転送す る参照画素データのデータ量を減少させることができ、効率的に動き補償予測を行う ことが可能である。

[0040] また、前記動き補償装置は、さらに、前記参照画素データの転送を制御するデータ 転送制御手段と、前記データ転送制御手段の制御に基づいて、前記参照画素デー タまたは前記中間出力画素記憶手段から入力された 1/2小数精度画素データのい ずれかを選択し、選択したデータを前記高次タップフィルタ手段へ出力する第 1の画 素選択手段とを備えてもょレ、。

[0041] ここで、前記データ転送制御手段は、処理対象ブロックの水平方向画素数と垂直 方向画素数とを比較し、小さい値となる並びの方向に前記処理対象ブロックの参照 画素データを前記高次タップフィルタ手段へ転送してもよい。

[0042] これによつて、中間出力画素記憶手段で必要な画素容量を削減し、 2回目の方向 のフィルタ処理の転送画素数も減少させることができるので、さらに効率的に動き補 償予測を行うことができると共に、実装する面積を削減することが可能である。

[0043] また、前記データ転送制御手段は、処理対象ブロックを所定数のサブブロックに分 割し、前記サブブロック単位に前記処理対象ブロックの参照画素データを前記高次 タップフィルタ手段へ転送してもよレ、。

[0044] これによつて、中間出力画素記憶部で必要な容量を削減することができるので、さ らに実装面積を削減することが可能である。

[0045] また、前記動き補償装置は、さらに、動き補償画素位置に基づいて、前記高次タツ プフィルタ手段の処理で必要とする画素領域を判定する必要画素判定手段を備え、 前記データ転送制御手段は、前記必要画素判定手段で必要と判定された画素領域 の参照画素データのみを前記高次タップフィルタ手段へ転送してもよい。

[0046] これによつて、フィルタ演算で使用する領域かどうかを小数精度の動き補償位置か ら判断し、フィルタ演算実行時に、選択的にデータ転送を行うことで無駄な転送を削 減することができるので、さらに効率的な動き補償予測を行うことが可能である。

[0047] また、前記高次タップフィルタ手段は、前記参照画素データに対して、所定の方向 に連続的なフィルタ演算を処理対象ブロックの段数分実行し、 1/2小数精度画素デ ータを生成する第 1の高次タップフィルタ部と、前記参照画素データまたは前記中間 出力画素記憶手段から入力された 1/2小数精度画素データに対して、前記第 1の 高次タップフィルタ部での演算処理方向と直交する方向に連続的なフィルタ演算を 処理対象ブロックの段数分実行し、 1/2小数精度画素データを生成する第 2の高次 タップフィルタ部とを備えてもょレ、。

[0048] ここで、前記第 2の高次タップフィルタ部は、前記 1/2小数精度画素データが有す るビット精度に対応することが好ましい。

[0049] これによつて、高次タップフィルタの資源を複数実装する場合に、選択的にビット精 度の高いフィルタを割り当てることができるので、実装面積を削減することが可能であ る。例えば、第 1の高次タップフィルタ部が、整数精度画素データが有するビット精度 までに対応し、第 2の高次タップフィルタ部が、 1Z2小数精度画素データが有するビ ット精度に対応する演算資源を実装するというように、第 1の高次タップフィルタ部に ビット精度の高いフィルタを割り当てる必要が無くなるので、実装面積を削減すること が可能である。

[0050] また、前記中間出力画素記憶手段は、前記第 1の高次タップフィルタ部により生成 された 1/2小数精度画素データと併せて、前記参照画素データも格納するとともに 、データの読み出しと書き込みの処理を同時に実行し、前記第 2の高次タップフィノレ タ部は、前記中間出力画素記憶手段から入力された前記参照画素データおよび前 記 1Z2小数精度画素データに対して、フィルタ演算を実行し、前記第 1の高次タップ フィルタ部の動作と前記第 2の高次タップフィルタ部の動作をパイプライン式に実行し てもよい。

[0051] これによつて、中間出力画素記憶手段の容量を増やすことで、参照画素データの 転送を 1回目のフィルタ方向の時だけとすることで画素転送量を削減し、また中間出 力画素記憶手段をバンク動作させるようにすることで 2回目のフィルタ方向の動作を 1 回目のフィルタを行っている処理対象ブロックのデータと世代の異なるブロックにつ レ、て独立にフィルタ処理を実行することができるようになるため、さらに効率的な動き 補償予測を行うことが可能となる。

[0052] なお、本発明は、このような動き補償装置として実現することができるだけでなぐこ のような動き補償装置が備える特徴的な手段をステップとする動き補償方法として実 現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。そして、そのようなプログラムは、 CD— ROM等の記録媒体やインター ネット等の伝送媒体を介して配信することができるのは言うまでもない。 発明の効果

[0053] 以上の説明力も明らかなように、本発明に係る動き補償装置によれば、回路規模の 増加を抑えつつ、参照画素データを格納したマルチフレームメモリとのデータ転送量 を削減し、効率的に動き補償画素を生成することができる。

図面の簡単な説明

[0054] [図 1]従来の画面間予測符号化装置の構成を示すブロック図である。

[図 2]従来の画面間予測復号化装置の構成を示すブロック図である。

[図 3]H. 264における輝度成分の画素補間方法を説明するための概略図である。

[図 4]従来の動き補償部の構成を示す回路図である。

[図 5]本発明の実施の形態 1に係る動き補償装置 (動き補償部)の概略構成を示すブ ロック図である。

[図 6]本発明の実施の形態 1に係る動き補償装置の構成を詳細に示すブロック図で ある。

[図 7]6タップフィルタをかける整数精度画素の並びを示す図である。

[図 8]データ転送制御部でデータ転送を制御する動作の流れを示すフローチャート である。

[図 9] (a)動き補償画像生成を行うブロックの一例を示す図、（b)中間画素格納メモリ に格納される垂直方向に 1/2ずらせた小数精度画素を示す図、（c) 2回目のフィノレ タ処理 (水平方向）で転送を必要とする画素を示す図、（d)中間画素格納メモリに格 納された垂直方向に 1/2ずらせた小数精度画素に対する 2回目のフィルタ処理 (水 平方向）を示す図である。

園 10] (a)中間画素格納メモリに格納される水平方向に 1/2ずらせた小数精度画素 を示す図、（b) 2回目のフィルタ処理（垂直方向）で転送を必要とする画素を示す図、 (c)中間画素格納メモリに格納された水平方向に 1/2ずらせた小数精度画素に対 する 2回目のフィルタ処理（垂直方向）を示す図である。

[図 11] (a)動き補償画像生成を行うブロック単位を示した図、（b)ブロックの分割を示 す図、（c)分割領域にフィルタ処理に必要な周辺画素をつけた状態の転送領域を示 す図である。

園 12]動き補償画像生成を行うブロックの一例を示す図である。

園 13]分割領域毎にフィルタ処理に必要な周辺画素を示す図である。

[図 14]データ転送制御部でデータ転送を制御する動作の流れを示すフローチャート である。

園 15]本発明の実施の形態 4に係る動き補償装置 (動き補償部）の構成を示すブロッ ク図である。

園 16] (a)動き補償画像生成を行う複数のブロックを示した図、（b)各ブロック毎の水 平および垂直方向のフィルタ処理のタイミングを示す図である。

園 17]各実施の形態の動き補償装置、この動き補償装置を用いた画面間予測符号 化装置、または画面間予測復号ィヒ装置をコンピュータシステムにより実現するための プログラムを格納するための記録媒体についての説明図であり、 (a)記録媒体本体で あるフレキシブルディスクの物理フォーマットの例を示した説明図、（b)フレキシブル ディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、 (c)フレキシブルディスク FDに上記プログラムの記録再生を行うための構成を示した 説明図である。

[図 18]コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示す ブロック図である。

園 19]携帯電話の一例を示す図である。

園 20]携帯電話の内部構成を示すブロック図である。

園 21]ディジタル放送用システムの全体構成を示すブロック図である。

符号の説明

100 動き補償装置 (動き補償部)

101 動き補償位置判定部

102 必要画素判定部

103 データ転送制御部

104 画素選択部

105 中間画素格納メモリ

106 高次タップフィルタ部

107 線形補間演算部

201、 202 遅延回路

402 マルチフレームメモリ

503、 511、 6タップフイノレタ

205、 512、 513、 514、 518 ビク

517 セレクタ加算器

MCpell マルチフレームメモリ出力画素信号

MCpel2 小数精度動き補償画素信号

MCpel3 中間画素格納メモリ出力画素信号

SselAdd セレクタ加算器出力信号

SdatCtr データ転送制御信号

SpxJJdg 必要画素判定信号 SmcPos 動き補償位置判定信号

Smlhl ビットシフト前小数精度画素信号

Smh 小数精度画素信号

Sal ビットシフト前小数精度画素信号

Sbl ビットシフト前小数精度画素信号

Sj l ビットシフト前小数精度画素信号

Ss 小数精度画素信号

Sj 小数精度画素信号

Sb 小数精度画素信号

SMN 整数精度画素信号

SGH 整数精度画素信号

発明を実施するための最良の形態

[0056] 以下、本発明の各実施の形態について、それぞれ図面を参照しながら説明する。

[0057] (実施の形態 1)

図 5は本発明の実施の形態 1に係る動き補償装置 (動き補償部）の概略構成を示す ブロック図であり、図 6はこの動き補償装置の構成を詳細に示すブロック図である。な お、図 4に示す従来の動き補償部と同様の部分については同じ符号を付し、その説 明を省略する。また、動き補償装置は、図 1に示す画面間予測符号化装置または図 2に示す画面間予測複号化装置の動き補償部として用いられるものとする。

[0058] 動き補償装置 100は、小数画素精度の動き補償画素を生成するための装置であり 、動き補償位置判定部 101、必要画素判定部 102、データ転送制御部 103、画素選 択部 104、中間画素格納メモリ 105、高次タップフィルタ部 106、および線形補間演 算部 107を備えている。この動き補償装置 100には、マルチフレームメモリ 402から 動き補償参照画素（参照画素データ） MCpellが入力される。

[0059] 高次タップフィルタ部 106は、実装バッファを従来の 6段 X 6画素から 6段 X I画素と した遅延回路 201および遅延回路 202、 6タップフイノレタ 503、 6タップフイノレタ 511、 ビットシフト 512、ビットシフト 513、ビットシフト 514、およびビットシフト 205を備えてレヽ る。また、第 2の画素選択手段および線形補間演算手段である線形補間演算部 107 は、セレクタ加算器 206およびビットシフト 518を備えている。

[0060] 動き補償位置判定部 101は、動きベクトルから図 3における画素 G、 a、 b、 c、 d、 e、 f、 g、 h、 i、 j、 k、 n、 p、 q、及び rのどの位置の補償画素を生成するかを判定し、動き 補償位置信号 SmcPosを出力する。動き補償位置信号 SmcPosは、セレクタ加算器 206、ビットシフト 518に入力され、 1/4精度画素生成に必要な画素の選択とビット シフトの実行制御に用いられる。

[0061] 必要画素判定部 102は、入力された動き補償位置信号 SmcPosに基づいて、マク ロブロック (MB)パーティションの形状やその分割形状及び 6タップフィルタのフィノレ タ方向順序から 6タップフィルタを実行するために必要な画素を判定し、必要画素情 報 Spxljdgを出力する。

[0062] データ転送制御部 103は、入力された必要画素情報 SpxUdgにより、転送するデ ータの取り出し順序などを制御するためのデータ転送制御信号 SdatCtrを出力する 。データ転送制御信号 SdatCtrは、マルチフレームメモリ 402、中間画素格納メモリ 1 05及び画素選択部 104に入力され、フィルタ演算処理の制御に用いられる。

[0063] 中間画素格納メモリ 105は、例えば水平方向優先のフィルタ処理を行う場合、図 3 の画素 aa、 bb、 b、 s、 gg、 hhなどの水平方向の 1/2精度画素位置のデータに関し て処理ブロック単位分すベてを格納するためのメモリであり、ー且格納した中間画素 データはビットシフト演算前の 1/2精度画素データ MCpel3として出力する。

[0064] 画素選択部 104は、マルチフレームメモリ 402から出力された参照画素データ MC pellか中間画素格納メモリ 105から出力された 1/2精度画素データ MCpe かを 選択する。

[0065] ビットシフト 205は、 6タップフィルタ 503の出力信号 Smlhlを入力とし、ビットシフト した結果として画素 mもしくは画素 hの位置の信号 Smhを出力する。ビットシフト 512 は、遅延回路 202の 3段目の遅延データ Sslを入力とし、ビットシフトした結果として 画素 sの位置の信号 Ssを出力する。ビットシフト 513は、 6タップフィルタ 511の出力 信号 Sj lを入力とし、ビットシフトした結果として画素 jの位置の信号 Sjを出力する。ビ ットシフト 514は、遅延回路 202の 4段目の遅延データ Sblを入力とし、ビットシフトし た結果として画素 bの位置の Sb信号を出力する。 [0066] セレクタカロ算器 206は、ビットシフト 205力らの出力信号 Smhと、ビットシフト 512力 らの出力信号 Ssと、ビットシフト 513からの出力信号 Sjと、ビットシフト 514からの出力 信号 Sbと、遅延回路 201の 3段目の遅延データである画素 Mもしくは画素 Nの位置 の出力信号 SMNと、遅延回路 201の 4段目の遅延データである画素 Gもしくは画素 Hの位置の出力信号 SGHと、を入力とし、動き補償位置信号 SmcPos信号に従って 、信号選択を行い、必要であれば力卩算を行って信号 SSelAddとして出力する。

[0067] ビットシフト 518は、信号 SSelAddを入力とし、動き補償位置信号 SmcPos信号に 従って、必要であればビットシフトを行って動き補償画素 MCpel2として出力する。

[0068] 次に図 7を用いて、必要画素判定部 102の詳細な動作説明を行う。

図 7は 6タップフィルタをかける整数精度画素の並びを示す図である。図 7において 、四角で示す整数精度画素 IntSmpは、動きべ外ルが示す動き補償位置の整数精 度の画素である。また、丸印で示す 6タップ付加画素 IntSmp6Tは、整数精度画素 I ntSmpの周辺に位置する 6タップフィルタをかけるために必要な画素である。

[0069] 区間 Tintwidthは、整数精度画素の水平方向の区間を表しており、動き補償を実 行する対象ブロックのブロック形状によって異なり、 16、 8及び 4の値をとり得る。区間 T6twidthは、 6タップフィルタに必要な周辺画素まで含めた水平方向の区間を表し ており、対象ブロックのブロック形状によって、 21、 13及び 9の値をとり得る。

[0070] 区間 Tintheightは、整数精度画素の垂直方向の区間を表しており、動き補償を実 行する対象ブロックのブロック形状によって異なり、 16、 8及び 4の値をとり得る。区間 T6theightは、 6タップフィルタに必要な周辺画素まで含めた画素の垂直方向の区 間を表しており、対象ブロックのブロック形状によって、 21、 13及び 9の値をとり得る。

[0071] 領域 Aabcは、水平方向の区間が T6twidthであり垂直方向の区間が Tintheight である領域の整数精度画素の領域を表している。領域 Adhnは、水平方向の区間が Tintwidthであり垂直方向の区間が T6theightである領域の整数精度画素の領域 を表している。領域 AGは、水平方向の区間が Tintwidthであり垂直方向の区間が T intheightである領域の整数精度画素の領域を表している。

[0072] 例えば、図 3で示した a、 b及び cの小数精度画素位置の動き補償画像を生成する 場合、垂直方向のフィルタ処理が不要であるので、垂直方向のフィルタのみで使用 する領域は処理する必要がない。従ってこの場合、必要画素判定部 102は、領域 A abcで示した領域が必要であると判断する。また、同様に d、 h及び nの小数精度画素 位置の動き補償画像を生成する場合、水平方向のフィルタ処理が不要であるので、 水平方向のフィルタのみで使用する領域は処理する必要がなレ、。従ってこの場合、 必要画素判定部 102は、領域 Adhnで示した領域が必要であると判断する。さらに、 Gの位置の場合は、小数精度画素の生成が不要であるので、必要画素判定部 102 は、領域 AGが必要であると判断する。

[0073] 次に図 8を用いて、データ転送制御部 103の詳細な動作説明を行う。

図 8は、データ転送制御部 103でデータ転送を制御する動作の流れを示すフロー チャートである。

[0074] まず、データ転送制御部 103は、動き補償画像生成位置が図 3で示した画素 G、 a 、 b、 c、 d、 e、 f、 g、 h、 i、 j、 k、 n、 p、 q、及び rの中の画素 Gの位置であるか否かを判 定する (ステップ S 101)。この判定の結果、動き補償画像生成位置が画素 Gの位置 の場合 (ステップ S101で YES)には、小数精度画像フィルタを実行せずに終了する

[0075] 一方、動き補償画像生成位置が画素 G以外 (ステップ S101で NO)であれば、画素 d、 h、または nのいずれかの位置にあるか否かを判定する（ステップ S102)。この判 定の結果、動き補償画像生成位置が画素 d、 h、または nのいずれの位置でもない場 合 (ステップ S102で N〇）には、水平方向に 1/2画素をずらせた画像を生成するた めの 6タップフィルタを実行する（ステップ S103)。さらに、動き補償画像生成位置が 画素 a、 b、または cのいずれかの位置にあるか否かを判定する（ステップ S104)。この 判定の結果、動き補償画像生成位置が画素 a、 b、または cのいずれの位置でもない 場合 (ステップ S104で N〇）、および上記判定処理 (ステップ S102)で動き補償画像 生成位置が画素 d、 h、または nのいずれかの位置の場合（ステップ S102で YES)に は、垂直方向に 1Z2画素をずらせた画像を生成するための 6タップフィルタを実行 する（ステップ S 105)。

[0076] 動き補償画像生成位置が画素 b、 h、または jのいずれかの位置にあるか否かを判 定する (ステップ S106)。この判定の結果、動き補償画像生成位置が画素 b、 h、また は jのいずれの位置でもない場合（ステップ S106で NO)、すなわち画素 G、 b、 h、ま たは jのいずれの位置でもない場合には、 1/4精度画素の線形補間フィルタを実行 する（ステップ S 107)。

[0077] 一方、動き補償画像生成位置が画素 b、 h、または jのいずれかの位置である場合（ ステップ S106で YES)には、 1/4精度画素の線形補間フィルタを実行せずに終了 する。

[0078] 以上の手順をデータ転送制御部 103で制御することによって、動き補償部 100を 制御し、動き補償画像 MCpel2を出力する。なお、動き補償画像生成位置が画素 d、 h、または nのいずれかの位置にあるか否かの判定処理 (ステップ S102)および水平 方向のフィルタ処理 (ステップ S103)と、動き補償画像生成位置が画素 a、 b、または c のいずれかの位置にあるか否かを判定処理 (ステップ S104)および垂直方向のフィ ルタ処理（ステップ S105)との制御を入れ替えることで、垂直フィルタを先にかけ水平 フィルタを後にかけることも可能である。

[0079] 以下、画素信号の流れに沿って、水平方向に M画素、垂直方向に N画素のブロッ ク形状の領域に対するフィルタ処理動作に関して詳細な説明を続ける。ここでは、水 平方向と垂直方向の両方向のフィルタ演算が必要な図 3に示す画素 e、 f、 g、 i、 j、 k、 p、 q、及び rの小数精度画素位置の動き補償画像生成動作について説明し、簡単の ため水平方向のフィルタを最初に実施する場合を例として説明するが、垂直方向を 最初に実施することも可能である。

[0080] まず、データ転送制御部 103は、マルチフレームメモリ 402から 1画素ずつ水平方 向に画素データを読み出し、遅延回路 201に入力する。遅延回路 201は 6段の FIF 〇の構成をとつており、 6タップフィルタに必要な周辺画素まで含めた図 7に示す水平 方向の区間 T6twidthの 1行分のデータが続いて入力される。遅延回路 201の 6画 素分の遅延データは、 6タップフィルタ 503に入力され、 6画素目の入力以降 6タップ フィルタ結果が 1サイクル毎に出力される。

[0081] 6タップフィルタ 503から出力された 6タップフィルタ結果は、中間画素格納メモリ 10 5及びビットシフト 205に入力される。遅延回路 201および 6タップフィルタ 503が 1セ ットの場合は M + 5サイクルで 1行分のフィルタ処理を行うことができ、フィルタに必要 な周辺画素部分を含め N + 5行分の処理を繰り返す。その結果、中間画素格納メモ リ 105に水平方向に 1/2ずらせた小数画素精度のデータ（bの位置）として格納され る。

[0082] 次に、データ転送制御部 103は、垂直方向に 1Z2ずらせた小数精度画素 (hの位 置）を生成するために、マルチフレームメモリ 402から 1画素ずつ垂直方向に画素デ ータを読み出し、遅延回路 201に入力する。水平方向と同様に、 6画素目の入力以 降、 1サイクル毎に 6タップフィルタ結果を出力する。遅延回路 201および 6タップフィ ルタ 503力 セットの場合は N + 5サイクルで 1列分のフィルタ処理を行うことができ、 フィルタに必要な周辺画素部分を含め M + 5行分の処理を繰り返し、ビットシフト 205 に出力する。

[0083] このとき同時に、データ転送制御部 103は、水平垂直共に 1/2ずらせた小数精度 画素 (jの位置）を生成するために、中間画素格納メモリ 105から 1画素ずつ垂直方向 に画素データを読み出し、画素選択部 104を介して遅延回路 202に入力する。遅延 回路 202の 6画素分の遅延データは、 6タップフィルタ 511に入力され、 6画素目の入 力以降 1サイクル毎に 6タップフィルタ結果が出力される。

[0084] 次に、セレクタ加算器 206は、動き補償画素位置に応じて、式 10から式 21に示し た計算で必要な処理を行い、データ SSelAddとして出力する。データ SSelAddが入 力されたビットシフト 518は、必要であればビットシフトを行レ、、動き補償画像 MCPel 2を出力する。ここで、セレクタ加算器 206およびビットシフト 518は、 G、 b、 h、及び j の位置では、加算とビットシフトの処理が必要ないためその処理は行わない。

[0085] なお、遅延回路 202と 6タップフィノレタ 511は、水平方向のフィルタ処理でも利用す ること力 Sでき、その場合は、画素選択部 104において中間画素格納メモリ 105から入 力されたデータではなぐマルチフレームメモリ 402から入力されたデータを選択しフ ィルタ処理を行い、 6タップフイノレタ 511の出力結果を中間画素格納メモリ 105に入 力することで実現する。この場合、水平方向のフィルタ処理サイクルは遅延回路 201 と 6タップフィルタ 503の 1組を用いている場合と較べ、約 1Z2にまで削減可能である

[0086] また、遅延回路 201と 6タップフィルタ 503、または遅延回路 202と 6タップフィルタ 5 11において、処理資源の並列化を行うことも可能であり、その場合、マルチフレーム メモリ 402と動き補償部 100の間の転送能力を並列化した 6タップフィルタの処理能 力以上に設定する。ここで、転送能力と処理能力が等しくなるようにすれば最適な構 成を得ることができる。

[0087] 従って、上記手順で動き補償画像の生成を行った時、最大のブロック形状である 1 6 X 16を 1ブロック転送する場合と、最小のブロック形状である 4 X 4を 16ブロック転 送する場合の各転送画素数は、次式で表される。

( (16 + 5) X (16 + 5) X I画素幅 +

16 X (16 + 5) X I画素幅） X 1ブロック = 777 …（26) ( ( 4 + 5) X ( 4 + 5) X I画素幅 +

4 X ( 4 + 5) X I画素幅） X 16ブロック = 1 , 872 …（27)

[0088] 従って、式 22、式 23、式 26、及び式 27より、従来の転送量に較べて 16 X 16ブロッ ク形状では、 1/2. 6に、 4 X 4ブロック形状では、 1/1 · 8に抑えることを実現する。

[0089] 以上のように、遅延回路 201および遅延回路 202を設け、 6タップフィルタ 503から 出力された 6タップフィルタ結果を中間画素格納メモリに格納した後、遅延回路 202 へ入力してフィルタを行っているので、マルチフレームメモリ 402から動き補償装置 1 00への画素転送量を削減することができる。

[0090] (実施の形態 2)

本実施の形態では、実施の形態 1で説明した方法に加えて、 6タップフィルタの演 算を水平方向または垂直方向のどちらを最初に実行するかを判定した上で、データ 転送を行う場合について説明する。なお、本実施の形態の構成は、実施の形態 1と 同様であるので、図 6に示したブロック図を用いて説明する。

[0091] 実施の形態 1で説明した方法と異なる点は、データ転送制御部 103における制御 方法に関するのみである。ここでは、そのデータ転送制御及び動作処理に関しての み詳細に説明する。

[0092] 6タップフィルタの演算は、水平垂直、垂直水平のどちらの順序でも同じ結果が得ら れる。この垂直.水平のフィルタ順序の制御方法について、図 9一図 11を用いて説明 する。 [0093] 図 9は、動き補償画像生成を行うブロックの一例を示す図である。ここでは、ブロック 形状は、図 9 (a)に示すように水平方向 Mが 8画素、垂直方向 Nが 4画素となる大きさ であり、 6タップフィルタのフィルタ処理に必要な周辺画素が 5 ( =T— 1 )画素分付加さ れている。また、図 9において、対象ブロックの画素は白抜きの四角で、 6タップフィノレ タに必要な周辺画素は斜線をつけた四角形で、小数精度画素は丸印で表している。

[0094] 図 9 (a)に示すブロックに対して、最初に垂直方向のフィルタを実行すると、図 9 (b) に示すような垂直方向に 1Z2ずらせた小数精度画素が中間画素格納メモリ 105に 格納される。また、 2回目のフィルタ処理 (水平方向）を実行する時には、マルチフレ ームメモリ 402から動き補償部 100に転送を必要とする画素は、図 9 (c)に示すように 上 2行下 3行の周辺画素を除いた画素となる。また、水平垂直共に 1/2ずらせた小 数精度画素を生成するために、図 9 (d)に示すように中間画素格納メモリ 105に格納 された垂直方向に 1/2ずらせた小数精度画素を読み出し、 2回目のフィルタ処理（ 水平方向）を実行する。

[0095] このように、最初に垂直方向のフィルタを実行する場合、中間画素格納メモリ 105が 必要とする画素容量または 2回目の方向のフィルタ処理での画素転送量は、次式で 表される。

(8 + 5) X 4 = 52 - - - (28)

[0096] 一方、図 9 (a)に示すブロックに対して、最初に水平方向のフィルタを実行すると、 図 10 (a)に示すような水平方向に 1/2ずらせた小数精度画素が中間画素格納メモ リ 105に格納される。また、 2回目のフィルタ処理 (垂直方向）を実行する時には、マ ルチフレームメモリ 402から動き補償部 100に転送を必要とする画素は、図 10 (b)に 示すように右 2列左 3列の周辺画素を除いた画素となる。また、水平垂直共に 1Z2ず らせた小数精度画素を生成するために、図 10 (c)に示すように中間画素格納メモリ 1 05に格納された水平方向に 1Z2ずらせた小数精度画素を読み出し、 2回目のフィ ルタ処理 (垂直方向）を実行する。

[0097] このように、最初に水平方向のフィルタを実行する場合、中間画素格納メモリ 105が 必要とする画素容量または 2回目の方向のフィルタ処理での画素転送量は、次式で 表される。 8 X (4 + 5) = 72 - - - (29)

[0098] 以上、水平方向 Mが 8画素、垂直方向 Nが 4画素となる大きさのブロックを例に説明 したが、次に、一般的に水平方向が M、垂直方向が Nの画素数となる大きさのブロッ クの場合について説明する。

[0099] 図 11は、動き補償画像生成を行うブロック単位を示した図である。図 11 (a)は、動 き補償画像生成を行うブロックを示しており、図 7を簡略的に図示したものである。図 11 (a)において、水平方向が M、垂直方向が Nの画素数となる大きさのブロック形状 であり、フィルタのタップ数を Tとした時のフィルタに用いる周辺画素が T 1分付加さ れていることを示している。

[0100] この場合、画素としては（M + T-1) X (N + T-1)の領域のメモリ転送が必要である 。また、この時に図 5に示す中間画素格納メモリ 105が必要とする画素容量は、水平 方向のフィルタを最初に実行する場合は M X (N + T— 1)、垂直方向のフィルタを最 初に実行する場合は (M+T— 1) X Nの画素容量が必要となる。

[0101] また、続く別方向のフィルタ処理を実行する時にマルチフレームメモリ 402から動き 補償部 100に転送を必要とする画素数に関しても同様に、水平方向のフィルタ処理 を最初に実行する場合は M X (N + T— 1)、垂直方向のフィルタ処理を最初に実行 する場合は（M + T— 1) X Nの画素転送量となる。

[0102] 従って、水平方向のフィルタ処理を最初に実行する場合と垂直方向のフィルタ処理 を最初に実行する場合とにおける、中間画素格納メモリ 105が必要とする画素容量 の差分値、または 2回目の方向のフィルタ処理での画素転送量の差分値は、次式で 表される。

I M X (N + T— 1)_ (M+T— 1) X N |

= I (M-N) (T-l) I - - - (30)

[0103] 従って、データ転送制御部 103は、水平方向の画素数 Mと垂直方向の画素数 Nと を比較し、 M< Nのブロック形状になっていれば、水平方向のフィルタ処理を先に行 レ、次に垂直方向のフィルタ処理を行レ、、 M >Nのブロック形状になってレ、れば垂直 方向のフィルタ処理を先に行い次に水平方向のフィルタ処理を行うように制御する。 これにより、 I (M N) (T 1) Iの中間画素格納メモリ 105の容量削減及び 2回目の 方向のフィルタ処理での画素転送量の削減が可能となる。

[0104] なお、 H. 264規格では、 T=6と決められており、 Μ及び Νは 16， 8, 4の値である 。また、 Η. 264規格において 16X8のブロック形状に分割された 1MB (マクロブロッ ク)分の動き補償画像生成を行う場合、水平方向から 6タップフィルタを実施した場合 は式 31、垂直方向から 6タップフィルタを実施した場合は式 32に示す処理サイクノレ が必要となり、水平方向からフィルタ処理を実行するときと較べて、（962— 882)Ζ96 2 = 8%の転送量削減が実現できる。

[0105] ((16 + 5) X (8 + 5) XI画素幅 +

16 X (8 + 5) XI画素幅） X 2ブロック = 962 ---(31)

((16 + 5) X (8 + 5) XI画素幅 +

(16 + 5) X 8 XI画素幅） X 2ブロック = 882 …（32)

[0106] 同様に 8 X 4のブロック形状に分割された 1MB (マクロブロック）分の動き補償画像 生成を行う場合、上記のように水平方向から 6タップフィルタを実施した場合は式 33、 垂直方向から 6タップフィルタを実施した場合は式 34に示す処理サイクルが必要とな り、 平方向力らフイノレタ処理を実行するときと較べて、（1, 512-1, 352)/1, 352 = 11%の転送量削減が実現できる。

[0107] ((8 + 5) X (4 + 5) XI画素幅 +

8 X (4 + 5) XI画素幅） Χ8ブロック =1， 512 …（33)

((8 + 5) X (4 + 5) XI画素幅 +

(8 + 5) X 4 XI画素幅） Χ8ブロック =1， 352 …（34)

[0108] 以上のように、データ転送制御部 103は、対象ブロックの水平方向の画素数 Μと垂 直方向の画素数 Νとを比較して、 6タップフィルタの演算を水平方向または垂直方向 のどちらを最初に実行するかを判定した上で、データ転送を行っているので、中間画 素格納メモリ 105の実装容量を削減しつつ、マルチフレームメモリ 402から動き補償 装置 100へのデータ転送量を削減することができる。

[0109] (実施の形態 3)

本実施の形態では、実施の形態 1で説明した方法において、対象ブロックを分割し てフィルタ処理を行う場合について説明する。なお、本実施の形態の構成は、実施の 形態 1と同様であるので、図 6に示したブロック図を用レ、て説明する。

[0110] 実施の形態 1で説明した方法と異なる点は、データ転送制御部 103における制御 方法に関するのみである。ここでは、そのデータ転送制御及び動作処理に関しての み詳細に説明する。

[0111] 6タップフィルタの実行は必ずしも指定されているブロック形状で行う必要がなぐ分 割処理しても同じ結果が得られる。この分割したフィルタ制御方法について、図 11一 図 14を用いて説明する。

[0112] 図 12は、動き補償画像生成を行うブロックの一例を示す図である。ここでは、ブロッ ク形状は、水平方向 Mが 16画素、垂直方向 Nが 16画素となる大きさであり、 6タップ フィルタのフィルタ処理に必要な周辺画素が 5 (=T— 1)画素分付加されている。また 、図 12において、対象ブロックの画素は白抜きの四角で、 6タップフィルタに必要な 周辺画素は斜線をつけた四角形で、小数精度画素は丸印で表している。

[0113] 図 12に示すブロックを、水平方向に 2分割、垂直方向に 4分割して処理する場合、 分割された水平方向 M/mが 8画素、垂直方向 N/n力 画素のブロックは、図 13に 示すようにそれぞれについて、 6タップフィルタのフィルタ処理に必要な周辺画素が 付加されてマルチフレームメモリ 402から動き補償装置 100へ転送されることになる。

[0114] このように分割処理を行って、最初に垂直方向のフィルタを実行する場合、中間画 素格納メモリ 105が必要とする画素容量は、上記実施の形態 2と同様に次式で表さ れる。

(8 + 5) X 4 = 52 - - - (35)

[0115] 例えば、分割処理を行わずにフィルタを実行する場合、中間画素格納メモリ 105が 必要とする画素容量は、次式で表される。

(16 + 5) X 16 = 336 …（36)

[0116] 以上、水平方向 Mが 16画素、垂直方向 Nが 16画素となる大きさのブロックを水平 方向に 2分割、垂直方向に 4分割して処理する場合を例に説明したが、次に、一般 的に水平方向が M、垂直方向が Nの画素数となる大きさのブロックを水平方向に m 分割、垂直方向に n分割して処理する場合について説明する。

[0117] 図 11 (b)は、図 11 (a)の動き補償画像生成処理を行うブロックに関して水平方向を m個に分割し (MZmは自然数）、垂直方向を n個に分割（NZnは自然数)すること を示している。図 11 (c)は、分割領域にフィルタ処理に必要な周辺画素をつけた状 態の転送領域を表してレヽる。

[0118] データ転送制御部 103は、図 11 (b)に図示した m X n個に分割した分割処理プロ ックに対して、動き補償画像生成処理を m X n回繰り返して処理を行うように制御する 。上記処理方法により、中間画素格納メモリ 105の最低限必要な容量は、

MIN (M X (N+T-1) , (M + T-1) X N)

から、

MIN (M/m X (N/n+T-1) , (M/m+T— 1) X N/n)

に削減することが可能となる。ここで、 MIN (A, B)は、 Aか Bのどちらか小さい方の値 を返す関数を表している。

[0119] 図 14は、データ転送制御部 103でデータ転送を制御する動作の流れを示すフロ 一チャートである。

[0120] まず、データ転送制御部 103は、 M/mと N/nとを比較し、 M/mが N/nより大き いか否かを判定する（ステップ S201)。ここで、 M/mの方が N/nよりも大きな値とな つている場合（ステップ S201で YES)には、 N方向に 6タップフィルタ処理を実行し（ ステップ S202)、次に M方向に 6タップフィルタ処理を実行する（ステップ S203)。

[0121] 一方、上記判定で M/mの方が N/nよりも大きな値となっていない場合 (ステップ S201で N〇）には、 M方向に 6タップフィルタ処理を実行し（ステップ S204)、次に N 方向に 6タップフィルタ処理を実行する（ステップ S205)。

[0122] 次に、それぞれ M方向と N方向のフィルタ処理を実行した後に、 1Z4画素精度の 線形補間フィルタ処理を実行する（ステップ S 206)。

[0123] 以上の処理を m X n回のループで処理を行い、対象ブロックの動き補償画像全体 の生成を行う。

[0124] なお、 H. 264規格では、 T=6であり、 Μ及び Νは 16， 8， 4の値となる。従って m、 nは 2， 4， 8, 16などの値をとり得る。

[0125] 以上のように、データ転送制御部 103は、対象ブロックを分割してフィルタ処理を行 うように、データ転送を行っているので、中間画素格納メモリ 105の実装容量を削減 しつつ、マルチフレームメモリ 402から動き補償装置 100へのデータ転送量を削減す ること力 Sできる。

[0126] (実施の形態 4)

本実施の形態では、中間画素データに加えて整数画素位置の画素データを中間 画素格納メモリに格納する場合にっレ、て説明する。

[0127] 図 15は本発明の実施の形態 4に係る動き補償装置 (動き補償部）の構成を示すブ ロック図である。なお、図 6に示す実施の形態 1と同様の部分については同じ符号を 付し、その説明を省略する。

[0128] 本実施の形態 4の動き補償装置 300は、実施の形態 1に対して遅延回路 302、 6タ ップフイノレタ 303、ビットシフト 304が追加されており、画素選択部 104とビットシフト 2

05が削除された構成となっている。また、中間画素格納メモリ 301がバンク構成をと つている。

[0129] 中間画素格納メモリ 301の容量を大きくとることができれば、さらに画素転送量を削 減できる。また、中間画素格納メモリ 301を読み書きを独立で行う 2ポートメモリなどで バンク構成をとることでさらに高速な動作を実現することが可能である。以下図 15を 用いて動作の説明を行う。

[0130] マルチフレームメモリ 402から転送される画素データ MCpellは、遅延回路 201に のみに入力される。遅延回路 201の遅延データは、 6タップフィルタ 503に入力され、 フィルタ結果は中間画素格納メモリ 301に格納される。

[0131] また、遅延回路 201の 4段目の遅延画素は信号 SGHMNとして出力され、 6タップ フィルタ 503のフィルタ結果と併せて中間画素格納メモリ 301に格納される。中間画 素格納メモリ 301に格納された画素データは、画素データ MCpe として出力され、 6タップフィルタ後のデータは実施の形態 1とは異なり画素選択部 104を介さずに遅 延回路 202に入力される。一方、画素データ MCpel3の内で整数画素を遅延させた データ SGHMNの読み出し値は、遅延回路 302に入力される。遅延回路 302は、 3 段目の遅延データを図 3に示す画素 Mもしくは画素 Nの整数画素位置のデータとし て信号 SMNを出力し、 4段目の遅延データを図 3に示す画素 Gもしくは画素 Hの整 数画素位置のデータとして信号 SGHを出力する。 [0132] 6タップフイノレタ 303は、遅延回路 302からの遅延信号を入力とし、 6タップフィルタ を実行し、図 3に示す画素 hもしくは画素 mの画素位置のフィルタ結果として信号 Sh lmlを出力する。ビットシフト 304は、フィルタ結果 Shlmlを入力とし、図 3に示す画 素 hもしくは画素 mの補間画素データとして信号 Shmを出力する。

[0133] セレクタ加算器 305は、 Ss、 Sj、 Sb、 SMN、 Shm及び SGHを入力とし、動き補償 位置判定信号 SmcPosに従って、画素選択と必要であれば加算を行い信号 SSelA ddとして出力する。ビットシフト 518は、信号 SSelAddを入力とし、動き補償位置信号 SmcPos信号に従って、必要であればビットシフトを行って動き補償画素 MCpel2と して出力する。

[0134] 次に、図 16 (a)に示すような複数のブロックの動き補償画像生成を行う場合の動作 について、説明する。図 16 (b)は各ブロック毎の水平および垂直方向のフィルタ処理 のタイミングを示す図である。なお、丸数字 1一 4で示すブロックを数字の順に処理す るものとし、また水平方向のフィルタ処理を最初に実行するものとする。

[0135] まず、ブロック 1について、遅延回路 201および 6タップフィルタ 503で水平方向の フィルタ処理を最初に実行する（ブロック 1の Fl)。

[0136] 次に、遅延回路 302および 6タップフィルタ 303でブロック 1の整数画素位置の画素 データの垂直方向のフィルタ処理と、遅延回路 202および 6タップフイノレタ 511により ブロック 1の 6タップフィルタ 503で処理された後のデータの垂直方向のフィルタ処理 を実行する（ブロック 1の F2)。このとき、同時に、ブロック 2について、遅延回路 201 および 6タップフィルタ 503で水平方向のフィルタ処理を実行する（ブロック 2の F1)。

[0137] 次に、遅延回路 302および 6タップフィルタ 303でブロック 2の整数画素位置の画素 データの垂直方向のフィルタ処理と、遅延回路 202および 6タップフィノレタ 511により ブロック 2の 6タップフィルタ 503で処理された後のデータの垂直方向のフィルタ処理 を実行する（ブロック 2の F2)。このとき、同時に、ブロック 3について、遅延回路 201 および 6タップフィルタ 503で水平方向のフィルタ処理を実行する（ブロック 3の F1)。 以下、同様に図 16 (b)に示すようにブロック 3の垂直方向のフィルタ処理とブロック 4 の水平方向のフィルタ処理を同時に行う。

[0138] 上記構成をとることによって、中間画素格納メモリ 301の画素容量は実施の形態 1と 比べて多く必要とする力 マルチフレームメモリ 402から動き補償装置 300への画素 転送量は、最大のブロック形状である 16 X 16を 1ブロック転送する場合と、最小のブ ロック形状である 4 X 4を 16ブロック転送する場合に次式で表されるようになる。

( (16 + 5) X (16 + 5) X I画素幅 X 1ブロック = 441 · · · (37)

( ( 4 + 5) X ( 4 + 5) X I画素幅 X 16ブロック = 1 , 296· · · (38)

[0139] 従って、式 22、式 23、式 37、及び式 38に示すように、従来の転送量に較べて 16

X 16ブロック形状では、 1/4. 6に、 4 X 4ブロック形状では、 1/2. 7に抑えることを 実現する。

[0140] また、中間画素データに加えて整数画素位置の画素データを中間画素格納メモリ

301に格納してレ、るので、垂直方向のフィルタ処理と他のブロックの水平方向のフィ ルタ処理とを並列に行うことができ、処理速度を向上させることができる。

[0141] (実施の形態 5)

さらに、上記各実施の形態で示した動き補償装置、この動き補償装置を用いた画 面間予測符号化装置、または画面間予測復号化装置をソフトウェアにより実現する ためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることに より、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡 単に実施することが可能となる。

[0142] 図 17は、上記実施の形態 1から実施の形態 4の動き補償装置、この動き補償装置 を用いた画面間予測符号化装置、または画面間予測複号化装置を実現するプログ ラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場 合の説明図である。

[0143] 図 17 (b)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシ ブルディスクを示し、図 17 (a)は、記録媒体本体であるフレキシブルディスクの物理フ ォーマットの例を示している。フレキシブルディスク FDはケース F内に内蔵され、該デ イスクの表面には、同心円状に外周からは内周に向かって複数のトラック Trが形成さ れ、各トラックは角度方向に 16のセクタ Seに分割されている。従って、上記プログラム れた領域に、上記プログラムとしての動き補償装置、この動き補償装置を用いた画面 間予測符号化装置、または画面間予測復号ィヒ装置が記録されている。

[0144] また、図 17 (c)は、フレキシブルディスク FDに上記プログラムの記録再生を行うた めの構成を示す。上記プログラムをフレキシブルディスク FDに記録する場合は、コン ピュータシステム Csから上記プログラムとしての動き補償装置、この動き補償装置を 用いた画面間予測符号化装置、または画面間予測復号ィヒ装置をフレキシブルデイス クドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動 き補償装置、この動き補償装置を用いた画面間予測符号化装置、または画面間予 測復号ィ匕装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドラ イブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転 送する。

[0145] なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行った 力 光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、 I Cカード、 ROMカセット等、プログラムを記録できるものであれば同様に実施すること ができる。

[0146] さらにここで、上記各実施の形態で示した動き補償装置、この動き補償装置を用い た画面間予測符号化装置、または画面間予測復号化装置の応用例とそれを用いた システムを説明する。

[0147] 図 18は、コンテンツ配信サービスを実現するコンテンツ供給システム exlOOの全体 構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基地局 exl07— exl lOが設置されている。

[0148] このコンテンツ供給システム exlOOは、例えば、インターネット exlOlにインターネッ トサービスプロバイダ exl02および電話網 exl04、および基地局 exl07— exl lOを介 して、コンピュータ exl 11、 PDA (personal digital assistant) exl 12、カメラ exl l 3、携 帯電話 exl l4、カメラ付きの携帯電話 exl l 5などの各機器が接続される。

[0149] し力 、コンテンツ供給システム exlOOは図 18のような組合せに限定されず、いず れかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 exlO 7— exl 10を介さずに、各機器が電話網 exl04に直接接続されてもよい。

[0150] カメラ exl 13はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携 帯 古 fま、 PDC (Personal Digital Communications)方式、 CDMA (Code Division Multiple Access)方式、 W-CDMA (Wideband-Code Division Multiple Access)方式 、若しくは GSM (Global System for Mobile Communications)方式の携帯電話機、ま たは PHS (Personal Handyphone System)等であり、いずれでも構わない。

[0151] また、ストリーミングサーバ exl03は、カメラ exl l 3から基地局 exl09、電話網 exl04 を通じて接続されており、カメラ exl l 3を用いてユーザが送信する符号化処理された データに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメ ラ exl l 3で行っても、データの送信処理をするサーバ等で行ってもよレ、。また、カメラ exl 16で撮影した動画データはコンピュータ exl 11を介してストリーミングサーバ exl 03に送信されてもよい。カメラ exl 16はデジタルカメラ等の静止画、動画が撮影可能 な機器である。この場合、動画データの符号ィ匕はカメラ exl 16で行ってもコンピュータ exl 11で行ってもどちらでもよレ、。また、符号化処理はコンピュータ exl 11やカメラ ex 116が有する LSIexl l 7において処理することになる。なお、画面間予測符号化'復 号ィ匕用のソフトウェアをコンピュータ exl 11等で読み取り可能な記録媒体である何ら かの蓄積メディア（CD-ROM、フレキシブルディスク、ハードディスクなど）に組み込 んでもよい。さらに、カメラ付きの携帯電話 exl 15で動画データを送信してもよい。こ のときの動画データは携帯電話 exl 15が有する LSIで符号化処理されたデータであ る。

[0152] このコンテンツ供給システム exlOOでは、ユーザがカメラ exl 13、カメラ exl 16等で 撮影してレ、るコンテンツ (例えば、音楽ライブを撮影した映像等）を上記実施の形態 同様に符号化処理してストリーミングサーバ exl03に送信する一方で、ストリーミング サーバ exl03は要求のあったクライアントに対して上記コンテンツデータをストリーム 配信する。クライアントとしては、上記符号ィ匕処理されたデータを復号ィ匕することが可 能な、コンピュータ exl 11、 PDAexl l 2、カメラ exl 13、携帯電話 exl 14等がある。こ のようにすることでコンテンツ供給システム exlOOは、符号ィ匕されたデータをクライア ントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで 受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである [0153] このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した 画面間予測符号ィ匕装置または画面間予測復号ィ匕装置を用いるようにすればよい。

[0154] その一例として携帯電話について説明する。

図 19は、上記実施の形態で説明した画面間予測符号化装置と画面間予測複号化 装置を用いた携帯電話 exl l 5を示す図である。携帯電話 exl l 5は、基地局 exl lOと の間で電波を送受信するためのアンテナ ex201、 CCDカメラ等の映像、静止画を撮 ることが可能なカメラ部 ex203、カメラ部 ex203で撮影した映像、アンテナ ex201で受 信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex202 、操作キー ex204群から構成される本体部、音声出力をするためのスピーカ等の音 声出力部 ex208、音声入力をするためのマイク等の音声入力部 ex205、撮影した動 画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画 のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録 メディア ex207、携帯電話 exl l 5に記録メディア ex207を装着可能とするためのスロ ット部 ex206を有している。記録メディア ex207は SDカード等のプラスチックケース内 に電気的に書換えや消去が可能な不揮発性メモリである EEPROM (Electrically Erasable and Programmable Read Only Memory)の一種で 3D フフッシュメモリ 子を 格納したものである。

[0155] さらに、携帯電話 exl l 5について図 20を用いて説明する。携帯電話 exl l 5は表示 部 ex202及び操作キー ex204を備えた本体部の各部を統括的に制御するようになさ れた主制御部 ex311に対して、電源回路部 ex310、操作入力制御部 ex304、画像符 号化部 ex312、カメラインターフェース部 ex303、 LCD (Liquid Crystal Display)制御 部 ex302、画像復号化部 ex309、多重分離部 ex308、記録再生部 ex307、変復調回 路部 ex306及び音声処理部 ex305が同期バス ex313を介して互いに接続されてい る。

[0156] 電源回路部 ex310は、ユーザの操作により終話及び電源キーがオン状態にされる と、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯 電話 exl l 5を動作可能な状態に起動する。

[0157] 携帯電話 exl l 5は、 CPU, ROM及び RAM等でなる主制御部 ex311の制御に基 づいて、音声通話モード時に音声入力部 ex205で集音した音声信号を音声処理部 ex305によってディジタル音声データに変換し、これを変復調回路部 ex306でスぺク トラム拡散処理し、送受信回路部 ex301でディジタルアナログ変換処理及び周波数 変換処理を施した後にアンテナ ex201を介して送信する。また携帯電話機 exl 15は 、音声通話モード時にアンテナ ex201で受信した受信データを増幅して周波数変換 処理及びアナログディジタル変換処理を施し、変復調回路部 ex306でスペクトラム逆 拡散処理し、音声処理部 ex305によってアナログ音声データに変換した後、これを音 声出力部 ex208を介して出力する。

[0158] さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー ex2 04の操作によって入力された電子メールのテキストデータは操作入力制御部 ex304 を介して主制御部 ex311に送出される。主制御部 ex311は、テキストデータを変復調 回路部 ex306でスペクトラム拡散処理し、送受信回路部 ex301でディジタルアナログ 変換処理及び周波数変換処理を施した後にアンテナ ex201を介して基地局 exl lO へ送信する。

[0159] データ通信モード時に画像データを送信する場合、カメラ部 ex203で撮像された画 像データをカメラインターフェース部 ex303を介して画像符号ィ匕部 ex312に供給する 。また、画像データを送信しない場合には、カメラ部 ex203で撮像した画像データを カメラインターフェース部 ex303及び LCD制御部 ex302を介して表示部 ex202に直 接表示することも可能である。

[0160] 画像符号化部 ex312は、本願発明で説明した画面間予測符号化装置を備えた構 成であり、カメラ部 ex203から供給された画像データを上記実施の形態で示した画面 間予測符号ィ匕装置に用いた符号化方法によって圧縮符号ィ匕することにより符号ィ匕画 像データに変換し、これを多重分離部 ex308に送出する。また、このとき同時に携帯 電話機 exl l 5は、カメラ部 ex203で撮像中に音声入力部 ex205で集音した音声を音 声処理部 ex305を介してディジタルの音声データとして多重分離部 ex308に送出す る。

[0161] 多重分離部 ex308は、画像符号ィ匕部 ex312から供給された符号化画像データと音 声処理部 ex305から供給された音声データとを所定の方式で多重化し、その結果得 られる多重化データを変復調回路部 ex306でスペクトラム拡散処理し、送受信回路 部 ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex201を介して送信する。

[0162] データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受 信する場合、アンテナ ex201を介して基地局 exl 10から受信した受信データを変復 調回路部 ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多 重分離部 ex308に送出する。

[0163] また、アンテナ ex201を介して受信された多重化データを復号ィ匕するには、多重分 離部 ex308は、多重化データを分離することにより画像データのビットストリームと音 声データのビットストリームとに分け、同期バス ex313を介して当該符号化画像データ を画像復号化部 ex309に供給すると共に当該音声データを音声処理部 ex305に供 給する。

[0164] 次に、画像復号化部 ex309は、本願発明で説明した画面間予測復号化装置を備 えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方 法に対応した復号化方法で復号化することにより再生動画像データを生成し、これを LCD制御部 ex302を介して表示部 ex202に供給し、これにより、例えばホームべ一 ジにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に 音声処理部 ex305は、音声データをアナログ音声データに変換した後、これを音声 出力部 ex208に供給し、これにより、例えばホームページにリンクされた動画像フアイ ルに含まる音声データが再生される。

[0165] なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が 話題となっており、図 21に示すようにディジタル放送用システムにも上記実施の形態 の少なくとも画面間予測符号化装置または画面間予測複号化装置のいずれかを組 み込むことができる。具体的には、放送局 ex409では映像情報のビットストリームが電 波を介して通信または放送衛星 ex410に伝送される。これを受けた放送衛星 ex410 は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex 406で受信し、テレビ（受信機） ex401またはセットトップボックス（STB) ex407などの 装置によりビットストリームを復号ィ匕してこれを再生する。また、記録媒体である CDや DVD等の蓄積メディア ex402に記録したビットストリームを読み取り、復号化する再生 装置 ex403にも上記実施の形態で示した画面間予測復号化装置を実装することが 可能である。この場合、再生された映像信号はモニタ ex404に表示される。また、ケ 一ブルテレビ用のケーブル _ex405または衛星 Z地上波放送のアンテナ ex406に接 続されたセットトップボックス ex407内に画面間予測復号化装置を実装し、これをテレ ビのモニタ ex408で再生する構成も考えられる。このときセットトップボックスではなぐ テレビ内に画面間予測復号化装置を組み込んでも良レ、。また、アンテナ ex411を有 する車 ex412で衛星 ex410からまたは基地局 exl07等から信号を受信し、車 ex412 が有するカーナビゲーシヨン ex413等の表示装置に動画を再生することも可能である

[0166] 更に、画像信号を上記実施の形態で示した画面間予測符号化装置で符号化し、 記録媒体に記録することもできる。具体例としては、 DVDディスク ex421に画像信号 を記録する DVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコー ダ ex420力 Sある。更に SDカード ex422に記録することもできる。レコーダ ex420が上 記実施の形態で示した画面間予測復号化装置を備えていれば、 DVDディスク ex42 1や SDカード ex422に記録した画像信号を再生し、モニタ ex408で表示することが できる。

[0167] なお、カーナビゲーシヨン ex413の構成は例えば図 20に示す構成のうち、カメラ部 ex203とカメラインターフェース部 ex303、画像符号ィ匕部 ex312を除いた構成が考え られ、同様なことがコンピュータ exl 11やテレビ（受信機） ex401等でも考えられる。

[0168] また、上記携帯電話 exl 14等の端末は、符号化器'復号化器を両方持つ送受信型 の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実 装形式が考えられる。

[0169] このように、上記実施の形態で示した画面間予測符号化装置あるいは画面間予測 復号ィ匕装置を上述したいずれの機器 'システムに用いることは可能であり、そうするこ とで、上記実施の形態で説明した効果を得ることができる。

[0170] また、本発明は力かる上記実施形態に限定されるものではなぐ本発明の範囲を逸 脱することなく種々の変形または修正が可能である。 [0171] また、図 5、図 6、および図 15に示したブロック図の各機能ブロックは典型的には集 積回路である LSIとして実現される。この LSIは 1チップィ匕されても良いし、複数チッ プィ匕されても良レ、。 （例えばメモリ以外の機能ブロックが 1チップ化されていても良レ、。 )ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ウル トラ LSIと呼称されることもある。

[0172] また、集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセッサ で実現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field

Programmable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリ コンフィギユラブル ·プロセッサを利用しても良レ、。

[0173] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行って もよい。ノくィォ技術の適応等が可能性としてありえる。

[0174] また、各機能ブロックのうち、例えばマルチフレームメモリ 402のような符号化時また は復号化時の参照対象となるデータを格納する手段だけ 1チップ化せずに別構成と しても良い。この場合、フィルタ処理対象データをフィルタ処理前に一時的に蓄える ノくッファメモリをマルチフレームメモリ 402と遅延回路 201の間に設けることもできる。 産業上の利用可能性

[0175] 以上のように、本発明に係る動き補償装置、画面間予測符号化装置および画面間 予測復号化装置は、例えばコンテンツ配信装置やディジタル放送装置、携帯電話、 DVD装置、およびパーソナルコンピュータ等で、効率的に動き補償画素を生成した り、動画像を構成する各ピクチャを符号化して符号列を生成したり、生成された符号 歹 IJを復号化したりする等に有用である。

Claims

請求の範囲

[1] 動画像を構成するピクチャ間で小数画素精度の動き補償予測を行う動き補償装置 であって、

転送されるブロック単位の参照画素データに対して、所定の方向に連続的なフィル タ演算を実行し、動き補償予測を行うための 1/2小数精度画素データを生成する高 次タップフィルタ手段と、

前記高次タップフィルタ手段により生成された 1/2小数精度画素データを格納す るための中間出力画素記憶手段とを備え、

前記高次タップフィルタ手段は、前記中間出力画素記憶手段から入力された 1/2 小数精度画素データに対して、前記所定の方向と直交する方向に連続的なフィルタ 演算を実行し、 1/2小数精度画素データを生成する

ことを特徴とする動き補償装置。

[2] 前記高次タップフィルタ手段は、

前記参照画素データに対して、所定の方向に連続的なフィルタ演算を処理対象ブ ロックの段数分実行し、 1/2小数精度画素データを生成する第 1の高次タップフィル タ部と、

前記参照画素データまたは前記中間出力画素記憶手段から入力された 1Z2小数 精度画素データに対して、前記第 1の高次タップフィルタ部での演算処理方向と直 交する方向に連続的なフィルタ演算を処理対象ブロックの段数分実行し、 1/2小数 精度画素データを生成する第 2の高次タップフィルタ部とを備える

ことを特徴とする請求項 1記載の動き補償装置。

[3] 前記動き補償装置は、さらに、

動き補償画素位置に基づいて、前記参照画素データ、前記中間出力画素記憶手 段から入力された 1/2小数精度画素データ、前記第 1の高次タップフィルタ部から 入力された 1/2小数精度画素データ、または前記第 2の高次タップフィルタ部から 入力された 1/2小数精度画素データのいずれかを選択する第 2の画素選択手段と 動き補償画素位置に基づいて、前記第 2の画素選択手段で選択された画素データ について線形補間を行い、 1/2小数精度画素未満の動き補償精度の画素データを 生成し出力する線形補間演算手段とを備える

ことを特徴とする請求項 2記載の動き補償装置。

[4] 前記動き補償装置は、さらに、

前記参照画素データの転送を制御するデータ転送制御手段と、

前記データ転送制御手段の制御に基づいて、前記参照画素データまたは前記中 間出力画素記憶手段から入力された 1/2小数精度画素データのいずれ力を選択し

、選択したデータを前記高次タップフィルタ手段へ出力する第 1の画素選択手段とを 備える

ことを特徴とする請求項 2記載の動き補償装置。

[5] 前記データ転送制御手段は、処理対象ブロックの水平方向画素数と垂直方向画素 数とを比較し、小さい値となる並びの方向に前記処理対象ブロックの参照画素データ を前記高次タップフィルタ手段へ転送する

ことを特徴とする請求項 4記載の動き補償装置。

[6] 前記処理対象ブロックは、水平方向 M X垂直方向 N (M、 Nは正の整数）画素から なり、

前記データ転送制御手段は、水平方向 M画素と垂直方向 N画素とを比較し、

Nが Mより小さい場合には、垂直方向に前記処理対象ブロックの参照画素データを 前記第 1の高次タップフィルタ部へ転送し、次に、水平方向に前記処理対象ブロック の参照画素データを前記第 1の高次タップフィルタ部へ転送し、

一方、 Mが Nより小さい場合には、水平方向に前記処理対象ブロックの参照画素デ ータを前記第 1の高次タップフィルタ部へ転送し、次に、垂直方向に前記処理対象ブ ロックの参照画素データを前記第 1の高次タップフィルタ部へ転送する

ことを特徴とする請求項 5記載の動き補償装置。

[7] 前記第 1の高次タップフィルタ部は、 Tタップ数のフィルタ演算を行なうとともに、

Nが Mより小さい場合には、転送された前記参照画素データに対して、垂直方向に N画素分の連続的なフィルタ演算を（M+T— 1)回行って、（M + T— 1) X N画素分 の 1/2小数精度画素データを生成した後、転送された前記参照画素データに対し て、水平方向に連続的なフィルタ演算を実行し、 1/2小数精度画素データを生成し 一方、 Mが Nより小さい場合には、転送された前記参照画素データに対して、水平 方向に M画素分の連続的なフィルタ演算を（N + T— 1)回行って、（N + T— 1) X M 画素分の 1/2小数精度画素データを生成した後、転送された前記参照画素データ に対して、垂直方向に連続的なフィルタ演算を実行し、 1/2小数精度画素データを 生成する

ことを特徴とする請求項 6記載の動き補償装置。

[8] 前記中間出力画素記憶手段は、少なくとも（M + T— 1) X Nと M X (N + T— 1)との どちらか少ない方の容量を有する

ことを特徴とする請求項 7記載の動き補償装置。

[9] 前記データ転送制御手段は、処理対象ブロックを所定数のサブブロックに分割し、 前記サブブロック単位に前記処理対象ブロックの参照画素データを前記高次タップ フィルタ手段へ転送する

ことを特徴とする請求項 4記載の動き補償装置。

[10] 前記処理対象ブロックは、水平方向 M X垂直方向 N (M、 Nは正の整数）画素から なり、

前記データ転送制御手段は、 M画素を m個に均等分割し、 N画素を n個に均等分 割して m X n個（m、 nは、 M/m、 NZnが整数となる正の整数）のサブブロック単位 に分割するとともに、 M/mと N/nとを比較し、

NZnが MZmより小さい場合には、垂直方向に前記処理対象ブロックの参照画素 データをサブブロック単位に前記第 1の高次タップフィルタ部へ転送し、次に、水平 方向に前記処理対象ブロックの参照画素データをサブブロック単位に前記第 1の高 次タップフィルタ部へ転送し、

一方、 M/mが NZnより小さい場合には、水平方向に前記処理対象ブロックの参 照画素データをサブブロック単位に前記第 1の高次タップフィルタ部へ転送し、次に 、垂直方向に前記処理対象ブロックの参照画素データをサブブロック単位に前記第 1の高次タップフィルタ部へ転送する ことを特徴とする請求項 9記載の動き補償装置。

[11] 前記第 1の高次タップフィルタ部は、 Tタップ数のフィルタ演算を行なうとともに、

NZnが MZmより小さい場合には、転送された前記参照画素データに対して、垂 直方向に NZn画素分の連続的なフィルタ演算を（MZm+T— 1)回行って、（MZ m+T-1) X N/n画素分の 1Z2小数精度画素データを生成した後、転送された前 記参照画素データに対して、水平方向に連続的なフィルタ演算を実行し、 1Z2小数 精度画素データを生成し、

一方、 M/mが N/nより小さい場合には、転送された前記参照画素データに対し て、水平方向に M/m画素分の連続的なフィルタ演算を（N/n+T— 1)回行って、（

N/n+T-1) X M/m画素分の 1/2小数精度画素データを生成した後、転送され た前記参照画素データに対して、垂直方向に連続的なフィルタ演算を実行し、 1/2 小数精度画素データを生成し、

サブブロック単位に時分割でフィルタ処理を行う

ことを特徴とする請求項 10記載の動き補償装置。

[12] 前記中間出力画素記憶手段は、少なくとも（M/m+T— 1) X N/nと M/m X (N /n+T— 1)とのどちらか少ない方の容量を有する

ことを特徴とする請求項 11記載の動き補償装置。

[13] 前記動き補償装置は、さらに、

動き補償画素位置に基づレ、て、前記高次タップフィルタ手段の処理で必要とする 画素領域を判定する必要画素判定手段を備え、

前記データ転送制御手段は、前記必要画素判定手段で必要と判定された画素領 域の参照画素データのみを前記高次タップフィルタ手段へ転送する

ことを特徴とする請求項 4記載の動き補償装置。

[14] 前記必要画素判定手段は、

動き補償画素位置が水平方向のみに補間する画素位置の場合には、水平方向の フィルタをかけるのに必要な水平動き補償位置必要データを判定し、

動き補償画素位置が垂直方向のみに補間する画素位置の場合には、垂直方向の フィルタをかけるのに必要な垂直動き補償位置必要データを判定し、 動き補償画素位置が整数画素精度の画素位置の場合には、処理対象ブロックの 画素を必要データと判定する

ことを特徴とする請求項 13記載の動き補償装置。

[15] 前記第 1の高次タップフィルタ部および前記第 2の高次タップフィルタ部は、共通の 演算資源を用いて構成され、前記 1/2小数精度画素データが有するビット精度に 対応する

ことを特徴とする請求項 2記載の動き補償装置。

[16] 前記第 1の高次タップフィルタ部は、単数または複数の同時並列フィルタ処理を行 い、

前記第 2の高次タップフィルタ部は、単数または複数の同時並列フィルタ処理を行 い、

当該動き補償装置に入力されるデータのバス幅が前記第 1の高次タップフィルタ部 での同時並列処理画素数と前記第 2の高次タップフィルタ部での同時処理画素数と の和以上となる

ことを特徴とする請求項 2記載の動き補償装置。

[17] 前記第 2の高次タップフィルタ部は、前記 1/2小数精度画素データが有するビット 精度に対応する

ことを特徴とする請求項 2記載の動き補償装置。

[18] 前記中間出力画素記憶手段は、前記第 1の高次タップフィルタ部により生成された 1Z2小数精度画素データと併せて、前記参照画素データも格納するとともに、デー タの読み出しと書き込みの処理を同時に実行し、

前記第 2の高次タップフィルタ部は、前記中間出力画素記憶手段から入力された前 記参照画素データおよび前記 1/2小数精度画素データに対して、フィルタ演算を 実行し、

前記第 1の高次タップフィルタ部の動作と前記第 2の高次タップフィルタ部の動作を ノ ィプライン式に実行する

ことを特徴とする請求項 2記載の動き補償装置。

[19] 小数画素精度の動き補償予測を行って動画像を符号化する画面間予測符号化装 置であって、

請求項 1一 18のいずれか 1項に記載の動き補償装置と、

前記動き補償装置により動き補償予測された画素データに基づいて、動画像の画 素データを符号化する符号化手段と

を備えることを特徴とする画面間予測符号化装置。

[20] 小数画素精度の動き補償予測を行って動画像を復号化する画面間予測復号化装 置であって、

請求項 1一 18のいずれか 1項に記載の動き補償装置と、

前記動き補償装置により動き補償予測された画素データに基づいて、動画像の画 素データを復号化する復号化手段と

を備えることを特徴とする画面間予測復号化装置。

[21] 動画像を構成するピクチャ間で小数画素精度の動き補償予測を行う動き補償方法 であって、

転送されるブロック単位の参照画素データに対して、所定の方向に連続的なフィル タ演算を実行し、 1/2小数精度画素データを生成する高次タップフィルタステップと 前記高次タップフィルタ手段により生成された 1/2小数精度画素データを中間出 力画素記憶手段へ格納する中間出力画素記憶ステップとを含み、

前記高次タップフィルタステップでは、前記中間出力画素記憶手段から入力された 1Z2小数精度画素データに対して、前記所定の方向と直交する方向に連続的なフ ィルタ演算を実行し、 1/2小数精度画素データを生成する

ことを特徴とする動き補償方法。

[22] 動画像を構成するピクチャ間で小数画素精度の動き補償予測を行うための集積回 路であって、

転送されるブロック単位の参照画素データに対して、所定の方向に連続的なフィル タ演算を実行し、動き補償予測を行うための 1/2小数精度画素データを生成する高 次タップフィルタ手段と、

前記高次タップフィルタ手段により生成された 1/2小数精度画素データを格納す るための中間出力画素記憶手段とを備え、

前記高次タップフィルタ手段は、前記中間出力画素記憶手段から入力された 1/2 小数精度画素データに対して、前記所定の方向と直交する方向に連続的なフィルタ 演算を実行し、 1/2小数精度画素データを生成する

ことを特徴とする集積回路。