WO2006035584A1 - 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 - Google Patents

符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2006035584A1
WO2006035584A1 PCT/JP2005/016571 JP2005016571W WO2006035584A1 WO 2006035584 A1 WO2006035584 A1 WO 2006035584A1 JP 2005016571 W JP2005016571 W JP 2005016571W WO 2006035584 A1 WO2006035584 A1 WO 2006035584A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
cost value
inter
value
motion compensation
Prior art date
Application number
PCT/JP2005/016571
Other languages
English (en)
French (fr)
Inventor
Kazushi Sato
Yoichi Yagasaki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP20050778334 priority Critical patent/EP1802125A1/en
Publication of WO2006035584A1 publication Critical patent/WO2006035584A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

　本発明は、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用して、整数画素精度によるコスト値に基づいてインター予測モードの最適モードを検出し、この最適モードについて１画素以下の精度によるコスト値を計算してイントラ予測モードとインター予測モードとの最適モードを検出する。

Description

明細書
符号化装置、 符号化方法、 符号化方法のプログラム及び符号化方法のプロダラ ムを記録した記録媒体 発明の背景
技術分野
本発明は、 符号化装置、 符号化方法、 符号化方法のプログラム及び符号化方法 のプログラムを記録した記録媒体に関し、 動画による撮像結果を記録するビデオ カメラ、 電子スチルカメラ、 監視装置等に適用することができる。 本発明は、 整 数画素の精度によるコスト値に基づいてインター予測モードの最適モードを検出 し、 この最適モードについて 1画素以下の精度によりコスト値を計算してイント ラ予測モードとィンター予測モードとの最適モードを検出することにより、 コス ト関数により最適モードを検出して画像データを符号化処理する場合に、 簡易な 処理により最適モードを検出することができるようにする。 ' 背景技術
近年、 放送局、 一般家庭等に係る動画の伝送、 記録においては、 画像データの 冗長性を有効に利用して効率良く画像データを伝送、 蓄積する装置が普及しつつ あり、 このような装置は、 例えば M P E G (Moving Picture Experts Group ) 等 の方式に準拠して、 離散コサイン変換等の直交変換と動き補償とにより画像デー タをデータ圧縮するように構成されている。
ここでこのような方式の 1つである M P E G 2 (ISO/IEC 13818-2 ) は、 汎用 の画像符号化方式として定義された方式であり、 飛び越し走査方式、 順次走查方 式の双方に対応できるように、 また標準解像度画像、 高精細画像の双方に対応で きるように定義され、 これらにより現在、 プロフェッショナル用途及びコンシュ 一マー用途の広範なアプリケーションに広く用いられている。 具体的に M P E G
2によれば、 例えば 7 2 0 X 4 8 0画素による標準解像度、 飛び越し走査方式の 画像データを 4〜 8 [M b p s ] のビッ トレートにデータ圧縮して、 また 1 9 2
0 X 1 0 8 8画素による高解像度、 飛び越し走查方式の画像データを 1 8〜2 2 〔Mb p s〕 のビットレートにデータ圧縮して、 高画質で高い圧縮率を確保する ことができる。
しかしながら MP EG 2は、 放送用に適合した高画質符号化方式であり、 MP EG 1より符号量の少ない高圧縮率の符号化方式には対応していない。 これに対 して近年の携帯端末の普及により、 このような MP EG 1より符号量の少ない高 圧縮率の符号化方式のニーズの高まりが予測される。 このため MPEG4による 符号化方式の規格が、 I S。/ I E C (International Organization for Standa rdization/ international Electrotechnical Commission ) 14496— 2によ り 1 998年 12月に国際標準に承認された。
またこのような方式にあっては、 当初はテレビ会議用の画像符号化を目的とし たものであった H26 L (ITU-T Q6/16 VCEG) の規格化が進み、 MPEG2、 M PEG 4に比して演算量が増大するものの、 MPEG 2、 MP EG 4に比して高 い符号化効率を確保できるようになり、 また MP EG 4の活動の一環として、 こ の H26 Lをベースにして各種機能を取り入れ、 さらに一段と高い符号化効率を 確保する符号化方式の標準化が、 Joint Model of Enhanced- Compression Video C odingとして進められ、 これらの方式にあっては、 2003年 3月に、 H264及 ぴ MPEG— 4 P a r t 1 0 (AVC ： Advanced Video Coding ) との名称に より国際標準に設定された。
ここで第 1図は、 この A VCに基づく符号化装置を示すブロック図である。 こ の符号化装置 1は、 複数のィントラ予測モードと複数のィンター予測モードとか ら最適な予測モードを選択し、 この選択した予測モードによる予測値を画像デー タから減算して差分データを生成し、 この差分データを直交変換処理、 量子化処 理、 可変長符号化処理することにより、 この画像データをイントラ符号化、 イン ター符号化により符号化処理する。
すなわちこの符号化装置 1において、 アナログディジタル変換回路 （AZD) 2は、 ビデオ信号 SVをアナログディジタル変換処理して画像データ D 1を出力 する。 画面並べ替えバッファ 3は、 このアナログディジタル変換回路 2から出力 される画像データ D 1を入力し、 この符号化装置 1の符号化処理に係る GO P (G roup of Pictures ) 構造に応じて、 この画像データ D 1のフレームを並べ替えて 出力する。
減算回路 4は、 この画面並べ替えバッファ 3から出力される画像データ D 1を 受け、 イントラ符号化においては、 イントラ予測回路 5で生成される予測値との 差分データ D 2を生成して出力するのに対し、 インター符号化においては、 動き 予測 ·補償回路 6で生成される予測値との差分データ D 2を生成して出力する。 直交変換回路 7は、 減算回路 4の出力データ D 2を入力し、 離散コサイン変換、 力ルーネン ' レーべ変換等の直交変換処理を実行し、 その処理結果による変換係 数データ D 3を出力する。
量子化回路 8は、 レート制御回路 9のレート制御による量子化スケールにより 、 この変換係数データ D 3を量子化して出力する。 可逆符号化回路 1 0は、 この 量子化回路 8の出力データを可変長符号化、 算術符号化等により可逆符号化処理 して出力する。 また可逆符号化回路 1 0は、 イントラ符号化に係るイントラ予測 モードに関する情報、 インター符号化に係る動きべクトルに関する情報等をイン トラ予測回路 5、 動き予測，補償回路 6から取得し、 これらの情報を出力データ D 4のヘッダ情報に設定して出力する。
蓄積バッファ 1 1は、 この可逆符号化回路 1 0の出力データ D 4を蓄積して続 く伝送路の伝送速度により出力する。 レート制御回路 9は、 この蓄積バッファ 1 1の空き容量の監視により符号化処理による発生符号量を監視すると共に、 この 監視結果により量子化回路 8における量子化スケールを切り換え、 これによりこ の符号化装置 1による発生符号量を制御する。
逆量子化回路 1 3は、 量子化回路 8の出力データを逆量子化処理し、 これによ り量子化回路 8の入力データを再生する。 逆直交変換回路 1 4は、 逆量子化回路 1 3の出力データを逆直交変換処理し、 これにより直交変換回路 7の入力データ を再生する。 デブロックフィルタ 1 5は、 この逆直交変換回路 1 4の出力データ よりブロック歪を除去して出力する。 フレームメモリ 1 6は、 このデブロックフ ィルタ 1 5の出力データに、 適宜、 イントラ予測回路 5又は動き予測 ·補償回路 6により生成される予測値を加算して参照画像情報として記録する。
しかして動き予測 ·補償回路 6は、 フレームメモリ 1 6に保持された参照画像 情報による予測フレーム （参照フレーム） を基準にして画面並べ替えバッファ 3 から出力される画像データの動きべクトルを検出し、 またこの検出した動きべク トルによりフレームメモリ 1 6に保持した参照画像情報を動き補償してインター 予測の最適モードを検出する。 またインター予測により符号化処理を実行する場 合、 この最適モードにより予測画像情報を生成し、 この予測画像情報による予測 値を減算回路 4に出力する。
イントラ予測回路 5は、 イントラ符号化において、 フレームメモリ 1 6に蓄積 された参照画像情報に基づいてィントラ予測モードの最適モードを検出する。 ま たイントラ予測により符号化処理する場合には、 この最適モードにより参照画像 情報から予測画像情報の予測値を生成して減算回路 4に出力する。
これらによりこの符号化方式においては、 インター符号化とイントラ符号化と でそれぞれインター予測に係る動き補償による差分データ D 2とイントラ予測に よる差分データ D 2とを生成し、 これらの差分データ D 2を直交変換処理、 量子 化処理、 可変長符号化処理して伝送する。
第 2図は、 このようにして符号化処理された符号化データ D 4を複号化処理す る複号化装置を示すブロック図である。 この復号化装置 2 0において、 蓄積バッ ファ 2 1は、 伝送路を介して入力される符号化データ D 4を一時蓄積して出力す る。 可逆複号化回路 2 2は、 この蓄積バッファ 2 1の出力データを可変長複号化 、 算術複号化等により復号化処理し、 符号化装置 1における可逆符号化回路 1 0 の入力データを再生する。 またこのときこの出力データがイントラ符号化された ものである場合、 ヘッダに格納されたイントラ予測モードの情報を複号化してィ ントラ予測回路 2 3に伝送するのに対し、 この出力データがインター符号化され たものである場合、 ヘッダに格納された動きべクトルに関する情報を復号して動 き予測 ·補償回路 2 4へ転送する。
逆量子化回路 2 5は、 可逆復号化回路 2 2の出力データを逆量子化処理し、 こ れにより符号化装置 1の量子化回路 8に入力される変換係数データ D 3を再生す る。 逆直交変換回路 2 6は、 この逆量子化回路 2 5から出力される変換係数デー タを受け、 4次の逆直交変換処理を実行し、 これにより符号化装置 1の直交変換 回路 7に入力される差分データ D 2を再生する。
加算器 2 7は、 逆直交変換回路 2 6から出力される差分データ D 2を受け、 ィ ントラ符号化において、 イントラ予測回路 2 3で生成される予測画像による予測 値を加算して出力するのに対し、 インター符号化において、 動き予測 '捕償回路 2 4から出力される予測画像による予測値を加算して出力する。 これにより加算 器 2 7は、 符号ィヒ装置 1における減算回路 4の入力データを再生する。
デブロックフィルタ 2 8は、 この加算器 2 7の出力データよりブロック歪を除 去して出力し、 画面並べ替えバッファ 2 9は、 このデブロックフィルタ 2 8から 出力される画像データのフレームを G O P構造に応じて並べ替えて出力する。 デ イジタルアナログ変換回路 （D /A) 3 0は、 この画面並べ替えバッファ 2 9の 出力データをディジタルアナログ変換処理して出力する。
フレームメモリ 3 1は、 デブ口ックフィルタ 2 8の出力データを参照画像情報 として記録して保持する。 動き予測 ·補償回路 2 4は、 インター符号化において 、 可逆復号化回路 2 2から通知される動きべクトルの情報によりフレームメモリ 3 1に保持された参照画像情報を動き補償して予測画像による予測値を生成し、 この予測値を加算器 2 7に出力する。 またイントラ予測回路 2 3は、 イントラ符 号化において、 可逆複号化回路 2 2から通知されるイントラ予測モードによりフ レームメモリ 3 1に保持された参照画像情報より予測画像による予測値を生成し 、 この予測値を加算器 2 7に出力する。
このような AV C方式によるインター符号化においては、 Multiple Reference Framesにより、 第 3図に示すように、 処理対象のフレーム O r gに対して、 複数 の参照フレーム R e f の何れかを選択して動き補償できるように設定され、 これ により直前のフレームにおいて動き捕償のブロックに対応する部位が隠れている 場合、 さらにはフラッシュ等により直前のフレームで一時的に全体の画素値が変 動した場合等にあっても、 高い精度により動き補償してデータ圧縮効率を向上す る。
また動き補償に係るブロックにおいては、 第 4図 （A 1 ) に示すように、 1 6 画素 X 1 6画素によるプロックを基準にして動き補償するようになされているも のの、 variable MC Block Size により tree - structured motion compensation 力 サポートされており、 これにより第 4図 （A 2 ) 〜 （A 4 ) に示すように、 1 6 画素 X 1 6画素によるマクロプロックを水平方向及び又は垂直方向に 2分割して 、 1 6画素 X 8画素、 8画素 X I 6画素、 8画素 X 8画素によるサブマクロブロ ックによりそれぞれ独立に動きべクトル、 参照フレームを設定して動き補償でき るように設定されている。 また 8画素 X 8画素によるサブマクロブロックについ ては、 第 4図 （B 1) 〜 （B4) に示すように、 8画素 X 8画素、 8画素 X 4画 素、 4画素 X 8画素、 4画素 X 4画素によるサブマクロブロックにさらに分割し て、 それぞれ独立に動きベクトル、 参照フレームを設定して動き補償できるよう に設定されている。
また動き補償においては、 6タップの F I Rフィルタを用いて 1/4画素精度 により動き補償できるように設定されている。 これにより第 5図において、 符号 Aにより 1画素精度の画素値、 符号 b〜(！により 1Z2画素精度の画素値、 符号 e l〜e 3により 1ノ 4画素精度の画素値を示すように、 動き予測 ·補償回路 6 は、 始めに、 6タップの F I Rフィルタの各タップ入力を値 1、 一 5、 20、 2 0、 一 5、 1により重み付けして次式の演算処理を実行することにより、 水平方 向又は垂直方向の連続する画素間に 1 / 2画素精度による画素値 b又は dを計算 する。
F = A _„ -5■ A_,-l- 20■ A0 + 20■ A -5■ A2+ A3 b, d = CI ip1 ( ( F+16 ) » 5 ) …… い） またこのようにして計算した 1Z 2画素精度による画素値 b又は dを用いて、 6タップの F I Rフィルタの各タップ入力を値 1、 一5、 20、 20、 一 5、 1 により重み付けして次式の演算処理を実行することにより、 水平方向及び垂直方 向の連続する画素間の 1 Z 2画素精度による画素値 cを計算する。
F = b_2一 5■ b_!+ 20 - b 0 + 20 · b -5■ b2+ b3 又は
F = d _2 -5■ d _!+ 20 - d o + 20■ d -5 - d 2+ d 3 c = CI ipl ( ( F+512 ) 10 ) ……（2) またこのようにして計算した 1/2画素精度による画素値 b〜dを用いて、 直 線補間による次式の演算処理を実行することにより、 1 /4画素精度による画素 値 e l〜e 3を計算する。 なおこの （1) 式及び （2) 式の重み付け加算に係る 正規化の処理においては、 垂直方向及ぴ水平方向の全ての補間処理が完了して実 行される。 e , = ( A+ b +1 ) » 1 e 2 = ( b + d +1 ) » 1 e 3 = ( b + c +1 ) > 1 …… (3) このような輝度信号に対する動き補償の処理に対して、 色差信号に対する動き 補償は、 線型捕間により実行される。 すなわち第 6図に示すように、 画素ピッチ sによる隣接画素 A〜Dに対して、 水平方向及び垂直方向にそれぞれ内分比 dx 、 s - dx及ぴ dy 、 s - dy に係るサンプリング点に設定される画素値 Vは、 " 次式により表される。
V
( s-dx ) ( s-dy ) A + dx ( s-dy ) B + ( s-dx ) dy C + dx dy D ,
(4) AVCでは、 このようなインター予測に係る符号化の情報である動きベクトル の情報について、 連続するマクロプロック、 サブマクロブロック間の相関を有効 に利用してデータ伝送量を低減する。 すなわち AVC符号化においては、 1つの マクロブロックを複数のサブマクロブロックに分割してそれぞれ動き捕償するこ とも可能であることにより、 動きベク トルの伝送に供する符号量が増大する。 こ のためブロック毎にそれぞれ水平方向成分及び垂直方向成分についてメディアン 予測により予測動きベクトル pmv を生成し、 この予測動きベクトル pmv と実際の 動きべクトル iwとの間で次式により表される演算処理により計算される差分値の 動きべクトル情報 MVD (Motion Vector Data)を符号化して伝送する。 M V D i = m Vi - p m j ； i = 0, 1 ( 5 ) 伹し、 第 7図 （A) に示すように、 動きベクトル mvに係るプロックが、 1つの マクロブロックを水平方向に 2分割して形成される 2つのサブマクロブロックの うちの右側のサブマクロブロック Cの場合であって、 予測動きベクトル mvの検出 に係る参照フレーム refldxE 、 残る左側に隣接するサブマクロプロック Aの参 照フレーム refldxA と等しい場合、 次式により示すように、 この左側に隣接する サブマクロプロック Aで検出された動きべクトル mvA を予測動きべクトノレ pmv に ロス疋 9 -Q o
p m V = m λ o ) またこれとは逆に、 動きベクトル mvに係るブロックが、 左側のサブマクロブロ ック Aの場合であって、 予測動きべクトル mvの検出に係る参照フレーム refldxE 力 残る右側に隣接するサブマクロブロック Cの参照フレーム refldxC と等しい 場合、 次式により示すように、 この右側に隣接するサブマクロブロック Cで検出 された動きべクトル mvC を予測動きべクトル pmv に設定する。 p m V = m c ( / ) また第 7図 （B ) に示すように、 動きベクトル mvに係るブロックが、 1つのマ クロブロックを垂直方向に 2分割して形成される 2つのサブマクロブロックのう ちの上側のサブマクロブロック Cの場合であって、 予測動きべクトル mvの検出に 係る参照フレーム refldxE 力 残る下側に隣接するサブマクロブロック Bの参照 フレーム refldxA と等しい場合、 次式により示すように、 この下側に隣接するサ ブマクロブロック Bで検出された動きべクトル mvB を予測動きべクトル pmv に設 定する。 p m = m V B ( 8 ) またこれとは逆に、 動きベクトル mvに係るブロックが、 下側のサブマクロブロ ック Bの場合であって、 予測動きべクトル mvの検出に係る参照フレーム refldxE Κ 残る上側に隣接するサブマクロブロック Aの参照フレーム refldxA と等しい 場合、 次式により示すように、 この下側に隣接するサブマクロブロック Aで検出 された動きべクトル mvA を予測動きべクトル pmv に設定する。 p m V = m V 、9ノ
'
またこれら以外の場合にあっては、 第 8図 （A) に示すように、 動き補正に係 るブロック Eに対して、 隣接するブロックで検出される動きべクトルにより予測 動きベク トル pmv を生成する。 なおここでこの隣接するブロックは、 ラスタ走查 順序による水平方向の走査開始側に隣接するブロック A、 ラスタ走査の順序によ り垂直方向の走査開始側に隣接するブロック B、 このブロックの左右のブロック C、 Dである。 なおこれら隣接するブロックによる予測動きベクトル値 pmv の設 定は、 第 8図 （B ) に示すように、 この隣接するプロックがサブマクロブロック の場合、 さらには処理対象のブロックがサブマクロブロックの場合であっても適 用される。
具体的に、 各隣接ブロックの検出に係る参照フレームインデックス refldxA、 r efldxB, refldxC の値により、 動き補正に係るプロック Eとの間で参照フレーム がー致する隣接プロックが存在する場合、 次式により、 この参照フレームが一致 する隣接プロック （N=Aor B or C ) による動きべクトル mvN を予測動きべクトル pmv に設定する。 m V B = m V A
m v c = m v A ref I dxB = ref I dxA ref I dxc = ref I dxA ( 1 o ) またこれ以外の場合には、 垂直方向及び水平方向の各成分について、 次式によ り、 メディアンフィルタによる処理結果による成分を予測動きベク トル pmv の各 成分に設定する。 p m v =m v M (1 1 ) 但し、 垂直方向に隣接するブロック B、 又はこのブロック Bに続くブロック C の何れかが有意でない場合であって、 水平方向に隣接するプロック Aが有意であ る場合、 これら垂直方向に係る隣接ブロック B及び Cの動きベク トル mv及び参照 フレームインデックス refldxは、 次式により示すように、 ブロック Aによる動き ベタトル mvA及び参照フレームインデックス refldxAが代用される。 pmv=Me d ι a n (m v A , mvB , m v c ) (， 2) さらに AVCでは、 Bピクチャにおいて、 テンポラル （時間） ダイレクトモー ドと、 スペーシャル （空間） ダイレクトモードとによるダイレクトモードが設け られており、 このダイレクトモードでは動きべクトルに関する情報の伝送を中止 して符号化効率を向上する。
これによりスペーシャルダイレクトモードでは、 予測動きべクトル pmv を動き ベクトルに設定して復号化処理を実行する。 これに対してテンポラルダイレクト モードは、 動きが線形であると仮定して、 第 9図に示すように、 符号化処理を完 了した予測フレーム L 1の対応するブロック （C o— L o c a t e d B l o c k) の動きベクトル mvcol を用いた線型補間により、 処理対象の Bピクチャに係 る動きべクトル MV10及び MV11を作成する。 なお、 AVC画像圧縮情報におい ては、 これらピクチャ L 0、 L 1との間の時間情報に係るパラメータ TDが存在 しないことにより、 これに代えて P0C (Picture Order Count) が用いられる。
AVCは、 これらイントラ及びインター予測に係る予測モードに関して、 AV Cに係る J o i n t Mo d e l (AVC参照符号化方式） により、 マルチパス エンコードを前提とした H i g h C omp l e x i t y Mo d eと、 1ノ ス エンコードを前提とした L o w C omp l e x i t y Mo d eとが定義され ており、 これらの定義に従って最適モードを選択して符号化処理を実行する。 ま たこれらのモードのうち、 L ow C omp l e x i t y Mo d eでは、 符号 化効率を示すコスト関数を次式により定義し、 このコスト関数により得られるコ スト値 Co s t (Mo d e) の比較により最適モードを検出する。 Cost (Mode) = SA(T)D + SA(T)D0 (1 3) ここで SA (T) Dは、 原画像と予測画像との誤差値であり、 これら原画像と 予測画像との間の、 画素値差分値の絶対値誤差和が適用される。 また SA (T) DOは、 誤差値 SA (T) Dに与えられるオフセット値であり、 ヘッダビット、 モード判定の際の重みとなるコストによるものであり、 動きべクトル等の付加的 な情報の伝送に供するデータ量が示される。
具体的に絶対値誤差和 SADは、 各マクロブロックについて、 次式により示さ れ、 それぞれ各予測モード Mo d eにおける原画像と予測画像の差分値が適用さ れる。
SAD = |0rg( i , j)-Pred(Mode, i , j )| …… （1 4)
i=0 j=0
なおここでこの （14) 式による絶対値誤差和 SADに代えて、 次式による得 られる差分加算値を S ATD (Mode ) を用いてもよい。
15 15
SATD(mode) = \ Hadamard (Org( i , j )- Pred(Mode, i , j )) | …… （1 5) i=0 j=0
なお Ha d ama r d () は、 次式により示すように、 対象の行列にァダマー ル変換行列を掛けるアダマール変換操作である。 なおアダマール変換行列は、 （ 1 7) 式により表され、 HTは、 アダマール変換行列の転置行列である。
Hadamard (A)= HTAH (1 6)
, 1 1 1 1 ヽ
I - 1 1 -1
H = (1 7)
I I - 1 -1
1 - 1 - 1 1 ノ またオフセット値 SA (T) DOは、 前方向予測モードにおいては、 次式によ り示される。 なおここで QP O (QP) は、 量子化パラメータ QPを量子化スケ ールに変換する関数であり、 MVDFWは、 前方向予測に係る動きベクトルであ り、 Bit to code は、 この動きべクトルに係るビットストリーム上の符号量であ る。
SA(T)D0
= Q P0 (Q P) · (2 x code_numbe r_of _r ef _ i dx_f wd + B i t_to_code_ VDF ) …… ( 1 8) またオフセット値 SA (T) DOは、 後方向予測モードにおいては、 次式によ り表される。 なおここで MVDBWは、 後方向予測に係る動きベクトルである。
SA(T)D0 =QP0(QP)xBi t_to一 code JVDBW …… （19) またオフセット値 SA (T) DOは、 双方向予測モードにおいては、 次式によ り表される。 なおここで Bit to code forward Blk size, Bit to code backward Blk size は、 それぞれ前方向予測及び後方向予測に係る動き補償ブロックに関す る情報の伝送に必要なビットストリーム上における符号量である。
SA(T)D0 =
QP0(Q P)x(2xcode—圆 ber_of— ref— i dx—fwd + B i t— to—code一 for ward— B I k_s i ze + B i t一 to一 code— backward—B I k_s i ze + B i t_to_code_ VDFW
+ B i t_to_code_MVDBW ) …… （ 2 o ) またダイレクトモードにおいては、 オフセット値 S A (T) DOは、 次式によ り求められる。
SA(T)D0 =-16xQP0(QP) …… （21) またイントラ 4 X 4予測モードでは、 オフセット値 SA (T) DOは、 次式に より求められる。
SA(T)D0 =24xQP0(QP) …… （22) 因みに、 このコスト関数にあっては、 動きベク トルの探索にも適用され、 次式 により示すように、 コスト値 C o s tを最小にする動きベクトルが検出される。 Cost = SA(T)D + SA(T)D0
SA(T)D0
= QP0(QP)-( Bi ts— to一 code一 vector + 2xcode— number—of一 ref一 idex—fwd) (23) これらにより L ow C omp l e x i t y M o d eにおいて、 最適モード を検出する場合、 符号化装置 1では、 イントラ予測回路 5及び動き予測 '補償回 路 6において、 輝度信号を用いて、 それぞれィントラ符号化及びィンター符号化 の全ての予測モードのコスト値 C o s tを計算し、 このコスト値 C 0 s tの最も 小さな予測モードを選択して輝度信号の最適モードを検出する。 またこれにより イントラ符号化が選択された場合、 色差信号について、 各イントラ予測モードの コスト値を計算し、 この計算結果の比較により最も値の小さなコスト値によるィ ントラ予測モードを色差信号の最適モードに設定する。 なお輝度信号によるコス ト値の判定によりインター予測により符号化処理する場合、 色差信号は、 輝度信 号による動き補償ブロック、 動きべクトル、 参照フレームにより動き補償される 。 これらにより AVCでは、 複数のイントラ予測モード、 複数のインター予測モ 一ドから最適モードをマクロプロック毎に検出し、 この最適モードにより画像デ ータを処理して画像データを効率良く符号化処理する。
このようなコスト関数による予測モードの選択に関しては、 例えば日本特開 2 003-230149号公報等に種々の工夫が開示されている。
ところでインター符号化に係る最適モードの検出においては、 上述した 4 X 4 予測モード、 1 6 X 1 6予測モードの全てに対して、 6タップの F I Rフィルタ により動き補償してそれぞれコスト値を計算することが必要になり、 これにより 最適モードの判定に膨大な演算処理を要する問題がある。 発明の開示
本発明は以上の点を考慮してなされたもので、 コスト関数により最適モードを 検出して画像データを符号化処理する場合に、 簡易な処理により最適モードを検 出することができる符号化装置、 符号化方法、 符号化方法のプログラム及び符号 化方法のプログラムを記録した記録媒体を提案しようとするものである。
かかる課題を解決 I1るため本発明は、 符号化効率を示すコスト関数によるコス ト値の比較により、 複数のィントラ予測モード及ぴ複数のィンター予測モードか ら符号化処理に供する最適モードをマクロプロック毎に検出し、 前記最適モード により画像データを符号化処理する符号化装置に適用して、 前記インター予測モ ード毎に、 整数画素精度により動きべクトルを検出し、 前記動きべクトルによる 粗の動き捕償位置の前記コスト値を計算する粗動き予測回路と、 前記粗の動き補 償位置によるコスト値に基づいて、 前記複数のインター予測モードにおける最適 モードを検出するインターモード判定回路と、 前記インターモード判定回路によ り検出される最適モードについて、 1画素以下の精度により動き補償して前記コ ス ト値を計算する微動き予測回路と、 前記微動き予測回路によるコスト値と、 前 記複数のィントラ予測モードによるコスト値との比較により前記符号化処理に供 する最適モードを検出するィントラ 'ィンターモード判定回路とを備えるように する。
本発明の構成により、 符号化効率を示すコス ト関数によるコス ト値の比較によ り、 複数のィントラ予測モード及ぴ複数のィンター予測モードから符号化処理に 供する最適モードをマクロプロック毎に検出し、 前記最適モードにより画像デー タを符号化処理する符号化装置に適用して、 前記インター予測モード毎に、 整数 画素精度により動きべクトルを検出し、 前記動きべクトルによる粗の動き補償位 置の前記コスト値を計算する粗動き予測回路と、 前記粗の動き補償位置によるコ スト値に基づいて、 前記複数のインター予測モードにおける最適モードを検出す るインターモード判定回路と、 前記インターモード判定回路により検出される最 適モ一ドについて、 1画素以下の精度により動き補償して前記コスト値を計算す る微動き予測回路と、 前記微動き予測回路によるコスト値と、 前記複数のイント ラ予測モードによるコスト値との比較により前記符号化処理に供する最適モード を検出するイントラ ·ィンターモード判定回路とを備えるようにすれば、 全ての インター予測モードについて、 1画素以下の精度により動き補償してコスト値を 計算しなくても、 インター予測モードの最適モードについてのみ 1画素以下の精 度によりコス ト値を計算すればよく、 その分、 コス ト関数により最適モードを検 出して画像データを符号化処理する場合に、 簡易な処理により最適モードを検出 することができる。
また本発明は、 符号化効率を示すコスト関数によるコスト値の比較により、 複 数のィントラ予測モ一ド及び複数のィンター予測モードから符号化処理に供する 最適モードをマクロブロック毎に検出し、 前記最適モードにより画像データを符 号化処理する符号化方法に適用して、 前記インター予測モード毎に、 整数画素精 度により動きべクトルを検出し、 前記動きべクトルによる粗の動き捕償位置の前 記コスト値を計算する粗コスト値計算ステップと、 前記粗の動き補償位置による コスト値に基づいて、 前記複数のィンター予測モードにおける最適モードを検出 するインターモードの判定ステップと、 前記インターモードの判定ステップによ り検出される最適モードについて、 1画素以下の精度により動き補償して前記コ スト値を計算する微コスト値計算ステップと、 前記微コスト値計算ステップによ るコスト値と、 前記複数のイントラ予測モードによるコスト値との比較により前 記符号化処理に供する最適モードを検出するイントラ ·ィンターモード判定のス テツプとを有するようにする。
これにより本発明の構成によれば、 コスト関数により最適モードを検出して画 像データを符号化処理する場合に、 簡易な処理により最適モードを検出すること ができる符号化方法を提供することができる。
また本発明は、 符号化効率を示すコスト関数によるコスト値の比較により、 複 数のイントラ予測モード、 複数のインター予測モードから最適モードをマクロブ 口ック毎に検出する最適モード検出のステップと、 前記最適モードにより画像デ ータを符号化処理する符号化処理のステップとを有する符号化方法のプログラム に適用して、 前記最適モード検出のステップは、 前記インター予測モード毎に、 整数画素精度により動きべクトルを検出し、 前記動きべクトルによる粗の動き補 償位置の前記コスト値を計算する粗コスト値計算ステップと、 前記粗の動き補償 位置によるコスト値に基づいて、 前記複数のインター予測モードにおける最適モ 一ドを検出するインターモードの判定ステップと、 前記インターモードの判定ス テップにより検出される最適モードについて、 1画素以下の精度により動き補償 して前記コスト値を計算する微コスト値計算ステップと、 前記微コスト値計算ス テツプによるコスト値と、 前記複数のィントラ予測モードによるコスト値との比 較により前記符号化処理に供する最適モードを検出するイントラ ·インターモー ド判定のステップとを有するようにする。
これにより本発明の構成によれば、 コスト関数により最適モードを検出して画 像データを符号化処理する場合に、 簡易な処理により最適モードを検出すること ができる符号化方法のプログラムを提供することができる。
また本発明は、 演算処理手段により実行される符号化方法のプログラムを記録 した記録媒体に適用して、 前記符号化方法のプログラムは、 符号化効率を示すコ スト関数によるコスト値の比較により、 複数のイントラ予測モード、 複数のイン ター予測モードから最適モードをマクロプロック毎に検出する最適モード検出の ステップと、 前記最適モードにより画像データを符号化処理する符号化処理のス テツプとを有し、 前記最適モード検出のステップは、 前記インター予測モード毎 に、 整数画素精度により動きベク トルを検出し、 前記動きベクトルによる粗の動 き補償位置の前記コスト値を計算する粗コスト値計算ステップと、 前記粗の動き 捕償位置によるコスト値に基づいて、 前記複数のインター予測モードにおける最 適モードを検出するインターモードの判定ステップと、 前記インターモードの判 定ステップにより検出される最適モードについて、 1画素 下の精度により動き 補償して前記コスト値を計算する微コスト値計算ステップと、 前記微コスト値計 算ステップによるコスト値と、 前記複数のイントラ予測モードによるコスト値と の比較により前記符号化処理に供する最適モードを検出するイントラ ·インター モード判定のステップとを有するようにする。
これにより本発明の構成によれば、 コスト関数により最適モードを検出して画 像データを符号化処理する場合に、 簡易な処理により最適モードを検出すること ができる符号化方法のプログラムを記録した記録媒体を提供することができる。 本発明によれば、 コスト関数により最適モードを検出して画像データを符号化 処理する場合に、 簡易な処理により最適モードを検出することができる。 図面の簡単な説明 ' 第 1図は、 A V C方式の符号化装置を示すプロック図である。
第 2図は、 A V C方式の復号化装置を示すプロック図である。
第 3図は、 A V C方式の参照フレームの説明に供する略線図である。
第 4図は、 AV C方式の動き補償の説明に供する略線図である。
第 5図は、 AV C方式の動き捕償精度の説明に供する略線図である。
第 6図は、 色差信号の動き補償の説明に供する略線図である。
第 7図は、 サブマクロブロックに係る動きべクトルの予測値の説明に供する略 線図である。 .
第 8図は、 他の例による動きべクトルの予測値の説明に供する略線図である。 第 9図は、 テンポラルダイレクトモードの説明に供する略線図である。
第 1 0図は、 本発明の実施例 1に係る符号化装置を示すブロック図である。 第 1 1図は、 見込み値の計算の説明に供する平面図である。
第 1 2図は、 一次関数による見込み値の計算に供する略線図である。
第 1 3図は、 第 1 0図の符号化装置における最適モード検出の処理手順を示す フローチャートである。 発明を実施するための最良の形態
以下、 適宜図面を参照しながら本発明の実施例を詳述する。
( 1 ) 実施例の構成
第 1 0図は、 本発明の実施例に係る符号化装置を示すブロック図である。 この 符号化装置 4 0において、 第 1図について上述した符号化装置 1と同一の構成は 、 対応する符号を付して示し、 重複した説明は省略する。
これによりこの符号化装置 4 0において、 イントラ予測回路 5は、 輝度信号の 全てのイントラ予測モードについて、 マクロブロック単位で、 （1 3 ) 式につい て上述したコスト関数によるコスト値 C o s t (M o d e ) を計算する。 なおこ のようにして計算されるイントラ予測モードは、 4 X 4予測モード、 1 6 X 1 6 予測モードの全てのモードである。 イントラ予測回路 5は、 この計算した全ての 予測モードのコスト値をイントラ 'インターモード判定回路 4 5に通知する。 ま たこのコスト値の通知によりこのイントラ ·インターモード判定回路 4 5力 らィ ントラ符号化が指示されて最適モードが指示されると、 この最適モードにより輝 度信号の予測値を生成して減算回路 4に出力する。 また色差信号について、 コス ト値の計算、 比較により最適モードを検出し、 この最適モードにより色差信号の 予測値を減算回路 4に出力する。
動き予測 '補償回路 41は、 フレームメモリ 16に保持された参照画像情報に よる予測フレーム （参照フレーム） を基準にして画面並べ替えバッファ 3から出 力される画像データの動きベクトルを検出する。 またこの検出した動きベク トル による補償位置によりフレームメモリ 1 6に保持した参照画像情報を動き補償し てコスト値を計算すると共に、 このコスト値より最小値を検出することにより、 ダイレクトモードを除くインター予測の最適モードを検出する。 またインタ一予 測により符号化処理を実行する場合、 この最適モードにより予測画像情報を生成 し、 この予測画像情報による予測値を減算回路 4に出力する。
すなわち動き予測 ·補償回路 4 1において、 粗動き予測回路 42は、 全てのィ ンター予測モードについて、 整数画素精度により動きベク トルを検出し、 この動 きべクトルによる粗の動き補償位置のコスト値を計算する。 具体的に粗動き予測 回路 42は、 輝度信号の全てのインター予測モードについて、 1画素の精度によ り動き捕正して動きベクトルを検出する。 なお全てのインター予測モードは、 ダ ィレクトモードを除く各モードであり、 これにより粗動き予測回路 42は、 全て の参照フレーム、 マクロブロック及びサブマクロブロックによる全ての動き補償 ブロック、 前方向予測、 後方向予測、 双方向予測の全ての予測方向の組み合わせ について、 動き予測して整数画素精度の動きべクトルを検出する。
粗動き予測回路 42は、 この整数画素精度による動きベク トルを用いて、 マク ロブロック単位で、 全てのインター予測モードについて、 （13) 式について上 述したコス ト関数によるコス ト値 C 0 s t (Mo d e) を計算して出力する。 な おここでこの場合、 コスト値は次式により表される。 なお以下において、 この粗 の動き補償位置によるコスト値を、 適宜、 粗のコスト値と呼ぶ。
Cost_int (Mode) = SA(T)D + QP2Quant - MV_intBit (Mode) …… (24) ここで MV intBit (Mode) は、 第 7図及び第 8図について上述した予測動きべク トル pmv により動きベク トルの情報の伝送に供する符号量であり、 この符号量の 計算には、 周辺ブロックの動きべクトル値から予測動きべクトル pmv を生成する ことが必要になる。 この場合に第 8図における隣接プロック A〜Cがマクロブロ ックである場合、 これら隣接プロック A〜Cでは最適モードが検出されて既に符 号化処理されていることにより、 予測動きベクトル pmv を設定することができる しかしながらこれら隣接ブロック A〜Cが、 処理対象のプロック Eと同一のマ クロブロックに属している場合、 ここではこれら隣接プロック A〜Cにあっては 未だ最適モードを判定していないことにより動きべクトルが未だ確定していない ことになる。 これによりこの場合、 処理対象のブロックにおいて、 粗動き予測回 路 4 2により整数画素精度で検出される動きべクトル値 mv intX を予測動きべク トル pmv int に設定し、 これにより擬似的な予測動きべクトル pmv を生成してコ スト値 C o s t (M o d e ) を計算する。
さらに粗動き予測回路 4 2は、 このような粗の動き補償位置による粗のコスト 値と共に、 粗の動き埔償位置の周囲、 この粗の動き補償位置に係る動き補償精度 による周囲の補償位置について、 同様にしてコスト値を検出して出力する。 具体 的にこの実施例においては、 この動き補償精度が 1画素であることにより、 粗動 き予測回路 4 2は、 粗の動き補償位置に係る動きべクトルの X方向及び Y方向成 分について、 値を ± 1画素だけ変化させて、 同様に動き補償し、 コスト値 C o s t (M o d e ) を計算する。
インターモード判定回路 4 3は、 この粗動き予測回路 4 2で検出される粗の動 き補償位置によるコスト値に基づいて、 1画素以下の精度によりコスト値が最小 値となる動き補償位置におけるコスト値の見込み値を計算し、 複数のインタ一予 測モードにおけるこの見込み値の比較により、 複数のィンター予測モードにおけ る最適モードを検出する。 すなわち第 1 1図に示すように、 このように粗の動き 捕償位置 E及びその周囲の補償位置 A〜D、 F〜 Iにおけるコスト値 C 0 s t ( M o d e ) を C o s t i n t (X) ： X = A〜 Iで表すとして、 次式の関係式 が成立する場合、 1 4画素精度により動き予測した場合のコスト値最小の点は 、 補償位置 Bと粗の動き捕償位置 Eとの間に存在すると判断される。 Cost_int (B)< Cost— int(H) (25) これによりインターモード判定回路 4 3は、 このような粗の動き補償位置によ るコスト値と周囲の補償位置によるコスト値とから、 コスト値の見込み値を計算 する。 具体的にインターモード判定回路 4 3は、 粗の動き補償位置 Eと、 粗の動 き補償位置 Eを間に挟んで対向する 2つの周囲の補償位置とを結ぶ方向について 、 極小点で傾きの符号が切り換わる一次関数によりコスト儘の変化を表してコス ト値の極小値を検出し、 このコスト値の極小値に基づいて見込み値を検出する。 すなわちこの場合、 粗の動き補償位置 Eを通る水平方向、 垂直方向、 斜め方向 の 4方向について、 このような粗の動き補償位置 Eと、 粗の動き補償位置 Eを間 に挟んで対向する 2つの周囲の補償位置とを結ぶ方向を設定できる。 ここでは、 第 1 2図に示すように、 これら 4方向の各方向について、 コスト値最小の点を一 次関数による直線近似により検出する。 すなわちインターモード判定回路 4 3は 、 例えば垂直方向については、 周囲の補償位置 Bのコスト値 C o s t i n t (B ) と対向する補償位置 Hのコスト値 C o s t i n t (H) とを比較して値の大 きなコス ト値を選択することにより、 コスト最小の点が、 粗の動き補償位置 Eの 点 B側に存在するか、 粗の動き捕償位置 Eの点 H側に存在するかを判定する。 またこのようにして選択した値の大きな側のコスト値 C o s t i n t (H) と、 粗の動き補償位置 Eのコス ト値 C o s t i n t (E) とを結ぶ直線 L Iの 傾きひ 1を検出する。 インターモード判定回路 4 3は、 この傾き 1の符号を切 り換えた傾き α 2 ( = - 1 ) により値の小さな側のコスト値 C o s t i n t (B) を通る直線 L 2と、 コス ト値 C o s t i n t (H) とコス ト値 C o s t i n t (E) とを通る直線 L 1との交点により、 この垂直方向についてのコス ト値の最小値 C o s t i n t (BH) を検出する。
なおこのようなコスト値の最小値の検出にあっては、 一次関数を用いた直線近 似による方法に代えて、 例えば 2次関数を用いた近似により検出する場合等、 種 々の極小値検出手法を広く適用することができる。 なお 2次関数の近似により検 出する場合、 これら 3つの点 B、 E、 Hの連続する方向を x、 これら 3つの点 B 、 E、 Hのコス ト値を yとおいて、 これら X及び yを次式の関係式に代入して得 られる 3次の連立方程式を解いて係数 a、 b、 cを求めて 2次曲線式を得、 この 2次曲線式から極小値を検出することにより実行することができる。 y = ax' +bx + c (26) インターモード判定回路 43は、 このようにして粗の動き補償位置 Eを通る水 平方向、 垂直方向、 斜め方向の 4方向について、 それぞれコス ト値の最小値 C o s t i n t (DF) 、 C o s t i n t (BH) 、 C o s t i n t (A I) 、 C o s t i n t (CG) を求め、 次式の演算処理により、 この 4つのコスト 値の最小値からさらに最小値を検出することにより、 当該モードに対するコスト 値の見込み値 C o s t e s t (Mo d e) を検出する。 なおこのような 4方向 によるコス ト値最小値の処理による見込み値 C o s t e s t (Mo d e) の計 算に代えて、 3方向によりコスト値最小値を処理して見込み値 C o s t e s t (Mo d e) を計算するようにしてもよい。 なおこの場合、 例えば垂直方向及び 水平方向においてコスト値が最小値となる位置に応じて、 2つの斜め方向の何れ かの方向についてのみコス ト値の最小値を検出すること等が考えられる。 また実 用上十分な精度を確保できる場合には、 粗の動き補償位置と、 対向する 2つの周 囲の補償位置とを結ぶ直線が直交する関係にある組み合わせだけで見込み値を検 出するようにしてもよい。
Cost_est ( Mode)
r Ί
= min{ Cost— est (BH), Cost— est (DF), Cost_est ( A I ) , Cost— est (CG)j …… （27) インターモード判定回路 43は、 このようにして得られる各予測モードに係る コス ト値の見込み値 C o s t e s t (Mo d e) の比較により、 最も見込み値 C o s t e s t (Mo d e) の小さな予測モードを判定し、 イントラ予測に係 る最適モードを検出する。 なおこの最適モードの検出にあっては、 第 3図につい て上述した参照フレーム、 第 4図について上述した大きさの異なる全ての動き補 償ブロック、 予測方向の組み合わせによるマクロブロック毎の最適モードである 。 インターモード判定回路 43は、 この判定結果を微動き予測回路 44に通知す る。 微動き予測回路 4 4は、 この通知に係る予測モードについてのみ、 第5図につ いて上述した 1 Z 4画素精度による動き予測の処理を実行し、 （1 3 ) 式により 真のコスト値を計算する。 またこのようにして検出される予測モードにより双方 向予測してダイレクトモードを適用可能な場合には、 1 / 4画素精度による動き 予測の処理を実行し、 （1 3 ) 式によりコスト値を計算する。 微動き予測回路 4 4は、 このようにして計算したコスト値をイントラ .インターモード判定回路 4 5に通知する。 またこのイントラ ·ィンターモード判定回路 4 5力ゝらィンタ一予 測による符号化が指示されると、 この指示による最適モードにより輝度信号及び 色差信号の予測値を生成して減算回路 4に出力する。
イントラ 'インターモード判定回路 4 5は、 次式の演算処理を実行することに より、 イントラ予測回路 5、 動き予測 ·補償回路 4 1から出力される各種のコス ト値より最も値の小さなコスト値を選択して最適モードを検出し、 イントラ予測 、 インター予測による符号化を判定する。 また判定結果によりインター予測によ り符号化処理する場合には、 対応する最適モードを動き予測 ·捕償回路 4 1の微 動き予測回路 4 4に通知し、 この微動き予測回路 4 4で検出された最適モードに よる予測値の出力、 またはダイレクトモードによる予測値の出力を指示する。 こ れに対してィントラ予測により符号化処理する場合には、 ィントラ予測に係る最 適モードをィントラ予測回路 5に通知して予測値の出力を指示する。
Best— Mode = argm i n ( Cost ( Mode ) )
Mode
Mode e { Best—I nter— Mode , D i rect—Mode , I ntra4x4 , I ntra16x16 } ( 2 8 ) しかして第 1 3図は、 これら最適モードの検出に係る符号化装置 4 0の一連の 処理手順を示すフローチャートである。 符号化装置 4 0は、 マクロブロック毎に この処理手順を実行してステップ S P 1からステップ S P 2に移り、 候捕となる インター予測モードの全てに対して整数画素精度による動き予測を実行し、 続く ステップ S P 3において、 ステップ S P 1の動き予測による整数画素精度による 動きべクトルを用いてそれぞれコスト値を計算する。 また続くステップ S P 4に おいて、 このコスト値を用いたコスト値の見込み値を上述したようにして算出し 、 続くステップ S P 5において、 このステップ S P 4の算出値より最小値を検出 して最適インター予測モードを検出する。 また続くステップ S P 6において、 こ の最適インター予測モードにより実際の F I Rフィルタを用いた捕間演算処理に よりコスト値を計算する。
また続くステップ S P 7において、 ダイレクトモード、 イントラ 4 X 4予測モ ード、 イントラ 1 6 X 1 6予測モードについてそれぞれ全てのモードでコス ト値 を計算し、 続くステップ S P 8において、 ステップ S P 6、 S P 7の計算による コスト値の比較により最適モードを選択した後、 ステップ S P 9に移って一連の 処理を終了する。
( 2 ) 実施例の動作
以上の構成において、 この符号化装置 4 0 (第 1 0図） において、 順次入力さ れるビデオ信号 S Vは、 アナログディジタル変換回路 2により画像データ D 1に 変換され、 この画像データ D 1が画面並べ替えバッファ 3により処理の順序に並 ベ替えられて減算回路 4に入力される。 ここで画像データ D 1は、 イントラ予測 、 インター予測による予測値との間で減算されて減算データ D 2が生成され、 こ の減算データ D 2が直交変換回路 7、 量子化回路 8、 可逆符号化回路 1 0で順次 処理されて符号化データ D 4に変換され、 この符号化データ D 4が例えば記録系 により記録媒体に記録される。 また量子化回路 8の出力データが、 画像データに 復号されてフレームメモリ 1 6に参照画像として記録され、 この参照画像より動 き予測 ·補償回路 4 1、 イントラ予測回路 5でインター予測、 イントラ予測の予 測値が生成される。
これら一連の処理において、 画像データ D 1は、 動き予測 '補償回路 4 1、 ィ ントラ予測回路 5において、 それぞれインター予測、 イントラ予測の各予測モー ドについて、 符号化効率を示すコス ト関数によりコス ト値が求められ、 イントラ 予測については、 各予測モードにおけるコス ト値の比較により、 最も符号化処理 に適した最適モードが検出される。 またインター予測についても、 同様にコス ト 値の比較により最適モードが検出され、 これら最適モードより、 イントラ 'イン ターモード判定回路 4 5において、 最終的に最適な予測モードが検出される。 こ れにより符号化装置 4 0では、 この最適な予測モードによりイントラ予測、 イン タ一予測の何れの予測方式により符号化処理するかが決定され、 イントラ予測に よる場合には、 ィントラ予測回路 5で最適モードによる予測値が生成されて減算 回路 4に出力される。 またインター予測による場合には、 動き予測 '補償回路 4 1で最適モードによる予測値が生成されて減算回路 4に出力される。 これらによ り符号化装置 4 0では、 符号化効率を示すコスト関数によるコスト値の比較によ り、 複数のイントラ予測モード、 複数のインター予測モードから最適モードがマ クロプロック毎に検出され、 この最適モードにより画像データ D 1を順次符号化 処理する。
しかしてこれらの処理において、 ィンター予測モードの最適モードを検出する 場合に、 本来のコス ト値を各予測モード毎に計算していたのでは、 1 4画素精 度の動き捕償に係る 6タップの F I Rフィルタを用いた演算処理が必要なことに より、 著しく演算処理が煩雑になる。
このためこの実施例においては、 このような F I Rフィルタを用いた演算処理 を必要としない整数画素精度により各予測モードのコス ト値が計算され、 このコ スト値に基づいてインター予測モードの最適モードが検出される。 またこの最適 モードについて、 1画素以下の精度によるコスト値を計算してイントラ予測モー ドとインター予測モードとの最適モードが検出される。 これによりこの実施例に おいては、 インター予測の最適モードについてだけ、 F I Rフィルタを用いて演 算処理を実行するだけで複数のィンター予測モードと複数のィントラ予測モード との最適モードを検出することができ、 その分、 コスト関数により最適モードを 検出して画像データを符号化処理する場合に、 簡易な処理により最適モードを検 出することができる。
すなわちこの符号化装置 4 0では、 粗動き予測回路 4 2において、 1画素の動 きべクトル検出精度により動きべクトルを検出し、 この動きべクトルによりコス 卜値がィンター予測モードの各予測モード毎に検出される。 またィンターモード 判定回路 4 3において、 この動きベクトルに係る粗の動き捕償位置によるコスト 値に基づいて、 複数のインター予測モードにおける最適モードが検出され、 微動 き予測回路 4 4において、 この最適モードについて、 1画素以下の精度により動 き補償してコスト値が計算される。 またこのインター予測によるコスト値と複数 のイントラ予測モードによるコスト値とがイントラ 'インターモード判定回路 4 5により判定されて最適モードが検出され、 これらにより 1画素以上の精度によ るコスト値に基づいてインター予測モードの最適モードが検出され、 この最適モ 一ドによる 1画素以下の精度によるコスト値によりイントラ予測モードとインタ —予測モードとの最適モードが検出される。
具体的にこれらの処理によりインター予測モードについては、 大きさの異なる 複数のプロックサイズ、 異なる参照フレーム、 前方向予測、 後方向予測及び双方 向予測の組み合わせによる符号化処理から最適なインター予測モードが検出され 、 この最適なインター予測モードのコスト値からイントラ予測モードとインター 予測モードとの最適モードが検出される。
より具体的に、 この符号化装置 4 0では、 インターモード判定回路 4 3におい て、 インター予測モード毎に、 粗の動き補償位置によるコス ト値に基づいて、 1 画素以下の精度によりコスト値が最小値となる動き捕償位置におけるコスト値の 見込み値が計算され、 またこの見込み値の比較により、 複数のインター予測モー ドにおける最適モードが検出される。 これによりこの実施例においては、 1画素 以上の画素精度によるコスト値から 1画素以下の動き補償精度によるコスト値を 検出する場合に、 実用上十分な精度を確保できるようにこの見込み値の算出に供 する演算処理を種々に設定して簡易な処理によりインター予測モードの最適モー ドを検出することができ、 その分、 全体としての演算処理を簡略化することがで 、 さる。
またこのように 1画素以上の画素精度によるコスト値から 1画素以下の動き補 償精度によるコスト値を検出する場合に、 この実施例では粗の動き予測回路 4 2 により、 粗の動き補償位置によるコス ト値と共に、 この粗の動き補償位置の周囲 の補償位置でコス ト値を計算し、 インターモード判定回路 4 3により、 この粗の 動き補償位置によるコスト値と、 周囲の補償位置のコスト値とから見込み値を計 算するように構成され、 これにより動き補償位置によるコスト値の変化を反映さ せて見込み値を検出して、 本来のコスト値により最適モードとして検出されるィ ンター予測モードを正確に検出することができる。
またインターモード判定回路 4 3において、 粗の動き補償位置と、 粗の動き補 償位置を間に挟んで対向する 2つの周囲の補償位置とを結ぶ方向について、 極小 点で傾きの符号が切り換わる一次関数によりコスト値の変化を表してコスト値の 極小値を検出し、 このコスト値の極小値に基づいて見込み値を検出することによ り、 簡易な処理により実用上十分な精度で最適モードを検出することができる。 またこのような一次関数を用いた見込み値の検出に代えて、 二次関数を用いて 見込み値を検出するようにすれば、 さらに一段と高い精度により最適モードを検 出することができる。
またこのような対向する 2つの周囲の補償位置を切り換えて、 極小値を複数検 出し、 この複数の極小値の最小値より、 見込み値を検出することによつても、 一 段と高い精度により最適モードを検出することができる。
また実用上十分な精度を確保できる場合には、 例えばこのような粗の動き補償 位置と、 対向する 2つの周囲の補償位置とを結ぶ直線が直交する関係にある組み 合わせ間で対向する 2つの周囲の捕償位置を切り換えて、 極小値を複数検出する ようにすれば、 一段と簡易な処理により最適モードを検出することができる。 またこのようにして 1画素精度によりコスト値を計算する場合に、 この実施例 では、 隣接する動き補償ブロックと処理対象の動き補償ブロックとが同一のマク ロブロックである場合、 粗の動き補償位置に係る動きべクトルを予測動きべクト ルに設定してコスト値を計算することにより、 一段と処理を簡略化することがで さる。
すなわちこの場合、 既に符号化処理された隣接する動き補償ブロックの動きべ クトルにより予測動きべクトルを設定し、 この予測動きべクトルを基準にして動 きベク トルの情報を伝送することにより、 本来ならば、 この隣接する動きネ膚償ブ ロックに設定が予測される全ての動きべクトルについて予測動きべクトルを設定 してコスト値を計算することが必要になる。 しかしながらこのようにすると、 コ スト値の計算回数が指数関数的に増大することになる。 これによりこの場合、 粗 の動き補償位置に係る動きべク トルを予測動きべク トルに設定してコスト値を計 算することにより、 実用上十分な精度を確保して一段と処理を簡略化することが できる。
( 3 ) 実施例の効果
以上の構成によれば、 整数画素精度によるコスト値に基づいてインター予測モ 一ドの最適モードを検出し、 この最適モードについて 1画素以下の精度によるコ スト値を計算してィントラ予測モードとインター予測モードとの最適モードを検 出することにより、 コスト関数により最適モードを検出して画像データを符号化 処理する場合に、 簡易な処理により最適モードを検出することができる。
これによりこれらインター予測モードが、 大きさの異なる複数のブロックサイ ズにより動き捕償するインター予測符号化処理である場合、 異なる参照フレーム を用いて動き補償するィンター予測符号化処理である場合、 さらには前方向予測 、 後方向予測及び双方向予測によるインター予測符号化処理である場合に、 簡易 な処理により最適モードを検出することができる。
またこのとき、 インター予測モード毎に、 粗の動き補償位置によるコスト値に 基づいて、 1画素以下の精度によりコスト値が最小値となる動き補償位置におけ るコスト値の見込み値を計算し、 複数のインター予測モードにおける見込み値の 比較により、 複数のィンター予測モードにおける最適モードを検出することによ り、 この見込み値の算出に供する演算処理を種々に設定して簡易な処理によりィ ンター予測モードの最適モードを検出することができ、 その分、 全体としての演 算処理を簡略化することができる。
より具体的には、 粗の動き補償位置によるコス ト値と共に、 粗の動き補償位置 の周囲の捕償位置でコスト値を計算し、 この粗の動き補償位置によるコスト値と
、 周囲の補償位置のコス ト値とから見込み値を計算することにより、 動き補償位 置によるコス ト値の変化を反映させて見込み値を検出して、 本来のコス ト値によ り最適モードとして検出されるインター予測モードを正確に検出することができ る。
またインターモード判定回路 4 3において、 粗の動き補償位置と、 粗の動き補 償位置を間に挟んで対向する 2つの周囲の補償位置とを結ぶ方向について、 極小 点で傾きの符号が切り換わる一次関数によりコスト値の変化を表してコスト値の 極小値を検出し、 このコスト値の極小値に基づいて見込み値を検出することによ り、 簡易な処理により実用上十分な精度で最適モードを検出することができる。 また一次関数に代えて、 二次関数を用いて見込み値を検出することにより、 一 段と高い精度により最適モードを検出することができる。 またこのような対向する 2つの周囲の補償位置を切り換えて、 極小値を複数検 出し、 この複数の極小値の最小値より、 見込み値を検出することにより、 一段と 高い精度により最適モ^"ドを検出することができる。
またこのような切り換えを、 粗の動き補償位置と、 対向する 2つの周囲の補償 位置とを結ぶ直線が直交する関係にある組み合わせ間で実行するようにすれば、 一段と簡易な処理により最適モードを検出することができる。
しかしてこのようにして得られる見込み値から最小値でなる見込み値のィンタ 一予測モードを検出することにより、 簡易な処理により複数のィンター予測モー ドにおける最適モードを検出することができる。
またこのようなコスト値の計算に供するコスト関数が、 原画像と予測画像との 誤差値に対して、 動きベク トルの伝送に供する符号量を与える関数であり、 この 動きべクトルの伝送が、 既に符号化処理された隣接する動き捕償ブロックの動き ベタトルにより予測動きべクトルを設定し、 この予測動きべクトルを基準にした 動きべクトルの伝送である場合に、 隣接する動き補償ブロックと処理対象の動き 補償ブロックとが同一のマクロブロックである場合、 粗動き補償回路で検出され る粗の動き補償位置に係る動きべクトルを予測動きべクトルに設定してコスト値 を計算することにより、 一段と処理を簡略化することができる。
( 4 ) 他の実施例
なお上述の実施例においては、 1画素精度の粗の動き補償位置によりコスト値 を計算してインター予測モードの最適モードを検出する場合について述べたが、 本発明はこれに限らず、 実用上十分な精度を確保できる場合には 2画素以上の整 数画素精度により粗のコスト値を計算するようにしてもよレ、。
また上述の実施例においては、 6タップの F I Rフィルタを用いて輝度信号を 1 / 4画素精度により動き補償する場合について述べたが、 本発明はこれに限らず 、 種々のタップ数の F I Rフィルタにより 1画素以下の精度により動き補償する 場合、 さらには、 色差信号を同様に動き補償する場合等を広く適用することがで ぎる。
また上述の実施例においては、 A V Cにおける L o w C o m p l e x i t y M o d eに本発明を適用する場合について述べたが、 本発明はこれに限らず、 H i g h C o m p l e x i t y M o d eに適用するようにしてもよい。
また上述の実施例においては、 本発明を A V Cによる符号化装置に適用する場 合について述べたが、 本発明はこれに限らず、 符号化効率を示すコスト関数によ るコスト値の比較により、 複数のイントラ予測モード、 複数のインター予測モー ドから最適モードをマクロプロック毎に検出して画像データを符号化処理する場 合に広く適用することができる。
また上述の実施例においては、 本発明をハードウエアの構成に適用する場合に ついて述べたが、 本発明はこれに限らず、 画像データをソフトウェアにより処理 する場合にも適用することができる。 なおこのようなソフトウェアに係る符号化 処理、 復号化処理のプログラムにおいては、 例えばインターネット等のネットヮ ークにより提供する場合、 光ディスク、 磁気ディスク、 メモリカード等、 種々の 記録媒体により提供する場合に、 広く適用することができる。 産業上の利用可能性
本発明は、 符号化装置、 符号化方法、 符号化方法のプログラム及び符号化方法 のプログラムを記録した記録媒体に関し、 動画による撮像結果を記録するビデオ カメラ、 電子スチルカメラ、 監視装置等に適用することができる。

Claims

請求の範囲
1 . 符号化効率を示すコスト関数によるコスト値の比較により、 複数のイントラ 予測モード及び複数のィンター予測モードから符号化処理に供する最適モードを マクロブロック毎に検出し、 前記最適モードにより画像データを符号化処理する 符号化装置において、 '
前記インター予測モード毎に、 整数画素精度により動きベク トルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗動き予測回 路と、
前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するィンターモード判定回路と、
前記インターモード判定回路により検出される最適モードについて、 1画素以 下の精度により動き捕償して前記コスト値を計算する微動き予測回路と、
前記微動き予測回路によるコスト値と、 前記複数のィントラ予測モードによる コスト値との比較により前記符号化処理に供する最適モードを検出するイントラ 'インターモード判定回路と
を備えることを特徴とする符号化装置。
2 . 前記複数のインター予測モードが、
大きさの異なる複数のブロックサイズにより動き補償するインタ一予測符号化 処理である
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
3 . 前記複数のインター予測モードが、
異なる参照フレームを用いて動き補償するィンタ一予測符号化処理である ことを特徴とする請求の範囲第 1項に記載の符号化装置。
4 . 前記複数のィンター予測モードが、
前方向予測、 後方向予測及び双方向予測によるィンター予測符号化処理である ことを特徴とする請求の範囲第 1項に記載の符号化装置,
5 . 前記インターモード判定回路は、
前記インター予測モード毎に、 前記粗の動き補償位置によるコスト値に基づい て、 1画素以下の精度により前記コスト値が最小値となる動き補償位置における 前記コスト値の見込み値を計算し、
前記複数のィンター予測モードにおける前記見込み値の比較により、 前記複数 のィンター予測モードにおける最適モードを検出する
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
6 . 前記粗動き予測回路は、
前記インター予測モード毎に、 前記粗の動き補償位置によるコスト値と共に、 前記粗の動き補償位置の周囲の補償位置で前記コスト値を計算し、
前記ィンターモード判定回路は、
前記インター予測モード毎に、 前記粗の動き補償位置によるコス ト値と、 前記 周囲の補償位置のコスト値とから前記見込み値を計算する
ことを特徴とする請求の範囲第 5項に記載の符号化装置。
7 . 前記インターモード判定回路は、
前記粗の動き補償位置と、 前記粗の動き補償位置を間に挟んで対向する 2つの 前記周囲の補償位置とを結ぶ方向について、 極小点で傾きの符号が切り換わる一 次関数により前記コスト値の変化を表して前記コスト値の極小値を検出し、 前記 コスト値の極小値に基づいて前記見込み値を検出する
ことを特徴とする請求の範囲第 6項に記載の符号化装置。
8 . 前記インターモード判定回路は、
前記粗の動き捕償位置と、 前記粗の動き補償位置を間に挟んで対向する 2つの 前記周囲の捕償位置とを結ぶ方向について、 二次関数により前記コスト値の変化 を表して前記コスト値の極小値を検出し、 前記コスト値の極小値に基づいて前記 見込み値を検出する
ことを特徴とする請求の範囲第 6項に記載の符号化装置。
9 . 前記ィンターモード判定回路は、
前記対向する 2つの周囲の補償位置を切り換えて、 前記極小値を複数検出し、 .前記複数の極小値の最小値より、 前記見込み値を検出する
ことを特徴とする請求の範囲第 7項に記載の符号化装置。
1 0 . 前記インターモード判定回路は、
前記対向する 2つの周囲の補償位置を切り換えて、 前記極小値を複数検出し、 前記複数の極小値の最小値より、 前記見込み値を検出する
ことを特徴とする請求の範囲第 8項に記載の符号化装置。
1 1 . 前記対向する 2つの周囲の補償位置の切り換えが、
前記粗の動き捕償位置と、 前記対向する 2つの前記周囲の補償位置とを結ぶ直 線が直交する関係にある組み合わせ間での切り換えである
ことを特 とする請求の範囲第 9項に記載の符号化装置。
1 2 . 前記対向する 2つの周囲の補償位置の切り換えが、
前記粗の動き捕償位置と、 前記対向する 2つの前記周囲の補償位置とを結ぶ直 線が直交する関係にある組み合わせ間での切り換えである
ことを特徴とする請求の範囲第 1 0項に記載の符号化装置。
1 3 . 前記インターモード判定回路は、
前記複数のィンター予測モードの前記見込み値から最小値でなる見込み値のィ ンター予測モードを検出することにより、 前記複数のィンター予測モードにおけ る最適モードを検出する
ことを特徴とする請求の範囲第 5項に記載の符号化装置。
1 4 . 前記コスト関数が、
原画像と予測画像との誤差値に対して、 動きべクトルの伝送に供する符号量を 与える関数であり、
前記動きべクトルの伝送が、
既に符号化処理された隣接する動き補償ブロックの動きべクトルにより予測動 きべクトルを設定し、 前記予測動きべクトルを基準にした動きべクトルの伝送で あり、
前記粗動き補償回路は、
前記隣接する動き補償プロックと処理対象の動き補償プロックとが同一のマク ロブ口ックである場合、 前記粗動き予測回路で検出される粗の動き補償位置に係 る動きべクトルを前記予測動きべクトルに設定して前記コスト値を計算する ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 5 . 前記微動き予測回路は、
所定タップ数の F I Rフィルタを用いて 1 / 4画素精度により動き補償して前 記コスト値を計算する
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 6 . 前記複数のィントラ予測モードが、
イントラ 4 X 4予測モード及びィントラ 1 6 X 1 6予測モードである
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 7 . 符号化効率を示すコスト関数によるコスト値の比較により、 複数のイント ラ予測モード及び複数のィンター予測モードから符号化処理に供する最適モード をマクロプロック毎に検出し、 前記最適モードにより画像データを符号化処理す る符号化方法において、
前記インター予測モード毎に、 整数画素精度により動きベク トルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗コスト値計 算ステップと、 前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するインターモードの判定ステップと、
前記インターモードの判定ステップで検出される最適モードについて、 1画素 以下の精度により動き補償して前記コスト値を計算する微コスト値計算ステップ と、
前記コスト値計算ステップによるコスト値と、 前記複数のイントラ予測モード によるコスト値との比較により前記符号化処理に供する最適モードを検出するィ ントラ ·インターモード判定のステップとを有する
ことを特徴とする符号化方法。
1 8 . 符号化効率を示すコスト関数によるコスト値の比較により、 複数のイント ラ予測モード、 複数のインター予測モードから最適モードをマクロブロック毎に 検出する最適モード検出のステップと、
前記最適モードにより画像データを符号化処理する符号化処理のステップとを 有する符号化方法のプログラムにおいて、
前記最適モード検出のステップは、
前記インター予測モード毎に、 整数画素精度により動きベク トルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗コスト値計 算ステップと、
前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するインターモードの判定ステップと、
前記インターモードの判定ステップにより検出される最適モードについて、 1 画素以下の精度により動き補償して前記コスト値を計算する微コスト値計算ステ ップと、
前記微コスト値計算ステップによるコスト値と、 前記複数のイントラ予測モー ドによるコスト値との比較により前記符号化処理に供する最適モードを検出する イントラ 'インターモード判定のステップとを有する
ことを特^ ¾とする符号ィ匕方法のプログラム。
1 9 . 演算処理手段により実行される符号化方法のプログラムを記録した記録媒 体において、
前記符号化方法のプログラムは、
符号化効率を示すコスト関数によるコスト値の比較により、 複数のイントラ予 測モード、 複数のインター予測モードから最適モードをマクロプロック毎に検出 する最適モード検出のステップと、
前記最適モードにより画像データを符号化処理する符号化処理のステップとを 有し、
前記最適モード検出のステップは、
前記インター予測モード毎に、 整数画素精度により動きべクトルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗コスト値計 算ステップと、
前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するィンターモードの判定ステップと、
前記インターモードの判定ステップにより検出される最適モードについて、 1 画素以下の精度により動き補償して前記コスト値を計算する微コスト値計算ステ ップと、
前記微コスト値計算ステップによるコスト値と、 前記複数のイントラ予測モー ドによるコスト値との比較により前記符号化処理に供する最適モードを検出する イントラ .インターモード判定のステップとを有する
ことを特徴とする符号化方法のプログラムを記録した記録媒体。
PCT/JP2005/016571 2004-09-28 2005-09-02 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 WO2006035584A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20050778334 EP1802125A1 (en) 2004-09-28 2005-09-02 Encoder, encoding method, program of encoding method and recording medium wherein program of encoding method is recorded

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004280843A JP2006100871A (ja) 2004-09-28 2004-09-28 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2004-280843 2004-09-28

Publications (1)

Publication Number Publication Date
WO2006035584A1 true WO2006035584A1 (ja) 2006-04-06

Family

ID=36118737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016571 WO2006035584A1 (ja) 2004-09-28 2005-09-02 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Country Status (5)

Country Link
EP (1) EP1802125A1 (ja)
JP (1) JP2006100871A (ja)
KR (1) KR20070057212A (ja)
CN (1) CN101032173A (ja)
WO (1) WO2006035584A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073937A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra prediction for multi-hypothesis

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908180B2 (ja) 2006-12-20 2012-04-04 株式会社東芝 動画像符号化装置
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
US8228991B2 (en) 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
CN101867818B (zh) * 2008-06-06 2012-08-29 浙江大学 宏块模式的选择方法和装置
JP2009027762A (ja) * 2008-11-07 2009-02-05 Renesas Technology Corp 動き補償画像符号化装置及び符号化方法
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
KR101377530B1 (ko) 2009-08-21 2014-03-27 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101441863B1 (ko) * 2009-11-25 2014-09-23 에스케이텔레콤 주식회사 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체
WO2011075096A1 (en) * 2009-12-15 2011-06-23 Thomson Licensing Method and apparatus for bi-directional prediction within p-slices
JP6342116B2 (ja) * 2010-07-15 2018-06-13 シャープ株式会社 イントラ予測モード推定装置
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
CN105812829B (zh) * 2016-03-10 2018-11-02 福州瑞芯微电子股份有限公司 一种向量场外插的错误隐藏方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110927A (ja) * 1991-10-11 1993-04-30 Sony Corp 画像の動きベクトル検出装置
JPH06326980A (ja) * 1993-04-08 1994-11-25 Sony United Kingdom Ltd 動き補償映像信号処理方式
JPH09187013A (ja) * 1995-12-28 1997-07-15 Sony Corp 動きベクトル検出装置および方法
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP2003284091A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2004241957A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像処理装置および符号化装置とそれらの方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110927A (ja) * 1991-10-11 1993-04-30 Sony Corp 画像の動きベクトル検出装置
JPH06326980A (ja) * 1993-04-08 1994-11-25 Sony United Kingdom Ltd 動き補償映像信号処理方式
JPH09187013A (ja) * 1995-12-28 1997-07-15 Sony Corp 動きベクトル検出装置および方法
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP2003284091A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2004241957A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像処理装置および符号化装置とそれらの方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Joint Model Number 1, Revision 1(JM-1rl).", 3 December 2001 (2001-12-03) - 7 December 2001 (2001-12-07), pages 54 - 61, XP002993312 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073937A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra prediction for multi-hypothesis

Also Published As

Publication number Publication date
CN101032173A (zh) 2007-09-05
EP1802125A1 (en) 2007-06-27
KR20070057212A (ko) 2007-06-04
JP2006100871A (ja) 2006-04-13

Similar Documents

Publication Publication Date Title
WO2006035584A1 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP3879741B2 (ja) 画像情報符号化装置および画像情報符号化方法
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
RU2665877C2 (ru) Способ и устройство обработки изображения
JP5018085B2 (ja) 動き予測補償方法及び動き予測補償装置
US20110176614A1 (en) Image processing device and method, and program
US11758179B2 (en) Image encoding method, image encoding device, image decoding method, and image decoding device
KR20050074286A (ko) 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램
US20090092189A1 (en) Movement prediction method and movement prediction apparatus
JP2010028220A (ja) 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム
JP2004241957A (ja) 画像処理装置および符号化装置とそれらの方法
JP2007251815A (ja) 再符号化装置及び再符号化用プログラム
JP2003348595A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4281667B2 (ja) 画像符号化装置
JP4561701B2 (ja) 動画像符号化装置
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5946980B1 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
WO2023101990A1 (en) Motion compensation considering out-of-boundary conditions in video coding
JP5750191B2 (ja) 画像復号化方法
WO2023141177A1 (en) Motion compensation considering out-of-boundary conditions in video coding

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 200580032895.6

Country of ref document: CN

Ref document number: 1020077007028

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005778334

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005778334

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2005778334

Country of ref document: EP