JP4250638B2 - 動画像符号化装置及びその方法 - Google Patents
動画像符号化装置及びその方法 Download PDFInfo
- Publication number
- JP4250638B2 JP4250638B2 JP2006182776A JP2006182776A JP4250638B2 JP 4250638 B2 JP4250638 B2 JP 4250638B2 JP 2006182776 A JP2006182776 A JP 2006182776A JP 2006182776 A JP2006182776 A JP 2006182776A JP 4250638 B2 JP4250638 B2 JP 4250638B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- prediction
- signal
- encoding
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
Description
本発明は、フレーム内予測及びフレーム間予測を用いて映像信号を符号化する動画像符号化装置及びその方法に関する。
多くの動画像符号化方式においては、動画像の時間的相関や空間的相関を利用して予測信号を生成し、予測残差信号及び予測信号生成に必要な情報を符号化することで、効率のよい符号化を実現している。
ＭＰＥＧ−１、ＭＰＥＧ−２などにおいては、動画像の時間的相関に基づいて、符号化済みフレームの画素値から動き補償を行って予測信号を生成するフレーム間予測符号化が用いられている。但し、シーンチェンジなど動き補償の精度の高くない場合には、画素値を直接符号化するフレーム内符号化が用いられる。
また、フレーム間予測符号化に加えて、画像の空間的相関に基づいて、フレーム内の近接画素値から予測信号を生成するフレーム内予測符号化を用いることで符号化効率をさらに高めることができる。
例えば、Ｈ．２６４においては、フレーム内予測符号化による予測信号生成のために、輝度信号、色差信号それぞれについて、複数の予測モードが提供されている。
特許文献１は、符号化によって発生する歪及び符号量からコストを計算することで、フレーム間予測符号化とフレーム内予測符号化とのどちらを用いるかを選択し、符号化効率を向上させている。
特許文献２は、フレーム内予測信号を生成する前に、フレーム間予測符号化を用いるかフレーム内予測符号化を用いることかを決定することで、処理量の削減を図っている。
特開２００３−２３０１４９公報
特開２００５−２４４７４９公報
特許文献１の方法を用いることで、高い符号化効率が実現できる。しかし、処理量が膨大になるという問題点がある。特に、Ｈ．２６４などにおいては、フレーム内予測符号化として多くの予測モードが提供されているため、フレーム内予測信号の生成や好適なフレーム内予測方式の選択などに必要な処理量が多い。
特許文献２の方法を用いることで処理量の削減が実現できる。しかし、誤った選択により符号化効率が低下してしまう場合がある。
そこで本発明の目的は、符号化効率を低下させずに、符号化方式決定のために必要な処理量を削減する動画像符号化装置及びその方法を提供することである。
本発明は、フレーム間予測及びフレーム内予測を用いて動画像の入力信号を符号化する動画像符号化装置であって、前記フレーム間予測によって生成された予測信号に基づいて、前記フレーム間予測を用いた場合の符号化効率を表す第１評価値を見積る第１評価値見積り手段と、色差信号に関するフレーム内予測の予測モードである色差予測モードの各々を用いたフレーム内予測によって生成された色差予測信号に基づいて、前記各色差予測モードの符号化効率を表す評価値を見積り、最も効率の良い色差予測モードとその評価値である第２評価値を求める第２評価値見積り手段と、前記第１評価値と前記第２評価値とを比較して、前記第１評価値と前記第２評価値とのいずれが良いかを判定する第１比較手段と、前記第１比較手段が前記第１評価値の方が良いと判定した場合に、前記フレーム間予測を選択する第１選択手段と、前記第１比較手段が前記第２評価値の方が良いと判定した場合に、輝度信号に関するフレーム内予測の予測モードである輝度予測モードの各々を用いたフレーム内予測によって生成された輝度予測信号に基づいて、前記各輝度予測モードの符号化効率を表す評価値を見積り、最も符号化効率のよい輝度予測モードとその評価値である第３評価値を求める第３評価値見積り手段と、前記第２評価値及び第３評価値の和と前記第１評価値とを比較して、前記和と前記第１評価値とのいずれが良いかを判定する第２比較手段と、前記第２比較手段が前記第１評価値の方が良いと判定した場合には、前記フレーム間予測を選択する第２選択手段と、前記第２比較手段が前記和の方が良いと判定した場合には、前記最も効率の良い色差予測モード及び前記最も効率の良い輝度予測モードを用いたフレーム内予測を選択する第３選択手段と、前記第１選択手段、前記第２選択手段、または、前記第３選択手段のいずれかにより選択された予測方式により予測符号化を行う符号化手段と、を備えたことを特徴とする動画像符号化装置である。
本発明によれば、符号化効率を低下させることなく、輝度信号のフレーム内予測符号化処理を行う回数を低減し、符号化方式決定のために必要な処理量を削減することができる。
本発明の実施形態の動画像符号化装置について図面に基づいて説明する。
（第１の実施形態）
第１の実施形態の動画像符号化装置について、図１から図７と図９に基づいて説明する。
第１の実施形態の動画像符号化装置について、図１から図７と図９に基づいて説明する。
（１）動画像符号化装置の構成
図９は、本実施形態に係る動画像符号化装置の構成例を示すブロック図である。
図９は、本実施形態に係る動画像符号化装置の構成例を示すブロック図である。
差分部１は、セレクタ９から出力された予測信号を入力信号から減算して、予測残差信号を出力する。
ＤＣＴ／量子化部２は、差分部１から出力された予測残差信号にＤＣＴを施し、量子化を行って出力する。
可変長符号化部３は、ＤＣＴ／量子化部２から出力された量子化後の変換係数及びセレクタ９から出力された予測モード情報や動きベクトルなどの情報に対して、可変長符号化を施して、符号化信号を出力する。
逆量子化／逆ＤＣＴ部４は、ＤＣＴ／量子化部２から出力された量子化後の変換係数を逆量子化し、逆ＤＣＴを施して出力する。
加算部５は、逆量子化／逆ＤＣＴ部４から出力された信号をセレクタ９から出力された予測信号と加算して、ローカルデコード信号を出力する。
フレームメモリ６は、加算部５から出力されたローカルデコード信号を記憶し、フレーム間予測に用いる参照フレームとする。
動き探索部７は、フレームメモリ６に記憶された参照フレーム及び入力信号の画素値から動き探索の処理を行って符号化効率のよいフレーム間予測符号化方法を決定し、予測信号及び動きベクトルなど予測信号生成のために必要な情報を出力する。
Ｉｎｔｒａ予測信号生成部８は、フレームメモリ６に記憶されたローカルデコード信号の値からフレーム内予測信号を生成し、予測信号及び予測信号生成のために必要な予測モード情報を出力する。
セレクタ９は、動き探索部７及びＩｎｔｒａ予測信号生成部８の出力を受け取り、制御部１３から、フレーム間予測と指示された場合は、動き探索部７から出力された予測信号及び動きベクトルなどの情報を出力する。フレーム内予測と指示された場合は、Ｉｎｔｒａ予測信号生成部８から出力された予測信号及び予測モード情報を出力する。
符号化歪算出部１０は、加算部５から出力されたローカルデコード信号及び入力信号から符号化歪を算出し出力する。
発生符号量算出部１１は、可変長符号化部３から出力された符号化信号のビット数をカウントし、発生符号量として出力する。
符号化効率評価値算出部１２は、符号化歪算出部１０から出力された符号化歪及び発生符号量算出部１１から出力された発生符号量から符号化効率評価値を算出し出力する。
制御部１３は、以下のような制御を順に行う。
まず、セレクタ９にフレーム間予測と指示し、符号化効率評価値算出部１２から出力された評価値をＩｎｔｅｒＣｏｓｔとする。
次に、Ｉｎｔｒａ予測信号生成部８に色差信号の予測信号のみ出力するように指示すると共に、セレクタ９にフレーム内予測と指示し、符号化効率評価値算出部１２から出力された評価値をＩｎｔｒａＣｈｒｏｍａＣｏｓｔとする。このとき、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ＞ＩｎｔｅｒＣｏｓｔであれば、フレーム間予測符号化を用いると決定する。そうでなければ、Ｉｎｔｒａ予測信号生成部８に輝度信号の予測信号のみ出力するように指示すると共に、セレクタ９にフレーム内予測と指示し、符号化効率評価値算出部１２から出力された評価値をＩｎｔｒａＬｕｍａＣｏｓｔとする。
さらに、ＩｎｔｒａＣｏｓｔ＝ＩｎｔｒａＬｕｍａＣｏｓｔ＋ＩｎｔｒａＣｈｒｏｍａＣｏｓｔとして、ＩｎｔｒａＣｏｓｔ＞ＩｎｔｅｒＣｏｓｔであれば、フレーム間予測符号化を用いると決定し、そうでなければ、フレーム内予測符号化を用いると決定する。なお、ここまでの処理を仮符号化と呼ぶ。
フレーム間予測符号化を用いると決定した場合は、セレクタ９にフレーム間予測と指示し、フレーム内予測符号化を用いると決定した場合は、Ｉｎｔｒａ予測信号生成部８に輝度信号と色差信号とをともに出力するように指示すると共に、セレクタ９にフレーム内予測と指示する。
以上により、フレーム間予測符号化とフレーム内予測符号化とのうち符号化効率のよい符号化方法を選択して、入力信号を符号化し符号化信号として出力することができる。
なお、各部１〜１３の機能は、コンピュータに記憶されたプログラムによって実現できる。
（２）符号化方式
図１は符号化方式としてＨ．２６４（Ｈｉｇｈ Ｐｒｏｆｉｌｅ）を用いた場合の、本実施形態におけるマクロブロック単位での予測方式決定のフローチャートである。
図１は符号化方式としてＨ．２６４（Ｈｉｇｈ Ｐｒｏｆｉｌｅ）を用いた場合の、本実施形態におけるマクロブロック単位での予測方式決定のフローチャートである。
まず、Ｉｎｔｅｒモード判定ステップにおいて、フレーム間予測を用いた場合に最も符号化効率の良い符号化方法ＢｅｓｔＩｎｔｅｒを決定し（Ｓ１）、符号化方法ＢｅｓｔＩｎｔｅｒの符号化効率評価値ＩｎｔｅｒＣｏｓｔを算出する（Ｓ２）。
次に、ＩｎｔｒａＣｈｒｏｍａモード判定ステップにおいて、フレーム内予測を用いた場合に最も符号化効率の良い色差信号符号化方法ＢｅｓｔＩｎｔｒａＣｈｒｏｍａを決定し（Ｓ３）、符号化方法ＢｅｓｔＩｎｔｒａＣｈｒｏｍａの符号化効率評価値ＩｎｔｒａＣｈｒｏｍａＣｏｓｔを算出する（Ｓ４）。
このとき、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｈｒｏｍａＣｏｓｔとを比較し（Ｓ５）、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｈｒｏｍａＣｏｓｔであれば、フレーム間予測を用いると決定し、処理を終了する。
そうでなければ、ＩｎｔｒａＬｕｍａモード判定ステップにおいて、フレーム内予測を用いた場合に最も符号化効率の良い輝度信号符号化方法ＢｅｓｔＩｎｔｒａＬｕｍａを決定し（Ｓ６）、符号化方法ＢｅｓｔＩｎｔｒａＬｕｍａの符号化効率評価値ＩｎｔｒａＬｕｍａＣｏｓｔを算出する（Ｓ７）。
ＩｎｔｒａＬｕｍａＣｏｓｔとＩｎｔｒａＣｈｒｏｍａＣｏｓｔとを足し合わせることでＩｎｔｒａＣｏｓｔを算出し（Ｓ８）、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｏｓｔを比較する（Ｓ９）。もし、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔであれば、フレーム間予測を用いると決定し、そうでなければ、フレーム内予測を用いると決定する。
Ｓ５のステップにおいて、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｈｒｏｍａＣｏｓｔが成り立てば、輝度信号のフレーム内符号化処理を省略することができ、処理量の削減が可能である。
また、非負の値をとる符号化効率評価値を用いることにより、ＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｈｒｏｍａＣｏｓｔが成り立つ場合は、必ずＩｎｔｅｒＣｏｓｔ＜ＩｎｔｒａＣｏｓｔとなることがいえるため、輝度信号のフレーム内符号化処理を省略することによって符号化効率が低下することはない。
なお、色差信号のフレーム内予測符号化処理は、輝度信号のフレーム内予測符号化処理と比較して、必要な演算量は少ない。なぜなら、輝度予測信号の生成方法が（９１６＋４１６＋４）通りあるのに対し、色差予測信号の生成方法は４通りしかないからである。また、輝度信号の画素数が１６ｘ１６、色差信号の画素数が８ｘ８であるため、１つの予測信号を生成するために必要な処理量も色差信号のほうが少ない。
（３）Ｉｎｔｅｒモード判定ステップ
図２はＩｎｔｅｒモード判定ステップにおけるＢｅｓｔＩｎｔｅｒ決定のフローチャートである。
図２はＩｎｔｅｒモード判定ステップにおけるＢｅｓｔＩｎｔｅｒ決定のフローチャートである。
フレーム間予測における予測信号は、動き補償ブロックサイズ、予測方向（Ｌ０、Ｌ１、ＢｉＰｒｅｄ）、動きベクトル、参照フレームインデックスなどの予測情報の組み合わせに基づいて生成される。Ｉｎｔｅｒモード判定部は、まず、図中に示されない外部動き探索部から予測情報の組み合わせを受け取り、予測信号を生成する（Ｓ１１）。次に、予測残差信号に直交変換を施す際のブロックサイズが４ｘ４の場合と８ｘ８の場合について、符号化効率評価値を算出し（Ｓ１２）、上記予測情報の組み合わせで、評価値の小さい直交変換のブロックサイズを用いたフレーム間予測符号化をＢｅｓｔＩｎｔｅｒとする（Ｓ１３）。
なお、Ｉｎｔｅｒモード判定ステップは、外部動き探索部から予測情報の組み合わせを複数受け取ることもでき、その場合は、それぞれの予測情報の組み合わせについて、上記手段により符号化効率評価値を算出し、評価値が最小となるような予測情報の組み合わせと直交変換のブロックサイズとを用いたＩｎｔｅｒ予測符号化をＢｅｓｔＩｎｔｅｒとする。
（４）ＩｎｔｒａＣｈｒｏｍａモード判定ステップ
図３はＩｎｔｒａＣｈｒｏｍａモード判定ステップにおけるＢｅｓｔＩｎｔｒａＣｈｒｏｍａ決定のフローチャートである。
図３はＩｎｔｒａＣｈｒｏｍａモード判定ステップにおけるＢｅｓｔＩｎｔｒａＣｈｒｏｍａ決定のフローチャートである。
フレーム内予測による色差予測信号は、予測方向（ＤＣ、Ｈｏｒｉｚｏｎｔａｌ、Ｖｅｒｔｉｃａｌ、Ｐｌａｎｅ）に基づいて生成される。ＩｎｔｒａＣｈｒｏｍａモード判定ステップは、まず、４通りの予測方向について予測信号を生成する（Ｓ３１）。
次に、それぞれ符号化効率評価値を算出し（Ｓ３２）、評価値が最小となる予測方向を用いたフレーム内予測符号化をＢｅｓｔＩｎｔｒａＣｈｒｏｍａとする（Ｓ３３）。
（５）ＩｎｔｒａＬｕｍａモード判定ステップ
図４はＩｎｔｒａＬｕｍａモード判定ステップにおけるＢｅｓｔＩｎｔｒａＬｕｍａ決定のフローチャートである。
図４はＩｎｔｒａＬｕｍａモード判定ステップにおけるＢｅｓｔＩｎｔｒａＬｕｍａ決定のフローチャートである。
ＩｎｔｒａＬｕｍａモード判定ステップでは、まず、Ｉｎｔｒａ４ｘ４モード判定ステップにおいて、Ｉｎｔｒａ４ｘ４予測を用いた場合に最も符号化効率の良い符号化方法ＢｅｓｔＩｎｔｒａ４ｘ４を決定し（Ｓ６１）、ＢｅｓｔＩｎｔｒａ４ｘ４の符号化効率評価値Ｉｎｔｒａ４ｘ４Ｃｏｓｔを算出する（Ｓ６２）。
また、Ｉｎｔｒａ８ｘ８モード判定ステップにおいて、Ｉｎｔｒａ８ｘ８予測を用いた場合に最も符号化効率の良い符号化方法ＢｅｓｔＩｎｔｒａ８ｘ８を決定し（Ｓ６３）、ＢｅｓｔＩｎｔｒａ８ｘ８の符号化効率評価値Ｉｎｔｒａ８ｘ８Ｃｏｓｔを算出する（Ｓ６４）。
また、Ｉｎｔｒａ１６ｘ１６モード判定ステップにおいて、Ｉｎｔｒａ１６ｘ１６予測を用いた場合に最も符号化効率の良い符号化方法ＢｅｓｔＩｎｔｒａ１６ｘ１６を決定し（Ｓ６５）、ＢｅｓｔＩｎｔｒａ１６ｘ１６の符号化効率評価値Ｉｎｔｒａ１６ｘ１６を算出する（Ｓ６６）。
このとき、Ｉｎｔｒａ４ｘ４Ｃｏｓｔ、Ｉｎｔｒａ８ｘ８Ｃｏｓｔ、Ｉｎｔｒａ１６ｘ１６Ｃｏｓｔの３つを比較し（Ｓ６７）、Ｉｎｔｒａ４ｘ４Ｃｏｓｔが最小であれば、ＢｅｓｔＩｎｔｒａ４ｘ４をＢｅｓｔＩｎｔｒａＬｕｍａとする（Ｓ６８）。Ｉｎｔｒａ８ｘ８Ｃｏｓｔが最小であれば、ＢｅｓｔＩｎｔｒａ８ｘ８をＢｅｓｔＩｎｔｒａＬｕｍａとする（Ｓ６９）。Ｉｎｔｒａ１６ｘ１６Ｃｏｓｔが最小であれば、ＢｅｓｔＩｎｔｒａ１６ｘ１６をＢｅｓｔＩｎｔｒａＬｕｍａとする（Ｓ７０）。
（６）Ｉｎｔｒａ４ｘ４モード判定ステップ
図５はＩｎｔｒａ４ｘ４モード判定ステップにおけるＢｅｓｔＩｎｔｒａ４ｘ４決定のフローチャートである。
図５はＩｎｔｒａ４ｘ４モード判定ステップにおけるＢｅｓｔＩｎｔｒａ４ｘ４決定のフローチャートである。
Ｉｎｔｒａ４ｘ４予測による予測信号は、１６個の４ｘ４ブロック毎に指定された予測方向（Ｖｅｒｔｉｃａｌ、Ｈｏｒｉｚｏｎｔａｌ、ＤＣなど）に基づいて生成される。Ｉｎｔｒａ４ｘ４モード判定ステップは、４ｘ４ブロック毎に（Ｓ６１１）、それぞれの予測方向を用いた場合の予測信号を生成し（Ｓ６１２）、符号化効率評価値を算出して（Ｓ６１３）、評価値が最小となる予測方向を対象ブロックの最適予測方向とする（Ｓ６１４）。１６個のブロックについて以上の処理を行い、得られた１６個の最適方向を用いたＩｎｔｒａ４ｘ４予測符号化をＢｅｓｔＩｎｔｒａ４ｘ４とする。
（７）Ｉｎｔｒａ８ｘ８モード判定ステップ
図６はＩｎｔｒａ８ｘ８モード判定ステップにおけるＢｅｓｔＩｎｔｒａ８ｘ８決定のフローチャートである。
図６はＩｎｔｒａ８ｘ８モード判定ステップにおけるＢｅｓｔＩｎｔｒａ８ｘ８決定のフローチャートである。
Ｉｎｔｒａ８ｘ８予測による予測信号は、４個の８ｘ８ブロック毎に指定された予測方向（Ｖｅｒｔｉｃａｌ、Ｈｏｒｉｚｏｎｔａｌ、ＤＣなど）に基づいて生成される。Ｉｎｔｒａ８ｘ８モード判定ステップは、８ｘ８ブロック毎に（Ｓ６３１）、それぞれの予測方向を用いた場合の予測信号を生成し（Ｓ６３２）、符号化効率評価値を算出して（Ｓ６３３）、評価値が最小となる予測方向を対象ブロックの最適予測方向とする（Ｓ６３４）。４個のブロックについて以上の処理を行い、得られた４個の最適方向を用いたＩｎｔｒａ８ｘ８予測符号化をＢｅｓｔＩｎｔｒａ８ｘ８とする。
（８）Ｉｎｔｒａ１６ｘ１６モード判定ステップ
図７はＩｎｔｒａ１６ｘ１６モード判定ステップにおけるＢｅｓｔＩｎｔｒａ１６ｘ１６決定のフローチャートである。
図７はＩｎｔｒａ１６ｘ１６モード判定ステップにおけるＢｅｓｔＩｎｔｒａ１６ｘ１６決定のフローチャートである。
Ｉｎｔｒａ１６ｘ１６予測による予測信号は、予測方向（Ｖｅｒｔｉｃａｌ、Ｈｏｒｉｚｏｎｔａｌ、ＤＣ、Ｐｌａｎｅ）により決まる。Ｉｎｔｒａ１６ｘ１６モード判定ステップは、まず、４通りの予測方向について予測信号を生成する（Ｓ６５１）。次に、それぞれ符号化効率評価値を算出し（Ｓ６５２）、評価値が最小となる予測方向を用いたＩｎｔｒａ１６ｘ１６予測符号化をＢｅｓｔＩｎｔｒａ１６ｘ１６とする（Ｓ６５３）。
（９）符号化効率評価値の第１の決定方法
ＩｎｔｅｒＣｏｓｔ、ＩｎｔｒａＬｕｍａＣｏｓｔ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔの算出及び各モード判定ステップにおいては、符号化効率評価値として、符号化歪Ｄ及び発生符号量Ｒを用いた評価値Ｊ＝Ｄ＋λ・Ｒを用いることができる。λはＬａｇｒａｎｇｅの未定乗数に相当し、量子化パラメータに応じて決定される。
ＩｎｔｅｒＣｏｓｔ、ＩｎｔｒａＬｕｍａＣｏｓｔ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔの算出及び各モード判定ステップにおいては、符号化効率評価値として、符号化歪Ｄ及び発生符号量Ｒを用いた評価値Ｊ＝Ｄ＋λ・Ｒを用いることができる。λはＬａｇｒａｎｇｅの未定乗数に相当し、量子化パラメータに応じて決定される。
符号化歪Ｄはマクロブロック内の各画素ｉにおける入力画素値ｓｉ及びローカルデコード画素値ｌｉの下記式の差分二乗和Ｄにより算出できる。
発生符号量Ｒは可変長符号化（ＣＡＢＡＣまたはＣＡＶＬＣ）を行った後のビット数により算出できる。
（１０）符号化効率評価値の第２の決定方法
また、符号化効率評価値として、符号化歪Ｄ及び発生符号量推定値ＲＰＲＥＤを用いた評価値Ｊ１＝Ｄ＋λ・ＲＰＲＥＤを用いることもできる。
また、符号化効率評価値として、符号化歪Ｄ及び発生符号量推定値ＲＰＲＥＤを用いた評価値Ｊ１＝Ｄ＋λ・ＲＰＲＥＤを用いることもできる。
発生符号量推定値ＲＰＲＥＤは、量子化後の変換係数Ｑ、予測モード情報ｐｒｅｖ＿ｉｎｔｒａ４ｘ４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ及びｐｒｅｖ＿ｉｎｔｒａ８ｘ８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、差分動きベクトル情報ｍｖｄ＿ｌ０及びｍｖｄ＿ｌ１、参照フレームインデックスｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１を用いて、式（１）〜式（９）により算出することができる。なお、ｉｌｏｇ２（ｘ）はｘの最上位の１の位置を返す関数である。αＣＯＥＦＦ、αＭＯＤＥ、αＭＶＤ、αＲＥＦ、βは定数値である。但し、発生符号量推定の精度を向上させるため、予測モード毎に異なるαＣＯＥＦＦ、αＭＯＤＥ、αＭＶＤ、αＲＥＦ、βを用いたり、入力画像の特徴に応じて符号化途中にαＣＯＥＦＦ、αＭＯＤＥ、αＭＶＤ、αＲＥＦ、βを更新することもできる。
ＲＰＲＥＤ＝αＣＯＥＦＦ・ＲＣＯＥＦＦ＋αＭＯＤＥ・ＲＭＯＤＥ＋αＭＶＤ・ＲＭＶＤ＋αＲＥＦ・ＲＲＥＦ＋β ・・・（１）
ＲＣＯＥＦＦ＝［シグマ］｜Ｑ｜＞０（１＋ｉｌｏｇ２（１＋｜Ｑ｜）） ・・・（２）
（Ｉｎｔｒａ４ｘ４予測のとき）
ＲＭＯＤＥ＝［シグマ］（４−３・ｐｒｅｖ＿ｉｎｔｒａ４ｘ４＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ） ・・・（３）
（Ｉｎｔｒａ８ｘ８予測のとき）
ＲＭＯＤＥ＝［シグマ］（４−３・ｐｒｅｖ＿ｉｎｔｒａ８ｘ８＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ） ・・・（４）
（その他の場合）
ＲＭＯＤＥ＝０ ・・・（５）
（Ｉｎｔｅｒ予測の場合）
ＲＭＶＤ＝［シグマ］ｉ＝０，１（１＋ｉｌｏｇ２（１＋｜ｍｖｄ＿ｌ０［ｉ］｜）） ＋［シグマ］ｉ＝０，１（１＋ｉｌｏｇ２（１＋｜ｍｖｄ＿ｌ１［ｉ］｜）） ・・・（６）
（その他の場合）
ＲＭＶＤ＝０ ・・・（７）
（Ｉｎｔｅｒ予測の場合）
ＲＲＥＦ＝［シグマ］（１＋ｒｅｆ＿ｉｄｘ＿ｌ０）＋［シグマ］（１＋ｒｅｆ＿ｉｄｘ＿ｌ１） ・・・（８）
（その他の場合）
ＲＲＥＦ＝０ ・・・（９）
ＲＰＲＥＤの算出式は、式（１）〜式（９）のように、加減算、定数値の乗算、絶対値、ｉｌｏｇ２という簡単な演算で構成されており、規模の小さなハードウェアで実装することも可能である。また、発生符号量Ｒを算出する場合と比較して、頻繁なメモリアクセスや分岐処理をともない計算時間のかかる可変長符号化の処理を省略することが可能なため、大幅な処理量削減が実現できる。
図１１は、ＲＰＲＥＤとＲの相関を示した散布図である。但し、αＣＯＥＦＦ＝２、αＭＯＤＥ＝１、αＭＶＤ＝１．７５、αＲＥＦ＝１とし、ＩｎｔｒａＣｈｒｏｍａ予測の場合は、β＝２、その他の場合は、β＝０とした。
このように、αＣＯＥＦＦ、αＭＯＤＥ、αＭＶＤ、αＲＥＦとして、乗算の容易な値を用いた場合でも実際の発生符号量と高い相関を持った発生符号量推定値を算出することが可能である。
ＲＰＲＥＤはＲと高い相関を持っているため、Ｒの代わりにＲＰＲＥＤを用いることによって、符号化効率評価値のモード判定性能が低下することはほとんどない。
（１１）符号化効率評価値の第３の決定方法
また、符号化効率評価値として、符号化歪近似値ＤＡＰＰＲＯＸ及び発生符号量推定値ＲＰＲＥＤを用いた評価値Ｊ２＝ＤＡＰＰＲＯＸ＋λ・ＲＰＲＥＤを用いることもできる。
また、符号化効率評価値として、符号化歪近似値ＤＡＰＰＲＯＸ及び発生符号量推定値ＲＰＲＥＤを用いた評価値Ｊ２＝ＤＡＰＰＲＯＸ＋λ・ＲＰＲＥＤを用いることもできる。
符号化歪近似値ＤＡＰＰＲＯＸは、符号化歪Ｄの近似値であって、マクロブロック内の各画素ｉにおける入力画素値ｓｉ及びローカルデコード画素値ｌｉの絶対値和ＤＳＡＤ＝［シグマ］｜ｓｉ−ｌｉ｜に基づいて算出することができる。
例えば、線形近似により、定数ａを用いて、ＤＡＰＰＲＯＸ＝a・ＤＳＡＤと算出することができる。
また、例えば、２次近似により、定数ｂを用いて、ＤＡＰＰＲＯＸ＝ｂ・ＤＳＡＤ ２と算出することもできる。
また、例えば、折れ線近似により、ＤＡＰＰＲＯＸ＝Ｙｋ＋Ｒｋ・（ＤＳＡＤ−Ｘｋ）と算出することもできる。但し、（Ｘｋ，Ｙｋ）は折れ線のｋ番目の頂点の座標、Ｒｋは頂点（Ｘｋ，Ｙｋ）と頂点（Ｘｋ＋１，Ｙｋ＋１）とを結ぶ線分の傾きである。ｋは、Ｘｋ≦ＤＳＡＤ＜Ｘｋ＋１となるように決定する。このとき、（Ｘｉ，Ｙｉ）及びＲｉを式（１０）〜式（１５）のように設定することで、算出したＤＳＡＤに対して、ｋは式（１６）の数式により導出でき、ＤＡＰＰＲＯＸを加減算、シフト、ｉｌｏｇ２という簡単な演算の組み合わせで算出することができる。一方、図１２のようにＤＡＰＰＲＯＸはＤと高い相関を持っている。
（ｉ＜７のとき）
Ｒｉ＝１ ・・・（１０）
（７≦ｉ≦１２のとき）
Ｒｉ＝２ｉ−６ ・・・（１１）
（ｉ＞１２のとき）
Ｒｉ＝２６ ・・・（１２）
Ｘｉ＝２ｉ−１ ・・・（１３）
Ｙ０＝０ ・・・（１４）
Ｙｉ＋１＝Ｙｉ＋Ｒｉ・（Ｘｉ＋１−Ｘｉ） ・・・（１５）
ｋ＝ｉｌｏｇ２（１＋ＤＳＡＤ） ・・・（１６）
以上のように、Ｄの代わりにＤＡＰＰＲＯＸを用いることによって、乗算の回数を大幅に削減することができるため、乗算の演算コストが高いプラットホームにおいては、必要な処理量を大幅に削減することができる。一方で、ＤＡＰＰＲＯＸがＤと高い相関を持っていればモード判定性能はほとんど低下しない。
（１２）符号化効率評価値の第４の決定方法
また、符号化効率評価値として、予測残差信号のＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅｓ）及びオーバーヘッドＯＨを用いた評価値Ｓ＝ＳＡＴＤ＋λ・ＯＨ＋κを用いることもできる。κは、評価値のオフセットであり、量子化パラメータと符号化モードとに応じて決定される。
また、符号化効率評価値として、予測残差信号のＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅｓ）及びオーバーヘッドＯＨを用いた評価値Ｓ＝ＳＡＴＤ＋λ・ＯＨ＋κを用いることもできる。κは、評価値のオフセットであり、量子化パラメータと符号化モードとに応じて決定される。
予測残差のＳＡＴＤは、予測残差信号にアダマール変換を施した後、周波数領域で絶対値和をとることで計算できる。また、直交変換としてアダマール変換の代わりにＤＣＴを用いることもできる。
符号化効率評価値Ｓを用いた場合、符号化効率評価値Ｊを用いた場合と比較して、モード判定性能は若干劣るものの、算出に必要な処理量が少ないという利点がある。
（１３）符号化効率評価値の決定方法の変更例
符号化効率評価値は、ＩｎｔｅｒＣｏｓｔ算出ステップ、ＩｎｔｒａＬｕｍａＣｏｓｔ算出ステップ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ算出ステップ及び各モード判定ステップの全ての過程において、同一のものを用いてもよいし、それぞれで異なるものを用いてもよい。
符号化効率評価値は、ＩｎｔｅｒＣｏｓｔ算出ステップ、ＩｎｔｒａＬｕｍａＣｏｓｔ算出ステップ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ算出ステップ及び各モード判定ステップの全ての過程において、同一のものを用いてもよいし、それぞれで異なるものを用いてもよい。
（１３−１）変更例１
例えば、全ての過程で符号化効率評価値Ｊを用いることにより、高性能なモード判定を行い、符号化効率をあげることができる。
例えば、全ての過程で符号化効率評価値Ｊを用いることにより、高性能なモード判定を行い、符号化効率をあげることができる。
（１３−２）変更例２
また、符号化効率よりも符号化速度が重視される場合には、全ての過程で符号化効率評価値Ｓを用いることにより、処理量を大幅に削減し、高速なモード判定を行うこともできる。
また、符号化効率よりも符号化速度が重視される場合には、全ての過程で符号化効率評価値Ｓを用いることにより、処理量を大幅に削減し、高速なモード判定を行うこともできる。
（１３−３）変更例３
また、各モード判定ステップにおいて、符号化効率評価値Ｓを用いて、評価値の小さないくつかの予測方法に絞り込んだ後に、絞り込まれた予測方法に対してのみ符号化効率評価値Ｊを算出して、評価値のもっとも小さい予測方法を選択するということで、符号化効率をあまり低下させることなく、処理量を削減することもできる。
また、各モード判定ステップにおいて、符号化効率評価値Ｓを用いて、評価値の小さないくつかの予測方法に絞り込んだ後に、絞り込まれた予測方法に対してのみ符号化効率評価値Ｊを算出して、評価値のもっとも小さい予測方法を選択するということで、符号化効率をあまり低下させることなく、処理量を削減することもできる。
（１３−４）変更例４
また、輝度信号に対しては符号化効率評価値Ｊを用い、色差信号に対しては符号化効率評価値Ｓを用いることで、符号化効率をあまり低下させることなく、処理量を削減することもできる。
また、輝度信号に対しては符号化効率評価値Ｊを用い、色差信号に対しては符号化効率評価値Ｓを用いることで、符号化効率をあまり低下させることなく、処理量を削減することもできる。
なぜなら、色差信号が輝度信号よりもマクロブロック内の画素数が少ないことから、色差信号についての符号化効率評価値は、輝度信号についての符号化効率評価値よりも小さい値であることが多く、色差信号の予測モードの選択が符号化効率に与える影響が比較的少ないためである。
但し、輝度信号と色差信号とで異なる符号化効率評価値を用いるため、それらを足し合わせる際には、一方にスケーリング係数を乗算することが必要である。スケーリング係数の値は、符号化効率評価値Ｊと符号化効率評価値Ｓとの相関を予め求めておくことで、算出することができる。
（１３−５）変更例５
また、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、ＩｎｔｒａＣｈｒｏｍａモード判定ステップにおいて、符号化効率評価値Ｓを用い、ＩｎｔｅｒＬｕｍａモード判定ステップ、Ｉｎｔｒａモード判定ステップ及びＩｎｔｅｒＣｏｓｔ算出ステップ、ＩｎｔｒａＬｕｍａＣｏｓｔ算出ステップ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ算出ステップにおいて、符号化効率評価値Ｊを用いることで、モード判定性能をほとんど落とすことなく処理量を削減することもできる。
また、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、ＩｎｔｒａＣｈｒｏｍａモード判定ステップにおいて、符号化効率評価値Ｓを用い、ＩｎｔｅｒＬｕｍａモード判定ステップ、Ｉｎｔｒａモード判定ステップ及びＩｎｔｅｒＣｏｓｔ算出ステップ、ＩｎｔｒａＬｕｍａＣｏｓｔ算出ステップ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ算出ステップにおいて、符号化効率評価値Ｊを用いることで、モード判定性能をほとんど落とすことなく処理量を削減することもできる。
なぜなら、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、ＩｎｔｒａＣｈｒｏｍａモード判定ステップにおいては、それぞれ、予測信号生成のために必要な情報の種類や予測ブロックサイズが同一である予測方法について符号化効率を比較するため、符号化効率評価値Ｓを用いることによる、モード判定性能の低下が小さいからである。
（１３−６）変更例６
また、選択される可能性の高い予測モードに対して、符号化効率評価値Ｊを用い、それ以外の予測モードに対して、符号化効率評価値Ｓを用いることで、モード判定性能をほとんど落とすことなく処理量を削減することもできる。
また、選択される可能性の高い予測モードに対して、符号化効率評価値Ｊを用い、それ以外の予測モードに対して、符号化効率評価値Ｓを用いることで、モード判定性能をほとんど落とすことなく処理量を削減することもできる。
例えば、Ｐピクチャ及びＢピクチャではフレーム間予測を用いたほうが符号化効率の良い場合が多いことを考慮して、Ｉピクチャにおいては、全ての過程で符号化効率評価値Ｊを用い、Ｐピクチャ及びＢピクチャにおいては、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、ＩｎｔｒａＣｈｒｏｍａモード判定ステップにおいて、符号化効率評価値Ｓを用い、ＩｎｔｅｒＬｕｍａモード判定ステップ、Ｉｎｔｒａモード判定ステップ及びＩｎｔｅｒＣｏｓｔ算出ステップ、ＩｎｔｒａＬｕｍａＣｏｓｔ算出ステップ、ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ算出ステップにおいて、符号化効率評価値Ｊを用いることができる。
（１３−７）変更例７
また、例えば、符号化済フレームでの、Ｉｎｔｒａ４ｘ４予測、Ｉｎｔｒａ８ｘ８予測、Ｉｎｔｒａ１６ｘ１６予測、Ｉｎｔｅｒ予測が用いられた割合に基づいて各モード判定ステップで利用する符号化効率評価値を決定することもできる。もし、符号化済フレームにおいてＩｎｔｒａ４ｘ４予測が最も多く用いられたのであれば、Ｉｎｔｒａ４ｘ４モード判定ステップで、符号化効率評価値Ｊを用いて、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、Ｉｎｔｅｒモード判定ステップでは、符号化効率評価値Ｓを用いるようにすることができる。
また、例えば、符号化済フレームでの、Ｉｎｔｒａ４ｘ４予測、Ｉｎｔｒａ８ｘ８予測、Ｉｎｔｒａ１６ｘ１６予測、Ｉｎｔｅｒ予測が用いられた割合に基づいて各モード判定ステップで利用する符号化効率評価値を決定することもできる。もし、符号化済フレームにおいてＩｎｔｒａ４ｘ４予測が最も多く用いられたのであれば、Ｉｎｔｒａ４ｘ４モード判定ステップで、符号化効率評価値Ｊを用いて、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、Ｉｎｔｅｒモード判定ステップでは、符号化効率評価値Ｓを用いるようにすることができる。
（１３−８）変更例８
また、例えば、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｈｒｏｍａＣｏｓｔとの差分値に基づいて、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、Ｉｎｔｒａモード判定ステップで用いる符号化効率評価値を決定することもできる。
また、例えば、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｈｒｏｍａＣｏｓｔとの差分値に基づいて、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、Ｉｎｔｒａモード判定ステップで用いる符号化効率評価値を決定することもできる。
ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｈｒｏｍａＣｏｓｔとの差分値が小さい場合は、フレーム内予測を用いると判断する可能性が低くなるため、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、Ｉｎｔｒａモード判定ステップにおいては、符号化効率評価値Ｓを用い、ＩｎｔｅｒＣｏｓｔとＩｎｔｒａＣｈｒｏｍａＣｏｓｔとの差分値が大きい場合は、フレーム内予測を用いると判断する可能性が高くなるため、Ｉｎｔｒａ４ｘ４モード判定ステップ、Ｉｎｔｒａ８ｘ８モード判定ステップ、Ｉｎｔｒａ１６ｘ１６モード判定ステップ、Ｉｎｔｒａモード判定においては、符号化効率評価値Ｊを用いることができる。
（１３−９）変更例９
また、例えば、入力画像のサイズに応じて、Ｉｎｔｒａ４ｘ４モード判定ステップ及びＩｎｔｒａ８ｘ８モード判定ステップで利用する符号化効率評価値を決定することもできる。入力画像サイズが小さい場合には、Ｉｎｔｒａ４ｘ４予測のほうが符号化効率が良いことが多いため、Ｉｎｔｒａ４ｘ４モード判定ステップで符号化効率評価値Ｊ、Ｉｎｔｒａ８ｘ８モード判定ステップで符号化効率評価値Ｓを用いて、入力画像サイズが大きい場合には、Ｉｎｔｒａ８ｘ８予測のほうが符号化効率が良いことが多いため、Ｉｎｔｒａ４ｘ４モード判定ステップで符号化効率評価値Ｓ、Ｉｎｔｒａ８ｘ８モード判定ステップで符号化効率評価値Ｊを用いることができる。
また、例えば、入力画像のサイズに応じて、Ｉｎｔｒａ４ｘ４モード判定ステップ及びＩｎｔｒａ８ｘ８モード判定ステップで利用する符号化効率評価値を決定することもできる。入力画像サイズが小さい場合には、Ｉｎｔｒａ４ｘ４予測のほうが符号化効率が良いことが多いため、Ｉｎｔｒａ４ｘ４モード判定ステップで符号化効率評価値Ｊ、Ｉｎｔｒａ８ｘ８モード判定ステップで符号化効率評価値Ｓを用いて、入力画像サイズが大きい場合には、Ｉｎｔｒａ８ｘ８予測のほうが符号化効率が良いことが多いため、Ｉｎｔｒａ４ｘ４モード判定ステップで符号化効率評価値Ｓ、Ｉｎｔｒａ８ｘ８モード判定ステップで符号化効率評価値Ｊを用いることができる。
（１３−１０）変更例１０
なお、以上に説明した方法で、符号化効率評価値Ｊの代わりに符号化効率評価値Ｊ１もしくはＪ２を用いることにより、符号化効率をほとんど落とすことなく、さらに処理量を削減することもできる。
なお、以上に説明した方法で、符号化効率評価値Ｊの代わりに符号化効率評価値Ｊ１もしくはＪ２を用いることにより、符号化効率をほとんど落とすことなく、さらに処理量を削減することもできる。
（第２の実施形態）
図８は本発明の第２の実施形態に係るＩｎｔｒａ４ｘ４モード判定ステップにおけるＢｅｓｔＩｎｔｒａ４ｘ４決定のフローチャートである。
図８は本発明の第２の実施形態に係るＩｎｔｒａ４ｘ４モード判定ステップにおけるＢｅｓｔＩｎｔｒａ４ｘ４決定のフローチャートである。
本実施形態は、第１の実施形態におけるＩｎｔｒａ４ｘ４モード判定ステップの処理を置き換えたものとなっており、他の部分の処理は第１の実施形態と同じであるため、説明を省略する。また、図中の第１の実施形態のＩｎｔｒａ４ｘ４モード判定ステップにおける処理と同一の処理には同じ符号を付している。
まず、ＴｍｐＩｎｔｒａＣｏｓｔ＝ＩｎｔｒａＣｈｒｏｍａＣｏｓｔと初期化する（Ｓ６１０）。
次に、４ｘ４ブロック毎に（Ｓ６１１）、それぞれの予測方向を用いた場合の予測信号を生成し（Ｓ６１２）、符号化効率評価値を算出して（Ｓ６１３）、評価値が最小となる予測方向を対象ブロックの最適予測方向とする（Ｓ６１４）。
このとき、対象ブロックを最適予測方向を用いて符号化したときの符号化効率評価値Ｉｎｔｒａ４ｘ４ＢｌｋＣｏｓｔを算出しＴｍｐＩｎｔｒａＣｏｓｔに足し合わせる（Ｓ６１５）。
ＴｍｐＩｎｔｒａＣｏｓｔとＩｎｔｅｒＣｏｓｔとを比較して（Ｓ６１６）、ＴｍｐＩｎｔｒａＣｏｓｔ＞ＩｎｔｅｒＣｏｓｔであれば、Ｉｎｔｒａ４ｘ４予測を用いないこととし（Ｓ６１６）、Ｉｎｔｒａ４ｘ４モード判定処理を終了する（Ｓ６１７）。
一方、つねにＴｍｐＩｎｔｒａＣｏｓｔ＞ＩｎｔｅｒＣｏｓｔが成り立たなければ、１６個のブロックについて以上の処理を行い、得られた１６個の最適方向を用いたＩｎｔｒａ４ｘ４予測符号化をＢｅｓｔＩｎｔｒａ４ｘ４とする。
Ｓ６１５〜Ｓ６１７の処理によりＩｎｔｒａ４ｘ４モード判定を早期に終了することで処理量の削減を実現することができる。
また、Ｉｎｔｒａ４ｘ４ＢｌｋＣｏｓｔ、Ｉｎｔｒａ４ｘ４Ｃｏｓｔ、ＩｎｔｒａＣｏｓｔの算出に同一の符号化効率評価値算出手段を用いる限り、モード判定の性能が低下することはない。なぜなら、最終的にＩｎｔｒａ４ｘ４予測を用いると判定されるとすれば、ＩｎｔｅｒＣｏｓｔ≧ＩｎｔｒａＣｏｓｔ＝ＩｎｔｒａＬｕｍａＣｏｓｔ＋ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ＝Ｉｎｔｒａ４ｘ４Ｃｏｓｔ＋ＩｎｔｒａＣｈｒｏｍａＣｏｓｔ＝［シグマ］Ｉｎｔｒａ４ｘ４ＢｌｋＣｏｓｔ＋ＩｎｔｒａＣｈｒｏｍａＣｏｓｔとなり、ＩｎｔｅｒＣｏｓｔ＜ＴｍｐＩｎｔｒａＣｏｓｔとなることはありえないからである。
以上の処理は、Ｉｎｔｒａ８ｘ８モード判定ステップにおいても行うことができる。
（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
例えば、図１０は、動画像符号化装置の構成の変更例を示すブロック図である。
本実施形態は、第１の実施形態の動画像符号化装置の変形になっているため、以下に異なる部分のみを説明する。
発生符号量推定部１４は、ＤＣＴ／量子化部２から出力された量子化後の変換係数及びセレクタ９から出力された予測モード情報や動きベクトルなど情報から発生符号量を推定し出力する。
符号化効率評価値算出部１２は、符号化歪算出部１０から出力された符号化歪及び発生符号量推定部１４から出力された発生符号量推定値から符号化効率評価値を算出し出力する。
以上により、本変更例の構成は、仮符号化のステップにおいて可変長符号化の処理を行う必要がなくなるため、第１の実施形態の構成と比較して処理量の削減が可能である。
１ 差分部
２ ＤＣＴ／量子化部
３ 可変長符号化部
４ 逆量子化／逆ＤＣＴ部
５ 加算部
６ フレームメモリ
７ 動き探索部
８ Ｉｎｔｒａ予測信号生成部
９ セレクタ
１０ 符号化歪算出部
１１ 発生符号量算出部
１２ 符号化効率評価値算出部
１３ 制御部
１４ 発生符号量推定部
２ ＤＣＴ／量子化部
３ 可変長符号化部
４ 逆量子化／逆ＤＣＴ部
５ 加算部
６ フレームメモリ
７ 動き探索部
８ Ｉｎｔｒａ予測信号生成部
９ セレクタ
１０ 符号化歪算出部
１１ 発生符号量算出部
１２ 符号化効率評価値算出部
１３ 制御部
１４ 発生符号量推定部
Claims (24)
- フレーム間予測及びフレーム内予測を用いて動画像の入力信号を符号化する動画像符号化装置であって、
前記フレーム間予測によって生成された予測信号に基づいて、前記フレーム間予測を用いた場合の符号化効率を表す第１評価値を見積る第１評価値見積り手段と、
色差信号に関するフレーム内予測の予測モードである色差予測モードの各々を用いたフレーム内予測によって生成された色差予測信号に基づいて、前記各色差予測モードの符号化効率を表す評価値を見積り、最も効率の良い色差予測モードとその評価値である第２評価値を求める第２評価値見積り手段と、
前記第１評価値と前記第２評価値とを比較して、前記第１評価値と前記第２評価値とのいずれが良いかを判定する第１比較手段と、
前記第１比較手段が前記第１評価値の方が良いと判定した場合に、前記フレーム間予測を選択する第１選択手段と、
前記第１比較手段が前記第２評価値の方が良いと判定した場合に、輝度信号に関するフレーム内予測の予測モードである輝度予測モードの各々を用いたフレーム内予測によって生成された輝度予測信号に基づいて、前記各輝度予測モードの符号化効率を表す評価値を見積り、最も符号化効率のよい輝度予測モードとその評価値である第３評価値を求める第３評価値見積り手段と、
前記第２評価値及び第３評価値の和と前記第１評価値とを比較して、前記和と前記第１評価値とのいずれが良いかを判定する第２比較手段と、
前記第２比較手段が前記第１評価値の方が良いと判定した場合には、前記フレーム間予測を選択する第２選択手段と、
前記第２比較手段が前記和の方が良いと判定した場合には、前記最も効率の良い色差予測モード及び前記最も効率の良い輝度予測モードを用いたフレーム内予測を選択する第３選択手段と、
前記第１選択手段、前記第２選択手段、または、前記第３選択手段のいずれかにより選択された予測方式により予測符号化を行う符号化手段と、
を備えたことを特徴とする動画像符号化装置。 - 前記第１評価値、前記第２評価値及び前記第３評価値を符号化歪及び発生符号量から算出する
ことを特徴とする請求項１記載の動画像符号化装置。 - 前記符号化歪として、推定値を用いる
ことを特徴とする請求項２記載の動画像符号化装置。 - 前記発生符号量は、
前記入力信号と前記予測信号の予測残差信号の量子化後の変換係数、前記入力信号の動きベクトル、または、前記フレーム間予測に用いる参照フレームインデックスの値のうち少なくとも１つを用いて推定する
ことを特徴とする請求項２記載の動画像符号化装置。 - 前記発生符号量は、
前記入力信号と前記予測信号の残差信号の量子化後の変換係数、前記入力信号の動きベクトル及び前記フレーム間予測に用いる参照フレームインデックスの値もしくは対数値の多項式によって推定する
ことを特徴とする請求項４記載の動画像符号化装置。 - 前記第１評価値、前記第２評価値及び前記第３評価値は、
前記入力信号と前記予測信号の予測残差信号のＳＡＴＤを用いて算出する
ことを特徴とする請求項１記載の動画像符号化装置。 - 前記第１評価値は、
前記ＳＡＴＤに加えて前記入力信号の動きベクトルと前記フレーム間予測に用いる参照フレームインデックスの値を用いて算出する
ことを特徴とする請求項６記載の動画像符号化装置。 - 前記第３評価値は、
前記ＳＡＴＤに加えて前記予測モードに関する情報を用いて算出する
ことを特徴とする請求項６記載の動画像符号化装置。 - フレーム間予測及びフレーム内予測を用いて動画像の入力信号を符号化する動画像符号化方法であって、
前記フレーム間予測によって生成された予測信号に基づいて、前記フレーム間予測を用いた場合の符号化効率を表す第１評価値を見積る第１評価値見積りステップと、
色差信号に関するフレーム内予測の予測モードである色差予測モードの各々を用いたフレーム内予測によって生成された色差予測信号に基づいて、前記各色差予測モードの符号化効率を表す評価値を見積り、最も効率の良い色差予測モードとその評価値である第２評価値を求める第２評価値見積りステップと、
前記第１評価値と前記第２評価値とを比較して、前記第１評価値と前記第２評価値とのいずれが良いかを判定する第１比較ステップと、
前記第１比較ステップにおいて前記第１評価値の方が良いと判定した場合に、前記フレーム間予測を選択する第１選択ステップと、
前記第１比較ステップにおいて前記第２評価値の方が良いと判定した場合に、輝度信号に関するフレーム内予測の予測モードである輝度予測モードの各々を用いたフレーム内予測によって生成された輝度予測信号に基づいて、前記各輝度予測モードの符号化効率を表す評価値を見積り、最も符号化効率のよい輝度予測モードとその評価値である第３評価値を求める第３評価値見積りステップと、
前記第２評価値及び第３評価値の和と前記第１評価値とを比較して、前記和と前記第１評価値とのいずれが良いかを判定する第２比較ステップと、
前記第２比較ステップにおいて前記第１評価値の方が良いと判定した場合には、前記フレーム間予測を選択する第２選択ステップと、
前記第２比較ステップにおいて前記和の方が良いと判定した場合には、前記最も効率の良い色差予測モード及び前記最も効率の良い輝度予測モードを用いたフレーム内予測を選択する第３選択ステップと、
前記第１選択ステップ、前記第２選択ステップ、または、前記第３選択ステップのいずれかにより選択された予測方式により予測符号化を行う符号化ステップと、
を備えたことを特徴とする動画像符号化方法。 - 前記第１評価値、前記第２評価値及び前記第３評価値を符号化歪及び発生符号量から算出する
ことを特徴とする請求項９記載の動画像符号化方法。 - 前記符号化歪として、推定値を用いる
ことを特徴とする請求項１０記載の動画像符号化方法。 - 前記発生符号量は、
前記入力信号と前記予測信号の予測残差信号の量子化後の変換係数、前記入力信号の動きベクトル、または、前記フレーム間予測に用いる参照フレームインデックスの値のうち少なくとも１つを用いて推定する
ことを特徴とする請求項１０記載の動画像符号化方法。 - 前記発生符号量は、
前記入力信号と前記予測信号の残差信号の量子化後の変換係数、前記入力信号の動きベクトル及び前記フレーム間予測に用いる参照フレームインデックスの値もしくは対数値の多項式によって推定する
ことを特徴とする請求項１２記載の動画像符号化方法。 - 前記第１評価値、前記第２評価値及び前記第３評価値は、
前記入力信号と前記予測信号の予測残差信号のＳＡＴＤを用いて算出する
ことを特徴とする請求項９記載の動画像符号化方法。 - 前記第１評価値は、
前記ＳＡＴＤに加えて前記入力信号の動きベクトルと前記フレーム間予測に用いる参照フレームインデックスの値を用いて算出する
ことを特徴とする請求項１４記載の動画像符号化方法。 - 前記第３評価値は、
前記ＳＡＴＤに加えて前記予測モードに関する情報を用いて算出する
ことを特徴とする請求項１４記載の動画像符号化方法。 - フレーム間予測及びフレーム内予測を用いて、動画像の入力信号をコンピュータによって符号化させる動画像符号化プログラムであって、
前記フレーム間予測によって生成された予測信号に基づいて、前記フレーム間予測を用いた場合の符号化効率を表す第１評価値を見積る第１評価値見積り機能と、
色差信号に関するフレーム内予測の予測モードである色差予測モードの各々を用いたフレーム内予測によって生成された色差予測信号に基づいて、前記各色差予測モードの符号化効率を表す評価値を見積り、最も効率の良い色差予測モードとその評価値である第２評価値を求める第２評価値見積り機能と、
前記第１評価値と前記第２評価値とを比較して、前記第１評価値と前記第２評価値とのいずれが良いかを判定する第１比較機能と、
前記第１比較機能において前記第１評価値の方が良いと判定した場合に、前記フレーム間予測を選択する第１選択機能と、
前記第１比較機能において前記第２評価値の方が良いと判定した場合に、輝度信号に関するフレーム内予測の予測モードである輝度予測モードの各々を用いたフレーム内予測によって生成された輝度予測信号に基づいて、前記各輝度予測モードの符号化効率を表す評価値を見積り、最も符号化効率のよい輝度予測モードとその評価値である第３評価値を求める第３評価値見積り機能と、
前記第２評価値及び第３評価値の和と前記第１評価値とを比較して、前記和と前記第１評価値とのいずれが良いかを判定する第２比較機能と、
前記第２比較機能において前記第１評価値の方が良いと判定した場合には、前記フレーム間予測を選択する第２選択機能と、
前記第２比較機能において前記和の方が良いと判定した場合には、前記最も効率の良い色差予測モード及び前記最も効率の良い輝度予測モードを用いたフレーム内予測を選択する第３選択機能と、
前記第１選択機能、前記第２選択機能、または、前記第３選択機能のいずれかにより選択された予測方式により予測符号化を行う符号化機能と、
をコンピュータに実現させるための動画像符号化プログラム。 - 前記第１評価値、前記第２評価値及び前記第３評価値を符号化歪及び発生符号量から算出する
ことを特徴とする請求項１７記載の動画像符号化プログラム。 - 前記符号化歪として、推定値を用いる
ことを特徴とする請求項１８記載の動画像符号化プログラム。 - 前記発生符号量は、
前記入力信号と前記予測信号の予測残差信号の量子化後の変換係数、前記入力信号の動きベクトル、または、前記フレーム間予測に用いる参照フレームインデックスの値のうち少なくとも１つを用いて推定する
ことを特徴とする請求項１８記載の動画像符号化プログラム。 - 前記発生符号量は、
前記入力信号と前記予測信号の残差信号の量子化後の変換係数、前記入力信号の動きベクトル及び前記フレーム間予測に用いる参照フレームインデックスの値もしくは対数値の多項式によって推定する
ことを特徴とする請求項２０記載の動画像符号化プログラム。 - 前記第１評価値、前記第２評価値及び前記第３評価値は、
前記入力信号と前記予測信号の予測残差信号のＳＡＴＤを用いて算出する
ことを特徴とする請求項１７記載の動画像符号化プログラム。 - 前記第１評価値は、
前記ＳＡＴＤに加えて前記入力信号の動きベクトルと前記フレーム間予測に用いる参照フレームインデックスの値を用いて算出する
ことを特徴とする請求項２２記載の動画像符号化プログラム。 - 前記第３評価値は、
前記ＳＡＴＤに加えて前記予測モードに関する情報を用いて算出する
ことを特徴とする請求項２２記載の動画像符号化プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006182776A JP4250638B2 (ja) | 2006-06-30 | 2006-06-30 | 動画像符号化装置及びその方法 |
| US11/765,858 US20080002769A1 (en) | 2006-06-30 | 2007-06-20 | Motion picture coding apparatus and method of coding motion pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006182776A JP4250638B2 (ja) | 2006-06-30 | 2006-06-30 | 動画像符号化装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008016889A JP2008016889A (ja) | 2008-01-24 |
| JP4250638B2 true JP4250638B2 (ja) | 2009-04-08 |
Family
ID=38876640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006182776A Expired - Fee Related JP4250638B2 (ja) | 2006-06-30 | 2006-06-30 | 動画像符号化装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20080002769A1 (ja) |
| JP (1) | JP4250638B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4650461B2 (ja) * | 2007-07-13 | 2011-03-16 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、及び記録媒体 |
| US20090060039A1 (en) * | 2007-09-05 | 2009-03-05 | Yasuharu Tanaka | Method and apparatus for compression-encoding moving image |
| KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
| KR20090129926A (ko) * | 2008-06-13 | 2009-12-17 | 삼성전자주식회사 | 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치 |
| JP5276957B2 (ja) * | 2008-11-17 | 2013-08-28 | 株式会社日立国際電気 | 動画像符号化方法及び装置 |
| KR101633459B1 (ko) * | 2009-08-10 | 2016-06-24 | 삼성전자주식회사 | 컬러 간의 상관 관계를 이용한 영상 데이터 인코딩 장치 및 방법, 그리고 영상 데이터 디코딩 장치 및 방법 |
| JP2013085096A (ja) * | 2011-10-07 | 2013-05-09 | Sony Corp | 画像処理装置および方法 |
| CN102413334B (zh) * | 2011-12-29 | 2013-06-05 | 哈尔滨工业大学 | 一种应用于h.264编码的亮度4×4块帧内预测模式快速选择方法 |
| US20150103909A1 (en) * | 2013-10-14 | 2015-04-16 | Qualcomm Incorporated | Multi-threaded video encoder |
| JP6200335B2 (ja) * | 2014-01-20 | 2017-09-20 | 日本放送協会 | 動画符号化装置、及び動画符号化プログラム |
| CN111464814B (zh) * | 2020-03-12 | 2022-01-04 | 天津大学 | 一种基于视差引导融合的虚拟参考帧生成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426463A (en) * | 1993-02-22 | 1995-06-20 | Rca Thomson Licensing Corporation | Apparatus for controlling quantizing in a video signal compressor |
| TW301098B (ja) * | 1993-03-31 | 1997-03-21 | Sony Co Ltd | |
| US7620103B2 (en) * | 2004-12-10 | 2009-11-17 | Lsi Corporation | Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding |
-
2006
- 2006-06-30 JP JP2006182776A patent/JP4250638B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-20 US US11/765,858 patent/US20080002769A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20080002769A1 (en) | 2008-01-03 |
| JP2008016889A (ja) | 2008-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4250638B2 (ja) | 動画像符号化装置及びその方法 | |
| EP3448038B1 (en) | Decoding method for intra predicting a block by first predicting the pixels at the boundary | |
| KR100584495B1 (ko) | 비디오 화상 코딩 장치 및 방법 | |
| KR100924850B1 (ko) | 동화상 신호의 부호화 방법 및 복호화 방법 | |
| JP5669278B2 (ja) | 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法 | |
| JP4752631B2 (ja) | 画像符号化装置、及び画像符号化方法 | |
| JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
| KR100772390B1 (ko) | 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치 | |
| JP5197591B2 (ja) | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 | |
| WO2007077989A1 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
| JP2006025429A (ja) | 符号化方法およびこの方法を実施するための回路装置 | |
| JP2006074474A (ja) | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム | |
| JP2017069866A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
| EP2034742A2 (en) | Video coding method and device | |
| KR100727988B1 (ko) | 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치 | |
| WO2014104104A1 (ja) | 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム | |
| JP2006100871A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 | |
| JP4452733B2 (ja) | 動画像符号化における動き評価装置，方法およびそのプログラム並びにその記録媒体 | |
| JP4037839B2 (ja) | 画像符号化方法及び装置 | |
| JP2009049969A (ja) | 動画像符号化装置及び方法並びに動画像復号化装置及び方法 | |
| JP4697802B2 (ja) | 動画像予測符号化方法および装置 | |
| JP4375143B2 (ja) | 動画像符号化装置 | |
| KR100635009B1 (ko) | 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치 | |
| JP2010166275A (ja) | 画像符号化装置 | |
| KR100617177B1 (ko) | 움직임 추정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080813 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |