WO2011080807A1 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
WO2011080807A1
WO2011080807A1 PCT/JP2009/007360 JP2009007360W WO2011080807A1 WO 2011080807 A1 WO2011080807 A1 WO 2011080807A1 JP 2009007360 W JP2009007360 W JP 2009007360W WO 2011080807 A1 WO2011080807 A1 WO 2011080807A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
prediction error
luminance
prediction
error signal
Prior art date
Application number
PCT/JP2009/007360
Other languages
English (en)
French (fr)
Inventor
小山純平
中川章
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2011547116A priority Critical patent/JP5488613B2/ja
Priority to PCT/JP2009/007360 priority patent/WO2011080807A1/ja
Publication of WO2011080807A1 publication Critical patent/WO2011080807A1/ja
Priority to US13/530,514 priority patent/US9094687B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

　動画像符号化方法は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成するステップ、前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成するステップ、前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成するステップ、前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択するステップ、選択された生成規則に従って前記予測誤差信号から符号化情報を生成するステップ、を有する。

Description

動画像符号化装置および動画像復号装置
　本発明は、動画像を符号化する装置、方法、プログラム、および符号化された動画像を復号する装置、方法、プログラムに係わる。
　動画像データは、一般にデータ量が多いので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
　動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用する。すなわち、この符号化方法は、他のピクチャを利用することなく、ピクチャ内の情報のみを利用して画像を復元できる。また、他の高能率符号化方法として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高い。そして、インター予測符号化は、この性質を利用して画像を符号化する。
　ピクチャ間予測符号化では、一般に、原画像が複数のブロックに分割される。符号化装置は、ブロック毎に、符号化済みフレームの復号画像から、原画像ブロックと類似している領域を選択し、この類似領域と原画像ブロックとの差分を計算することで、時間的な冗長性を取り除く。そして、類似領域を指し示す動きベクトル情報および冗長性の取り除かれた差分情報を符号化することにより、高い圧縮率が実現される。
　例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置は、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、および符号化対象ピクチャの予測画像と符号化対象ピクチャの実際の画像との差分データを生成し、生成した動きベクトルデータおよび差分データを受信装置に送出する。ここで、予測画像は、前ピクチャおよび動きベクトルデータを用いて作成される。一方、受信装置は、受信した動きベクトルデータおよび差分データから符号化対象ピクチャを再生する。代表的な動画像符号化方式として、ＩＳＯ／ＩＥＣ　ＭＰＥＧ－２／ＭＰＥＧ－４（以下、ＭＰＥＧ－２、ＭＰＥＧ－４）が挙げられる。
　ＭＰＥＧ－２では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャが規定されている。Ｉピクチャは、ピクチャ内の情報のみを符号化することにより得られる。Ｐピクチャは、過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化することにより得られる。Ｂピクチャは、過去のピクチャおよび未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化することにより得られる。
　動画像の符号化／復号化においては、効率の良い（すなわち、圧縮率が高い）方式が好ましい。そして、符号化／復号化の効率を高める方法として、下記の第１～第３のステップを有する信号符号化方法が提案されている。第１のステップは、符号化対象信号と相関のある信号を参照信号として取得する。第２のステップは、変換規則の基礎となる変換基底をその取得された参照信号の特性に基づいて導出する。第３のステップは、導出された変換基底に基づいた変換規則に従って上記符号化対象信号を変換して符号化する。（例えば、特許文献１）
　また、関連する技術として、特許文献２に記載の予測復号装置が提案されている。
特開２００２－３１４４２８号公報 特開２０００－５９７８５号公報
　上述のように、動画像の符号化／復号化においては、効率の良い方式が好ましい。そして、符号化／復号化の効率を高めるための様々な方法が提案されている。しかし、従来技術には改善の余地がある。
　本発明の課題は、動画像の符号化／復号化の更なる効率化を図ることである。
　本発明の１つの態様に係る動画像符号化装置は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成する動き補償信号生成部と、前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成する予測信号生成部と、前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成する予測誤差信号生成部と、前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、前記選択部により選択された生成規則に従って、前記予測誤差信号から符号化情報を生成する符号化情報生成部、を有する。
　上記構成の符号化装置は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、動きベクトルを生成する動き推定部を備えてもよい。この場合、動き補償信号生成部は、動きベクトルを利用して動き補償信号を生成する。
　本発明の１つの態様に係る動画像復号装置は、動画像符号化装置により生成された符号化情報を復号する構成であって、複数の参照画像に基づいて複数の動き補償信号を生成する動き補償信号生成部と、前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成する予測信号生成部と、復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択する選択部と、前記選択部により選択された再生規則に従って、前記復号対象信号から再生予測誤差信号を生成する再生予測誤差信号生成部と、前記再生予測誤差信号および前記予測信号から復号画像を生成する復号画像生成部、を有する。
　本発明の他の態様に係る動画像符号化装置は、輝度信号および色差信号を含む符号化対象信号の符号化を行う構成であって、輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成する輝度予測誤差信号生成部と、色差信号の予測値を表す色差予測信号を生成する色差予測信号生成部と、前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成する色差予測誤差信号生成部と、前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成する輝度符号化情報生成部、を有する。
　本発明の他の態様に係る動画像復号装置は、動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する構成であって、輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成する色差再生予測誤差信号生成部と、前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択する選択部と、前記選択部により選択された再生規則に従って、前記輝度符号化情報から輝度再生予測誤差信号を生成する輝度再生予測誤差信号生成部と、前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する輝度復号画像生成部、を有する。
　開示の装置または方法によれば、動画像の符号化／復号化の効率化が向上する。
実施形態の動画像符号化装置の構成を示す図である。 実施形態の動画像復号装置の構成を示す図である。 双方向予測について説明する図である。 予測誤差信号と動き補償信号との相関について説明する図である。 ジグザグスキャンの一例を示す図である。 第１の実施形態の符号化装置の構成を示す図である。 第１の実施形態の符号化装置の動作例を示す図である。 差分の偏りパターンに応じて基底を選択する方法を説明する図である。 基底を選択する他の方法を説明する図（その１）である。 基底を選択する他の方法を説明する図（その２）である。 基底を選択する他の方法を説明する図（その３）である。 基底を選択する他の方法を説明する図（その４）である。 第１の実施形態の復号装置の構成を示す図である。 第１の実施形態の復号装置の動作例を示す図である。 第１の実施形態の符号化方法を示すフローチャートである。 第１の実施形態の復号方法を示すフローチャートである。 第２の実施形態の符号化装置の構成を示す図である。 第２の実施形態の符号化装置の動作例を示す図である。 輝度情報の変換規則を選択する方法を示すフローチャートである。 第２の実施形態の復号装置の構成を示す図である。 符号化装置または復号装置のハードウェア構成を示す図である。
　図１は、実施形態の動画像符号化装置の構成を示す図である。図１に示す動画像符号化装置１は、予測誤差信号生成部１１、直交変換部１２、量子化部１３、ジグザグスキャン部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償信号生成部２０、予測信号生成部２１を備える。なお、動画像符号化装置１は、動画像の各ピクチャを複数のブロックに分割し、各ブロックについて符号化を行う。ブロックのサイズは、固定されていてもよいし、可変サイズであってもよい。
　予測誤差信号生成部１１には、現ピクチャ（符号化対象ピクチャ）を分割することにより得られる各ブロックの画像を表すブロックデータが順番に入力される。ブロックのサイズは、例えば、１６×１６画素のブロック（マクロブロック）である。そして、予測誤差信号生成部１１は、符号化対象ブロックデータと、予測信号生成部２１から供給される予測画像ピクチャのブロックデータ（予測信号）との差分を計算することにより、予測誤差信号を生成する。
　直交変換部１２は、予測誤差信号に対して直交変換処理を行う。この直交変換により、水平方向および垂直方向の周波数成分に分離された周波数領域信号が生成される。直交変換は、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）である。量子化部１３は、直交変換部１２の出力信号を量子化する。量子化により、変換された予測誤差信号の符号量が削減される。量子化部１３の出力信号は、ジグザグスキャン部１４および逆量子化部１６に供給される。
　ジグザグスキャン部１４は、予め決められたスキャンパターンで量子化部１３の出力信号（複数の係数）をスキャンし、ランレベル情報を生成する。ランレベル情報は、ゼロでない係数の値を表す情報（level）、およびゼロが連続する長さを表す情報（run）などを含む。エントロピー符号化部１５は、ジグザグスキャン部１４から出力されるランレベル情報をエントロピー符号化（可変長符号化）する。エントロピー符号においては、シンボルの出現頻度に応じて可変長の符号が割り当てられる。
　逆量子化部１６は、量子化部１３の出力信号を逆量子化する。逆直交変換部１７は、逆量子化部１６の出力信号を逆直交変換する。逆量子化部１６および逆直交変換部１７の処理は、それぞれ、量子化部１３および直交変換部１２の処理に対応する。すなわち、逆量子化部１６および逆直交変換部１７を用いて復号化処理を行うことにより、予測誤差信号と類似する信号（以下、再生予測誤差信号）が得られる。
　復号画像生成部１８は、予測信号生成部２１により生成される予測画像のブロックデータに、逆直交変換部１７から出力される再生予測誤差信号を加算する。これにより、局部復号画像が生成される。復号画像記憶部１９は、復号画像生成部１８により生成されたブロックデータを、新たな参照ピクチャのデータとして記憶する。
　動き補償信号生成部２０は、原ピクチャの符号化対象ブロックのブロックデータ、および復号画像記憶部１９に格納されている参照ピクチャのブロックデータを用いて、符号化対象ブロックの動きベクトルを計算する。動きベクトルは、原ピクチャと参照ピクチャとの間での空間的なずれを表す値であり、例えば、参照ピクチャにおいて現ピクチャの符号化対象ブロックに最も類似しているブロックの位置を探索するブロックマッチング技術により実現される。そして、動き補償信号生成部２０は、動きベクトルで動き補償を行うことにより、動き補償された参照ピクチャのブロックデータを生成する。
　予測信号生成部２１は、動き補償信号生成部２０によって得られた参照ピクチャのブロックデータを基に符号化対象信号の予測信号を生成する。この予測信号は、上述したように、予測誤差信号生成部１１に供給される。
　図２は、実施形態の動画像復号装置の構成を示す図である。図２に示す動画像復号装置２は、エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４、動き補償信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８を備える。そして、動画像復号装置２は、図１に示す動画像符号化装置１で生成された符号化情報を復号して画像を再生する。
　エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４は、それぞれ、図１に示すエントロピー符号化部１５、ジグザグスキャン部１４、量子化部１３、直交変換部１２に対応する処理を実行する。これにより、受信データストリームから予測誤差信号が再生される。
　動き補償信号生成部３５は、復号画像記憶部３８に格納されている参照ピクチャおよび符号化装置から通知される動きベクトルを利用して動き補償信号を生成する。予測信号生成部３６は、動き補償信号に基づいて、復号画像の予測値を表す予測信号を生成する。動き補償信号生成部３５および予測信号生成部３６は、基本的に、図１に示す動き補償信号生成部２０および予測信号生成部２１と同じ方法で予測信号を生成する。
　復号画像生成部３７は、予測信号生成部３６により生成される予測信号に、逆直交変換部３４の出力信号（すなわち、再生予測誤差信号）を加算することにより、復号画像を生成する。生成された復号画像は、以降の復号処理において利用される参照ピクチャとして復号画像記憶部３８に格納される。
　＜第１の実施形態＞
　図３は、双方向予測について説明する図である。双方向予測（Bidirectional prediction / Bipredictive）においては、前方向参照画像および後方向参照画像が使用される。前方向参照画像（前方向動き補償画像）は、符号化対象画像よりも先に表示される複数の参照画像の中から選択される。同様に、後方向参照画像（後方向動き補償画像）は、符号化対象画像よりも後に表示される複数の参照画像の中から選択される。
　前方向予測ブロックは、前方向参照画像において、符号化対象ブロックと最も類似している画像ブロックである。また、前方向動きベクトルは、符号化対象ブロックと前方向予測ブロックとの間の「動き」を表す。そして、前方向予測ブロックの画像を表す前方向動き補償信号が生成される。同様に、後方向予測ブロックは、後方向参照画像において、符号化対象ブロックと最も類似している画像ブロックである。また、後方向動きベクトルは、符号化対象ブロックと後方向予測ブロックとの間の「動き」を表す。そして、後方向予測ブロックの画像を表す後方向動き補償信号が生成される。
　符号化対象信号の予測信号は、前方向動き補償信号および後方向動き補償信号の平均を計算することで生成される。そして、符号化対象信号と予測信号との差分を表す予測誤差信号、前方向動きベクトル情報、後方向動きベクトル情報が符号化される。なお、図３においては、前方向動き補償信号および後方向動き補償信号を加算する加算器が描かれているが、実際には、その加算値が「２」で除算される。また、Ｈ．２６４では、任意の複数の参照ピクチャから２枚の参照画像が生成され、それらを重み付けして加算した値が、Ｂピクチャ予測画像として使用される。
　図４は、予測誤差信号と動き補償信号との相関について説明する図である。図４に示す例では、正方形の物体Ｘが時計方向に回転している。ここでは、時刻ｔの符号化対象画像が、時刻ｔ－１の前方向参照画像および時刻ｔ＋１の後方向参照画像を用いて符号化されるものとする。なお、この例では、前方向動きベクトルおよび後方向動きベクトルは、いずれもゼロである。また、物体Ｘが存在する領域の画素値は１００、背景領域の画素値はゼロであるものとする。画素値は、特に限定されるものではないが、例えば、輝度レベルである。
　前方向動き補償ブロックとしては、符号化対象ブロックと最も差分が小さい領域が選択される。しかし、物体Ｘが回転しているので、前方向参照画像において、符号化対象ブロックと全く同じ画像は検出されない。すなわち、前方向参照画像において、符号化対象ブロックから少しだけ差異のある画像ブロックが抽出される。同様に、後方向参照画像においても、符号化対象ブロックから少しだけ差異のある画像ブロックが抽出される。
　予測信号は、図３を参照しながら説明したように、画素毎に前方向動き補償信号および後方向動き補償信号を平均化することにより生成される。この場合、予測信号のブロックの各画素の画素値は、前方向動き補償信号および後方向動き補償信号の双方において物体Ｘが存在する領域では「１００」、一方の動き補償信号のみに物体Ｘが存在する領域では「５０」、双方の動き補償信号とも背景である領域では「０」となる。
　そして、画素毎に符号化対象信号から予測信号が減算され、予測誤差信号のブロックが生成される。この予測誤差信号は、図４に示すように、符号化対象画像上における物体Ｘと背景との境界部分に、画素値５０の画素および画素値－５０の画素を有する。
　ここで、前方向動き補償信号と後方向動き補償信号の差を考える。図４に示す動き補償信号間差分信号（または、予測間差分信号）は、画素毎に、２枚の動き補償画像間の差分絶対値を算出することにより得られる。そうすると、動き補償信号間差分信号は、図４に示すように、符号化対象画像上における物体Ｘと背景との境界部分に、画素値１００の画素を有する。
　予測誤差信号と動き補償信号間差分信号とを比較すると、画素値が０でない領域の形状は互いにほぼ一致している。すなわち、前方向動き補償信号と後方向動き補償信号との画素値が異なる領域において、予測誤差が発生している。したがって、動き補償信号間差分信号の画素値の分布と、予測誤差信号の画素値の分布との間の相関は高い。
　ところで、図１に示す符号化装置においては、予測誤差信号は、直交変換された後にエントロピー符号化が行われる。このとき、直交変換により得られる複数の係数は、例えば図５に示すパターンでスキャンされ、さらにランレベル情報に符号化されてエントロピー符号化部１５に送られる。このとき、直交変換により得られる複数の係数が、例えば、低周波数成分側に集まっていれば、エントロピー符号により得られる符号化データの情報量は小さくなる。他方、予測誤差信号を直交変換により得られる係数の分布は、その予測誤差信号の画素値の分布に依存する。したがって、予測誤差信号の画素値の分布を検出し、その分布に応じて直交変換方法を適切に選択すれば、符号化データの情報量を小さくすることができる。
　第１の実施形態の符号化方法においては、上記相関を利用して、符号化データの情報量の削減を図る。すなわち、予測誤差信号の画素値の分布の代わりに、動き補償信号間差分信号の画素値の分布に基づいて、予測誤差信号を直交変換するための方法が適切に選択される。
　図６は、第１の実施形態の符号化装置の構成を示す図である。図６において、動画像の各ピクチャはそれぞれ複数のブロックに分割され、符号化装置は、ブロック毎に画像データの符号化を行う。なお、図６において、符号化対象信号は、符号化対象ブロックの画像を表す。
　動き推定部１０１は、符号化対象ブロックを表す符号化対象信号および複数の参照ピクチャに基づいて、１または複数の動きベクトルを生成する。また、動き補償信号生成部１０２は、動きベクトルおよび複数の参照ピクチャに基づいて１または複数の動き補償信号を生成する。例えば、双方向予測においては、動き推定部１０１により前方向動きベクトルおよび後方向動きベクトルが生成され、動き補償信号生成部１０２により前方向動き補償信号および後方向動き補償信号が生成される。なお、動き推定部１０１は、動き補償信号生成部１０２に含まれるようにしてもよい。
　予測信号生成部１０３は、動き補償信号を利用して、符号化対象信号の予測値を表す予測信号を生成する。予測信号生成部１０３は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で用いられているインター予測、双方向予測（Ｂピクチャ）、或いは、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で採用されているイントラ予測などにより実現される。予測方法を指示する予測モード（Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣのイントラ予測モード、インター予測のベクトル等）は、所定の予測モード決定アルゴリズムで決定される。予測モードの決定方法は、例えば、既存のイントラ予測モード決定方法、ベクトル推定方法などにより実現される。
　予測誤差信号生成部１０４は、図３を参照しながら説明したように、符号化対象信号と予測信号との差分を表す予測誤差信号を生成する。この予測誤差信号は、符号化情報生成部１０５に送られる。
　符号化情報生成部１０５は、複数の生成規則＃１～＃Ｎの中から選択された１つの生成規則に従って、予測誤差信号から符号化情報を生成する。図６において、符号化情報生成部＃１～＃Ｎは、それぞれ、生成規則＃１～＃Ｎに従って予測誤差信号から符号化情報を生成する。なお、符号化情報生成部１０５は、図１に示す直交変換部１２および量子化部１３に対応する。
　符号化情報生成部１０５は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で用いられる直交変換および量子化の組合せにより実現される。この場合、符号化情報は、直交変換により得られた各係数の量子化結果に相当する。また、符号化情報生成部１０４は、ＪＰＥＧ－２０００等で採用されているWavelet変換、ＤＰＣＭ、ベクトル量子化等によって実現されてもよい。
　ここで、双方向予測においては、上述したように、符号化対象信号と予測信号との差分を表す予測誤差が大きい画素位置では、その予測信号を生成するために使用される複数の動き補償信号間の差分も大きい。すなわち、予測誤差信号の分布と、動き補償信号間の差分値の分布との間には相関がある。例えば、符号化対象ブロックの右上領域の予測誤差が大きい場合には、対応する領域の動き補償信号間の差分も大きい。そこで、第１の実施形態では、この相関を利用し、予測信号を生成するために使用される複数の動き補償信号間の差分の分布に基づいて、符号化情報を生成するための生成規則（すなわち、符号化情報生成部＃１～＃Ｎ）が選択される。
　選択部１０６は、動き補償信号間の差分に基づいて、予測誤差信号から符号化情報を生成するための生成規則（符号化情報生成部＃１～＃Ｎ）を選択する。すなわち、選択部１０６は、図４に示すように、前方向動き補償信号と後方向動き補償信号との差分を計算することにより、動き補償信号間差分信号を生成する。そして、選択部１０６は、この動き補償信号間差分信号に基づいて、予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する。そうすると、符号化情報生成部１０５は、選択部１０６により選択された生成規則で予測誤差信号から符号化情報を生成する。
　エントロピー符号化部１０７は、符号化情報生成部１０５により生成される符号化情報に対してエントロピー符号化を実行し、エントロピー符号化情報を生成する。ここで、符号化情報は、エントロピー符号化されたときの情報量が最も小さくなることが期待される生成規則で生成されている。したがって、第１の実施形態の符号化装置で生成される符号化データストリームの情報量は小さい。なお、エントロピー符号化部１０７は、動きベクトルを表す動きベクトル情報も符号化する。また、図６では、ジグザグスキャン部は省略されている。
　再生予測誤差信号生成部１０８は、複数の再生規則＃１～＃Ｎの中から選択された１つの再生規則に従って、符号化情報から再生予測誤差信号を生成する。図６において、再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、再生規則＃１～＃Ｎに従って符号化情報から再生予測誤差信号を生成する。ここで、再生規則＃１～＃Ｎは、それぞれ、生成規則＃１～＃Ｎに対応する。すなわち、再生規則＃１～＃Ｎは、それぞれ、生成規則＃１～＃Ｎによる処理の逆処理を規定する。なお、再生予測誤差信号生成部１０８は、図１に示す逆量子化部１６および逆直交変換部１７に対応する。
　選択部１０６は、動き補償信号間の差分に基づいて、再生予測誤差信号を生成するための再生規則（再生予測信号生成部＃１～＃Ｎ）を選択する。このとき、選択部１０６は、符号化情報を生成するために選択した生成規則に対応する再生規則を選択する。図６に示す例では、符号化情報生成部＃２および再生予測誤差信号生成部＃２が選択されている。
　局部復号画像生成部１０９は、予測信号生成部１０３により生成される予測信号および再生予測誤差信号生成部１０８により生成される再生予測誤差信号から、局部復号画像を生成する。すなわち、局部復号画像は、符号化対象画像をいったん符号化した後に復号することで得られる。参照画像蓄積部１１０は、局部復号画像を収集し、以降の符号化処理で使用される参照ピクチャとして保存する。
　このように、第１の実施形態では、符号化情報生成部＃１～＃Ｎおよび再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、ブロック内での予測誤差が局在している画素位置に応じて、符号化された予測誤差信号の情報量が最も少なくなるように選択される。このとき、符号化情報生成部１０５および再生予測誤差信号生成部１０８は、例えば、予測誤差が局在している画素位置に対応する複数種類の直交変換基底および逆直交変換基底により実現される。直交変換は、例えば、ＫＬ変換である。なお、上述の方法に代わりに、予測誤差が大きい領域および予測誤差が小さい領域を検出し、それら２つの領域に対して互いに異なる直交変換／逆直交変換を行うようにしてもよい。或いは、予測誤差が大きい領域に対してＤＰＣＭを行い、予測誤差が小さい領域に対して直交変換を行うようにしてもよい。
　図７は、第１の実施形態の符号化装置の動作例を示す図である。この例では、符号化情報生成部１０５は、符号化情報生成部＃０～＃１５を備え、再生予測誤差信号生成部１０８は、再生予測誤差信号生成部＃０～＃１５を備えている。なお、再生予測誤差信号生成部＃０～＃１５は、それぞれ、符号化情報生成部＃０～＃１５による処理の逆処理を実行する。
　以下の説明では、符号化対象ブロックの右下領域に丸いテクスチャが存在するものとする。また、この符号化対象ブロックの符号化モードとして、双方向予測が選択されたものとする。
　この場合、動き補償信号生成部１０２により前方向動き補償信号および後方向動き補償信号が生成される。前方向動き補償信号および後方向動き補償信号により表される各画像ブロックには、それぞれ、符号化対象ブロックと同様に丸いテクスチャが存在する。ただし、３枚の画像ブロックに存在するテクスチャの位置および／または形状は、必ずしも互いに一致していない。
　予測信号生成部１０３は、前方向動き補償信号および後方向動き補償信号の平均を計算することにより予測信号１２１を生成する。そして、予測誤差信号生成部１０４は、符号化対象信号と予測信号１２１との差分を計算することにより予測誤差信号１２２を生成する。そして、この予測誤差信号１２２は、符号化情報生成部１０５に送られる。
　一方、差分計算部１１１は、前方向動き補償信号と後方向動き補償信号との差分を表す動き補償信号間差分信号１２３を生成する。差分計算部１１１は、選択部１０６の中に設けられてもよい。ここで、前方向動き補償信号と後方向動き補償信号とを比較すると、テクスチャが存在しない領域は互いにほぼ一致するが、テクスチャが存在する領域は差異が存在する。このため、動き補償信号間差分信号１２３により表されるブロックにおいて、テクスチャが存在する領域（ここでは、右下領域）の差分値は大きい。
　なお、符号化対象信号と予測信号１２１とを比較した場合も、テクスチャが存在しない領域は互いにほぼ一致するが、テクスチャが存在する領域は差異が存在する。このため、予測誤差信号１２２により表されるブロックにおいても、テクスチャが存在する領域（ここでは、右下領域）の誤差は大きい。すなわち、予測誤差信号１２２と動き補償信号間差分信号１２３との間には相関が存在する。
　選択部１０６は、符号化情報生成部＃０～＃１５の中から、動き補償信号間差分信号１２３に対応する符号化情報生成部（ここでは、＃１）を選択する。図７に示す例では、ブロック内の右下領域の成分が大きい偏りパターンが検出され、この偏りパターンに対応する符号化情報生成部＃１が選択されている。そして、符号化情報生成部１０５は、符号化情報生成部＃１を利用して予測誤差信号１２２から符号化情報を生成する。
　選択部１０６は、再生予測誤差信号生成部＃０～＃１５の中から、選択した符号化情報生成部に対応する再生予測誤差信号生成部を選択する。この例では、符号化情報生成部１０５において符号化情報生成部＃１が選択されているので、再生予測誤差信号生成部１０８においては再生予測誤差信号生成部＃１が選択される。ここで、再生予測誤差信号生成部＃１は、符号化情報生成部＃１による処理の逆処理を実行する。例えば、符号化情報生成部＃１が直交変換を実行する場合には、再生予測誤差信号生成部＃１は、対応する逆直交変換を実行する。そして、再生予測誤差信号生成部１０８は、再生予測誤差信号生成部＃１を利用して符号化情報から再生予測誤差信号１２４を生成する。なお、再生予測誤差信号１２４を利用して局部復号画像１２５および参照画像１２６を生成する方法は、上述した通りである。
　図８は、動き補償信号間の差分の偏りパターンに応じて直交変換基底を選択する方法を説明する図である。この例では、前方向動き補償信号、後方向動き補償信号、動き補償信号間差分信号により表されるブロックは、それぞれ４つの領域Ａ～Ｄに分割される。例えば、ブロックのサイズが８×８画素である場合、領域Ａ～Ｄはそれぞれ４×４画素である。
　動き補償信号間差分信号は、前方向動き補償信号の各画素の画素値（例えば、輝度レベル）と、後方向動き補償信号の対応する画素の画素値との間の差分を表す。そして、選択部１０６は、動き補償信号間差分信号により表されるブロックの各領域Ａ～Ｄについて、差分絶対値の和を算出する。すなわち、選択部１０６は、領域Ａ～Ｄについて、それぞれ差分絶対値和ＳA～ＳDを計算する。
　続いて、選択部１０６は、差分絶対値和ＳA～ＳDをそれぞれ閾値Ｔｈと比較する。この閾値Ｔｈは、予め決められた固定値であってもよいし、符号化処理を実行しながら適応的に変化する値であってもよい。そして、各差分絶対値和ＳA～ＳDについての閾値判定の結果の組合せパターンが検出される。
　選択部１０６において、閾値判定の結果の組合せパターンに対して、それぞれ対応する基底＃０～＃１５が定められている。「基底」は、この例では、直交変換のための変換規則に相当する。すなわち、互いに異なる１６個の基底＃０～＃１５が定義されている。なお、図８において、基底番号「０」～「１５」は、４つの閾値判定の結果に対応する４ビットデータで表されている。この場合、閾値判定の結果が「Ｙｅｓ」である場合は「１」を表し、閾値判定の結果が「Ｎｏ」である場合は「０」を表している。
　たとえば、基底＃１は、ブロック内の右下領域のみの予測誤差が大きいときに、その予測誤差信号を基底＃１で直交変換した後に符号化を行うと、符号化情報の情報量が小さくなる基底である。また、基底＃２は、ブロック内の左下領域のみの予測誤差が大きいときに、その予測誤差信号を基底＃２で直交変換した後に符号化を行うと、符号化情報の情報量が小さくなる基底である。以下同様に、基底＃０～＃１５は、それぞれ予測誤差の大きい画素の分布に応じて、符号化情報の情報量を小さくする基底である。なお、各基底＃０～＃１５は、それぞれ、例えば、予め実験またはシミュレーションにより最適な状態が決定されている。
　図８に示す例では、領域Ｄの差分が大きい。即ち、差分絶対値和ＳDのみが閾値Ｔｈよりも大きい。この場合、選択部１０６は、基底＃１を選択する。
　各基底＃０～＃１５は、この例では、符号化対象ブロックのサイズに対応する行列により表される。例えば、符号化対象ブロックが８×８画素であるときは、各基底＃０～＃１５は、６４の８行×８列の行列で表される。
　符号化情報生成部１０５は、基底＃０～＃１５を有している。ここで、基底＃０～＃１５は、図７に示す符号化情報生成部＃０～＃１５に相当する。そして、符号化情報生成部１０５は、選択部１０６により選択された基底を利用して、予測誤差信号に対して直交変換を行う。上述の例では、符号化情報生成部１０５は、基底＃１を利用して、予測誤差信号に対して直交変換を行う。ここで、直交変換は、予測誤差信号を表す行列に基底を表す行列を乗算することにより実現される。そして、直交変換された予測誤差信号は、必要に応じて量子化が実行され、符号化情報として出力される。
　このように、図８に示す例では、動き補償信号間差分信号の偏りパターンに対してそれぞれ直交変換の基底が設けられている。そして、予測誤差信号は、上記偏りパターンに対応する基底で変換される。このとき、直交変換において、予測誤差信号の符号化情報の情報量が小さくなるような基底が選択される。したがって、第１の実施形態の符号化方法によれば、符号化情報の情報量が小さくなる。
　図９～図１２は、差分の分布パターンに応じて基底を選択する他の方法を説明する図である。この例では、４ｘ４ブロックサイズの信号を変換するものとする。
　この方法においても、まず、前方向動き補償信号と後方向動き補償信号の差分を計算することにより、動き補償信号間差分信号が生成される。続いて、動き補償信号間差分信号の各行について、差分値の分布パターンが検出される。たとえば、行０に含まれる各画素の差分絶対値ＳA～ＳDがそれぞれ計算される。そして、図１０に示すように、各差分絶対値ＳA～ＳDがそれぞれ閾値Ｔｈと比較される。行１～行３についても同様の比較が行われる。
　例えば、行３は、右から２番目の画素の差分絶対値ＳCのみが閾値Ｔｈよりも大きく、他の画素の差分絶対値ＳA、ＳB、ＳDはそれぞれ閾値Ｔｈよりも小さい。この場合、行３に対して分布パターン＃２が検出される。同様に、この例では、行０、行１、行２に対して、それぞれ、分布パターン＃９、＃４、＃１１が検出されるものとする。
　各分布パターン＃０～＃１５に対して、それぞれ、基底＃０～＃１５が対応付けられている。各基底＃０～＃１５は、それぞれ、対応する分布パターンを持った「行」に対して使用されたときに、変換後の「行」において第１主成分にエネルギーが集中するように決定されている。
　符号化情報生成部１０５は、予測誤差信号および動き補償信号間差分信号の各行を、選択された基底を用いて変換する。上述の例では、行０は基底＃９で変換される。また、行１、行２、行３は、それぞれ基底＃４、基底＃１１、基底＃２で変換される。そして、予測誤差信号の各行がそれぞれ上述のようにして選択された基底で変換されると、各行において、第１主成分にエネルギーが集中するようになる。
　行方向の変換のための基底＃０～＃１５の例を下記に示す。なお、下記の直交変換基底の各列は、それぞれ固有ベクトルを表す。左側から順番に第１～第４列は、それぞれ固有ベクトルの第１主成分、第２主成分、第３主成分、第４主成分を表す。
　直交基底＃０（水平方向分布パターン＃０に関連付けられた基底）
0.417,   0.611,   0.589,   0.326
0.573,   0.340,  -0.415,  -0.620
0.570,  -0.321,  -0.418,   0.630
0.417,  -0.639,   0.554,  -0.335
　直交基底＃１
0.211,   0.617,  -0.608,  -0.453
0.381,   0.561,   0.170,   0.715
0.599,   0.042,   0.624,  -0.501
0.672,  -0.550,  -0.461,   0.183
　直交基底＃２
0.310,   0.614,  -0.583,   0.432
0.514,   0.469,   0.275,  -0.664
0.635,  -0.223,   0.504,   0.542
0.487,  -0.594,  -0.575,  -0.281
　直交基底＃３
0.254,   0.607,  -0.623,  -0.422
0.450,   0.522,   0.225,   0.689
0.630,  -0.070,   0.554,  -0.539
0.580,  -0.595,  -0.504,   0.237
　直交基底＃４
0.468,  -0.591,   0.590,  -0.288
0.629,  -0.258,  -0.489,   0.547
0.526,   0.441,  -0.299,  -0.663
0.331,   0.625,   0.568,   0.421
　直交基底＃５
0.305,   0.611,   0.632,   0.367
0.505,   0.482,  -0.347,  -0.626
0.614,  -0.189,  -0.467,   0.608
0.524,  -0.599,   0.513,  -0.322
　直交基底＃６
0.355,   0.605,   0.607,  -0.373
0.605,   0.377,  -0.360,   0.602
0.608,  -0.363,  -0.366,  -0.604
0.371,  -0.600,   0.607,   0.367
　直交基底＃７
0.358,   0.606,  -0.635,  -0.318
0.535,   0.413,   0.380,   0.631
0.591,  -0.211,   0.450,  -0.635
0.485,  -0.646,  -0.500,   0.312
　直交基底＃８
0.647,  -0.558,  -0.487,   0.179
0.603,  -0.000,   0.615,  -0.508
0.406,   0.530,   0.196,   0.718
0.229,   0.638,  -0.589,  -0.440
　直交基底＃９
0.428,   0.630,  -0.576,   0.296
0.554,   0.322,   0.441,  -0.629
0.559,  -0.290,   0.431,   0.646
0.444,  -0.645,  -0.537,  -0.315
　直交基底＃１０
0.497,  -0.596,   0.549,  -0.310
0.609,  -0.232,  -0.466,   0.599
0.523,   0.439,  -0.356,  -0.638
0.330,   0.630,   0.596,   0.372
　直交基底＃１１
0.461,  -0.610,  -0.577,   0.287
0.580,  -0.285,   0.463,  -0.607
0.549,   0.356,   0.385,   0.651
0.388,   0.648,  -0.552,  -0.355
　直交基底＃１２
0.564,  -0.591,  -0.529,   0.229
0.630,  -0.102,   0.553,  -0.536
0.460,   0.491,   0.244,   0.698
0.271,   0.632,  -0.596,  -0.415
　直交基底＃１３
0.394,   0.620,   0.584,   0.346
0.553,   0.370,  -0.389,  -0.637
0.574,  -0.276,  -0.461,   0.619
0.458,  -0.634,   0.544,  -0.302
　直交基底＃１４
0.484,  -0.636,  -0.525,   0.292
0.595,  -0.216,   0.464,  -0.620
0.532,   0.396,   0.371,   0.650
0.360,   0.626,  -0.609,  -0.328
　直交基底＃１５
0.456,   0.640,  -0.554,  -0.276
0.539,   0.295,   0.469,   0.634
0.539,  -0.281,   0.446,  -0.657
0.460,  -0.651,  -0.524,   0.300
　各列に対する基底を選択する際には、図１１～図１２に示すように、まず、動き補償信号間差分信号の各行について差分絶対値和ＳE～ＳHが計算される。ＳEは、動き補償信号間差分信号の行０の各成分の絶対値の和である。同様に、ＳF、ＳG、ＳHは、動き補償信号間差分信号の行１、行２、行３の各成分の絶対値の和である。そして、ＳE～ＳHがそれぞれ閾値Ｔｈと比較される。このとき、例えば、ＳE、ＳFはそれぞれ閾値Ｔｈよりも小さく、ＳG、ＳHはそれぞれ閾値Ｔｈよりも大きいものとする。この場合、基底パターン＃３が検出される。
　各基底パターン＃０～＃１５に対して、それぞれ、基底セット＃０～＃１５が対応付けられている。基底セット＃０～＃１５は、それぞれ、４つの基底（第１～第４主成分用直交基底）を有する。第１～第４主成分用直交基底は、図９～図１０に示す行方向の基底変換を実行することにより得られる４×４基底変換行列の第１～第４成分にそれぞれ対応して作成されている。
　例えば、図１１～図１２に示す例では、基底セット＃３が選択される。この場合、４×４基底変換行列の第１成分は、基底セット＃３の第１主成分用直交基底で変換される。同様に、４×４基底変換行列の第２～第４成分は、それぞれ、基底セット＃３の第２～第４主成分用直交基底で変換される。
　各基底セット＃０～＃１５は、それぞれ、対応する基底パターンを持った「列」に対して使用されたときに、変換後の「列」において第１要素にエネルギーが集中するよう決定されている。よって、行方向の変換後の予測誤差信号の各列がそれぞれ上述のようにして選択された基底セットで変換されると、各列において、第１要素にエネルギーが集中するようになる。すなわち、行方向および列方向において上述の方法で直交変換を行うと、低周波数成分領域にエネルギーが集中することになる。
　列方向の変換のための基底セット＃０～＃１５の例を下記に示す。なお、下記の直交基底の各列は、それぞれ固有ベクトルを表す。左側から順番に第１～第４列は、それぞれ固有ベクトルの第１主成分、第２主成分、第３主成分、第４主成分を表す。なお、直交変換を行うと、一般的に、変換後の行列は、第１主成分の値が最も大きく、第２～第４主成分の値は順番に小さくなる傾向がある。このとき、実空間の符号化対象信号の各行を水平方向に直交変換を行い、全ての行で主成分の並びを統一する。そうすると、この行列は、列方向においてそれぞれの行の同じランクの主成分が並ぶことになる。実施形態の基底セットは、この主成分毎に、垂直方向の基底を有する。
　基底セット＃０（垂直方向の基底パターン＃０に関連付けられた基底セット）
第１主成分用直交基底
0.397,  -0.596,   0.614,   0.333
0.592,  -0.345,  -0.381,  -0.621
0.580,   0.316,  -0.410,   0.629
0.394,   0.653,   0.557,  -0.329
第２主成分用直交基底
0.397,  -0.619,   0.615,   0.284
0.590,  -0.305,  -0.393,  -0.637
0.580,   0.272,  -0.402,   0.655
0.399,   0.671,   0.553,  -0.292
第３主成分用直交基底
0.462,   0.556,  -0.510,   0.465
0.529,   0.444,   0.439,  -0.574
0.529,  -0.431,   0.498,   0.535
0.476,  -0.555,  -0.546,  -0.408
第４主成分用直交基底
0.430,   0.621,   0.518,  -0.401
0.542,   0.379,  -0.430,   0.614
0.566,  -0.388,  -0.448,  -0.574
0.448,  -0.565,   0.588,   0.365
　基底セット＃１
第１主成分用直交基底
0.187,   0.589,  -0.646,  -0.448
0.346,   0.600,   0.159,   0.703
0.574,   0.110,   0.625,  -0.517
0.718,  -0.530,  -0.408,   0.191
第２主成分用直交基底
0.201,   0.538,  -0.613,   0.542
0.368,   0.596,   0.013,  -0.714
0.576,   0.138,   0.685,   0.425
0.702,  -0.580,  -0.393,  -0.129
第３主成分用直交基底
0.229,   0.599,  -0.308,   0.702
0.321,   0.632,  -0.117,  -0.695
0.600,   0.002,   0.787,   0.147
0.696,  -0.491,  -0.522,  -0.037
第４主成分用直交基底
0.142,   0.432,  -0.573,   0.682
0.257,   0.555,  -0.357,  -0.705
0.590,   0.401,   0.674,   0.190
0.752,  -0.587,  -0.299,  -0.036
　基底セット＃２
第１主成分用直交基底
0.286,   0.603,   0.615,  -0.420
0.526,   0.478,  -0.270,   0.650
0.657,  -0.230,  -0.458,  -0.553
0.458,  -0.596,   0.582,   0.310
第２主成分用直交基底
0.355,  -0.587,  -0.488,   0.540
0.569,  -0.395,   0.101,  -0.714
0.603,   0.245,   0.624,   0.433
0.432,   0.663,  -0.602,  -0.108
第３主成分用直交基底
0.426,   0.551,   0.064,   0.715
0.523,   0.497,  -0.029,  -0.692
0.540,  -0.468,  -0.692,   0.101
0.503,  -0.480,   0.718,   0.006
第４主成分用直交基底
0.308,   0.656,   0.124,   0.677
0.449,   0.533,  -0.019,  -0.717
0.689,  -0.381,  -0.595,   0.164
0.479,  -0.374,   0.794,  -0.000
　基底セット＃３
第１主成分用直交基底
0.264,   0.589,  -0.648,  -0.404
0.458,   0.523,   0.240,   0.678
0.621,  -0.066,   0.543,  -0.561
0.578,  -0.612,  -0.477,   0.251
第２主成分用直交基底
0.191,   0.579,  -0.664,  -0.434
0.395,   0.598,   0.200,   0.668
0.618,   0.022,   0.559,  -0.553
0.652,  -0.554,  -0.456,   0.246
第３主成分用直交基底
0.204,   0.645,  -0.517,   0.524
0.334,   0.644,   0.311,  -0.615
0.654,  -0.149,   0.562,   0.484
0.647,  -0.384,  -0.565,  -0.337
第４主成分用直交基底
0.121,   0.510,   0.485,   0.700
0.282,   0.625,   0.255,  -0.682
0.705,   0.174,  -0.656,   0.206
0.639,  -0.564,   0.519,  -0.059
　基底セット＃４
第１主成分用直交基底
0.442,  -0.542,   0.644,   0.310
0.658,  -0.281,  -0.421,  -0.558
0.528,   0.417,  -0.330,   0.662
0.304,   0.673,   0.547,  -0.394
第２主成分用直交基底
0.421,  -0.596,   0.673,   0.118
0.612,  -0.306,  -0.575,  -0.449
0.560,   0.356,  -0.163,   0.730
0.367,   0.651,   0.435,  -0.502
第３主成分用直交基底
0.457,   0.512,   0.727,   0.002
0.512,   0.511,  -0.682,   0.110
0.557,  -0.451,  -0.032,  -0.697
0.467,  -0.523,   0.072,   0.709
第４主成分用直交基底
0.493,  -0.595,  -0.634,  -0.029
0.565,  -0.326,   0.737,   0.180
0.547,   0.516,  -0.030,  -0.658
0.373,   0.522,  -0.234,   0.730
基底セット＃５
第１主成分用直交基底
0.322,   0.556,   0.670,   0.372
0.524,   0.486,  -0.306,  -0.629
0.597,  -0.163,  -0.492,   0.612
0.514,  -0.654,   0.465,  -0.303
第２主成分用直交基底
0.339,  -0.474,   0.600,  -0.548
0.548,  -0.452,  -0.024,   0.703
0.591,   0.073,  -0.675,  -0.437
0.486,   0.752,   0.429,   0.120
第３主成分用直交基底
0.339,   0.560,  -0.187,   0.732
0.486,   0.562,  -0.051,  -0.668
0.587,  -0.280,   0.748,   0.134
0.552,  -0.540,  -0.635,  -0.004
第４主成分用直交基底
0.281,   0.537,  -0.499,  -0.619
0.338,   0.568,  -0.117,   0.741
0.685,   0.026,   0.693,  -0.224
0.580,  -0.623,  -0.508,   0.132
　基底セット＃６
第１主成分用直交基底
0.335,  -0.551,   0.659,   0.387
0.625,  -0.407,  -0.313,  -0.588
0.617,   0.362,  -0.362,   0.598
0.341,   0.632,   0.581,  -0.384
第２主成分用直交基底
0.320,  -0.524,   0.681,   0.400
0.645,  -0.374,  -0.221,  -0.629
0.622,   0.311,  -0.403,   0.595
0.308,   0.699,   0.571,  -0.301
第３主成分用直交基底
0.348,   0.553,   0.569,   0.499
0.583,   0.481,  -0.328,  -0.566
0.616,  -0.424,  -0.417,   0.516
0.399,  -0.532,   0.628,  -0.405
第４主成分用直交基底
0.301,   0.648,   0.483,  -0.506
0.513,   0.476,  -0.261,   0.665
0.745,  -0.418,  -0.327,  -0.404
0.302,  -0.423,   0.769,   0.371
　基底セット＃７
第１主成分用直交基底
0.368,   0.569,  -0.656,  -0.332
0.547,   0.418,   0.348,   0.636
0.590,  -0.208,   0.466,  -0.626
0.466,  -0.676,  -0.481,   0.307
第２主成分用直交基底
0.285,   0.580,  -0.670,  -0.365
0.508,   0.483,   0.276,   0.657
0.617,  -0.111,   0.494,  -0.603
0.529,  -0.646,  -0.480,   0.268
第３主成分用直交基底
0.322,   0.648,  -0.606,   0.330
0.464,   0.503,   0.491,  -0.539
0.611,  -0.263,   0.390,   0.636
0.554,  -0.508,  -0.489,  -0.442
第４主成分用直交基底
0.251,   0.633,   0.535,  -0.499
0.463,   0.500,  -0.140,   0.718
0.651,  -0.115,  -0.596,  -0.456
0.546,  -0.579,   0.583,   0.165
　基底セット＃８
第１主成分用直交基底
0.684,  -0.537,  -0.457,   0.186
0.591,   0.046,   0.622,  -0.512
0.373,   0.560,   0.192,   0.714
0.209,   0.629,  -0.606,  -0.439
第２主成分用直交基底
0.655,  -0.621,  -0.415,  -0.112
0.596,   0.099,   0.679,   0.417
0.400,   0.542,   0.022,  -0.739
0.234,   0.558,  -0.605,   0.518
第３主成分用直交基底
0.699,  -0.493,  -0.516,  -0.041
0.598,   0.012,   0.787,   0.149
0.314,   0.626,  -0.115,  -0.704
0.233,   0.604,  -0.317,   0.693
第４主成分用直交基底
0.863,  -0.444,  -0.238,  -0.034
0.452,   0.470,   0.738,   0.172
0.195,   0.624,  -0.362,  -0.664
0.112,   0.438,  -0.517,   0.727
　基底セット＃９
第１主成分用直交基底
0.421,   0.631,  -0.580,   0.299
0.541,   0.342,   0.442,  -0.628
0.557,  -0.269,   0.446,   0.647
0.468,  -0.643,  -0.520,  -0.312
第２主成分用直交基底
0.410,   0.599,  -0.592,   0.350
0.541,   0.400,   0.422,  -0.607
0.557,  -0.290,   0.462,   0.626
0.478,  -0.629,  -0.508,  -0.342
第３主成分用直交基底
0.464,   0.594,  -0.520,   0.402
0.510,   0.416,   0.486,  -0.576
0.528,  -0.393,   0.474,   0.585
0.495,  -0.566,  -0.519,  -0.407
第４主成分用直交基底
0.507,  -0.669,  -0.392,  -0.376
0.481,  -0.290,   0.455,   0.691
0.547,   0.423,   0.492,  -0.528
0.460,   0.537,  -0.630,   0.320
　基底セット＃１０
第１主成分用直交基底
0.467,  -0.631,   0.541,  -0.303
0.601,  -0.242,  -0.462,   0.605
0.545,   0.414,  -0.347,  -0.641
0.351,   0.610,   0.611,   0.362
第２主成分用直交基底
0.459,  -0.668,   0.564,   0.161
0.609,  -0.196,  -0.585,  -0.499
0.541,   0.391,  -0.184,   0.722
0.356,   0.602,   0.554,  -0.452
第３主成分用直交基底
0.544,  -0.598,  -0.584,  -0.080
0.563,  -0.258,   0.767,   0.168
0.491,   0.561,  -0.026,  -0.666
0.382,   0.511,  -0.266,   0.722
第４主成分用直交基底
0.817,  -0.442,  -0.323,  -0.183
0.479,   0.198,   0.834,   0.189
0.243,   0.812,  -0.224,  -0.481
0.210,   0.325,  -0.388,   0.836
　基底セット１１
第１主成分用直交基底
0.429,   0.636,  -0.569,   0.295
0.552,   0.324,   0.459,  -0.617
0.563,  -0.311,   0.411,   0.646
0.441,  -0.627,  -0.545,  -0.340
第２主成分用直交基底
0.349,   0.652,  -0.667,   0.093
0.519,   0.427,   0.637,  -0.378
0.593,  -0.277,   0.143,   0.743
0.507,  -0.562,  -0.360,  -0.545
第３主成分用直交基底
0.380,   0.634,  -0.666,   0.102
0.448,   0.504,   0.700,  -0.234
0.596,  -0.354,   0.113,   0.712
0.548,  -0.467,  -0.233,  -0.654
第４主成分用直交基底
0.369,   0.781,  -0.431,  -0.261
0.407,   0.351,   0.717,   0.443
0.635,  -0.390,   0.219,  -0.630
0.543,  -0.339,  -0.501,   0.582
　基底セット＃１２
第１主成分用直交基底
0.561,  -0.586,  -0.531,   0.247
0.626,  -0.117,   0.533,  -0.556
0.466,   0.485,   0.277,   0.687
0.276,   0.639,  -0.598,  -0.397
第２主成分用直交基底
0.616,  -0.554,  -0.514,   0.224
0.634,  -0.037,   0.576,  -0.515
0.414,   0.556,   0.198,   0.692
0.217,   0.618,  -0.605,  -0.453
第３主成分用直交基底
0.641,  -0.388,  -0.555,  -0.361
0.653,  -0.163,   0.542,   0.503
0.341,   0.639,   0.338,  -0.601
0.213,   0.644,  -0.533,   0.506
第４主成分用直交基底
0.734,  -0.517,  -0.440,  -0.032
0.604,   0.212,   0.747,   0.180
0.285,   0.677,  -0.273,  -0.622
0.121,   0.480,  -0.417,   0.762
　基底セット＃１３
第１主成分用直交基底
0.412,   0.604,   0.598,   0.330
0.552,   0.367,  -0.403,  -0.631
0.558,  -0.264,  -0.468,   0.633
0.463,  -0.657,   0.512,  -0.304
第２主成分用直交基底
0.484,  -0.510,  -0.418,   0.575
0.599,  -0.331,   0.106,  -0.721
0.513,   0.338,   0.695,   0.373
0.379,   0.718,  -0.575,  -0.100
第３主成分用直交基底
0.523,  -0.504,  -0.241,  -0.644
0.578,  -0.370,   0.105,   0.720
0.476,   0.468,   0.704,  -0.243
0.408,   0.624,  -0.660,   0.090
第４主成分用直交基底
0.558,  -0.513,   0.341,  -0.556
0.561,  -0.324,  -0.212,   0.732
0.500,   0.501,  -0.619,  -0.341
0.353,   0.617,   0.675,   0.198
　基底セット＃１４
第１主成分用直交基底
0.449,  -0.650,  -0.536,   0.297
0.588,  -0.255,   0.461,  -0.615
0.553,   0.377,   0.365,   0.647
0.383,   0.609,  -0.606,  -0.340
第２主成分用直交基底
0.518,  -0.578,  -0.538,   0.331
0.625,  -0.198,   0.436,  -0.616
0.503,   0.461,   0.375,   0.628
0.297,   0.644,  -0.617,  -0.342
第３主成分用直交基底
0.545,  -0.511,   0.472,  -0.469
0.609,  -0.279,  -0.361,   0.649
0.473,   0.502,  -0.512,  -0.513
0.330,   0.640,   0.620,   0.311
第４主成分用直交基底
0.589,  -0.593,  -0.504,  -0.217
0.609,  -0.093,   0.602,   0.508
0.474,   0.575,   0.157,  -0.649
0.240,   0.556,  -0.599,   0.523
　基底セット＃１５
第１主成分用直交基底
0.440,   0.635,  -0.565,  -0.289
0.539,   0.318,   0.453,   0.635
0.547,  -0.273,   0.451,  -0.650
0.465,  -0.649,  -0.521,   0.302
第２主成分用直交基底
0.429,   0.621,   0.572,   0.320
0.553,   0.334,  -0.420,  -0.638
0.556,  -0.289,  -0.457,   0.632
0.449,  -0.648,   0.536,  -0.303
第３主成分用直交基底
0.457,   0.597,   0.536,   0.384
0.533,   0.388,  -0.456,  -0.599
0.536,  -0.371,  -0.470,   0.595
0.469,  -0.596,   0.533,  -0.375
第４主成分用直交基底
0.441,   0.636,   0.531,  -0.345
0.545,   0.327,  -0.426,   0.644
0.554,  -0.329,  -0.463,  -0.609
0.448,  -0.617,   0.568,   0.309
　なお、上述の説明では、行方向の処理においてパターン選択および予測誤差信号の変換が行われ、列方向の処理においてパターン選択および予測誤差信号の変換が行われているが、第１の実施形態の符号化方法はこの手順に限定されるものではない。すなわち、例えば、行方向のパターン選択処理および列方向のパターン選択処理を行った後に、行方向の変換処理および列方向の変換処理を行うようにしてもよい。
　図９～図１２に示す方法においては、行方向および列方向それぞれについて変換が行われるので、離散コサイン変換と同様に低周波成分にエネルギーが集中する。さらに、動き補償信号間差分信号の差分値の分布に応じて基底が適切に選択されるので、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ等で使用されている離散コサイン変換を実施した場合と比較して、空間的冗長性をより小さくすることが可能である。
　図１３は、第１の実施形態の復号装置の構成を示す図である。第１の実施形態の復号装置は、図６に示す符号化装置によって生成される符号化データを復号する。この符号化データストリームは、符号化情報生成部１０５により生成される符号化情報、参照ピクチャインデックス、動きベクトル情報を含んでいる。なお、符号化情報は、復号装置においては、復号対象ブロックを表す復号対象信号として処理される。
　復号装置は、基本的には、符号化装置による処理の逆処理を行う。また、復号装置は、ブロック毎に復号処理を行う。
　エントロピー復号部１５１は、符号化データストリームに対してエントロピー復号を行い、符号化情報、動きベクトル情報等を再生する。なお、図１３では、逆ジグザグスキャン部は省略されている。
　動き補償信号生成部１５２は、符号化装置から受信した動きベクトル情報および複数の参照ピクチャに基づいて複数の動き補償信号を生成する。この例では、図３～図４を参照しながら説明したように、前方向動き補償信号および後方向動き補償信号が生成される。ここで、参照ピクチャは、先に復号されて参照画像蓄積部１５７に格納されている画像であり、符号化装置において使用される参照ピクチャと同じである。よって、符号化装置および復号装置において、同じ動き補償信号が生成される。
　予測信号生成部１５３は、複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成する。すなわち、前方向動き補償信号および後方向動き補償信号の平均を計算することにより、予測信号が生成される。
　選択部１５４は、復号対象信号から再生予測誤差信号を生成するための複数の再生規則の中から、動き補償信号生成部１５２により得られる複数の動き補償信号に基づいて決まる再生規則を選択する。この例では、前方向動き補償信号と後方向動き補償信号との差分に基づいて、再生規則が選択される。
　再生予測誤差信号生成部１５５は、複数の再生予測誤差信号生成部＃１～＃Ｎを備えている。再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、再生規則＃１～＃Ｎで復号対象信号から再生予測誤差信号を生成する。再生規則＃１～＃Ｎは、それぞれ、符号化装置において使用される生成規則＃１～＃Ｎによる処理の逆処理を規定する。そして、再生予測誤差信号生成部１５５は、選択部１５４により選択された再生規則に従って復号対象信号から再生予測誤差信号を生成する。
　復号画像生成部１５６は、再生予測誤差信号および予測信号から復号画像を生成する。なお、復号画像は、以降の復号処理で利用される参照ピクチャとして参照画像蓄積部１５７に格納される。
　動き補償信号生成部１５２、予測信号生成部１５３、選択部１５４、再生予測誤差信号生成部１５５の構成および動作は、基本的に、図６に示す動き補償信号生成部１０２、予測信号生成部１０３、選択部１０６、再生予測誤差信号生成部１０５と同じである。すなわち、符号化装置および復号装置の双方において、同様の参照ピクチャから同様の動き補償信号が生成される。このため、符号化装置および復号装置において、互いに同様に、動き補償信号間の差分の分布から予測誤差信号の分布を推定できる。したがって、符号化装置が、動き補償信号間の差分の分布に応じて符号化方法を適応的に切り替えると、復号装置は、符号化装置から特別の通知を受けることなく、動き補償信号間の差分の分布に応じて、符号化装置で使用された符号化方法に対応する復号化方法を選択できる。
　図１４は、第１の実施形態の復号装置の動作例を示す図である。復号装置の動作は、基本的に、図７を参照しながら説明した符号化装置の動作と同じである。すなわち、前方向動き補償信号と後方向動き補償信号との差分を計算することにより、動き補償信号間差分信号が生成される。この差分演算は、差分計算部１５８により実行される。なお、差分計算部１５８は、選択部１５４の一部として実現されてもよい。
　選択部１５４は、動き補償信号間差分信号の分布パターンを検出する。この例では、ブロック内の右下領域の差分値が大きくなっている。そして、選択部１５４は、再生予測誤差信号生成部１５５が提供する複数の基底（再生予測誤差信号生成部＃０～＃１５）の中から、上記分布パターンに対応する基底を選択する。なお、分布パターンに応じて基底を選択する方法は、符号化装置と同じであり、図８または図９～図１２を参照しながら説明した通りである。
　再生予測誤差信号生成部１５５は、選択部１５４により選択された基底を用いて、符号化情報（復号対象信号）を変換して再生予測誤差信号を生成する。このとき、符号化装置の符号化情報生成部１０５において実行される直交変換の逆変換が実行される。この後、再生予測誤差信号および予測信号を用いて復号画像が生成される。
　図１５は、第１の実施形態の符号化方法を示すフローチャートである。このフローチャートの符号化方法は、例えば、図６に示す符号化装置により実行される。符号化装置は、符号化対象ブロック毎にこのフローチャートの処理を実行する。
　ステップＳ１において、動き推定部１０１は、双方向予測の動きベクトルを探索する。これにより、前方向動きベクトルおよび後方向動きベクトルが検出される。ステップＳ２において、動き補償信号生成部１０２は、前記前方向動きベクトルおよび後方向動きベクトルをもとに動き補償信号を生成する。これにより、前方向動き補償信号および後方向動き補償信号が生成される。ステップＳ３において、選択部１０６（または、差分計算部１１１）は、動き補償信号間の差分を計算する。すなわち、前方向動き補償信号と後方向動き補償信号との差分を表す動き補償信号間差分信号が生成される。
　ステップＳ４において、選択部１０６は、動き補償信号間差分信号に基づいて（すなわち、前方向動き補償信号と後方向動き補償信号との差分の分布に基づいて）、直交変換基底を選択する。ステップＳ５において、予測信号生成部１０３は、前方向動き補償信号および後方向動き補償信号から予測信号を生成する。ステップＳ６において、予測誤差信号生成部１０４は、符号化対象信号と予測信号との誤差を表す予測誤差信号を生成する。
　ステップＳ７において、符号化情報生成部１０５は、選択された直交変換基底で、予測誤差信号を変換する。この後、このフローチャートでは省略されているが、変換された予測誤差信号に対して、量子化処理およびエントロピー符号化が行われる。
　なお、図１５に示すフローチャートにおいて、例えば、ステップＳ５～Ｓ６は、ステップＳ３の前に実行されてもよい。また、ステップＳ３～Ｓ４、およびステップＳ５～Ｓ６は、並列に実行されてもよい。
　図１６は、第１の実施形態の復号方法を示すフローチャートである。このフローチャートの復号方法は、例えば、図１３に示す復号装置により実行される。復号装置は、復号対象ブロック毎にこのフローチャートの処理を実行する。
　ステップＳ１１において、エントロピー復号部１５１は、符号化情報（復号対象信号）に対してエントロピー復号を行う。さらに、エントロピー復号部の出力信号に対して逆量子化処理が行われる。ステップＳ１２において、動き補償信号生成部１５２は、動き補償信号を生成する。ステップＳ１３において、選択部１５４（または、差分計算部１５８）は、動き補償信号間の差分を計算する。ステップＳ１２～Ｓ１３の処理は、基本的に、符号化装置で実行されるステップＳ２～Ｓ３と同じである。
　ステップＳ１４において、選択部１５４は、動き補償信号間差分信号に基づいて（すなわち、前方向動き補償信号と後方向動き補償信号との差分の分布に基づいて）、逆直交変換基底を選択する。ステップＳ１５において、予測信号生成部１５３は、前方向動き補償信号および後方向動き補償信号から予測信号を生成する。
　ステップＳ１６において、再生予測誤差信号生成部１５５は、選択された逆直交変換基底で復号対象信号を変換することにより、再生予測誤差信号を生成する。ステップＳ１７において、復号画像生成部１５６は、予測信号に再生予測誤差信号を加算することにより復号画像を生成する。
　なお、図１６に示すフローチャートにおいて、例えば、ステップＳ１５は、ステップＳ１３の前に実行されてもよい。また、ステップＳ１３～Ｓ１４およびステップＳ１５は、並列に実行されてもよい。
　このように、第１の実施形態の動画像符号化／復号方法は、複数の動き補償信号間の差分値の分布と、予測誤差信号の分布との間に相関があることを利用する。すなわち、動き補償信号間の差分値の分布に基づいて、予測誤差信号を符号化／復号するための方法が適切に選択される。したがって、予測誤差の空間的な冗長性が効率的に削減され、従来の方法（例えば、画像の性質にかかわりなくＤＣＴ変換を行う方法）と比較して、符号化情報の情報量が小さくなる。また、符号化装置および復号装置は、実質的に同じ動き補償信号を生成できるので、復号装置は、符号化装置から符号化方法を指示する情報を受信しなくても、対応する復号方法を正しく選択できる。さらに、画像の性質に応じて適切な符号化方法（ここでは、変換規則）が選択されるので、予測誤差が大きいブロック（例えば、細かいテクスチャが存在する領域、あるいは動きの激しいシーン）であっても、符号化情報の情報量が小さくなる。
　＜第２の実施形態＞
　本特許出願の出願人は、輝度情報および色差情報を符号化する際に、輝度情報の予測誤差が大きい画素は、色差情報の予測誤差も大きいことを見出した。すなわち、輝度情報の予測誤差が発生する画素位置と、色差情報の予測誤差が発生する画素位置との間には相関がある。なお、この相関は、予測信号生成方法がインター予測、双方向フレーム間予測、イントラ予測のいずれの場合であっても存在する。また、上記相関は、ＲＧＢ信号のＲ成分、Ｇ成分、Ｂ成分間でも存在する。
　上記相関を利用すれば、色差情報の予測誤差の発生位置から、輝度情報の予測誤差の発生位置の分布または偏りを推定できる。したがって、第２の実施形態では、色差情報の予測誤差の画素位置に応じて、輝度情報の符号化方法を適応的に切り替えることにより、輝度情報の符号化効率の向上を図る。ここで、輝度情報の情報量は、色差情報の数倍またはそれ以上である。よって、輝度情報の符号化効率の向上は、画像全体の符号化効率の向上に大きく寄与する。
　なお、第１の実施形態では、複数の動き補償信号の差分の分布に基づいて符号化対象信号の符号化方法（上述の例では、直交変換の基底）が適切に選択される。これに対して、第２の実施形態では、色差情報の予測誤差の分布に基づいて輝度情報の符号化方法が適切に選択される。すなわち、第１および第２の実施形態は、符号化方法を選択するための判断基準が互いに異なっているが、選択された符号化方法で符号化対象情報（第２の実施形態では、輝度情報）を符号化する構成および動作は、互いに同じであってもよい。
　図１７は、第２の実施形態の符号化装置の構成を示す図である。第２の実施形態においても、動画像の各ピクチャはそれぞれ複数のブロックに分割され、符号化装置は、ブロック毎に画像データを符号化する。なお、図１７に示す構成では、符号化装置に、符号化対象画像の輝度成分および色差成分が入力される。
　色差予測信号生成部２０１は、符号化対象画像の色差情報の予測値を表す色差予測信号を生成する。色差予測信号生成部２０１は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４等で採用されているインター予測、双方向フレーム間予測、または、Ｈ．２６４等で採用されているIntra予測などにより実現される。また、各ブロックの予測方法は、所定の予測モード決定アルゴリズムで決定される。
　色差予測誤差信号生成部２０２は、符号化対象画像の色差情報と色差予測信号との差分を計算することにより色差予測誤差信号を生成する。色差符号化情報生成部２０３は、色差予測誤差信号の空間方向の冗長性を削減し、色差符号化情報を生成する。色差符号化情報生成部２０３は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４等で用いられる直交変換および量子化の組合せにより実現される。この場合、色差符号化情報は、直交変換された係数を量子化した結果である。また、色差符号化情報生成部２０３は、ＪＰＥＧ－２０００等で採用されているWavelet変換やＤＰＣＭ、ベクトル量子化等で実現されてもよい。
　色差再生予測誤差信号生成部２０４は、色差符号化情報から色差再生予測誤差信号を生成する。色差再生予測誤差信号生成部２０４は、例えば、ＭＰＥＧ－１、ＭＰＥＧ－２、Ｈ．２６４で採用されている逆量子化および逆直交変換の組合せにより実現される。あるいは、色差再生予測誤差信号生成部２０４は、ＤＰＣＭ、ベクトル量子化の復号処理などによって実現されてもよい。
　色差復号画像生成部２０５は、色差予測信号に色差再生予測誤差信号を加算することで色差復号画像を生成する。この復号画像は、以降の符号化処理において使用される参照ピクチャとして保存される。
　輝度情報を符号化するための構成は、基本的に、上述した色差情報を符号化するための構成と同じである。すなわち、輝度予測信号生成部２１１および輝度予測誤差信号生成部２１２は、色差予測信号生成部２０１および色差予測誤差信号生成部２０２と同様の方法で、輝度予測信号および輝度予測誤差信号を生成する。
　輝度符号化情報生成部２１３は、複数の輝度符号化情報生成部＃１～＃Ｎを備える。輝度符号化情報生成部＃１～＃Ｎは、基本的に、図６に示す第１の実施形態の符号化情報生成部＃１～＃Ｎと同じである。また、輝度再生予測誤差信号生成部２１４は、複数の輝度再生予測誤差信号生成部＃１～＃Ｎを備える。輝度再生予測誤差信号生成部＃１～＃Ｎは、基本的に、図６に示す第１の実施形態の再生予測誤差信号生成部＃１～＃Ｎと同じである。なお、再生予測誤差信号生成部＃１～＃Ｎは、それぞれ、輝度符号化情報生成部＃１～＃Ｎによる処理の逆処理を実行する。
　選択部２２１は、色差情報の予測誤差のブロック内での分布に基づいて、輝度符号化情報の情報量（または、輝度符号化情報がエントロピー符号化された後の情報量）が最も小さくなることが期待される輝度符号化情報生成部＃１～＃Ｎを選択する。また、選択部２２１は、選択した輝度符号化情報生成部＃１～＃Ｎに対応する再生予測誤差信号生成部＃１～＃Ｎを選択する。すなわち、選択部２２１は、互いに対応する変換／逆変換を実行する１組の輝度符号化情報生成部および再生予測誤差信号生成部を選択する。なお、色差情報の予測誤差は、色差再生予測誤差信号生成部２０４により生成される色差再生予測誤差信号から検出される。或いは、色差情報の予測誤差は、色差予測誤差信号生成部２０２により生成される色差予測誤差信号から検出されるようにしてもよい。
　輝度符号化情報生成部２１３は、選択部２２１により選択された輝度符号化情報生成部を利用して輝度符号化情報を生成する。そして、エントロピー符号化部２２２は、輝度符号化情報および色差符号化情報に対してエントロピー符号化を行う。これにより、エントロピー符号化情報が生成される。
　輝度再生予測誤差信号生成部２１４は、選択部２２１により選択された輝度再生予測誤差信号生成部を利用して輝度符号化情報から輝度再生予測誤差信号を生成する。そして、輝度復号画像生成部２１５は、輝度予測信号に輝度再生予測誤差信号を加算することで輝度復号画像を生成する。この復号画像は、以降の符号化処理において使用される参照ピクチャとして保存される。
　図１８は、第２の実施形態の符号化装置の動作例を示す図である。この例では、原画像ブロックは、Ｙ／Ｃb／Ｃr信号で表される。ここで、原画像ブロックの右下領域に丸いテクスチャが存在するものとする。この場合、一般に、Ｙ信号ブロックの右下領域に丸いテクスチャが存在し、同様に、Ｃb／Ｃr信号ブロックの右下領域にもそれぞれ丸いテクスチャが存在する。なお、Ｙ／Ｃb／Ｃr信号の画像フォーマットは、特に限定されるものではなく、例えば、４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマットのいずれであってもよい。
　予測信号（輝度予測信号および色差予測信号）によって表される予測ブロックも、原画像ブロックと同様に、Ｙ／Ｃb／Ｃr信号で表される。ここで、予測ブロックは、原画像ブロックと類似しているが、一般に、原画像ブロックにおいてテクスチャが存在する領域は誤差が生じやすい。図１８に示す例では、予測ブロックにおいてテクスチャが存在していない。
　輝度予測誤差信号は、原画像ブロックのＹ信号と予測ブロックのＹ信号との差分により生成される。このとき、予測ブロックにはテクスチャが存在していないので、ブロック内の右下領域において輝度予測誤差は大きい。
　Ｃb／Ｃr信号ブロックについても、同様に、予測誤差が生成される。ただし、この例では、直交変換、量子化、逆量子化、逆直交変換が行われた後の色差予測誤差（すなわち、色差再生予測誤差信号）が使用される。このとき、Ｃb／Ｃr信号についても、予測ブロックにはテクスチャが存在していない。このため、Ｃb／Ｃr信号についても、ブロック内の右下領域において色差予測誤差は大きい。すなわち、輝度ブロックおよび色差ブロックの双方において、右下領域の予測誤差が大きくなっている。
　選択部２２１は、色差予測誤差の分布に対応する変換規則を選択する。このとき、選択部２２１は、Ｃb予測誤差およびＣr予測誤差の分布に基づいて変換規則を選択する。この場合、例えば、Ｃb予測誤差およびＣr予測誤差を画素毎に加算することにより得られる加算値の分布に基づいて変換規則が選択される。なお、選択部２２１は、Ｃb予測誤差またはＣr予測誤差いずれか一方の分布に基づいて変換規則を選択してもよい。
　図１８に示す例では、色差予測誤差信号は、ブロック内の右下領域において誤差が大きい分布を有している。この場合、選択部２２１は、予め用意されている複数の変換規則の中から、右下領域を優遇する変換規則を選択する。「右下領域を優遇する変換規則」は、輝度予測誤差ブロックの右下領域の誤差が大きいときに、その輝度予測誤差信号の符号化データの情報量を小さくするように決定される。なお、複数の変換規則は、例えば、第１の実施形態の直交変換基底である。
　色差予測誤差の分布を検出する方法は、例えば、第１の実施形態と同じ手順を採用することができる。すなわち、図８を参照しながら説明したように、色差予測誤差ブロックを４つの領域に分割し、各領域について色差予測誤差値の絶対値の和を閾値と比較することにより、色差予測誤差の分布が検出される。
　図１９は、輝度情報の変換規則を選択する方法を示すフローチャートである。ステップＳ２１において、色差予測誤差信号生成部２０２は、色差予測誤差信号を生成する。続いて、色差符号化情報生成部２０３は、色差予測誤差信号から色差符号化情報を生成する。そして、色差再生予測誤差信号生成部２０４は、符号化情報から色差再生予測誤差信号を生成する。
　ステップＳ２２において、選択部２２１は、色差再生予測誤差信号により表される色差予測誤差ブロックを４つの領域に分割し、各領域について誤差値の和ＳA～ＳDを計算する。ステップＳ２３において、選択部２２１は、各誤差和ＳA～ＳDと閾値Ｔｈとをそれぞれ比較する。これにより、符号化対象ブロックについて、色差予測誤差の分布パターンが判定される。そして、ステップＳ２４において、選択部２２１は、色差予測誤差の分布パターンに応じて、輝度予測誤差を直交変換するための基底を選択する。なお、輝度符号化情報生成部２１３は、選択された基底で輝度予測誤差信号を生成し、輝度再生予測誤差信号生成部２１４は、選択された基底で輝度符号化情報を逆変換する。
　図２０は、第２の実施形態の復号装置の構成を示す図である。第２の実施形態の復号装置は、図１７に示す符号化装置によって生成される符号化データストリーム（エントロピー符号化情報）を復号する。なお、復号装置は、基本的には、符号化装置による処理の逆処理を行う。また、復号装置は、ブロック毎に復号処理を行う。
　エントロピー復号部２３１は、エントロピー符号化情報を復号し、色差符号化情報および輝度符号化情報を再生する。色差再生予測誤差信号生成部２４１は、色差符号化情報から色差再生予測誤差信号を生成する。また、色差予測信号生成部２４２は、色差予測信号を生成する。なお、色差再生予測誤差信号生成部２４１および色差予測信号生成部２４２の動作は、基本的に、符号化装置が備える色差再生予測誤差信号生成部２０４および色差予測信号生成部２０１と同じである。そして、色差復号画像生成部２４３は、色差予測信号に色差再生予測誤差信号を加算することにより、色差復号画像を生成する。
　選択部２３２は、色差再生予測誤差信号に基づいて、輝度符号化情報から輝度再生予測誤差信号を生成するための再生規則を選択する。ここで、色差再生予測誤差信号生成部２４１により生成される色差再生予測誤差信号は、符号化装置が備える色差再生予測誤差信号生成部２０４により生成される色差再生予測誤差信号と同じである。したがって、符号化装置および復号装置において同じ規則が選択される。すなわち、復号装置は、符号化装置から特別の通知を受けることなく、符号化装置において輝度符号化情報生成部が使用した生成規則に対応する再生規則を選択することができる。
　輝度再生予測誤差信号生成部２５１は、選択された再生規則に従って、輝度符号化情報から輝度再生予測誤差信号を生成する。また、輝度予測信号生成部２５２は、輝度予測信号を生成する。なお、輝度再生予測誤差信号生成部２５１および輝度予測信号生成部２５２の動作は、基本的に、符号化装置が備える輝度再生予測誤差信号生成部２１４および輝度予測信号生成部２１１と同じである。そして、輝度復号画像生成部２５３は、輝度予測信号に輝度再生予測誤差信号を加算することにより、輝度復号画像を生成する。
　このように、第２の実施形態の動画像符号化／復号方法は、色差予測誤差信号の誤差値の分布と、輝度予測誤差信号の誤差値の分布との間に相関があることを利用する。すなわち、色差予測誤差信号の誤差値の分布に基づいて、輝度予測誤差信号を符号化／復号するための方法が適切に選択される。したがって、輝度予測誤差の空間的な冗長性が効率的に削減され、第１の実施形態と同様に、従来の方法（例えば、画像の性質にかかわりなくＤＣＴ変換を行う方法）と比較して、符号化情報の情報量が小さくなる。また、符号化装置および復号装置は、実質的に同じ予測誤差信号を生成できるので、復号装置は、符号化装置から符号化方法を指示する情報を受信しなくても、対応する復号方法を正しく選択できる。さらに、画像の性質に応じて適切な符号化方法（ここでは、変換規則）が選択されるので、予測誤差が大きいブロック（例えば、細かいテクスチャが存在する領域、あるいは動きの激しいシーン）であっても、符号化情報の情報量が小さくなる。
　＜バリエーション＞
　上述の説明では、第１の実施形態において、前方向動き補償信号と後方向動き補償信号との間の差分の分布に応じて予測誤差信号の変換規則／再生規則が選択される。しかし、第１の実施形態はこの方法に限定されるものではない。すなわち、例えば、第１の実施形態において、前方向動き補償信号と後方向動き補償信号との間の相関の分布に応じて予測誤差信号の変換規則／再生規則が選択されるようにしてもよい。
　また、上述の説明では、第１の実施形態において、予測誤差信号を直交変換する変換規則が選択される。また、第２の実施形態において、輝度予測誤差信号を直交変換する変換規則が選択される。しかし、第１および第２の実施形態はこの方法に限定されるものではない。すなわち、例えば、第１の実施形態において、直交変換の後に実行される量子化演算の規則が動き補償信号に応じて選択されるようにしてもよい。第２の実施形態においても同様である。
　＜ハードウェア構成＞
　図２１は、各実施形態の符号化装置または復号装置（あるいは、符号化／復号方法を実行するコンピュータまたはプロセッサシステム）のハードウェア構成を示す図である。図２１において、ＣＰＵ１００１は、メモリ１００３を利用して符号化プログラムまたは復号プログラムを実行する。記憶装置１００２は、符号化プログラムまたは復号プログラムを格納する。なお、記憶装置１００２は、外部記憶装置であってもよい。メモリ１００３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。
　読み取り装置１００４は、ＣＰＵ１００１の指示に従って可搬型記録媒体１００５にアクセスする。可搬型記録媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１００６は、ＣＰＵ１００１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１００７は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。
　実施形態に係わる符号化プログラムまたは復号プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１００２に予めインストールされている。
（２）可搬型記録媒体１００５により提供される。
（３）プログラムサーバ１０１０からダウンロードする。
そして、上記構成のコンピュータで符号化プログラムまたは復号プログラムを実行することにより、実施形態に係わる符号化装置または復号装置が実現される。

Claims (21)

  1. 　符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成する動き補償信号生成部と、
    　前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成する予測信号生成部と、
    　前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成する予測誤差信号生成部と、
    　前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、
    　前記選択部により選択された生成規則に従って、前記予測誤差信号から符号化情報を生成する符号化情報生成部、
    　を有する動画像符号化装置。
  2. 　請求項１に記載の動画像符号化装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の差分に基づいて、前記符号化情報生成部が前記符号化情報を生成するための生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  3. 　請求項２に記載の動画像符号化装置であって、
    　前記選択部は、前記第１および第２の動き補償信号の差分値の分布に対応する生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  4. 　請求項１に記載の動画像符号化装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の相関に基づいて、前記符号化情報生成部が前記符号化情報を生成するための生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  5. 　請求項１に記載の動画像符号化装置であって、
    　前記符号化情報から前記予測誤差信号の再生値を表す再生予測誤差信号を生成する再生予測誤差信号生成部と、
    　前記再生予測誤差信号から局部復号画像を生成する局部復号画像生成部と、
    　前記局部復号画像を参照画像として蓄積する参照画像蓄積部、をさらに備え、
    　前記選択部は、前記複数の生成規則に対応して用意されている複数の再生規則の中から、前記符号化情報生成部のために選択した生成規則に対応する再生規則を選択し、
    　前記再生予測誤差信号生成部は、前記選択部により選択された再生規則に従って、前記符号化情報から前記再生予測誤差信号を生成する
    　ことを特徴とする動画像符号化装置。
  6. 　請求項１に記載の動画像符号化装置であって、
    　前記符号化情報からエントロピー符号化情報を生成するエントロピー符号化部をさらに備え、
    　前記選択部は、前記エントロピー符号化情報の情報量が最も小さくなることが期待される生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  7. 　動画像符号化装置により生成された符号化情報を復号する動画像復号装置であって、
    　複数の参照画像に基づいて複数の動き補償信号を生成する動き補償信号生成部と、
    　前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成する予測信号生成部と、
    　復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択する選択部と、
    　前記選択部により選択された再生規則に従って、前記復号対象信号から再生予測誤差信号を生成する再生予測誤差信号生成部と、
    　前記再生予測誤差信号および前記予測信号から復号画像を生成する復号画像生成部、
    　を有する動画像復号装置。
  8. 　請求項７に記載の動画像復号装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の差分に基づいて、前記再生予測誤差信号生成部が前記再生予測誤差信号を生成するための再生規則を選択する
    　ことを特徴とする動画像復号装置。
  9. 　請求項８に記載の動画像復号装置であって、
    　前記選択部は、前記第１および第２の動き補償信号の差分値の分布に対応する再生規則を選択する
    　ことを特徴とする動画像復号装置。
  10. 　請求項７に記載の動画像復号装置であって、
    　前記動き補償信号生成部は、前方向動き補償のための参照画像から第１の動き補償信号を生成すると共に、後方向動き補償のための参照画像から第２の動き補償信号を生成し、
    　前記選択部は、前記第１および第２の動き補償信号の相関に基づいて、前記再生予測誤差信号生成部が前記再生予測誤差信号を生成するための再生規則を選択する
    　ことを特徴とする動画像復号装置。
  11. 　符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成し、
    　前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成し、
    　前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成し、
    　前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択し、
    　選択された生成規則に従って、前記予測誤差信号から符号化情報を生成する、
    　ことを特徴とする動画像符号化方法。
  12. 　動画像符号化装置により生成された符号化情報を復号する動画像復号方法であって、
    　複数の参照画像に基づいて複数の動き補償信号を生成し、
    　前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成し、
    　復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択し、
    　選択された再生規則に従って、前記復号対象信号から再生予測誤差信号を生成し、
    　前記再生予測誤差信号および前記予測信号から復号画像を生成する、
    　ことを特徴とする動画像復号方法。
  13. 　コンピュータに、
    　符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償信号を生成するステップ、
    　前記複数の動き補償信号を利用して前記符号化対象信号の予測値を表す予測信号を生成するステップ、
    　前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成するステップ、
    　前記予測誤差信号から符号化情報を生成するための複数の生成規則の中から、前記複数の動き補償信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択するステップ、
    　選択された生成規則に従って前記予測誤差信号から符号化情報を生成するステップ、
    　を実行させるための動画像符号化プログラム。
  14. 　動画像符号化装置により生成された符号化情報を復号するコンピュータに、
    　複数の参照画像に基づいて複数の動き補償信号を生成するステップ、
    　前記複数の動き補償信号を利用して復号画像の予測値を表す予測信号を生成するステップ、
    　復号対象信号から再生予測誤差信号を生成する複数の再生規則の中から、前記複数の動き補償信号に基づいて決まる再生規則を選択するステップ、
    　選択された再生規則に従って前記復号対象信号から再生予測誤差信号を生成ステップ、
    　前記再生予測誤差信号および前記予測信号から復号画像を生成するステップ、
    　を実行させるための動画像復号プログラム。
  15. 　輝度信号および色差信号を含む符号化対象信号の符号化を行う動画像符号化装置であって、
    　輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、
    　前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成する輝度予測誤差信号生成部と、
    　色差信号の予測値を表す色差予測信号を生成する色差予測信号生成部と、
    　前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成する色差予測誤差信号生成部と、
    　前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択する選択部と、
    　前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成する輝度符号化情報生成部、
    　を有する動画像符号化装置。
  16. 　請求項１５に記載の動画像符号化装置であって、
    　前記色差予測誤差信号から色差符号化情報を生成する色差符号化情報生成部と、
    　前記色差符号化情報から色差の予測誤差の再生値を表す色差再生予測誤差信号を生成する色差再生予測誤差信号生成部、をさらに備え、
    　前記選択部は、前記色差再生予測誤差信号に基づいて、前記輝度符号化情報生成部が前記輝度符号化情報を生成するための生成規則を選択する
    　ことを特徴とする動画像符号化装置。
  17. 　動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する動画像復号装置であって、
    　輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、
    　前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成する色差再生予測誤差信号生成部と、
    　前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択する選択部と、
    　前記選択部により選択された再生規則に従って、前記輝度符号化情報から輝度再生予測誤差信号を生成する輝度再生予測誤差信号生成部と、
    　前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する輝度復号画像生成部、
    　を有する動画像復号装置。
  18. 　輝度信号および色差信号を含む符号化対象信号の符号化を行う動画像符号化方法であって、
    　輝度信号の予測値を表す輝度予測信号を生成し、
    　前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成し、
    　色差信号の予測値を表す色差予測信号を生成し、
    　前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成し、
    　前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択し、
    　前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成する、
    　ことを特徴とする動画像符号化方法。
  19. 　動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する動画像復号方法であって、
    　輝度信号の予測値を表す輝度予測信号を生成し、
    　前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成し、
    　前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択し、
    　選択された再生規則に従って前記輝度符号化情報から輝度再生予測誤差信号を生成し、
    　前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する、
    　ことを特徴とする動画像復号方法。
  20. 　輝度信号および色差信号を含む符号化対象信号の符号化を行うコンピュータに、
    　輝度信号の予測値を表す輝度予測信号を生成するステップ、
    　前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成するステップ、
    　色差信号の予測値を表す色差予測信号を生成するステップ、
    　前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成するステップ、
    　前記輝度予測誤差信号から輝度符号化情報を生成するための複数の生成規則の中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待される生成規則を選択するステップ、
    　前記選択部により選択された生成規則に従って、前記輝度予測誤差信号から輝度符号化情報を生成するステップ、
    　を実行させる動画像符号化プログラム。
  21. 　動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号するコンピュータに、
    　輝度信号の予測値を表す輝度予測信号を生成するステップ、
    　前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成するステップ、
    　前記符号化情報に含まれている輝度符号化情報から輝度再生予測誤差信号を生成する複数の再生規則の中から、前記色差再生予測誤差信号に基づいて決まる再生規則を選択するステップ、
    　選択された再生規則に従って前記輝度符号化情報から輝度再生予測誤差信号を生成するステップ、
    　前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成するステップ、
    　を実行させる動画像復号プログラム。
PCT/JP2009/007360 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置 WO2011080807A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011547116A JP5488613B2 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置
PCT/JP2009/007360 WO2011080807A1 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置
US13/530,514 US9094687B2 (en) 2009-12-28 2012-06-22 Video encoder and video decoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/007360 WO2011080807A1 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/530,514 Continuation US9094687B2 (en) 2009-12-28 2012-06-22 Video encoder and video decoder

Publications (1)

Publication Number Publication Date
WO2011080807A1 true WO2011080807A1 (ja) 2011-07-07

Family

ID=44226242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007360 WO2011080807A1 (ja) 2009-12-28 2009-12-28 動画像符号化装置および動画像復号装置

Country Status (3)

Country Link
US (1) US9094687B2 (ja)
JP (1) JP5488613B2 (ja)
WO (1) WO2011080807A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164297A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
WO2019189899A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019189901A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019189900A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019194109A1 (ja) * 2018-04-04 2019-10-10 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP2020028067A (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2020072458A (ja) * 2018-11-02 2020-05-07 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP7483964B2 (ja) 2023-02-13 2024-05-15 日本放送協会 画像符号化装置、画像復号装置、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553211B2 (en) * 2013-01-03 2023-01-10 Disney Enterprises, Inc. Heuristic detection of potential digital media artifacts and defects in digital media assets
JP2018074491A (ja) * 2016-11-02 2018-05-10 富士通株式会社 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283989A (ja) * 1990-03-30 1991-12-13 Toshiba Corp カラー画像符号化方式
JP2002315006A (ja) * 2001-04-13 2002-10-25 Kddi Research & Development Laboratories Inc 動き補償予測特異値展開符号化装置
JP2002314428A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2005086384A (ja) * 2003-09-08 2005-03-31 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235419A (en) * 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
JP3278948B2 (ja) 1993-02-05 2002-04-30 日本電信電話株式会社 可変長符号化方法
EP1809044B1 (en) * 1997-02-14 2008-10-01 Nippon Telegraph and Telephone Corporation Predictive decoding method of video data
JP3519594B2 (ja) * 1998-03-03 2004-04-19 Ｋｄｄｉ株式会社 ステレオ動画像用符号化装置
JP2000059785A (ja) 1998-08-06 2000-02-25 Hitachi Ltd 予測復号装置
JP2001094982A (ja) 1999-09-20 2001-04-06 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化方法及びその装置と、その方法の実現に用いられるプログラム記録媒体と、階層的画像復号方法及びその装置と、その方法の実現に用いられるプログラム記録媒体
EP1391121B1 (en) * 2001-03-23 2012-08-15 Nokia Corporation Variable length coding
EP1322121A3 (en) * 2001-12-19 2003-07-16 Matsushita Electric Industrial Co., Ltd. Video encoder and decoder with improved motion detection precision
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
CN100584013C (zh) 2005-01-07 2010-01-20 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置
JP2008092456A (ja) 2006-10-04 2008-04-17 Sharp Corp 画像符号化装置および画像復号装置
JP2008252176A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 動画像符号化装置及び方法
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03283989A (ja) * 1990-03-30 1991-12-13 Toshiba Corp カラー画像符号化方式
JP2002314428A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 信号符号化方法及び装置並びに復号方法及び装置
JP2002315006A (ja) * 2001-04-13 2002-10-25 Kddi Research & Development Laboratories Inc 動き補償予測特異値展開符号化装置
JP2005086384A (ja) * 2003-09-08 2005-03-31 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017164297A1 (ja) * 2016-03-25 2017-09-28 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
JPWO2017164297A1 (ja) * 2016-03-25 2019-01-31 パナソニックＩｐマネジメント株式会社 信号依存型適応量子化を用いて動画像を符号化及び復号するための方法及び装置
JP7309959B2 (ja) 2018-03-29 2023-07-18 日本放送協会 画像復号装置及び画像復号方法
WO2019189900A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JPWO2019189901A1 (ja) * 2018-03-29 2021-02-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11818360B2 (en) 2018-03-29 2023-11-14 Nippon Hoso Kyokai Image encoding device, image decoding device and program
US11394958B2 (en) 2018-03-29 2022-07-19 Nippon Hoso Kyokai Image encoding device, image decoding device and program
US11647224B2 (en) 2018-03-29 2023-05-09 Nippon Hoso Kyokai Image encoding device, image decoding device and program
KR20200136443A (ko) * 2018-03-29 2020-12-07 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP7203149B2 (ja) 2018-03-29 2023-01-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021044841A (ja) * 2018-03-29 2021-03-18 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JPWO2019189900A1 (ja) * 2018-03-29 2021-02-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP7092920B2 (ja) 2018-03-29 2022-06-28 日本放送協会 画像復号装置及びプログラム
WO2019189901A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JPWO2019189899A1 (ja) * 2018-03-29 2021-02-12 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021090214A (ja) * 2018-03-29 2021-06-10 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021119705A (ja) * 2018-03-29 2021-08-12 日本放送協会 画像復号装置及びプログラム
JP2021141604A (ja) * 2018-03-29 2021-09-16 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
WO2019189899A1 (ja) * 2018-03-29 2019-10-03 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
US11259045B2 (en) 2018-03-29 2022-02-22 Nippon Hoso Kyokai Image encoding device, image decoding device and program
JP7059410B2 (ja) 2018-03-29 2022-04-25 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2022087262A (ja) * 2018-03-29 2022-06-09 日本放送協会 画像復号装置及び画像復号方法
KR102409138B1 (ko) 2018-03-29 2022-06-16 닛폰 호소 교카이 화상 부호화 장치, 화상 복호 장치 및 프로그램
US11496735B2 (en) 2018-03-29 2022-11-08 Nippon Hoso Kyokai Image encoding device, image decoding device and program
JP2021180495A (ja) * 2018-04-04 2021-11-18 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JPWO2019194109A1 (ja) * 2018-04-04 2021-02-12 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
CN112055965A (zh) * 2018-04-04 2020-12-08 日本放送协会 预测图像校正装置、图像编码装置、图像解码装置以及程序
US11622127B2 (en) 2018-04-04 2023-04-04 Nippon Hoso Kyokai Prediction image correcting device, image encoding device, image decoding device, and program
JP7340569B2 (ja) 2018-04-04 2023-09-07 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
WO2019194109A1 (ja) * 2018-04-04 2019-10-10 日本放送協会 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
US11849141B2 (en) 2018-04-04 2023-12-19 Nippon Hoso Kyokai Prediction image correcting device, image encoding device, image decoding device, and program
US11877003B2 (en) 2018-04-04 2024-01-16 Nippon Hoso Kyokai Prediction image correcting device, image encoding device, image decoding device, and program
JP7249111B2 (ja) 2018-08-15 2023-03-30 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2020028067A (ja) * 2018-08-15 2020-02-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2020072458A (ja) * 2018-11-02 2020-05-07 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP7291471B2 (ja) 2018-11-02 2023-06-15 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP7483964B2 (ja) 2023-02-13 2024-05-15 日本放送協会 画像符号化装置、画像復号装置、及びプログラム

Also Published As

Publication number Publication date
JP5488613B2 (ja) 2014-05-14
US9094687B2 (en) 2015-07-28
JPWO2011080807A1 (ja) 2013-05-09
US20120263237A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
JP5488613B2 (ja) 動画像符号化装置および動画像復号装置
JP5488612B2 (ja) 動画像符号化装置および動画像復号装置
RU2608674C2 (ru) Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
TWI737971B (zh) 圖像解碼方法
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
KR101108681B1 (ko) 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
JP6807987B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
KR101681353B1 (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
JP5989840B2 (ja) 映像復号化装置
KR20130045152A (ko) 인트라 예측 모드 복호화 방법 및 장치
WO2011013253A1 (ja) 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
KR20190091422A (ko) 복원 블록을 생성하는 방법 및 장치
KR101615643B1 (ko) 픽처들의 압축
KR102555224B1 (ko) 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
KR100727988B1 (ko) 변환 영역에서의 ｄｃ 계수 예측 방법 및 장치
JP2007110568A (ja) 画像符号化装置
JP4971817B2 (ja) 画像符号化装置
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
JP5375697B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及びプログラム
JP5388977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
KR101543301B1 (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
JP5455229B2 (ja) 画像符号化装置及び画像復号装置
JP4561701B2 (ja) 動画像符号化装置
JP2008092137A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852785

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011547116

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09852785

Country of ref document: EP

Kind code of ref document: A1