JP5370899B2 - 動画像復号化方法及び動画像復号化装置 - Google Patents
動画像復号化方法及び動画像復号化装置 Download PDFInfo
- Publication number
- JP5370899B2 JP5370899B2 JP2011521000A JP2011521000A JP5370899B2 JP 5370899 B2 JP5370899 B2 JP 5370899B2 JP 2011521000 A JP2011521000 A JP 2011521000A JP 2011521000 A JP2011521000 A JP 2011521000A JP 5370899 B2 JP5370899 B2 JP 5370899B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- prediction direction
- block
- prediction
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は動画像を復号化する動画像復号化技術に関する。
大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格等が知られている。
Ｈ．２６４／ＡＶＣは、画面内予測符号化や画面間予測符号化等の予測符号化を用いる事で、圧縮効率を向上させている。予測符号化には様々な方向が存在し、予測符号化は、これらの方向をブロック単位で使い分けて符号化する。予測符号化においては、対象ブロックにおいて利用した予測方向を表す符号を別途符号化する必要があり、符号量が増大するといった課題があった。
また、各予測符号化は、マクロブロック毎に、複数の画素値予測方法とブロックサイズとを切り替えながら予測を行ため、画素値予測方法とブロックサイズ情報とを、マクロブロック毎に符号化する必要があった。
この課題に対し、例えば“Ｊａｍｉｌ−ｕｒ−Ｒｅｈｍａｎ ａｎｄ Ｚｈａｎｇ Ｙｅ，“Ｅｆｆｉｃｉｅｎｔ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｓｉｇｎａｌｌｉｎｇ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅｓ ｏｆ Ｈ．２６４／Ｍｐｅｇ−４ Ｐａｒｔ １０”，Ｐｒｏｃ．ＩＣＩＣＩＣ２００６，Ａｕｇｕｓｔ，２００６．”には、画面内予測符号化の際の予測方向の符号化において、利用できる予測方向数の少ない画面端のブロックについて予測方向を表すための符号を短くすることによって、符号量を減らすことが開示されている。
Ｈ．２６４／ＡＶＣは、画面内予測符号化や画面間予測符号化等の予測符号化を用いる事で、圧縮効率を向上させている。予測符号化には様々な方向が存在し、予測符号化は、これらの方向をブロック単位で使い分けて符号化する。予測符号化においては、対象ブロックにおいて利用した予測方向を表す符号を別途符号化する必要があり、符号量が増大するといった課題があった。
また、各予測符号化は、マクロブロック毎に、複数の画素値予測方法とブロックサイズとを切り替えながら予測を行ため、画素値予測方法とブロックサイズ情報とを、マクロブロック毎に符号化する必要があった。
この課題に対し、例えば“Ｊａｍｉｌ−ｕｒ−Ｒｅｈｍａｎ ａｎｄ Ｚｈａｎｇ Ｙｅ，“Ｅｆｆｉｃｉｅｎｔ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｓｉｇｎａｌｌｉｎｇ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｍｏｄｅｓ ｏｆ Ｈ．２６４／Ｍｐｅｇ−４ Ｐａｒｔ １０”，Ｐｒｏｃ．ＩＣＩＣＩＣ２００６，Ａｕｇｕｓｔ，２００６．”には、画面内予測符号化の際の予測方向の符号化において、利用できる予測方向数の少ない画面端のブロックについて予測方向を表すための符号を短くすることによって、符号量を減らすことが開示されている。
しかし、上記文献に記載の技術は画面端のブロックにしか適用できず、圧縮効率向上の効果は少ないという課題があった。
本発明は、上記課題を鑑みてなされたものであり、その目的は、動画像の符号化／復号化処理においてより符号量を低減することである。
上記の課題を解決するために、本発明の一態様の動画像復号化方法は、画面内予測処理を行う動画像復号化方法であって、前記画面内予測処理において、復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックの個数を判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向データ又はブロックタイプデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化ステップと、前記復号 化ステップにおいて復号化された予測方向データ又はブロックタイプデータに基づいて画面内予測を行い、復号化画像データを生成する生成ステップと、を備え、前記第１の復号化方法は、前記複数の隣接ブロックの予測方向又はブロックタイプから推定された推定予測方向データ又は推定ブロックタイプに基づいて生成され、符号化ストリームに含まれるビット構成情報に基づいて、前記復号化対象ブロックの予測方向データ又は前記ブロックタイプデータを復号化し、前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、ことを特徴とする。
本発明の他の態様は、画面内予測処理を行う動画像復号化方法であって、復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、予測方向のデータ又はブロックタイプのデータを有する隣接ブロックである利用可能隣接ブロックの個数と、該利用可能隣接ブロックのうち、同一の予測方向又は同一の ブロックタイプを有するブロックの個数とを判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化ステップと、前記復号化ステップにおいて復号化された予測方向のデータ又はブロックタイプのデータに基づいて 画面内予測を行い、復号化画像データを生成する生成ステップと、を備え、前記第１の復号化方法は、符号化ストリームに含まれる、推定予測方向又は推定ブロックタイプと前記復号化対象ブロックにおける予測方向又はブロックタイプとが同じであるか否かを示す情報を復号化し、前記情報が同じであることを示す場合は、前記推定予測方向又は前記推定ブロックタイプを前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータとして復号化し、前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、ことを特徴とする。
本発明によれば、動画像の符号化／復号化処理においてより符号量を低減することができる。
本発明は、上記課題を鑑みてなされたものであり、その目的は、動画像の符号化／復号化処理においてより符号量を低減することである。
上記の課題を解決するために、本発明の一態様の動画像復号化方法は、画面内予測処理を行う動画像復号化方法であって、前記画面内予測処理において、復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックの個数を判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向データ又はブロックタイプデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化ステップと、前記復号 化ステップにおいて復号化された予測方向データ又はブロックタイプデータに基づいて画面内予測を行い、復号化画像データを生成する生成ステップと、を備え、前記第１の復号化方法は、前記複数の隣接ブロックの予測方向又はブロックタイプから推定された推定予測方向データ又は推定ブロックタイプに基づいて生成され、符号化ストリームに含まれるビット構成情報に基づいて、前記復号化対象ブロックの予測方向データ又は前記ブロックタイプデータを復号化し、前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、ことを特徴とする。
本発明の他の態様は、画面内予測処理を行う動画像復号化方法であって、復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、予測方向のデータ又はブロックタイプのデータを有する隣接ブロックである利用可能隣接ブロックの個数と、該利用可能隣接ブロックのうち、同一の予測方向又は同一の ブロックタイプを有するブロックの個数とを判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化ステップと、前記復号化ステップにおいて復号化された予測方向のデータ又はブロックタイプのデータに基づいて 画面内予測を行い、復号化画像データを生成する生成ステップと、を備え、前記第１の復号化方法は、符号化ストリームに含まれる、推定予測方向又は推定ブロックタイプと前記復号化対象ブロックにおける予測方向又はブロックタイプとが同じであるか否かを示す情報を復号化し、前記情報が同じであることを示す場合は、前記推定予測方向又は前記推定ブロックタイプを前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータとして復号化し、前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、ことを特徴とする。
本発明によれば、動画像の符号化／復号化処理においてより符号量を低減することができる。
図１は、実施形態１に係る動画像符号化装置のブロック図の一例である。
図２は、実施形態１に係る動画像符号化装置における画面内予測部のブロック図の一例である。
図３は、実施形態１に係る動画像復号化装置のブロック図の一例である。
図４は、実施形態１に係る動画像復号化装置における画面内予測部のブロック図の一例である。
図５は、Ｈ．２６４／ＡＶＣに係る画面内予測符号化処理の概念的な説明図である。
図６Ａは、Ｈ．２６４／ＡＶＣに係る予測方向の符号化処理の概念的な説明図である。
図６Ｂは、Ｈ．２６４／ＡＶＣにおいて予測方向を表すビット構成の一例を示す図である。
図７は、Ｈ．２６４／ＡＶＣに係る画面内予測復号化処理の概念的な説明図である。
図８Ａは、実施形態１に係る予測方向の符号化の一例の説明図である。
図８Ｂは、実施形態１に係る予測方向の符号化の一例の説明図である。
図９は、実施形態１に係る画像符号化処理の流れ図である。
図１０は、実施形態１に係る画面内予測符号化処理の流れ図である。
図１１は、実施形態１に係る画像復号化処理の流れ図である。
図１２は、実施形態１に係る画面内予測復号化処理の流れ図である。
図１３は、Ｈ．２６４／ＡＶＣで用いる予測符号化処理の概念的な説明図である。
図１４Ａは、実施形態２に係るブロックタイプの符号化に関する実施例の説明図である。
図１４Ｂは、実施形態２に係るブロックタイプの符号化に関する実施例の説明図である。
図１５は、実施形態２に係る可変長符号化部のブロック図である。
図１６は、実施形態２に係る可変長復号化部のブロック図である。
図１７は、実施形態２に係る可変長符号化処理の流れ図である。
図１８は、実施形態２に係る可変長復号化処理の流れ図である。
図１９Ａは、実施形態３に係る予測方向の符号化、復号化についての説明図である。
図１９Ｂは、実施形態３に係る予測方向の符号化、復号化についての説明図である。
図２０Ａは、実施形態３に係る利用可能隣接ブロックと同一の予測方向データを有する隣接ブロックの数とについての説明図である。
図２０Ｂは、実施形態４に係る利用可能隣接ブロックと同一の予測方向データを有する隣接ブロックの数とについての説明図である。
図２０Ｃは、実施形態５に係る利用可能隣接ブロックと同一の予測方向データを有する隣接ブロックの数とについての説明図である。
図２１は、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ａは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｂは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｃは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｄは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｅは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｆは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｇは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｈは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｉは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｊは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｋは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｌは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ａは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｂは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｃは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｄは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｅは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｆは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｇは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ａは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ｂは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ｃは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ｄは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２４は、実施形態３、４、５に係る動画像符号化装置における画面内予測部のブロック図の一例である。
図２５は、実施形態３、４、５に係る動画像復号化装置における画面内予測部のブロック図の一例である。
図２６は、実施形態３、４、５に係る画面内符号化処理の流れ図である。
図２７は、実施形態３、４、５に係る画面内復号化処理の流れ図である。
図２は、実施形態１に係る動画像符号化装置における画面内予測部のブロック図の一例である。
図３は、実施形態１に係る動画像復号化装置のブロック図の一例である。
図４は、実施形態１に係る動画像復号化装置における画面内予測部のブロック図の一例である。
図５は、Ｈ．２６４／ＡＶＣに係る画面内予測符号化処理の概念的な説明図である。
図６Ａは、Ｈ．２６４／ＡＶＣに係る予測方向の符号化処理の概念的な説明図である。
図６Ｂは、Ｈ．２６４／ＡＶＣにおいて予測方向を表すビット構成の一例を示す図である。
図７は、Ｈ．２６４／ＡＶＣに係る画面内予測復号化処理の概念的な説明図である。
図８Ａは、実施形態１に係る予測方向の符号化の一例の説明図である。
図８Ｂは、実施形態１に係る予測方向の符号化の一例の説明図である。
図９は、実施形態１に係る画像符号化処理の流れ図である。
図１０は、実施形態１に係る画面内予測符号化処理の流れ図である。
図１１は、実施形態１に係る画像復号化処理の流れ図である。
図１２は、実施形態１に係る画面内予測復号化処理の流れ図である。
図１３は、Ｈ．２６４／ＡＶＣで用いる予測符号化処理の概念的な説明図である。
図１４Ａは、実施形態２に係るブロックタイプの符号化に関する実施例の説明図である。
図１４Ｂは、実施形態２に係るブロックタイプの符号化に関する実施例の説明図である。
図１５は、実施形態２に係る可変長符号化部のブロック図である。
図１６は、実施形態２に係る可変長復号化部のブロック図である。
図１７は、実施形態２に係る可変長符号化処理の流れ図である。
図１８は、実施形態２に係る可変長復号化処理の流れ図である。
図１９Ａは、実施形態３に係る予測方向の符号化、復号化についての説明図である。
図１９Ｂは、実施形態３に係る予測方向の符号化、復号化についての説明図である。
図２０Ａは、実施形態３に係る利用可能隣接ブロックと同一の予測方向データを有する隣接ブロックの数とについての説明図である。
図２０Ｂは、実施形態４に係る利用可能隣接ブロックと同一の予測方向データを有する隣接ブロックの数とについての説明図である。
図２０Ｃは、実施形態５に係る利用可能隣接ブロックと同一の予測方向データを有する隣接ブロックの数とについての説明図である。
図２１は、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ａは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｂは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｃは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｄは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｅは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｆは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｇは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｈは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｉは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｊは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｋは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２１Ｌは、実施形態３に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ａは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｂは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｃは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｄは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｅは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｆは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２２Ｇは、実施形態４に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ａは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ｂは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ｃは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２３Ｄは、実施形態５に係る対象ブロックと隣接ブロックとの関係を示す説明図である。
図２４は、実施形態３、４、５に係る動画像符号化装置における画面内予測部のブロック図の一例である。
図２５は、実施形態３、４、５に係る動画像復号化装置における画面内予測部のブロック図の一例である。
図２６は、実施形態３、４、５に係る画面内符号化処理の流れ図である。
図２７は、実施形態３、４、５に係る画面内復号化処理の流れ図である。
以下、本発明の実施形態について図面を参照して説明する。
図５は、Ｈ．２６４／ＡＶＣによる画面内予測符号化処理の動作について概念的に示したものである。図５において、格子のハッチングで示された部分は符号化済みの画素を示し、市松模様のハッチングで示された部分は符号化対象画素を示している。
Ｈ．２６４／ＡＶＣは、符号化対象画像５０１に対してラスタースキャンの順序（図５における矢印５０７）に従って符号化処理を行い、符号化対象ブロック５１０の左、左上、上、右上に隣接する符号化済みブロックについての復号化画像を用いて予測処理を行う。当該予測処理は、符号化済みブロックに含まれる１３個の画素の画素値を利用し、予測方向ベクトルを傾きとする同一直線上の画素は、すべて同一画素に基づいて予測される（例えば矩形５０２）。例えば、符号５０３が指示する図に示すように、予測符号化処理は、符号化対象ブロック５１０の画素Ｂ、Ｃ、Ｄ、Ｅに対して、すべて同一画素を参照して予測画像を生成する。予測符号化処理は、まず、符号化対象ブロック５１０の画素Ｂ、Ｃ、Ｄ、Ｅと画素Ｂの直上の画素を復号化した値Ａ’との差分（予測差分）ｂ、ｃ、ｄ、ｅを算出する。次に、縦、横、斜めなど、８種類の予測方向候補の中から一つの予測方向をブロック単位で選択し、前記予測差分と選択した一の予測方向を示す番号である予測方向値とを符号化する。ただし、Ｈ．２６４／ＡＶＣにおいては、上記特定の予測方向に沿った予測処理の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「ＤＣ予測」を利用することができる（矩形５０４内を参照）。従って、「ＤＣ予測」を含む９種類の予測方向の中から一つが選択される。
図７は、Ｈ．２６４／ＡＶＣによる画面内予測復号化処理の動作を概念的に示したものである。図７において、格子のハッチングで示された部分は復号化済みの画素を示し、市松模様のハッチングで示された部分は復号化対象画素を示している。
復号化処理も、符号化処理と同様に、符号化対象画像７０１に対してラスタースキャンの順序に従って復号化処理を行う。矢印７０７は、ラスタースキャン順序（符号化順序）を示している。次に、復号化済みの参照画素と予測差分とを用いて符号化処理の逆手順を行う。すなわち、予測差分値と参照画素値とを予測方向に沿って加算することにより復号化画像を取得する。例えば、矩形７０２は、予測方向０において復号化する例を示す。より具体的には、符号７０３が指示する図に示すように、復号化処理は、復号化対象ブロック７１０の予測差分ｂ’、ｃ’、ｄ’、ｅ’（それぞれ、上記図５のｂ、ｃ、ｄ、ｅが復号化され量子化誤差を含んだもの）に対して、復号化済みの参照画素Ａ’を加算することにより、復号化画素Ｂ’、Ｃ’、Ｄ’、Ｅ’（それぞれ、上記図５のＢ、Ｃ、Ｄ、Ｅに対する復号化画素）を取得する。
以上のように、Ｈ．２６４／ＡＶＣによる画面内予測符号化処理は、参照画素から予測方向に沿った位置にある画素を、当該参照画素に基づいて予測するといった単方向による方法を採用している。この場合、予測処理の単位となるブロックごとに、どの予測方向に沿って予測処理を行うのかについての情報を符号化ストリームに付加する必要があった。
図６Ａ及び図６Ｂは、Ｈ．２６４／ＡＶＣによる画面内予測方式における予測方向の符号化方法を示したものである。
Ｈ．２６４／ＡＶＣは、対象ブロックの予測方向が隣接するブロックの予測方向と相関が高いことに着目し、符号化済みの隣接ブロックにおける予測方向から符号化対象ブロックの予測方向を推定する。図６Ａに示すように、符号化対象ブロック６１０の左側に隣接するブロック６１１ａの予測方向ＭＡと、同じく対象ブロックの上側に隣接するブロック６１１ｂの予測方向ＭＢとを参照する。さらに、この２つの予測方向のうち、予測方向値（予測方向を示す番号）が小さい予測方向を、対象ブロックにおける予測方向（隣接方向）として選択する（隣接方向＝Ｍｉｎ（ＭＡ、ＭＢ））。
図６Ｂは、予測方向を表すビット構成６０３の詳細を示す図である。Ｈ．２６４／ＡＶＣは、対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが同じ場合には、対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが同じ予測方向であることを示す情報（１ビット）を符号化する。
一方、両者が異なる場合には、対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが異なるという情報を符号化した後、実際の予測方向（８方向＋ＤＣ予測の９通りの予測方向のうち、隣接ブロックにおける予測方向（隣接方向）を除く８通り）を３ビットで符号化する。
この場合、予測方向を表すために多くの符号を必要とする。例えば４×４画素サイズのブロック単位で画面内予測を行った場合、一つのマクロブロックあたり最大で６４ビットの符号が発生する。
実施形態１．
実施形態１は、画面内予測において、対象ブロックの予測方向の符号化処理及び復号化処理に本発明を用いる例である。本実施形態は、対象ブロックに隣接するブロックの予測方向データを用いて、対象ブロックの予測方向が推定容易であるか否かを判定する。対象ブロックの予測方向が推定容易であると判定された場合と対象ブロックの予測方向が推定非容易であると判定された場合とで、対象ブロックにおける予測方向データの符号化／復号化方法を切り換える（符号化処理方法の切り換え、あるいは復号化処理方法の切り換え）。
以下、本実施形態についてさらに詳細に説明する。
図８Ａ、図８Ｂは、符号化対象ブロックの予測方向が推定容易か否かの判定方法並びに予測方向符号化方法Ａ及び予測方向符号化方法Ｂ、の一例を示した図である。図８Ａ、図８Ｂを用いて、符号化対象ブロックの予測方向が推定容易か否かの判定方法を説明する
符号化対象ブロックの予測方向が推定容易か否かの判定は、図８Ａの画像ブロック説明図に示すように、符号化対象ブロック８１０の左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック８１１ａ、隣接ブロック８１１ｂ、隣接ブロック８１１ｃ、隣接ブロック８１１ｄの予測方向ＭＡ、ＭＢ、ＭＣ、ＭＤを用いる。すなわち、本方法は、予測方向ＭＡ、ＭＢ、ＭＣ、ＭＤにおいて、Ｎ個（Ｎは２以上４以下の整数）以上同一の予測方向Ｍが存在する場合は、符号化対象ブロックの予測方向の推定が容易であると判定し、予測方向符号化方法Ａを用いて、符号化対象ブロックの予測方向データを符号化する。
また、例えば、スライス端や画面端などに符号化対象ブロックが存在するなど、隣接ブロックの予測方向情報を符号化対象ブロックの予測方向として利用できない場合は、符号化対象ブロックの予測方向の推定が容易であると判定し、予測方向符号化方法Ａを用いて、符号化対象ブロックの予測方向データを符号化する。このように、処理対象ブロックの予測方向に無効方向がある場合、予測方向符号化方法Ａを用いる。
なお、上記のどちらの場合にも該当しないブロックに関しては、予測方向の推定が非容易であると判定し、表８０３による予測方向符号化方法Ｂを選択し、可変長符号化を行う。
上述した判定方法により予測方向符号化方法Ａを選択した場合は、符号化処理は、予測方向選択処理に移る。すなわち、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック８１１ａ〜８１１ｄの予測方向ＭＡ、ＭＢ、ＭＣ、ＭＤのうちいずれかの予測方向を所定の方法で選択し、選択した隣接ブロックの予測方向は符号化対象ブロックの推定予測方向であると決定する。
ここで、当該所定の選択方法は、符号化側と復号化側の両方で同様の処理が実現できる方法であれば、どのような選択方法でもよいが、例えばＭＡ、ＭＢ、ＭＣ、ＭＤのうち最も予測方向値の小さい予測方向を選択する方法や、ＭＡ、ＭＢ、ＭＣ、ＭＤのうち最も多い予測方向を選択する方法などを用いればよい。
さらに、予測方向符号化方法Ａを選択した場合、符号化処理は、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック８１１ａ〜８１１ｄを隣接ブロックとして用いてもよいし、従来の通り符号化対象ブロックの左側及び上側に隣接する符号化済みの隣接ブロック８１１ａ、８１１ｂのみを隣接ブロックとして用いてもよい。
次に、予測方向符号化方法Ａについてさらに詳細に説明する。予測方向符号化方法Ａは、隣接ブロックの予測方向情報を用いて推定予測情報を決定し、当該推定予測情報を用いて符号化対象ブロックの予測方向データを符号化する。
図８Ｂのビット構成８０２は、予測方向符号化方法Ａにおける符号化対象ブロックの予測方向データの符号化のためのビット構成の詳細を示した図である。
符号化対象ブロックにおける予測方向と、隣接ブロックにおける予測方向（推定予測方向）である隣接方向とが同じ方向である場合は、予測方向符号化方法Ａは、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが同じ予測方向であることを示す情報（１ビット）を符号化する。
一方、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（推定予測方向）である隣接方向とが異なる場合は、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが異なることを示す情報を符号化した後、実際の予測方向（８方向＋ＤＣ予測の９通りの予測方向のうち、隣接ブロックにおける予測方向（推定予測方向）を除く８通り）を３ビットで符号化する。
次に、予測方向符号化方法Ｂについてさらに詳細に説明する。予測方向符号化方法Ｂは、隣接ブロックの予測方向データに基づいて符号化対象ブロックの予測方向データを推定せず、符号化対象ブロックの予測方向データを単独で符号化する。
図８Ｂの表８０３は、予測方向符号化方法Ｂに用いる可変長符号表の一例である。予測方向符号化方法Ｂは、表８０３のような可変長符号表に従って符号化対象ブロックの予測方向データを可変長符号化する。表８０３のような可変長符号表を用いる場合、予測方向符号化方法Ａのように１ビットのみで示すことのできるモード（予測方向）は存在しない。しかし、隣接モード（隣接方向）と異なる予測方向であっても、一部のモードは４ビットよりも小さい２ビットか３ビットで示すことができる。よって、４ビットよりも小さいビットで示すことができるモードの数が、予測方向符号化方法Ａよりも多い。ここで、本実施形態で予測方向符号化方法Ｂが用いられる場合は、上述のとおり、対象ブロックの予測方向が推定非容易であると判定された場合である。これは、対象ブロックの予測方向が隣接ブロックの予測方向に一致する確率が低い場合である。すなわち、この場合、仮に予測方向符号化方法Ａを用いると、予測方向の符号量が１ビットである確率よりも４ビットである確率が高い。よって、このような場合に予測方向符号化方法Ｂを用いることで、予測方向を２ビット又は３ビットの符号量で符号化する確率を向上させることは、符号量の低減に効果的である。なお、表８０３の可変長符号表は一例であり、同様の効果を得るものであれば、他のパターンでもかまわない。
以上において、本実施形態における符号化処理について説明したが、復号化処理の際には、対応する符号化方法と逆の処理を行うことで復号化することができる。すなわち、本実施形態における復号化処理は、隣接する復号化済みブロックの予測方向情報を用いて復号化対象ブロックの予測方向が推定容易か否かを判定する。復号化対象ブロックの予測方向の推定が容易であると判定した場合には、ビット構成８０２に示すビット構成に従って復号化対象ブロックの予測方向データの復号化を行う。一方、復号化対象ブロックの予測方向の推定が非容易であると判定した場合には、表８０３に示す可変長符号表に基づいて復号化対象ブロックの予測方向データの復号化を行う。
次に、本実施形態における動画像符号化装置を、図１を用いて説明する。
本実施形態における動画像符号化装置は、入力された原画像１０１を保持する入力画像メモリ１０２と、入力画像を小領域に分割するブロック分割部１０３と、ブロック単位で動きを検出する動き探索部１０４と、同じくブロック単位で画面内予測処理（図７に記載）を行う画面内予測部１０６と、動き探索部１０４にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部１０７と、画像の性質に合った予測符号化手段を選択するモード選択部１０８と、予測差分データを生成する減算部１０９と、予測差分データに対して符号化処理を行う周波数変換部１１０及び量子化処理部１１１と、記号の発生確率に応じた符号化処理を行う可変長符号化部１１２と、符号化した予測差分データを復号化する逆量子化処理部１１３及び逆周波数変換部１１４と、復号化された予測差分データを用いて復号化画像を生成する加算部１１５と、復号化画像を格納する参照画像メモリ１１６とを有する。
入力画像メモリ１０２は原画像１０１の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部１０３が細かなブロックに分割し、動き探索部１０４及び画面内予測部１０６に出力する。動き探索部１０４は、参照画像メモリ１１６に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルデータとして画面間予測部１０７に出力する。画面内予測部１０６及び画面間予測部１０７は、画面内予測処理及び画面間予測処理をブロック単位で行う。モード選択部１０８は、上記の画面内予測処理及び画面間予測処理のうちから最適な予測処理を選択する。モード選択部１０８は、選択した予測処理のための予測画像を減算部１０９へ出力する。ここで、画面内予測処理が選択された場合は、モード選択部１０８は、後述する符号化された予測方向データを可変長復号化部１１２に出力する。減算部１０９は、入力画像と、上述の最適な予測符号化処理による予測画像との予測差分データを生成し、周波数変換部１１０に出力する。周波数変換部１１０及び量子化処理部１１１は、送られてきた予測差分データに対して指定された大きさのブロック単位でそれぞれＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）などの周波数変換処理及び量子化処理を行い、可変長符号化処理部１１２及び逆量子化処理部１１３に出力する。可変長符号化処理部１１２は、周波数変換係数によって表される予測差分情報を、例えば画面内予測符号化における予測方向や画面間予測符号化における動きベクトルなど、予測復号化に必要な情報とともに、記号の発生確率に基づいて可変長符号化を行い、符号化ストリームを生成する。また、逆量子化処理部１１３及び逆周波数変換部１１４は、量子化後の周波数変換係数に対して、それぞれ逆量子化及びＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ：逆ＤＣＴ）などの逆周波数変換を行い、予測差分を取得して加算部１１５に出力する。加算部１１５は、復号化画像を生成して参照画像メモリ１１６に出力する。参照画像メモリ１１６は、復号化画像を格納する。
図２は、本実施形態における動画像符号化装置の画面内予測部１０６の詳細を示した図である。
ここで、画面内予測部１０６には、例えば図１に示すブロック分割部１０３にて分割された画像が入力される。当該入力画像は、方向別予測部２０１に入力される。方向別予測部２０１は、ブロック分割部１０３から入力される入力画像のブロックに対して、参照画像メモリ１１６に記憶される符号化済み隣接ブロックの復号画像の画素値を用いて、各予測方向についての予測画像を生成して予測処理を行う。この符号化処理には、図５にて説明したＨ．２６４／ＡＶＣによる符号化方法を用いる。この予測結果が予測方向決定部２０２に入力される。予測結果としては、入力画像のブロックと予測画像との差分や、予測画像そのものなどが考えられる。予測方向決定部２０２は、符号化効率が最も良くなる予測方向を選択し、その方向を符号化対象ブロックの予測方向と決定する。ここで、予測方向決定部２０２は決定した予測方向についての予測画像をモード選択部１０８へ出力する。また、決定した予測方向の情報を予測方向推定難易度判定部２０３に出力する。また、予測方向記憶メモリ２０６は、決定された予測方向を記憶する。予測方向推定難易度判定部２０３は、周囲の符号化済みのブロックの予測方向情報を予測方向記憶メモリ２０６から読み出し、読み出した予測方向情報から符号化対象ブロックの予測方向が推定容易か否かを判定する。この判定方法には、例えば、図８Ａ、図８Ｂにて説明した方法を用いればよい。画面内予測部１０６は、当該判定結果に基づいて、予測方向の符号化方式を切替える。
例えば、符号化対象ブロックの予測方向の推定が容易であると判定された場合には、予測方向データの符号化処理は、予測方向予測符号化部２０５によって行われる。予測方向予測符号化部２０５は、例えば図８Ｂにおけるデータ８０２による方法（予測方向符号化方法Ａ）を用いて予測方向データの符号化を行う。
一方、符号化対象ブロックの予測方向の推定が非容易であると判断された場合は、予測方向データの符号化処理は、予測方向可変長符号化部２０４によって行われる。予測方向可変長符号化部２０４は、例えば、図８Ｂにおける表８０３に示す方法（予測方向符号化方法Ｂ）を用いて予測方向の符号化を行う。
予測方向可変長符号化部２０４又は予測方向予測符号化部２０５は、以上のように符号化された予測方向データをモード選択部１０８へ出力する。なお、図２の構成では、画面内予測部１０６が予測方向データの符号化処理を行っているが、この符号化処理を可変長符号化部１１２が行ってもよく、あるいは別の構成部が行ってもよい。
次に、本実施形態における動画像復号化装置の一例を、図３を用いて説明する。本実施形態における動画像復号化装置は、例えば図１に示す動画像符号化装置によって生成された符号化ストリーム３０１に対して可変長符号化の逆の手順を行う可変長復号化部３０２と、予測差分データを復号化する逆量子化処理部３０３及び逆周波数変換部３０４と、画面内予測処理を行う画面内予測部３０６と、画面間予測を行う画面間予測部３０７と、復号化画像を生成する加算部３０８と、復号化画像を格納する参照画像メモリ３０９とを有する。
可変長復号化部３０２は、符号化ストリーム３０１を可変長復号化し、予測差分の周波数変換係数成分と、予測方向や動きベクトルなどの予測処理に必要な情報を取得する。予測差分の周波数変換係数成分は、逆量子化処理部３０３に出力される。予測方向や動きベクトルなどは、予測手段に応じて画面内予測部３０６又は画面間予測部３０７に出力される。続いて、逆量子化処理部３０３及び逆周波数変換部３０４は、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を行い、予測差分データを復号化する。画面内予測部３０６又は画面間予測部３０７は、可変長復号化部３０２から入力されたデータに基づいて参照画像メモリ３０９に格納された復号化画像を参照して予測処理を行う。加算部３０８は、復号化画像を生成する。参照画像メモリ３０９は、復号化画像を格納する。
図４は、本実施形態における動画像復号化装置の画面内予測部３０６の詳細を示した図である。
ここで、予測方向推定難易度判定部４０１は、周囲の復号化済みのブロックの予測方向の情報を予測方向記憶メモリ４０５から読み出し、読み出した情報に基づいて、復号化対象ブロックの予測方向の推定が容易か否かを判定する。この判定方法には、例えば図８Ａ、図８Ｂにて説明した方法を用いればよい。当該判定結果に基づいて、可変長復号化部３０２から入力される復号化対象ブロックの予測方向データの出力先を切替える。すなわち、復号化方式を切り替える。
例えば、復号化対象ブロックの予測方向の推定が容易であると判定された場合は、予測方向予測復号化部４０３が予測方向データの復号化を行う。予測方向予測復号化部４０３は、例えば図８Ｂにおける符号化データ８０２による方法（予測方向符号化方法Ａ）に対応する復号化方式を用いて予測方向データの復号化処理を行う。
一方、復号化対象ブロックの予測方向の推定が非容易であると判定された場合は、予測方向可変長復号化部４０２が予測方向データの復号化処理を行う。予測方向可変長復号化部４０２は、例えば図８Ｂにおける表８０３による方法（予測方向符号化方法Ｂ）に対応する復号化方式を用いて予測方向データの復号化処理を行う。
以上のように復号化処理された予測方向データが画面内予測画像生成部４０４に入力される。また、予測方向記憶メモリ４０５は、復号化処理された予測方向データを格納する。画面内予測画像生成部４０４は、参照画像メモリ３０９から入力される隣接ブロックの復号画像の画素値と、復号化処理された予測方向データとに基づいて、画面内予測画像を加算部３０８へ出力する。
なお、図４の例では画面内予測部３０６が予測方向データの復号化処理を行っているが、この復号化処理を可変長復号化部３０２が行うこともできるし、別の構成部が行ってもよい。
次に、本実施形態の動画像符号化装置の１フレームの符号化処理手順について、図９を用いて説明する。
符号化処理は、まず、符号化対象となるフレーム内に存在するすべてのブロックに対して（Ｓ９０１）、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モードに対して（Ｓ９０２）予測符号化処理を行って予測差分を算出し、最も符号化効率が高い符号化方向を選択する。符号化モードは、予測方法とブロックサイズの組み合わせである。
次に、対象ブロックが予測符号化されている予測モードを判定する（Ｓ９０３）。さらに、画面内予測符号化処理（Ｓ９０４）と画面間予測符号化処理（Ｓ９０７）とから選択した処理を行う。最適な予測符号化処理を選択することによって、画像の性質に応じて効率良く符号化する。
上記多数の符号化モードの中から最も符号化効率の高いものを選択する際には（Ｓ９０８）、例えば画質歪みと符号量の関係から最適な符号化方向を決定するＲＤ−Ｏｐｔｉｍｉｚａｔｉｏｎ方式を利用することによって、効率良く符号化できる。ＲＤ−Ｏｐｔｉｍｉｚａｔｉｏｎ方式の詳細については、例えば、下記参考文献に記載されており、広く知られた技術であり、ここでは詳細な説明を省略する。（参考文献：Ｇ．Ｓｕｌｌｉｖａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄ：“Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ”，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，ｖｏｌ．１５，ｎｏ．６，ｐｐ．７４−９０，１９９８．）
続いて、選択した符号化モードに基づいて生成された予測差分データに対して周波数変換（Ｓ９０９）と量子化処理（Ｓ９１０）を行い、さらに可変長符号化を行うことによって符号化ストリームを生成する（Ｓ９１１）。
一方、量子化済みの周波数変換係数に対しては逆量子化処理（Ｓ９１２）と逆周波数変換処理（Ｓ９１３）を行って予測差分データを復号化し、復号化画像を生成して参照画像メモリに格納する（Ｓ９１４）。以上の処理を全てのブロックに対して完了すれば、画像１フレーム分の符号化は終了する（Ｓ９１５）。
次に、図９の画面内予測符号化処理（Ｓ９０４）の処理手順の詳細について、図１０を用いて説明する。
この処理は、まず、符号化対象となるブロックにおいて、全ての予測方向に対して（Ｓ１００１）、画面内予測処理（Ｓ１００２）を行う。その中から最適な予測方向を選択する（Ｓ１００３）。また、既に符号化済みの周囲のブロックの情報から、予測方向の推定が容易か否かを判定し（Ｓ１００４）、容易であれば予測方向符号化方法Ａを用いて符号化を行い（Ｓ１００５）、容易でなければ予測方向符号化方法Ｂを用いて符号化を行う（Ｓ１００６）。これにより、１ブロック分の予測方向の符号化は終了する（Ｓ１００７）。
なお、図１０の例は、画面内予測符号化処理（Ｓ９０４）において予測方向データの符号化処理を行っているが、この符号化は可変長符号化処理（Ｓ９１１）で行うこともでき、あるいは、別の処理内で行ってもよい。
次に、図３に示す動画像復号化装置における１フレームの復号化処理手順について図１１を用いて説明する。
この処理は、まず、１フレーム内のすべてのブロックに対して、以下の処理を行う（Ｓ１１０１）。すなわち、入力ストリームに対して可変長復号化処理を行い（Ｓ１１０２）、逆量子化処理（Ｓ１１０３）及び逆周波数変換処理（Ｓ１１０４）を行い、予測差分データを復号化する。次に、対象ブロックが予測符号化されている予測モードを、符号化ストリームに含まれる情報に基づいて判定する（Ｓ１１０５）。当該判定結果に基づいて、画面内予測復号化処理（Ｓ１１０６）又は画面間予測復号化処理（Ｓ１１０９）を行って予測画像を生成し、上述の復号化した予測差分データと加算して復号化画像を生成する。そして、生成した復号化画像を参照画像メモリに格納する。以上の処理をフレーム中のすべてのブロックに対して完了することにより、画像１フレーム分の復号化が終了する（Ｓ１１１０）。
次に、図１１の画面内予測復号化処理（Ｓ１１０６）の処理手順の詳細について、図１２を用いて説明する。
この処理は、まず、対象ブロックの周辺に位置する復号化済みのブロックの予測方向から、対象ブロックの予測方向の推定が容易か否かを判定する（Ｓ１２０１）。この際、対象ブロックの予測方向の推定が容易であれば予測方向符号化方法Ａに対応する復号化を実行し（Ｓ１２０２）、容易でなければ予測方向符号化方法Ｂに対応する復号化処理を実行する（Ｓ１２０３）。最後に、復号化された予測方向データを基に予測復号化処理を行い（Ｓ１２０４）、１ブロック分の画面内予測復号化処理は終了する（Ｓ１２０５）。
なお、図１２の例は、画面内予測復号化処理（Ｓ１１０６）において予測方向データの復号化を行っているが、この復号化を可変長復号化処理（Ｓ１１０２）で行うこともでき、あるいは、別の処理内で行ってもよい。
本実施形態では周波数変換の一例としてＤＣＴを挙げているが、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散サイン変換）、ＷＴ（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ウェーブレット変換）、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散フーリエ変換）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：カルーネン−レーブ変換）など、画素間相関除去に利用する直交変換ならどのような周波数変換でも使用することができる。
特に、周波数変換を施さずに予測差分そのものに対して符号化を行ってもよい。さらに、可変長符号化も行わなくてよい。
また、本実施形態は、一例として、４×４画素サイズのブロック単位で予測を行う場合について記載しているが、例えば８×８画素サイズや１６×１６画素サイズなど、どのようなサイズのブロックに対して本発明を適用してもよい。
また、本実施形態は、Ｈ．２６４／ＡＶＣで定められている８方向に沿って予測を行っているが、方向数を増やしても減らしてもよい。
以上説明した実施形態１に係る動画像符号化装置、動画像符号化方法、動画像復号化装置、動画像復号化方法によれば、動画像の符号化・復号化処理においてより符号量を低減することが可能となる。
実施形態２．
実施形態２は、予測符号化に用いるマクロブロックのサイズ及び予測方法（画面内予測、画面間予測）などの予測モード情報の符号化処理に対して、実施形態１に示す選択的な符号化処理を用いる。
図１３は、Ｈ．２６４／ＡＶＣにおける、Ｂａｓｅｌｉｎｅプロファイルで利用可能な符号化モードの種類を示す。Ｈ．２６４／ＡＶＣでは、符号化処理は、１６×１６画素サイズのマクロブロック１３１１ごとに符号化モードを決定する。この決定は、画面内ブロックの画素相関を利用して圧縮を行う画面内予測（Ｉｎｔｒａ予測）及び画面間ブロックの画素相関を利用する画面間予測（Ｉｎｔｅｒ予測）のうちのどちらの予測方法を適用するか、ならびに、予測に利用するブロックのサイズを決定する。Ｈ．２６４／ＡＶＣは、画面間の画素値予測方法として、１枚の参照画像を指定する順方向予測（Ｐｒｅｄｉｃｔｉｖｅ予測）と２枚の参照画像を指定することが可能な双方向予測（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｖｅ予測）とを規定しているが、Ｂａｓｅｌｉｎｅプロファイルを利用する場合は、Ｐｒｅｄｉｃｔｉｖｅ予測のみが利用可能となっている。
各フレーム（例えば、フレーム１３０２）では、画面左上のマクロブロックから右下のマクロブロックに向かってラスター走査の順番に従って順次符号化が行われる。図１３において、該当フレーム１３０２内に、符号化済みのマクロブロック１３０１が例示されている。マクロブロックはさらに小さなサイズのブロックに分割することが可能であり、符号化処理は、あらかじめ予測方法の種類ごとに定められたいくつかのサイズの中から最適なものを選んで符号化を行う。画面内予測（Ｉｎｔｒａ予測）の場合、１６×１６画素（Ｉ１６×１６モード）と４×４画素（Ｉ４×４モード）の２種類のブロックサイズを利用することができ、いずれか適した方のモードが使われる。図１３には、Ｉ４×４モードにおける予測方向の決定における６つの予測方向が例示されている。符号化済みの画素の一つが１３０３で示されている。一方、該当フレーム１３０２と参照フレーム１３０４との間の画面間予測（Ｐｒｅｄｉｃｔｉｖｅ予測）では、１６×１６画素（Ｐ１６×１６モード）、１６×８画素（Ｐ１６×８モード）、８×１６画素（Ｐ８×１６モード）、８×８画素（Ｐ８×８モード）のサイズが用意されている。８×８画素サイズの場合は、さらに、８×８画素、８×４画素、４×８画素、４×４画素サイズのサブマクロブロックに分割することが可能である。さらに、１６×１６画素のブロックサイズに対しては動きベクトル情報を符号化しないＰＳｋｉｐモードが、８×８画素サイズに対しては参照フレーム番号を符号化しないＰ８×８ｒｅｆ０モードが用意されている。図１３における矢印１３０７は、動きベクトルである。
各マクロブロックに対して、上述の予測方法及びブロックサイズを決定し、その情報を符号化する。上述の予測方法（画面内予測、画面間予測）とブロックサイズとの組合せ（例えばＩ１６×１６モードやＩ４×４モード等）を、ブロックタイプと呼ぶ。また、各ブロックタイプにはブロックタイプを識別するための番号であるブロックタイプ値が付されており、符号化／復号化処理は、当該ブロックタイプ値についての情報を符号化／復号化する。
図１４Ａ、図１４Ｂを用いて、本実施形態に係るブロックタイプの符号化方法を説明する。図１４Ａの画像ブロック説明図、図１４Ｂのビット構成図１４０２、図１４Ｂの可変長符号表１４０３は、それぞれ、実施形態１の図８Ａの画像ブロック説明図、図８Ｂのビット構成図８０２、図８Ｂの可変長符号表８０３に対応する。
図１４Ａ、図１４Ｂ（実施形態２）と図８Ａ、図８Ｂ（実施形態１）を比較すれば明らかなとおり、図８Ａ、図８Ｂの「予測方向」を「ブロックタイプ」に変更すれば、図１４Ａ、図１４Ｂに示すブロックタイプの符号化方法を実現できる。
具体的には、本実施形態の符号化処理は、図１４Ａの画像ブロック説明図に示すように、符号化対象ブロック１４１０に対してそれぞれ左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック１４１１ａ、隣接ブロック１４１１ｂ、隣接ブロック１４１１ｃ、隣接ブロック１４１１ｄの復号化画像を利用して、対象ブロックのブロックタイプを推定する。この際に、推定が容易か否かによってブロックタイプの符号化方式を切替える。ブロックタイプの推定が容易である場合には、ブロックタイプ符号化方法Ａを用い、隣接ブロックのブロックタイプを用いた予測結果に基づいて対象ブロックのブロックタイプを符号化する。一方、ブロックタイプの推定が容易でない場合には、ブロックタイプ符号化方法Ｂを用い、隣接ブロックから推定せずにブロックタイプを単独で符号化する。この推定難易度の判定は、例えば、周囲の符号化済みの隣接ブロック１４１１ａ、１４１１ｂ、１４１１ｃ、１４１１ｄのブロックタイプＭＳＡ、ＭＳＢ、ＭＳＣ、ＭＳＤから多数決を行い、Ｎ（Ｎは２以上の整数）個以上同じブロックタイプが存在する場合にはブロックタイプの推定が容易であると判定し、そうでない場合は容易でないと判定する。
ビット構成１４０２は、ブロックタイプ符号化方法Ａの予測方法を表すビット構成の詳細を示している。ブロックタイプ符号化方法Ａは、隣接モード（推定ブロックタイプ）を決定する必要がある。ブロックタイプ符号化方法Ａは、所定の方法で隣接モード（推定ブロックタイプ）を決定する。例えば、周囲ブロックのブロックタイプのうち、最も多く現れるブロックタイプが隣接モード（推定ブロックタイプ）であると決定することができる。
表１４０３は、ブロックタイプ符号化方法Ｂで用いる可変長符号表の一例を示す。ブロックタイプ符号化方法Ｂは、ブロックタイプを、表１４０３のような可変長符号表に従って可変長符号化する。表１４０３の可変長符号表は一例であり、他のパターンを用いてもよい。
また、以上では符号化処理について述べたが、復号化処理は、対応する符号化方法と逆の処理を行うことで、ブロックタイプの復号化することができる。
すなわち、隣接する復号化済みブロックのブロックタイプ情報を利用して対象ブロックのブロックタイプの推定難易度を判定する。ブロックタイプの推定が容易である場合にはビット構成図１４０２のビット構成に従いブロックタイプの復号化を行う。一方、ブロックタイプの推定が容易でない場合には表１４０３の符号表を基にブロックタイプの復号化を行う。
本実施形態における画像符号化装置は、実施形態１の図１の画像符号化装置において、可変長符号化部１１２に図１５に示す構成を適用することで実現できる。その他の構成は実施形態１の図１の構成と同一であるため、その説明を省略する。
図１５において、可変長符号化部１１２には、例えば図１に示す量子化処理部１１１にて量子化されたデータが入力される。入力されるデータのうち、ブロックタイプ情報はブロックタイプ記憶メモリ１５０５に記憶される。ブロックタイプ推定難易度判定部１５０１は、周囲の符号化済みのブロックタイプの情報をブロックタイプ記憶メモリ１５０５から読み出し、読み出した情報を基に対象ブロックのブロックタイプの推定難易度を判定する。推定難易度を判定は、例えば、図１４Ａ、図１４Ｂにて説明した方法を使うことができる。可変長符号化部１１２は、この判定を基にブロックタイプの符号化方式を切替える。
例えば、ブロックタイプの推定が容易であると判定された場合には、ブロックタイプの符号化はブロックタイプ予測符号化部１５０３によって行われる。ブロックタイプ予測符号化部１５０３は、図１４Ｂのビット構成図１４０２に示す方法（ブロックタイプ符号化方法Ａ）を用いてブロックタイプの符号化を行う。
また、例えば、ブロックタイプの推定が容易でないと判断された場合には、ブロックタイプの符号化はブロックタイプ可変長符号化部１５０２によって行われる。ブロックタイプ可変長符号化部１５０２は、例えば、図１４Ｂの表１４０３を用いる可変長符号化方法（ブロックタイプ符号化方法Ｂ）を用いてブロックタイプの符号化を行う。
以上説明したように、可変長符号化部１１２は、ブロック毎にブロックタイプの符号化方法を選択しながら、符号化を行う。
また、同時に、ブロックタイプ以外の可変長符号化部１５０４は、ブロックタイプ以外のデータの可変長符号化を行い、この結果とブロックタイプを符号化した結果とを出力値とする。図１５の例では、可変長符号化部１１２がブロックタイプの符号化を行っているが、モード選択部１０８が符号化を行うことができ、あるいは、別の構成部が行ってもよい。
本実施形態における画像復号化装置は、実施形態１の図３の画像復号化装置において、可変長復号化部３０２に対して図１６に示す構成を適用することにより実現することができる。その他の構成は、実施形態１の図３の構成と同一であるため、その説明を省略する。
図１６において、ブロックタイプ推定難易度判定部１６０１は、周囲の復号化済みのブロックのブロックタイプの情報をブロックタイプ記憶メモリ１６０５から読み出し、読み出した情報を基に対象ブロックのブロックタイプの推定難易度を判定する。この方法は、例えば図１４Ａ、図１４Ｂにて説明した方法を使うことができる。可変長復号化部３０２は、この判定を基に、ブロックタイプの復号化方式を切替える。
例えば、ブロックタイプの推定が容易であると判定された場合には、ブロックタイプの復号化はブロックタイプ予測復号化部１６０３によって行われる。ブロックタイプ予測復号化部１６０３は、例えば図１４Ｂのビット構成図１４０２に示す方法（ブロックタイプ符号化方法Ａ）に対応する復号化方式を用いて復号化を行う。
また、ブロックタイプの推定が容易でないと判断された場合には、ブロックタイプの復号化はブロックタイプ可変長復号化部１６０２によって行われる。ブロックタイプ可変長復号化部１６０２は、例えば、図１４Ｂの表１４０３を用いる可変長復号化方法（ブロックタイプ符号化方法Ｂ）に対応する復号化方式を用いてブロックタイプの復号化を行う。
以上のように復号化されたブロックタイプは、ブロックタイプ記憶メモリ１６０５に格納される。
また、ブロックタイプ以外の可変長復号化部１６０４は、ブロックタイプ以外のデータの可変長復号化を行い、ブロックタイプ以外のデータの復号結果とブロックタイプの復号結果とを出力する。
図１６の例では、ブロックタイプの復号化を可変長復号化部３０２が行っているが、画面内予測部３０６及び画面間予測部３０７が復号化を行ってもよく、あるいは、別の構成部が行ってもよい。
本実施形態に係る動画像符号化装置の１フレームの符号化処理手順は、実施形態１の図９における可変長符号化処理９１１において、図１７に示す内容の処理を実行する。その他の処理は実施形態１と同様のため説明を省略する。
図１７の処理は、まず、符号化対象となるブロックについて、既に符号化済みの周囲のブロックの情報から、ブロックタイプの推定が容易かどうかを判定する（Ｓ１７０１）。容易であればブロックタイプ符号化方法Ａを用いて符号化を実行する（Ｓ１７０２）。容易でなければブロックタイプ符号化方法Ｂを用いて符号化を実行する（Ｓ１７０３）。最後にブロックタイプ以外の可変長符号化処理を実行して（Ｓ１７０４）、１ブロック分の可変長符号化は終了する（Ｓ１７０５）。
図１７の例では、可変長符号化処理（Ｓ９１１）がブロックタイプの符号化を行っているが、この符号化は符号化モード選択処理（Ｓ９０８）が行うこともでき、あるいは、別の処理が行ってもよい。
本実施形態に係る動画像復号化装置の１フレームの復号化処理手順は、実施形態１の図１１における可変長復号化処理（Ｓ１１０２）において、図１８に示す内容の処理を実行する。その他の処理は実施形態１と同様のため説明を省略する。
図１８の処理は、まず、復号化対象となるブロックについて、既に復号化済みの周囲のブロックの情報から、ブロックタイプの推定が容易かどうかを判定する（Ｓ１８０１）。容易であればブロックタイプ符号化方法Ａに対応する復号化方式を用いて復号化を実行する（Ｓ１８０２）。容易でなければブロックタイプ符号化方法Ｂに対応する復号化方式を用いて復号化を実行する（Ｓ１８０３）。最後にブロックタイプ以外の可変長復号化処理を実行して（Ｓ１８０４）、１ブロック分の可変長復号化は終了する（Ｓ１８０５）。
図１８の例では可変長復号化処理（Ｓ１１０２）がブロックタイプの復号化を行っているが、この復号化は画面内予測復号化処理（Ｓ１１０６）及び画面間予測復号化処理（Ｓ１１０９）が行うこともできる、あるいは、別の処理が行ってもよい。
本実施形態は、周波数変換の一例としてＤＣＴを挙げているが、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散サイン変換）、ＷＴ（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ウェーブレット変換）、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散フーリエ変換）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：カルーネン−レーブ変換）など、画素間相関除去に利用する直交変換ならどのような周波数変換も使用することができる。周波数変換を施さずに予測差分そのものに対して符号化を行ってもよい。
さらに、可変長符号化を行わなくてよい。また、本実施形態は、Ｈ．２６４／ＡＶＣで定められている８方向に沿って予測を行っているが、その方向数を増やしても減らしてもよい。
また、本実施形態は一部のブロックタイプの例を挙げているが、他のブロックタイプを用いてもよい。
以上の２つの実施形態では、画面内予測の際の予測方向の符号化及び復号化と、予測符号化の際のブロックタイプの符号化及び復号化に本発明を適用する例について示したが、例えば、周波数係数の有無を表すＣＢＰ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）や動きベクトルなど、ブロック単位で符号化する必要がある情報の符号化処理及び復号化処理であれば、他の情報に対しても本発明を適用できる。
実施形態３．
実施形態１は、図８Ａ、図８Ｂに示したように、（ａ）対象ブロックに隣接するブロックのうち、同じ予測方向データを有する隣接ブロックが一定数以上存在するか否か、（ｂ）対象ブロックの予測方向として利用できない予測方向データを有する隣接ブロックが存在するか否か、（ｃ）上記（ａ）及び（ｂ）以外、の３つの場合に条件わけし、難易度を判定して符号化／復号化方法を切り換えた。
図１９Ａ、図１９Ｂは、図８Ａ、図８Ｂにおける符号化／復号化方法の切り換え条件を本実施形態におけるものに置き換えた図であり、それ以外の内容は図８Ａ、図８Ｂと実質的に同様である。図１９Ａにおいて、符号化対象ブロック１９１０の隣接ブロック１９１１ａ、１９１１ｂ、１９１１ｃ、１９１１ｄのモードは、ＭＡ、ＭＢ、ＭＣ、ＭＤで示されている。図１９Ｂに示すように、推定容易である場合の符号化方法Ａはデータ１９０２を使用し、推定非容易である場合の符号化方法Ｂは表１９０３を使用する。本実施形態は、（ａ）予測方向のデータを有する隣接ブロックであって、対象ブロックと同一のスライス内に存在するもの（以下、利用可能隣接ブロックという。）の数と、（ｂ）利用可能隣接ブロックのうち、同じ予測方向データを有するブロックの数と、の組合せに応じて、符号化／復号化方法を切り換える。ここで、上記利用可能隣接ブロック以外のブロックを、以下、利用不可能隣接ブロックという。隣接ブロックが利用不可能隣接ブロックとなる場合の例は、隣接ブロックの情報を利用できない場合である。例えば、隣接ブロックが画面間予測モードであることにより画面内予測モードの情報を持っていない場合、又は対象ブロックがスライス端等に位置し、隣接ブロックと対象ブロックのそれぞれが属するスライスが異なる場合に、隣接ブロックの情報を利用できない。また、本明細書中で利用不可能隣接ブロックとは、対象ブロックが画面端に位置し、隣接ブロックの位置が画面の外にある場合も意味する。
また、本実施形態における動画像符号化装置において、図２４に示すように、実施形態１の図２で示した動画像符号化装置の予測方向推定難易度判定部２０３を、符号化方法決定部２４０１に置き換えており、予測モード記憶メモリ２４０２は、予測モードを記憶する。本実施形態における動画像復号化装置において、図２５に示すように、実施形態１の図４で示した動画像復号化装置の予測方向推定難易度判定部４０１を、復号化方法決定部２５０１に置き換えており、予測モード記憶メモリ２５０２は、予測モードを記憶する。以下では、符号化方法決定部２４０１及び復号化方法決定部２５０１の構成、動作について説明し、その他の構成、動作については説明を省略する。
さらに、本実施形態における画面内予測符号化処理の手順において、図２６に示すように、実施形態１の図１０で説明した画面内予測符号化処理の手順における予測方法の推定が容易か否かの判定（Ｓ１００４）が、利用可能隣接ブロックの個数と利用可能隣接ブロックのうち同一の予測方向データを有するブロックの個数との判定（Ｓ２６０１）に置き換えられている。本実施形態における画面内予測復号化処理の手順において、図２７に示すように、実施形態１の図１２で説明した画面内予測復号化処理の手順における予測方法の推定が容易か否かの判定（Ｓ１２０１）が、利用可能隣接ブロックの個数と利用可能隣接ブロックのうち同一の予測方向データを有するブロックの個数との判定（Ｓ２７０１）に置き換えられている。以下では、利用可能隣接ブロックの個数と利用可能隣接ブロックのうち同一の予測方向データを有するブロックの個数との判定（Ｓ２６０１、Ｓ２７０１）について説明し、その他の処理については説明を省略する。
なお、実施形態３は、対象ブロックに隣接するブロックのうち、対象ブロックの予測方向算出に用いる隣接ブロック（以下、候補ブロックという）の最大数が４つの場合の対象ブロックの符号化／復号化処理（符号化処理あるいは復号化処理）を示す。
図２０Ａは、候補ブロックとして最大４つのブロックを用いる場合の、利用可能隣接ブロックの数と、当該利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数と、の関係を示した図である。図２１は、処理対象ブロック２１０１と、それに隣接する４つの候補ブロック（ブロックＡ〜ブロックＤ）２１０２ａ〜２１０２ｄとを示している。また、図２０Ａの（ａ）〜（ｌ）は、図２１Ａ〜図２１Ｌと対応しており、図２１Ａ〜図２１Ｌは、図２０Ａに示したそれぞれの一例を具体的に示している。ここで、本実施形態において、同じ予測方向データを有するブロックの位置は、図２１Ａ〜図２１Ｌの位置に限られず、４つの候補ブロックのいずれの位置でもよい。また、本実施形態において、利用不可能隣接ブロックの位置は、図２１Ａ〜図２１Ｌの位置に限られず、４つの候補ブロックのいずれの位置でもよい。
以下に、図２０Ａと図２１Ａ〜図２１Ｌとの対応関係を使って、候補ブロックとして最大４つのブロックを用いる場合の、対象ブロックの符号化／復号化方法の切り換えについて具体的に説明する。図２１Ａ〜図２１Ｌにおいて、α、β、γ、δは、それぞれ、候補ブロックの予測方向データを示している。
（１）以下に説明する図２１Ａ〜図２１Ｅは、利用可能隣接ブロックが４つ存在し、利用不可能隣接ブロックが存在しない場合の一例を示している。
図２１Ａは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち同じ予測方向データを有するブロックが４つ存在する場合を示す。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１を符号化／復号化する。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ〜２１０２ｄの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データとが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり、１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｂは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち同じ予測方向データを有する３つのブロック２１０２ａ〜２１０２ｃが存在する場合を示している。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１を符号化／復号化する。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データのうち３つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが３つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに示すように１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｃは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち２つのブロック２１０２ａ、２１０２ｂが同じ予測方向データを有し、他の２つのブロック２１０２ｃ、２１０２ｄの予測方向データとそれぞれ異なる場合を示している。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データのうち２つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが２つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｄは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち、同じ予測方向データを有する２つのブロックが、２組（２１０２ａ、２１０２ｂ）、（２１０２ｃ、２１０２ｄ）存在する場合を示している。この場合は、２組の利用可能隣接ブロックの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの例（ｄ−Ａ）、（ｄ−Ｂ）に示す方法の内の一方で対象ブロック２１０１の予測方向データを決定して、符号化／復号化を行う。
例１（ｄ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１を符号化／復号化する。２組の利用可能隣接ブロック（２１０２ａ、２１０２ｂ）、（２１０２ｃ、２１０２ｄ）の予測方向データのうち、予測方向値（予測方向を示す番号）が小さい方の予測方向データを用いて対象ブロック２１０１を符号化／復号化する。予測方向値が小さい予測方向データの方が、対象ブロック２１０１の予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、前記予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｄ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１を符号化／復号化する。この場合は、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化、復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
図２１Ｅは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合を示している。この場合、符号化／復号化処理は、符号化／復号化方法Ｂを選択して、対象ブロック２１０１を符号化／復号化する。対象ブロック２１０１の予測方向データが利用可能隣接ブロックの予測方向データと異なる可能性が高いからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（２）以下に説明する図２１Ｆ〜図２１Ｈは、３つの利用可能隣接ブロックが存在し、１つの利用不可能隣接ブロックが存在する場合の例を示している。
図２１Ｆは、３つの利用可能隣接ブロック２１０２ｂ〜２１０２ｄのうち、同じ予測方向データを有するブロックが３つ存在する場合を示している。ブロック２１０２ａは、利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｂ〜２１０２ｄの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｇは、利用可能隣接ブロック２１０２ａ、２１０２ｃ、２１０２ｄのうち同じ予測方向データを有する２つのブロック２１０２ａ、２１０２ｃが存在する場合である。ブロック２１０２ｂは、利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データのうちの２つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが前記２つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化、復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｈは、利用可能隣接ブロック２１０２ａ、２１０２ｂ、２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合である。ブロック２１０２ｃは、利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ｂを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１の予測方向データが利用可能隣接ブロックの予測方向データと異なる可能性が高いからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（３）以下に説明する図２１Ｉ及び図２１Ｊは、２つの利用可能隣接ブロックが存在し、２つの利用不可能隣接ブロックが存在する場合の一例を示している。
図２１Ｉは、利用可能隣接ブロック２１０２ｃ、２１０２ｄのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ａ、２１０２ｂは利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｊは、利用可能隣接ブロック２１０２ａ、２１０２ｂのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｃ、２１０２ｄは利用不可能隣接ブロックである。この場合は、２つの利用可能隣接ブロックの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの例（ｊ−Ａ）、（ｊ−Ｂ）に示す処理方法の一方で対象ブロック２１０１の予測方向データを決定する。
例１（ｊ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。この場合、符号化／復号化処理は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データのうち、予測方向値が小さい方の予測方向データを用いて対象ブロック２１０１の符号化／復号化を行う。予測方向値が小さい予測方向データの方が、対象ブロック２１０１の予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、前記予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化、復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｊ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、対象ブロック２１０１の予測方向データが利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、仮に対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化、復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（４）以下に説明する図２１Ｋは、１つの利用可能隣接ブロック２１０２ｄが存在し、３つの利用不可能隣接ブロック２１０２ａ〜２１０２ｃが存在する場合の一例を示している。
図２１Ｋの場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｄの予測方向データと対象ブロック２１０１の予測方向データとが同じである可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（５）以下に説明する図２１Ｌは、利用可能隣接ブロックが存在せず４つの利用不可能隣接ブロック２１０２ａ〜２１０２ｄが存在する場合の一例を示している。
図２１Ｌの場合は、利用可能隣接ブロックが存在しないため、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができない。そこで、符号化／復号化処理は、例えば、下記の３つの例（ｌ−Ｂ）、（ｌ−Ａ）、（ｌ−Ｃ）に示す処理方法のいずれかで対象ブロックの予測方向データを決定する。
例１（ｌ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。利用可能隣接ブロックが存在せず、対象ブロックの予測方向算出において隣接ブロックの情報を用いることができないからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
例２（ｌ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。ここで、対象ブロックの周辺には利用可能隣接ブロックが存在しないため、利用可能隣接ブロックの予測方向データを対象ブロックの予測方向データとして用いることができない。そこで、符号化／復号化処理は、対象ブロックの推定予測方向として図７に示すＤＣ予測を選択し、符号化／復号化を行う。対象ブロックの予測方向がＤＣ予測であるとき、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
なお、対象ブロック２１０１の推定予測方向として選択する方向は、ＤＣ予測に限らず、Ｈ．２６４／ＡＶＣに規定される予測方向のうちいずれの予測方向でもよい。
例３（ｌ−Ｃ）
符号化／復号化処理は、符号化／復号化方法Ｃ（図示せず）を用いて対象ブロックの符号化／復号化を行う。ここで、符号化／復号化方法Ｃとは、対象ブロックの周辺に利用可能隣接ブロックが存在しない場合は、符号化側と復号化側とでＤＣ予測を用いることをあらかじめ定めておき、ＤＣ予測によって対象ブロックの符号化、復号化処理を行う処理方法である。この場合、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じであるか否かを示す情報を符号化側から復号化側に送る必要がなく、より符号量を低減することができる。
なお、本実施形態では、画素の符号化／復号化処理について示したが、実施形態２に示したマクロブロックタイプや予測モード情報の符号化／復号化処理に適用してもよい。また、記載されているいずれの実施例と組み合わせてもよい。
本実施形態においては、例えば隣接ブロックが画面間予測モードであるなどにより画面内予測モードの情報を持っていない場合や、対象ブロックが画面端やスライス端等に位置し、隣接ブロックの情報を利用できない場合等でも、利用可能隣接ブロックの数と、利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数との組合せに応じて符号化／復号化方法を切り換えるため、より好適に符号量を低減することができる。
実施形態４．
本実施形態は、実施形態３と同様に、図１９Ａ、図１９Ｂに示すように、（ａ）予測方向のデータを有する隣接ブロックであって、対象ブロックと同一のスライス内に存在するもの（以下、利用可能隣接ブロックという）の数と、（ｂ）利用可能隣接ブロックのうち、同じ予測方向データを有するブロックの数と、の組合せに応じて、符号化／復号化方法を切り換える。
ここで、実施形態３は、図２０Ａに示したように、最大４つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換えたが、本実施形態では図２０Ｂに示すように、最大３つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換える。
本実施形態における動画像符号化装置及び動画像復号化装置は、実施形態３の動画像符号化装置及び動画像復号化装置と同様であるので説明を省略する。また、本実施形態における画面内予測符号化処理及び画面内予測復号化処理の手順は、実施形態３の画面内予測符号化処理及び画面内予測復号化処理の手順と同様であるので説明を省略する。
図２０Ｂは、候補ブロックとして最大３つのブロックを用いる場合の、利用可能隣接ブロックの数と、当該利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数との関係を示した図である。また、図２０Ｂの（ａ）〜（ｇ）は、図２２Ａ〜図２２Ｇと対応しており、図２２Ａ〜図２２Ｇは、図２０Ｂに示したそれぞれの一例を具体的に示している。図２２Ａ〜図２２Ｇにおける符号は、図２１Ａ〜図２１Ｌと同様である。
なお、本実施形態において、対象ブロック２１０１に隣接するブロック２１０２ａ〜２１０２ｄのうち、候補ブロックとして用いないブロック（以下、非候補ブロックという）の位置は、ブロック２１０２ｃと２１０２ｄのうちいずれの位置でもよい。また、本実施形態において同じ予測方向データを有するブロックの位置は、図２２Ａ〜図２２Ｇに示す位置に限られず、３つの候補ブロックのいずれの位置でもよい。さらに、本実施形態において利用不可能隣接ブロックの位置は、図２２Ａ〜図２２Ｇに示す位置に限られず、３つの候補ブロックのいずれの位置でもよい。
以下に、図２０Ｂと図２２Ａ〜図２２Ｇとの対応関係を使って、候補ブロックとして最大３つのブロックを用いる場合の、対象ブロックの符号化／復号化方法の切り換えについて具体的に説明する。図２２Ａ〜図２２Ｇにおいて、対象ブロックはブロック２１０１である。
（１）以下に説明する図２２Ａ〜図２２Ｃは、利用可能隣接ブロックが３つ存在し、利用不可能隣接ブロックが存在しない場合の一例を示している。他の一つは非候補ブロックである。
（ａ）図２２Ａは、利用可能隣接ブロック２１０２ａ〜２１０２ｃのうち同じ予測方向データを有するブロックが３つ存在する場合を示す。ブロック２１０２ｄは非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ〜２１０２ｃの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｂ）図２２Ｂは、利用可能隣接ブロック２１０２ａ〜２１０２ｃのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ｄは非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロックの符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ〜２１０２ｃの予測方向データのうち２つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが前記２つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｃ）図２２Ｃは、利用可能隣接ブロック２１０２ａ、２１０２ｂ、２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｃは、非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ｂを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる可能性が高いからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（２）以下に説明する図２２Ｄ及び図２２Ｅは、利用可能隣接ブロックが２つ存在し、利用不可能隣接ブロックが１つ存在する場合の一例を示している。他の一つは非候補ブロックである。
（ｄ）図２２Ｄは、利用可能隣接ブロック２１０２ｂ、２１０２ｃのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ａは利用不可能隣接ブロック、ブロック２１０２ｄは非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｂ、２１０２ｃの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｅ）図２２Ｅは、利用可能隣接ブロック２１０２ａ、２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｂは利用不可能隣接ブロック、ブロック２１０２ｃは非候補ブロックである。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｄの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの例（ｅ−Ａ）、（ｅ−Ｂ）に示す処理方法のいずれかで対象ブロック２１０１の予測方向データを決定し、符号化／復号化を行う。
例１（ｅ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｄの予測方向データのうち、予測方向値（予測方向を示す番号）が小さい方の予測方向データを用いて対象ブロック２１０１の符号化／復号化を行う。予測方向値が小さい予測方向データの方が、対象ブロック２１０１の予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、前記予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｅ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、対象ブロック２１０１の予測方向データが利用可能隣接ブロック２１０２ａ、２１０２ｄの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、仮に対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化、復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（３）以下に説明する図２２Ｆは、利用可能隣接ブロックが１つ存在し、利用不可能隣接ブロックが２つ存在する場合の一例を示している。利用可能隣接ブロックは、ブロック２１０２ｃである。ブロック２１０２ａ、２１０２ｂは利用不可能隣接ブロック、ブロック２１０２ｄは非候補ブロックである。
（ｆ）図２２Ｆの場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｃの予測方向データと対象ブロック２１０１の予測方向データとが同じである可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（４）以下に説明する図２２Ｇは、利用可能隣接ブロックが存在せず、３つの利用不可能隣接ブロックが３つ存在する場合の一例を示している。図２２Ｇにおいて、ブロック２１０２ａ〜２１０２ｃは利用可能隣接ブロック、ブロック２１０２ｄは非候補ブロックである。
（ｇ）図２２Ｇの場合は、利用可能隣接ブロックが存在しないため、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができない。そこで、符号化／復号化処理は、例えば、下記の３つの例（ｇ−Ａ）、（ｇ−Ｂ）、（ｇ−Ｃ）に示す処理方法のいずれかで対象ブロック２１０１の予測方向データを決定し、符号化／復号化を行う。
例１（ｇ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１に対して符号化、復号化処理を行う。利用可能隣接ブロックが存在せず、対象ブロックの予測方向算出において隣接ブロックの情報を用いることができないからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
例２
符号化／復号化処理は、（ｇ−Ａ）符号化／復号化方法Ａを用いて対象ブロックの符号化／復号化を行う。ここで、対象ブロック２１０１の周辺には利用可能隣接ブロックが存在しないため、利用可能隣接ブロックの予測方向データを対象ブロックの予測方向データとして用いることができない。そこで、対象ブロック２１０１の推定予測方向として図７に示すＤＣ予測を選択し、符号化／復号化を行う。対象ブロックの予測方向がＤＣ予測であるとき、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
なお、対象ブロック２１０１の推定予測方向として選択する方向は、ＤＣ予測に限らず、Ｈ．２６４／ＡＶＣに規定される予測方向のうちいずれの予測方向でもよい。
例３（ｇ−Ｃ）
符号化／復号化処理は、符号化／復号化方法Ｃ（図示せず）を用いて対象ブロック２１０１の符号化／復号化を行う。ここで、符号化／復号化方法Ｃについては実施形態３において説明したので、説明を省略する。この場合、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じであるか否かを示す情報を符号化側から復号化側に送る必要がなく、より符号量を低減することができる。
なお、本実施形態は、画素の符号化／復号化処理を示したが、実施形態２に示したマクロブロックタイプや予測モード情報の符号化／復号化処理に適用してもよい。また、記載されているいずれの実施形態と組み合わせてもよい。
本実施形態は、候補ブロックとして最大３つのブロックを用いる場合において、対象ブロックの予測方向又はブロックタイプの算出に隣接ブロックの情報を利用することができない場合であっても、実施形態３と同様の効果を得ることができる。
実施形態５．
本実施形態は、実施形態３及び実施形態４と同様に、図１９Ａ、図１９Ｂに示すように、（ａ）予測方向のデータを有する隣接ブロックであって、対象ブロックと同一のスライス内に存在するもの（以下、利用可能隣接ブロックという）の数と、（ｂ）利用可能隣接ブロックのうち、同じ予測方向データを有するブロックの数と、の組合せに応じて、符号化／復号化方法を切り換える。
ここで、実施形態４は、図２０Ｂに示したように、最大３つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換えたが、本実施形態は、図２０Ｃに示すように、最大２つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換える。
本実施形態における動画像符号化装置及び動画像復号化装置は、実施形態３の動画像符号化装置及び動画像復号化装置と同様であるので説明を省略する。また、本実施形態における画面内予測符号化処理及び画面内予測復号化処理の手順は、実施形態３の画面内予測符号化処理及び画面内予測復号化処理の手順と同様であるので説明を省略する。
図２０Ｃは、候補ブロックとして最大２つのブロックを用いる場合の、利用可能隣接ブロックの数と当該利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数との関係を示した図である。また、図２０Ｃの（ａ）〜（ｄ）は、図２３Ａ〜図２３Ｄと対応しており、図２３Ａ〜図２３Ｄは、図２０Ｃに示したそれぞれの一例を具体的に示している。
なお、本実施形態において、非候補ブロックの位置は、例えば図２３Ａ〜図２３Ｄに示した位置であってもよいし、これとは異なる位置であってもよい。また、本実施形態において利用不可能隣接ブロックの位置は、図２３Ａ〜図２３Ｄに示す位置に限られず、２つの候補ブロックのいずれの位置でもよい。
以下に、図２０Ｃと図２３Ａ〜図２３Ｄとの対応関係を使って、候補ブロックとして最大２つのブロックを用いる場合の、対象ブロックの符号化／復号化方法の切り換えについて具体的に説明する。
（１）以下に説明する図２３Ａ及び図２３Ｂは、利用可能隣接ブロックが２つ存在し、利用不可能隣接ブロックが存在しない場合の一例を示している。
（ａ）図２３Ａは、利用可能隣接ブロック２１０２ａ、２１０２ｂのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ｃ、２１０２ｄは、非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データがすべて同じであるため、対象ブロックも当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｂ）図２３Ｂは、利用可能隣接ブロック２１０２ａ、２１０２ｂのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｃ、２１０２ｄは、非候補ブロックである。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの処理方法例（ｂ−Ａ）又は（ｂ−Ｂ）で、対象ブロックの予測方向データを決定し、符号化／復号化を行う。
例１（ｂ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１に対して符号化／復号化を行う。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データのうち、予測方向値（予測方向を示す番号）が小さい方の予測方向データを用いて対象ブロック２１０１の符号化／復号化を行う。予測方向値が小さい予測方向データの方が、対象ブロックの予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｂ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、対象ブロック２１０１の予測方向データが利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、仮に対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（２）以下に説明する図２３Ｃは、利用可能隣接ブロックが１つ存在し、利用不可能隣接ブロックが１つ存在する場合の一例を示している。利用可能隣接ブロックはブロック２１０２ｂである。ブロック２１０２ａは利用不可能隣接ブロック、ブロック２１０２ｃ、２１０２ｄは非候補ブロックである。
（ｃ）図２３Ｃの場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｂの予測方向データと対象ブロック２１０１の予測方向データとが同じである可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（３）以下に説明する図２３Ｄは、利用可能隣接ブロックが存在せず、利用不可能隣接ブロックが２つ存在する場合の一例を示している。利用不可能隣接ブロックは２１０２ａ、２１０２ｂであり、ブロック２１０２ｃ、２１０２ｄは非候補ブロックである。
（ｄ）図２３Ｄの場合、利用可能隣接ブロックが存在しないため、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができない。そこで、符号化／復号化処理は、例えば、下記の３つの例（ｄ−Ａ）、（ｄ−Ｂ）又は（ｄ−Ｃ）に示す処理方法で対象ブロック２１０１の予測方向データを決定し、符号化／復号化を行えばよい。
例１（ｄ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロックの符号化／復号化を行う。利用可能隣接ブロックが存在せず、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができないからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
例２（ｄ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。ここで、対象ブロック２１０１の周辺には利用可能隣接ブロックが存在しないため、利用可能隣接ブロックの予測方向データを対象ブロックの予測方向データとして用いることができない。そこで、対象ブロック２１０１の推定予測方向として図７に示すＤＣ予測を選択して、符号化／復号化を行う。対象ブロックの予測方向がＤＣ予測であるとき、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
なお、対象ブロック２１０１の予測方向として使用する予測方向は、ＤＣ予測に限られず、Ｈ．２６４／ＡＶＣに規定される予測方向のうちいずれの予測方向でもよい。
例３（ｄ−Ｃ）
符号化／復号化処理は、符号化／復号化方法Ｃ（図示せず）を用いて対象ブロック２１０１の符号化／復号化を行う。ここで、符号化／復号化方法Ｃについては実施形態３において説明したので、説明を省略する。この場合、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じであるか否かを示す情報を符号化側から復号化側に送る必要がなく、より符号量を低減することができる。
なお、本実施形態は、画素の符号化／復号化処理について示したが、実施形態２に示したマクロブロックタイプや予測モード情報の符号化／復号化処理に適用してもよい。また、記載されているいずれの実施形態と組み合わせてもよい。
本実施形態は、候補ブロックとして最大２つのブロックを用いる場合において、対象ブロックの予測方向又はブロックタイプの算出に隣接ブロックの情報を利用することができない場合であっても、実施形態３と同様の効果を得ることができる。
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
図５は、Ｈ．２６４／ＡＶＣによる画面内予測符号化処理の動作について概念的に示したものである。図５において、格子のハッチングで示された部分は符号化済みの画素を示し、市松模様のハッチングで示された部分は符号化対象画素を示している。
Ｈ．２６４／ＡＶＣは、符号化対象画像５０１に対してラスタースキャンの順序（図５における矢印５０７）に従って符号化処理を行い、符号化対象ブロック５１０の左、左上、上、右上に隣接する符号化済みブロックについての復号化画像を用いて予測処理を行う。当該予測処理は、符号化済みブロックに含まれる１３個の画素の画素値を利用し、予測方向ベクトルを傾きとする同一直線上の画素は、すべて同一画素に基づいて予測される（例えば矩形５０２）。例えば、符号５０３が指示する図に示すように、予測符号化処理は、符号化対象ブロック５１０の画素Ｂ、Ｃ、Ｄ、Ｅに対して、すべて同一画素を参照して予測画像を生成する。予測符号化処理は、まず、符号化対象ブロック５１０の画素Ｂ、Ｃ、Ｄ、Ｅと画素Ｂの直上の画素を復号化した値Ａ’との差分（予測差分）ｂ、ｃ、ｄ、ｅを算出する。次に、縦、横、斜めなど、８種類の予測方向候補の中から一つの予測方向をブロック単位で選択し、前記予測差分と選択した一の予測方向を示す番号である予測方向値とを符号化する。ただし、Ｈ．２６４／ＡＶＣにおいては、上記特定の予測方向に沿った予測処理の他に、参照画素の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「ＤＣ予測」を利用することができる（矩形５０４内を参照）。従って、「ＤＣ予測」を含む９種類の予測方向の中から一つが選択される。
図７は、Ｈ．２６４／ＡＶＣによる画面内予測復号化処理の動作を概念的に示したものである。図７において、格子のハッチングで示された部分は復号化済みの画素を示し、市松模様のハッチングで示された部分は復号化対象画素を示している。
復号化処理も、符号化処理と同様に、符号化対象画像７０１に対してラスタースキャンの順序に従って復号化処理を行う。矢印７０７は、ラスタースキャン順序（符号化順序）を示している。次に、復号化済みの参照画素と予測差分とを用いて符号化処理の逆手順を行う。すなわち、予測差分値と参照画素値とを予測方向に沿って加算することにより復号化画像を取得する。例えば、矩形７０２は、予測方向０において復号化する例を示す。より具体的には、符号７０３が指示する図に示すように、復号化処理は、復号化対象ブロック７１０の予測差分ｂ’、ｃ’、ｄ’、ｅ’（それぞれ、上記図５のｂ、ｃ、ｄ、ｅが復号化され量子化誤差を含んだもの）に対して、復号化済みの参照画素Ａ’を加算することにより、復号化画素Ｂ’、Ｃ’、Ｄ’、Ｅ’（それぞれ、上記図５のＢ、Ｃ、Ｄ、Ｅに対する復号化画素）を取得する。
以上のように、Ｈ．２６４／ＡＶＣによる画面内予測符号化処理は、参照画素から予測方向に沿った位置にある画素を、当該参照画素に基づいて予測するといった単方向による方法を採用している。この場合、予測処理の単位となるブロックごとに、どの予測方向に沿って予測処理を行うのかについての情報を符号化ストリームに付加する必要があった。
図６Ａ及び図６Ｂは、Ｈ．２６４／ＡＶＣによる画面内予測方式における予測方向の符号化方法を示したものである。
Ｈ．２６４／ＡＶＣは、対象ブロックの予測方向が隣接するブロックの予測方向と相関が高いことに着目し、符号化済みの隣接ブロックにおける予測方向から符号化対象ブロックの予測方向を推定する。図６Ａに示すように、符号化対象ブロック６１０の左側に隣接するブロック６１１ａの予測方向ＭＡと、同じく対象ブロックの上側に隣接するブロック６１１ｂの予測方向ＭＢとを参照する。さらに、この２つの予測方向のうち、予測方向値（予測方向を示す番号）が小さい予測方向を、対象ブロックにおける予測方向（隣接方向）として選択する（隣接方向＝Ｍｉｎ（ＭＡ、ＭＢ））。
図６Ｂは、予測方向を表すビット構成６０３の詳細を示す図である。Ｈ．２６４／ＡＶＣは、対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが同じ場合には、対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが同じ予測方向であることを示す情報（１ビット）を符号化する。
一方、両者が異なる場合には、対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが異なるという情報を符号化した後、実際の予測方向（８方向＋ＤＣ予測の９通りの予測方向のうち、隣接ブロックにおける予測方向（隣接方向）を除く８通り）を３ビットで符号化する。
この場合、予測方向を表すために多くの符号を必要とする。例えば４×４画素サイズのブロック単位で画面内予測を行った場合、一つのマクロブロックあたり最大で６４ビットの符号が発生する。
実施形態１．
実施形態１は、画面内予測において、対象ブロックの予測方向の符号化処理及び復号化処理に本発明を用いる例である。本実施形態は、対象ブロックに隣接するブロックの予測方向データを用いて、対象ブロックの予測方向が推定容易であるか否かを判定する。対象ブロックの予測方向が推定容易であると判定された場合と対象ブロックの予測方向が推定非容易であると判定された場合とで、対象ブロックにおける予測方向データの符号化／復号化方法を切り換える（符号化処理方法の切り換え、あるいは復号化処理方法の切り換え）。
以下、本実施形態についてさらに詳細に説明する。
図８Ａ、図８Ｂは、符号化対象ブロックの予測方向が推定容易か否かの判定方法並びに予測方向符号化方法Ａ及び予測方向符号化方法Ｂ、の一例を示した図である。図８Ａ、図８Ｂを用いて、符号化対象ブロックの予測方向が推定容易か否かの判定方法を説明する
符号化対象ブロックの予測方向が推定容易か否かの判定は、図８Ａの画像ブロック説明図に示すように、符号化対象ブロック８１０の左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック８１１ａ、隣接ブロック８１１ｂ、隣接ブロック８１１ｃ、隣接ブロック８１１ｄの予測方向ＭＡ、ＭＢ、ＭＣ、ＭＤを用いる。すなわち、本方法は、予測方向ＭＡ、ＭＢ、ＭＣ、ＭＤにおいて、Ｎ個（Ｎは２以上４以下の整数）以上同一の予測方向Ｍが存在する場合は、符号化対象ブロックの予測方向の推定が容易であると判定し、予測方向符号化方法Ａを用いて、符号化対象ブロックの予測方向データを符号化する。
また、例えば、スライス端や画面端などに符号化対象ブロックが存在するなど、隣接ブロックの予測方向情報を符号化対象ブロックの予測方向として利用できない場合は、符号化対象ブロックの予測方向の推定が容易であると判定し、予測方向符号化方法Ａを用いて、符号化対象ブロックの予測方向データを符号化する。このように、処理対象ブロックの予測方向に無効方向がある場合、予測方向符号化方法Ａを用いる。
なお、上記のどちらの場合にも該当しないブロックに関しては、予測方向の推定が非容易であると判定し、表８０３による予測方向符号化方法Ｂを選択し、可変長符号化を行う。
上述した判定方法により予測方向符号化方法Ａを選択した場合は、符号化処理は、予測方向選択処理に移る。すなわち、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック８１１ａ〜８１１ｄの予測方向ＭＡ、ＭＢ、ＭＣ、ＭＤのうちいずれかの予測方向を所定の方法で選択し、選択した隣接ブロックの予測方向は符号化対象ブロックの推定予測方向であると決定する。
ここで、当該所定の選択方法は、符号化側と復号化側の両方で同様の処理が実現できる方法であれば、どのような選択方法でもよいが、例えばＭＡ、ＭＢ、ＭＣ、ＭＤのうち最も予測方向値の小さい予測方向を選択する方法や、ＭＡ、ＭＢ、ＭＣ、ＭＤのうち最も多い予測方向を選択する方法などを用いればよい。
さらに、予測方向符号化方法Ａを選択した場合、符号化処理は、符号化対象ブロックの左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック８１１ａ〜８１１ｄを隣接ブロックとして用いてもよいし、従来の通り符号化対象ブロックの左側及び上側に隣接する符号化済みの隣接ブロック８１１ａ、８１１ｂのみを隣接ブロックとして用いてもよい。
次に、予測方向符号化方法Ａについてさらに詳細に説明する。予測方向符号化方法Ａは、隣接ブロックの予測方向情報を用いて推定予測情報を決定し、当該推定予測情報を用いて符号化対象ブロックの予測方向データを符号化する。
図８Ｂのビット構成８０２は、予測方向符号化方法Ａにおける符号化対象ブロックの予測方向データの符号化のためのビット構成の詳細を示した図である。
符号化対象ブロックにおける予測方向と、隣接ブロックにおける予測方向（推定予測方向）である隣接方向とが同じ方向である場合は、予測方向符号化方法Ａは、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが同じ予測方向であることを示す情報（１ビット）を符号化する。
一方、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（推定予測方向）である隣接方向とが異なる場合は、符号化対象ブロックにおける予測方向と隣接ブロックにおける予測方向（隣接方向）とが異なることを示す情報を符号化した後、実際の予測方向（８方向＋ＤＣ予測の９通りの予測方向のうち、隣接ブロックにおける予測方向（推定予測方向）を除く８通り）を３ビットで符号化する。
次に、予測方向符号化方法Ｂについてさらに詳細に説明する。予測方向符号化方法Ｂは、隣接ブロックの予測方向データに基づいて符号化対象ブロックの予測方向データを推定せず、符号化対象ブロックの予測方向データを単独で符号化する。
図８Ｂの表８０３は、予測方向符号化方法Ｂに用いる可変長符号表の一例である。予測方向符号化方法Ｂは、表８０３のような可変長符号表に従って符号化対象ブロックの予測方向データを可変長符号化する。表８０３のような可変長符号表を用いる場合、予測方向符号化方法Ａのように１ビットのみで示すことのできるモード（予測方向）は存在しない。しかし、隣接モード（隣接方向）と異なる予測方向であっても、一部のモードは４ビットよりも小さい２ビットか３ビットで示すことができる。よって、４ビットよりも小さいビットで示すことができるモードの数が、予測方向符号化方法Ａよりも多い。ここで、本実施形態で予測方向符号化方法Ｂが用いられる場合は、上述のとおり、対象ブロックの予測方向が推定非容易であると判定された場合である。これは、対象ブロックの予測方向が隣接ブロックの予測方向に一致する確率が低い場合である。すなわち、この場合、仮に予測方向符号化方法Ａを用いると、予測方向の符号量が１ビットである確率よりも４ビットである確率が高い。よって、このような場合に予測方向符号化方法Ｂを用いることで、予測方向を２ビット又は３ビットの符号量で符号化する確率を向上させることは、符号量の低減に効果的である。なお、表８０３の可変長符号表は一例であり、同様の効果を得るものであれば、他のパターンでもかまわない。
以上において、本実施形態における符号化処理について説明したが、復号化処理の際には、対応する符号化方法と逆の処理を行うことで復号化することができる。すなわち、本実施形態における復号化処理は、隣接する復号化済みブロックの予測方向情報を用いて復号化対象ブロックの予測方向が推定容易か否かを判定する。復号化対象ブロックの予測方向の推定が容易であると判定した場合には、ビット構成８０２に示すビット構成に従って復号化対象ブロックの予測方向データの復号化を行う。一方、復号化対象ブロックの予測方向の推定が非容易であると判定した場合には、表８０３に示す可変長符号表に基づいて復号化対象ブロックの予測方向データの復号化を行う。
次に、本実施形態における動画像符号化装置を、図１を用いて説明する。
本実施形態における動画像符号化装置は、入力された原画像１０１を保持する入力画像メモリ１０２と、入力画像を小領域に分割するブロック分割部１０３と、ブロック単位で動きを検出する動き探索部１０４と、同じくブロック単位で画面内予測処理（図７に記載）を行う画面内予測部１０６と、動き探索部１０４にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部１０７と、画像の性質に合った予測符号化手段を選択するモード選択部１０８と、予測差分データを生成する減算部１０９と、予測差分データに対して符号化処理を行う周波数変換部１１０及び量子化処理部１１１と、記号の発生確率に応じた符号化処理を行う可変長符号化部１１２と、符号化した予測差分データを復号化する逆量子化処理部１１３及び逆周波数変換部１１４と、復号化された予測差分データを用いて復号化画像を生成する加算部１１５と、復号化画像を格納する参照画像メモリ１１６とを有する。
入力画像メモリ１０２は原画像１０１の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部１０３が細かなブロックに分割し、動き探索部１０４及び画面内予測部１０６に出力する。動き探索部１０４は、参照画像メモリ１１６に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルデータとして画面間予測部１０７に出力する。画面内予測部１０６及び画面間予測部１０７は、画面内予測処理及び画面間予測処理をブロック単位で行う。モード選択部１０８は、上記の画面内予測処理及び画面間予測処理のうちから最適な予測処理を選択する。モード選択部１０８は、選択した予測処理のための予測画像を減算部１０９へ出力する。ここで、画面内予測処理が選択された場合は、モード選択部１０８は、後述する符号化された予測方向データを可変長復号化部１１２に出力する。減算部１０９は、入力画像と、上述の最適な予測符号化処理による予測画像との予測差分データを生成し、周波数変換部１１０に出力する。周波数変換部１１０及び量子化処理部１１１は、送られてきた予測差分データに対して指定された大きさのブロック単位でそれぞれＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）などの周波数変換処理及び量子化処理を行い、可変長符号化処理部１１２及び逆量子化処理部１１３に出力する。可変長符号化処理部１１２は、周波数変換係数によって表される予測差分情報を、例えば画面内予測符号化における予測方向や画面間予測符号化における動きベクトルなど、予測復号化に必要な情報とともに、記号の発生確率に基づいて可変長符号化を行い、符号化ストリームを生成する。また、逆量子化処理部１１３及び逆周波数変換部１１４は、量子化後の周波数変換係数に対して、それぞれ逆量子化及びＩＤＣＴ（Ｉｎｖｅｒｓｅ ＤＣＴ：逆ＤＣＴ）などの逆周波数変換を行い、予測差分を取得して加算部１１５に出力する。加算部１１５は、復号化画像を生成して参照画像メモリ１１６に出力する。参照画像メモリ１１６は、復号化画像を格納する。
図２は、本実施形態における動画像符号化装置の画面内予測部１０６の詳細を示した図である。
ここで、画面内予測部１０６には、例えば図１に示すブロック分割部１０３にて分割された画像が入力される。当該入力画像は、方向別予測部２０１に入力される。方向別予測部２０１は、ブロック分割部１０３から入力される入力画像のブロックに対して、参照画像メモリ１１６に記憶される符号化済み隣接ブロックの復号画像の画素値を用いて、各予測方向についての予測画像を生成して予測処理を行う。この符号化処理には、図５にて説明したＨ．２６４／ＡＶＣによる符号化方法を用いる。この予測結果が予測方向決定部２０２に入力される。予測結果としては、入力画像のブロックと予測画像との差分や、予測画像そのものなどが考えられる。予測方向決定部２０２は、符号化効率が最も良くなる予測方向を選択し、その方向を符号化対象ブロックの予測方向と決定する。ここで、予測方向決定部２０２は決定した予測方向についての予測画像をモード選択部１０８へ出力する。また、決定した予測方向の情報を予測方向推定難易度判定部２０３に出力する。また、予測方向記憶メモリ２０６は、決定された予測方向を記憶する。予測方向推定難易度判定部２０３は、周囲の符号化済みのブロックの予測方向情報を予測方向記憶メモリ２０６から読み出し、読み出した予測方向情報から符号化対象ブロックの予測方向が推定容易か否かを判定する。この判定方法には、例えば、図８Ａ、図８Ｂにて説明した方法を用いればよい。画面内予測部１０６は、当該判定結果に基づいて、予測方向の符号化方式を切替える。
例えば、符号化対象ブロックの予測方向の推定が容易であると判定された場合には、予測方向データの符号化処理は、予測方向予測符号化部２０５によって行われる。予測方向予測符号化部２０５は、例えば図８Ｂにおけるデータ８０２による方法（予測方向符号化方法Ａ）を用いて予測方向データの符号化を行う。
一方、符号化対象ブロックの予測方向の推定が非容易であると判断された場合は、予測方向データの符号化処理は、予測方向可変長符号化部２０４によって行われる。予測方向可変長符号化部２０４は、例えば、図８Ｂにおける表８０３に示す方法（予測方向符号化方法Ｂ）を用いて予測方向の符号化を行う。
予測方向可変長符号化部２０４又は予測方向予測符号化部２０５は、以上のように符号化された予測方向データをモード選択部１０８へ出力する。なお、図２の構成では、画面内予測部１０６が予測方向データの符号化処理を行っているが、この符号化処理を可変長符号化部１１２が行ってもよく、あるいは別の構成部が行ってもよい。
次に、本実施形態における動画像復号化装置の一例を、図３を用いて説明する。本実施形態における動画像復号化装置は、例えば図１に示す動画像符号化装置によって生成された符号化ストリーム３０１に対して可変長符号化の逆の手順を行う可変長復号化部３０２と、予測差分データを復号化する逆量子化処理部３０３及び逆周波数変換部３０４と、画面内予測処理を行う画面内予測部３０６と、画面間予測を行う画面間予測部３０７と、復号化画像を生成する加算部３０８と、復号化画像を格納する参照画像メモリ３０９とを有する。
可変長復号化部３０２は、符号化ストリーム３０１を可変長復号化し、予測差分の周波数変換係数成分と、予測方向や動きベクトルなどの予測処理に必要な情報を取得する。予測差分の周波数変換係数成分は、逆量子化処理部３０３に出力される。予測方向や動きベクトルなどは、予測手段に応じて画面内予測部３０６又は画面間予測部３０７に出力される。続いて、逆量子化処理部３０３及び逆周波数変換部３０４は、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を行い、予測差分データを復号化する。画面内予測部３０６又は画面間予測部３０７は、可変長復号化部３０２から入力されたデータに基づいて参照画像メモリ３０９に格納された復号化画像を参照して予測処理を行う。加算部３０８は、復号化画像を生成する。参照画像メモリ３０９は、復号化画像を格納する。
図４は、本実施形態における動画像復号化装置の画面内予測部３０６の詳細を示した図である。
ここで、予測方向推定難易度判定部４０１は、周囲の復号化済みのブロックの予測方向の情報を予測方向記憶メモリ４０５から読み出し、読み出した情報に基づいて、復号化対象ブロックの予測方向の推定が容易か否かを判定する。この判定方法には、例えば図８Ａ、図８Ｂにて説明した方法を用いればよい。当該判定結果に基づいて、可変長復号化部３０２から入力される復号化対象ブロックの予測方向データの出力先を切替える。すなわち、復号化方式を切り替える。
例えば、復号化対象ブロックの予測方向の推定が容易であると判定された場合は、予測方向予測復号化部４０３が予測方向データの復号化を行う。予測方向予測復号化部４０３は、例えば図８Ｂにおける符号化データ８０２による方法（予測方向符号化方法Ａ）に対応する復号化方式を用いて予測方向データの復号化処理を行う。
一方、復号化対象ブロックの予測方向の推定が非容易であると判定された場合は、予測方向可変長復号化部４０２が予測方向データの復号化処理を行う。予測方向可変長復号化部４０２は、例えば図８Ｂにおける表８０３による方法（予測方向符号化方法Ｂ）に対応する復号化方式を用いて予測方向データの復号化処理を行う。
以上のように復号化処理された予測方向データが画面内予測画像生成部４０４に入力される。また、予測方向記憶メモリ４０５は、復号化処理された予測方向データを格納する。画面内予測画像生成部４０４は、参照画像メモリ３０９から入力される隣接ブロックの復号画像の画素値と、復号化処理された予測方向データとに基づいて、画面内予測画像を加算部３０８へ出力する。
なお、図４の例では画面内予測部３０６が予測方向データの復号化処理を行っているが、この復号化処理を可変長復号化部３０２が行うこともできるし、別の構成部が行ってもよい。
次に、本実施形態の動画像符号化装置の１フレームの符号化処理手順について、図９を用いて説明する。
符号化処理は、まず、符号化対象となるフレーム内に存在するすべてのブロックに対して（Ｓ９０１）、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モードに対して（Ｓ９０２）予測符号化処理を行って予測差分を算出し、最も符号化効率が高い符号化方向を選択する。符号化モードは、予測方法とブロックサイズの組み合わせである。
次に、対象ブロックが予測符号化されている予測モードを判定する（Ｓ９０３）。さらに、画面内予測符号化処理（Ｓ９０４）と画面間予測符号化処理（Ｓ９０７）とから選択した処理を行う。最適な予測符号化処理を選択することによって、画像の性質に応じて効率良く符号化する。
上記多数の符号化モードの中から最も符号化効率の高いものを選択する際には（Ｓ９０８）、例えば画質歪みと符号量の関係から最適な符号化方向を決定するＲＤ−Ｏｐｔｉｍｉｚａｔｉｏｎ方式を利用することによって、効率良く符号化できる。ＲＤ−Ｏｐｔｉｍｉｚａｔｉｏｎ方式の詳細については、例えば、下記参考文献に記載されており、広く知られた技術であり、ここでは詳細な説明を省略する。（参考文献：Ｇ．Ｓｕｌｌｉｖａｎ ａｎｄ Ｔ．Ｗｉｅｇａｎｄ：“Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ”，ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ，ｖｏｌ．１５，ｎｏ．６，ｐｐ．７４−９０，１９９８．）
続いて、選択した符号化モードに基づいて生成された予測差分データに対して周波数変換（Ｓ９０９）と量子化処理（Ｓ９１０）を行い、さらに可変長符号化を行うことによって符号化ストリームを生成する（Ｓ９１１）。
一方、量子化済みの周波数変換係数に対しては逆量子化処理（Ｓ９１２）と逆周波数変換処理（Ｓ９１３）を行って予測差分データを復号化し、復号化画像を生成して参照画像メモリに格納する（Ｓ９１４）。以上の処理を全てのブロックに対して完了すれば、画像１フレーム分の符号化は終了する（Ｓ９１５）。
次に、図９の画面内予測符号化処理（Ｓ９０４）の処理手順の詳細について、図１０を用いて説明する。
この処理は、まず、符号化対象となるブロックにおいて、全ての予測方向に対して（Ｓ１００１）、画面内予測処理（Ｓ１００２）を行う。その中から最適な予測方向を選択する（Ｓ１００３）。また、既に符号化済みの周囲のブロックの情報から、予測方向の推定が容易か否かを判定し（Ｓ１００４）、容易であれば予測方向符号化方法Ａを用いて符号化を行い（Ｓ１００５）、容易でなければ予測方向符号化方法Ｂを用いて符号化を行う（Ｓ１００６）。これにより、１ブロック分の予測方向の符号化は終了する（Ｓ１００７）。
なお、図１０の例は、画面内予測符号化処理（Ｓ９０４）において予測方向データの符号化処理を行っているが、この符号化は可変長符号化処理（Ｓ９１１）で行うこともでき、あるいは、別の処理内で行ってもよい。
次に、図３に示す動画像復号化装置における１フレームの復号化処理手順について図１１を用いて説明する。
この処理は、まず、１フレーム内のすべてのブロックに対して、以下の処理を行う（Ｓ１１０１）。すなわち、入力ストリームに対して可変長復号化処理を行い（Ｓ１１０２）、逆量子化処理（Ｓ１１０３）及び逆周波数変換処理（Ｓ１１０４）を行い、予測差分データを復号化する。次に、対象ブロックが予測符号化されている予測モードを、符号化ストリームに含まれる情報に基づいて判定する（Ｓ１１０５）。当該判定結果に基づいて、画面内予測復号化処理（Ｓ１１０６）又は画面間予測復号化処理（Ｓ１１０９）を行って予測画像を生成し、上述の復号化した予測差分データと加算して復号化画像を生成する。そして、生成した復号化画像を参照画像メモリに格納する。以上の処理をフレーム中のすべてのブロックに対して完了することにより、画像１フレーム分の復号化が終了する（Ｓ１１１０）。
次に、図１１の画面内予測復号化処理（Ｓ１１０６）の処理手順の詳細について、図１２を用いて説明する。
この処理は、まず、対象ブロックの周辺に位置する復号化済みのブロックの予測方向から、対象ブロックの予測方向の推定が容易か否かを判定する（Ｓ１２０１）。この際、対象ブロックの予測方向の推定が容易であれば予測方向符号化方法Ａに対応する復号化を実行し（Ｓ１２０２）、容易でなければ予測方向符号化方法Ｂに対応する復号化処理を実行する（Ｓ１２０３）。最後に、復号化された予測方向データを基に予測復号化処理を行い（Ｓ１２０４）、１ブロック分の画面内予測復号化処理は終了する（Ｓ１２０５）。
なお、図１２の例は、画面内予測復号化処理（Ｓ１１０６）において予測方向データの復号化を行っているが、この復号化を可変長復号化処理（Ｓ１１０２）で行うこともでき、あるいは、別の処理内で行ってもよい。
本実施形態では周波数変換の一例としてＤＣＴを挙げているが、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散サイン変換）、ＷＴ（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ウェーブレット変換）、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散フーリエ変換）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：カルーネン−レーブ変換）など、画素間相関除去に利用する直交変換ならどのような周波数変換でも使用することができる。
特に、周波数変換を施さずに予測差分そのものに対して符号化を行ってもよい。さらに、可変長符号化も行わなくてよい。
また、本実施形態は、一例として、４×４画素サイズのブロック単位で予測を行う場合について記載しているが、例えば８×８画素サイズや１６×１６画素サイズなど、どのようなサイズのブロックに対して本発明を適用してもよい。
また、本実施形態は、Ｈ．２６４／ＡＶＣで定められている８方向に沿って予測を行っているが、方向数を増やしても減らしてもよい。
以上説明した実施形態１に係る動画像符号化装置、動画像符号化方法、動画像復号化装置、動画像復号化方法によれば、動画像の符号化・復号化処理においてより符号量を低減することが可能となる。
実施形態２．
実施形態２は、予測符号化に用いるマクロブロックのサイズ及び予測方法（画面内予測、画面間予測）などの予測モード情報の符号化処理に対して、実施形態１に示す選択的な符号化処理を用いる。
図１３は、Ｈ．２６４／ＡＶＣにおける、Ｂａｓｅｌｉｎｅプロファイルで利用可能な符号化モードの種類を示す。Ｈ．２６４／ＡＶＣでは、符号化処理は、１６×１６画素サイズのマクロブロック１３１１ごとに符号化モードを決定する。この決定は、画面内ブロックの画素相関を利用して圧縮を行う画面内予測（Ｉｎｔｒａ予測）及び画面間ブロックの画素相関を利用する画面間予測（Ｉｎｔｅｒ予測）のうちのどちらの予測方法を適用するか、ならびに、予測に利用するブロックのサイズを決定する。Ｈ．２６４／ＡＶＣは、画面間の画素値予測方法として、１枚の参照画像を指定する順方向予測（Ｐｒｅｄｉｃｔｉｖｅ予測）と２枚の参照画像を指定することが可能な双方向予測（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｐｒｅｄｉｃｔｉｖｅ予測）とを規定しているが、Ｂａｓｅｌｉｎｅプロファイルを利用する場合は、Ｐｒｅｄｉｃｔｉｖｅ予測のみが利用可能となっている。
各フレーム（例えば、フレーム１３０２）では、画面左上のマクロブロックから右下のマクロブロックに向かってラスター走査の順番に従って順次符号化が行われる。図１３において、該当フレーム１３０２内に、符号化済みのマクロブロック１３０１が例示されている。マクロブロックはさらに小さなサイズのブロックに分割することが可能であり、符号化処理は、あらかじめ予測方法の種類ごとに定められたいくつかのサイズの中から最適なものを選んで符号化を行う。画面内予測（Ｉｎｔｒａ予測）の場合、１６×１６画素（Ｉ１６×１６モード）と４×４画素（Ｉ４×４モード）の２種類のブロックサイズを利用することができ、いずれか適した方のモードが使われる。図１３には、Ｉ４×４モードにおける予測方向の決定における６つの予測方向が例示されている。符号化済みの画素の一つが１３０３で示されている。一方、該当フレーム１３０２と参照フレーム１３０４との間の画面間予測（Ｐｒｅｄｉｃｔｉｖｅ予測）では、１６×１６画素（Ｐ１６×１６モード）、１６×８画素（Ｐ１６×８モード）、８×１６画素（Ｐ８×１６モード）、８×８画素（Ｐ８×８モード）のサイズが用意されている。８×８画素サイズの場合は、さらに、８×８画素、８×４画素、４×８画素、４×４画素サイズのサブマクロブロックに分割することが可能である。さらに、１６×１６画素のブロックサイズに対しては動きベクトル情報を符号化しないＰＳｋｉｐモードが、８×８画素サイズに対しては参照フレーム番号を符号化しないＰ８×８ｒｅｆ０モードが用意されている。図１３における矢印１３０７は、動きベクトルである。
各マクロブロックに対して、上述の予測方法及びブロックサイズを決定し、その情報を符号化する。上述の予測方法（画面内予測、画面間予測）とブロックサイズとの組合せ（例えばＩ１６×１６モードやＩ４×４モード等）を、ブロックタイプと呼ぶ。また、各ブロックタイプにはブロックタイプを識別するための番号であるブロックタイプ値が付されており、符号化／復号化処理は、当該ブロックタイプ値についての情報を符号化／復号化する。
図１４Ａ、図１４Ｂを用いて、本実施形態に係るブロックタイプの符号化方法を説明する。図１４Ａの画像ブロック説明図、図１４Ｂのビット構成図１４０２、図１４Ｂの可変長符号表１４０３は、それぞれ、実施形態１の図８Ａの画像ブロック説明図、図８Ｂのビット構成図８０２、図８Ｂの可変長符号表８０３に対応する。
図１４Ａ、図１４Ｂ（実施形態２）と図８Ａ、図８Ｂ（実施形態１）を比較すれば明らかなとおり、図８Ａ、図８Ｂの「予測方向」を「ブロックタイプ」に変更すれば、図１４Ａ、図１４Ｂに示すブロックタイプの符号化方法を実現できる。
具体的には、本実施形態の符号化処理は、図１４Ａの画像ブロック説明図に示すように、符号化対象ブロック１４１０に対してそれぞれ左側、上側、左上側、右上側に隣接する符号化済みの隣接ブロック１４１１ａ、隣接ブロック１４１１ｂ、隣接ブロック１４１１ｃ、隣接ブロック１４１１ｄの復号化画像を利用して、対象ブロックのブロックタイプを推定する。この際に、推定が容易か否かによってブロックタイプの符号化方式を切替える。ブロックタイプの推定が容易である場合には、ブロックタイプ符号化方法Ａを用い、隣接ブロックのブロックタイプを用いた予測結果に基づいて対象ブロックのブロックタイプを符号化する。一方、ブロックタイプの推定が容易でない場合には、ブロックタイプ符号化方法Ｂを用い、隣接ブロックから推定せずにブロックタイプを単独で符号化する。この推定難易度の判定は、例えば、周囲の符号化済みの隣接ブロック１４１１ａ、１４１１ｂ、１４１１ｃ、１４１１ｄのブロックタイプＭＳＡ、ＭＳＢ、ＭＳＣ、ＭＳＤから多数決を行い、Ｎ（Ｎは２以上の整数）個以上同じブロックタイプが存在する場合にはブロックタイプの推定が容易であると判定し、そうでない場合は容易でないと判定する。
ビット構成１４０２は、ブロックタイプ符号化方法Ａの予測方法を表すビット構成の詳細を示している。ブロックタイプ符号化方法Ａは、隣接モード（推定ブロックタイプ）を決定する必要がある。ブロックタイプ符号化方法Ａは、所定の方法で隣接モード（推定ブロックタイプ）を決定する。例えば、周囲ブロックのブロックタイプのうち、最も多く現れるブロックタイプが隣接モード（推定ブロックタイプ）であると決定することができる。
表１４０３は、ブロックタイプ符号化方法Ｂで用いる可変長符号表の一例を示す。ブロックタイプ符号化方法Ｂは、ブロックタイプを、表１４０３のような可変長符号表に従って可変長符号化する。表１４０３の可変長符号表は一例であり、他のパターンを用いてもよい。
また、以上では符号化処理について述べたが、復号化処理は、対応する符号化方法と逆の処理を行うことで、ブロックタイプの復号化することができる。
すなわち、隣接する復号化済みブロックのブロックタイプ情報を利用して対象ブロックのブロックタイプの推定難易度を判定する。ブロックタイプの推定が容易である場合にはビット構成図１４０２のビット構成に従いブロックタイプの復号化を行う。一方、ブロックタイプの推定が容易でない場合には表１４０３の符号表を基にブロックタイプの復号化を行う。
本実施形態における画像符号化装置は、実施形態１の図１の画像符号化装置において、可変長符号化部１１２に図１５に示す構成を適用することで実現できる。その他の構成は実施形態１の図１の構成と同一であるため、その説明を省略する。
図１５において、可変長符号化部１１２には、例えば図１に示す量子化処理部１１１にて量子化されたデータが入力される。入力されるデータのうち、ブロックタイプ情報はブロックタイプ記憶メモリ１５０５に記憶される。ブロックタイプ推定難易度判定部１５０１は、周囲の符号化済みのブロックタイプの情報をブロックタイプ記憶メモリ１５０５から読み出し、読み出した情報を基に対象ブロックのブロックタイプの推定難易度を判定する。推定難易度を判定は、例えば、図１４Ａ、図１４Ｂにて説明した方法を使うことができる。可変長符号化部１１２は、この判定を基にブロックタイプの符号化方式を切替える。
例えば、ブロックタイプの推定が容易であると判定された場合には、ブロックタイプの符号化はブロックタイプ予測符号化部１５０３によって行われる。ブロックタイプ予測符号化部１５０３は、図１４Ｂのビット構成図１４０２に示す方法（ブロックタイプ符号化方法Ａ）を用いてブロックタイプの符号化を行う。
また、例えば、ブロックタイプの推定が容易でないと判断された場合には、ブロックタイプの符号化はブロックタイプ可変長符号化部１５０２によって行われる。ブロックタイプ可変長符号化部１５０２は、例えば、図１４Ｂの表１４０３を用いる可変長符号化方法（ブロックタイプ符号化方法Ｂ）を用いてブロックタイプの符号化を行う。
以上説明したように、可変長符号化部１１２は、ブロック毎にブロックタイプの符号化方法を選択しながら、符号化を行う。
また、同時に、ブロックタイプ以外の可変長符号化部１５０４は、ブロックタイプ以外のデータの可変長符号化を行い、この結果とブロックタイプを符号化した結果とを出力値とする。図１５の例では、可変長符号化部１１２がブロックタイプの符号化を行っているが、モード選択部１０８が符号化を行うことができ、あるいは、別の構成部が行ってもよい。
本実施形態における画像復号化装置は、実施形態１の図３の画像復号化装置において、可変長復号化部３０２に対して図１６に示す構成を適用することにより実現することができる。その他の構成は、実施形態１の図３の構成と同一であるため、その説明を省略する。
図１６において、ブロックタイプ推定難易度判定部１６０１は、周囲の復号化済みのブロックのブロックタイプの情報をブロックタイプ記憶メモリ１６０５から読み出し、読み出した情報を基に対象ブロックのブロックタイプの推定難易度を判定する。この方法は、例えば図１４Ａ、図１４Ｂにて説明した方法を使うことができる。可変長復号化部３０２は、この判定を基に、ブロックタイプの復号化方式を切替える。
例えば、ブロックタイプの推定が容易であると判定された場合には、ブロックタイプの復号化はブロックタイプ予測復号化部１６０３によって行われる。ブロックタイプ予測復号化部１６０３は、例えば図１４Ｂのビット構成図１４０２に示す方法（ブロックタイプ符号化方法Ａ）に対応する復号化方式を用いて復号化を行う。
また、ブロックタイプの推定が容易でないと判断された場合には、ブロックタイプの復号化はブロックタイプ可変長復号化部１６０２によって行われる。ブロックタイプ可変長復号化部１６０２は、例えば、図１４Ｂの表１４０３を用いる可変長復号化方法（ブロックタイプ符号化方法Ｂ）に対応する復号化方式を用いてブロックタイプの復号化を行う。
以上のように復号化されたブロックタイプは、ブロックタイプ記憶メモリ１６０５に格納される。
また、ブロックタイプ以外の可変長復号化部１６０４は、ブロックタイプ以外のデータの可変長復号化を行い、ブロックタイプ以外のデータの復号結果とブロックタイプの復号結果とを出力する。
図１６の例では、ブロックタイプの復号化を可変長復号化部３０２が行っているが、画面内予測部３０６及び画面間予測部３０７が復号化を行ってもよく、あるいは、別の構成部が行ってもよい。
本実施形態に係る動画像符号化装置の１フレームの符号化処理手順は、実施形態１の図９における可変長符号化処理９１１において、図１７に示す内容の処理を実行する。その他の処理は実施形態１と同様のため説明を省略する。
図１７の処理は、まず、符号化対象となるブロックについて、既に符号化済みの周囲のブロックの情報から、ブロックタイプの推定が容易かどうかを判定する（Ｓ１７０１）。容易であればブロックタイプ符号化方法Ａを用いて符号化を実行する（Ｓ１７０２）。容易でなければブロックタイプ符号化方法Ｂを用いて符号化を実行する（Ｓ１７０３）。最後にブロックタイプ以外の可変長符号化処理を実行して（Ｓ１７０４）、１ブロック分の可変長符号化は終了する（Ｓ１７０５）。
図１７の例では、可変長符号化処理（Ｓ９１１）がブロックタイプの符号化を行っているが、この符号化は符号化モード選択処理（Ｓ９０８）が行うこともでき、あるいは、別の処理が行ってもよい。
本実施形態に係る動画像復号化装置の１フレームの復号化処理手順は、実施形態１の図１１における可変長復号化処理（Ｓ１１０２）において、図１８に示す内容の処理を実行する。その他の処理は実施形態１と同様のため説明を省略する。
図１８の処理は、まず、復号化対象となるブロックについて、既に復号化済みの周囲のブロックの情報から、ブロックタイプの推定が容易かどうかを判定する（Ｓ１８０１）。容易であればブロックタイプ符号化方法Ａに対応する復号化方式を用いて復号化を実行する（Ｓ１８０２）。容易でなければブロックタイプ符号化方法Ｂに対応する復号化方式を用いて復号化を実行する（Ｓ１８０３）。最後にブロックタイプ以外の可変長復号化処理を実行して（Ｓ１８０４）、１ブロック分の可変長復号化は終了する（Ｓ１８０５）。
図１８の例では可変長復号化処理（Ｓ１１０２）がブロックタイプの復号化を行っているが、この復号化は画面内予測復号化処理（Ｓ１１０６）及び画面間予測復号化処理（Ｓ１１０９）が行うこともできる、あるいは、別の処理が行ってもよい。
本実施形態は、周波数変換の一例としてＤＣＴを挙げているが、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散サイン変換）、ＷＴ（Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ウェーブレット変換）、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散フーリエ変換）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：カルーネン−レーブ変換）など、画素間相関除去に利用する直交変換ならどのような周波数変換も使用することができる。周波数変換を施さずに予測差分そのものに対して符号化を行ってもよい。
さらに、可変長符号化を行わなくてよい。また、本実施形態は、Ｈ．２６４／ＡＶＣで定められている８方向に沿って予測を行っているが、その方向数を増やしても減らしてもよい。
また、本実施形態は一部のブロックタイプの例を挙げているが、他のブロックタイプを用いてもよい。
以上の２つの実施形態では、画面内予測の際の予測方向の符号化及び復号化と、予測符号化の際のブロックタイプの符号化及び復号化に本発明を適用する例について示したが、例えば、周波数係数の有無を表すＣＢＰ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）や動きベクトルなど、ブロック単位で符号化する必要がある情報の符号化処理及び復号化処理であれば、他の情報に対しても本発明を適用できる。
実施形態３．
実施形態１は、図８Ａ、図８Ｂに示したように、（ａ）対象ブロックに隣接するブロックのうち、同じ予測方向データを有する隣接ブロックが一定数以上存在するか否か、（ｂ）対象ブロックの予測方向として利用できない予測方向データを有する隣接ブロックが存在するか否か、（ｃ）上記（ａ）及び（ｂ）以外、の３つの場合に条件わけし、難易度を判定して符号化／復号化方法を切り換えた。
図１９Ａ、図１９Ｂは、図８Ａ、図８Ｂにおける符号化／復号化方法の切り換え条件を本実施形態におけるものに置き換えた図であり、それ以外の内容は図８Ａ、図８Ｂと実質的に同様である。図１９Ａにおいて、符号化対象ブロック１９１０の隣接ブロック１９１１ａ、１９１１ｂ、１９１１ｃ、１９１１ｄのモードは、ＭＡ、ＭＢ、ＭＣ、ＭＤで示されている。図１９Ｂに示すように、推定容易である場合の符号化方法Ａはデータ１９０２を使用し、推定非容易である場合の符号化方法Ｂは表１９０３を使用する。本実施形態は、（ａ）予測方向のデータを有する隣接ブロックであって、対象ブロックと同一のスライス内に存在するもの（以下、利用可能隣接ブロックという。）の数と、（ｂ）利用可能隣接ブロックのうち、同じ予測方向データを有するブロックの数と、の組合せに応じて、符号化／復号化方法を切り換える。ここで、上記利用可能隣接ブロック以外のブロックを、以下、利用不可能隣接ブロックという。隣接ブロックが利用不可能隣接ブロックとなる場合の例は、隣接ブロックの情報を利用できない場合である。例えば、隣接ブロックが画面間予測モードであることにより画面内予測モードの情報を持っていない場合、又は対象ブロックがスライス端等に位置し、隣接ブロックと対象ブロックのそれぞれが属するスライスが異なる場合に、隣接ブロックの情報を利用できない。また、本明細書中で利用不可能隣接ブロックとは、対象ブロックが画面端に位置し、隣接ブロックの位置が画面の外にある場合も意味する。
また、本実施形態における動画像符号化装置において、図２４に示すように、実施形態１の図２で示した動画像符号化装置の予測方向推定難易度判定部２０３を、符号化方法決定部２４０１に置き換えており、予測モード記憶メモリ２４０２は、予測モードを記憶する。本実施形態における動画像復号化装置において、図２５に示すように、実施形態１の図４で示した動画像復号化装置の予測方向推定難易度判定部４０１を、復号化方法決定部２５０１に置き換えており、予測モード記憶メモリ２５０２は、予測モードを記憶する。以下では、符号化方法決定部２４０１及び復号化方法決定部２５０１の構成、動作について説明し、その他の構成、動作については説明を省略する。
さらに、本実施形態における画面内予測符号化処理の手順において、図２６に示すように、実施形態１の図１０で説明した画面内予測符号化処理の手順における予測方法の推定が容易か否かの判定（Ｓ１００４）が、利用可能隣接ブロックの個数と利用可能隣接ブロックのうち同一の予測方向データを有するブロックの個数との判定（Ｓ２６０１）に置き換えられている。本実施形態における画面内予測復号化処理の手順において、図２７に示すように、実施形態１の図１２で説明した画面内予測復号化処理の手順における予測方法の推定が容易か否かの判定（Ｓ１２０１）が、利用可能隣接ブロックの個数と利用可能隣接ブロックのうち同一の予測方向データを有するブロックの個数との判定（Ｓ２７０１）に置き換えられている。以下では、利用可能隣接ブロックの個数と利用可能隣接ブロックのうち同一の予測方向データを有するブロックの個数との判定（Ｓ２６０１、Ｓ２７０１）について説明し、その他の処理については説明を省略する。
なお、実施形態３は、対象ブロックに隣接するブロックのうち、対象ブロックの予測方向算出に用いる隣接ブロック（以下、候補ブロックという）の最大数が４つの場合の対象ブロックの符号化／復号化処理（符号化処理あるいは復号化処理）を示す。
図２０Ａは、候補ブロックとして最大４つのブロックを用いる場合の、利用可能隣接ブロックの数と、当該利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数と、の関係を示した図である。図２１は、処理対象ブロック２１０１と、それに隣接する４つの候補ブロック（ブロックＡ〜ブロックＤ）２１０２ａ〜２１０２ｄとを示している。また、図２０Ａの（ａ）〜（ｌ）は、図２１Ａ〜図２１Ｌと対応しており、図２１Ａ〜図２１Ｌは、図２０Ａに示したそれぞれの一例を具体的に示している。ここで、本実施形態において、同じ予測方向データを有するブロックの位置は、図２１Ａ〜図２１Ｌの位置に限られず、４つの候補ブロックのいずれの位置でもよい。また、本実施形態において、利用不可能隣接ブロックの位置は、図２１Ａ〜図２１Ｌの位置に限られず、４つの候補ブロックのいずれの位置でもよい。
以下に、図２０Ａと図２１Ａ〜図２１Ｌとの対応関係を使って、候補ブロックとして最大４つのブロックを用いる場合の、対象ブロックの符号化／復号化方法の切り換えについて具体的に説明する。図２１Ａ〜図２１Ｌにおいて、α、β、γ、δは、それぞれ、候補ブロックの予測方向データを示している。
（１）以下に説明する図２１Ａ〜図２１Ｅは、利用可能隣接ブロックが４つ存在し、利用不可能隣接ブロックが存在しない場合の一例を示している。
図２１Ａは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち同じ予測方向データを有するブロックが４つ存在する場合を示す。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１を符号化／復号化する。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ〜２１０２ｄの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データとが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり、１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｂは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち同じ予測方向データを有する３つのブロック２１０２ａ〜２１０２ｃが存在する場合を示している。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１を符号化／復号化する。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データのうち３つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが３つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに示すように１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｃは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち２つのブロック２１０２ａ、２１０２ｂが同じ予測方向データを有し、他の２つのブロック２１０２ｃ、２１０２ｄの予測方向データとそれぞれ異なる場合を示している。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データのうち２つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが２つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｄは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち、同じ予測方向データを有する２つのブロックが、２組（２１０２ａ、２１０２ｂ）、（２１０２ｃ、２１０２ｄ）存在する場合を示している。この場合は、２組の利用可能隣接ブロックの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの例（ｄ−Ａ）、（ｄ−Ｂ）に示す方法の内の一方で対象ブロック２１０１の予測方向データを決定して、符号化／復号化を行う。
例１（ｄ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１を符号化／復号化する。２組の利用可能隣接ブロック（２１０２ａ、２１０２ｂ）、（２１０２ｃ、２１０２ｄ）の予測方向データのうち、予測方向値（予測方向を示す番号）が小さい方の予測方向データを用いて対象ブロック２１０１を符号化／復号化する。予測方向値が小さい予測方向データの方が、対象ブロック２１０１の予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、前記予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｄ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１を符号化／復号化する。この場合は、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化、復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
図２１Ｅは、利用可能隣接ブロック２１０２ａ〜２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合を示している。この場合、符号化／復号化処理は、符号化／復号化方法Ｂを選択して、対象ブロック２１０１を符号化／復号化する。対象ブロック２１０１の予測方向データが利用可能隣接ブロックの予測方向データと異なる可能性が高いからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（２）以下に説明する図２１Ｆ〜図２１Ｈは、３つの利用可能隣接ブロックが存在し、１つの利用不可能隣接ブロックが存在する場合の例を示している。
図２１Ｆは、３つの利用可能隣接ブロック２１０２ｂ〜２１０２ｄのうち、同じ予測方向データを有するブロックが３つ存在する場合を示している。ブロック２１０２ａは、利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｂ〜２１０２ｄの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｇは、利用可能隣接ブロック２１０２ａ、２１０２ｃ、２１０２ｄのうち同じ予測方向データを有する２つのブロック２１０２ａ、２１０２ｃが存在する場合である。ブロック２１０２ｂは、利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データのうちの２つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが前記２つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化、復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｈは、利用可能隣接ブロック２１０２ａ、２１０２ｂ、２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合である。ブロック２１０２ｃは、利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ｂを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１の予測方向データが利用可能隣接ブロックの予測方向データと異なる可能性が高いからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（３）以下に説明する図２１Ｉ及び図２１Ｊは、２つの利用可能隣接ブロックが存在し、２つの利用不可能隣接ブロックが存在する場合の一例を示している。
図２１Ｉは、利用可能隣接ブロック２１０２ｃ、２１０２ｄのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ａ、２１０２ｂは利用不可能隣接ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロックの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
図２１Ｊは、利用可能隣接ブロック２１０２ａ、２１０２ｂのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｃ、２１０２ｄは利用不可能隣接ブロックである。この場合は、２つの利用可能隣接ブロックの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの例（ｊ−Ａ）、（ｊ−Ｂ）に示す処理方法の一方で対象ブロック２１０１の予測方向データを決定する。
例１（ｊ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。この場合、符号化／復号化処理は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データのうち、予測方向値が小さい方の予測方向データを用いて対象ブロック２１０１の符号化／復号化を行う。予測方向値が小さい予測方向データの方が、対象ブロック２１０１の予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、前記予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化、復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｊ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、対象ブロック２１０１の予測方向データが利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、仮に対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化、復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（４）以下に説明する図２１Ｋは、１つの利用可能隣接ブロック２１０２ｄが存在し、３つの利用不可能隣接ブロック２１０２ａ〜２１０２ｃが存在する場合の一例を示している。
図２１Ｋの場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｄの予測方向データと対象ブロック２１０１の予測方向データとが同じである可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（５）以下に説明する図２１Ｌは、利用可能隣接ブロックが存在せず４つの利用不可能隣接ブロック２１０２ａ〜２１０２ｄが存在する場合の一例を示している。
図２１Ｌの場合は、利用可能隣接ブロックが存在しないため、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができない。そこで、符号化／復号化処理は、例えば、下記の３つの例（ｌ−Ｂ）、（ｌ−Ａ）、（ｌ−Ｃ）に示す処理方法のいずれかで対象ブロックの予測方向データを決定する。
例１（ｌ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。利用可能隣接ブロックが存在せず、対象ブロックの予測方向算出において隣接ブロックの情報を用いることができないからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
例２（ｌ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。ここで、対象ブロックの周辺には利用可能隣接ブロックが存在しないため、利用可能隣接ブロックの予測方向データを対象ブロックの予測方向データとして用いることができない。そこで、符号化／復号化処理は、対象ブロックの推定予測方向として図７に示すＤＣ予測を選択し、符号化／復号化を行う。対象ブロックの予測方向がＤＣ予測であるとき、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
なお、対象ブロック２１０１の推定予測方向として選択する方向は、ＤＣ予測に限らず、Ｈ．２６４／ＡＶＣに規定される予測方向のうちいずれの予測方向でもよい。
例３（ｌ−Ｃ）
符号化／復号化処理は、符号化／復号化方法Ｃ（図示せず）を用いて対象ブロックの符号化／復号化を行う。ここで、符号化／復号化方法Ｃとは、対象ブロックの周辺に利用可能隣接ブロックが存在しない場合は、符号化側と復号化側とでＤＣ予測を用いることをあらかじめ定めておき、ＤＣ予測によって対象ブロックの符号化、復号化処理を行う処理方法である。この場合、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じであるか否かを示す情報を符号化側から復号化側に送る必要がなく、より符号量を低減することができる。
なお、本実施形態では、画素の符号化／復号化処理について示したが、実施形態２に示したマクロブロックタイプや予測モード情報の符号化／復号化処理に適用してもよい。また、記載されているいずれの実施例と組み合わせてもよい。
本実施形態においては、例えば隣接ブロックが画面間予測モードであるなどにより画面内予測モードの情報を持っていない場合や、対象ブロックが画面端やスライス端等に位置し、隣接ブロックの情報を利用できない場合等でも、利用可能隣接ブロックの数と、利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数との組合せに応じて符号化／復号化方法を切り換えるため、より好適に符号量を低減することができる。
実施形態４．
本実施形態は、実施形態３と同様に、図１９Ａ、図１９Ｂに示すように、（ａ）予測方向のデータを有する隣接ブロックであって、対象ブロックと同一のスライス内に存在するもの（以下、利用可能隣接ブロックという）の数と、（ｂ）利用可能隣接ブロックのうち、同じ予測方向データを有するブロックの数と、の組合せに応じて、符号化／復号化方法を切り換える。
ここで、実施形態３は、図２０Ａに示したように、最大４つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換えたが、本実施形態では図２０Ｂに示すように、最大３つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換える。
本実施形態における動画像符号化装置及び動画像復号化装置は、実施形態３の動画像符号化装置及び動画像復号化装置と同様であるので説明を省略する。また、本実施形態における画面内予測符号化処理及び画面内予測復号化処理の手順は、実施形態３の画面内予測符号化処理及び画面内予測復号化処理の手順と同様であるので説明を省略する。
図２０Ｂは、候補ブロックとして最大３つのブロックを用いる場合の、利用可能隣接ブロックの数と、当該利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数との関係を示した図である。また、図２０Ｂの（ａ）〜（ｇ）は、図２２Ａ〜図２２Ｇと対応しており、図２２Ａ〜図２２Ｇは、図２０Ｂに示したそれぞれの一例を具体的に示している。図２２Ａ〜図２２Ｇにおける符号は、図２１Ａ〜図２１Ｌと同様である。
なお、本実施形態において、対象ブロック２１０１に隣接するブロック２１０２ａ〜２１０２ｄのうち、候補ブロックとして用いないブロック（以下、非候補ブロックという）の位置は、ブロック２１０２ｃと２１０２ｄのうちいずれの位置でもよい。また、本実施形態において同じ予測方向データを有するブロックの位置は、図２２Ａ〜図２２Ｇに示す位置に限られず、３つの候補ブロックのいずれの位置でもよい。さらに、本実施形態において利用不可能隣接ブロックの位置は、図２２Ａ〜図２２Ｇに示す位置に限られず、３つの候補ブロックのいずれの位置でもよい。
以下に、図２０Ｂと図２２Ａ〜図２２Ｇとの対応関係を使って、候補ブロックとして最大３つのブロックを用いる場合の、対象ブロックの符号化／復号化方法の切り換えについて具体的に説明する。図２２Ａ〜図２２Ｇにおいて、対象ブロックはブロック２１０１である。
（１）以下に説明する図２２Ａ〜図２２Ｃは、利用可能隣接ブロックが３つ存在し、利用不可能隣接ブロックが存在しない場合の一例を示している。他の一つは非候補ブロックである。
（ａ）図２２Ａは、利用可能隣接ブロック２１０２ａ〜２１０２ｃのうち同じ予測方向データを有するブロックが３つ存在する場合を示す。ブロック２１０２ｄは非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ〜２１０２ｃの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｂ）図２２Ｂは、利用可能隣接ブロック２１０２ａ〜２１０２ｃのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ｄは非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロックの符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ〜２１０２ｃの予測方向データのうち２つの予測方向データが同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックの予測方向データが前記２つの予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｃ）図２２Ｃは、利用可能隣接ブロック２１０２ａ、２１０２ｂ、２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｃは、非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ｂを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる可能性が高いからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（２）以下に説明する図２２Ｄ及び図２２Ｅは、利用可能隣接ブロックが２つ存在し、利用不可能隣接ブロックが１つ存在する場合の一例を示している。他の一つは非候補ブロックである。
（ｄ）図２２Ｄは、利用可能隣接ブロック２１０２ｂ、２１０２ｃのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ａは利用不可能隣接ブロック、ブロック２１０２ｄは非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｂ、２１０２ｃの予測方向データがすべて同じであるため、対象ブロック２１０１も当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｅ）図２２Ｅは、利用可能隣接ブロック２１０２ａ、２１０２ｄのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｂは利用不可能隣接ブロック、ブロック２１０２ｃは非候補ブロックである。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｄの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの例（ｅ−Ａ）、（ｅ−Ｂ）に示す処理方法のいずれかで対象ブロック２１０１の予測方向データを決定し、符号化／復号化を行う。
例１（ｅ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｄの予測方向データのうち、予測方向値（予測方向を示す番号）が小さい方の予測方向データを用いて対象ブロック２１０１の符号化／復号化を行う。予測方向値が小さい予測方向データの方が、対象ブロック２１０１の予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、前記予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｅ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、対象ブロック２１０１の予測方向データが利用可能隣接ブロック２１０２ａ、２１０２ｄの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、仮に対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化、復号化処理できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（３）以下に説明する図２２Ｆは、利用可能隣接ブロックが１つ存在し、利用不可能隣接ブロックが２つ存在する場合の一例を示している。利用可能隣接ブロックは、ブロック２１０２ｃである。ブロック２１０２ａ、２１０２ｂは利用不可能隣接ブロック、ブロック２１０２ｄは非候補ブロックである。
（ｆ）図２２Ｆの場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｃの予測方向データと対象ブロック２１０１の予測方向データとが同じである可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（４）以下に説明する図２２Ｇは、利用可能隣接ブロックが存在せず、３つの利用不可能隣接ブロックが３つ存在する場合の一例を示している。図２２Ｇにおいて、ブロック２１０２ａ〜２１０２ｃは利用可能隣接ブロック、ブロック２１０２ｄは非候補ブロックである。
（ｇ）図２２Ｇの場合は、利用可能隣接ブロックが存在しないため、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができない。そこで、符号化／復号化処理は、例えば、下記の３つの例（ｇ−Ａ）、（ｇ−Ｂ）、（ｇ−Ｃ）に示す処理方法のいずれかで対象ブロック２１０１の予測方向データを決定し、符号化／復号化を行う。
例１（ｇ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１に対して符号化、復号化処理を行う。利用可能隣接ブロックが存在せず、対象ブロックの予測方向算出において隣接ブロックの情報を用いることができないからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
例２
符号化／復号化処理は、（ｇ−Ａ）符号化／復号化方法Ａを用いて対象ブロックの符号化／復号化を行う。ここで、対象ブロック２１０１の周辺には利用可能隣接ブロックが存在しないため、利用可能隣接ブロックの予測方向データを対象ブロックの予測方向データとして用いることができない。そこで、対象ブロック２１０１の推定予測方向として図７に示すＤＣ予測を選択し、符号化／復号化を行う。対象ブロックの予測方向がＤＣ予測であるとき、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
なお、対象ブロック２１０１の推定予測方向として選択する方向は、ＤＣ予測に限らず、Ｈ．２６４／ＡＶＣに規定される予測方向のうちいずれの予測方向でもよい。
例３（ｇ−Ｃ）
符号化／復号化処理は、符号化／復号化方法Ｃ（図示せず）を用いて対象ブロック２１０１の符号化／復号化を行う。ここで、符号化／復号化方法Ｃについては実施形態３において説明したので、説明を省略する。この場合、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じであるか否かを示す情報を符号化側から復号化側に送る必要がなく、より符号量を低減することができる。
なお、本実施形態は、画素の符号化／復号化処理を示したが、実施形態２に示したマクロブロックタイプや予測モード情報の符号化／復号化処理に適用してもよい。また、記載されているいずれの実施形態と組み合わせてもよい。
本実施形態は、候補ブロックとして最大３つのブロックを用いる場合において、対象ブロックの予測方向又はブロックタイプの算出に隣接ブロックの情報を利用することができない場合であっても、実施形態３と同様の効果を得ることができる。
実施形態５．
本実施形態は、実施形態３及び実施形態４と同様に、図１９Ａ、図１９Ｂに示すように、（ａ）予測方向のデータを有する隣接ブロックであって、対象ブロックと同一のスライス内に存在するもの（以下、利用可能隣接ブロックという）の数と、（ｂ）利用可能隣接ブロックのうち、同じ予測方向データを有するブロックの数と、の組合せに応じて、符号化／復号化方法を切り換える。
ここで、実施形態４は、図２０Ｂに示したように、最大３つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換えたが、本実施形態は、図２０Ｃに示すように、最大２つのブロックを候補ブロックとして用いて、対象ブロックの符号化／復号化方法を切り換える。
本実施形態における動画像符号化装置及び動画像復号化装置は、実施形態３の動画像符号化装置及び動画像復号化装置と同様であるので説明を省略する。また、本実施形態における画面内予測符号化処理及び画面内予測復号化処理の手順は、実施形態３の画面内予測符号化処理及び画面内予測復号化処理の手順と同様であるので説明を省略する。
図２０Ｃは、候補ブロックとして最大２つのブロックを用いる場合の、利用可能隣接ブロックの数と当該利用可能隣接ブロックのうち同じ予測方向データを有するブロックの数との関係を示した図である。また、図２０Ｃの（ａ）〜（ｄ）は、図２３Ａ〜図２３Ｄと対応しており、図２３Ａ〜図２３Ｄは、図２０Ｃに示したそれぞれの一例を具体的に示している。
なお、本実施形態において、非候補ブロックの位置は、例えば図２３Ａ〜図２３Ｄに示した位置であってもよいし、これとは異なる位置であってもよい。また、本実施形態において利用不可能隣接ブロックの位置は、図２３Ａ〜図２３Ｄに示す位置に限られず、２つの候補ブロックのいずれの位置でもよい。
以下に、図２０Ｃと図２３Ａ〜図２３Ｄとの対応関係を使って、候補ブロックとして最大２つのブロックを用いる場合の、対象ブロックの符号化／復号化方法の切り換えについて具体的に説明する。
（１）以下に説明する図２３Ａ及び図２３Ｂは、利用可能隣接ブロックが２つ存在し、利用不可能隣接ブロックが存在しない場合の一例を示している。
（ａ）図２３Ａは、利用可能隣接ブロック２１０２ａ、２１０２ｂのうち同じ予測方向データを有するブロックが２つ存在する場合を示す。ブロック２１０２ｃ、２１０２ｄは、非候補ブロックである。この場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データがすべて同じであるため、対象ブロックも当該予測方向データを有する可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（ｂ）図２３Ｂは、利用可能隣接ブロック２１０２ａ、２１０２ｂのうち同じ予測方向データを有するブロックが存在しない場合を示す。ブロック２１０２ｃ、２１０２ｄは、非候補ブロックである。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データのうち、いずれの予測方向データを対象ブロック２１０１の予測方向データとして用いるのか、一意に決定できない。そこで、符号化／復号化処理は、例えば、下記の２つの処理方法例（ｂ−Ａ）又は（ｂ−Ｂ）で、対象ブロックの予測方向データを決定し、符号化／復号化を行う。
例１（ｂ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１に対して符号化／復号化を行う。この場合は、２つの利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データのうち、予測方向値（予測方向を示す番号）が小さい方の予測方向データを用いて対象ブロック２１０１の符号化／復号化を行う。予測方向値が小さい予測方向データの方が、対象ブロックの予測方向データと同じである可能性が高いからである。対象ブロックの予測方向データが、予測方向値が小さい方の予測方向データと同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
例２（ｂ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロック２１０１の符号化／復号化を行う。この場合は、対象ブロック２１０１の予測方向データが利用可能隣接ブロック２１０２ａ、２１０２ｂの予測方向データと異なる場合であっても、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、仮に対象ブロックの予測方向データが利用可能隣接ブロックの予測方向データと異なる場合であっても、対象ブロックの予測方向データを２ビット又は３ビットの符号量で符号化／復号化できる確率が向上し、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
（２）以下に説明する図２３Ｃは、利用可能隣接ブロックが１つ存在し、利用不可能隣接ブロックが１つ存在する場合の一例を示している。利用可能隣接ブロックはブロック２１０２ｂである。ブロック２１０２ａは利用不可能隣接ブロック、ブロック２１０２ｃ、２１０２ｄは非候補ブロックである。
（ｃ）図２３Ｃの場合、符号化／復号化処理は、符号化／復号化方法Ａを選択して、対象ブロック２１０１の符号化／復号化を行う。対象ブロック２１０１に隣接する利用可能隣接ブロック２１０２ｂの予測方向データと対象ブロック２１０１の予測方向データとが同じである可能性が高いからである。対象ブロックと利用可能隣接ブロックの予測方向データが同じである場合は、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
（３）以下に説明する図２３Ｄは、利用可能隣接ブロックが存在せず、利用不可能隣接ブロックが２つ存在する場合の一例を示している。利用不可能隣接ブロックは２１０２ａ、２１０２ｂであり、ブロック２１０２ｃ、２１０２ｄは非候補ブロックである。
（ｄ）図２３Ｄの場合、利用可能隣接ブロックが存在しないため、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができない。そこで、符号化／復号化処理は、例えば、下記の３つの例（ｄ−Ａ）、（ｄ−Ｂ）又は（ｄ−Ｃ）に示す処理方法で対象ブロック２１０１の予測方向データを決定し、符号化／復号化を行えばよい。
例１（ｄ−Ｂ）
符号化／復号化処理は、符号化／復号化方法Ｂを用いて対象ブロックの符号化／復号化を行う。利用可能隣接ブロックが存在せず、対象ブロック２１０１の予測方向算出において隣接ブロックの情報を用いることができないからである。符号化／復号化方法Ｂを用いた場合、一部の予測方向データは４ビットよりも小さい２ビット又は３ビットで表すことができる。すなわち、符号化／復号化方法Ａを選択して４ビットの符号量で符号化／復号化するよりも符号量の低減を図ることができる。
例２（ｄ−Ａ）
符号化／復号化処理は、符号化／復号化方法Ａを用いて対象ブロック２１０１の符号化／復号化を行う。ここで、対象ブロック２１０１の周辺には利用可能隣接ブロックが存在しないため、利用可能隣接ブロックの予測方向データを対象ブロックの予測方向データとして用いることができない。そこで、対象ブロック２１０１の推定予測方向として図７に示すＤＣ予測を選択して、符号化／復号化を行う。対象ブロックの予測方向がＤＣ予測であるとき、図１９Ａ、図１９Ｂに説明したとおり１ビットの情報を符号化／復号化すれば良く、符号化／復号化処理において、より符号量を低減することができる。
なお、対象ブロック２１０１の予測方向として使用する予測方向は、ＤＣ予測に限られず、Ｈ．２６４／ＡＶＣに規定される予測方向のうちいずれの予測方向でもよい。
例３（ｄ−Ｃ）
符号化／復号化処理は、符号化／復号化方法Ｃ（図示せず）を用いて対象ブロック２１０１の符号化／復号化を行う。ここで、符号化／復号化方法Ｃについては実施形態３において説明したので、説明を省略する。この場合、対象ブロックにおける予測方向と隣接ブロックにおける予測方向とが同じであるか否かを示す情報を符号化側から復号化側に送る必要がなく、より符号量を低減することができる。
なお、本実施形態は、画素の符号化／復号化処理について示したが、実施形態２に示したマクロブロックタイプや予測モード情報の符号化／復号化処理に適用してもよい。また、記載されているいずれの実施形態と組み合わせてもよい。
本実施形態は、候補ブロックとして最大２つのブロックを用いる場合において、対象ブロックの予測方向又はブロックタイプの算出に隣接ブロックの情報を利用することができない場合であっても、実施形態３と同様の効果を得ることができる。
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
以上のように、本発明は、動画像の復号化に適用することができ、特に、画面内予測処理における予測方向データあるいはブロックタイプデータの復号化に適用することができる。
Claims (14)
- 画面内予測処理を行う動画像復号化方法であって、
前記画面内予測処理において、復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックの個数を判定する判定ステップと、
前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向データ又はブロックタイプデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化ステップと、
前記復号化ステップにおいて復号化された予測方向データ又はブロックタイプデータに基づいて画面内予測を行い、復号化画像データを生成する生成ステップと、を備え、
前記第１の復号化方法は、前記複数の隣接ブロックの予測方向又はブロックタイプから推定された推定予測方向データ又は推定ブロックタイプに基づいて生成され、符号化ストリームに含まれるビット構成情報に基づいて、前記復号化対象ブロックの予測方向データ又は前記ブロックタイプデータを復号化し、
前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、動画像復号化方法。 - 請求項１記載の動画像復号化方法であって、
前記判定ステップは、前記複数の隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックが２つ以上ある場合、該予測方向又は該ブロックタイプが前記復号化対象ブロックの推定予測方向又は推定ブロックタイプであると決定し、
前記復号化ステップは、前記第１の復号化方法を選択する、動画像復号化方法。 - 請求項１記載の動画像復号化方法であって、
前記判定ステップにおいて、前記複数の隣接ブロックに、同一の予測方向データ又は同一のブロックタイプを有する２つ以上のブロックが存在しない場合、前記復号化ステップは、前記第２の復号化方法を選択する、動画像復号化方法。 - 画面内予測処理を行う動画像復号化装置であって、
前記復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックの個数を判定する判定部と、
前記判定部の判定結果に基づいて、前記復号化対象ブロックの予測方向データ又はブロックタイプデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化部と、
前記復号化部において復号化された予測方向データ又はブロックタイプデータに基づいて画面内予測を行い、復号化画像を生成する復号画像生成部と、を備え、
前記第１の復号化方法は、前記複数の隣接ブロックの予測方向又はブロックタイプから推定された推定予測方向データ又は推定ブロックタイプに基づいて生成され、符号化ストリームに含まれるビット構成情報に基づいて、前記復号化対象ブロックの予測方向データ又は前記ブロックタイプデータを復号化し、
前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、動画像復号化装置。 - 請求項４記載の動画像復号化装置であって、
前記判定部は、前記複数の隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックが２つ以上あると判定した場合、該予測方向又は該ブロックタイプが前記復号化対象ブロックの推定予測方向又は推定ブロックタイプであると決定し、
前記復号化部は、前記第１の復号化方法を選択する、動画像復号化装置。 - 請求項４記載の動画像復号化装置であって、
前記判定部が、前記複数の隣接ブロックに、同一の予測方向データ又は同一のブロックタイプを有する２つ以上のブロックが存在しないと判定した場合、前記復号化部は、前記第２の復号化方法を選択する、動画像復号化装置。 - 画面内予測処理を行う動画像復号化方法であって、
復号化対象ブロックに隣接する既に復号化された複数の隣接ブロックのうち、予測方向のデータ又はブロックタイプのデータを有する隣接ブロックである利用可能隣接ブロックの個数と、該利用可能隣接ブロックのうち、同一の予測方向又は同一のブロックタイプを有するブロックの個数とを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータの復号化方法を第１の復号化方法及び第２の復号化方法から選択し、当該選択した復号化方法によって前記復号化対象ブロックの予測方向データ又はブロックタイプデータを復号化する復号化ステップと、
前記復号化ステップにおいて復号化された予測方向のデータ又はブロックタイプのデータに基づいて画面内予測を行い、復号化画像データを生成する生成ステップと、を備え、
前記第１の復号化方法は、
符号化ストリームに含まれる、推定予測方向又は推定ブロックタイプと前記復号化対象ブロックにおける予測方向又はブロックタイプとが同じであるか否かを示す情報を復号化し、
前記情報が同じであることを示す場合は、前記推定予測方向又は前記推定ブロックタイプを前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータとして復号化し、
前記情報が異なることを示す場合は、符号化ストリームに含まれる、前記推定予測方向又は前記推定ブロックタイプとは異なる予測方向又はブロックタイプを示す情報を復号化し、該復号化した予測方向情報又はブロックタイプ情報を前記復号化対象ブロックの予測方向のデータ又はブロックタイプのデータとして復号化し、
前記第２の復号化方法は、前記復号化対象ブロックの予測方向データ又はブロックタイプデータを可変長復号処理により復号化する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップは、
前記利用可能隣接ブロックが２つ以上存在し、前記利用可能隣接ブロックのうち同一の予測方向又は同一のブロックタイプを有するブロックが２つ以上存在すると判定した場合は、最も多く存在する予測方向又はブロックタイプが前記復号化対象ブロックの推定予測方向又は推定ブロックタイプであると決定し、
前記復号化ステップは、前記第１の復号化方法を選択する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップは、
存在する前記利用可能隣接ブロックが４つであり、前記利用可能隣接ブロックのうち同一の予測方向又は同一のブロックタイプを有する２つのブロックからなる組が２組存在すると判定した場合、２組の利用可能隣接ブロックの予測方向又はブロックタイプのうち、予測方向値又はブロックタイプ値が小さい方の予測方向又はブロックタイプが前記復号化対象ブロックの推定予測方向又は推定ブロックタイプであると決定し、
前記復号化ステップは、前記第１の復号化方法を選択する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップが、存在する前記利用可能隣接ブロックが４つであり、前記利用可能隣接ブロックのうち同一の予測方向又は同一のブロックタイプを有する２つのブロックからなる組が２組存在すると判定した場合は、前記復号化ステップは、前記第２の復号化方法を選択する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップが、前記利用可能隣接ブロックが２つ以上存在し、前記利用可能隣接ブロックのうち同一の予測方向又は同一のブロックタイプを有するブロックが存在しないと判定した場合は、前記復号化ステップは、前記第２の復号化方法を選択する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップは、
存在する前記利用可能隣接ブロックが１つであると判定した場合は、該利用可能隣接ブロックの予測方向又はブロックタイプが前記復号化対象ブロックの推定予測方向又は推定ブロックタイプであると決定し、
前記復号化ステップは、前記第１の復号化方法を選択する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップが前記利用可能隣接ブロックは存在しないと判定した場合は、前記復号化ステップは、前記第２の復号化方法を選択する、動画像復号化方法。 - 請求項７記載の動画像復号化方法であって、
前記判定ステップは、
前記利用可能隣接ブロックが存在しないと判定した場合は、復号化対象ブロックに隣接するブロックの情報に関係なく、あらかじめ定めた所定の予測方向又はブロックタイプが前記復号化対象ブロックの推定予測方向又は推定ブロックタイプであると決定し、
前記復号化ステップは、前記第１の復号化方法を選択する、動画像復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011521000A JP5370899B2 (ja) | 2009-07-03 | 2010-06-28 | 動画像復号化方法及び動画像復号化装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009158355 | 2009-07-03 | ||
| JP2009158355 | 2009-07-03 | ||
| JP2011521000A JP5370899B2 (ja) | 2009-07-03 | 2010-06-28 | 動画像復号化方法及び動画像復号化装置 |
| PCT/JP2010/061360 WO2011002091A1 (ja) | 2009-07-03 | 2010-06-28 | 動画像復号化方法及び動画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2011002091A1 JPWO2011002091A1 (ja) | 2012-12-13 |
| JP5370899B2 true JP5370899B2 (ja) | 2013-12-18 |
Family
ID=43411159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011521000A Active JP5370899B2 (ja) | 2009-07-03 | 2010-06-28 | 動画像復号化方法及び動画像復号化装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5370899B2 (ja) |
| WO (1) | WO2011002091A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9247252B2 (en) | 2011-01-26 | 2016-01-26 | Hitachi, Ltd. | Image decoding device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006304107A (ja) * | 2005-04-22 | 2006-11-02 | Ntt Electornics Corp | 符号化装置、及び、この符号化装置に適用されるプログラム |
| JP2007116351A (ja) * | 2005-10-19 | 2007-05-10 | Ntt Docomo Inc | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
-
2010
- 2010-06-28 JP JP2011521000A patent/JP5370899B2/ja active Active
- 2010-06-28 WO PCT/JP2010/061360 patent/WO2011002091A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006304107A (ja) * | 2005-04-22 | 2006-11-02 | Ntt Electornics Corp | 符号化装置、及び、この符号化装置に適用されるプログラム |
| JP2007116351A (ja) * | 2005-10-19 | 2007-05-10 | Ntt Docomo Inc | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2011002091A1 (ja) | 2012-12-13 |
| WO2011002091A1 (ja) | 2011-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6821730B2 (ja) | 符号化装置、符号化方法、復号装置、復号方法、及びプログラム | |
| JP5128794B2 (ja) | 映像のイントラ予測符号化及び復号化方法、並びに装置 | |
| EP3684059B1 (en) | Decoding method for intra predicting a block by first predicting the pixels at the boundary | |
| JP5400798B2 (ja) | 動画像復号化方法及び装置、動画像符号化方法及び装置 | |
| KR101588559B1 (ko) | 모션 벡터 저장 방법 및 장치, 인코딩 및 디코딩 방법, 인코딩 및 디코딩 장치, 및 기록 매체 | |
| KR101991074B1 (ko) | 비디오 인코딩 및 디코딩 | |
| JP5396600B2 (ja) | 改善された予測を実施する画像符号化方法および装置と、対応する復号化方法および装置と、信号およびコンピュータ・プログラム | |
| KR20130085977A (ko) | 변환 유닛 내의 다수 부호 비트 은폐 | |
| TW202017369A (zh) | 擴充參考圖像內預測技術 | |
| JP2009111691A (ja) | 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法 | |
| KR20090058954A (ko) | 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치 | |
| JP5216710B2 (ja) | 復号化処理方法 | |
| CN113507603B (zh) | 图像信号编码/解码方法及其设备 | |
| CN111602393B (zh) | 编码方法及其设备以及解码方法及其设备 | |
| US20180324441A1 (en) | Method for encoding/decoding image and device therefor | |
| EP3355585A1 (en) | Image encoding method and device, and image decoding method and device | |
| CN111684810A (zh) | 数据编码和解码 | |
| KR20140124443A (ko) | 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치 | |
| EP2034742A2 (en) | Video coding method and device | |
| TWI738167B (zh) | 圖像編碼及解碼技術 | |
| JP7242571B2 (ja) | 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム | |
| JP5370899B2 (ja) | 動画像復号化方法及び動画像復号化装置 | |
| JP2009049969A (ja) | 動画像符号化装置及び方法並びに動画像復号化装置及び方法 | |
| JP5957513B2 (ja) | 動画像復号化方法 | |
| KR20140129419A (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5370899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |