JP6260534B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP6260534B2
JP6260534B2 JP2014532941A JP2014532941A JP6260534B2 JP 6260534 B2 JP6260534 B2 JP 6260534B2 JP 2014532941 A JP2014532941 A JP 2014532941A JP 2014532941 A JP2014532941 A JP 2014532941A JP 6260534 B2 JP6260534 B2 JP 6260534B2
Authority
JP
Japan
Prior art keywords
motion vector
unit
motion
image
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014532941A
Other languages
English (en)
Other versions
JPWO2014034480A1 (ja
Inventor
良知 高橋
良知 高橋
佐藤　数史
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014034480A1 publication Critical patent/JPWO2014034480A1/ja
Application granted granted Critical
Publication of JP6260534B2 publication Critical patent/JP6260534B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は画像処理装置および方法に関し、特に、符号化・復号に必要な記憶容量の増大を抑制することができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）などがある。
特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720x480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量（ビットレート）が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920x1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。
標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。
しかしながら、マクロブロックサイズを16x16画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000x2000画素）といった大きな画枠に対しては、最適ではない恐れがあった。
そこで、現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team-Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。HEVC規格については、２０１２年２月に最初のドラフト版仕様であるCommittee draftが発行されている（例えば、非特許文献１参照）。
ところで、従来、HEVCの3D拡張の１つとして、CUレベルを変更して、ノンベースビューの符号化性能を改善する方式が検討されている。本方式の１つのツールとして、異なるビューの符号化済みベクトルをノンベースビューの予測ベクトルの候補にするInter-view motion prediction（IVMP）がある（例えば、非特許文献２参照）。
例えば、HEVC Ver.1の規格では、異なる時刻のピクチャの動きベクトルを予測ベクトルの候補にすることができるツールTemporal MVP（TMVP）がある。このツールを用いる場合、TMVPのために符号化済みピクチャの動きベクトル（MV）が保持される。この動きベクトル（MV）は、最小で4x4単位で符号化されるが、TMVPで参照されるまでの間に、16x16単位に情報圧縮される。この圧縮により、動きベクトル（MV）の予測精度が低下するが、動きベクトルを保持するメモリの容量を1/16に減らすことができる。
Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H1003 ver20,2012.2.17 Yoshiya Yamamoto, Tomohiro Ikai, Tadashi Uchiumi, "3D-CE5.h related: Simplification of AMVP", JCT2-A0014, Joint Collaborative Team on 3D Video Coding Extension Developmentof ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 111st Meeting: Stockholm, SE, 16-20 July 2012
しかしながら、IVMPにおいては、このような動きベクトルの圧縮機能は用意されていなかった。つまり、IVMPの場合、動きベクトルは、他のレイヤにおいて、符号化される際の精度のままで参照されていた。例えば、動きベクトルが、最小4x4単位で符号化される場合、IVMP用に4x4精度の動きベクトルを保持するテンポラルバッファ（Temporal buffer）が必要であった。
つまり、このテンポラルバッファには、１ビュー（view）につき、少なくとも、「4x4精度の動きベクトルを１画面」分記憶することができる容量が必要である。したがって、このテンポラルバッファには、16x16精度まで圧縮されるTMVPのための動きベクトルを記憶する場合の16倍（16 picture分）の容量が必要であった。
つまり、IVMPのために、符号化・復号に必要な記憶容量が増大する恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化・復号に必要な記憶容量の増大を抑制することができるようにするものである。
本技術の一側面は、カレントブロックのレイヤ方向に周辺のブロックの動きベクトルを、時間方向に周辺のブロックの動きベクトル同じ圧縮率で圧縮する圧縮部と、前記圧縮部により圧縮された動きベクトルを、前記カレントブロックの動きベクトルに対する予測動きベクトルとして用いて、前記カレントブロックの動きベクトルを再構築し、再構築した前記動きベクトルを用いて動き補償を行って予測画像を生成する動き補償部と、前記動き補償部により生成された前記予測画像を用いて、前記カレントブロックを復号して、復号画像を生成する復号部とを備える画像処理装置である。
前記動き補償部は、前記圧縮部により圧縮された動きベクトルを用いて、前記カレントブロックに対する予測動きベクトルの候補を決定することができる。
前記圧縮部により圧縮された前記動きベクトルを記憶する記憶部をさらに備え、前記動き補償部は、前記記憶部に記憶された前記動きベクトルを前記予測動きベクトルとして用いることができる。
前記圧縮部は、前記動きベクトルの精度を16x16精度に圧縮することができる。
前記圧縮部は、前記動きベクトルの精度を4x4精度から16x16精度に圧縮することができる。
前記圧縮部は、前記動きベクトルの精度を8x8精度から16x16精度に圧縮することができる。
前記圧縮部は、前記動きベクトルの精度を8x8精度に圧縮することができる。
前記圧縮部は、前記動きベクトルの精度を4x4精度から8x8精度に圧縮することができる。
本技術の一側面は、また、カレントブロックのレイヤ方向に周辺のブロックの動きベクトルを、時間方向に周辺のブロックの動きベクトル同じ圧縮率で圧縮し、圧縮された動きベクトルを、前記カレントブロックの動きベクトルに対する予測動きベクトルとして用いて、前記カレントブロックの動きベクトルを再構築し、再構築した前記動きベクトルを用いて動き補償を行って予測画像を生成し、生成された前記予測画像を用いて、前記カレントブロックを復号して、復号画像を生成する画像処理方法である。
本技術の一側面においては、カレントブロックのレイヤ方向に周辺のブロックの動きベクトルが、時間方向に周辺のブロックの動きベクトル同じ圧縮率で圧縮され、圧縮された動きベクトルが、カレントブロックの動きベクトルに対する予測動きベクトルとして用いられて、カレントブロックの動きベクトルが再構築され、再構築された動きベクトルが用いられて動き補償が行われて予測画像が生成され、生成された予測画像が用いられて、カレントブロックが復号されて、復号画像が生成される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示によれば、画像を符号化・復号することができる。特に、符号化・復号に必要な記憶容量の増大を抑制することができる。
コーディングユニットの構成例を説明する図である。 多視点画像符号化方式の例を示す図である。 IVMPの様子の例を説明する図である。 従来の動きベクトル参照の様子の例を説明する図である。 本技術を適用した動きベクトル参照の様子の例を説明する図である。 V0画像符号化装置の主な構成例を示すブロック図である。 V1画像符号化装置の主な構成例を示すブロック図である。 V2画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 V0符号化処理の流れの例を説明するフローチャートである。 V0インター動き予測処理の流れの例を説明するフローチャートである。 V1符号化処理の流れの例を説明するフローチャートである。 V1インター動き予測処理の流れの例を説明するフローチャートである。 V2符号化処理の流れの例を説明するフローチャートである。 V2インター動き予測処理の流れの例を説明するフローチャートである。 V0画像復号装置の主な構成例を示すブロック図である。 V1画像復号装置の主な構成例を示すブロック図である。 V2画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 V0復号処理の流れの例を説明するフローチャートである。 V0動き補償処理の流れの例を説明するフローチャートである。 V1復号処理の流れの例を説明するフローチャートである。 V1動き補償処理の流れの例を説明するフローチャートである。 V2復号処理の流れの例を説明するフローチャートである。 V2動き補償処理の流れの例を説明するフローチャートである。 本技術を適用した動きベクトル参照の様子の例を説明する図である。 V0画像符号化装置の主な構成例を示すブロック図である。 V1画像符号化装置の主な構成例を示すブロック図である。 V2画像符号化装置の主な構成例を示すブロック図である。 V0符号化処理の流れの例を説明するフローチャートである。 V1符号化処理の流れの例を説明するフローチャートである。 V1インター動き予測処理の流れの例を説明するフローチャートである。 V2符号化処理の流れの例を説明するフローチャートである。 V2インター動き予測処理の流れの例を説明するフローチャートである。 V0画像復号装置の主な構成例を示すブロック図である。 V1画像復号装置の主な構成例を示すブロック図である。 V2画像復号装置の主な構成例を示すブロック図である。 V0復号処理の流れの例を説明するフローチャートである。 V1復号処理の流れの例を説明するフローチャートである。 V1動き補償処理の流れの例を説明するフローチャートである。 V2復号処理の流れの例を説明するフローチャートである。 V2動き補償処理の流れの例を説明するフローチャートである。 本技術を適用した動きベクトル参照の様子の例を説明する図である。 シンタクスの例を説明する図である。 V0画像符号化装置の主な構成例を示すブロック図である。 V1画像符号化装置の主な構成例を示すブロック図である。 V2画像符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 V0符号化処理の流れの例を説明するフローチャートである。 V0符号化処理の流れの例を説明する、図４９に続くフローチャートである。 V1符号化処理の流れの例を説明するフローチャートである。 V1符号化処理の流れの例を説明する、図５１に続くフローチャートである。 V1インター動き予測処理の流れの例を説明するフローチャートである。 V2符号化処理の流れの例を説明するフローチャートである。 V2符号化処理の流れの例を説明する、図５４に続くフローチャートである。 V2インター動き予測処理の流れの例を説明するフローチャートである。 V0画像復号装置の主な構成例を示すブロック図である。 V1画像復号装置の主な構成例を示すブロック図である。 V2画像復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 V0復号処理の流れの例を説明するフローチャートである。 V0復号処理の流れの例を説明する、図６１に続くフローチャートである。 V1復号処理の流れの例を説明するフローチャートである。 V1復号処理の流れの例を説明する、図６４に続くフローチャートである。 V1動き補償処理の流れの例を説明するフローチャートである。 V2復号処理の流れの例を説明するフローチャートである。 V2復号処理の流れの例を説明する、図６６に続くフローチャートである。 V2動き補償処理の流れの例を説明するフローチャートである。 階層画像符号化方式の例を示す図である。 スペーシャルなスケーラブル符号化の例を説明する図である。 テンポラルなスケーラブル符号化の例を説明する図である。 信号雑音比のスケーラブル符号化の例を説明する図である。 動きベクトルの間引きの様子の例を説明する図である。 動きベクトルの間引きの様子の、他の例を説明する図である。 アンギュラー（Angular）予測の例を説明する図である。 プレイナー（Planar）予測の例を説明する図である。 モストプロバブルモード（MostProbableMode）の例を説明する図である。 MDIS（Mode Dependent Intra Smoothing）の例を説明する図である。 バウンダリバリュースムージング（Boundary Value Smoothing）処理の例を説明する図である。 イントラ予測モードの間引きの様子の例を示す図である。 スケーラブル符号化装置の主な構成例を示すブロック図である。 ベースレイヤ画像符号化部の主な構成例を示すブロック図である。 エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。 イントラ予測モード提供部の主な構成例を示すブロック図である。 共通情報生成処理の流れの例を説明するフローチャートである。 符号化処理の流れの例を説明するフローチャートである。 ベースレイヤ符号化処理の流れの例を説明するフローチャートである。 エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。 スケーラブル復号装置の主な構成例を示すブロック図である。 ベースレイヤ画像復号部の主な構成例を示すブロック図である。 エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。 イントラ予測モード提供部の主な構成例を示すブロック図である。 共通情報取得処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 ベースレイヤ復号処理の流れの例を説明するフローチャートである。 エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。 予測処理の流れの例を説明するフローチャートである。 スライスヘッダのシンタクスの例を示す図である。 スライスヘッダのシンタクスの例を示す、図９８に続く図である。 スライスヘッダのシンタクスの例を示す、図９９に続く図である。 スライスヘッダのシンタクスの他の例を示す図である。 スライスヘッダのシンタクスの他の例を示す、図１０１に続く図である。 スライスヘッダのシンタクスの他の例を示す、図１０２に続く図である。 画像符号化装置の主な構成例を示すブロック図である。 ベースレイヤ画像符号化部の主な構成例を示すブロック図である。 エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。 インター予測部の主な構成例を示すブロック図である。 画像符号化処理の流れの例を説明するフローチャートである。 ベースレイヤ符号化処理の流れの例を説明するフローチャートである。 エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。 ベースレイヤ動き情報参照処理の流れの例を説明するフローチャートである。 画像復号装置の主な構成例を示すブロック図である。 ベースレイヤ画像復号部の主な構成例を示すブロック図である。 エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。 インター予測部の主な構成例を示すブロック図である。 画像復号処理の流れの例を説明するフローチャートである。 ベースレイヤ復号処理の流れの例を説明するフローチャートである。 エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 コンテンツ再生システムの構成を示した説明図である。 コンテンツ再生システムにおけるデータの流れを示した説明図である。 MPDの具体例を示した説明図である。 コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。 コンテンツ再生システムのコンテンツ再生装置の構成を示した機能ブロック図である。 コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。 無線通信システムの各装置による通信処理において送受信されるフレームフォーマット（frame format）の構成例を模式的に示す図である。 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（画像符号化装置、画像復号装置）
２．第２の実施の形態（画像符号化装置、画像復号装置）
３．第３の実施の形態（画像符号化装置、画像復号装置）
４．第４の実施の形態（階層画像符号化・復号）
５．概要２（イントラ予測）
６．第５の実施の形態（スケーラブル画像符号化装置）
７．第６の実施の形態（スケーラブル画像復号装置）
８．概要３（予測方向制御）
９．第７の実施の形態（画像符号化装置）
１０．第８の実施の形態（画像復号装置）
１１．第９の実施の形態（コンピュータ）
１２．応用例
１３．スケーラブル符号化の応用例
１４．セット・ユニット・モジュール・プロセッサ
１５． MPEG-DASHのコンテンツ再生システムの応用例
１６． Wi-Fi規格の無線通信システムの応用例
＜０．概要＞
＜符号化方式＞
以下においては、HEVC（High Efficiency Video Coding）方式の画像符号化・復号に適用する場合を例に、本技術を説明する。AVC（Advanced Video Coding）やHEVC等の画像符号化においては、時間方向（フレーム間）の相関を利用した動き予測が行われる。
＜コーディングユニット＞
AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、16x16画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；4000x2000画素）といった大きな画枠に対して最適ではない。
これに対して、HEVC方式においては、図１に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16x16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図１の例では、LCUの大きさが１２８であり、最大階層深度が５となる。2Nx2Nの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、NxNの大きさのCUに分割される。
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、4x4及び8x8に加え、16x16及び32x32直交変換を用いることが可能である。
以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128x128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。
よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック（サブブロック）をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域（処理単位）が含まれる。もちろん、これら以外の部分領域（処理単位）も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。
＜モード選択＞
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。
JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。
High Complexity Modeにおけるコスト関数は、以下の式（１）のように示される。
Figure 0006260534
ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Ｒは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。
つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤ及びＲを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
Low Complexity Modeにおけるコスト関数は、以下の式（２）のように示される。
Figure 0006260534
ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。
すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。
＜多視点画像＞
ところで、HEVCでは、図２に示される多視点画像のような複数のレイヤからなる動画像を符号化・復号することができる。多視点動画像は、各ピクチャが、互いに視差を有する複数の画像よりなる。各視点の画像群（動画像）をビュー（レイヤ）と称する。図２の例の場合、動画像は、ビュー０乃至ビュー２の３つのビューよりなる。つまり、あるPOCのピクチャは、ビュー０の画像、ビュー１の画像、およびビュー２の画像よりなる。図２において、ビュー０（view_id=0）は、ベースビュー（Base view）とも称する。また、ビュー１（view_id=1）やビュー２（view_id=2）は、ノンベースビュー（non-base view）とも称する。
＜予測動きベクトル＞
また、HEVCでは、画像を符号化・復号する際に、符号化効率の向上のために動き予測・補償処理が利用されるが、さらに、符号化効率を向上させるために、その動き予測・補償処理においては、処理対象であるカレントブロックの動きベクトルを周辺のブロックの動きベクトルを用いて予測し、カレントブロックの動きベクトルとその予測動きベクトルとの差分動きベクトルを求め、その差分動きベクトルを伝送する。
動きベクトルの予測は、周辺のブロックの動きベクトルから複数の候補を生成し、その中から最適なものを選択することにより行われる。
HEVCでは、カレントブロックの、空間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することができる。空間的に周辺のブロックとは、カレントブロックと同一の画像（同一のPOCの同一ビューの画像）内の、カレントブロック近傍のブロックである。
また、HEVCでは、カレントブロックの、時間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することもできる（TMVP（Temporal Motion Vector Prediction））。時間的に周辺のブロックとは、カレントブロックと同一ビューの異なるPOCの画像の、カレントブロックに対応する（例えば同一の位置の）ブロック（コロケーテッドブロックとも称する）である。
さらに、図２に示されるような多視点画像を符号化する場合、HEVCでは、カレントブロックの、ビュー（レイヤ）間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することもできる（IVMP（Inter-view motion prediction））。ビュー（レイヤ）間的に周辺のブロックとは、カレントブロックと同一POCの異なるビューの画像の、カレントブロックに対応する（例えば同一の位置の）ブロック（コロケーテッドブロックとも称する）である。例えば図３に示されるように、ビュー間の相関性を利用して、１つ前に処理されたビューの動きベクトルが参照される。
以上のようにして、より予測精度の高い、より多くの候補を得ることができるようにすることにより、より予測精度の高い予測ベクトルを得ることができ、より符号化効率を向上させることができる。
しかしながら、TMVPやＩＶＭＰでは、カレントピクチャのカレントビューの画像以外の動きベクトルが参照される。したがって、TMVPやＩＶＭＰでは、符号化や復号の際に得られる各ブロックの動きベクトルを、参照されなくなるまで（例えば、次のビューの画像の動き予測・補償処理や動き補償処理が終了するまで）、保持する必要がある。そして、そのためのメモリの容量は、想定される最大値以上を用意する必要がある。
HEVCの場合、TMVPのために保持する動きベクトルを圧縮し、動きベクトルの精度を低減させることができる。しかしながら、IVMPで参照される動きベクトルは、圧縮せずに利用されていた。したがって、IVMPのための動きベクトルは、圧縮せずに保持する必要があった。そのため、IVMPのための動きベクトルを保持するメモリは、TMVPのために動きベクトルを保持するメモリと比べて増大する恐れがあった。つまり、符号化・復号に必要な記憶容量の増大を抑制する恐れがあった。
図４にその具体例を示す。図４に示されるように、TMVPにおいては、カレントレイヤ（ビュー）の動きベクトル（圧縮後MV）が利用され、IVMPにおいては、１つ前のレイヤ（他のレイヤ）の動きベクトル（圧縮前MV）が利用される。
したがって、この場合、TMVP用の、16x16精度の動きベクトルを記憶するメモリ（V0 MV Memory乃至V1 MV Memory）の他に、IVMP用の動きベクトルを記憶するメモリが必要になる。しかも、その動きベクトルは圧縮されていないため、TMVPで参照される動きベクトルを記憶するメモリよりも大きな容量が必要であった。
メモリに必要な容量が増大することにより、設計や製造のコストが増大する恐れがあった。また、消費電力の増大や、負荷の増大を招く恐れがあった。
＜IVMP用の動きベクトルの圧縮＞
そこで、IVMP用の動きベクトルも、圧縮する（例えば、所定の間引き率で間引く）ようにする。
例えば復号の場合、カレントレイヤの復号において動き補償を行い、その動き補償により再構築され、他のレイヤの復号における動き補償に利用されるカレントレイヤの動きベクトルを圧縮する（例えば、所定の間引き率で間引く）ようにする。換言するに、他のレイヤの復号における動き補償において再構築されて圧縮された（例えば、所定の間引き率で間引かれた）動きベクトルを用いて、カレントレイヤの復号における動き補償を行うようにする。
また、例えば符号化の場合、カレントレイヤの符号化において動き予測・補償を行い、その動き予測・補償により生成され、他のレイヤの符号化における動き予測・補償に利用されるカレントレイヤの動きベクトルを圧縮する（例えば、所定の間引き率で間引く）ようにする。換言するに、他のレイヤの符号化における動き予測・補償において生成されて圧縮された（例えば、所定の間引き率で間引かれた）動きベクトルを用いて、カレントレイヤの符号化における動き予測・補償を行うようにする。
このようにすることにより、IVMP用の動きベクトルを記憶するために必要なメモリの容量の増大を抑制することができる。つまり、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜１．第１の実施の形態＞
＜IVMP用の動きベクトルの圧縮＞
以上のような動きベクトルの圧縮において、図５に示されるように、IVMP用の動きベクトルもTMVP用の動きベクトルと同じ圧縮率で圧縮する（例えば、TMVP用の動きベクトルと同じ間引き率で間引く）ようにしてもよい。つまり、圧縮により、IVMP用の動きベクトルとTMVP用の動きベクトルとを同じ精度にするようにしてもよい。このようにすることにより、TMVP用の動きベクトルとIVMP用の動きベクトルを共通化することができ、必要なメモリの容量の増大を抑制することができる。
例えば、図４の例の場合、デコーダ（V0 (Base) Decoder, V1 (Depend) Decorder, V2 (Depend) Decorder）は、復号により最高4x4精度の動きベクトルを再構築し、動きベクトル圧縮部（(V0乃至V2) MV Compressor）は、それを16x16精度に圧縮する。したがって、IVMP用の動きベクトルを記憶するメモリ（(V0乃至V2) Tempral MV Memory）は、4x4精度の動きベクトルを１画面分記憶することができる容量が必要である。
図５に示される例のように、IVMP用の動きベクトルも、動きベクトル圧縮部（(V0乃至V2) MV Compressor）によって16x16精度に圧縮する（例えば間引く）ことにより、この、4x4精度の動きベクトルを１画面分記憶することができる容量のメモリ（（V0乃至V2） Temporal MV Memory）を省略することができる。
なお、このような動きベクトルの共通化により、圧縮処理（例えば間引き処理）も共通化することができるので、動きベクトルの圧縮処理による負荷の増大を抑制することができる。
以下に、この圧縮方法について、より具体的に説明する。
なお、以下においては、符号化・復号対象の動画像は、図２に示されるように、ビュー０乃至ビュー２の３ビュー（レイヤ）の動画像であるものとする。また、この動画像の各ピクチャは所定の順に処理され、各ピクチャにおいて、ビュー０の画像、ビュー１の画像、およびビュー２の画像は、この順に処理されるものとする。
＜画像符号化装置＞
図６は、V0画像符号化装置の主な構成例を示すブロック図である。図７は、V1画像符号化装置の主な構成例を示すブロック図である。図８は、V2画像符号化装置の主な構成例を示すブロック図である。
図示せぬ画像符号化装置１００は、図２に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置１００は、多視点画像の各ビューを符号化するために、図６のV0画像符号化装置１００−０、図７のV1画像符号化装置１００−１、および図８のV2画像符号化装置１００−３を有する。V0画像符号化装置１００−０は、ビュー０の画像を符号化する。V1画像符号化装置１００−１は、ビュー１の画像を符号化する。V2画像符号化装置１００−２は、ビュー２の画像を符号化する。
図６に示されるように、V0画像符号化装置１００−０は、A/D変換部１０１−０、画面並べ替えバッファ１０２−０、演算部１０３−０、直交変換部１０４−０、量子化部１０５−０、可逆符号化部１０６−０、蓄積バッファ１０７−０、逆量子化部１０８−０、および逆直交変換部１０９−０を有する。また、V0画像符号化装置１００−０は、演算部１１０−０、ループフィルタ１１１−０、デコードピクチャバッファ１１２−０、画面内予測部１１３−０、動き予測・補償部１１４−０、予測画像選択部１１５−０、およびレート制御部１１６−０を有する。
また、図７に示されるように、V1画像符号化装置１００−１は、A/D変換部１０１−１、画面並べ替えバッファ１０２−１、演算部１０３−１、直交変換部１０４−１、量子化部１０５−１、可逆符号化部１０６−１、蓄積バッファ１０７−１、逆量子化部１０８−１、および逆直交変換部１０９−１を有する。また、V1画像符号化装置１００−１は、演算部１１０−１、ループフィルタ１１１−１、デコードピクチャバッファ１１２−１、画面内予測部１１３−１、動き予測・補償部１１４−１、予測画像選択部１１５−１、およびレート制御部１１６−１を有する。
さらに、図８に示されるように、V2画像符号化装置１００−２は、A/D変換部１０１−２、画面並べ替えバッファ１０２−２、演算部１０３−２、直交変換部１０４−２、量子化部１０５−２、可逆符号化部１０６−２、蓄積バッファ１０７−２、逆量子化部１０８−２、および逆直交変換部１０９−２を有する。また、V2画像符号化装置１００−２は、演算部１１０−２、ループフィルタ１１１−２、デコードピクチャバッファ１１２−２、画面内予測部１１３−２、動き予測・補償部１１４−２、予測画像選択部１１５−２、およびレート制御部１１６−２を有する。
以下において、A/D変換部１０１−０乃至A/D変換部１０１−２を互いに区別して説明する必要が無い場合、単に、A/D変換部１０１と称する。また、画面並べ替えバッファ１０２−０乃至画面並べ替えバッファ１０２−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ１０２と称する。さらに、演算部１０３−０乃至演算部１０３−２を互いに区別して説明する必要が無い場合、単に、演算部１０３と称する。また、直交変換部１０４−０乃至直交変換部１０４−２を互いに区別して説明する必要が無い場合、単に、直交変換部１０４と称する。さらに、量子化部１０５−０乃至量子化部１０５−２を互いに区別して説明する必要が無い場合、単に、量子化部１０５と称する。また、可逆符号化部１０６−０乃至可逆符号化部１０６−２を互いに区別して説明する必要が無い場合、単に、可逆符号化部１０６と称する。さらに、蓄積バッファ１０７−０乃至蓄積バッファ１０７−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ１０７と称する。また、逆量子化部１０８−０乃至逆量子化部１０８−２を互いに区別して説明する必要が無い場合、単に、逆量子化部１０８と称する。さらに、逆直交変換部１０９−０乃至逆直交変換部１０９−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部１０９と称する。
また、演算部１１０−０乃至演算部１１０−２を互いに区別して説明する必要が無い場合、単に、演算部１１０と称する。さらに、ループフィルタ１１１−０乃至ループフィルタ１１１−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ１１１と称する。また、デコードピクチャバッファ１１２−０乃至デコードピクチャバッファ１１２−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ１１２と称する。さらに、画面内予測部１１３−０乃至画面内予測部１１３−２を互いに区別して説明する必要が無い場合、単に、画面内予測部１１３と称する。また、動き予測・補償部１１４−０乃至動き予測・補償部１１４−２を互いに区別して説明する必要が無い場合、単に、動き予測・補償部１１４と称する。さらに、予測画像選択部１１５−０乃至予測画像選択部１１５−２を互いに区別して説明する必要が無い場合、単に、予測画像選択部１１５と称する。また、レート制御部１１６−０乃至レート制御部１１６−２を互いに区別して説明する必要が無い場合、単に、レート制御部１１６と称する。
V0画像符号化装置１００−０は、さらに、V0動きベクトル圧縮部１２１−０およびV0動きベクトルメモリ１２２−０を有する。V1画像符号化装置１００−１は、さらに、V1動きベクトル圧縮部１２１−１およびV1動きベクトルメモリ１２２−１を有する。V2画像符号化装置１００−２は、さらに、V2動きベクトル圧縮部１２１−２およびV2動きベクトルメモリ１２２−２を有する。
A/D変換部１０１は、入力された画像データ（A/D変換部１０１−０の場合ビュー０の画像データ、A/D変換部１０１−１の場合ビュー１の画像データ、A/D変換部１０１−２の場合ビュー２の画像データ）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１０２に供給し、記憶させる。
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替える。つまり、画面並べ替えバッファ１０２は、POC順に並ぶ各ピクチャを、処理順に並び替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、画面内予測部１１３および動き予測・補償部１１４にも供給する。
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、予測画像選択部１１５を介して画面内予測部１１３若しくは動き予測・補償部１１４から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、画面内予測部１１３から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１４から供給される予測画像を減算する。
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１０４は、その変換係数を量子化部１０５に供給する。
量子化部１０５は、直交変換部１０４から供給される変換係数を量子化する。量子化部１０５は、レート制御部１１６から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
可逆符号化部１０６は、量子化部１０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１６の制御の下で量子化されているので、この符号量は、レート制御部１１６が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部１０６は、イントラ（画面内）予測のモードを示す情報などを画面内予測部１１３から取得し、インター（画面間）予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１１４から取得する。
可逆符号化部１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）のヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
可逆符号化部１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１０７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１０７は、符号化データを伝送する伝送部でもある。
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
逆直交変換部１０９は、逆量子化部１０８から供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
演算部１１０は、逆直交変換部１０９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１１５を介して画面内予測部１１３若しくは動き予測・補償部１１４からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１１１に供給される。
ループフィルタ１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１０６に供給し、それを符号化させるようにすることもできる。
ループフィルタ１１１は、フィルタ処理結果（以下、復号画像と称する）をデコードピクチャバッファ１１２に供給する。また、ループフィルタ１１１は、演算部１１０から供給される再構成画像を、画面内予測部１１３に供給する。
デコードピクチャバッファ１１２は、ループフィルタ１１１から供給される復号画像をそれぞれ記憶する。また、デコードピクチャバッファ１１２は、その画像のビューIDおよびPOCを記憶する。
デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１４等の外部からの要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、当該ビュー用の動き予測・補償部１１４に供給する。
また、デコードピクチャバッファ１１２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１４等の外部からの要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を、次に処理されるビュー用の動き予測・補償部１１４にも供給する。例えば、デコードピクチャバッファ１１２−０は、復号画像を、動き予測・補償部１１４−０および動き予測・補償部１１４−１に供給する。また、例えば、デコードピクチャバッファ１１２−１は、復号画像を、動き予測・補償部１１４−１および動き予測・補償部１１４−２に供給する。ただし、ビュー２は、最後に処理されるビューであるので、デコードピクチャバッファ１１２−２は、復号画像を、動き予測・補償部１１４−２に供給する。
画面内予測部１１３は、ループフィルタ１１１から、処理対象領域（カレントブロック）の周辺に位置する周辺領域（周辺ブロック）の画像を取得すると、その周辺ブロックの画像の画素値を用いて、基本的にプレディクションユニット（PU）を処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。画面内予測部１１３は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
画面内予測部１１３は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。画面内予測部１１３は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１５に供給する。
また、画面内予測部１１３は、最適なイントラ予測モード等、イントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部１０６に供給し、符号化させる。
動き予測・補償部１１４は、カレントブロックについて動き予測を行って動きベクトルを生成し、生成された動きベクトルに応じて補償処理を行ってカレントブロックの予測画像（インター予測画像情報）を生成する。この動き予測・補償処理において、動き予測・補償部１１４は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１４は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１５に供給する。
動き予測・補償部１１４は、デコードピクチャバッファ１１２から取得したデコード画像を用いて、以上のような動き予測・補償処理を行う。
最初に処理されるビューの場合、動き予測・補償部１１４は、当該ビューの画像を記憶するデコードピクチャバッファ１１２から取得したデコード画像を用いて、動き予測・補償処理を行う。例えば、動き予測・補償部１１４−０は、デコードピクチャバッファ１１２−０から取得したデコード画像を用いて、動き予測・補償処理を行う。
２番目以降に処理されるビューの場合、動き予測・補償部１１４は、当該ビューの画像を記憶するデコードピクチャバッファ１１２、および、１つ前に処理されたビューの画像を記憶するデコードピクチャバッファ１１２から取得したデコード画像を用いて、動き予測・補償処理を行う。例えば、動き予測・補償部１１４−１は、デコードピクチャバッファ１１２−０およびデコードピクチャバッファ１１２−１から取得したデコード画像を用いて、動き予測・補償処理を行う。また、例えば、動き予測・補償部１１４−２は、デコードピクチャバッファ１１２−１およびデコードピクチャバッファ１１２−２から取得したデコード画像を用いて、動き予測・補償処理を行う。
また、動き予測・補償部１１４は、インター予測が採用された場合、最適なインター予測モード等、インター予測に関する情報を含むインター予測情報を可逆符号化部１０６に供給し、伝送させる。
動き予測・補償部１１４は、このインター予測情報として、復号側で動き補償を行うために、最適なモードの動きベクトルを伝送させる。実際には、動き予測・補償部１１４は、符号化効率をより向上させるために、動きベクトルの代わりに、動きベクトルと予測動きベクトルとの差分である差分動きベクトルを伝送させる。つまり、動き予測・補償部１１４は、カレントブロックの動きベクトルの予測を行って予測動きベクトルを生成し、カレントブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルを生成する。動き予測・補償部１１４は、この差分動きベクトルをインター予測情報の一部として復号側に伝送させる。
このような動きベクトルの予測において、動き予測・補償部１１４は、カレントブロックの周辺のブロックの動きベクトルを用いて、カレントブロックの予測動きベクトルを生成する。その際、動き予測・補償部１１４は、予測動きベクトルの予測精度をより向上させ、符号化効率をより向上させるために、予測動きベクトルの候補を複数生成し、各候補についてのコスト関数値を求め、それらのコスト関数値に基づいて、その候補の中から最適なものを選択することができる。つまり、動き予測・補償部１１４は、予測動きベクトルの候補を、複数の方法で生成することができる。
例えば、動き予測・補償部１１４は、カレントブロックの、空間的、時間的、および、ビュー間的に周辺のブロックの動きベクトルを参照して、カレントブロックの予測動きベクトルを生成することができる。なお、動き予測・補償部１１４は、この予測動きベクトルとしてどの候補を選択したかを示す情報（つまり、予測動きベクトルのモード情報）をインター予測情報の一部として復号側に伝送させる。
動き予測・補償部１１４は、当該ビューに対応する動きベクトルメモリから、空間的に周辺のブロックの動きベクトルを取得する。例えば、動き予測・補償部１１４−０は、V0動きベクトルメモリ１２２−０から動きベクトルを取得する。また、例えば、動き予測・補償部１１４−１は、V1動きベクトルメモリ１２２−１から動きベクトルを取得する。さらに、例えば、動き予測・補償部１１４−２は、V2動きベクトルメモリ１２２−２から動きベクトルを取得する。
２番目以降に処理されるビューにおいては、動き予測・補償部１１４は、さらに、過去の処理されたビューに対応する動きベクトルメモリから、ビュー間的に周辺のブロックの動きベクトルも取得する。例えば、動き予測・補償部１１４−１は、V0動きベクトルメモリ１２２−０から動きベクトルを取得する。さらに、例えば、動き予測・補償部１１４−２は、V1動きベクトルメモリ１２２−1から動きベクトルを取得する。
これらの動きベクトルは、圧縮されている。つまり、他のレイヤの符号化における動き予測・補償において生成されて圧縮された動きベクトルを用いて、カレントレイヤの符号化における動き予測・補償が行われる。つまり、符号化に必要な記憶容量の増大を抑制することができる。
動き予測・補償部１１４−０は、動き予測・補償処理において生成したカレントブロックの動きベクトル（最適モードの動きベクトル）を、V0動きベクトル圧縮部１２１−０に供給する。また、動き予測・補償部１１４−１は、生成したカレントブロックの動きベクトルを、V1動きベクトル圧縮部１２１−１に供給する。さらに、動き予測・補償部１１４−２は、生成したカレントブロックの動きベクトルを、V2動きベクトル圧縮部１２１−２に供給する。
予測画像選択部１１５は、演算部１０３や演算部１１０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１５は、予測画像の供給元として画面内予測部１１３を選択し、その画面内予測部１１３から供給される予測画像を演算部１０３や演算部１１０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１５は、予測画像の供給元として動き予測・補償部１１４を選択し、その動き予測・補償部１１４から供給される予測画像を演算部１０３や演算部１１０に供給する。
レート制御部１１６は、蓄積バッファ１０７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
V0動きベクトル圧縮部１２１−０は、動き予測・補償部１１４−０から取得した、最高4x4精度の動きベクトル（圧縮前V0動きベクトルとも称する）を、16x16精度に圧縮し（1/16圧縮とも称する）、その圧縮後の動きベクトル（1/16圧縮後V0動きベクトルとも称する）をV0動きベクトルメモリ１２２−０に供給する。
この動きベクトルの圧縮方法は任意である。例えば、V0動きベクトル圧縮部１２１−０が、動き予測・補償部１１４−０から取得した複数の動きベクトルの中から、その代表値とする動きベクトルを選択するようにしてもよい。例えば、4x4精度の１６個の動きベクトル（4x4個の各ブロックの動きベクトル）から、代表値とする動きベクトルが１つ選択されるようにしてもよい。この圧縮により、動きベクトルの精度は、16x16精度となる。
なお、この動きベクトルの選択方法は任意である。例えば左上端のブロック等、所定の位置のブロックの動きベクトルを選択するようにしてもよいし、例えば画像内の位置に応じてブロックを選択する等、所定の方法で定められた位置のブロックの動きベクトルを選択するようにしてもよい。
また、選択する動きベクトルの数は、任意であり、２つ以上であってもよい。
また、V0動きベクトル圧縮部１２１−０は、例えば、各動きベクトルを用いた所定の演算により代表値を算出するようにしてもよい。この代表値の算出方法は、任意である。例えば、各ブロックの動きベクトルの平均値や中央値を代表値としてもよい。なお、算出する代表値の数は、任意であり、２つ以上であってもよい。
以上のように求められた1/16圧縮後V0動きベクトル（動きベクトルの代表値）は、V0動きベクトルメモリ１２２−０に供給され、記憶される。V0動きベクトルメモリ１２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−０に供給する。また、V0動きベクトルメモリ１２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−１に供給する。
V1動きベクトル圧縮部１２１−１は、動き予測・補償部１１４−１から取得した、最高4x4精度の動きベクトル（圧縮前V1動きベクトルとも称する）を1/16圧縮し、その圧縮後の動きベクトル（1/16圧縮後V1動きベクトルとも称する）をV1動きベクトルメモリ１２２−１に供給し、記憶させる。V1動きベクトルメモリ１２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−１に供給する。また、V1動きベクトルメモリ１２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−２に供給する。
V2動きベクトル圧縮部１２１−２は、動き予測・補償部１１４−２から取得した、最高4x4精度の動きベクトル（圧縮前V2動きベクトルとも称する）を1/16圧縮し、その圧縮後の動きベクトル（1/16圧縮後V2動きベクトルとも称する）をV2動きベクトルメモリ１２２−２に供給し、記憶させる。V2動きベクトルメモリ１２２−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部１１４−２に供給する。
なお、V1動きベクトル圧縮部１２１−１およびV2動きベクトル圧縮部１２１−２による動きベクトルの圧縮方法は、V0動きベクトル圧縮部１２１−０の場合と同様であるので、その説明は省略する。
V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２は、所定の単位毎に、以上のような動きベクトルの圧縮を行う。例えば、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２が、LCU毎に、以上のような動きベクトルの圧縮を行うようにしてもよい。なお、この処理単位は、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２において統一されていてもよいし、統一されていなくてもよい。また、この処理単位がシーケンス中において可変としても良い。
さらに、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２のそれぞれによる、動きベクトルの圧縮方法は、互いに同一であっても良いし、同一でなくてもよい。
以上のように、V0動きベクトル圧縮部１２１−０、V1動きベクトル圧縮部１２１−１、およびV2動きベクトル圧縮部１２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0動きベクトルメモリ１２２−０、V1動きベクトルメモリ１２２−１、およびV2動きベクトルメモリ１２２−２の容量を低減させることができる。
また、上述したように、動き予測・補償部１１４は、V0動きベクトルメモリ１２２−０、V1動きベクトルメモリ１２２−１、およびV2動きベクトルメモリ１２２−２に格納された動きベクトルを、TMVP用の動きベクトルとして参照するだけでなく、IVMP用の動きベクトルとして参照することができる。このようにTMVP用の動きベクトルとIVMP用の動きベクトルとを共通化することにより、符号化に必要な記憶容量を低減させることができる。また、動きベクトルの圧縮による負荷の増大を抑制することができる。これにより、画像符号化装置１００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
＜符号化処理の流れ＞
次に、以上のような画像符号化装置１００により実行される処理の流れについて説明する。図９のフローチャートを参照して、画像符号化装置１００による符号化処理の流れの例を説明する。
符号化処理が開始されると、V0画像符号化装置１００−０は、カレントピクチャについて、ステップＳ１００１において、V0符号化処理を行う。ステップＳ１００２において、V1画像符号化装置１００−１は、カレントピクチャについて、V1符号化処理を行う。ステップＳ１００３において、V2画像符号化装置１００−２は、カレントピクチャについて、V2符号化処理を行う。
ステップＳ１００４において、画像符号化装置１００は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップＳ１００１に戻し、それ以降の処理を繰り返す。
各ピクチャについて、ステップＳ１００１乃至ステップＳ１００４の処理が繰り返され、ステップＳ１００４において、全てのピクチャが処理されたと判定された場合、画像符号化装置１００は、符号化処理を終了する。
＜V0符号化処理の流れ＞
次に、図１０のフローチャートを参照して、図９のステップＳ１００１において実行される、ビュー０の符号化を行うV0符号化処理の流れの例を説明する。
ステップＳ１１０１においてA/D変換部１０１−０は、入力された画像をA/D変換する。ステップＳ１１０２において、画面並べ替えバッファ１０２−０は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップＳ１１０３において、画面内予測部１１３−０は、イントラ予測モードのイントラ予測処理を行う。
ステップＳ１１０４において、動き予測・補償部１１４−０は、インター予測モードでの動き予測や動き補償を行うV0インター動き予測処理を行う。
ステップＳ１１０５において、予測画像選択部１１５−０は、画面内予測部１１３−０により生成された予測画像と、動き予測・補償部１１４−０により生成された予測画像のいずれか一方を選択する。
ステップＳ１１０６において、V0動きベクトル圧縮部１２１−０は、ステップＳ１１０４の処理により生成されたビュー０のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、16x16精度に圧縮する（1/16圧縮）。この1/16圧縮は、例えば、LCU（例えば16x16画素）毎に行われる。例えば、V0動きベクトル圧縮部１２１−０は、16x16画素の左上端のブロックのV0動きベクトルを、この16x16画素の代表値（すなわち16x16精度のV0動きベクトル）として選択する。
ステップＳ１１０７において、V0動きベクトルメモリ１２２−０は、ステップＳ１１０６の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
ステップＳ１１０８において、演算部１０３−０は、ステップＳ１１０２の処理により並び替えられた画像から、ステップＳ１１０５の処理により選択された予測画像を減算する。この演算により得られる差分データ（ステップＳ１１０２の処理により並び替えられた画像と、ステップＳ１１０５の処理により選択された予測画像との差分画像のデータ）は、元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ１１０９において、直交変換部１０４−０は、ステップＳ１１０８の処理により生成された差分データに対する直交変換処理を行う。
ステップＳ１１１０において、量子化部１０５−０は、レート制御部１１６−０により算出された量子化パラメータを用いて、ステップＳ１１０９の処理により得られた直交変換係数を量子化する。
ステップＳ１１１１において、可逆符号化部１０６−０は、ステップＳ１１１０の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部１０６−０は、ステップＳ１１０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６−０は、画面内予測部１１３−０から供給される最適イントラ予測モード情報、または、動き予測・補償部１１４−０から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
ステップＳ１１１２において蓄積バッファ１０７−０は、ステップＳ１１１１の処理により得られた符号化データを蓄積する。蓄積バッファ１０７−０に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ１１１０の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１１１３において、逆量子化部１０８−０は、ステップＳ１１１０の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５−０の特性に対応する特性で逆量子化する。ステップＳ１１１４において、逆直交変換部１０９−０は、ステップＳ１１１３の処理により得られた直交変換係数を、直交変換部１０４−０の特性に対応する特性で逆直交変換する。これにより差分画像が復元される。
ステップＳ１１１５において、演算部１１０−０は、ステップＳ１１０５において選択された予測画像を、ステップＳ１１１４において復元された差分画像に加算し、局部的に復号された復号画像（再構成画像）を生成する。
V0画像符号化装置１００−０は、処理対象であるカレントLCU内の各ブロックについて、ステップＳ１１０３乃至ステップＳ１１１５の各処理を行う。ステップＳ１１１６において、V0画像符号化装置１００−０は、全てのLCUを処理したか否かを判定する。未処理のLCUが存在すると判定した場合、処理は、ステップＳ１１０３に戻り、それ以降の処理を繰り返す。カレントピクチャのビュー０の画像の各LCUについて、ステップＳ１１０３乃至ステップＳ１１１５の各処理が実行され、ステップＳ１１１６において、全てのLCUが処理されたと判定された場合、処理は、ステップＳ１１１７に進む。
ステップＳ１１１７において、ループフィルタ１１１−０は、ステップＳ１１１５の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。
ステップＳ１１１８において、デコードピクチャバッファ１１２−０は、ステップＳ１１１７の処理により生成された復号画像を記憶する。
ステップＳ１１１９においてレート制御部１１６−０は、ステップＳ１１１８の処理により蓄積バッファ１０７−０に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１０５−０の量子化動作のレートを制御する。また、レート制御部１１６−０は、量子化パラメータに関する情報を、量子化部１０５−０に供給する。
ステップＳ１１１９の処理が終了すると、V0符号化処理が終了し、処理は図９に戻る。
＜V0インター動き予測処理の流れ＞
次に、図１０のステップＳ１１０４において実行されるV0インター動き予測処理の流れの例を、図１１のフローチャートを参照して説明する。
V0インター動き予測処理が開始されると、動き予測・補償部１１４−０は、ステップＳ１１３１において、動き探索処理を行い、カレントブロックの動きベクトルを生成する。
ステップＳ１１３２において、動き予測・補償部１１４−０は、ピクチャ内の圧縮前V0動きベクトルを用いて、空間予測動きベクトル候補を決定する。空間予測動きベクトル候補とは、カレントブロックの空間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部１１４−０は、カレントブロックの空間的に周辺のブロックのV0動きベクトルを用いて空間予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャ内の動きベクトルであるので、動き予測・補償部１１４−０により非圧縮（最高4x4精度）の状態で保持されている。したがって、動き予測・補償部１１４−０は、その圧縮前V0動きベクトルを用いて、空間予測動きベクトル候補を決定する。
ステップＳ１１３３において、動き予測・補償部１１４−０は、他のピクチャの1/16圧縮後V0動きベクトルを用いて、時間予測動きベクトル候補を決定する。時間予測動きベクトル候補とは、カレントブロックの時間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部１１４−０は、カレントブロックの時間的に周辺のピクチャのコロケーテッドブロックのV0動きベクトルを用いて時間予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャとは同一ビューの異なるピクチャ内の動きベクトルであるので、圧縮された（16x16精度）の状態でV0動きベクトルメモリ１２２−０に保持されている。したがって、動き予測・補償部１１４−０は、V0動きベクトルメモリ１２２−０から、その1/16圧縮後V0動きベクトルを読み出し、それを用いて時間予測動きベクトル候補を決定する。
ビュー０は、最初に処理されるビューであるので、ビュー間の相関性を利用した予測動きベクトル候補の生成は行われない。
ステップＳ１１３４において、動き予測・補償部１１４−０は、ステップＳ１１３２およびステップＳ１１３３において生成された各候補について、コスト関数値を算出する。
ステップＳ１１３５において、動き予測・補償部１１４−０は、ステップＳ１１３４において算出された各コスト関数値に基づいて、最適な予測モードを判定する。このとき、動き予測・補償部１１４−０は、予測動きベクトル（のモード）も決定する。
ステップＳ１１３６において、動き予測・補償部１１４−０は、ステップＳ１１３５において判定された最適なモードで動き補償を行い、予測画像を生成する。また、動き予測・補償部１１４−０は、最適なインター予測モード、差分動きベクトル、予測動きベクトルのモード等を含むインター予測情報を生成する。
ステップＳ１１３７において、動き予測・補償部１１４−０は、最適モードの動きベクトルを圧縮前V0動きベクトルとしてバッファに記憶する。ステップＳ１１３７の処理が終了すると、V0インター動き予測処理が終了し、処理は、図１０に戻る。
＜V1符号化処理の流れ＞
次に、図１２のフローチャートを参照して、図９のステップＳ１００２において実行される、ビュー１の符号化を行うV1符号化処理の流れの例を説明する。
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、インター動き予測処理にある。したがって、図１２に示されるように、V1符号化処理は、V1画像符号化装置１００−１によって、ビュー０に対する符号化処理（図１０のV0符号化処理）の場合と基本的に同様に実行される。つまり、図１２のステップＳ１２０１乃至ステップＳ１２１９の各処理は、図１０のステップＳ１１０１乃至ステップＳ１１１９の各処理と基本的に同様に実行される。したがって、図１２の説明は、図１０の説明におけるV0画像符号化装置１００−０の各部をV1画像符号化装置１００−１の各部に置き換え、図１０においてビュー０に対する処理との説明を、ビュー１に対する処理に置き換えるだけでよいので、その説明は省略する。
＜V1インター動き予測処理の流れ＞
次に、図１２のステップＳ１２０４において実行されるV1インター動き予測処理の流れの例を、図１３のフローチャートを参照して説明する。
V1インター動き予測処理が開始されると、ステップＳ１２３１乃至ステップＳ１２３３の各処理は、図１１のステップＳ１１３１乃至ステップＳ１１３３の各処理と基本的に同様に実行される。ただし、V1インター動き予測処理は、動き予測・補償部１１４−１が実行する。また、図１３の各処理は、ビュー１に対して行われるので、ステップＳ１２３２においては、非圧縮のビュー１の動きベクトルである圧縮前V1動きベクトルが用いられる。また、ステップＳ１２３３においては、1/16圧縮された1/16圧縮後V1動きベクトルが用いられる。
ビュー１に対するインター動き予測処理においては、空間予測による候補と時間予測による候補の生成に加えて、ビュー間の相関性を利用した予測動きベクトル候補（IVMPによる候補）の生成も行われる。
つまり、ステップＳ１２３４において、動き予測・補償部１１４−１は、1/16圧縮後V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。IVMP予測動きベクトル候補とは、カレントブロックのビュー間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部１１４−１は、カレントブロックと同一ピクチャの異なるビューの画像のコロケーテッドブロックのV0動きベクトルを用いてIVMP予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャと同一のピクチャの異なるビューの動きベクトルであるので、圧縮された（16x16精度）の状態でV0動きベクトルメモリ１２２−０に保持されている。したがって、動き予測・補償部１１４−１は、V0動きベクトルメモリ１２２−０から、その1/16圧縮後V0動きベクトルを読み出し、それを用いてビュー間予測動きベクトル候補を決定する。
ステップＳ１２３５乃至ステップＳ１２３８の各処理は、図１１のステップＳ１１３４乃至ステップＳ１１３７の各処理と同様に実行される。ステップＳ１２３８の処理が終了すると、V1インター動き予測処理が終了し、処理は、図１２に戻る。
＜V2符号化処理の流れ＞
次に、図１４のフローチャートを参照して、図９のステップＳ１００３において実行される、ビュー２の符号化を行うV2符号化処理の流れの例を説明する。
ビュー２に対する処理は、ビュー１に対する処理と同様に実行される。したがって、図１４に示されるように、V2符号化処理は、V2画像符号化装置１００−２によって、ビュー１に対する符号化処理（図１２のV1符号化処理）の場合と基本的に同様に実行される。つまり、図１４のステップＳ１３０１乃至ステップＳ１３１９の各処理は、図１２のステップＳ１２０１乃至ステップＳ１２１９の各処理と基本的に同様に実行される。したがって、図１４の説明は、図１２の説明におけるV1画像符号化装置１００−１の各部をV2画像符号化装置１００−２の各部に置き換え、図１２においてビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
＜V2インター動き予測処理の流れ＞
次に、図１４のステップＳ１３０４において実行されるV2インター動き予測処理の流れの例を、図１５のフローチャートを参照して説明する。
図１５に示されるように、V2インター動き予測処理は、動き予測・補償部１１４−２によって、ビュー１に対するインター動き予測処理（図１３のV1インター動き予測処理）の場合と基本的に同様に実行される。つまり、図１５のステップＳ１３３１乃至ステップＳ１３３８の各処理は、図１３のステップＳ１２３１乃至ステップＳ１２３８の各処理と基本的に同様に実行される。
ただし、ステップＳ１３３２においては、非圧縮のビュー２の動きベクトルである圧縮前V2動きベクトルが用いられる。また、ステップＳ１３３３においては、1/16圧縮された1/16圧縮後V2動きベクトルが用いられる。さらに、ステップＳ１３３４においては、1/16圧縮された1/16圧縮後V1動きベクトルが用いられる。
ステップＳ１３３８の処理が終了すると、V2インター動き予測処理が終了し、処理は、図１４に戻る。
以上のように各処理を実行することにより、画像符号化装置１００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜画像復号装置＞
次に、以上のように符号化された符号化データ（符号化ストリーム）の復号について説明する。図１６は、V0画像復号装置の主な構成例を示すブロック図である。図１７は、V1画像復号装置の主な構成例を示すブロック図である。図１８は、V2画像復号装置の主な構成例を示すブロック図である。
図示せぬ画像復号装置２００は、画像符号化装置１００により符号化された、図２に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置２００は、多視点画像の各ビューの符号化データを復号するために、図１６のV0画像復号装置２００−０、図１７のV1画像復号装置２００−１、および図１８のV2画像復号装置２００−２を有する。V0画像復号装置２００−０は、V0画像符号化装置１００−０により符号化されたビュー０の画像の符号化データを復号する。V1画像復号装置２００−１は、V1画像符号化装置１００−１により符号化されたビュー１の画像の符号化データを復号する。V2画像復号装置２００−２は、V2画像符号化装置１００−２により符号化されたビュー２の画像の符号化データを復号する。
図１６に示されるように、V0画像復号装置２００−０は、蓄積バッファ２０１−０、可逆復号部２０２−０、逆量子化部２０３−０、逆直交変換部２０４−０、演算部２０５−０、ループフィルタ２０６−０、画面並べ替えバッファ２０７−０、およびD/A変換部２０８−０を有する。また、V0画像復号装置２００−０は、デコードピクチャバッファ２０９−０、画面内予測部２１０−０、動き補償部２１１−０、および選択部２１２−０を有する。
また、図１７に示されるように、V1画像復号装置２００−１は、蓄積バッファ２０１−１、可逆復号部２０２−１、逆量子化部２０３−１、逆直交変換部２０４−１、演算部２０５−１、ループフィルタ２０６−１、画面並べ替えバッファ２０７−１、およびD/A変換部２０８−１を有する。また、V1画像復号装置２００−１は、デコードピクチャバッファ２０９−１、画面内予測部２１０−１、動き補償部２１１−１、および選択部２１２−１を有する。
さらに、図１８に示されるように、V2画像復号装置２００−２は、蓄積バッファ２０１−２、可逆復号部２０２−２、逆量子化部２０３−２、逆直交変換部２０４−２、演算部２０５−２、ループフィルタ２０６−２、画面並べ替えバッファ２０７−２、およびD/A変換部２０８−２を有する。また、V2画像復号装置２００−２は、デコードピクチャバッファ２０９−２、画面内予測部２１０−２、動き補償部２１１−２、および選択部２１２−２を有する。
以下において、蓄積バッファ２０１−０乃至蓄積バッファ２０１−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ２０１と称する。また、可逆復号部２０２−０乃至可逆復号部２０２−２を互いに区別して説明する必要が無い場合、単に、可逆復号部２０２と称する。さらに、逆量子化部２０３−０乃至逆量子化部２０３−２を互いに区別して説明する必要が無い場合、単に、逆量子化部２０３と称する。また、逆直交変換部２０４−０乃至逆直交変換部２０４−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部２０４と称する。さらに、演算部２０５−０乃至演算部２０５−２を互いに区別して説明する必要が無い場合、単に、演算部２０５と称する。
また、ループフィルタ２０６−０乃至ループフィルタ２０６−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ２０６と称する。さらに、画面並べ替えバッファ２０７−０乃至画面並べ替えバッファ２０７−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ２０７と称する。また、D/A変換部２０８−０乃至D/A変換部２０８−２を互いに区別して説明する必要が無い場合、単に、D/A変換部２０８と称する。さらに、デコードピクチャバッファ２０９−０乃至デコードピクチャバッファ２０９−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ２０９と称する。
また、画面内予測部２１０−０乃至画面内予測部２１０−２を互いに区別して説明する必要が無い場合、単に、画面内予測部２１０と称する。さらに、動き補償部２１１−０乃至動き補償部２１１−２を互いに区別して説明する必要が無い場合、単に、動き補償部２１１と称する。また、選択部２１２−０乃至選択部２１２−２を互いに区別して説明する必要が無い場合、単に、選択部２１２と称する。
V0画像復号装置２００−０は、さらに、V0動きベクトル圧縮部２２１−０およびV0動きベクトルメモリ２２２−０を有する。V1画像復号装置２００−１は、さらに、V1動きベクトル圧縮部２２１−１およびV1動きベクトルメモリ２２２−１を有する。V2画像復号装置２００−２は、さらに、V2動きベクトル圧縮部２２１−２およびV2動きベクトルメモリ２２２−２を有する。
蓄積バッファ２０１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ２０１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部２０２に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部２０２は、蓄積バッファ２０１から供給された、可逆符号化部１０６（図６乃至図８）により符号化された情報を、可逆符号化部１０６の符号化方式に対応する方式で復号する。可逆復号部２０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部２０３に供給する。
また、可逆復号部２０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、画面内予測部２１０および動き補償部２１１の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報が画面内予測部２１０に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部２１１に供給される。
さらに、可逆復号部２０２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部２０３に供給する。
逆量子化部２０３は、可逆復号部２０２により復号されて得られた量子化された係数データを、量子化部１０５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部２０３は、逆量子化部１０８と同様の処理部である。つまり、逆量子化部２０３の説明は、逆量子化部１０８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
逆量子化部２０３は、得られた係数データを逆直交変換部２０４に供給する。
逆直交変換部２０４は、逆量子化部２０３から供給される直交変換係数を、直交変換部１０４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部２０４は、逆直交変換部１０９と同様の処理部である。つまり、逆直交変換部２０４の説明は、逆直交変換部１０９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
逆直交変換部２０４は、この逆直交変換処理により、画像符号化装置１００において直交変換される前の残差データ（差分画像）に対応する復号残差データ（差分画像）を得る。逆直交変換されて得られた差分画像は、演算部２０５に供給される。また、演算部２０５には、選択部２１２を介して、画面内予測部２１０若しくは動き補償部２１１から予測画像が供給される。
演算部２０５は、その差分画像と予測画像とを加算し、演算部１０３により予測画像が減算される前の画像データに対応する再構成画像を得る。演算部２０５は、その再構成画像をループフィルタ２０６に供給する。
ループフィルタ２０６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ２０６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ２０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ２０６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ２０６が、画像符号化装置１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
ループフィルタ２０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ２０７およびデコードピクチャバッファ２０９に供給する。また、ループフィルタ２０６は、演算部２０５の出力（再構成画像）を、フィルタ処理せずに、画面内予測部２１０に供給する。例えば、画面内予測部２１０は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。
画面並べ替えバッファ２０７は、供給された復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
デコードピクチャバッファ２０９は、供給される復号画像（並びに、その画像のビューIDおよびPOC）を記憶する。また、デコードピクチャバッファ２０９は、所定のタイミングにおいて、若しくは、動き補償部２１１等の外部の要求に基づいて、記憶している復号画像（並びに、その画像のビューIDおよびPOC）を動き補償部２１１に供給する。
画面内予測部２１０は、画面内予測部１１３と基本的に同様の処理を行う。ただし、画面内予測部２１０は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。画面内予測部２１０は、予測処理単位の領域毎に、生成した予測画像を、選択部２１２を介して演算部２０５に供給する。
動き補償部２１１は、可逆復号部２０２から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対して、符号化の際に採用されたインター予測モードで動き補償を行い、予測画像を生成する。動き補償部２１１は、予測処理単位の領域毎に、生成した予測画像を、選択部２１２を介して演算部２０５に供給する。
動き補償部２１１は、デコードピクチャバッファ２０９から取得したデコード画像を用いて、以上のような動き補償処理を行う。
最初に処理されるビューの場合、動き補償部２１１は、当該ビューの画像を記憶するデコードピクチャバッファ２０９から取得したデコード画像を用いて、動き補償処理を行う。例えば、動き補償部２１１−０は、デコードピクチャバッファ２０９−０から取得したデコード画像を用いて、動き補償処理を行う。
２番目以降に処理されるビューの場合、動き補償部２１１は、当該ビューの画像を記憶するデコードピクチャバッファ２０９、および、１つ前に処理されたビューの画像を記憶するデコードピクチャバッファ２０９から取得したデコード画像を用いて、動き補償処理を行う。例えば、動き補償部２１１−１は、デコードピクチャバッファ２０９−０およびデコードピクチャバッファ２０９−１から取得したデコード画像を用いて、動き補償処理を行う。また、例えば、動き補償部２１１−２は、デコードピクチャバッファ２０９−１およびデコードピクチャバッファ２０９−２から取得したデコード画像を用いて、動き補償処理を行う。
動き補償部２１１は、インター予測情報として符号化側から伝送された差分動きベクトルから、カレントブロックの動きベクトルを再構築する。その際、動き補償部２１１は、可逆復号部２０２から供給されるインター予測情報に基づいて、動き予測・補償部１１４と同様の方法（モード）でカレントブロックの動きベクトルの予測を行い、予測動きベクトルを生成する。動き補償部２１１は、差分動きベクトルに予測動きベクトルを加算することにより、カレントブロックの動きベクトルを再構築する。
つまり、動き補償部２１１は、カレントブロックの、空間的、時間的、若しくはビュー間的に周辺のブロックの動きベクトルを参照して、カレントブロックの予測動きベクトルを生成する。
空間的に周辺のブロックの動きベクトルは、動き補償部２１１により保持されている。また、時間的に周辺のブロックの動きベクトルを参照する場合、動き補償部２１１は、当該ビューに対応する動きベクトルメモリから動きベクトルを取得する。例えば、動き補償部２１１−０は、V0動きベクトルメモリ２２２−０から時間的に周辺のブロックの動きベクトルを取得する。また、例えば、動き補償部２１１−１は、V1動きベクトルメモリ２２２−１から時間的に周辺のブロックの動きベクトルを取得する。さらに、例えば、動き補償部２１１−２は、V2動きベクトルメモリ２２２−２から時間的に周辺のブロックの動きベクトルを取得する。
また、ビュー的に周辺のブロックの動きベクトルを参照する場合、動き補償部２１１は、過去に処理されたビューに対応する動きベクトルメモリから動きベクトルを取得する。例えば、動き補償部２１１−１は、V0動きベクトルメモリ２２２−０からビュー間的に周辺のブロックの動きベクトルを取得する。さらに、例えば、動き補償部２１１−２は、V1動きベクトルメモリ２２２−1からビュー間的に周辺のブロックの動きベクトルを取得する。
これらの動きベクトルメモリから取得する動きベクトルは、1/16圧縮されている。つまり、他のレイヤの復号における動き補償において再構築されて圧縮された動きベクトルを用いて、カレントレイヤの復号における動き補償が行われる。つまり、復号に必要な記憶容量の増大を抑制することができる。
動き補償部２１１は、動き予測・補償処理において生成したカレントブロックの動きベクトル（最適モードの動きベクトル）を、V0動きベクトル圧縮部２２１−０に供給する。また、動き補償部２１１−１は、生成したカレントブロックの動きベクトルを、V1動きベクトル圧縮部２２１−１に供給する。さらに、動き補償部２１１−２は、生成したカレントブロックの動きベクトルを、V2動きベクトル圧縮部２２１−２に供給する。
選択部２１２は、画面内予測部２１０から供給される予測画像、若しくは、動き補償部２１１から供給される予測画像を演算部２０５に供給する。
V0動きベクトル圧縮部２２１−０は、動き補償部２１１−０から取得した、最高4x4精度の圧縮前V0動きベクトルを、16x16精度に1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ２２２−０に供給する。
この動きベクトルの圧縮方法は、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意である。例えば、複数のブロックの動きベクトルの中からそれらの代表値とする動きベクトルを選択することにより、動きベクトルを圧縮する場合、この動きベクトルの選択方法は、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意である。さらに、選択する動きベクトルの数も、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意であり、２つ以上であってもよい。
また、例えば、複数のブロックの動きベクトルを用いて所定の演算を行い、それらの代表値を算出することにより、動きベクトルを圧縮する場合、この代表値の算出方法は、V0動きベクトル圧縮部１２１−０と同一の方法である限り、任意である。
以上のように求められた1/16圧縮後V0動きベクトル（動きベクトルの代表値）は、V0動きベクトルメモリ２２２−０に供給され、記憶される。V0動きベクトルメモリ２２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部２１１−０に供給する。また、V0動きベクトルメモリ２２２−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部２１１−１に供給する。
V1動きベクトル圧縮部２２１−１は、動き補償部２１１−１から取得した圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ２２２−１に供給し、記憶させる。V1動きベクトルメモリ２２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部２１１−１に供給する。また、V1動きベクトルメモリ２２２−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部２１１−２に供給する。
V2動きベクトル圧縮部２２１−２は、動き補償部２１１−２から取得した圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ２２２−２に供給し、記憶させる。V2動きベクトルメモリ２２２−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部２１１−２に供給する。
なお、V1動きベクトル圧縮部２２１−１およびV2動きベクトル圧縮部２２１−２による動きベクトルの圧縮方法は、V0動きベクトル圧縮部２２１−０の場合と同様であるので、その説明は省略する。
V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２は、所定の単位毎に、以上のような動きベクトルの圧縮を行う。例えば、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２が、LCU毎に、以上のような動きベクトルの圧縮を行うようにしてもよい。なお、この処理単位は、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２において統一されていてもよいし、統一されていなくてもよい。また、この処理単位がシーケンス中において可変としても良い。
さらに、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２のそれぞれによる、動きベクトルの圧縮方法は、互いに同一であっても良いし、同一でなくてもよい。
以上のように、V0動きベクトル圧縮部２２１−０、V1動きベクトル圧縮部２２１−１、およびV2動きベクトル圧縮部２２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0動きベクトルメモリ２２２−０、V1動きベクトルメモリ２２２−１、およびV2動きベクトルメモリ２２２−２の容量を低減させることができる。
また、上述したように、動き補償部２１１は、V0動きベクトルメモリ２２２−０、V1動きベクトルメモリ２２２−１、およびV2動きベクトルメモリ２２２−２に格納された動きベクトルを、TMVP用の動きベクトルとして参照するだけでなく、IVMP用の動きベクトルとして参照することができる。このようにTMVP用の動きベクトルとIVMP用の動きベクトルとを共通化することにより、符号化に必要な記憶容量を低減させることができる。また、動きベクトルの圧縮による負荷の増大を抑制することができる。これにより、画像復号装置２００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
＜復号処理の流れ＞
次に、以上のような画像復号装置２００により実行される処理の流れについて説明する。図１９のフローチャートを参照して、画像復号装置２００による復号処理の流れの例を説明する。
復号処理が開始されると、カレントピクチャについて、V0画像復号装置２００−０は、ステップＳ１４０１においてV0復号処理を行い、V1画像復号装置２００−１は、ステップＳ１４０２においてV1復号処理を行い、V2画像復号装置２００−２は、ステップＳ１４０３においてV2復号処理を行う。
ステップＳ１４０４において、画像復号装置２００は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップＳ１４０１に戻し、それ以降の処理を繰り返す。
各ピクチャについて、ステップＳ１４０１乃至ステップＳ１４０４の処理が繰り返され、ステップＳ１４０４において、全てのピクチャが処理されたと判定された場合、画像復号装置２００は、復号処理を終了する。
＜V0復号処理の流れ＞
次に、図２０のフローチャートを参照して、図１９のステップＳ１４０１において実行される、ビュー０の符号化データを復号するV0復号処理の流れの例を説明する。
V0復号処理が開始されると、ステップＳ１５０１において、蓄積バッファ２０１−０は、伝送されてきたビュー０のビットストリームを蓄積する。ステップＳ１５０２において、可逆復号部２０２−０は、蓄積バッファ２０１−０から供給されるビュー０のビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１０６−０により符号化されたビュー０の各ピクチャ（Ｉピクチャ、Ｐピクチャ、並びにＢピクチャ）が復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。
ステップＳ１５０３において、逆量子化部２０３−０は、ステップＳ１５０３の処理により得られた、量子化された係数を逆量子化する。
ステップＳ１５０４において、逆直交変換部２０４−０は、ステップＳ１５０３の処理により逆量子化された係数を必要に応じて逆直交変換する。
ステップＳ１５０５において、可逆復号部２０２−０は、符号化の際に適用された予測モードがインター予測か否かを判定する。インター予測であると判定された場合、処理は、ステップＳ１５０６に進む。
ステップＳ１５０６において、動き補償部２１１−０は、V0動き補償処理を行い、予測画像を生成する。ステップＳ１５０６の処理が終了すると、処理はステップＳ１５０８に進む。また、ステップＳ１５０５において、イントラ予測であると判定された場合、処理は、ステップＳ１５０７に進む。ステップＳ１５０７において、画面内予測部２１０−０は、イントラ予測処理を行い、予測画像を生成する。ステップＳ１５０７の処理が終了すると、処理はステップＳ１５０８に進む。
ステップＳ１５０８において、演算部２０５−０は、ステップＳ１５０４の処理において逆直交変換されて得られた差分画像情報に、ステップＳ１５０６の処理若しくはステップＳ１５０７の処理により生成された予測画像を加算する。これにより再構成画像が生成される。
ステップＳ１５０９において、V0動きベクトル圧縮部２２１−０は、V0動きベクトル圧縮部１２１−０の場合と同様に、ステップＳ１５０６の処理により生成された圧縮前V0動きベクトルを1/16圧縮する。ステップＳ１５１０において、V0動きベクトルメモリ２２２−０は、V0動きベクトルメモリ１２２−０の場合と同様に、ステップＳ１５０９の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
V0画像復号装置２００−０は、処理対象であるカレントLCU内の各ブロックについて、ステップＳ１５０１乃至ステップＳ１５１０の各処理を行う。ステップＳ１５１１において、V0画像復号装置２００−０は、全てのLCUを処理したか否かを判定する。未処理のLCUが存在すると判定した場合、処理は、ステップＳ１５０１に戻り、それ以降の処理を繰り返す。カレントピクチャのビュー０の画像の各LCUについて、ステップＳ１５０１乃至ステップＳ１５１０の各処理が実行され、ステップＳ１５１１において、全てのLCUが処理されたと判定された場合、処理は、ステップＳ１５１２に進む。
ステップＳ１５１２において、ループフィルタ２０６−０は、ステップＳ１５０８において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
ステップＳ１５１３において、画面並べ替えバッファ２０７−０は、ステップＳ１５１２においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画面並べ替えバッファ１０２−０により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ１５１４において、D/A変換部２０８−０は、フレームの順序が並べ替えられたビュー０の復号画像をD/A変換する。この復号画像が図示せぬディスプレイに出力され、表示される。
ステップＳ１５１５において、デコードピクチャバッファ２０９−０は、ステップＳ１５１２においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。
ステップＳ１５１５の処理が終了すると、復号処理が終了し、処理は、図１９に戻る。
＜V0動き補償処理の流れ＞
次に、図２０のステップＳ１５０６において実行されるV0動き補償処理の流れの例を、図２１のフローチャートを参照して説明する。
V0動き補償処理が開始されると、ステップＳ１５３１において、動き補償部２１１−０は、差分動き情報（差分動きベクトル）を取得する。ステップＳ１５３２において、動き補償部２１１−０は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップＳ１５３３に進む。
ステップＳ１５３３において、動き補償部２１１−０は、ピクチャ内の圧縮前V0動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１５３５に進む。
また、ステップＳ１５３２において、空間予測でないと判定された場合、処理は、ステップＳ１５３４に進む。
ステップＳ１５３４において、動き補償部２１１−０は、他のピクチャ内の1/16圧縮後V0動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１５３５に進む。
ステップＳ１５３５において、動き補償部２１１−０は、ステップＳ１５３３若しくはステップＳ１５３４の処理により生成された予測動きベクトルを用いて、動きベクトルを再構築する。
ステップＳ１５３６において、動き補償部２１１−０は、動き補償を行い、予測画像を生成する。なお、動き補償部２１１−０は、再構築された動きベクトルを記憶する。ステップＳ１５３６の処理が終了すると、V0動き補償処理が終了し、処理は、図２０に戻る。
＜V1復号処理の流れ＞
次に、図２２のフローチャートを参照して、図１９のステップＳ１４０２において実行される、ビュー１の符号化データを復号するV1復号処理の流れの例を説明する。
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、動き補償処理にある。したがって、図２２に示されるように、V1復号処理は、V1画像復号装置２００−１によって、ビュー０に対する復号処理（図２０のV0復号処理）の場合と基本的に同様に実行される。つまり、図２２のステップＳ１６０１乃至ステップＳ１６１５の各処理は、図２０のステップＳ１５０１乃至ステップＳ１５１５の各処理と基本的に同様に実行される。したがって、図２２の説明は、図２０の説明におけるV0画像復号装置２００−０の各部をV1画像復号装置２００−１の各部に置き換え、図２０におけるビュー０に対する処理との説明を、ビュー１に対する処理に置き換えるだけでよいので、その説明は省略する。
＜V1動き補償処理の流れ＞
次に、図２２のステップＳ１６０６において実行されるV1動き補償処理の流れの例を、図２３のフローチャートを参照して説明する。
V1動き補償処理が開始されると、ステップＳ１６３１において、動き補償部２１１−１は、差分動き情報（差分動きベクトル）を取得する。ステップＳ１６３２において、動き補償部２１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップＳ１６３３に進む。
ステップＳ１６３３において、動き補償部２１１−１は、ピクチャ内の圧縮前V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１６３５に進む。
また、ステップＳ１６３２において、空間予測でないと判定された場合、処理は、ステップＳ１６３４に進む。
ビュー１の場合、最初に処理されるビューではないので、予測動きベクトルのモードがビュー間予測（IVMP）である可能性もある。
ステップＳ１６３４において、動き補償部２１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが時間予測であるか否かを判定する。時間予測であると判定された場合、処理は、ステップＳ１６３５に進む。
ステップＳ１６３５において、動き補償部２１１−１は、他のピクチャ内の1/16圧縮後V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１６３７に進む。
また、ステップＳ１６３４において、時間予測でないと判定された場合、処理は、ステップＳ１６３６に進む。
ステップＳ１６３６において、動き補償部２１１−１は、1/16圧縮後V0動きベクトル（ビュー０の画像のコロケーテッドブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ１６３７に進む。
ステップＳ１６３７において、動き補償部２１１−１は、ステップＳ１６３３、ステップＳ１６３５、若しくはステップＳ１６３６において生成された予測動きベクトルを用いて、動きベクトルを再構築する。
ステップＳ１６３８において、動き補償部２１１−１は、動き補償を行い、予測画像を生成する。なお、動き補償部２１１−１は、ステップＳ１６３７において再構築された動きベクトルを記憶する。ステップＳ１６３８の処理が終了すると、V1動き補償処理が終了し、処理は、図２２に戻る。
＜V2復号処理の流れ＞
次に、図２４のフローチャートを参照して、図１９のステップＳ１４０３において実行される、ビュー２の符号化データを復号するV2復号処理の流れの例を説明する。
ビュー１に対する処理と、ビュー２に対する処理の違いは、主に、動き補償処理にある。したがって、図２４に示されるように、V2復号処理は、V2画像復号装置２００−２によって、ビュー１に対する復号処理（図２２のV1復号処理）の場合と基本的に同様に実行される。つまり、図２４のステップＳ１７０１乃至ステップＳ１７１５の各処理は、図２２のステップＳ１６０１乃至ステップＳ１６１５の各処理と基本的に同様に実行される。したがって、図２４の説明は、図２２の説明におけるV1画像復号装置２００−１の各部をV2画像復号装置２００−２の各部に置き換え、図２２におけるビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
＜V2動き補償処理の流れ＞
次に、図２４のステップＳ１７０６において実行されるV2動き補償処理の流れの例を、図２５のフローチャートを参照して説明する。
図２５に示されるように、V2動き補償処理は、V1動き補償処理（図２３）と基本的に同様に行われる。つまり、図２５のステップＳ１７３１乃至ステップＳ１７３８の各処理は、それぞれ、図２３のステップＳ１６３１乃至ステップＳ１６３８の各処理と基本的に同様に実行される。ただし、V1動き補償処理は、動き補償部２１１−１が実行するのに対して、V2動き補償処理は、動き補償部２１１−２が実行する。
また、V2動き補償処理の処理対象は、ビュー１の画像ではなくビュー２の画像である。したがって、ステップＳ１７３３において、動き補償部２１１−２は、ピクチャ内の圧縮前V2動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
また、ステップＳ１７３５において、動き補償部２１１−２は、他のピクチャの1/16圧縮後V2動きベクトル（カレントブロックに対して時間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
さらに、ステップＳ１７３６において、動き補償部２１１−２は、1/16圧縮後V1動きベクトル（カレントブロックに対してビュー間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
なお、ステップＳ１７３１、ステップＳ１７３２、ステップＳ１７３４，ステップＳ１７３７、およびステップＳ１７３８の各処理は、図２３のステップＳ１６３１、ステップＳ１６３２、ステップＳ１６３４，ステップＳ１６３７、およびステップＳ１６３８の各処理と同様に実行される。
ステップＳ１７３８の処理が終了すると、V2動き補償処理が終了し、処理は、図２４に戻る。
以上のように各処理を実行することにより、画像復号装置２００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
なお、以上においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であり、圧縮後、16x16精度となるように説明したが、これは一例であり、動きベクトルの精度は任意である。また、動きベクトルの圧縮率も任意である。つまり、各ビューの、空間予測動きベクトル候補、時間予測動きベクトル候補、IVMP予測動きベクトル候補、および予測動きベクトルの精度も任意である。精度や圧縮率が全てのビューで統一されていてもよいし、されていなくてもよい。
＜２．第２の実施の形態＞
＜IVMP用の動きベクトルの圧縮＞
以上のような動きベクトルの圧縮において、図２６に示されるように、IVMP用の動きベクトルとTMVP用の動きベクトルとをそれぞれ圧縮する（例えば間引く）ようにしてもよい。つまり、IVMP用の動きベクトルの精度とTMVP用の動きベクトルの精度とが互いに異なるようにしてもよい。
より具体的には、例えば、4x4精度の動きベクトルを、次のビューの処理（符号化・復号）が開始されるまでにＩＶＭＰ用に8x8精度に圧縮し（例えば間引き）、次のピクチャの処理（符号化・復号）が開始されるまでにTMVP用に16x16精度に圧縮する（例えば間引く）。つまり、ＩＶＭＰは8x8精度の動きベクトルを参照し、TMVPは、16x16精度の動きベクトルを参照する。このようにすることにより、従来の方法と比較して、必要なメモリの容量の増大を抑制することができる。また、第１の実施の形態において説明した方法と比較して、IVMPの動きベクトルの精度を高くすることができる。
例えば、図２６に示される例のように、IVMP用の動きベクトルは、動きベクトル圧縮部（(V0乃至V2) MV Compressor A）によって8x8精度に圧縮し（例えば間引き）、テンポラル動きベクトルメモリ（(V0乃至V2) Temporal MV Memory）に記憶する。IVMPは、このテンポラル動きベクトルメモリの動きベクトルを参照するようにする。この圧縮（例えば間引き）により、テンポラル動きベクトルメモリの容量の増大を抑制することができる。
そして、TMVP用の動きベクトルは、テンポラル動きベクトルメモリの動きベクトルを、さらに、動きベクトル圧縮部（(V0乃至V2) MV Compressor B）によって16x16精度に圧縮し（例えば間引き）、動きベクトルメモリ（(V0乃至V2) MV Memory）に記憶する。TMVPは、この動きベクトルメモリの動きベクトルを参照するようにする。このようにすることにより、圧縮処理の圧縮率（例えば間引き処理の間引き率）をどちらも1/4とすることができる。つまり、同じ圧縮処理（例えば間引き処理）を２度行うだけでよく、実現が容易である。
以下に、この圧縮方法について、より具体的に説明する。なお、以下においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であるとする。また、その圧縮前の動きベクトルが、IVMP用に、8x8精度に圧縮（1/4圧縮）されるものとする。さらに、その1/4圧縮後の動きベクトル（8x8精度の動きベクトル）が、TMVP用に、16x16精度に圧縮（1/4圧縮）されるものとする。
＜画像符号化装置＞
図２７は、V0画像符号化装置の主な構成例を示すブロック図である。図２８は、V1画像符号化装置の主な構成例を示すブロック図である。図２９は、V2画像符号化装置の主な構成例を示すブロック図である。
図示せぬ画像符号化装置３００は、図２に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置３００は、多視点画像の各ビューを符号化するために、図２７のV0画像符号化装置３００−０、図２８のV1画像符号化装置３００−１、および図２９のV2画像符号化装置３００−３を有する。V0画像符号化装置３００−０は、ビュー０の画像を符号化する。V1画像符号化装置３００−１は、ビュー１の画像を符号化する。V2画像符号化装置３００−２は、ビュー２の画像を符号化する。
図２７に示されるように、V0画像符号化装置３００−０は、A/D変換部３０１−０、画面並べ替えバッファ３０２−０、演算部３０３−０、直交変換部３０４−０、量子化部３０５−０、可逆符号化部３０６−０、蓄積バッファ３０７−０、逆量子化部３０８−０、および逆直交変換部３０９−０を有する。また、V0画像符号化装置３００−０は、演算部３１０−０、ループフィルタ３１１−０、デコードピクチャバッファ３１２−０、画面内予測部３１３−０、動き予測・補償部３１４−０、予測画像選択部３１５−０、およびレート制御部３１６−０を有する。
また、図２８に示されるように、V1画像符号化装置３００−１は、A/D変換部３０１−１、画面並べ替えバッファ３０２−１、演算部３０３−１、直交変換部３０４−１、量子化部３０５−１、可逆符号化部３０６−１、蓄積バッファ３０７−１、逆量子化部３０８−１、および逆直交変換部３０９−１を有する。また、V1画像符号化装置３００−１は、演算部３１０−１、ループフィルタ３１１−１、デコードピクチャバッファ３１２−１、画面内予測部３１３−１、動き予測・補償部３１４−１、予測画像選択部３１５−１、およびレート制御部３１６−１を有する。
さらに、図２９に示されるように、V2画像符号化装置３００−２は、A/D変換部３０１−２、画面並べ替えバッファ３０２−２、演算部３０３−２、直交変換部３０４−２、量子化部３０５−２、可逆符号化部３０６−２、蓄積バッファ３０７−２、逆量子化部３０８−２、および逆直交変換部３０９−２を有する。また、V2画像符号化装置３００−２は、演算部３１０−２、ループフィルタ３１１−２、デコードピクチャバッファ３１２−２、画面内予測部３１３−２、動き予測・補償部３１４−２、予測画像選択部３１５−２、およびレート制御部３１６−２を有する。
以下において、A/D変換部３０１−０乃至A/D変換部３０１−２を互いに区別して説明する必要が無い場合、単に、A/D変換部３０１と称する。また、画面並べ替えバッファ３０２−０乃至画面並べ替えバッファ３０２−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ３０２と称する。さらに、演算部３０３−０乃至演算部３０３−２を互いに区別して説明する必要が無い場合、単に、演算部３０３と称する。また、直交変換部３０４−０乃至直交変換部３０４−２を互いに区別して説明する必要が無い場合、単に、直交変換部３０４と称する。さらに、量子化部３０５−０乃至量子化部３０５−２を互いに区別して説明する必要が無い場合、単に、量子化部３０５と称する。また、可逆符号化部３０６−０乃至可逆符号化部３０６−２を互いに区別して説明する必要が無い場合、単に、可逆符号化部３０６と称する。さらに、蓄積バッファ３０７−０乃至蓄積バッファ３０７−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ３０７と称する。また、逆量子化部３０８−０乃至逆量子化部３０８−２を互いに区別して説明する必要が無い場合、単に、逆量子化部３０８と称する。さらに、逆直交変換部３０９−０乃至逆直交変換部３０９−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部３０９と称する。
また、演算部３１０−０乃至演算部３１０−２を互いに区別して説明する必要が無い場合、単に、演算部３１０と称する。さらに、ループフィルタ３１１−０乃至ループフィルタ３１１−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ３１１と称する。また、デコードピクチャバッファ３１２−０乃至デコードピクチャバッファ３１２−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ３１２と称する。さらに、画面内予測部３１３−０乃至画面内予測部３１３−２を互いに区別して説明する必要が無い場合、単に、画面内予測部３１３と称する。また、動き予測・補償部３１４−０乃至動き予測・補償部３１４−２を互いに区別して説明する必要が無い場合、単に、動き予測・補償部３１４と称する。さらに、予測画像選択部３１５−０乃至予測画像選択部３１５−２を互いに区別して説明する必要が無い場合、単に、予測画像選択部３１５と称する。また、レート制御部３１６−０乃至レート制御部３１６−２を互いに区別して説明する必要が無い場合、単に、レート制御部３１６と称する。
A/D変換部３０１は、A/D変換部１０１に対応し、基本的にA/D変換部１０１と同様の処理を行う。画面並べ替えバッファ３０２は、画面並べ替えバッファ１０２に対応し、基本的に画面並べ替えバッファ１０２と同様の処理を行う。演算部３０３は、演算部１０３に対応し、基本的に演算部１０３と同様の処理を行う。直交変換部３０４は、直交変換部１０４に対応し、基本的に直交変換部１０４と同様の処理を行う。量子化部３０５は、量子化部１０５に対応し、基本的に量子化部１０５と同様の処理を行う。可逆符号化部３０６は、可逆符号化部１０６に対応し、基本的に可逆符号化部１０６と同様の処理を行う。蓄積バッファ３０７は、蓄積バッファ１０７に対応し、基本的に蓄積バッファ１０７と同様の処理を行う。
逆量子化部３０８は、逆量子化部１０８に対応し、基本的に逆量子化部１０８と同様の処理を行う。逆直交変換部３０９は、逆直交変換部１０９に対応し、基本的に逆直交変換部１０９と同様の処理を行う。演算部３１０は、演算部１１０に対応し、基本的に演算部１１０と同様の処理を行う。ループフィルタ３１１は、ループフィルタ１１１に対応し、基本的にループフィルタ１１１と同様の処理を行う。デコードピクチャバッファ３１２は、デコードピクチャバッファ１１２に対応し、基本的にデコードピクチャバッファ１１２と同様の処理を行う。
画面内予測部３１３は、画面内予測部１１３に対応し、基本的に画面内予測部１１３と同様の処理を行う。動き予測・補償部３１４は、動き予測・補償部１１４に対応し、基本的に動き予測・補償部１１４と同様の処理を行う。予測画像選択部３１５は、予測画像選択部１１５に対応し、基本的に予測画像選択部１１５と同様の処理を行う。
V0画像符号化装置３００−０は、さらに、V0動きベクトル圧縮部３２１−０、V0テンポラルメモリ３２２−０、V0動きベクトル圧縮部３２３−０、およびV0動きベクトルメモリ３２４−０を有する。
V1画像符号化装置３００−１は、さらに、V1動きベクトル圧縮部３２１−１、V1テンポラルメモリ３２２−１、V1動きベクトル圧縮部３２３−１、およびV1動きベクトルメモリ３２４−１を有する。
V2画像符号化装置３００−２は、さらに、V2動きベクトル圧縮部３２１−２、V2テンポラルメモリ３２２−２、V2動きベクトル圧縮部３２３−２、およびV2動きベクトルメモリ３２４−２を有する。
なお、動き予測・補償部３１４−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0動きベクトル圧縮部３２１−０に供給する。また、動き予測・補償部３１４−０は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ３２４−０に記憶されている1/16圧縮後V0動きベクトルを取得する。
また、動き予測・補償部３１４−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1動きベクトル圧縮部３２１−１に供給する。また、動き予測・補償部３１４−１は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ３２４−１に記憶されている1/16圧縮後V1動きベクトルを取得する。さらに、動き予測・補償部３１４−１は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ３２４−０に記憶されている1/16圧縮後V0動きベクトルを取得する。
さらに、動き予測・補償部３１４−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2動きベクトル圧縮部３２１−２に供給する。また、動き予測・補償部３１４−２は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V2動きベクトルメモリ３２４−２に記憶されている1/16圧縮後V2動きベクトルを取得する。さらに、動き予測・補償部３１４−２は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ３２４−１に記憶されている1/16圧縮後V1動きベクトルを取得する。
V0動きベクトル圧縮部３２１−０は、動き予測・補償部３１４−０から供給された圧縮前V0動きベクトルを8x8精度に圧縮し（1/4圧縮とも称する）、その圧縮後の動きベクトル（1/4圧縮後V0動きベクトルとも称する）をV0テンポラルメモリ３２２−０に供給する。つまり、V0動きベクトル圧縮部３２１−０は、圧縮率が異なるだけで、V0動きベクトル圧縮部１２１−０と同様の圧縮を行う。したがって、この動きベクトルの圧縮方法は、V0動きベクトル圧縮部１２１−０の場合と同様に任意である。
V0テンポラルメモリ３２２−０は、供給された1/4圧縮後V0動きベクトルを記憶する。V0テンポラルメモリ３２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−１に供給する。また、V0テンポラルメモリ３２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、V0動きベクトル圧縮部３２３−０に供給する。
V0動きベクトル圧縮部３２３−０は、V0テンポラルメモリ３２２−０から1/4圧縮後V0動きベクトルを読み出し、16x16精度に圧縮し（1/4圧縮とも称する）、その圧縮後の動きベクトル（すなわち、1/16圧縮後V0動きベクトル）をV0動きベクトルメモリ３２４−０に供給する。このV0動きベクトル圧縮部３２３−０は、V0動きベクトル圧縮部３２１−０と同様の処理を行う。つまり、２回に分けて、同じ1/4圧縮が行われる。したがって、V0動きベクトル圧縮部１２１−０が生成するのと同様の1/16圧縮後V0動きベクトルが生成される。
なお、V0動きベクトル圧縮部３２１−０とV0動きベクトル圧縮部３２３−０とで圧縮方法を互いに異なるようにしてももちろんよい。また、V0動きベクトル圧縮部３２３−０は、V0動きベクトル圧縮部１２１−０のように、動き予測・補償部３１４−０により生成される圧縮前V0動きベクトルを1/16圧縮するようにしてもよい。
V0動きベクトルメモリ３２４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ３２４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−０に供給する。
V1動きベクトル圧縮部３２１−１は、V0動きベクトル圧縮部３２１−０と同様の処理部である。V1動きベクトル圧縮部３２１−１は、動き予測・補償部３１４−１から供給された圧縮前V1動きベクトルを1/4圧縮し、その圧縮後の動きベクトル（1/4圧縮後V１動きベクトルとも称する）をV1テンポラルメモリ３２２−１に供給する。
V1テンポラルメモリ３２２−１は、V0テンポラルメモリ３２２−０と同様の処理部である。V1テンポラルメモリ３２２−１は、供給された1/4圧縮後V1動きベクトルを記憶する。V1テンポラルメモリ３２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−２に供給する。また、V1テンポラルメモリ３２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、V1動きベクトル圧縮部３２３−１に供給する。
V1動きベクトル圧縮部３２３−１は、V0動きベクトル圧縮部３２３−０と同様の処理部である。V1動きベクトル圧縮部３２３−１は、V1テンポラルメモリ３２２−１から1/4圧縮後V1動きベクトルを読み出し、1/4圧縮し、その圧縮後の動きベクトル（すなわち、1/16圧縮後V1動きベクトル）をV1動きベクトルメモリ３２４−１に供給する。
V1動きベクトルメモリ３２４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ３２４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−１に供給する。
V2動きベクトル圧縮部３２１−２は、V0動きベクトル圧縮部３２１−０と同様の処理部である。V2動きベクトル圧縮部３２１−２は、動き予測・補償部３１４−２から供給された圧縮前V2動きベクトルを1/4圧縮し、その圧縮後の動きベクトル（1/4圧縮後V2動きベクトルとも称する）をV2テンポラルメモリ３２２−２に供給する。
V2テンポラルメモリ３２２−２は、V0テンポラルメモリ３２２−０と同様の処理部である。V2テンポラルメモリ３２２−２は、供給された1/4圧縮後V2動きベクトルを記憶する。V2テンポラルメモリ３２２−２は、適宜、記憶している1/4圧縮後V2動きベクトルを、V2動きベクトル圧縮部３２３−２に供給する。
V2動きベクトル圧縮部３２３−２は、V0動きベクトル圧縮部３２３−０と同様の処理部である。V2動きベクトル圧縮部３２３−２は、V2テンポラルメモリ３２２−２から1/4圧縮後V2動きベクトルを読み出し、1/4圧縮し、その圧縮後の動きベクトル（すなわち、1/16圧縮後V2動きベクトル）をV2動きベクトルメモリ３２４−２に供給する。
V2動きベクトルメモリ３２４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ３２４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部３１４−２に供給する。
なお、V2画像符号化装置３００−２は、最後に処理されるビュー２の画像を符号化するので、動き予測・補償部３１４−２において得られた動きベクトルは、他のビューで利用されない。したがって、V2動きベクトル圧縮部３２１−２乃至V2動きベクトルメモリ３２４−２の代わりに、V2画像符号化装置１００−２のように、V2動きベクトル圧縮部１２１−２およびV2動きベクトルメモリ１２２−２を適用するようにしてもよい。
以上のように、V0動きベクトル圧縮部３２１−０、V1動きベクトル圧縮部３２１−１、およびV2動きベクトル圧縮部３２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0テンポラルメモリ３２２−０、V1テンポラルメモリ３２２−１、およびV2テンポラルメモリ３２２−２の容量を低減させることができる。
また、その際、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度よりも高くするように圧縮率を抑制することにより、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度と同等とする場合より、IVMPの予測精度を向上させることができる。
これにより、画像符号化装置３００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
＜V0符号化処理の流れ＞
次に、以上のような画像符号化装置１００により実行される処理の流れについて説明する。なお、画像符号化装置３００による符号化処理の流れは、第１の実施の形態の場合（図９）と同様であるのでその説明を省略する。
次に、図３０のフローチャートを参照して、図９のステップＳ１００１において実行される、ビュー０の符号化を行うV0符号化処理の流れの例を説明する。
ステップＳ２１０１乃至ステップＳ２１０５の各処理は、V0画像符号化装置３００−０の各処理部により、図１０のステップＳ１１０１乃至ステップＳ１１０５の各処理と同様に行われる。
ステップＳ２１０６において、V0動きベクトル圧縮部３２１−０は、ステップＳ２１０４の処理により生成されたビュー０のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、8x8精度に圧縮する（1/4圧縮）。この1/4圧縮は、例えば、LCU（例えば16x16画素）毎に行われる。
ステップＳ２１０７において、V0テンポラルメモリ３２２−０は、ステップＳ２１０６の処理により生成された1/4圧縮後V0動きベクトルを記憶する。
ステップＳ２１０８乃至ステップＳ２１１９の各処理は、V0画像符号化装置３００−０の各処理部により、図１０のステップＳ１１０８乃至ステップＳ１１１９の各処理と同様に行われる。
ステップＳ２１２０において、V0動きベクトル圧縮部３２３−０は、ステップＳ２１０７の処理により記憶された1/4圧縮後V0動きベクトルを、V0テンポラルメモリ３２２−０から読み出し、さらに1/4圧縮する。
ステップＳ２１２１において、V0動きベクトルメモリ３２４−０は、ステップＳ２１０６の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
ステップＳ２１２１の処理が終了すると、V0符号化処理が終了し、処理は図９に戻る。なお、図３０のステップＳ２１０４において実行されるV0インター動き予測処理は、動き予測・補償部３１４−０により、第１の実施の形態の場合（図１１）と同様に行われるのでその説明を省略する。
＜V1符号化処理の流れ＞
次に、図３１のフローチャートを参照して、図９のステップＳ１００２において実行される、ビュー１の符号化を行うV1符号化処理の流れの例を説明する。
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、インター動き予測処理にある。したがって、図３１に示されるように、ビュー１に対するV1符号化処理は、V1画像符号化装置３００−１によって、ビュー０に対するV0符号化処理（図３０）の場合と基本的に同様に実行される。つまり、図３１のステップＳ２２０１乃至ステップＳ２２２１の各処理は、図３０のステップＳ２１０１乃至ステップＳ２１２１の各処理と基本的に同様に実行される。したがって、図３１の説明は、図３０の説明におけるV0画像符号化装置３００−０の各部をV1画像符号化装置３００−１の各部に置き換え、図３０においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
＜V1インター動き予測処理の流れ＞
次に、図３１のステップＳ２２０４において実行されるV1インター動き予測処理の流れの例を、図３２のフローチャートを参照して説明する。
ステップＳ２２４１乃至ステップＳ２２４３の各処理は、動き予測・補償部３１４−１により、図１３のステップＳ１２３１乃至ステップＳ１２３３の各処理と同様に行われる。
ステップＳ２２４４において、動き予測・補償部１１４−１は、V0テンポラルメモリ３２２−０から1/4圧縮後V0動きベクトルを取得し、それを用いてIVMP予測動きベクトル候補を決定する。
ステップＳ２２４５乃至ステップＳ２２４８の各処理は、動き予測・補償部３１４−１により、図１３のステップＳ１２３５乃至ステップＳ１２３８の各処理と同様に行われる。ステップＳ２２４８の処理が終了すると、V1インター動き予測処理が終了し、処理は、図３１に戻る。
＜V2符号化処理の流れ＞
次に、図３３のフローチャートを参照して、図９のステップＳ１００３において実行される、ビュー２の符号化を行うV2符号化処理の流れの例を説明する。
ビュー２に対する処理は、ビュー１に対する処理と同様に実行される。したがって、図３３に示されるように、V2符号化処理は、V2画像符号化装置３００−２によって、ビュー１に対するV1符号化処理（図３１）の場合と基本的に同様に実行される。つまり、図３３のステップＳ２３０１乃至ステップＳ２３２１の各処理は、図３１のステップＳ２２０１乃至ステップＳ２２２１の各処理と基本的に同様に実行される。したがって、図３３の説明は、図３１の説明におけるV1画像符号化装置３００−１の各部をV2画像符号化装置３００−２の各部に置き換え、図３１においてビュー１に対する処理としてした説明を、ビュー２に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
なお、ステップＳ２３０６において、圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルを、ステップＳ２３０７において記憶するようにし、ステップＳ２３２０およびステップＳ２３２１の処理を省略するようにしてもよい。このようにすることにより、圧縮処理の回数が低減されるので、圧縮による負荷の増大を抑制することができる。ただし、図３３に示されるように、1/4圧縮を2回行うことにより、他のビューと同様に圧縮を行うことができ、制御が容易になる。
＜V2インター動き予測処理の流れ＞
次に、図３３のステップＳ２３０４において実行されるV2インター動き予測処理の流れの例を、図３４のフローチャートを参照して説明する。
図３４に示されるように、V2インター動き予測処理は、動き予測・補償部３１４−２によって、ビュー１に対するV1インター動き予測処理（図３２）の場合と基本的に同様に実行される。つまり、図３４のステップＳ２３４１乃至ステップＳ２３４８の各処理は、図３２のステップＳ２２４１乃至ステップＳ２２４８の各処理と基本的に同様に実行される。
ただし、ステップＳ２３４２においては、非圧縮のビュー２の動きベクトルである圧縮前V2動きベクトルが用いられる。また、ステップＳ２３４３においては、1/16圧縮された1/16圧縮後V2動きベクトルが用いられる。さらに、ステップＳ２３４４においては、1/4圧縮された1/4圧縮後V1動きベクトルが用いられる。
ステップＳ２３４８の処理が終了すると、V2インター動き予測処理が終了し、処理は、図３３に戻る。
以上のように各処理を実行することにより、画像符号化装置３００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜画像復号装置＞
次に、以上のように符号化された符号化データ（符号化ストリーム）の復号について説明する。図３５は、V0画像復号装置の主な構成例を示すブロック図である。図３６は、V1画像復号装置の主な構成例を示すブロック図である。図３７は、V2画像復号装置の主な構成例を示すブロック図である。
図示せぬ画像復号装置４００は、画像符号化装置３００により符号化された、図２に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置４００は、多視点画像の各ビューの符号化データを復号するために、図３５のV0画像復号装置４００−０、図３６のV1画像復号装置４００−１、および図３７のV2画像復号装置４００−２を有する。V0画像復号装置４００−０は、V0画像符号化装置３００−０により符号化されたビュー０の画像の符号化データを復号する。V1画像復号装置４００−１は、V1画像符号化装置３００−１により符号化されたビュー１の画像の符号化データを復号する。V2画像復号装置４００−２は、V2画像符号化装置３００−２により符号化されたビュー２の画像の符号化データを復号する。
図３５に示されるように、V0画像復号装置４００−０は、蓄積バッファ４０１−０、可逆復号部４０２−０、逆量子化部４０３−０、逆直交変換部４０４−０、演算部４０５−０、ループフィルタ４０６−０、画面並べ替えバッファ４０７−０、およびD/A変換部４０８−０を有する。また、V0画像復号装置４００−０は、デコードピクチャバッファ４０９−０、画面内予測部４１０−０、動き補償部４１１−０、および選択部４１２−０を有する。
また、図３６に示されるように、V1画像復号装置４００−１は、蓄積バッファ４０１−１、可逆復号部４０２−１、逆量子化部４０３−１、逆直交変換部４０４−１、演算部４０５−１、ループフィルタ４０６−１、画面並べ替えバッファ４０７−１、およびD/A変換部４０８−１を有する。また、V1画像復号装置４００−１は、デコードピクチャバッファ４０９−１、画面内予測部４１０−１、動き補償部４１１−１、および選択部４１２−１を有する。
さらに、図３７に示されるように、V2画像復号装置４００−２は、蓄積バッファ４０１−２、可逆復号部４０２−２、逆量子化部４０３−２、逆直交変換部４０４−２、演算部４０５−２、ループフィルタ４０６−２、画面並べ替えバッファ４０７−２、およびD/A変換部４０８−２を有する。また、V2画像復号装置４００−２は、デコードピクチャバッファ４０９−２、画面内予測部４１０−２、動き補償部４１１−２、および選択部４１２−２を有する。
以下において、蓄積バッファ４０１−０乃至蓄積バッファ４０１−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ４０１と称する。また、可逆復号部４０２−０乃至可逆復号部４０２−２を互いに区別して説明する必要が無い場合、単に、可逆復号部４０２と称する。さらに、逆量子化部４０３−０乃至逆量子化部４０３−２を互いに区別して説明する必要が無い場合、単に、逆量子化部４０３と称する。また、逆直交変換部４０４−０乃至逆直交変換部４０４−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部４０４と称する。さらに、演算部４０５−０乃至演算部４０５−２を互いに区別して説明する必要が無い場合、単に、演算部４０５と称する。
また、ループフィルタ４０６−０乃至ループフィルタ４０６−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ４０６と称する。さらに、画面並べ替えバッファ４０７−０乃至画面並べ替えバッファ４０７−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ４０７と称する。また、D/A変換部４０８−０乃至D/A変換部４０８−２を互いに区別して説明する必要が無い場合、単に、D/A変換部４０８と称する。さらに、デコードピクチャバッファ４０９−０乃至デコードピクチャバッファ４０９−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ４０９と称する。
また、画面内予測部４１０−０乃至画面内予測部４１０−２を互いに区別して説明する必要が無い場合、単に、画面内予測部４１０と称する。さらに、動き補償部４１１−０乃至動き補償部４１１−２を互いに区別して説明する必要が無い場合、単に、動き補償部４１１と称する。また、選択部４１２−０乃至選択部４１２−２を互いに区別して説明する必要が無い場合、単に、選択部４１２と称する。
蓄積バッファ４０１は、蓄積バッファ２０１に対応し、基本的に蓄積バッファ２０１と同様の処理を行う。可逆復号部４０２は、可逆復号部２０２に対応し、基本的に可逆復号部２０２と同様の処理を行う。逆量子化部４０３は、逆量子化部２０３に対応し、基本的に逆量子化部２０３と同様の処理を行う。逆直交変換部４０４は、逆直交変換部２０４に対応し、基本的に逆直交変換部２０４と同様の処理を行う。演算部４０５は、演算部２０５に対応し、基本的に演算部２０５と同様の処理を行う。
ループフィルタ４０６は、ループフィルタ２０６に対応し、基本的にループフィルタ２０６と同様の処理を行う。画面並べ替えバッファ４０７は、画面並べ替えバッファ２０７に対応し、基本的に画面並べ替えバッファ２０７と同様の処理を行う。D/A変換部４０８は、D/A変換部２０８に対応し、基本的にD/A変換部２０８と同様の処理を行う。デコードピクチャバッファ４０９は、デコードピクチャバッファ２０９に対応し、基本的にデコードピクチャバッファ２０９と同様の処理を行う。
画面内予測部４１０は、画面内予測部２１０に対応し、基本的に画面内予測部２１０と同様の処理を行う。動き補償部４１１は、動き補償部２１１に対応し、基本的に動き補償部２１１と同様の処理を行う。選択部４１２は、選択部２１２に対応し、基本的に選択部２１２と同様の処理を行う。
V0画像復号装置４００−０は、さらに、V0動きベクトル圧縮部４２１−０、V0テンポラルメモリ４２２−０、V0動きベクトル圧縮部４２３−０、およびV0動きベクトルメモリ４２４−０を有する。
V1画像復号装置４００−１は、さらに、V1動きベクトル圧縮部４２１−１、V1テンポラルメモリ４２２−１、V1動きベクトル圧縮部４２３−１、およびV1動きベクトルメモリ４２４−１を有する。
V2画像復号装置４００−２は、さらに、V2動きベクトル圧縮部４２１−２、V2テンポラルメモリ４２２−２、V2動きベクトル圧縮部４２３−２、およびV2動きベクトルメモリ４２４−２を有する。
なお、動き補償部４１１−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0動きベクトル圧縮部４２１−０に供給する。また、動き補償部４１１−０は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ４２４−０に記憶されている1/16圧縮後V0動きベクトルを取得する。
また、動き補償部４１１−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（4x4精度）を、V1動きベクトル圧縮部４２１−１に供給する。また、動き補償部４１１−１は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ４２４−１に記憶されている1/16圧縮後V1動きベクトルを取得する。さらに、動き補償部４１１−１は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V0テンポラルメモリ４２２−０に記憶されている1/4圧縮後V0動きベクトルを取得する。
さらに、動き補償部４１１−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（4x4精度）を、V2動きベクトル圧縮部４２１−２に供給する。また、動き補償部４１１−２は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V2動きベクトルメモリ４２４−２に記憶されている1/16圧縮後V2動きベクトルを取得する。さらに、動き補償部４１１−２は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V1テンポラルメモリ４２２−１に記憶されている1/4圧縮後V1動きベクトルを取得する。
V0動きベクトル圧縮部４２１−０は、動き補償部４１１−０から供給された圧縮前V0動きベクトルを1/4圧縮し、得られた1/4圧縮後V0動きベクトルをV0テンポラルメモリ４２２−０に供給する。この動きベクトルの圧縮方法は、V0動きベクトル圧縮部３２１−０と同一の方法である限り、任意である。
V0テンポラルメモリ４２２−０は、供給された1/4圧縮後V0動きベクトルを記憶する。V0テンポラルメモリ４２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部４１１−１に供給する。また、V0テンポラルメモリ４２２−０は、適宜、記憶している1/4圧縮後V0動きベクトルを、V0動きベクトル圧縮部４２３−０に供給する。
V0動きベクトル圧縮部４２３−０は、V0テンポラルメモリ４２２−０から1/4圧縮後V0動きベクトルを読み出して1/4圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ４２４−０に供給する。この動きベクトルの圧縮方法は、V0動きベクトル圧縮部３２３−０と同一の方法である限り、任意である。
例えば、V0動きベクトル圧縮部４２１−０とV0動きベクトル圧縮部４２３−０とで圧縮方法を互いに異なるようにしてももちろんよい。また、V0動きベクトル圧縮部４２３−０は、V0動きベクトル圧縮部２２１−０のように、動き補償部４１１−０により生成される圧縮前V0動きベクトルを1/16圧縮するようにしてもよい。
V0動きベクトルメモリ４２４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ４２４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部４１１−０に供給する。
V1動きベクトル圧縮部４２１−１は、V0動きベクトル圧縮部４２１−０と同様の処理部である。V1動きベクトル圧縮部４２１−１は、動き補償部４１１−１から供給された圧縮前V1動きベクトルを1/4圧縮し、得られた1/4圧縮後V１動きベクトルをV1テンポラルメモリ４２２−１に供給する。
V1テンポラルメモリ４２２−１は、V0テンポラルメモリ４２２−０と同様の処理部である。V1テンポラルメモリ４２２−１は、供給された1/4圧縮後V1動きベクトルを記憶する。V1テンポラルメモリ４２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部４１１−２に供給する。また、V1テンポラルメモリ４２２−１は、適宜、記憶している1/4圧縮後V1動きベクトルを、V1動きベクトル圧縮部４２３−１に供給する。
V1動きベクトル圧縮部４２３−１は、V0動きベクトル圧縮部４２３−０と同様の処理部である。V1動きベクトル圧縮部４２３−１は、V1テンポラルメモリ４２２−１から1/4圧縮後V1動きベクトルを読み出し、1/4圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ４２４−１に供給する。
V1動きベクトルメモリ４２４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ４２４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部４１１−１に供給する。
V2動きベクトル圧縮部４２１−２は、V0動きベクトル圧縮部４２１−０と同様の処理部である。V2動きベクトル圧縮部４２１−２は、動き補償部４１１−２から供給された圧縮前V2動きベクトルを1/4圧縮し、得られた1/4圧縮後V2動きベクトルをV2テンポラルメモリ４２２−２に供給する。
V2テンポラルメモリ４２２−２は、V0テンポラルメモリ４２２−０と同様の処理部である。V2テンポラルメモリ４２２−２は、供給された1/4圧縮後V2動きベクトルを記憶する。V2テンポラルメモリ４２２−２は、適宜、記憶している1/4圧縮後V2動きベクトルを、V2動きベクトル圧縮部４２３−２に供給する。
V2動きベクトル圧縮部４２３−２は、V0動きベクトル圧縮部４２３−０と同様の処理部である。V2動きベクトル圧縮部４２３−２は、V2テンポラルメモリ４２２−２から1/4圧縮後V2動きベクトルを読み出し、1/4圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ４２４−２に供給する。
V2動きベクトルメモリ４２４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ４２４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部４１１−２に供給する。
なお、V2画像復号装置４００−２は、最後に処理されるビュー２の画像の符号化データを復号するので、動き補償部４１１−２において得られた動きベクトルは、他のビューで利用されない。したがって、V2動きベクトル圧縮部４２１−２乃至V2動きベクトルメモリ４２４−２の代わりに、V2画像復号装置２００−２のように、V2動きベクトル圧縮部２２１−２およびV2動きベクトルメモリ２２２−２を適用するようにしてもよい。
以上のように、V0動きベクトル圧縮部４２１−０、V1動きベクトル圧縮部４２１−１、およびV2動きベクトル圧縮部４２１−２が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる（すなわち圧縮する）ことができる。これにより、V0テンポラルメモリ４２２−０、V1テンポラルメモリ４２２−１、およびV2テンポラルメモリ４２２−２の容量を低減させることができる。
また、その際、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度よりも高くするように圧縮率を抑制することにより、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度と同等とする場合より、IVMPの予測精度を向上させることができる。
これにより、画像復号装置４００の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。
＜V0復号処理の流れ＞
次に、以上のような画像復号装置４００により実行される処理の流れについて説明する。なお、画像復号装置４００による復号処理の流れは、第１の実施の形態の場合（図１９）と同様であるのでその説明を省略する。
次に、図３８のフローチャートを参照して、図１９のステップＳ１４０１において実行される、ビュー０の復号を行うV0復号処理の流れの例を説明する。
ステップＳ２５０１乃至ステップＳ２５０８の各処理は、V0画像復号装置４００−０の各処理部により、図２０のステップＳ１５０１乃至ステップＳ１５０８の各処理と同様に行われる。
ステップＳ２５０９において、V0動きベクトル圧縮部４２１−０は、ステップＳ２５０６の処理により生成されたビュー０のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、8x8精度に圧縮する（1/4圧縮）。この1/4圧縮は、例えば、LCU（例えば16x16画素）毎に行われる。
ステップＳ２５１０において、V0テンポラルメモリ４２２−０は、ステップＳ２５０９の処理により生成された1/4圧縮後V0動きベクトルを記憶する。
ステップＳ２５１１乃至ステップＳ２５１５の各処理は、V0画像復号装置４００−０の各処理部により、図２０のステップＳ１５１１乃至ステップＳ１５１５の各処理と同様に行われる。
ステップＳ２５１６において、V0動きベクトル圧縮部４２３−０は、ステップＳ２５１０の処理により記憶された1/4圧縮後V0動きベクトルを、V0テンポラルメモリ４２２−０から読み出し、さらに1/4圧縮する。
ステップＳ２５１７において、V0動きベクトルメモリ４２４−０は、ステップＳ２５１６の処理により生成された1/16圧縮後V0動きベクトルを記憶する。
ステップＳ２５１７の処理が終了すると、V0符号化処理が終了し、処理は図１９に戻る。なお、図３８のステップＳ２５０６において実行されるV0動き補償処理は、動き補償部４１１−０により、第１の実施の形態の場合（図２１）と同様に行われるのでその説明を省略する。
＜V1復号処理の流れ＞
次に、図３９のフローチャートを参照して、図１９のステップＳ１４０２において実行される、ビュー１の符号化データを復号するV1復号処理の流れの例を説明する。
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、動き補償処理にある。したがって、図３９に示されるように、ビュー１に対するV1復号処理は、V1画像復号装置４００−１によって、ビュー０に対するV0復号処理（図３８）の場合と基本的に同様に実行される。つまり、図３９のステップＳ２６０１乃至ステップＳ２６１７の各処理は、図３８のステップＳ２５０１乃至ステップＳ２５１７の各処理と基本的に同様に実行される。したがって、図３９の説明は、図３８の説明におけるV0画像復号装置４００−０の各部をV1画像復号装置４００−１の各部に置き換え、図３８においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
＜V1動き補償処理の流れ＞
次に、図３９のステップＳ２６０６において実行されるV1動き補償処理の流れの例を、図４０のフローチャートを参照して説明する。
ステップＳ２６３１乃至ステップＳ２６３５の各処理は、動き補償部４１１−１により、図２３のステップＳ１６３１乃至ステップＳ１６３５の各処理と同様に行われる。
ステップＳ２６３６において、動き補償部４１１−１は、1/4圧縮後V0動きベクトル（ビュー０の画像のコロケーテッドブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ２６３７に進む。
ステップＳ２６３７およびステップＳ２６３８の各処理は、動き補償部４１１−１により、図２３のステップＳ１６３７およびステップＳ１６３８の各処理と同様に行われる。ステップＳ２６３８の処理が終了すると、V1動き補償処理が終了し、処理は、図２２に戻る。
＜V2復号処理の流れ＞
次に、図４１のフローチャートを参照して、図１９のステップＳ１４０３において実行される、ビュー２の符号化データを復号するV2復号処理の流れの例を説明する。
ビュー１に対する処理と、ビュー２に対する処理の違いは、主に、動き補償処理にある。したがって、図４１に示されるように、V2復号処理は、V2画像復号装置４００−２によって、ビュー１に対するV1復号処理（図３９）の場合と基本的に同様に実行される。つまり、図４１のステップＳ２７０１乃至ステップＳ２７１７の各処理は、図３９のステップＳ２６０１乃至ステップＳ２６１７の各処理と基本的に同様に実行される。したがって、図４１の説明は、図３９の説明におけるV1画像復号装置４００−１の各部をV2画像復号装置４００−２の各部に置き換え、図３９におけるビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
＜V2動き補償処理の流れ＞
次に、図４１のステップＳ２７０６において実行されるV2動き補償処理の流れの例を、図４２のフローチャートを参照して説明する。
ステップＳ２７３１乃至ステップＳ２７３５の各処理は、動き補償部４１１−２により、図２５のステップＳ１７３１乃至ステップＳ１７３５の各処理と同様に行われる。
ステップＳ２７３６において、動き補償部４１１−２は、1/4圧縮後V1動きベクトル（ビュー１の画像のコロケーテッドブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ２７３７に進む。
ステップＳ２７３７およびステップＳ２７３８の各処理は、動き補償部４１１−２により、図２５のステップＳ１７３７およびステップＳ１７３８の各処理と同様に行われる。ステップＳ２７３８の処理が終了すると、V1動き補償処理が終了し、処理は、図４１に戻る。
以上のように各処理を実行することにより、画像復号装置４００は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。
なお、以上においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であり、IVMP用に8x8精度に圧縮し、さらに、TMVP用に16x16精度に圧縮するように説明したが、これは一例であり、動きベクトルの精度は任意である。また、各圧縮の圧縮率も任意である。つまり、各ビューの、空間予測動きベクトル候補、時間予測動きベクトル候補、IVMP予測動きベクトル候補、および予測動きベクトルの精度も任意である。精度や圧縮率が全てのビューで統一されていてもよいし、されていなくてもよい。
＜３．第３の実施の形態＞
＜IVMP用の動きベクトルの圧縮＞
以上のような動きベクトルの圧縮（例えば間引き）において、図４３に示されるように、IVMP用の動きベクトルを圧縮するか否か（例えば間引くか否か）を制御することができるようにしてもよい。つまり、図４を参照して説明した従来の方法と、図５を参照して説明した（第1の実施の形態において説明した）方法のいずれか一方を選択することができるようにしてもよい。
より具体的には、例えば、デコーダ（V1 (Depend) Decorder, V2 (Depend) Decorder）は、テンポラル動きベクトルメモリ（V0 Temporal MV Memory, V1 Temporal MV Memory）から非圧縮の動きベクトル（圧縮前MV）を取得し、それを用いてIVMPを行うか、動きベクトルメモリ（V0 MV Memory, V1 MV Memory）から1/16圧縮された（例えば間引かれた）動きベクトル（圧縮後MV）を取得し、それを用いてIVMPを行うかを、スイッチ（V0SW, V1SW）により選択することができる。
このようにすることにより、メモリの容量、CPUの処理能力、現在の負荷状況等、任意の条件に応じて、より適応的に処理量やメモリ使用量等を制御しながら符号化や復号を行うことができる。
以下に、この圧縮方法について、より具体的に説明する。なお、以下においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であるとする。また、その圧縮前の動きベクトルが、TMVP用（若しくは、TMVPおよびＩＶＭＰ用）に、16x16精度に圧縮（1/4圧縮）されるものとする。
＜シンタックス＞
このように複数の方法からいずれかを選択する場合、符号化側と復号側で同じ方法を選択する必要がある。そこで、いずれの方法を選択するかを、符号化側と復号側とで共有するために、いずれの方法を選択するかを示す情報（例えばフラグ）を、符号化側から復号側に伝送するようにしてもよい。例えば、図４の方法を用いるか、図５の方法を用いるかを示す１ビットのフラグを符号化側において生成し、復号側に伝送するようにしてもよい。復号側では、そのフラグの値に基づいて復号を行うことにより、符号化側において採用された方法と同じ方法を選択し、適切に復号することができる。
その場合、そのフラグは、任意の方法で伝送することができる。例えば、図４４に示されるシンタックスのように、シーケンスパラメータセット（Sep_parameter_set）において伝送するようにしてもよい。
図４４の例の場合、画像符号化装置において、このフラグが生成され、「sps_mv_compression_flag」として、シーケンスからメータセットに格納されて伝送される。画像復号装置においては、ビットストリームからこの「sps_mv_compression_flag」を抽出し、その値を参照して、画像符号化装置において採用されたのと同じ方法を選択する。
＜画像符号化装置＞
図４５は、V0画像符号化装置の主な構成例を示すブロック図である。図４６は、V1画像符号化装置の主な構成例を示すブロック図である。図４７は、V2画像符号化装置の主な構成例を示すブロック図である。
図示せぬ画像符号化装置５００は、図２に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置５００は、多視点画像の各ビューを符号化するために、図４５のV0画像符号化装置５００−０、図４６のV1画像符号化装置５００−１、および図４７のV2画像符号化装置５００−３を有する。V0画像符号化装置５００−０は、ビュー０の画像を符号化する。V1画像符号化装置５００−１は、ビュー１の画像を符号化する。V2画像符号化装置５００−２は、ビュー２の画像を符号化する。
図４５に示されるように、V0画像符号化装置５００−０は、A/D変換部５０１−０、画面並べ替えバッファ５０２−０、演算部５０３−０、直交変換部５０４−０、量子化部５０５−０、可逆符号化部５０６−０、蓄積バッファ５０７−０、逆量子化部５０８−０、および逆直交変換部５０９−０を有する。また、V0画像符号化装置５００−０は、演算部５１０−０、ループフィルタ５１１−０、デコードピクチャバッファ５１２−０、画面内予測部５１３−０、動き予測・補償部５１４−０、予測画像選択部５１５−０、およびレート制御部５１６−０を有する。
また、図４６に示されるように、V1画像符号化装置５００−１は、A/D変換部５０１−１、画面並べ替えバッファ５０２−１、演算部５０３−１、直交変換部５０４−１、量子化部５０５−１、可逆符号化部５０６−１、蓄積バッファ５０７−１、逆量子化部５０８−１、および逆直交変換部５０９−１を有する。また、V1画像符号化装置５００−１は、演算部５１０−１、ループフィルタ５１１−１、デコードピクチャバッファ５１２−１、画面内予測部５１３−１、動き予測・補償部５１４−１、予測画像選択部５１５−１、およびレート制御部５１６−１を有する。
さらに、図４７に示されるように、V2画像符号化装置５００−２は、A/D変換部５０１−２、画面並べ替えバッファ５０２−２、演算部５０３−２、直交変換部５０４−２、量子化部５０５−２、可逆符号化部５０６−２、蓄積バッファ５０７−２、逆量子化部５０８−２、および逆直交変換部５０９−２を有する。また、V2画像符号化装置５００−２は、演算部５１０−２、ループフィルタ５１１−２、デコードピクチャバッファ５１２−２、画面内予測部５１３−２、動き予測・補償部５１４−２、予測画像選択部５１５−２、およびレート制御部５１６−２を有する。
以下において、A/D変換部５０１−０乃至A/D変換部５０１−２を互いに区別して説明する必要が無い場合、単に、A/D変換部５０１と称する。また、画面並べ替えバッファ５０２−０乃至画面並べ替えバッファ５０２−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ５０２と称する。さらに、演算部５０３−０乃至演算部５０３−２を互いに区別して説明する必要が無い場合、単に、演算部５０３と称する。また、直交変換部５０４−０乃至直交変換部５０４−２を互いに区別して説明する必要が無い場合、単に、直交変換部５０４と称する。さらに、量子化部５０５−０乃至量子化部５０５−２を互いに区別して説明する必要が無い場合、単に、量子化部５０５と称する。また、可逆符号化部５０６−０乃至可逆符号化部５０６−２を互いに区別して説明する必要が無い場合、単に、可逆符号化部５０６と称する。さらに、蓄積バッファ５０７−０乃至蓄積バッファ５０７−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ５０７と称する。また、逆量子化部５０８−０乃至逆量子化部５０８−２を互いに区別して説明する必要が無い場合、単に、逆量子化部５０８と称する。さらに、逆直交変換部５０９−０乃至逆直交変換部５０９−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部５０９と称する。
また、演算部５１０−０乃至演算部５１０−２を互いに区別して説明する必要が無い場合、単に、演算部５１０と称する。さらに、ループフィルタ５１１−０乃至ループフィルタ５１１−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ５１１と称する。また、デコードピクチャバッファ５１２−０乃至デコードピクチャバッファ５１２−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ５１２と称する。さらに、画面内予測部５１３−０乃至画面内予測部５１３−２を互いに区別して説明する必要が無い場合、単に、画面内予測部５１３と称する。また、動き予測・補償部５１４−０乃至動き予測・補償部５１４−２を互いに区別して説明する必要が無い場合、単に、動き予測・補償部５１４と称する。さらに、予測画像選択部５１５−０乃至予測画像選択部５１５−２を互いに区別して説明する必要が無い場合、単に、予測画像選択部５１５と称する。また、レート制御部５１６−０乃至レート制御部５１６−２を互いに区別して説明する必要が無い場合、単に、レート制御部５１６と称する。
A/D変換部５０１は、A/D変換部１０１に対応し、基本的にA/D変換部１０１と同様の処理を行う。画面並べ替えバッファ５０２は、画面並べ替えバッファ１０２に対応し、基本的に画面並べ替えバッファ１０２と同様の処理を行う。演算部５０３は、演算部１０３に対応し、基本的に演算部１０３と同様の処理を行う。直交変換部５０４は、直交変換部１０４に対応し、基本的に直交変換部１０４と同様の処理を行う。量子化部５０５は、量子化部１０５に対応し、基本的に量子化部１０５と同様の処理を行う。可逆符号化部５０６は、可逆符号化部１０６に対応し、基本的に可逆符号化部１０６と同様の処理を行う。蓄積バッファ５０７は、蓄積バッファ１０７に対応し、基本的に蓄積バッファ１０７と同様の処理を行う。
逆量子化部５０８は、逆量子化部１０８に対応し、基本的に逆量子化部１０８と同様の処理を行う。逆直交変換部５０９は、逆直交変換部１０９に対応し、基本的に逆直交変換部１０９と同様の処理を行う。演算部５１０は、演算部１１０に対応し、基本的に演算部１１０と同様の処理を行う。ループフィルタ５１１は、ループフィルタ１１１に対応し、基本的にループフィルタ１１１と同様の処理を行う。デコードピクチャバッファ５１２は、デコードピクチャバッファ１１２に対応し、基本的にデコードピクチャバッファ１１２と同様の処理を行う。
画面内予測部５１３は、画面内予測部１１３に対応し、基本的に画面内予測部１１３と同様の処理を行う。動き予測・補償部５１４は、動き予測・補償部１１４に対応し、基本的に動き予測・補償部１１４と同様の処理を行う。予測画像選択部５１５は、予測画像選択部１１５に対応し、基本的に予測画像選択部１１５と同様の処理を行う。
V0画像符号化装置５００−０は、さらに、制御部５２１、フラグ生成部５２２、V0選択部５３１−０、V0テンポラルメモリ５３２−０、V0動きベクトル圧縮部５３３−０、V0動きベクトルメモリ５３４−０、およびV0選択部５３５−０を有する。
V1画像符号化装置５００−１は、さらに、V1選択部５３１−１、V1テンポラルメモリ５３２−１、V1動きベクトル圧縮部５３３−１、V1動きベクトルメモリ５３４−１、およびV1選択部５３５−１を有する。
V2画像符号化装置５００−２は、さらに、V2選択部５３１−２、V2テンポラルメモリ５３２−２、V2動きベクトル圧縮部５３３−２、およびV2動きベクトルメモリ５３４−２を有する。
制御部５２１は、ユーザや他の装置等の外部からの指示や、所定の条件判定結果等に基づいて、IVMP用の動きベクトルを圧縮するか否かを決定する。つまり、制御部５２１は、図４に示される方法を選択するか、図５に示される方法を選択するかを決定する。圧縮するか否かを決定すると、制御部５２１は、その旨をフラグ生成部５２２に供給する。
フラグ生成部５２２は、制御部５２１から通知された方法を示すフラグを生成する。フラグ生成部５２２は、生成したフラグを可逆符号化部５０６−０に供給する。可逆符号化部５０６−０は、供給されたフラグをシーケンスパラメータセットに含めて、復号側に伝送させる。
また、制御部５２１は、決定した方法に従って、V0選択部５３１−０、V0選択部５３５−０、V1選択部５３１−１、V1選択部５３５−１、および、V2選択部５３１−２の選択（スイッチング）を制御する。
制御部５２１が、IVMP用の動きベクトルを圧縮する方法を選択した場合、V0選択部５３１−０は、制御部５２１の制御に従って、V0動きベクトル圧縮部５３３−０を選択し、V0選択部５３５−０は、制御部５２１の制御に従って、V0動きベクトルメモリ５３４−０を選択する。また、V1選択部５３１−１は、制御部５２１の制御に従って、V1動きベクトル圧縮部５３３−１を選択し、V1選択部５３５−１は、制御部５２１の制御に従って、V1動きベクトルメモリ５３４−１を選択する。さらに、V2選択部５３１−２は、制御部５２１の制御に従って、V2動きベクトル圧縮部５３３−２を選択する。
この場合、動き予測・補償部５１４−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部５３１−０を介して、V0動きベクトル圧縮部５３３−０に供給する。V0動きベクトル圧縮部５３３−０は、動き予測・補償部５１４−０から供給された圧縮前V0動きベクトルを1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ５３４−０に供給する。V0動きベクトルメモリ５３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ５３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−０に供給する。また、V0動きベクトルメモリ５３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部５３５−０を介して、動き予測・補償部５１４−１に供給する。
また、動き予測・補償部５１４−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部５３１−１を介して、V1動きベクトル圧縮部５３３−１に供給する。V1動きベクトル圧縮部５３３−１は、動き予測・補償部５１４−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ５３４−１に供給する。V1動きベクトルメモリ５３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ５３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−１に供給する。また、V1動きベクトルメモリ５３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部５３５−１を介して、動き予測・補償部５１４−２に供給する。
さらに、動き予測・補償部５１４−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部５３１−２を介して、V2動きベクトル圧縮部５３３−２に供給する。V2動きベクトル圧縮部５３３−２は、動き予測・補償部５１４−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ５３４−２に供給する。V2動きベクトルメモリ５３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ５３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−２に供給する。
つまり、この場合、画像符号化装置５００は、第1の実施の形態において説明した方法の場合（例えば図５）と同様の構成となる。
制御部５２１が、IVMP用の動きベクトルを圧縮しない方法を選択した場合、V0選択部５３１−０およびV0選択部５３５−０は、制御部５２１の制御に従って、V0テンポラルメモリ５３２−０を選択する。また、V1選択部５３１−１およびV1選択部５３５−１は、制御部５２１の制御に従って、V1テンポラルメモリ５３２−０を選択する。さらに、V2選択部５３１−２は、制御部５２１の制御に従って、V2テンポラルメモリ５３２−２を選択する。
この場合、動き予測・補償部５１４−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部５３１−０を介して、V0テンポラルメモリ５３２−０に供給する。V0テンポラルメモリ５３２−０は、適宜、記憶している圧縮前V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部５３５−０を介して、動き予測・補償部５１４−１に供給する。また、V0テンポラルメモリ５３２−０は、適宜、記憶している圧縮前V0動きベクトルを、V0動きベクトル圧縮部５３３−０に供給する。V0動きベクトル圧縮部５３３−０は、V0テンポラルメモリ５３２−０から圧縮前V0動きベクトルを読み出し、1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ５３４−０に供給する。V0動きベクトルメモリ５３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ５３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−０に供給する。
また、動き予測・補償部５１４−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部５３１−１を介して、V1テンポラルメモリ５３２−１に供給する。V1テンポラルメモリ５３２−１は、適宜、記憶している圧縮前V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部５３５−１を介して、動き予測・補償部５１４−２に供給する。また、V1テンポラルメモリ５３２−１は、適宜、記憶している圧縮前V1動きベクトルを、V1動きベクトル圧縮部５３３−１に供給する。V1動きベクトル圧縮部５３３−１は、V1テンポラルメモリ５３２−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ５３４−１に供給する。V1動きベクトルメモリ５３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ５３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−１に供給する。
さらに、動き予測・補償部５１４−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部５３１−２を介して、V2テンポラルメモリ５３２−２に供給する。V2テンポラルメモリ５３２−２は、適宜、記憶している圧縮前V2動きベクトルを、V2動きベクトル圧縮部５３３−２に供給する。V2動きベクトル圧縮部５３３−２は、V2テンポラルメモリ５３２−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ５３４−２に供給する。V2動きベクトルメモリ５３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ５３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部５１４−２に供給する。
つまり、この場合、画像符号化装置５００は、従来の方法の場合（例えば図４）と同様の構成となる。
以上のように、動きベクトルの圧縮方法を制御することができるようにすることにより、符号化・復号に必要な記憶容量の増大を適応的に抑制することができる。
＜符号化処理の流れ＞
次に、以上のような画像符号化装置５００により実行される処理の流れについて説明する。図４８のフローチャートを参照して、画像符号化装置５００による符号化処理の流れの例を説明する。
符号化処理が開始されると、V0画像符号化装置５００−０の制御部５２１は、ステップＳ３００１において、IVMPの動きベクトルの圧縮の設定（IVMP用の動きベクトルを圧縮するか否かの設定）を行う。ステップＳ３００２において、フラグ生成部５２２は、ステップＳ３００１の設定に従って、IVMP用の動きベクトルを圧縮するか否かを示す動きベクトル圧縮フラグを生成する。この動きベクトル圧縮フラグは、可逆符号化部５０６−０において符号化される。ステップＳ３００３において、動きベクトル圧縮フラグの符号化データは、蓄積バッファ５０７−０に供給されて保持され、所定のタイミングにおいて、復号側に伝送される。
カレントピクチャについて、V0画像符号化装置５００−０は、ステップＳ３００４においてV0符号化処理を行い、V1画像符号化装置５００−１は、ステップＳ３００５においてV1符号化処理を行い、V2画像符号化装置５００−２は、ステップＳ３００６においてV2符号化処理を行う。
ステップＳ３００７において、画像符号化装置５００は、全てのピクチャを処理したか否かを判定する。未処理のピクチャが存在すると判定した場合、処理は、ステップＳ３００４に戻り、それ以降の処理を繰り返す。
各ピクチャについて、ステップＳ３００４乃至ステップＳ３００７の処理が繰り返され、ステップＳ３００７において、全てのピクチャが処理されたと判定された場合、符号化処理が終了する。
＜V0符号化処理の流れ＞
次に、図４９および図５０のフローチャートを参照して、図４８のステップＳ３００４において実行される、ビュー０の符号化を行うV0符号化処理の流れの例を説明する。
図４９のステップＳ３１０１乃至ステップＳ３１０５の各処理は、V0画像符号化装置５００−０の各処理部により、図１０のステップＳ１１０１乃至ステップＳ１１０５の各処理と同様に実行される。
ステップＳ３１０６において、V0選択部５３１−０は、制御部５２１の制御に従って、圧縮前V0動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理はステップＳ３１０７に進む。
ステップＳ３１０７において、V0動きベクトル圧縮部５３３−０は、圧縮前V0動きベクトルを1/16圧縮する。ステップＳ３１０８において、V0動きベクトルメモリ５３４−０は、ステップＳ３１０７の処理により生成された1/16圧縮後V0動きベクトルを記憶する。ステップＳ３１０８の処理が終了すると、処理はステップＳ３１１０に進む。
また、ステップＳ３１０６において、圧縮前V0動きベクトルを圧縮しないと判定された場合、処理はステップＳ３１０９に進む。ステップＳ３１０９において、V0テンポラルメモリ５３２−０は、圧縮前V0動きベクトルを記憶する。ステップＳ３１０９の処理が終了すると、処理は、ステップＳ３１１０に進む。
図４９のステップＳ３１１０乃至ステップＳ３１１２、図５０のステップＳ３１２１乃至ステップＳ３１２９の各処理は、画像符号化装置５００−０の各処理部により、図１０のステップＳ１１０８乃至ステップＳ１１１９の各処理と同様に行われる。
次に、図５０のステップＳ３１３０において、V0選択部５３５−０は、制御部５２１の制御に従って、IVMPの動きベクトルを圧縮するか否かを判定する。この判定は、図４９のステップＳ３１０６と同様に行われる。圧縮しないと判定された場合、すなわち、図４９のステップＳ３１０６においても、動きベクトルを圧縮すると判定されなかった場合、処理はステップＳ３１３１に進む。
この場合、図４９のステップＳ３１０９の処理により圧縮前V0動きベクトルがV0テンポラルメモリ５３２−０に記憶されている。そこで、ステップＳ３１３１において、V0動きベクトル圧縮部５３３−０は、V0テンポラルメモリ５３２−０からその圧縮前V0動きベクトルを読み出し、1/16圧縮を行う。ステップＳ３１３２において、V0動きベクトルメモリ５３４−０は、ステップＳ３１３１において算出された1/16圧縮後V0動きベクトルを記憶する。
この場合、V0テンポラルメモリ５３２−０に記憶された圧縮前V0動きベクトルは、動き予測・補償部５１４−１において、IVMPに利用される。また、V0動きベクトルメモリ５３４−０に記憶された1/16圧縮後V0動きベクトルは、動き予測・補償部５１４−０において、TMVPに利用される。
ステップＳ３１３２の処理が終了すると、V0符号化処理が終了し、処理は図４８に戻る。
また、図５０のステップＳ３１３０において、動きベクトルを圧縮すると判定された場合、すなわち、図４９のステップＳ３１０６においても、動きベクトルを圧縮すると判定された場合、V0符号化処理が終了し、処理は図４８に戻る。
この場合、V0動きベクトルメモリ５３４−０に記憶された1/16圧縮後V0動きベクトルは、動き予測・補償部５１４−０において、TMVPに利用されるとともに、動き予測・補償部５１４−１において、IVMPに利用される。
なお、図４９のステップＳ３１０４において実行されるV0インター動き予測処理は、動き予測・補償部５１４−０により、第１の実施の形態の場合（図１１）と同様に行われるのでその説明を省略する。
＜V1符号化処理の流れ＞
次に、図５１および図５２のフローチャートを参照して、図４８のステップＳ３００５において実行される、ビュー１の符号化を行うV1符号化処理の流れの例を説明する。
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、インター動き予測処理にある。したがって、図５１に示されるように、ビュー１に対するV1符号化処理は、V1画像符号化装置５００−１によって、ビュー０に対するV0符号化処理（図４９および図５０）の場合と基本的に同様に実行される。つまり、図５１のステップＳ３２０１乃至ステップＳ３２１２、並びに、図５２のステップＳ３２２１乃至ステップＳ３２３２の各処理は、図４９のステップＳ３１０１乃至ステップＳ３１１２、並びに、図５０のステップＳ３１２１乃至ステップＳ３１３２の各処理と基本的に同様に実行される。したがって、図５１および図５２の説明は、図４９および図５０の説明におけるV0画像符号化装置５００−０の各部をV1画像符号化装置５００−１の各部に置き換え、図４９および図５０においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
＜V1インター動き予測処理の流れ＞
次に、図５１のステップＳ３２０４において実行されるV1インター動き予測処理の流れの例を、図５３のフローチャートを参照して説明する。
V1インター動き予測処理が開始されると、ステップＳ３２５１乃至ステップＳ３２５３の各処理は、図１３のステップＳ１２３１乃至ステップＳ１２３３の各処理と基本的に同様に実行される。ただし、この場合のV1インター動き予測処理は、動き予測・補償部５１４−１が実行する。
また、この場合、IVMP用の動きベクトルを圧縮するか否かが選択される。つまり、図５３のステップＳ３２５４において、動き予測・補償部５１４−１は、制御部５２１の制御（つまり、制御部５２１により制御されるV0選択部５３５−０の選択）に従って、動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理は、ステップＳ３２５５に進む。
ステップＳ３２５５において、動き予測・補償部５１４−１は、V0動きベクトルメモリ５３４−０から取得した1/16圧縮後V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３２５７に進む。
また、ステップＳ３２５４において、動きベクトルを圧縮しないと判定された場合、処理は、ステップＳ３２５６に進む。
ステップＳ３２５６において、動き予測・補償部５１４−１は、V0テンポラルメモリ５３２−０から取得した圧縮前V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３２５７に進む。
図５３のステップＳ３２５７乃至ステップＳ３２６０の各処理は、図１３のステップＳ１２３５乃至ステップＳ１２３８の各処理と同様に実行される。ステップＳ３２６０の処理が終了すると、V1インター動き予測処理が終了し、処理は、図５１に戻る。
＜V2符号化処理の流れ＞
次に、図５４および図５５のフローチャートを参照して、図４８のステップＳ３００６において実行される、ビュー２の符号化を行うV2符号化処理の流れの例を説明する。
ビュー２に対する処理は、ビュー１に対する処理と同様に実行される。したがって、図５４および図５５に示されるように、V2符号化処理は、V2画像符号化装置５００−２によって、ビュー１に対するV1符号化処理（図５１および図５２）の場合と基本的に同様に実行される。つまり、図５４のステップＳ３３０１乃至ステップＳ３３１２、並びに、図５５のステップＳ３３２１乃至ステップＳ３３３２の各処理は、図５１のステップＳ３２０１乃至ステップＳ３２１２、並びに、図５２のステップＳ３２２１乃至ステップＳ３２３２の各処理と基本的に同様に実行される。したがって、図５４および図５５の説明は、図５１および図５２の説明におけるV1画像符号化装置５００−１の各処理部をV2画像符号化装置５００−２の各処理部に置き換え、図５１および図５２においてビュー１に対する処理との説明を、ビュー２に対する処理に置き換えるだけでよいので、その説明は省略する。
なお、ビュー２は、ビュー０乃至ビュー２の中で最後に処理されるビューであるので、生成されたV2動きベクトルは、IVMPに利用されない。したがって、図５４のステップＳ３３０７およびステップＳ３３０８、または、図５５のステップＳ３３３１およびステップＳ３３３８のいずれか一方を行えばよい。したがって、その他方と、図５４のステップＳ３３０６およびステップＳ３３３０の判定処理は、省略することができる。
＜V2インター動き予測処理の流れ＞
次に、図５４のステップＳ３３０４において実行されるV2インター動き予測処理の流れの例を、図５６のフローチャートを参照して説明する。
V2インター動き予測処理が開始されると、ステップＳ３３５１乃至ステップＳ３３５３の各処理は、図１５のステップＳ１３３１乃至ステップＳ１３３３の各処理と基本的に同様に実行される。ただし、この場合のV2インター動き予測処理は、動き予測・補償部５１４−２が実行する。
また、この場合、IVMP用の動きベクトルを圧縮するか否かが選択される。つまり、図５６のステップＳ３３５４において、動き予測・補償部５１４−２は、制御部５２１の制御（つまり、制御部５２１により制御されるV1選択部５３５−１の選択）に従って、動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理は、ステップＳ３３５５に進む。
ステップＳ３３５５において、動き予測・補償部５１４−２は、V1動きベクトルメモリ５３４−１から取得した1/16圧縮後V1動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３３５７に進む。
また、ステップＳ３３５４において、動きベクトルを圧縮しないと判定された場合、処理は、ステップＳ３３５６に進む。
ステップＳ３３５６において、動き予測・補償部５１４−２は、V1テンポラルメモリ５３２−１から取得した圧縮前V1動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップＳ３３５７に進む。
図５６のステップＳ３３５７乃至ステップＳ３３６０の各処理は、図１５のステップＳ１３３５乃至ステップＳ１３３８の各処理と同様に実行される。ステップＳ３３６０の処理が終了すると、V2インター動き予測処理が終了し、処理は、図５４に戻る。
以上のように各処理を実行することにより、画像符号化装置５００は、より適応的に、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を、より適応的に抑制することができる。
＜画像復号装置＞
次に、以上のように符号化された符号化データ（符号化ストリーム）の復号について説明する。図５７は、V0画像復号装置の主な構成例を示すブロック図である。図５８は、V1画像復号装置の主な構成例を示すブロック図である。図５９は、V2画像復号装置の主な構成例を示すブロック図である。
図示せぬ画像復号装置６００は、画像符号化装置５００により符号化された、図２に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置６００は、多視点画像の各ビューの符号化データを復号するために、図５７のV0画像復号装置６００−０、図５８のV1画像復号装置６００−１、および図５９のV2画像復号装置６００−２を有する。V0画像復号装置６００−０は、V0画像符号化装置５００−０により符号化されたビュー０の画像の符号化データを復号する。V1画像復号装置６００−１は、V1画像符号化装置５００−１により符号化されたビュー１の画像の符号化データを復号する。V2画像復号装置６００−２は、V2画像符号化装置５００−２により符号化されたビュー２の画像の符号化データを復号する。
図５７に示されるように、V0画像復号装置６００−０は、蓄積バッファ６０１−０、可逆復号部６０２−０、逆量子化部６０３−０、逆直交変換部６０４−０、演算部６０５−０、ループフィルタ６０６−０、画面並べ替えバッファ６０７−０、およびD/A変換部６０８−０を有する。また、V0画像復号装置６００−０は、デコードピクチャバッファ６０９−０、画面内予測部６１０−０、動き補償部６１１−０、および選択部６１２−０を有する。
また、図５８に示されるように、V1画像復号装置６００−１は、蓄積バッファ６０１−１、可逆復号部６０２−１、逆量子化部６０３−１、逆直交変換部６０４−１、演算部６０５−１、ループフィルタ６０６−１、画面並べ替えバッファ６０７−１、およびD/A変換部６０８−１を有する。また、V1画像復号装置６００−１は、デコードピクチャバッファ６０９−１、画面内予測部６１０−１、動き補償部６１１−１、および選択部６１２−１を有する。
さらに、図５９に示されるように、V2画像復号装置６００−２は、蓄積バッファ６０１−２、可逆復号部６０２−２、逆量子化部６０３−２、逆直交変換部６０４−２、演算部６０５−２、ループフィルタ６０６−２、画面並べ替えバッファ６０７−２、およびD/A変換部６０８−２を有する。また、V2画像復号装置６００−２は、デコードピクチャバッファ６０９−２、画面内予測部６１０−２、動き補償部６１１−２、および選択部６１２−２を有する。
以下において、蓄積バッファ６０１−０乃至蓄積バッファ６０１−２を互いに区別して説明する必要が無い場合、単に、蓄積バッファ６０１と称する。また、可逆復号部６０２−０乃至可逆復号部６０２−２を互いに区別して説明する必要が無い場合、単に、可逆復号部６０２と称する。さらに、逆量子化部６０３−０乃至逆量子化部６０３−２を互いに区別して説明する必要が無い場合、単に、逆量子化部６０３と称する。また、逆直交変換部６０４−０乃至逆直交変換部６０４−２を互いに区別して説明する必要が無い場合、単に、逆直交変換部６０４と称する。さらに、演算部６０５−０乃至演算部６０５−２を互いに区別して説明する必要が無い場合、単に、演算部６０５と称する。
また、ループフィルタ６０６−０乃至ループフィルタ６０６−２を互いに区別して説明する必要が無い場合、単に、ループフィルタ６０６と称する。さらに、画面並べ替えバッファ６０７−０乃至画面並べ替えバッファ６０７−２を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ６０７と称する。また、D/A変換部６０８−０乃至D/A変換部６０８−２を互いに区別して説明する必要が無い場合、単に、D/A変換部６０８と称する。さらに、デコードピクチャバッファ６０９−０乃至デコードピクチャバッファ６０９−２を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ６０９と称する。
また、画面内予測部６１０−０乃至画面内予測部６１０−２を互いに区別して説明する必要が無い場合、単に、画面内予測部６１０と称する。さらに、動き補償部６１１−０乃至動き補償部６１１−２を互いに区別して説明する必要が無い場合、単に、動き補償部６１１と称する。また、選択部６１２−０乃至選択部６１２−２を互いに区別して説明する必要が無い場合、単に、選択部６１２と称する。
蓄積バッファ６０１は、蓄積バッファ２０１に対応し、基本的に蓄積バッファ２０１と同様の処理を行う。可逆復号部６０２は、可逆復号部２０２に対応し、基本的に可逆復号部２０２と同様の処理を行う。逆量子化部６０３は、逆量子化部２０３に対応し、基本的に逆量子化部２０３と同様の処理を行う。逆直交変換部６０４は、逆直交変換部２０４に対応し、基本的に逆直交変換部２０４と同様の処理を行う。演算部６０５は、演算部２０５に対応し、基本的に演算部２０５と同様の処理を行う。
ループフィルタ６０６は、ループフィルタ２０６に対応し、基本的にループフィルタ２０６と同様の処理を行う。画面並べ替えバッファ６０７は、画面並べ替えバッファ２０７に対応し、基本的に画面並べ替えバッファ２０７と同様の処理を行う。D/A変換部６０８は、D/A変換部２０８に対応し、基本的にD/A変換部２０８と同様の処理を行う。デコードピクチャバッファ６０９は、デコードピクチャバッファ２０９に対応し、基本的にデコードピクチャバッファ２０９と同様の処理を行う。
画面内予測部６１０は、画面内予測部２１０に対応し、基本的に画面内予測部２１０と同様の処理を行う。動き補償部６１１は、動き補償部２１１に対応し、基本的に動き補償部２１１と同様の処理を行う。選択部６１２は、選択部２１２に対応し、基本的に選択部２１２と同様の処理を行う。
V0画像復号装置６００−０は、さらに、制御部６２１、V0選択部６３１−０、V0テンポラルメモリ６３２−０、V0動きベクトル圧縮部６３３−０、V0動きベクトルメモリ６３４−０、およびV0選択部６３５−０を有する。
V1画像復号装置６００−１は、さらに、V1選択部６３１−１、V1テンポラルメモリ６３２−１、V1動きベクトル圧縮部６３３−１、V1動きベクトルメモリ６３４−１、およびV1選択部６３５−１を有する。
V2画像復号装置６００−２は、さらに、V2選択部６３１−２、V2テンポラルメモリ６３２−２、V2動きベクトル圧縮部６３３−２、およびV2動きベクトルメモリ６３４−２を有する。
可逆復号部６０２−０は、符号化側から供給された、IVMP用の動きベクトルを圧縮するか否かを示すフラグを、例えばシーケンスパラメータセットから抽出し、制御部６２１に供給する。
制御部６２１は、可逆復号部６０２から取得したフラグの値に基づいて、すなわち、符号化側において採用された方法（制御部５２１によって決定された方法）に従って、V0選択部６３１−０、V0選択部６３５−０、V1選択部６３１−１、V1選択部６３５−１、および、V2選択部６３１−２の選択（スイッチング）を制御する。
IVMP用の動きベクトルを圧縮する場合、V0選択部６３１−０は、制御部６２１の制御に従って、V0動きベクトル圧縮部６３３−０を選択し、V0選択部６３５−０は、制御部６２１の制御に従って、V0動きベクトルメモリ６３４−０を選択する。また、V1選択部６３１−１は、制御部６２１の制御に従って、V1動きベクトル圧縮部６３３−１を選択し、V1選択部６３５−１は、制御部６２１の制御に従って、V1動きベクトルメモリ６３４−１を選択する。さらに、V2選択部６３１−２は、制御部６２１の制御に従って、V2動きベクトル圧縮部６３３−２を選択する。
この場合、動き補償部６１１−０は、再構築したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部６３１−０を介して、V0動きベクトル圧縮部６３３−０に供給する。V0動きベクトル圧縮部６３３−０は、動き補償部６１１−０から供給された圧縮前V0動きベクトルを1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ６３４−０に供給する。V0動きベクトルメモリ６３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ６３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−０に供給する。また、V0動きベクトルメモリ６３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部６３５−０を介して、動き補償部６１１−１に供給する。
また、動き補償部６１１−１は、再構築したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部６３１−１を介して、V1動きベクトル圧縮部６３３−１に供給する。V1動きベクトル圧縮部６３３−１は、動き補償部６１１−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ６３４−１に供給する。V1動きベクトルメモリ６３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ６３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−１に供給する。また、V1動きベクトルメモリ６３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部６３５−１を介して、動き補償部６１１−２に供給する。
さらに、動き補償部６１１−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部６３１−２を介して、V2動きベクトル圧縮部６３３−２に供給する。V2動きベクトル圧縮部６３３−２は、動き補償部６１１−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ６３４−２に供給する。V2動きベクトルメモリ６３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ６３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−２に供給する。
つまり、この場合、画像復号装置６００は、第1の実施の形態において説明した方法の場合（例えば図５）と同様の構成となる。
IVMP用の動きベクトルが圧縮されない場合、V0選択部６３１−０およびV0選択部６３５−０は、制御部６２１の制御に従って、V0テンポラルメモリ６３２−０を選択する。また、V1選択部６３１−１およびV1選択部６３５−１は、制御部６２１の制御に従って、V1テンポラルメモリ６３２−０を選択する。さらに、V2選択部６３１−２は、制御部６２１の制御に従って、V2テンポラルメモリ６３２−２を選択する。
この場合、動き補償部６１１−０は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル（最高4x4精度）を、V0選択部６３１−０を介して、V0テンポラルメモリ６３２−０に供給する。V0テンポラルメモリ６３２−０は、適宜、記憶している圧縮前V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部６３５−０を介して、動き補償部６１１−１に供給する。また、V0テンポラルメモリ６３２−０は、適宜、記憶している圧縮前V0動きベクトルを、V0動きベクトル圧縮部６３３−０に供給する。V0動きベクトル圧縮部６３３−０は、V0テンポラルメモリ６３２−０から圧縮前V0動きベクトルを読み出し、1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ６３４−０に供給する。V0動きベクトルメモリ６３４−０は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ６３４−０は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−０に供給する。
また、動き補償部６１１−１は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル（最高4x4精度）を、V1選択部６３１−１を介して、V1テンポラルメモリ６３２−１に供給する。V1テンポラルメモリ６３２−１は、適宜、記憶している圧縮前V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部６３５−１を介して、動き補償部６１１−２に供給する。また、V1テンポラルメモリ６３２−１は、適宜、記憶している圧縮前V1動きベクトルを、V1動きベクトル圧縮部６３３−１に供給する。V1動きベクトル圧縮部６３３−１は、V1テンポラルメモリ６３２−１から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ６３４−１に供給する。V1動きベクトルメモリ６３４−１は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ６３４−１は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−１に供給する。
さらに、動き補償部６１１−２は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル（最高4x4精度）を、V2選択部６３１−２を介して、V2テンポラルメモリ６３２−２に供給する。V2テンポラルメモリ６３２−２は、適宜、記憶している圧縮前V2動きベクトルを、V2動きベクトル圧縮部６３３−２に供給する。V2動きベクトル圧縮部６３３−２は、V2テンポラルメモリ６３２−２から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ６３４−２に供給する。V2動きベクトルメモリ６３４−２は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ６３４−２は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部６１１−２に供給する。
つまり、この場合、画像復号装置６００は、従来の方法の場合（例えば図４）と同様の構成となる。
以上のように、動きベクトルの圧縮方法を制御することができるようにすることにより、符号化・復号に必要な記憶容量の増大を適応的に抑制することができる。
＜復号処理の流れ＞
次に、以上のような画像復号装置６００により実行される処理の流れについて説明する。図６０のフローチャートを参照して、画像復号装置６００による復号処理の流れの例を説明する。
復号処理が開始されると、制御部６２１は、ステップＳ３４０１において、符号化側から伝送された、IVMP用の動きベクトルを圧縮するか否かを示す動きベクトル圧縮フラグを受け取る。
カレントピクチャについて、V0画像復号装置６００−０は、ステップＳ３４０２においてV0復号処理を行い、V1画像復号装置６００−１は、ステップＳ３４０３においてV1復号処理を行い、V2画像復号装置６００−２は、ステップＳ３４０４においてV2復号処理を行う。
ステップＳ３４０５において、画像復号装置６００は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップＳ３４０２に戻し、それ以降の処理を繰り返す。
各ピクチャについて、ステップＳ３４０２乃至ステップＳ３４０５の処理が繰り返され、ステップＳ３４０５において、全てのピクチャが処理されたと判定された場合、画像復号装置６００は、復号処理を終了する。
＜V0復号処理の流れ＞
次に、図６１および図６２のフローチャートを参照して、図６０のステップＳ３４０２において実行される、ビュー０の復号を行うV0復号処理の流れの例を説明する。
ステップＳ３５０１乃至ステップＳ３５０８の各処理は、V0画像復号装置６００−０の各処理部により、図２０のステップＳ１５０１乃至ステップＳ１５０８の各処理と同様に行われる。
ステップＳ３５０９において、V0選択部６３１−０は、制御部６２１の制御に従って、圧縮前V0動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理はステップＳ３５１０に進む。
ステップＳ３５１０において、V0動きベクトル圧縮部６３３−０は、圧縮前V0動きベクトルを1/16圧縮する。ステップＳ３５１１において、V0動きベクトルメモリ６３４−０は、ステップＳ３５１０の処理により生成された1/16圧縮後V0動きベクトルを記憶する。ステップＳ３５１１の処理が終了すると、処理は図６２のステップＳ３５２１に進む。
また、図６１のステップＳ３５０９において、圧縮前V0動きベクトルを圧縮しないと判定された場合、処理はステップＳ３５１２に進む。ステップＳ３５１２において、V0テンポラルメモリ６３２−０は、圧縮前V0動きベクトルを記憶する。ステップＳ３５１２の処理が終了すると、処理は、図６２のステップＳ３５２１に進む。
図６２のステップＳ３５２１乃至ステップＳ３５２５の各処理は、画像復号装置６００−０の各処理部により、図２０のステップＳ１５１１乃至ステップＳ１５１５の各処理と同様に行われる。
図６２のステップＳ３５０９において、V0選択部６３５−０は、制御部６２１の制御に従って、IVMPの動きベクトルを圧縮するか否かを判定する。この判定は、図６１のステップＳ３５０９と同様に行われる。圧縮しないと判定された場合、すなわち、図６１のステップＳ３５０９においても、動きベクトルを圧縮すると判定されなかった場合、処理は図６２のステップＳ３５２７に進む。
この場合、図６１のステップＳ３５１２の処理により圧縮前V0動きベクトルがV0テンポラルメモリ６３２−０に記憶されている。そこで、ステップＳ３５２７において、V0動きベクトル圧縮部６３３−０は、V0テンポラルメモリ６３２−０からその圧縮前V0動きベクトルを読み出し、1/16圧縮を行う。ステップＳ３５２８において、V0動きベクトルメモリ６３４−０は、ステップＳ３５２７において算出された1/16圧縮後V0動きベクトルを記憶する。
この場合、V0テンポラルメモリ６３２−０に記憶された圧縮前V0動きベクトルは、動き補償部６１１−１において、IVMPに利用される。また、V0動きベクトルメモリ６３４−０に記憶された1/16圧縮後V0動きベクトルは、動き補償部６１１−０において、TMVPに利用される。
ステップＳ３５２８の処理が終了すると、V0復号処理が終了し、処理は図６０に戻る。
また、図６２のステップＳ３５２６において、動きベクトルを圧縮すると判定された場合、すなわち、図６１のステップＳ３５０９においても、動きベクトルを圧縮すると判定された場合、V0符号化処理が終了し、処理は図６０に戻る。
この場合、V0動きベクトルメモリ６３４−０に記憶された1/16圧縮後V0動きベクトルは、動き補償部６１１−０において、TMVPに利用されるとともに、動き補償部６１１−１において、IVMPに利用される。
なお、図６１のステップＳ３５０６において実行されるV0動き補償処理は、動き補償部６１１−０により、第１の実施の形態の場合（図２１）と同様に行われるのでその説明を省略する。
＜V1復号処理の流れ＞
次に、図６３および図６４のフローチャートを参照して、図６０のステップＳ３４０３において実行される、ビュー１の符号化データを復号するV1復号処理の流れの例を説明する。
ビュー０に対する処理と、ビュー１に対する処理の違いは、主に、動き補償処理にある。したがって、図６３および図６４に示されるように、ビュー１に対するV1復号処理は、V1画像復号装置６００−１によって、ビュー０に対するV0復号処理（図６１および図６２）の場合と基本的に同様に実行される。つまり、図６３のステップＳ３６０１乃至ステップＳ３６１２、並びに、図６４のステップＳ３６２１乃至ステップＳ３６２８の各処理は、図６１のステップＳ３５０１乃至ステップＳ３５１２、並びに、図６２のステップＳ３５２１乃至ステップＳ３５２８の各処理と基本的に同様に実行される。したがって、図６３および図６４の説明は、図６１および図６２の説明におけるV0画像復号装置６００−０の各部をV1画像復号装置６００−１の各部に置き換え、図６１および図６２においてビュー０に対する処理としてした説明を、ビュー１に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
＜V1動き補償処理の流れ＞
次に、図６３のステップＳ３６０６において実行されるV1動き補償処理の流れの例を、図６５のフローチャートを参照して説明する。
V1動き補償処理が開始されると、ステップＳ３６４１において、動き補償部６１１−１は、差分動き情報（差分動きベクトル）を取得する。ステップＳ３６４２において、動き補償部６１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップＳ３６４３に進む。
ステップＳ３６４３において、動き補償部６１１−１は、ピクチャ内の圧縮前V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
また、ステップＳ３６４２において、空間予測でないと判定された場合、処理は、ステップＳ３６４４に進む。
ビュー１の場合、最初に処理されるビューではないので、予測動きベクトルのモードがビュー間予測（IVMP）である可能性もある。
ステップＳ３６４４において、動き補償部６１１−１は、インター予測情報に基づいて、予測動きベクトルのモードが時間予測であるか否かを判定する。時間予測であると判定された場合、処理は、ステップＳ３６４５に進む。
ステップＳ３６４５において、動き補償部６１１−１は、他のピクチャ内の1/16圧縮後V1動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
また、ステップＳ３６４４において、時間予測でないと判定された場合、処理は、ステップＳ３６４６に進む。
本実施の形態の場合、符号化側においてIVMP用の動きベクトルが圧縮される場合とされていない場合がある。
ステップＳ３６４６において、動き補償部６１１−１は、制御部６２１の制御に基づいて、動きベクトルを圧縮するか否かを判定する。圧縮しないと判定された場合、処理は、ステップＳ３６４７に進む。
ステップＳ３６４７において、動き補償部６１１−１は、圧縮前V0動きベクトルを用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
また、ステップＳ３６４６において、圧縮すると判定された場合、処理は、ステップＳ３６４８に進む。
ステップＳ３６４８において、動き補償部６１１−１は、1/16圧縮後V0動きベクトルを用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップＳ３６４９に進む。
ステップＳ３６４９において、動き補償部６１１−１は、ステップＳ３６４３、ステップＳ３６４５、ステップＳ３６４７、若しくは、ステップＳ３６４８において生成された予測動きベクトルを用いて、動きベクトルを再構築する。
ステップＳ３６５０において、動き補償部６１１−１は、動き補償を行い、予測画像を生成する。なお、動き補償部６１１−１は、ステップＳ３６４９において再構築された動きベクトルを記憶する。ステップＳ３６５０の処理が終了すると、V1動き補償処理が終了し、処理は、図６３に戻る。
＜V2復号処理の流れ＞
次に、図６６および図６７のフローチャートを参照して、図６０のステップＳ３４０４において実行される、ビュー２の符号化データを復号するV2復号処理の流れの例を説明する。
ビュー０に対する処理と、ビュー２に対する処理の違いは、主に、動き補償処理にある。したがって、図６６および図６７に示されるように、ビュー２に対するV2復号処理は、V2画像復号装置６００−２によって、ビュー０に対するV0復号処理（図６１および図６２）の場合と基本的に同様に実行される。つまり、図６６のステップＳ３７０１乃至ステップＳ３７１２、並びに、図６７のステップＳ３７２１乃至ステップＳ３７２８の各処理は、図６１のステップＳ３５０１乃至ステップＳ３５１２、並びに、図６２のステップＳ３５２１乃至ステップＳ３５２８の各処理と基本的に同様に実行される。したがって、図６６および図６７の説明は、図６１および図６２の説明におけるV0画像復号装置６００−０の各部をV2画像復号装置６００−２の各部に置き換え、図６１および図６２においてビュー０に対する処理としてした説明を、ビュー２に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。
＜V2動き補償処理の流れ＞
次に、図６６のステップＳ３７０６において実行されるV2動き補償処理の流れの例を、図６８のフローチャートを参照して説明する。
図６８に示されるように、V2動き補償処理は、V1動き補償処理（図６５）と基本的に同様に行われる。つまり、図６８のステップＳ３７４１乃至ステップＳ３７５０の各処理は、それぞれ、図６５のステップＳ３６３１乃至ステップＳ３６５０の各処理と基本的に同様に実行される。ただし、V1動き補償処理は、動き補償部６１１−１が実行するのに対して、V2動き補償処理は、動き補償部６１１−２が実行する。
また、V2動き補償処理の処理対象は、ビュー１の画像ではなくビュー２の画像である。したがって、ステップＳ３７４３において、動き補償部６１１−２は、ピクチャ内の圧縮前V2動きベクトル（カレントブロックに対して空間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
また、ステップＳ３７４５において、動き補償部６１１−２は、他のピクチャの1/16圧縮後V2動きベクトル（カレントブロックに対して時間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
さらに、ステップＳ３７４７において、動き補償部６１１−２は、圧縮前V1動きベクトル（カレントブロックに対してビュー間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
また、ステップＳ３７４８において、動き補償部６１１−２は、1/16圧縮後V1動きベクトル（カレントブロックに対してビュー間的に周辺のブロックの動きベクトル）を用いて予測動きベクトルを生成する。
ステップＳ３７５０の処理が終了すると、V2動き補償処理が終了し、処理は、図６６に戻る。
以上のように各処理を実行することにより、画像復号装置６００は、IVMP用の動きベクトルのために必要なメモリ容量を、適応的に低減させることができ、符号化・復号に必要な記憶容量の増大を、適応的に抑制することができる。
＜４．第４の実施の形態＞
＜階層画像点符号化・階層画像復号への適用＞
以上においては、多視点画像の符号化・復号について説明したが、レイヤは、視点（ビュー）に限らない。例えば、解像度、コンポーネント、ビット深度等のスケーラブルな符号化・復号における階層も、このレイヤに含まれる。本技術は、複数レイヤの符号化・復号であれば、どのような符号化・復号にも適用することができる。例えば、上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図６９は、階層画像符号化方式の一例を示す。
階層画像符号化（スケーラブル符号化）は、画像データを、所定のパラメータについてスケーラビリティ（scalability）機能を有するように、画像を複数レイヤ化（階層化）し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化（スケーラブル復号）は、その階層画像符号化に対応する復号である。
図６９に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として１の画像が複数の画像（レイヤ）に分割される。つまり、階層化された画像（階層画像）は、その所定のパラメータの値が互いに異なる複数の階層（レイヤ）の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ（エンハンスメントレイヤとも称する）とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。
一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ（差分データ）により構成される。例えば、１の画像をベースレイヤとノンベースレイヤ（エンハンスメントレイヤとも称する）に２階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像（すなわち高品質な画像）が得られる。
このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ（base layer）のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ（base layer）に加えて、エンハンスメントレイヤ（enhancement layer）の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。
このようなスケーラビリティ性を持たせるパラメータとして、例えば、図７０に示されるような、空間解像度がある（spatial scalability）。このスペーシャルスケーラビリティ（spatial scalability）の場合、レイヤ毎に解像度が異なる。つまり、図７０に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元の空間解像度）が得られるエンハンスメントレイヤの２階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図７１に示されるような、時間解像度がある（temporal scalability）。このテンポラルスケーラビリティ（temporal scalability）の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図３に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像（元のフレームレート）を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。
また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比（SNR（Signal to Noise ratio））がある（SNR scalability）。このSNRスケーラビリティ（SNR scalability）の場合、レイヤ毎にSN比が異なる。つまり、図７２に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像（元のSNR）が得られるエンハンスメントレイヤの２階層に階層化される。すなわち、ベースレイヤ（base layer）画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ（enhancement layer）画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。
スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ（base layer）が8ビット（bit）画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、10ビット（bit）画像が得られるビット深度スケーラビリティ（bit-depth scalability）がある。
また、ベースレイヤ（base layer）が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ（enhancement layer）を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ（chroma scalability）がある。
このような階層画像符号化・復号において、各階層の画像を符号化・復号する際、上述した多視点符号化・復号の場合と同様に、動きベクトルの予測にレイヤ間の相関性の高さを利用することができる。つまり、他のレイヤの処理済み（符号化済み若しくは復号済み）の動きベクトルを用いて予測動きベクトルの生成若しくは再構築を行うことができる。
その場合、あるレイヤの符号化・復号において得られた動きベクトルを、次以降に処理されるレイヤの符号化・復号において利用することができるように保持する必要がある。
そこで、そのためのメモリ容量の増大を抑制するために、他のレイヤの符号化・復号において利用されるカレントレイヤの動きベクトルを圧縮するようにしてもよい。この圧縮の具体的な方法は、多視点符号化・復号の説明において上述したのと同様である。
例えば、図５のように動きベクトルを圧縮して（間引いて）参照するようにするためには、画像符号化装置は、図６乃至図８のような構成を有し、図９乃至図１５のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図１６乃至図１８のような構成を有し、図１９乃至図２５のフローチャートのような各処理を実行するようにすればよい。
また、例えば、図２６のように動きベクトルを圧縮して（間引いて）参照するようにするためには、画像符号化装置は、図２７乃至図２９のような構成を有し、図３０乃至図３４のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図３５乃至図３７のような構成を有し、図３８乃至図４２のフローチャートのような各処理を実行するようにすればよい。
さらに、例えば、図４３のように動きベクトルを圧縮して（間引いて）参照するようにするためには、画像符号化装置は、図４５乃至図４７のような構成を有し、図４８乃至図５６のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図５７乃至図５９のような構成を有し、図６０乃至図６８のフローチャートのような各処理を実行するようにすればよい。
また、このような階層画像符号化・復号において、例えば、レイヤ１（layer_id=1）の符号化・復号において、レイヤ０（layer_id=0）の動きベクトルを利用する。このとき、レイヤ０の動きベクトルの精度は、圧縮しなくても、レイヤ１の動きベクトルの精度よりも低い。しかしながら、レイヤ０の動きベクトルをさらに圧縮することにより、その動きベクトルを保持するのに必要な記憶容量をより低減させることができる。
なお、このようなレイヤ間の動きベクトルの精度の比を考慮して圧縮率を決定するようにしてもよい。例えば、所定の圧縮率を基準圧縮率として定め、レイヤ間の動きベクトルの精度の比（レイヤ間の解像度の比）に応じて実際の圧縮率を決めるようにしてもよい。例えば、レイヤ１のIVMPに用いるレイヤ０の動きベクトルの基準圧縮率が1/16であるとする。このとき、レイヤ０の解像度がレイヤ１の1/4であるならば、実際の圧縮率は1/4に設定され、レイヤ０の解像度がレイヤ１の1/8であるならば、実際の圧縮率は1/2に設定されるようにしてもよい。このようにすることにより、所望の圧縮率（基準圧縮率）を実現することができ、符号化・復号に必要な記憶容量の増大を十分に抑制することができる。
また、例えば、図７３のＡに示されるように、ベースレイヤ（BL）の動きベクトルを1/4に間引くようにすると、その動きベクトルの予測精度の低減が大き過ぎて、エンハンスメントレイヤ（EL）において符号化効率が低減する恐れがある。しかしながら、逆に、図７３のＢに示されるように、ベースレイヤ（BL）の動きベクトルを間引かずにエンハンスメントレイヤに提供するようにすると、符号化・復号に必要な記憶容量が増大してしまう恐れがある。
そこで、例えば、図７４に示されるように、動きベクトルを、ベースレイヤからエンハンスメントレイヤに提供する際に1/2に間引き（圧縮し）、エンハンスメントレイヤからベースレイヤに戻す際にさらに1/2に間引く（圧縮する）ようにしてもよい。つまり、階層画像符号化・復号の場合も、図２６等を参照して説明した多視点画像符号化・復号の場合と同様の方法で動きベクトルを間引く（圧縮する）ことができる。
以上のように、画像の複数レイヤ化は、任意のパラメータに基づいて行うことができ、本技術は、そのパラメータに依らず、複数レイヤの画像の符号化・復号に適用することができる。すなわち、階層画像符号化・階層画像復号に本技術を適用する場合も、必要な記憶容量の増大を抑制することができる。
＜その他＞
以上においては、レイヤ数が３（０乃至２）の場合を例に説明したが、レイヤ数は任意であり、２レイヤであってもよいし、４レイヤ以上であってもよい。
また、以上においては、符号化における動き予測・動き補償、若しくは、復号における動き補償において、１つ前に処理されるレイヤの動きベクトルを利用するように説明したが、これに限らず、任意の他のレイヤの動きベクトルを利用することができる。
例えば、全てのノンベースレイヤの符号化・復号において、ベースレイヤの動きベクトルを利用するようにしてもよい。また、複数のノンベースレイヤが１のノンベースレイヤの動きベクトルを利用するようにしてもよい。
＜５．概要２＞
＜イントラ予測＞
ところで、HEVCにおいては、AVC等と同様に、カレントブロックの周辺画素を用いて予測画像を生成するイントラ予測が規定されている。
AVCではイントラ4x4予測、イントラ8x8予測、並びに、イントラ16x16予測が存在するのに対し、HEVCでは、4x4乃至64x64画素ブロックについて、図７５に示されるような、アンギュラー（Angular）予測が適用される。
すなわち、AVCでは、図７５のＡに示されるように、８方向＋直流予測によりイントラ予測処理が行われるのに対し、HEVCでは図７５のＢに示されるように、32方向＋直流予測によりイントラ予測が行なわれる。これにより、予測精度が向上する。
また、HEVCにおいては、図７６に示されるような、プレイナー（Planar）予測が規定されている。
プレイナー（Planar）予測処理においては、処理対象であるカレントブロックの周辺画素（既に符号化済みの画素）から、バイリニアインターポレーション（bi-linear interpolation）により、カレントブロックに含まれる予測画素が生成される。プレイナー（Planar）予測処理は、グラデーション（gradation）のあるような領域の符号化効率を向上させることができる。
HEVCにおいては、図７７に示されるように、３つのモストプロバブルモード（MostProbableMode）を用いたイントラ予測モードの符号化処理が行われる。すなわち、カレントブロックの上に隣接する周辺ブロックのイントラ予測モード（Above）、カレントブロックの左に隣接する周辺ブロックのイントラ予測モード（Left）、および、それらの周辺ブロック（AboveおよびLeft）におけるイントラ予測モードの組み合わせにより決定されるモードを、イントラ予測モードの候補（候補モードとも称する）とし、この３つの候補モードの中から、最適なものをカレントブロックのイントラ予測モードとして採用する。
カレントブロックの予測モードと、モストプロバブルモード（MostProbableMode）のどれかが同一である場合には、そのインデックス（index）番号を伝送する。そうでない場合には、予測ブロックのモード情報を、５ビットの固定長により伝送する。
＜イントラ予測におけるフィルタ処理＞
図７８は、HEVCにおいて規定されているMDIS（Mode Dependent Intra Smoothing）を説明する図である。
AVCの場合、イントラ8x8予測モードにおいて、カレントブロックの周辺画素に対して、図７８に示されるように、[1 2 1]/4フィルタ処理が行われる。これに対して、HEVCにおいては、ブロックサイズと予測モードに応じて、このフィルタ処理のオン・オフ（on/off）（すなわち、このフィルタ処理を適用するか否か）が決定される。
より具体的には、カレントブロックのブロックサイズが4x4の場合、このフィルタ処理は適用されない。カレントブロックのブロックサイズが8x8の場合、45度方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが16x16の場合、水平（horizontal）に近い３方向、並びに、垂直（vertical）に近い３方向以外の方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが32x32の場合、水平（horizontal）および垂直（vertical）以外の方向の予測モードに対して、このフィルタ処理が適用される。
更に、また、HEVCにおいては、予測モードが直流（DC）モード、水平（Horizontal）モード、垂直（Vertical）モードである場合のブロック歪の低減を目的として、図７９に示されるようなバウンダリバリュースムージング（Boundary Value Smoothing）処理が規定されている。
例えば、予測モードが直流（DC）モードである予測（DC予測）の場合、処理対象であるカレントブロックの上辺（Top）に隣接する周辺画素、および、カレントブロックの左辺（Left）に隣接する周辺画素の両方について、図７９に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。また、予測モードが水平（Horizontal）モードである予測（Horizontal予測）の場合、カレントブロックの上辺（Top）に隣接する周辺画素について、図７９に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。予測モードが垂直（Vertical）モードである予測（Vertical予測）の場合、カレントブロックの左辺（Left）に隣接する周辺画素について、図７９に示されるフィルタ処理（スムージング（Smoothing）処理）を行う。
ところで、Vadim Seregin, Patrice Onno, Shan Liu, Tammy Lee, Chulkeun Kim, Haitao Yang, Haricharan Laksman, "Description of Tool Experiment C5: Inter-layer syntax prediction using HEVC base layer", JCTVC-K1105, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012 においては、ベースレイヤ（Baselayer）のイントラ予測モードに関する情報を用いて、エンハンスメントレイヤ（Enhancementlayer）におけるイントラ予測モード情報を符号化する方法が提案されている。しかしながら、HEVCにおいては、worst caseで4x4ブロックに対して1つのイントラ予測モード情報を保持しておかなければならないため、符号化・復号に必要な記憶容量が増大してしまう恐れがあった。
また、Jill Boyce, Kawamura Kei, Haricharan Lakshman, "TE6: Inter-layer syntax prediction from AVC base layer", JCTVC-K1106v2, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012 においては、ベースレイヤにおいてAVCの符号化（Baselayer AVC）を行い、エンハンスメントレイヤにおいてHEVCの符号化（Enhancementlayer HEVC）を行うスケーラブル（scalable）符号化を行う際、ベースレイヤ（Baselayer）の動き情報を用いたエンハンスメントレイヤ（Enhancementlayer）の動き情報の符号化が提案されている。この場合も、上述したのと同様に、ベースレイヤのイントラ予測モード情報を用いたエンハンスメントレイヤのイントラ予測モード情報の符号化を行うことが考えられる。その場合にも、上述した場合と同様に、符号化・復号に必要な記憶容量が増大してしまう恐れがあった。
そこで、本技術は、ベースレイヤにおけるイントラ予測モード（を示す情報）をメモリに格納する際、そのイントラ予測モード（を示す情報）の間引き処理を行うようにする。このようにすることにより、イントラ予測モード（を示す情報）を格納するのに必要な記憶容量の増大を抑制することができる。すなわち、符号化・復号に必要な記憶容量の増大を抑制することができる。以下においては、説明の便宜上、イントラ予測モードを示す情報のこともイントラ予測モードと称する。
図８０は、このような本技術について説明する図である。
このイントラ予測モードの間引き処理は、例えば、所定の領域（エリア）毎に行われるようにしてもよい。間引き処理は、複数イントラ予測モードの内、一部のイントラ予測モードを残し、その他のイントラ予測モードを破棄する処理である。すなわち、この場合、間引き処理の処理単位となるエリアは、イントラ予測の処理単位となるブロックの複数個分の範囲となる。例えば、図８０の左側に示されるように、イントラ予測の処理単位であるブロック０乃至ブロック１５の１６個のブロックを、間引き処理の処理単位（エリア）とする。この場合、ブロック０乃至ブロック１５のそれぞれにイントラ予測モードが設定される。すなわち、間引き処理の処理対象であるカレントエリアに、I0乃至I15の１６個のイントラ予測モードが存在するとする。
間引き処理では、カレントエリア内の各ブロックのイントラ予測モードの内、一部のイントラ予測モードをそのエリアの代表として残して（選択して）バッファメモリに記憶し、その他のイントラ予測モードを破棄する。例えば、間引き率が4:1である場合、このような１６個のイントラ予測モードの内、いずれか１つのイントラ予測モードのみが選択され、バッファに格納される（その他の１５個のイントラ予測モードは破棄される）。
どのイントラ予測モードをエリアの代表とするかは任意である。例えば、カレントエリア内のブロックの内、最初にイントラ予測が行われるブロック（例えばブロック０）のイントラ予測モード（例えばI0）を、カレントエリアの代表とするようにしてもよい。また、例えば、カレントエリアの中央付近に位置するブロック（例えば、ブロック５、６、９、１０等のいずれか）のイントラ予測モード（例えば、I5,I6,I9.I10のいずれか）を、カレントエリアの代表とするようにしても良い。
エンハンスメントレイヤにおいて、このブロック０乃至ブロック１５をコロケーテッドブロック（Collocated Block）とするブロック（PU）の符号化処理には、このバッファに格納されたベースレイヤのイントラ予測モード（代表値）が用いられる。つまり、エンハンスメントレイヤのイントラ予測には、カレントブロックに対応するベースレイヤのエリアのイントラ予測モード（代表値）が用いられる。
このようにすることにより、イントラ予測モードを記憶するバッファの容量の増大を抑制することができる。
なお、間引き率の値は任意であり、上述した例（4:1）に限らない。例えば2:1であってもよいし、8:1や16:1等であってもよいし、それ以外であってもよい。間引き処理の処理単位である上述したエリアの広さは、この間引き率によって決定されるものとしてもよい。また、１のエリアから間引き率に応じた数のイントラ予測モードがそのエリアの代表として選択されるようにしてもよい（つまり、１のエリアから複数のイントラ予測モードを代表として選択することができるようにしてもよい）。また、この間引き率の設定方法は、任意である。例えば、予め定められた所定の値としてもよいし、ユーザ等の外部からの指示に従って設定されるようにしても良いし、イントラ予測モードを格納するバッファメモリとして使用可能な記憶容量やバス帯域幅等の、ハードウエア等の条件に基づいて設定されるようにしても良いし、画像データのベースレイヤとエンハンスメントレイヤの解像度比等のソフトウエア等の条件に基づいて設定されるようにしても良い。さらに、複数種類の条件を総合的に考慮して設定されるようにしても良い。さらに、この間引き率は、出力となる画像圧縮情報（ビットストリーム）中の任意の位置において伝送されるようにしても良い。例えば、ビデオパラメータセット（VPS（Video Parameter Set））において伝送されるようにしても良い。また、例えば、エンハンスメントレイヤのシーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、若しくはスライスヘッダ（SliceHeader）等において伝送されるようにしても良い。
なお、スペーシャルスケーラビリティ（Spatial Scalability）の場合、レイヤ毎に解像度が異なるので、間引き率を指定するレイヤを予め決めておくのが望ましい。例えば、この間引き率が、ベースレイヤにおける比率で設定されるようにしてもよい。
例えば、スペーシャルスケーラビリティ（Spatial Scalability）比が、1:2である場合、ベースレイヤでの4x4ブロックは、エンハンスメントレイヤでは8x8ブロックに相当する。ここで、間引き率2:1とは、ベースレイヤ解像度では8x8ブロック単位で、エンハンスメントレイヤ解像度では16x16ブロック単位で、ベースレイヤのイントラ予測モードが格納されていることになる。
以上のような処理を行うことにより、エンハンスメントレイヤにおいてイントラ予測モード符号化を行うための、ベースレイヤのイントラ予測モード情報を格納するために必要な記憶容量の増大を抑制することができる。
なお、本技術においては、ベースレイヤの画像圧縮情報は、AVCに基づくものであっても良い。
次に、以上のような本技術について、具体的な装置への適用例について説明する。
＜６．第５の実施の形態＞
＜スケーラブル符号化装置＞
図８１は、スケーラブル符号化装置の主な構成例を示すブロック図である。
図８１に示されるスケーラブル符号化装置１１００は、画像データをスケーラブル符号化する画像情報処理装置であり、ベースレイヤとエンハンスメントレイヤに階層化された画像データの各レイヤを符号化する。この階層化の基準として用いるパラメータ（スケーラビリティを持たせるパラメータ）は任意である。スケーラブル符号化装置１１００は、共通情報生成部１１０１、符号化制御部１１０２、ベースレイヤ画像符号化部１１０３、イントラ予測モード提供部１１０４、およびエンハンスメントレイヤ画像符号化部１１０５を有する。
共通情報生成部１１０１は、例えばNALユニットに格納するような画像データの符号化に関する情報を取得する。また、共通情報生成部１１０１は、必要に応じて、ベースレイヤ画像符号化部１１０３、イントラ予測モード提供部１１０４、およびエンハンスメントレイヤ画像符号化部１１０５などから必要な情報を取得する。共通情報生成部１１０１は、それらの情報を基に全レイヤに関する情報である共通情報を生成する。共通情報には、例えば、ビデオパラメータセット等が含まれる。共通情報生成部１１０１は、生成した共通情報を、例えばNALユニットとして、スケーラブル符号化装置１１００の外部に出力する。なお、共通情報生成部１１０１は、生成した共通情報を、符号化制御部１１０２にも供給する。さらに、共通情報生成部１１０１は、必要に応じて、生成した共通情報の一部若しくは全部をベースレイヤ画像符号化部１１０３乃至エンハンスメントレイヤ画像符号化部１１０５にも供給する。
符号化制御部１１０２は、共通情報生成部１１０１から供給される共通情報に基づいて、ベースレイヤ画像符号化部１１０３乃至エンハンスメントレイヤ画像符号化部１１０５を制御することにより、各レイヤの符号化を制御する。
ベースレイヤ画像符号化部１１０３は、ベースレイヤの画像情報（ベースレイヤ画像情報）を取得する。ベースレイヤ画像符号化部１１０３は、他のレイヤの情報を利用せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ（ベースレイヤ符号化データ）を生成し、出力する。また、ベースレイヤ画像符号化部１１０３は、符号化の際に行われたイントラ予測のイントラ予測モードを、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部１１０４に供給する。
イントラ予測モード提供部１１０４は、ベースレイヤ画像符号化部１１０３におけるイントラ予測において得られたイントラ予測モードを、エンハンスメントレイヤ画像符号化部１１０５におけるイントラ予測に提供する処理を行う。その際、イントラ予測モード提供部１１０４は、ベースレイヤ画像符号化部１１０３から取得したベースレイヤのイントラ予測モードを、所定の間引き率で間引いて記憶する。そして、エンハンスメントレイヤの符号化が行われる際に、イントラ予測モード提供部１１０４は、記憶しているベースレイヤのイントラ予測モードを、エンハンスメントレイヤ画像符号化部１１０５に供給する。また、イントラ予測モード提供部１１０４は、このイントラ予測モードの間引き率を設定することができるようにしてもよい。
エンハンスメントレイヤ画像符号化部１１０５は、エンハンスメントレイヤの画像情報（エンハンスメントレイヤ画像情報）を取得する。エンハンスメントレイヤ画像符号化部１１０５は、そのエンハンスメントレイヤ画像情報を符号化する。なお、エンハンスメントレイヤ画像符号化部１１０５は、イントラ予測モード提供部１１０４から、ベースレイヤのイントラ予測モードを取得し、そのベースレイヤのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、エンハンスメントレイヤの画像を符号化する。そして、エンハンスメントレイヤ画像符号化部１１０５は、得られた符号化データ（エンハンスメントレイヤ符号化データ）を出力する。このようにベースレイヤのイントラ予測モードを用いてエンハンスメントレイヤのイントラ予測を行うようにすることにより、復号側においても、同様に、ベースレイヤのイントラ予測モードを用いてイントラ予測を行うことができる。つまり、イントラ予測モードに関する情報は、ベースレイヤの情報を伝送すれば良く、エンハンスメントレイヤの情報を伝送する必要が無くなる。したがって、その分、符号化効率の増大を抑制することができる。そして、ベースレイヤのイントラ予測モードを、エンハンスメントレイヤのイントラ予測に利用するために記憶する際に、上述したように、間引き処理を行うことにより、そのために必要な記憶容量を低減させることができ、符号化・復号の負荷を低減させることができる。
＜ベースレイヤ画像符号化部＞
図８２は、図８１のベースレイヤ画像符号化部１１０３の主な構成例を示すブロック図である。図８２に示されるように、ベースレイヤ画像符号化部１１０３は、A/D変換部１１１１、画面並べ替えバッファ１１１２、演算部１１１３、直交変換部１１１４、量子化部１１１５、可逆符号化部１１１６、蓄積バッファ１１１７、逆量子化部１１１８、および逆直交変換部１１１９を有する。また、ベースレイヤ画像符号化部１１０３は、演算部１１２０、ループフィルタ１１２１、フレームメモリ１１２２、選択部１１２３、イントラ予測部１１２４、動き予測・補償部１１２５、予測画像選択部１１２６、およびレート制御部１１２７を有する。
A/D変換部１１１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１１２に供給し、記憶させる。画面並べ替えバッファ１１１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１１３に供給する。また、画面並べ替えバッファ１１１２は、フレームの順番を並び替えた画像を、イントラ予測部１１２４および動き予測・補償部１１２５にも供給する。
演算部１１１３は、画面並べ替えバッファ１１１２から読み出された画像から、予測画像選択部１１２６を介してイントラ予測部１１２４若しくは動き予測・補償部１１２５から供給される予測画像を減算し、その差分情報を直交変換部１１１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１１１３は、画面並べ替えバッファ１１１２から読み出された画像から、イントラ予測部１１２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１１１３は、画面並べ替えバッファ１１１２から読み出された画像から、動き予測・補償部１１２５から供給される予測画像を減算する。
直交変換部１１１４は、演算部１１１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１１１４は、その変換係数を量子化部１１１５に供給する。
量子化部１１１５は、直交変換部１１１４から供給される変換係数を量子化する。量子化部１１１５は、レート制御部１１２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１１１５は、量子化された変換係数を可逆符号化部１１１６に供給する。
可逆符号化部１１１６は、量子化部１１１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１２７の制御の下で量子化されているので、この符号量は、レート制御部１１２７が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部１１１６は、イントラ予測のモードを示す情報などをイントラ予測部１１２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部１１２５から取得する。さらに、可逆符号化部１１１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むベースレイヤのNALユニットを適宜生成する。
可逆符号化部１１１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１１１６は、符号化して得られた符号化データを蓄積バッファ１１１７に供給して蓄積させる。
可逆符号化部１１１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ１１１７は、可逆符号化部１１１６から供給された符号化データ（ベースレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１１１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１１１７は、符号化データを伝送する伝送部でもある。
また、量子化部１１１５において量子化された変換係数は、逆量子化部１１１８にも供給される。逆量子化部１１１８は、その量子化された変換係数を、量子化部１１１５による量子化に対応する方法で逆量子化する。逆量子化部１１１８は、得られた変換係数を、逆直交変換部１１１９に供給する。
逆直交変換部１１１９は、逆量子化部１１１８から供給された変換係数を、直交変換部１１１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１２０に供給される。
演算部１１２０は、逆直交変換部１１１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１１２６を介してイントラ予測部１１２４若しくは動き予測・補償部１１２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１１２１またはフレームメモリ１１２２に供給される。
ループフィルタ１１２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１１２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１１２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１１２２に供給する。
なお、ループフィルタ１１２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１１６に供給し、それを符号化させるようにすることもできる。
フレームメモリ１１２２は、演算部１１２０から供給される再構成画像と、ループフィルタ１１２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１１２２は、所定のタイミングにおいて、若しくは、イントラ予測部１１２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１１２３を介してイントラ予測部１１２４に供給する。また、フレームメモリ１１２２は、所定のタイミングにおいて、若しくは、動き予測・補償部１１２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１１２３を介して、動き予測・補償部１１２５に供給する。
フレームメモリ１１２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１１２３に供給する。
選択部１１２３は、フレームメモリ１１２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１１２３は、フレームメモリ１１２２から供給される参照画像（カレントピクチャ内の画素値）を動き予測・補償部１１２５に供給する。また、例えば、インター予測の場合、選択部１１２３は、フレームメモリ１１２２から供給される参照画像を動き予測・補償部１１２５に供給する。
イントラ予測部１１２４は、選択部１１２３を介してフレームメモリ１１２２から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１２４は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
イントラ予測部１１２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１２６に供給する。
また、上述したように、イントラ予測部１１２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１１６に供給し、符号化させる。
動き予測・補償部１１２５は、画面並べ替えバッファ１１１２から供給される入力画像と、選択部１１２３を介してフレームメモリ１１２２から供給される参照画像とを用いて動き予測（インター予測）を行う。動き予測・補償部１１２５は、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１２５は、予め用意された複数のインター予測モードでこのようなインター予測を行う。
動き予測・補償部１１２５は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部１１２５は、画面並べ替えバッファ１１１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１２６に供給する。
動き予測・補償部１１２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。
予測画像選択部１１２６は、演算部１１１３や演算部１１２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１１２６は、予測画像の供給元としてイントラ予測部１１２４を選択し、そのイントラ予測部１１２４から供給される予測画像を演算部１１１３や演算部１１２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１１２６は、予測画像の供給元として動き予測・補償部１１２５を選択し、その動き予測・補償部１１２５から供給される予測画像を演算部１１１３や演算部１１２０に供給する。
レート制御部１１２７は、蓄積バッファ１１１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１１５の量子化動作のレートを制御する。
なお、イントラ予測部１１２４は、採用されたイントラ予測モードを、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部１１０４に供給する。また、可逆符号化部１１１６は、ベースレイヤの解像度を示す情報を、イントラ予測モード提供部１１０４に供給する。
＜エンハンスメントレイヤ画像符号化部＞
図８３は、図８１のエンハンスメントレイヤ画像符号化部１１０５の主な構成例を示すブロック図である。図８３に示されるように、エンハンスメントレイヤ画像符号化部１１０５は、図８２のベースレイヤ画像符号化部１１０３と基本的に同様の構成を有する。
ただし、エンハンスメントレイヤ画像符号化部１１０５の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。つまり、エンハンスメントレイヤ画像符号化部１１０５のA/D変換部１１１１は、エンハンスメントレイヤ画像情報をA/D変換し、エンハンスメントレイヤ画像符号化部１１０５の蓄積バッファ１１１７は、エンハンスメントレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
また、エンハンスメントレイヤ画像符号化部１１０５は、イントラ予測部１１２４の代わりに、イントラ予測部１１３４を有する。
イントラ予測部１１３４は、イントラ予測モード提供部１１０４に記憶されているベースレイヤのイントラ予測モード（の代表値）の内、カレントブロックに対応するイントラ予測モードを取得し（読み出し）、そのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、予測画像を生成する。イントラ予測は、イントラ予測部１１２４の場合と同様に行われる。
また、イントラ予測部１１２４の場合と同様に、イントラ予測部１１３４は、採用されたイントラ予測モードを示すエンハンスメントレイヤのイントラ予測モード情報等を、適宜可逆符号化部１１１６に供給し、符号化させる。
なお、エンハンスメントレイヤ画像符号化部１１０５の可逆符号化部１１１６は、エンハンスメントレイヤの解像度を示す情報を、イントラ予測モード提供部１１０４に供給する。また、この可逆符号化部１１１６は、イントラ予測モード提供部１１０４から供給される、ベースレイヤのイントラ予測モードの間引き率を示す情報を取得し、それを符号化して、例えば、エンハンスメントレイヤのシーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、若しくはスライスヘッダ（SliceHeader）等において復号側に伝送させる。
なお、この間引き率を示す情報は、例えばビデオパラメータセット（VPS（Video Parameter Set））において伝送させるようにしてもよい。その場合、この間引き率を示す情報は、共通情報生成部１１０１に供給される。
＜イントラ予測モード提供部＞
図８４は、図８１のイントラ予測モード提供部１１０４の主な構成例を示すブロック図である。
図８４に示されるように、イントラ予測モード提供部１１０４は、間引き率設定部１１５１、間引き処理部１１５２、およびイントラ予測モードバッファ１１５３を有する。
間引き率設定部１１５１は、ベースレイヤのイントラ予測モードの間引き率を設定する。この設定方法は任意である。例えば、間引き率設定部１１５１が、ユーザ等の外部の指示に基づいて間引き率を設定するようにしてもよい。その際、間引き率は、ベースレイヤにおける比率で設定されるようにしてもよい。
また、例えば、間引き率設定部１１５１は、ベースレイヤ画像符号化部１１０３の可逆符号化部１１１６からベースレイヤ解像度を取得し、エンハンスメントレイヤ画像符号化部１１０５の可逆符号化部１１１６からエンハンスメントレイヤ解像度を取得するようにしてもよい。例えば、間引き率設定部１１５１が、それらの解像度を示す情報を、モニタ等に表示したり、スピーカなどから音声出力したりすることにより、ユーザに提示するようにしてもよい。その場合、ユーザは、各レイヤの解像度を参考にしながら、間引き率を設定することができる。
また、例えば、ユーザが、エンハンスメントレイヤにおけるイントラ予測モードのブロックサイズを指定し、間引き率設定部１１５１が、取得した各レイヤの解像度に基づいて、その指定された情報を、間引き率に換算するようにしてもよい。このようにすることにより、ユーザにとって分かり易い情報で間引き率の設定を行うようにすることができ、間引き率の設定をより容易にすることができる。
間引き率設定部１１５１は、このように設定した間引き率を示す情報を間引き処理部１１５２に供給する。また、間引き率設定部１１５１は、このように設定した間引き率を示す情報を、エンハンスメントレイヤ画像符号化部１１０５の可逆符号化部１１１６（若しくは共通情報生成部１１０１）にも供給し、復号側に伝送させる。
間引き処理部１１５２は、ベースレイヤ画像符号化部１１０３のイントラ予測部１１２４から供給されるベースレイヤのイントラ予測モードを取得し、間引き率設定部１１５１により設定された間引き率で、そのイントラ予測モードを間引く。例えば、上述したように、所定のエリア毎にイントラ予測モードの間引き処理を行い、各エリアの代表（イントラ予測モード）を選択する。このように間引かれて残った（選択された）ベースレイヤのイントラ予測モードは、イントラ予測モードバッファ１１５３に供給される。
イントラ予測モードバッファ１１５３は、間引き処理部１１５２から供給された、選択されたベースレイヤイントラ予測モードを記憶する。イントラ予測モードバッファ１１５３は、記憶している、選択されたベースレイヤイントラ予測モードの中から、エンハンスメントレイヤ画像符号化部１１０５のイントラ予測部１１３４において行なわれるエンハンスメントレイヤのイントラ予測のカレントブロックに対応するエリアのイントラ予測モードを、イントラ予測部１１３４に供給する。
上述したように、イントラ予測部１１３４は、イントラ予測モードバッファ１１５３から読み出したベースレイヤのイントラ予測モード（選択されたベースレイヤイントラ予測モード）を用いて、エンハンスメントレイヤのカレントブロックのイントラ予測を行い、予測画像を生成する。
以上のように、スケーラブル符号化装置１１００は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル符号化装置１１００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル符号化装置１１００は、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜共通情報生成処理の流れ＞
次に、以上のようなスケーラブル符号化装置１１００により実行される各処理の流れについて説明する。最初に、図８５のフローチャートを参照して、共通情報生成処理の流れの例を説明する。
共通情報生成処理が開始されると、イントラ予測モード提供部１１０４の間引き率設定部１１５１は、ステップＳ４１０１において、ベースレイヤイントラ予測モードの間引き率を設定する。
ステップＳ４１０２において、共通情報生成部１１０１は、ステップＳ４１０１において設定された間引き率を示す情報を含むビデオパラメータセットを生成する。
ステップＳ４１０３において、共通情報生成部１１０１は、ステップＳ４１０２において生成されたビデオパラメータセットを共通情報として、復号側に伝送（供給）する。ステップＳ４１０３の処理が終了すると、共通情報生成処理が終了する。
＜符号化処理の流れ＞
次に、図８６のフローチャートを参照して、符号化処理の流れの例を説明する。スケーラブル符号化装置１１００は、ピクチャ毎にこの符号化処理を実行する。
符号化処理が開始されると、ステップＳ４１２１において、スケーラブル符号化装置１１００の符号化制御部１１０２は、最初のレイヤを処理対象とする。
ステップＳ４１２２において、符号化制御部１１０２は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップＳ４１２３に進む。
ステップＳ４１２３において、ベースレイヤ画像符号化部１１０３およびイントラ予測モード提供部１１０４は、ベースレイヤ符号化処理を行う。ステップＳ４１２３の処理が終了すると、処理は、ステップＳ４１２６に進む。
また、ステップＳ４１２２において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理は、ステップＳ４１２４に進む。ステップＳ４１２４において、符号化制御部１１０２は、カレントレイヤに対応する（すなわち、参照先とする）ベースレイヤを決定する。
ステップＳ４１２５において、エンハンスメントレイヤ画像符号化部１１０５は、エンハンスメントレイヤ符号化処理を行う。ステップＳ４１２５の処理が終了すると、処理は、ステップＳ４１２６に進む。
ステップＳ４１２６において、符号化制御部１１０２は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理は、ステップＳ４１２７に進む。
ステップＳ４１２７において、符号化制御部１１０２は、次の未処理のレイヤを処理対象（カレントレイヤ）とする。ステップＳ４１２７の処理が終了すると、処理は、ステップＳ４１２２に戻る。ステップＳ４１２２乃至ステップＳ４１２７の処理が繰り返し実行され、各レイヤが符号化される。
そして、ステップＳ４１２６において、全てのレイヤが処理されたと判定された場合、符号化処理が終了する。
＜ベースレイヤ符号化処理の流れ＞
次に、図８７のフローチャートを参照して、図８６のステップＳ４１２３において実行されるベースレイヤ符号化処理の流れの例を説明する。
ステップＳ４１４１において、ベースレイヤ画像符号化部１１０３のA/D変換部１１１１は入力されたベースレイヤの画像情報（画像データ）をA/D変換する。ステップＳ４１４２において、画面並べ替えバッファ１１１２は、A/D変換されたベースレイヤの画像情報（デジタルデータ）を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。
ステップＳ４１４３において、イントラ予測部１１２４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ４１４４において、動き予測・補償部１１２５は、インター予測モードでの動き予測や動き補償を行う動き予測・補償処理を行う。ステップＳ４１４５において、予測画像選択部１１２６は、イントラ予測部１１２４および動き予測・補償部１１２５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１１２６は、イントラ予測部１１２４により生成された予測画像と、動き予測・補償部１１２５により生成された予測画像のいずれか一方を選択する。ステップＳ４１４６において、演算部１１１３は、ステップＳ４１４２の処理により並び替えられた画像と、ステップＳ４１４５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ４１４７において、直交変換部１１１４は、ステップＳ４１４６の処理により生成された差分情報に対する直交変換処理を行う。ステップＳ４１４８において、量子化部１１１５は、レート制御部１１２７により算出された量子化パラメータを用いて、ステップＳ４１４７の処理により得られた直交変換係数を量子化する。
ステップＳ４１４８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ４１４９において、逆量子化部１１１８は、ステップＳ４１４８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１１１５の特性に対応する特性で逆量子化する。ステップＳ４１５０において、逆直交変換部１１１９は、ステップＳ４１４７の処理により得られた直交変換係数を逆直交変換する。ステップＳ４１５１において、演算部１１２０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１１３への入力に対応する画像）を生成する。
ステップＳ４１５２においてループフィルタ１１２１は、ステップＳ４１５１の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。ステップＳ４１５３において、フレームメモリ１１２２は、ステップＳ４１５２の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ１１２２にはループフィルタ１１２１によりフィルタ処理されていない画像も演算部１１２０から供給され、記憶される。このフレームメモリ１１２２に記憶された画像は、ステップＳ４１４３の処理やステップＳ４１４４の処理に利用される。
ステップＳ４１５４において、イントラ予測モード提供部１１０４の間引き処理部１１５２は、ベースレイヤのイントラ予測モードを、図８５のステップＳ４１０１において設定された間引き率で間引く。
ステップＳ４１５５において、イントラ予測モード提供部１１０４のイントラ予測モードバッファ１１５３は、ステップＳ４１５４の処理により間引かれて選択されたベースレイヤのイントラ予測モードを記憶する。
ステップＳ４１５６において、ベースレイヤ画像符号化部１１０３の可逆符号化部１１１６は、ステップＳ４１４８の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部１１１６は、ステップＳ４１４５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１１６は、イントラ予測部１１２４から供給される最適イントラ予測モード情報、または、動き予測・補償部１１２５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
ステップＳ４１５７において蓄積バッファ１１１７は、ステップＳ４１５６の処理により得られたベースレイヤ符号化データを蓄積する。蓄積バッファ１１１７に蓄積されたベースレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ４１５８においてレート制御部１１２７は、ステップＳ４１５７において蓄積バッファ１１１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１１５の量子化動作のレートを制御する。
ステップＳ４１５８の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図８６に戻る。ベースレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ符号化処理が実行される。ただし、ベースレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
＜エンハンスメントレイヤ符号化処理の流れ＞
次に、図８８のフローチャートを参照して、図８６のステップＳ４１２５において実行されるエンハンスメントレイヤ符号化処理の流れの例を説明する。
エンハンスメントレイヤ符号化処理のステップＳ４１７１およびステップＳ４１７２、並びに、ステップＳ４１７５乃至ステップＳ４１８７の各処理は、図８７のベースレイヤ符号化処理のステップＳ４１４１およびステップＳ４１４２、ステップＳ４１４４乃至ステップＳ４１５３、並びに、ステップＳ４１５６乃至ステップＳ４１５８の各処理と同様に実行される。ただし、エンハンスメントレイヤ符号化処理の各処理は、エンハンスメントレイヤ画像符号化部１１０５の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。
なお、ステップＳ４１７３において、エンハンスメントレイヤ画像符号化部１１０５のイントラ予測部１１３４は、イントラ予測モード提供部１１０４のイントラ予測モードバッファ１１５３から、カレントブロックに対応するベースレイヤのイントラ予測モード（選択されたベースレイヤのイントラ予測モード）を取得する。
ステップＳ４１７４において、イントラ予測部１１３４は、ステップＳ４１７３において取得された、選択されたベースレイヤのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測処理を行う。
ステップＳ４１８７の処理が終了すると、エンハンスメントレイヤ符号化処理が終了され、処理は図８６に戻る。エンハンスメントレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ符号化処理が実行される。ただし、エンハンスメントレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。
以上のように各処理を実行することにより、スケーラブル符号化装置１１００は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル符号化装置１１００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル符号化装置１１００は、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜７．第６の実施の形態＞
＜スケーラブル復号装置＞
次に、以上のようにスケーラブル符号化（階層符号化）された符号化データ（ビットストリーム）の復号について説明する。図８９は、図８１のスケーラブル符号化装置１１００に対応するスケーラブル復号装置の主な構成例を示すブロック図である。図８９に示されるスケーラブル復号装置１２００は、例えばスケーラブル符号化装置１１００により画像データがスケーラブル符号化されて得られた符号化データを、その符号化方法に対応する方法でスケーラブル復号する。
図８９に示されるように、スケーラブル復号装置１２００は、共通情報取得部１２０１、復号制御部１２０２、ベースレイヤ画像復号部１２０３、イントラ予測モード提供部１２０４、およびエンハンスメントレイヤ画像復号部１２０５を有する。
共通情報取得部１２０１は、符号化側から伝送される共通情報（例えば、ビデオパラメータセット（VPS））を取得する。共通情報取得部１２０１は、取得した共通情報より復号に関する情報を抽出し、それを復号制御部１２０２に供給する。また、共通情報取得部１２０１は、共通情報の一部若しくは全部を、ベースレイヤ画像復号部１２０３乃至エンハンスメントレイヤ画像復号部１２０５に適宜供給する。
例えば、間引き率を示す情報がビデオパラメータセット（VPS）において符号化側から伝送される場合、共通情報取得部１２０１は、符号化側から伝送されたビデオパラメータセットから間引き率を示す情報を取得し、イントラ予測モード提供部１２０４に供給する。
復号制御部１２０２は、共通情報取得部１２０１から供給された復号に関する情報を取得し、その情報に基づいて、ベースレイヤ画像復号部１２０３乃至エンハンスメントレイヤ画像復号部１２０５を制御することにより、各レイヤの復号を制御する。
ベースレイヤ画像復号部１２０３は、ベースレイヤ画像符号化部１１０３に対応する画像復号部であり、例えばベースレイヤ画像符号化部１１０３によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部１２０３は、他のレイヤの情報を利用せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。このようなベースレイヤの復号において、ベースレイヤ画像復号部１２０３は、符号化の際にイントラ予測が行われブロックについて、符号化側から伝送されるイントラ予測モード情報により指定されるイントラ予測モード（つまり、符号化の際と同じモード）でイントラ予測を行い、予測画像を生成し、その予測画像を用いて復号画像を生成する。また、ベースレイヤ画像復号部１２０３は、このようなベースレイヤのイントラ予測のイントラ予測モードを、イントラ予測モード提供部１２０４に供給する。例えば、ベースレイヤ画像復号部１２０３が、符号化側から伝送されたイントラ予測モード情報を、イントラ予測モード提供部１２０４に供給するようにしてもよい。
イントラ予測モード提供部１２０４は、ベースレイヤ画像復号部１２０３から供給されるイントラ予測モードを、エンハンスメントレイヤ画像復号部１２０５におけるイントラ予測に提供する処理を行う。その際、イントラ予測モード提供部１２０４は、ベースレイヤ画像復号部１２０３から取得したベースレイヤのイントラ予測モードを、所定の間引き率で間引いて記憶する。そして、エンハンスメントレイヤの符号化が行われる際に、イントラ予測モード提供部１２０４は、記憶しているベースレイヤのイントラ予測モードを、エンハンスメントレイヤ画像復号部１２０５に供給する。すなわち、エンハンスメントレイヤ画像復号部１２０５には、イントラ予測モード提供部１２０４により選択されたイントラ予測モードが提供される。
エンハンスメントレイヤ画像復号部１２０５は、エンハンスメントレイヤ画像符号化部１１０５に対応する画像復号部であり、例えばエンハンスメントレイヤ画像符号化部１１０５によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部１２０５は、イントラ予測モード提供部１２０４から取得したベースレイヤのイントラ予測モードを用いてイントラ予測を行い、予測画像を生成し、その予測画像を用いてエンハンスメントレイヤ画像情報を再構築し、出力する。
＜ベースレイヤ画像復号部＞
図９０は、図８９のベースレイヤ画像復号部１２０３の主な構成例を示すブロック図である。図９０に示されるようにベースレイヤ画像復号部１２０３は、蓄積バッファ１２１１、可逆復号部１２１２、逆量子化部１２１３、逆直交変換部１２１４、演算部１２１５、ループフィルタ１２１６、画面並べ替えバッファ１２１７、およびD/A変換部１２１８を有する。また、ベースレイヤ画像復号部１２０３は、フレームメモリ１２１９、選択部１２２０、イントラ予測部１２２１、動き補償部１２２２、および選択部１２２３を有する。
蓄積バッファ１２１１は、伝送されてきたベースレイヤ符号化データを受け取る受け取り部でもある。蓄積バッファ１２１１は、伝送されてきたベースレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１２１２に供給する。このベースレイヤ符号化データには、予測モード情報などの復号に必要な情報が付加されている。
可逆復号部１２１２は、蓄積バッファ１２１１より供給された、可逆符号化部１１１６により符号化された情報を、可逆符号化部１１１６の符号化方式に対応する方式で復号する。可逆復号部１２１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部１２１３に供給する。
また、可逆復号部１２１２は、ベースレイヤ符号化データに含まれるビデオパラメータセット（VPS）、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むNALユニットを適宜抽出し、取得する。可逆復号部１２１２は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１２２１および動き補償部１２２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、ベースレイヤ画像符号化部１１０３において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部１２２１に供給される。また、例えば、ベースレイヤ画像符号化部１１０３において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部１２２２に供給される。
さらに、可逆復号部１２１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部１２１３に供給する。
逆量子化部１２１３は、可逆復号部１２１２により復号されて得られた量子化された係数データを、量子化部１１１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部１２１３は、逆量子化部１１１８と同様の処理部である。つまり、逆量子化部１２１３の説明は、逆量子化部１１１８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。逆量子化部１２１３は、得られた係数データを逆直交変換部１２１４に供給する。
逆直交変換部１２１４は、逆量子化部１２１３から供給される係数データを、直交変換部１１１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部１２１４は、逆直交変換部１１１９と同様の処理部である。つまり、逆直交変換部１２１４の説明は、逆直交変換部１１１９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。
逆直交変換部１２１４は、この逆直交変換処理により、直交変換部１１１４において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部１２１５に供給される。また、演算部１２１５には、選択部１２２３を介して、イントラ予測部１２２１若しくは動き補償部１２２２から予測画像が供給される。
演算部１２１５は、その復号残差データと予測画像とを加算し、演算部１１１３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部１２１５は、その復号画像データをループフィルタ１２１６に供給する。
ループフィルタ１２１６は、供給された復号画像に対して、デブロックフィルタや適応ループフィルタ等を含むフィルタ処理を適宜施し、それを画面並べ替えバッファ１２１７およびフレームメモリ１２１９に供給する。例えば、ループフィルタ１２１６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１２１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。なお、このループフィルタ１２１６は、ループフィルタ１１２１と同様の処理部である。
なお、演算部１２１５から出力される復号画像は、ループフィルタ１２１６を介さずに画面並べ替えバッファ１２１７やフレームメモリ１２１９に供給することができる。つまり、ループフィルタ１２１６によるフィルタ処理の一部若しくは全部は省略することができる。
画面並べ替えバッファ１２１７は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ１１１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部１２１８は、画面並べ替えバッファ１２１７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
フレームメモリ１２１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部１２２１や動き補償部１２２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部１２２０に供給する。
選択部１２２０は、フレームメモリ１２１９から供給される参照画像の供給先を選択する。選択部１２２０は、イントラ符号化された画像を復号する場合、フレームメモリ１２１９から供給される参照画像をイントラ予測部１２２１に供給する。また、選択部１２２０は、インター符号化された画像を復号する場合、フレームメモリ１２１９から供給される参照画像を動き補償部１２２２に供給する。
イントラ予測部１２２１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部１２１２から適宜供給される。イントラ予測部１２２１は、イントラ予測部１１２４において用いられたイントラ予測モードで、フレームメモリ１２１９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部１２２１は、生成した予測画像を選択部１２２３に供給する。
動き補償部１２２２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部１２１２から取得する。
動き補償部１２２２は、可逆復号部１２１２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ１２１９から取得した参照画像を用いて動き補償を行い、予測画像を生成する。動き補償部１２２２は、生成した予測画像を選択部１２２３に供給する。
選択部１２２３は、イントラ予測部１２２１からの予測画像または動き補償部１２２２からの予測画像を、演算部１２１５に供給する。そして、演算部１２１５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部１２１４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。
なお、イントラ予測部１２２１は、採用されたイントラ予測モード（すなわち、符号化側により指定されたイントラ予測モード）を、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部１２０４に供給する。
＜エンハンスメントレイヤ画像復号部＞
図９１は、図８９のエンハンスメントレイヤ画像復号部１２０５の主な構成例を示すブロック図である。図９１に示されるように、エンハンスメントレイヤ画像復号部１２０５は、図９０のベースレイヤ画像復号部１２０３と基本的に同様の構成を有する。
ただし、エンハンスメントレイヤ画像復号部１２０５の各部は、ベースレイヤではなく、エンハンスメントレイヤ符号化データの復号についての処理を行う。つまり、エンハンスメントレイヤ画像復号部１２０５の蓄積バッファ１２１１は、エンハンスメントレイヤ符号化データを記憶し、エンハンスメントレイヤ画像復号部１２０５のD/A変換部１２１８は、エンハンスメントレイヤ画像情報を、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
また、エンハンスメントレイヤ画像復号部１２０５は、イントラ予測部１２２１の代わりに、イントラ予測部１２３１を有する。
イントラ予測部１２３１は、イントラ予測モード提供部１２０４が記憶するベースレイヤのイントラ予測モード（の代表値）の内、カレントブロックに対応するイントラ予測モードを取得し（読み出し）、そのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、予測画像を生成する。イントラ予測は、イントラ予測部１２２１の場合と同様に行われる。
なお、エンハンスメントレイヤ画像復号部１２０５の可逆復号部１２１２は、例えば、エンハンスメントレイヤのシーケンスパラメータセット（SPS（Sequence Parameter Set））、ピクチャパラメータセット（PPS（Picture Parameter Set））、若しくはスライスヘッダ（SliceHeader）等において、間引き率を示す情報が符号化側から伝送される場合、その符号化側から伝送された間引き率を示す情報を、イントラ予測モード提供部１２０４に供給する。
なお、この間引き率を示す情報は、例えばビデオパラメータセット（VPS（Video Parameter Set））において伝送させるようにしてもよい。その場合、この間引き率を示す情報は、共通情報取得部１２０１からイントラ予測モード提供部１２０４に供給される。
＜イントラ予測モード提供部＞
図９２は、図８９のイントラ予測モード提供部１２０４の主な構成例を示すブロック図である。
図９２に示されるように、イントラ予測モード提供部１２０４は、間引き率取得部１２５１、間引き処理部１２５２、およびイントラ予測モードバッファ１２５３を有する。
間引き率取得部１２５１は、エンハンスメントレイヤ画像復号部１２０５の可逆復号部１２１２（若しくは共通情報取得部１２０１）から、符号化側から伝送された、ベースレイヤのイントラ予測モードの間引き率を取得する。間引き率取得部１２５１は、取得した間引き率を示す情報を間引き処理部１２５２に供給する。
間引き処理部１２５２は、ベースレイヤ画像復号部１２０３のイントラ予測部１２２１から供給されるベースレイヤの各ブロックのイントラ予測モードを取得し、間引き率取得部１２５１から供給された間引き率で、そのイントラ予測モードを間引く。例えば、上述したように、所定のエリア毎にイントラ予測モードの間引き処理を行い、各エリアの代表（イントラ予測モード）を選択する。このように間引かれて選択されたベースレイヤのイントラ予測モードは、イントラ予測モードバッファ１２５３に供給される。
イントラ予測モードバッファ１２５３は、間引き処理部１２５２から供給された、選択されたベースレイヤイントラ予測モードを記憶する。イントラ予測モードバッファ１２５３は、記憶している、選択されたベースレイヤイントラ予測モードの中から、エンハンスメントレイヤ画像復号部１２０５のイントラ予測部１２３１において行なわれるイントラ予測のカレントブロックに対応するブロックのイントラ予測モードを、イントラ予測部１２３１に供給する。
上述したように、イントラ予測部１２３１は、イントラ予測モードバッファ１２５３から読み出したベースレイヤのイントラ予測モード（選択されたベースレイヤイントラ予測モード）を用いて、エンハンスメントレイヤのカレントブロックのイントラ予測を行い、予測画像を生成する。
以上のように、スケーラブル復号装置１２００は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル復号装置１２００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル復号装置１２００は、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜共通情報取得処理の流れ＞
次に、以上のようなスケーラブル復号装置１２００により実行される各処理の流れについて説明する。最初に、図９３のフローチャートを参照して、共通情報取得処理の流れの例を説明する。
共通情報取得処理が開始されると、共通情報取得部１２０１は、ステップＳ４２０１において、符号化側から伝送されたビデオパラメータセットを取得する。
ステップＳ４２０２において、イントラ予測モード提供部１２０４の間引き率取得部１２５１は、ステップＳ４２０１において取得されたビデオパラメータセットから、ベースレイヤイントラ予測モードの間引き率を取得する。
ステップＳ４２０２の処理が終了すると、共通情報取得処理が終了する。
＜復号処理の流れ＞
次に、図９４のフローチャートを参照して、復号処理の流れの例を説明する。スケーラブル復号装置１２００は、ピクチャ毎にこの復号処理を実行する。
復号処理が開始されると、ステップＳ４２２１において、スケーラブル復号装置１２００の復号制御部１２０２は、最初のレイヤを処理対象とする。
ステップＳ４２２２において、復号制御部１２０２は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップＳ４２２３に進む。
ステップＳ４２２３において、ベースレイヤ画像復号部１２０３およびイントラ予測モード提供部１２０４は、ベースレイヤ復号処理を行う。ステップＳ４２２３の処理が終了すると、処理は、ステップＳ４２２６に進む。
また、ステップＳ４２２２において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理はステップＳ４２２４に進む。ステップＳ４２２４において、復号制御部１２０２は、カレントレイヤに対応する（すなわち、参照先とする）ベースレイヤを決定する。
ステップＳ４２２５において、エンハンスメントレイヤ画像復号部１２０５は、エンハンスメントレイヤ復号処理を行う。ステップＳ４２２５の処理が終了すると、処理はステップＳ４２２６に進む。
ステップＳ４２２６において、復号制御部１２０２は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理はステップＳ４２２７に進む。
ステップＳ４２２７において、復号制御部１２０２は、次の未処理のレイヤを処理対象（カレントレイヤ）とする。ステップＳ４２２７の処理が終了すると、処理はステップＳ４２２２に戻る。ステップＳ４２２２乃至ステップＳ４２２７の処理が繰り返し実行され、各レイヤが復号される。
そして、ステップＳ４２２６において、全てのレイヤが処理されたと判定された場合、復号処理が終了する。
＜ベースレイヤ復号処理の流れ＞
次に、図９５のフローチャートを参照して、図９４のステップＳ４２２３において実行されるベースレイヤ復号処理の流れの例を説明する。
ベースレイヤ復号処理が開始されると、ステップＳ４２４１において、ベースレイヤ画像復号部１２０３の蓄積バッファ１２１１は、符号化側から伝送されたベースレイヤのビットストリームを蓄積する。ステップＳ４２４２において、可逆復号部１２１２は、蓄積バッファ１２１１から供給されるベースレイヤのビットストリーム（符号化された差分画像情報）を復号する。すなわち、可逆符号化部１１１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。
ステップＳ４２４３において、逆量子化部１２１３は、ステップＳ４２４２の処理により得られた、量子化された係数を逆量子化する。
ステップＳ４２４４において、逆直交変換部１２１４は、カレントブロック（カレントTU）を逆直交変換する。
ステップＳ４２４５において、イントラ予測部１２２１若しくは動き補償部１２２２は、予測処理を行い、予測画像を生成する。つまり、可逆復号部１２１２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部１２２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き補償部１２２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
ステップＳ４２４６において、演算部１２１５は、ステップＳ４２４４の逆直交変換処理により生成された差分画像情報に、ステップＳ４２４５において生成された予測画像を加算する。これにより元の画像が復号される。
ステップＳ４２４７において、ループフィルタ１２１６は、ステップＳ４２４６において得られた復号画像に対して、ループフィルタ処理を適宜行う。
ステップＳ４２４８において、画面並べ替えバッファ１２１７は、ステップＳ４２４７においてフィルタ処理された画像の並べ替えを行う。すなわち画面並べ替えバッファ１１１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ４２４９において、D/A変換部１２１８は、ステップＳ４２４８においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
ステップＳ４２５０において、フレームメモリ１２１９は、ステップＳ４２４７においてループフィルタ処理された復号画像を記憶する。
ステップＳ４２５１において、イントラ予測モード提供部１２０４の間引き処理部１２５２は、ステップＳ４２４５において、イントラ予測部１２２１のイントラ予測処理により得られたベースレイヤのイントラ予測モードを、図９３のステップＳ４２０２において取得された間引き率に従って間引く。
ステップＳ４２５２において、イントラ予測モード提供部１２０４のイントラ予測モードバッファ１２５３は、ステップＳ４２５１において間引かれることにより選択されたベースレイヤのイントラ予測モードを記憶する。
ステップＳ４２５２の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図９４に戻る。ベースレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ復号処理が実行される。ただし、ベースレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
＜エンハンスメントレイヤ復号処理の流れ＞
次に、図９６のフローチャートを参照して、図９４のステップＳ４２２５において実行されるエンハンスメントレイヤ復号処理の流れの例を説明する。
エンハンスメントレイヤ復号処理のステップＳ４２７１乃至ステップＳ４２７４、並びに、ステップＳ４２７６乃至ステップＳ４２８０の各処理は、ベースレイヤ復号処理のステップＳ４２４１乃至ステップＳ４２４４、並びに、ステップＳ４２４６乃至ステップＳ４２５０の各処理と同様に実行される。ただし、エンハンスメントレイヤ復号処理の各処理は、エンハンスメントレイヤ画像復号部１２０５の各処理部により、エンハンスメントレイヤ符号化データに対して行われる。
なお、ステップＳ４２７５において、エンハンスメントレイヤ画像復号部１２０５のイントラ予測部１２３１および動き補償部１２２２は、エンハンスメントレイヤ符号化データに対して、予測処理を行う。
ステップＳ４２８０の処理が終了すると、エンハンスメントレイヤ復号処理が終了され、処理は図９４に戻る。エンハンスメントレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ復号処理が実行される。ただし、エンハンスメントレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。
＜予測処理の流れ＞
次に、図９７のフローチャートを参照して、図９６のステップＳ４２７５において実行される予測処理の流れの例を説明する。
予測処理が開始されると、エンハンスメントレイヤ画像復号部１２０５のイントラ予測部１２３１は、ステップＳ４３０１において、予測モードがイントラ予測であるか否かを判定する。イントラ予測であると判定した場合、処理はステップＳ４３０２に進む。
ステップＳ４３０２において、イントラ予測部１２３１は、イントラ予測モード提供部１２０４のイントラ予測モードバッファ１２５３に記憶されている、選択されたベースレイヤのイントラ予測モードの内、カレントブロックに対応するブロックのイントラ予測モードを取得する。
ステップＳ４３０３において、イントラ予測部１２３１は、ステップＳ４３０２において取得したイントラ予測モード（選択されたベースレイヤのイントラ予測モード）を用いて、イントラ予測処理を行い、予測画像を生成する。ステップＳ４３０３の処理が終了すると、予測処理が終了し、処理は図９６に戻る。
また、ステップＳ４３０１において、インター予測であると判定された場合、処理はステップＳ４３０４に進む。ステップＳ４３０４において、動き補償部１２２２は、符号化の際に採用されたインター予測モードである最適インター予測モードで動き補償を行い、予測画像を生成する。ステップＳ４３０４の処理が終了すると、予測処理が終了し、処理は図９６に戻る。
以上のように各処理を実行することにより、スケーラブル復号装置１２００は、エンハンスメントレイヤの復号におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル復号装置１２００は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを、符号化側から供給された所定の間引き率で間引くので、スケーラブル復号装置１２００は、スケーラブル符号化装置１１００の場合と同様に、符号化・復号に必要な記憶容量の増大を抑制することができる。
以上において、第５の実施の形態および第６の実施の形態等において説明したスケーラブル符号化・復号に関する本技術は、当然、第１の実施の形態乃至第３の実施の形態において説明したような多視点画像符号化・復号についても同様に適用することができる。
つまり、多視点画像符号化に本技術を適用する場合も、画像符号化装置が図８１乃至図８４のような構成を有し、図８５乃至図８８のフローチャートを参照して説明したような各処理を実行するようにすればよい。
また、多視点画像復号に本技術を適用する場合も、画像復号装置が図８９乃至図９２のような構成を有し、図９３乃至図９７のフローチャートを参照して説明したような各処理を実行するようにすればよい。
＜８．概要３＞
＜予測方向制御＞
ところで、従来、HEVCにおいては、動きベクトルの符号化（mv_coding）のためにテンポラル動きベクトル（temporal_motion_vector）を利用することができ、さらに、L0方向とL1方向とのいずれか一方のみを利用することができる。つまり、テンポラル動きベクトル（temporal_motion_vector）は、L0方向とL1方向とのいずれか一方のみを保存すればよい。
図９８乃至図１００は、従来のスライスセグメントヘッダのシンタクスの様子を示す図である。図９９に示されるフラグ情報（collocated_from_l0_flag）は、L0方向のテンポラル動きベクトル（temporal_motion_vector）を保存するか否かを示すフラグ情報である。このフラグ情報の値が「１（真）」の場合、L0方向のテンポラル動きベクトル（temporal_motion_vector）が保存され、このフラグ情報の値が「０（偽）」の場合、L1方向のテンポラル動きベクトル（temporal_motion_vector）が保存される。
ところで、Vadim Seregin, Patrice Onno, Shan Liu, Elena Alshina, Chulkeun Kim, Haitao Yang, "Description of Core Experiment SCE5: Inter-layer syntax prediction using HEVC base layer", JCTVC-L1105, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1112th Meeting: Geneva, CH, 14-23 Jan. 2013では、スケーラブル（Scalable）符号化のための動きベクトル符号化方式として、ベースレイヤ（Baselayer）における動き情報を利用するレイヤ間シンタクス予測（Inter-layer syntax prediction）が提案されている。
このレイヤ間シンタクス予測においては、エンハンスメントレイヤ（Enhancementlayer）のL0動きベクトル符号化処理のためには、ベースレイヤのL0動き情報が用いられ、エンハンスメントレイヤのL1動きベクトル符号化のためには、ベースレイヤのL1動き情報が用いられる。したがって、L0方向およびL1方向の両方の動き情報をバッファに格納しなければならず、符号化・復号に必要な記憶容量が増大する恐れがあった。
そこで、複数レイヤよりなる画像データの、処理対象であるカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定し、他のレイヤから、設定された予測方向の動き情報のみを取得するようにする。例えば、画像データを階層符号化する場合、エンハンスメントレイヤの符号化の、ベースレイヤの動き情報を利用するレイヤ間シンタクス予測において、そのレイヤ間シンタクス予測に利用するベースレイヤの動き情報の予測方向を設定し、その予測方向の動き情報のみを取得し、バッファに格納するようにする。例えば、ベースレイヤのL0方向若しくはL1方向のいずれか一方の動き情報のみを取得し、バッファに格納するようにする。そして、エンハンスメントレイヤの符号化におけるレイヤ間シンタクス予測において、そのバッファに格納したベースレイヤの動き情報を読み出して利用するようにする。
このようにすることにより、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、符号化に必要な記憶容量の増大を抑制することができる。
また、ベースレイヤの動き情報の予測方向の設定を示す制御情報を、復号側に伝送するようにする。そして、復号側では、符号化側から伝送されてきた制御情報の設定に従って、ベースレイヤの、制御情報により指定された予測方向（例えばL0方向若しくはL1方向）の動き情報のみを取得し、バッファに格納するようにする。そして、エンハンスメントレイヤの復号におけるレイヤ間シンタクス予測において、そのバッファに格納したベースレイヤの動き情報を読み出して利用するようにする。
このようにすることにより、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、復号に必要な記憶容量の増大を抑制することができる。
＜シンタクス例＞
図１０１乃至図１０３は、このようにする場合のスライスセグメントヘッダのシンタクスの様子を示す図である。図１０２に示されるように、上述した制御情報として、フラグ情報（colbasemv_from_l0_flag）が伝送される。このフラグ情報は、ベースレイヤのL0方向の動き情報を保存するか否かを示すフラグ情報である。このフラグ情報の値が「１（真）」の場合、ベースレイヤからL0方向の動き情報が取得され、バッファに格納される。また、このフラグ情報の値が「０（偽）」の場合、ベースレイヤからL1方向の動き情報が取得され、バッファに格納される。このようにバッファに格納されたベースレイヤの動き情報が、エンハンスメントレイヤのレイヤ間予測において利用される。
このような制御情報を伝送することにより、復号側において、符号化側と同様のレイヤ間シンタクス予測を行うことができる。したがって、復号に必要な記憶容量の増大を抑制することができる。
このように、レイヤ間予測に利用するベースレイヤの動き情報の予測方向を示す制御情報は、その予測方向が所定の方向（例えばL0方向）であるかを示す情報としてもよい。制御情報をこのようなフラグ情報とすることにより、この制御情報の情報量を少なくすることができる（例えば１ビットにすることができる）。したがって、符号化効率の低減を抑制することができる。
もちろん、この方向はL0方向に限らない。例えば、制御情報が、レイヤ間予測に利用するベースレイヤの動き情報の予測方向がL1方向であるかを示す情報であってもよい。また、この方向を選択することができるようにしてもよい。例えば、スライス、ピクチャ、シーケンス等、任意の単位毎にこの方向を選択することができるようにしてもよい。
また、制御情報はフラグ情報に限らない。例えば、制御情報が、レイヤ間予測に利用するベースレイヤの動き情報の予測方向がL0方向であるか、L1方向であるかを示す情報であってもよい。
なお、図１０１乃至図１０３の例では、この制御情報をスライスヘッダにおいて伝送するように説明したが、これに限らない。すなわち、この制御情報は、例えば、シーケンス、ピクチャ、またはLCU等、任意の単位で伝送するようにしてもよい。換言するに、この制御情報の制御単位も、スライスに限らない。例えば、シーケンス、ピクチャ、またはLCU等、任意の単位で制御するようにしてもよい。
なお、レイヤ間予測には、ベースレイヤの、エンハンスメントレイヤの処理対象のカレント領域（エリア）に対応する所定のエリアの動き情報が利用される。
また、ベースレイヤから取得した動き情報の予測方向が、利用時の予測方向と異なる場合、変換することができる。例えば、バッファに格納したベースレイヤのL0方向の動き情報を、エンハンスメントレイヤのL1方向の予測に用いる場合、そのベースレイヤの動き情報がL1方向に変換される。このような変換は、符号化側においても復号側においても同様に行うことができる。
また、ベースレイヤから取得した動き情報は、必要に応じて、スケーラブルなパラメータをエンハンスメントレイヤ基準とするように変換することができる。例えば、解像度がスケーラブルな場合、ベースレイヤとエンハンスメントレイヤの解像度比に応じて、取得したベースレイヤの動き情報のスケールを変換（アップサンプル）してもよい。なお、このような変換は、バッファに格納する前に行っても良いし、バッファから読み出した後に行っても良い。このような変換は、符号化側においても復号側においても同様に行うことができる。
次に、以上のような本技術について、具体的な装置への適用例について説明する。
＜９．第７の実施の形態＞
＜画像符号化装置＞
図１０４は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図１０４に示される画像符号化装置１３００は、階層画像符号化を行う装置である。図１０４に示されるように、画像符号化装置１３００は、ベースレイヤ画像符号化部１３０１、エンハンスメントレイヤ画像符号化部１３０２、および多重化部１３０３を有する。
ベースレイヤ画像符号化部１３０１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。エンハンスメントレイヤ画像符号化部１３０２は、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤ画像符号化ストリームを生成する。多重化部１３０３は、ベースレイヤ画像符号化部１３０１において生成されたベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化部１３０２において生成されたエンハンスメントレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。多重化部１３０３は、生成した階層画像符号化ストリームを復号側に伝送する。
ベースレイヤ画像符号化部１３０１は、他のレイヤを参照せずにベースレイヤ画像を符号化する。これに対してエンハンスメントレイヤ画像符号化部１３０２は、エンハンスメントレイヤ画像の符号化において、ベースレイヤを参照し、レイヤ間予測を行う。例えば、エンハンスメントレイヤ画像符号化部１３０２は、ベースレイヤ画像符号化部１３０１がベースレイヤ画像を符号化する際に生成されたベースレイヤの動き情報を取得し、そのベースレイヤの動き情報を用いてレイヤ間シンタクス予測（Inter-layer syntax prediction）を行う。
その際、エンハンスメントレイヤ画像符号化部１３０２は、ベースレイヤ画像符号化部１３０１から取得する動き情報の予測方向を設定し、その設定した予測方向の動き情報のみを取得し、バッファに格納する。そして、エンハンスメントレイヤ画像符号化部１３０２は、そのバッファに格納されているベースレイヤの動き情報（すなわち、設定された予測方向の動き情報）を用いてレイヤ間予測を行う。
また、エンハンスメントレイヤ画像符号化部１３０２は、その予測方向の設定内容を示す制御情報を、多重化部１３０３を介して（階層画像符号化ストリームとして）、復号側に伝送する。
＜ベースレイヤ画像符号化部＞
図１０５は、図１０４のベースレイヤ画像符号化部１３０１の主な構成例を示すブロック図である。図１０５に示されるように、ベースレイヤ画像符号化部１３０１は、A/D変換部１３１１、画面並べ替えバッファ１３１２、演算部１３１３、直交変換部１３１４、量子化部１３１５、可逆符号化部１３１６、蓄積バッファ１３１７、逆量子化部１３１８、および逆直交変換部１３１９を有する。また、ベースレイヤ画像符号化部１３０１は、演算部１３２０、ループフィルタ１３２１、フレームメモリ１３２２、選択部１３２３、イントラ予測部１３２４、インター予測部１３２５、予測画像選択部１３２６、およびレート制御部１３２７を有する。
A/D変換部１３１１は、入力された画像データ（ベースレイヤ画像情報）をA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１３１２に供給し、記憶させる。画面並べ替えバッファ１３１２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１３１３に供給する。また、画面並べ替えバッファ１３１２は、フレームの順番を並び替えた画像を、イントラ予測部１３２４およびインター予測部１３２５にも供給する。
演算部１３１３は、画面並べ替えバッファ１３１２から読み出された画像から、予測画像選択部１３２６を介してイントラ予測部１３２４若しくはインター予測部１３２５から供給される予測画像を減算し、その差分情報を直交変換部１３１４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部１３１３は、画面並べ替えバッファ１３１２から読み出された画像から、イントラ予測部１３２４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１３１３は、画面並べ替えバッファ１３１２から読み出された画像から、インター予測部１３２５から供給される予測画像を減算する。
直交変換部１３１４は、演算部１３１３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部１３１４は、その変換係数を量子化部１３１５に供給する。
量子化部１３１５は、直交変換部１３１４から供給される変換係数を量子化する。量子化部１３１５は、レート制御部１３２７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部１３１５は、量子化された変換係数を可逆符号化部１３１６に供給する。
可逆符号化部１３１６は、量子化部１３１５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１３２７の制御の下で量子化されているので、この符号量は、レート制御部１３２７が設定した目標値となる（若しくは目標値に近似する）。
また、可逆符号化部１３１６は、イントラ予測のモードを示す情報などをイントラ予測部１３２４から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部１３２５から取得する。さらに、可逆符号化部１３１６は、シーケンスパラメータセット（SPS）、およびピクチャパラメータセット（PPS）等を含むベースレイヤのNALユニットを適宜生成する。
また、可逆符号化部１３１６は、ベースレイヤ領域分割設定部により設定されたベースレイヤの領域（例えばタイルやスライス等）分割に関する情報（ベースレイヤ領域分割情報とも称する）を符号化する。
可逆符号化部１３１６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）の一部とする（多重化する）。可逆符号化部１３１６は、符号化して得られた符号化データを蓄積バッファ１３１７に供給して蓄積させる。
可逆符号化部１３１６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
蓄積バッファ１３１７は、可逆符号化部１３１６から供給された符号化データ（ベースレイヤ符号化データ）を、一時的に保持する。蓄積バッファ１３１７は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。すなわち、蓄積バッファ１３１７は、符号化データを伝送する伝送部でもある。
また、量子化部１３１５において量子化された変換係数は、逆量子化部１３１８にも供給される。逆量子化部１３１８は、その量子化された変換係数を、量子化部１３１５による量子化に対応する方法で逆量子化する。逆量子化部１３１８は、得られた変換係数を、逆直交変換部１３１９に供給する。
逆直交変換部１３１９は、逆量子化部１３１８から供給された変換係数を、直交変換部１３１４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１３２０に供給される。
演算部１３２０は、逆直交変換部１３１９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部１３２６を介してイントラ予測部１３２４若しくはインター予測部１３２５からの予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１３２１またはフレームメモリ１３２２に供給される。
ループフィルタ１３２１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１３２０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１３２１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ１３２１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ１３２１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ１３２２に供給する。
なお、ループフィルタ１３２１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１３２１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１３１６に供給し、それを符号化させるようにすることもできる。
フレームメモリ１３２２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１３２３に供給する。
より具体的には、フレームメモリ１３２２は、演算部１３２０から供給される再構成画像と、ループフィルタ１３２１から供給される復号画像とをそれぞれ記憶する。フレームメモリ１３２２は、所定のタイミングにおいて、若しくは、イントラ予測部１３２４等の外部からの要求に基づいて、記憶している再構成画像を、選択部１３２３を介してイントラ予測部１３２４に供給する。また、フレームメモリ１３２２は、所定のタイミングにおいて、若しくは、インター予測部１３２５等の外部からの要求に基づいて、記憶している復号画像を、選択部１３２３を介して、インター予測部１３２５に供給する。
選択部１３２３は、フレームメモリ１３２２から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部１３２３は、フレームメモリ１３２２から供給される参照画像（カレントピクチャ内の画素値）をイントラ予測部１３２４に供給する。また、例えば、インター予測の場合、選択部１３２３は、フレームメモリ１３２２から供給される参照画像をインター予測部１３２５に供給する。
イントラ予測部１３２４は、処理対象のフレームの画像であるカレントピクチャについて、予測処理を行い、予測画像を生成する。イントラ予測部１３２４は、この予測処理を、所定のブロック毎に（ブロックを処理単位として）行う。つまり、イントラ予測部１３２４は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、イントラ予測部１３２４は、選択部１３２３を介してフレームメモリ１３２２から参照画像として供給される再構成画像を用いて予測処理（画面内予測（イントラ予測とも称する））を行う。つまり、イントラ予測部１３２４は、再構成画像に含まれる、カレントブロックの周辺の画素値を用いて予測画像を生成する。このイントラ予測に利用される周辺画素値は、カレントピクチャの、過去に処理された画素の画素値である。このイントラ予測には（すなわち、予測画像の生成の仕方には）、複数の方法（イントラ予測モードとも称する）が、候補として予め用意されている。イントラ予測部１３２４は、この予め用意された複数のイントラ予測モードでこのイントラ予測を行う。
イントラ予測部１３２４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１３１２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１３２４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１３２６に供給する。
また、上述したように、イントラ予測部１３２４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１３１６に供給し、符号化させる。
インター予測部１３２５は、カレントピクチャについて、予測処理を行い、予測画像を生成する。インター予測部１３２５は、この予測処理を、所定のブロック毎に（ブロックを処理単位として）行う。つまり、インター予測部１３２５は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、インター予測部１３２５は、画面並べ替えバッファ１３１２から供給される入力画像の画像データと、フレームメモリ１３２２から参照画像として供給される復号画像の画像データとを用いて、予測処理を行う。この復号画像は、カレントピクチャより前に処理されたフレームの画像（カレントピクチャでない他のピクチャ）である。つまり、インター予測部１３２５は、他のピクチャの画像を用いて予測画像を生成する予測処理（画面間予測（インター予測とも称する））を行う。
このインター予測は、動き予測と動き補償よりなる。より具体的には、インター予測部１３２５は、入力画像と参照画像を用いて、カレントブロックについて動き予測を行い、動きベクトルを検出する。そして、インター予測部１３２５は、参照画像を用いて、検出された動きベクトルに応じて動き補償処理を行い、カレントブロックの予測画像（インター予測画像情報）を生成する。このインター予測には（すなわち、予測画像の生成の仕方には）、複数の方法（インター予測モードとも称する）が、候補として予め用意されている。インター予測部１３２５は、この予め用意された複数のインター予測モードでこのようなインター予測を行う。
インター予測部１３２５は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部１３２５は、画面並べ替えバッファ１３１２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部１３２５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１３２６に供給する。
インター予測部１３２５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１３１６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として予測動きベクトルのインデックスを示すフラグなどがある。
予測画像選択部１３２６は、演算部１３１３や演算部１３２０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部１３２６は、予測画像の供給元としてイントラ予測部１３２４を選択し、そのイントラ予測部１３２４から供給される予測画像を演算部１３１３や演算部１３２０に供給する。また、例えば、インター符号化の場合、予測画像選択部１３２６は、予測画像の供給元としてインター予測部１３２５を選択し、そのインター予測部１３２５から供給される予測画像を演算部１３１３や演算部１３２０に供給する。
レート制御部１３２７は、蓄積バッファ１３１７に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１３１５の量子化動作のレートを制御する。
なお、ベースレイヤ画像符号化部１３０１は、他のレイヤを参照せずに符号化を行う。つまり、イントラ予測部１３２４およびインター予測部１３２５は、他のレイヤの符号化に関する情報（例えば、復号画像、イントラ予測モード情報、インター予測モード情報、および動き情報等）を参照しない。
また、インター予測部１３２５は、エンハンスメントレイヤ画像符号化部１３０２により要求された予測方向（例えばL0方向若しくはL1方向）の動き情報をエンハンスメントレイヤ画像符号化部１３０２に供給する。
＜エンハンスメントレイヤ画像符号化部＞
図１０６は、図１０４のエンハンスメントレイヤ画像符号化部１３０２の主な構成例を示すブロック図である。図１０６に示されるように、エンハンスメントレイヤ画像符号化部１３０２は、図１０５のベースレイヤ画像符号化部１３０１と基本的に同様の構成を有する。
つまり、エンハンスメントレイヤ画像符号化部１３０２は、図１０６に示されるように、A/D変換部１３３１、画面並べ替えバッファ１３３２、演算部１３３３、直交変換部１３３４、量子化部１３３５、可逆符号化部１３３６、蓄積バッファ１３３７、逆量子化部１３３８、および逆直交変換部１３３９を有する。また、エンハンスメントレイヤ画像符号化部１３０２は、演算部１３４０、ループフィルタ１３４１、フレームメモリ１３４２、選択部１３４３、イントラ予測部１３４４、インター予測部１３４５、予測画像選択部１３４６、およびレート制御部１３４７を有する。
これらのA/D変換部１３３１乃至レート制御部１３４７は、図１０５のA/D変換部１３１１乃至レート制御部１３２７に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像符号化部１３０２の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、A/D変換部１３３１乃至レート制御部１３４７の処理の説明として、上述した図１０５のA/D変換部１３１１乃至レート制御部１３２７についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、A/D変換部１３３１乃至レート制御部１３４７の中の、対応する処理部に置き換えて読む必要がある。
ただし、インター予測部１３４５は、ベースレイヤ画像符号化部１３０１から取得する動き情報の予測方向（例えばL0方向若しくはL1方向）を設定し、その設定した予測方向のベースレイヤの動き情報を、ベースレイヤ画像符号化部１３０１から取得し、内蔵するバッファに格納する。インター予測部１３４５は、このバッファに格納したベースレイヤの動き情報を用いてレイヤ間シンタクス予測を行う。
＜インター予測部＞
図１０７は、図１０６のインター予測部１３４５の主な構成例を示すブロック図である。図１０７に示されるように、インター予測部１３４５は、ベースレイヤ参照予測方向設定部１３７１、ベースレイヤ動き情報バッファ１３７２、動き情報変換部１３７３、動き予測部１３７４、および動き補償部１３７５を有する。
ベースレイヤ参照予測方向設定部１３７１は、参照する（レイヤ間シンタクス予測で利用する）ベースレイヤの動き情報の予測方向を設定する。例えば、ベースレイヤ参照予測方向設定部１３７１は、ベースレイヤの、L0方向の動き情報、若しくは、L1方向の動き情報のいずれを参照するかを選択する。
なお、ベースレイヤ参照予測方向設定部１３７１は、この予測方向の設定内容を示す制御情報を生成し、それをベースレイヤ動き情報バッファ１３７２および動き情報変換部１３７３に供給することにより、この設定を、ベースレイヤ動き情報バッファ１３７２および動き情報変換部１３７３に反映させる。
この制御情報は、例えば、＜８．概要３＞で上述したようにどのような情報であってもよい。図１０７の例においては、ベースレイヤ参照予測方向設定部１３７１は、ベースレイヤのL0方向の動き情報を参照するかを示すフラグ情報（colbasemv_from_l0_flag）を制御情報として生成し、ベースレイヤ動き情報バッファ１３７２および動き情報変換部１３７３に供給する。また、ベースレイヤ参照予測方向設定部１３７１は、このフラグ情報（colbasemv_from_l0_flag）を、可逆符号化部１３３６に供給し、符号化させ、復号側に伝送させる。
ベースレイヤ動き情報バッファ１３７２は、ベースレイヤ画像符号化部１３０１からベースレイヤの動き情報（ベースレイヤ動き情報とも称する）を取得し、格納（保持）する。その際、ベースレイヤ動き情報バッファ１３７２は、ベースレイヤ参照予測方向設定部１３７１の設定に従って、すなわち、ベースレイヤ参照予測方向設定部１３７１から供給された制御情報（フラグ情報（colbasemv_from_l0_flag））により示される予測方向のベースレイヤ動き情報を取得する。このように取得するベースレイヤ動き情報の予測方向を制限することにより、そのベースレイヤ動き情報を格納するベースレイヤ動き情報バッファ１３７２の記憶容量を低減させることができる。
動き情報変換部１３７３は、動き予測部１３７４がレイヤ間予測を行う場合、ベースレイヤ動き情報バッファ１３７２に格納されているベースレイヤ動き情報を読み出して動き予測部１３７４に供給する。その際、動き情報変換部１３７３は、読みだしたベースレイヤ動き情報に対して、適宜、変換処理を行い、変換後のベースレイヤ動き情報を動き予測部１３７４に供給する。
例えば、動き情報変換部１３７３は、ベースレイヤ参照予測方向設定部１３７１の設定に従って、すなわち、ベースレイヤ参照予測方向設定部１３７１から供給された制御情報（フラグ情報（colbasemv_from_l0_flag））により示される予測方向が、動き予測部１３７４のレイヤ間予測の予測方向と一致しない場合、ベースレイヤ動き情報の予測方向を変換（例えば、L0方向の動き情報をL1方向に変換したり、L1方向の動き情報をL0方向に変換したり）する。
また、例えば、動き情報変換部１３７３は、ベースレイヤ動き情報の、階層間でスケーラブルなパラメータを、ベースレイヤ基準からエンハンスメントレイヤ基準に変換（換算）することもできる。
動き予測部１３７４は、候補となる全てのインター予測モードで動き予測を行う。例えば、動き予測部１３７４は、画面並べ替えバッファ１３３２から供給される入力画像、および、フレームメモリ１３４２から供給される参照画像を用いて動き予測を行う。また、例えば、動き予測部１３７４は、動き情報変換部１３７３から供給されるベースレイヤ動き情報を用いてレイヤ間シンタクス予測を行う。
このように全ての候補のモードで予測を行うと、動き予測部１３７４は、各予測結果についてコスト関数値を評価し、その評価結果に基づいて最適なモードを選択する。動き予測部１３７４は、最適なモードとして選択したモードの動き情報を最適動き情報として動き補償部１３７５に供給する。また、動き予測部１３７４は、最適なモードとして選択したモードの動き予測に関する情報である最適インター予測情報を可逆符号化部１３３６に供給し、符号化させ、復号側に伝送させる。この最適インター予測情報には、例えば、最適なモードを示す情報、並びに、最適動き情報若しくは最適動き情報を符号化した情報（例えば差分動き情報）等が含まれる。
動き補償部１３７５は、動き予測部１３７４から供給される最適動き情報と、フレームメモリ１３４２から供給される参照画像とを用いて、動き補償を行い、予測画像を生成する。動き補償部１３７５は、生成した予測画像を予測画像選択部１３４６に供給する。
＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置１３００により実行される各処理の流れについて説明する。最初に、図１０８のフローチャートを参照して、画像符号化処理の流れの例を説明する。
画像符号化処理が開始されると、ステップＳ５１０１において、画像符号化装置１３００のベースレイヤ画像符号化部１３０１は、ベースレイヤの画像データを符号化する。
ステップＳ５１０２において、エンハンスメントレイヤ画像符号化部１３０２は、エンハンスメントレイヤの画像データを符号化する。
ステップＳ５１０３において、多重化部１３０３は、ステップＳ５１０１の処理により生成されたベースレイヤ画像符号化ストリームと、ステップＳ５１０２の処理により生成されたエンハンスメントレイヤ画像符号化ストリームとを（すなわち、各レイヤのビットストリームを）多重化し、１系統の階層画像符号化ストリームを生成する。
ステップＳ５１０３の処理が終了すると、画像符号化装置１３００は、画像符号化処理を終了する。このような画像符号化処理により１ピクチャ（若しくは１スライス）が処理される。したがって、画像符号化装置１３００は、このような画像符号化処理を階層化された動画像データのピクチャ（若しくはスライス）毎に繰り返し実行する。
＜ベースレイヤ符号化処理の流れ＞
次に、図１０８のステップＳ５１０１において、ベースレイヤ画像符号化部１３０１により実行されるベースレイヤ符号化処理の流れの例を、図１０９のフローチャートを参照して説明する。
ベースレイヤ符号化処理が開始されると、ベースレイヤ画像符号化部１３０１のA/D変換部１３１１は、ステップＳ５１２１において、入力された動画像の各フレーム（ピクチャ）の画像をA/D変換する。
ステップＳ５１２２において、画面並べ替えバッファ１３１２は、ステップＳ５１２１においてA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
ステップＳ５１２３において、イントラ予測部１３２４は、イントラ予測モードのイントラ予測処理を行う。
ステップＳ５１２４において、インター予測部１３２５は、インター予測モードでの動き予測や動き補償等を行うインター予測処理を行う。つまり、インター予測部１３２５は、全ての候補となるモードについて動き予測を行い、その予測結果についてコスト関数値を算出して評価し、その評価結果に基づいて最適なインター予測モードを選択する。そして、インター予測部１３２５は、その最適なインター予測モードで動き補償を行い、予測画像を生成する。なお、ベースレイヤ画像符号化部１３０１は、他のレイヤの情報を参照しないので、インター予測部１３２５は、レイヤ間予測を行わない。
ステップＳ５１２５において、予測画像選択部１３２６は、コスト関数値等に基づいて、予測画像を選択する。つまり、予測画像選択部１３２６は、ステップＳ５１２３のイントラ予測により生成された予測画像と、ステップＳ５１２４のインター予測により生成された予測画像のいずれか一方を選択する。
ステップＳ５１２６において、演算部１３１３は、ステップＳ５１２２の処理によりフレーム順を並び替えられた入力画像と、ステップＳ５１２５の処理により選択された予測画像との差分を演算する。つまり、演算部１３１３は、入力画像と予測画像との差分画像の画像データを生成する。このようにして求められた差分画像の画像データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
ステップＳ５１２７において、直交変換部１３１４は、ステップＳ５１２８の処理により生成された差分画像の画像データを直交変換する。
ステップＳ５１２８において、量子化部１３１５は、レート制御部１３２７により算出された量子化パラメータを用いて、ステップＳ５１２７の処理により得られた直交変換係数を量子化する。
ステップＳ５１２９において、逆量子化部１３１８は、ステップＳ５１２８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部１３１５の特性に対応する特性で逆量子化する。
ステップＳ５１３０において、逆直交変換部１３１９は、ステップＳ５１２９の処理により得られた直交変換係数を逆直交変換する。
ステップＳ５１３１において、演算部１３２０は、ステップＳ５１３０の処理により復元された差分画像に、ステップＳ５１２５の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。
ステップＳ５１３２においてループフィルタ１３２１は、ステップＳ５１３１の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。
ステップＳ５１３３において、フレームメモリ１３２２は、ステップＳ５１３２の処理により得られた復号画像やステップＳ５１３１の処理により得られた再構成画像等のデータを記憶する。
ステップＳ５１３４において、可逆符号化部１３１６は、ステップＳ５１２８の処理により得られた、量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。
また、このとき、可逆符号化部１３１６は、ステップＳ５１２５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１３１６は、イントラ予測部１３２４から供給される最適イントラ予測モード情報、または、インター予測部１３２５から供給される最適インター予測情報なども符号化し、符号化データに付加する。
さらに、可逆符号化部１３１６は、各種ナルユニット等のシンタクス要素も設定し、符号化し、符号化データに付加する。
ステップＳ５１３５において蓄積バッファ１３１７は、ステップＳ５１３４の処理により得られた符号化データを蓄積する。蓄積バッファ１３１７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
ステップＳ５１３６においてレート制御部１３２７は、ステップＳ５１３５の処理により蓄積バッファ１３１７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１３１５の量子化動作のレートを制御する。また、レート制御部１３２７は、量子化パラメータに関する情報を、量子化部１３１５に供給する。
ステップＳ５１３６の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図１０８に戻る。
＜エンハンスメントレイヤ符号化処理の流れ＞
次に、図１０８のステップＳ５１０２において、エンハンスメントレイヤ画像符号化部１３０２により実行されるエンハンスメントレイヤ符号化処理の流れの例を、図１１０のフローチャートを参照して説明する。
エンハンスメントレイヤ符号化処理が開始されると、エンハンスメントレイヤ画像符号化部１３０２のベースレイヤ参照予測方向設定部１３７１は、ステップＳ５１５１において、参照するベースレイヤ動き情報の予測方向を設定する。
ステップＳ５１５２において、ベースレイヤ参照予測方向設定部１３７１は、ステップＳ５１５１において行った設定の内容を示す制御情報を可逆符号化部１３３６に供給し、符号化させ、復号側に伝送させる。
ステップＳ５１５３において、ベースレイヤ動き情報バッファ１３７２は、ステップＳ５１５１において設定された予測方向のベースレイヤ動き情報を、ベースレイヤ画像符号化部１３０１から取得し、保持する。
ステップＳ５１５４乃至ステップＳ５１６９の各処理は、図１０９のステップＳ５１２１乃至ステップＳ５１３６の各処理に対応し、それらの処理と基本的に同様に実行される。
ただし、ステップＳ５１５７のインター予測処理では、候補モードにレイヤ間予測も含まれる。つまり、ステップＳ５１５７において、動き予測部１３７４は、候補モードの１つとして、動き情報変換部１３７３を介してベースレイヤ動き情報バッファ１３７２から読み出したベースレイヤ動き情報を用いて、レイヤ間シンタクス予測を行う。動き予測部１３７４は、そのレイヤ間シンタクス予測も含めた全ての候補モードの中から最適なインター予測モードを選択し、その予測画像を生成する。
ステップＳ５１６９の処理が終了すると、エンハンスメントレイヤ符号化処理が終了し、処理は、図１０８に戻る。
以上のように各処理を実行することにより、エンハンスメントレイヤ画像符号化部１３０２は、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、画像符号化装置１３００は、符号化に必要な記憶容量の増大を抑制することができる。
また、画像符号化装置１３００は、ベースレイヤ動き情報の予測方向の設定を示す制御情報を復号側に伝送するので、復号側においても、符号化側と同様に、ベースレイヤ動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、復号に必要な記憶容量の増大を抑制することができる。
＜ベースレイヤ動き情報参照処理の流れ＞
上述したように、図１１０のステップＳ５１５７のインター予測処理においては、レイヤ間予測のために、ベースレイヤ動き情報バッファ１３７２に保持されているベースレイヤ動き情報が読み出される。このベースレイヤ動き情報を読み出すベースレイヤ動き情報参照処理の流れの例を、図１１１のフローチャートを参照して説明する。
ベースレイヤ動き情報参照処理が開始されると、インター予測部１３４５の動き情報変換部１３７３は、ステップＳ５１８１において、参照するベースレイヤ動き情報を、ベースレイヤ動き情報バッファ１３７２から読み出す。
ステップＳ５１８２において、動き情報変換部１３７３は、レイヤ間予測の予測方向と、ベースレイヤ参照予測方向設定部１３７１により設定された予測方向（すなわち、ステップＳ５１８１において読み出された動き情報の予測方向）とが一致するか否かを判定する。一致しないと判定された場合、処理はステップＳ５１８３に進む。
ステップＳ５１８３において、動き情報変換部１３７３は、ステップＳ５１８１において読み出されたベースレイヤ動き情報を反転する。例えば、レイヤ間予測の予測方向がL0方向であり、ステップＳ５１８１において読み出されたベースレイヤ動き情報の予測方向がL1方向である場合、動き情報変換部１３７３は、ベースレイヤ動き情報の予測方向をL0方向に変換する。また、例えば、レイヤ間予測の予測方向がL1方向であり、ステップＳ５１８１において読み出されたベースレイヤ動き情報の予測方向がL0方向である場合、動き情報変換部１３７３は、ベースレイヤ動き情報の予測方向をL1方向に変換する。
ステップＳ５１８３の処理が終了すると、処理はステップＳ５１８４に進む。
また、ステップＳ５１８２において予測方向が一致すると判定された場合、処理はステップＳ５１８４に進む。つまり、予測方向の変換処理が省略される。
ステップＳ５１８４において、動き予測部１３７４は、このように読み出され、適宜変換処理されたベースレイヤ動き情報を用いてエンハンスメントレイヤの動き予測を行う。
ステップＳ５１８４の処理が終了すると、ベースレイヤ動き情報参照処理が終了する。
以上のように、インター予測部１３４５は、ベースレイヤ動き情報バッファ１３７２から読み出したベースレイヤ動き情報の予測方向を、レイヤ間予測の予測方向に合わせることができる。したがって、ベースレイヤ動き情報バッファ１３７２には、一方の予測方向のベースレイヤ動き情報を格納すればよい。したがって、ベースレイヤ動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、符号化に必要な記憶容量の増大を抑制することができる。
なお、以上のようなベースレイヤ動き情報参照処理において、動き情報変換部１３７３が、ベースレイヤ動き情報バッファ１３７２から読み出したベースレイヤ動き情報に対して、スケーラブルなパラメータをベースレイヤ基準からエンハンスメントレイヤ基準に変換する変換処理を行うようにしてもよい。この変換処理は、ステップＳ５１８２の前に行われるようにしてもよいし、ステップＳ５１８４の前に行われるようにしてもよい。
＜１０．第８の実施の形態＞
＜画像復号装置＞
次に、以上のように符号化された符号化データの復号について説明する。図１１２は、本技術を適用した画像処理装置の一態様である、図１０４の画像符号化装置１３００に対応する画像復号装置の主な構成例を示すブロック図である。
図１１２に示される画像復号装置１４００は、画像符号化装置１３００が生成した符号化データを、その符号化方法に対応する復号方法で復号する（すなわち、階層符号化された符号化データを階層復号する）。
図１１２に示されるように、画像復号装置１４００は、逆多重化部１４０１、ベースレイヤ画像復号部１４０２、およびエンハンスメントレイヤ画像復号部１４０３を有する。
逆多重化部１４０１は、符号化側から伝送された、ベースレイヤ画像符号化ストリームとエンハンスメントレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを受け取り、それを逆多重化し、ベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化ストリームとを抽出する。ベースレイヤ画像復号部１４０２は、逆多重化部１４０１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。エンハンスメントレイヤ画像復号部１４０３は、逆多重化部１４０１により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号し、エンハンスメントレイヤ画像を得る。
ベースレイヤ画像復号部１４０２は、他のレイヤを参照せずにベースレイヤ画像符号化ストリームを復号する。これに対してエンハンスメントレイヤ画像復号部１４０３は、エンハンスメントレイヤ画像符号化ストリームの復号において、ベースレイヤを参照し、レイヤ間予測を行う。例えば、エンハンスメントレイヤ画像復号部１４０３は、ベースレイヤ画像復号部１４０２がベースレイヤ画像符号化ストリームを復号する際に復元されたベースレイヤの動き情報を取得し、そのベースレイヤの動き情報を用いてレイヤ間シンタクス予測（Inter-layer syntax prediction）を行う。
その際、エンハンスメントレイヤ画像復号部１４０３は、符号化側から伝送された制御情報（すなわち、符号化側において（符号化の際に）行われた設定）により指定される予測方向のベースレイヤ動き情報のみを取得し、バッファに格納する。そして、エンハンスメントレイヤ画像復号部１４０３は、そのバッファに格納されているベースレイヤ動き情報（すなわち、符号化の際に用いられたのと同じ予測方向の動き情報）を用いてレイヤ間予測を行う。
＜ベースレイヤ画像復号部＞
図１１３は、図１１２のベースレイヤ画像復号部１４０２の主な構成例を示すブロック図である。図１１３に示されるようにベースレイヤ画像復号部１４０２は、蓄積バッファ１４１１、可逆復号部１４１２、逆量子化部１４１３、逆直交変換部１４１４、演算部１４１５、ループフィルタ１４１６、画面並べ替えバッファ１４１７、およびD/A変換部１４１８を有する。また、ベースレイヤ画像復号部１４０２は、フレームメモリ１４１９、選択部１４２０、イントラ予測部１４２１、インター予測部１４２２、および予測画像選択部１４２３を有する。
蓄積バッファ１４１１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ１４１１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１４１２に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部１４１２は、蓄積バッファ１４１１より供給された、可逆符号化部１３１６により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部１４１２は、復号して得られた差分画像の量子化された係数データを、逆量子化部１４１３に供給する。
また、可逆復号部１４１２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１４２１およびインター予測部１４２２の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部１４２１に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部１４２２に供給される。
さらに、可逆復号部１４１２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部１４１３に供給する。
逆量子化部１４１３は、可逆復号部１４１２により復号されて得られた量子化された係数データを、量子化部１３１５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部１４１３は、逆量子化部１３１８と同様の処理部である。逆量子化部１４１３は、得られた係数データを逆直交変換部１４１４に供給する。
逆直交変換部１４１４は、逆量子化部１４１３から供給される直交変換係数を、必要に応じて、直交変換部１３１４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部１４１４は、逆直交変換部１３１９と同様の処理部である。
この逆直交変換処理により差分画像の画像データが復元される。この復元された差分画像の画像データは、画像符号化装置において直交変換される前の差分画像の画像データに対応する。以下においては、この、逆直交変換部１４１４の逆直交変換処理により得られた、復元された差分画像の画像データを、復号残差データとも称する。逆直交変換部１４１４は、この復号残差データを、演算部１４１５に供給する。また、演算部１４１５には、予測画像選択部１４２３を介して、イントラ予測部１４２１若しくはインター予測部１４２２から予測画像の画像データが供給される。
演算部１４１５は、この復号残差データと予測画像の画像データとを用いて、差分画像と予測画像とを加算した再構成画像の画像データを得る。この再構成画像は、演算部１３１３により予測画像が減算される前の入力画像に対応する。演算部１４１５は、その再構成画像をループフィルタ１４１６に供給する。
ループフィルタ１４１６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ１４１６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ１４１６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
なお、ループフィルタ１４１６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ１４１６が、符号化側から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。さらに、ループフィルタ１４１６が、このようなフィルタ処理を省略し、入力されたデータをフィルタ処理せずに出力することもできる。
ループフィルタ１４１６は、フィルタ処理結果である復号画像（若しくは再構成画像）を画面並べ替えバッファ１４１７およびフレームメモリ１４１９に供給する。
画面並べ替えバッファ１４１７は、復号画像についてフレームの順番の並べ替えを行う。すなわち、画面並べ替えバッファ１４１７は、画面並べ替えバッファ１３１２により符号化順に並べ替えられた各フレームの画像を、元の表示順に並べ替える。つまり、画面並べ替えバッファ１４１７は、符号化順に供給される各フレームの復号画像の画像データを、その順に記憶し、符号化順に記憶した各フレームの復号画像の画像データを、表示順に読み出してD/A変換部１４１８に供給する。D/A変換部１４１８は、画面並べ替えバッファ１４１７から供給された各フレームの復号画像（デジタルデータ）をD/A変換し、アナログデータとして、図示せぬディスプレイに出力し、表示させる。
フレームメモリ１４１９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部１４２１やインター予測部１４２２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部１４２０を介してイントラ予測部１４２１やインター予測部１４２２に供給する。
イントラ予測部１４２１には、イントラ予測モード情報等が可逆復号部１４１２から適宜供給される。イントラ予測部１４２１は、イントラ予測部１３２４において用いられたイントラ予測モード（最適イントラ予測モード）でイントラ予測を行い、予測画像を生成する。その際、イントラ予測部１４２１は、選択部１４２０を介してフレームメモリ１４１９から供給される再構成画像の画像データを用いてイントラ予測を行う。すなわち、イントラ予測部１４２１は、この再構成画像を参照画像（周辺画素）として利用する。イントラ予測部１４２１は、生成した予測画像を予測画像選択部１４２３に供給する。
インター予測部１４２２には、最適予測モード情報や動き情報等が可逆復号部１４１２から適宜供給される。インター予測部１４２２は、可逆復号部１４１２から取得された最適予測モード情報が示すインター予測モード（最適インター予測モード）で、フレームメモリ１４１９から取得した復号画像（参照画像）を用いてインター予測を行い、予測画像を生成する。
予測画像選択部１４２３は、イントラ予測部１４２１から供給される予測画像またはインター予測部１４２２から供給される予測画像を、演算部１４１５に供給する。そして、演算部１４１５においては、その予測画像と逆直交変換部１４１４からの復号残差データ（差分画像情報）とが加算されて再構成画像が得られる。
なお、ベースレイヤ画像復号部１４０２は、他のレイヤを参照せずに復号を行う。つまり、イントラ予測部１４２１およびインター予測部１４２２は、他のレイヤの符号化に関する情報（例えば、復号画像、イントラ予測モード情報、インター予測モード情報、および動き情報等）を参照しない。
また、インター予測部１４２２は、エンハンスメントレイヤ画像復号部１４０３により要求された予測方向（例えばL0方向若しくはL1方向）の動き情報をエンハンスメントレイヤ画像復号部１４０３に供給する。
＜エンハンスメントレイヤ画像復号部＞
図１１４は、図１１２のエンハンスメントレイヤ画像復号部１４０３の主な構成例を示すブロック図である。図１１４に示されるように、エンハンスメントレイヤ画像復号部１４０３は、図１１３のベースレイヤ画像復号部１４０２と基本的に同様の構成を有する。
つまり、エンハンスメントレイヤ画像復号部１４０３は、図１１４に示されるように、蓄積バッファ１４３１、可逆復号部１４３２、逆量子化部１４３３、逆直交変換部１４３４、演算部１４３５、ループフィルタ１４３６、画面並べ替えバッファ１４３７、およびD/A変換部１４３８を有する。また、エンハンスメントレイヤ画像復号部１４０３は、フレームメモリ１４３９、選択部１４４０、イントラ予測部１４４１、インター予測部１４４２、および予測画像選択部１４４３を有する。
これらの蓄積バッファ１４３１乃至予測画像選択部１４４３は、図１１３の蓄積バッファ１４１１乃至予測画像選択部１４２３に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像復号部１４０３の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、蓄積バッファ１４３１乃至予測画像選択部１４４３の処理の説明として、上述した図１１３の蓄積バッファ１４１１乃至予測画像選択部１４２３についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、エンハンスメントレイヤ画像復号部１４０３の、対応する処理部に置き換えて読む必要がある。
ただし、可逆復号部１４３２は、例えば、スライスヘッダに含まれる、符号化側から供給された、ベースレイヤ画像復号部１４０２から取得するベースレイヤ動き情報の予測方向の制御情報（例えば、ベースレイヤのL0方向の動き情報を保存するか否かを示すフラグ情報（colbasemv_from_l0_flag））等を、インター予測部１４４２に供給する。
インター予測部１４４２は、その制御情報により指定される予測方向のベースレイヤ動き情報を、ベースレイヤ画像復号部１４０２から取得し、内蔵するバッファに格納する。インター予測部１４４２は、レイヤ間シンタクス予測を行う場合、このバッファに格納したベースレイヤの動き情報を用いる。
＜インター予測部＞
図１１５は、図１１４のインター予測部１４４２の主な構成例を示すブロック図である。図１１５に示されるように、インター予測部１４４２は、ベースレイヤ動き情報バッファ１４７１、動き情報変換部１４７２、および動き補償部１４７３を有する。
ベースレイヤ動き情報バッファ１４７１は、可逆復号部１４３２から供給される制御情報（フラグ情報（colbasemv_from_l0_flag））を取得する。ベースレイヤ動き情報バッファ１４７１は、その制御情報により示される予測方向のベースレイヤ動き情報を取得して格納する。つまり、ベースレイヤ動き情報バッファ１４７１は、符号化の際と同一の予測方向のベースレイヤ動き情報を取得する。このように取得するベースレイヤ動き情報の予測方向を制限することにより、そのベースレイヤ動き情報を格納するベースレイヤ動き情報バッファ１４７１の記憶容量を低減させることができる。
動き情報変換部１４７２は、可逆復号部１４３２から供給される制御情報（フラグ情報（colbasemv_from_l0_flag））を取得する。また、動き情報変換部１４７２は、動き補償部１４７３がレイヤ間予測により動き情報を再構築する場合、ベースレイヤ動き情報バッファ１４７１に格納されているベースレイヤ動き情報を読み出して動き補償部１４７３に供給する。その際、動き情報変換部１４７２は、読みだしたベースレイヤ動き情報に対して、適宜、変換処理を行い、変換後のベースレイヤ動き情報を動き補償部１４７３に供給する。
例えば、動き情報変換部１４７２は、可逆復号部１４３２から供給される制御情報（フラグ情報（colbasemv_from_l0_flag））により示される予測方向が、動き補償部１４７３のレイヤ間予測の予測方向と一致しない場合、ベースレイヤ動き情報の予測方向を変換（例えば、L0方向の動き情報をL1方向に変換したり、L1方向の動き情報をL0方向に変換したり）する。
また、例えば、動き情報変換部１４７２は、ベースレイヤ動き情報の、階層間でスケーラブルなパラメータを、ベースレイヤ基準からエンハンスメントレイヤ基準に変換（換算）することもできる。
動き補償部１４７３は、可逆復号部１４３２から供給される最適インター予測情報により示される最適なインター予測モード（符号化の際に採用されたインター予測モード）で動き補償を行い、予測画像を生成する。例えば、動き補償部１４７３は、可逆復号部１４３２から供給される最適インター予測情報に含まれる符号化された動き情報（例えば差分動き情報等）を復号してカレントブロックの動き情報を再構築する。そして、動き補償部１４７３は、再構築した動き情報に対応するフレームメモリ１４３９から参照画像を取得し、予測画像を生成する。動き補償部１４７３は、生成した予測画像を、予測画像選択部１４４３に供給する。
なお、例えば、最適なインター予測モードがレイヤ間シンタクス予測である場合、動き補償部１４７３は、動き情報変換部１４７２から供給されるベースレイヤ動き情報を用いてカレントブロックの動き情報を再構築し、予測画像を生成する。
＜画像復号処理の流れ＞
次に、以上のような画像復号装置１４００により実行される各処理の流れについて説明する。最初に、図１１６のフローチャートを参照して、画像復号処理の流れの例を説明する。
画像復号処理が開始されると、ステップＳ５２０１において、画像復号装置１４００の逆多重化部１４０１は、符号化側から伝送される階層画像符号化ストリームをレイヤ毎に逆多重化する。
ステップＳ５２０２において、ベースレイヤ画像復号部１４０２は、ステップＳ５２０１の処理により抽出されたベースレイヤ画像符号化ストリームを復号する。ベースレイヤ画像復号部１４０２は、この復号により生成されたベースレイヤ画像のデータを出力する。
ステップＳ５２０３において、エンハンスメントレイヤ画像復号部１４０３は、ステップＳ５２０１の処理により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号する。エンハンスメントレイヤ画像復号部１４０３は、この復号により生成されたエンハンスメントレイヤ画像のデータを出力する。
ステップＳ５２０３の処理が終了すると、画像復号装置１４００は、画像復号処理を終了する。このような画像復号処理により１ピクチャ（若しくは１スライス）が処理される。したがって、画像復号装置１４００は、このような画像復号処理を階層化された動画像データのピクチャ（若しくはスライス）毎に繰り返し実行する。
＜ベースレイヤ復号処理の流れ＞
次に、図１１６のステップＳ５２０２において、ベースレイヤ画像復号部１４０２により実行されるベースレイヤ復号処理の流れの例を、図１１７のフローチャートを参照して説明する。
ベースレイヤ復号処理が開始されると、ベースレイヤ画像復号部１４０２の蓄積バッファ１４１１は、ステップＳ５２２１において、伝送されてきたビットストリーム（符号化データ）を蓄積する。ステップＳ５２２２において、可逆復号部１４１２は、蓄積バッファ１４１１から供給されるビットストリーム（符号化データ）を復号する。すなわち、可逆符号化部１３１６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャ等の画像データが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像データ以外の各種情報も復号される。
ステップＳ５２２３において、逆量子化部１４１３は、ステップＳ５２２２の処理により得られた、量子化された係数を逆量子化する。
ステップＳ５２２４において、逆直交変換部１４１４は、ステップＳ５２２３において逆量子化された係数を逆直交変換する。
ステップＳ５２２５において、イントラ予測部１４２１若しくはインター予測部１４２２は、予測画像を生成する。つまり、可逆復号部１４１２において判定された、符号化の際に適用された予測モードで動き補償が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部１４２１が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部１４２２が、符号化の際に最適とされたインター予測モードで予測画像を生成する。
ステップＳ５２２６において、演算部１４１５は、ステップＳ５２２４において逆直交変換されて得られた差分画像に、ステップＳ５２２５において生成された予測画像を加算する。これにより再構成画像の画像データが得られる。
ステップＳ５２２７において、ループフィルタ１４１６は、ステップＳ５２２６の処理により得られた再構成画像の画像データに対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
ステップＳ５２２８において、画面並べ替えバッファ１４１７は、ステップＳ５２２７においてフィルタ処理された再構成画像の各フレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
ステップＳ５２２９において、D/A変換部１４１８は、ステップＳ５２２８においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
ステップＳ５２３０において、フレームメモリ１４１９は、ステップＳ５２２７の処理により得られた復号画像やステップＳ５２２６の処理により得られた再構成画像等のデータを記憶する。
ステップＳ５２３０の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図１１６に戻る。
＜エンハンスメントレイヤ復号処理の流れ＞
次に、図１１６のステップＳ５２０３において、エンハンスメントレイヤ画像復号部１４０３により実行されるエンハンスメントレイヤ復号処理の流れの例を、図１１８のフローチャートを参照して説明する。
エンハンスメントレイヤ復号処理が開始されると、エンハンスメントレイヤ画像復号部１４０３のインター予測部１４２２は、ステップＳ５２５１において、可逆復号部１４１２を介して、符号化側から伝送された制御情報（フラグ情報（colbasemv_from_l0_flag））を取得する。
ステップＳ５２５２において、インター予測部１４２２は、ステップＳ５２５１において取得された制御情報により指定される予測方向のベースレイヤ動き情報を、ベースレイヤ画像復号部１４０２から取得し、バッファに格納する。
ステップＳ５２５３乃至ステップＳ５２６２の各処理は、図１１７のステップＳ５２２１乃至ステップＳ５２３０の各処理に対応し、それらの処理と基本的に同様に実行される。
ただし、ステップＳ５２５７の予測画像の生成において、最適予測モードがインター予測のレイヤ間シンタクス予測の場合、インター予測部１４４２は、ベースレイヤ画像復号部１４０２から取得したベースレイヤ動き情報を用いて予測画像を生成する。
ステップＳ５２６２の処理が終了すると、エンハンスメントレイヤ復号処理が終了し、処理は、図１１６に戻る。
以上のように各処理を実行することにより、エンハンスメントレイヤ画像復号部１４０３は、ベースレイヤの全ての予測方向（例えばL0方向およびL1方向）の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、画像復号装置１４００は、復号に必要な記憶容量の増大を抑制することができる。
＜ベースレイヤ動き情報参照処理の流れ＞
なお、上述したように、最適予測モードがインター予測のレイヤ間予測の場合、図１１８のステップＳ５２５７の予測画像の生成の際に、ベースレイヤ動き情報バッファ１４７１に保持されているベースレイヤ動き情報が読み出される。このベースレイヤ動き情報を読み出すベースレイヤ動き情報参照処理は、符号化の場合と同様に実行される。すなわち、図１１１のフローチャートの説明を、復号側の処理にも適用することができる。したがって、この処理の説明は省略する。
本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。
また、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
＜１１．第９の実施の形態＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図１１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図１１９に示されるコンピュータ１８００において、CPU（Central Processing Unit）１８０１、ROM（Read Only Memory）１８０２、RAM（Random Access Memory）１８０３は、バス１８０４を介して相互に接続されている。
バス１８０４にはまた、入出力インタフェース１８１０も接続されている。入出力インタフェース１８１０には、入力部１８１１、出力部１８１２、記憶部１８１３、通信部１８１４、およびドライブ１８１５が接続されている。
入力部１８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１８１４は、例えば、ネットワークインタフェースよりなる。ドライブ１８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１８２１を駆動する。
以上のように構成されるコンピュータでは、CPU１８０１が、例えば、記憶部１８１３に記憶されているプログラムを、入出力インタフェース１８１０およびバス１８０４を介して、RAM１８０３にロードして実行することにより、上述した一連の処理が行われる。RAM１８０３にはまた、CPU１８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU１８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１８２１に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１８２１をドライブ１８１５に装着することにより、入出力インタフェース１８１０を介して、記憶部１８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１８１４で受信し、記憶部１８１３にインストールすることができる。その他、プログラムは、ROM１８０２や記憶部１８１３に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜１２．応用例＞
＜第１の応用例：テレビジョン受像機＞
図１２０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置１９００は、アンテナ１９０１、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、表示部１９０６、音声信号処理部１９０７、スピーカ１９０８、外部インタフェース１９０９、制御部１９１０、ユーザインタフェース１９１１、及びバス１９１２を備える。
チューナ１９０２は、アンテナ１９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ１９０３へ出力する。即ち、チューナ１９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１９００における伝送部としての役割を有する。
デマルチプレクサ１９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ１９０４へ出力する。また、デマルチプレクサ１９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部１９１０に供給する。なお、デマルチプレクサ１９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ１９０４は、デマルチプレクサ１９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ１９０４は、復号処理により生成される映像データを映像信号処理部１９０５へ出力する。また、デコーダ１９０４は、復号処理により生成される音声データを音声信号処理部１９０７へ出力する。
映像信号処理部１９０５は、デコーダ１９０４から入力される映像データを再生し、表示部１９０６に映像を表示させる。また、映像信号処理部１９０５は、ネットワークを介して供給されるアプリケーション画面を表示部１９０６に表示させてもよい。また、映像信号処理部１９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部１９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部１９０６は、映像信号処理部１９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部１９０７は、デコーダ１９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ１９０８から音声を出力させる。また、音声信号処理部１９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース１９０９は、テレビジョン装置１９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース１９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ１９０４により復号されてもよい。即ち、外部インタフェース１９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置１９００における伝送部としての役割を有する。
制御部１９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置１９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９１１から入力される操作信号に応じて、テレビジョン装置１９００の動作を制御する。
ユーザインタフェース１９１１は、制御部１９１０と接続される。ユーザインタフェース１９１１は、例えば、ユーザがテレビジョン装置１９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース１９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９１０へ出力する。
バス１９１２は、チューナ１９０２、デマルチプレクサ１９０３、デコーダ１９０４、映像信号処理部１９０５、音声信号処理部１９０７、外部インタフェース１９０９及び制御部１９１０を相互に接続する。
このように構成されたテレビジョン装置１９００において、デコーダ１９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置１９００での画像の復号に際して、復号に必要な記憶容量の増大の抑制を実現することができる。
＜第２の応用例：携帯電話機＞
図１２１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機１９２０は、アンテナ１９２１、通信部１９２２、音声コーデック１９２３、スピーカ１９２４、マイクロホン１９２５、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、制御部１９３１、操作部１９３２、及びバス１９３３を備える。
アンテナ１９２１は、通信部１９２２に接続される。スピーカ１９２４及びマイクロホン１９２５は、音声コーデック１９２３に接続される。操作部１９３２は、制御部１９３１に接続される。バス１９３３は、通信部１９２２、音声コーデック１９２３、カメラ部１９２６、画像処理部１９２７、多重分離部１９２８、記録再生部１９２９、表示部１９３０、及び制御部１９３１を相互に接続する。
携帯電話機１９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン１９２５により生成されるアナログ音声信号は、音声コーデック１９２３に供給される。音声コーデック１９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック１９２３は、圧縮後の音声データを通信部１９２２へ出力する。通信部１９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック１９２３へ出力する。音声コーデック１９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１９２３は、生成した音声信号をスピーカ１９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部１９３１は、操作部１９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部１９３１は、文字を表示部１９３０に表示させる。また、制御部１９３１は、操作部１９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部１９２２へ出力する。通信部１９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部１９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部１９３１へ出力する。制御部１９３１は、表示部１９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部１９２９の記憶媒体に記憶させる。
記録再生部１９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部１９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部１９２７へ出力する。画像処理部１９２７は、カメラ部１９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部１９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部１９２８は、画像処理部１９２７により符号化された映像ストリームと、音声コーデック１９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部１９２２へ出力する。通信部１９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部１９２２は、生成した送信信号を、アンテナ１９２１を介して基地局（図示せず）へ送信する。また、通信部１９２２は、アンテナ１９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部１９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部１９２８へ出力する。多重分離部１９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部１９２７、音声ストリームを音声コーデック１９２３へ出力する。画像処理部１９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部１９３０に供給され、表示部１９３０により一連の画像が表示される。音声コーデック１９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック１９２３は、生成した音声信号をスピーカ１９２４に供給して音声を出力させる。
このように構成された携帯電話機１９２０において、画像処理部１９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機１９２０での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜第３の応用例：記録再生装置＞
図１２２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置１９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置１９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置１９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置１９４０は、音声データ及び映像データを復号する。
記録再生装置１９４０は、チューナ１９４１、外部インタフェース１９４２、エンコーダ１９４３、HDD（Hard Disk Drive）１９４４、ディスクドライブ１９４５、セレクタ１９４６、デコーダ１９４７、OSD（On-Screen Display）１９４８、制御部１９４９、及びユーザインタフェース１９５０を備える。
チューナ１９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ１９４１は、復調により得られた符号化ビットストリームをセレクタ１９４６へ出力する。即ち、チューナ１９４１は、記録再生装置１９４０における伝送部としての役割を有する。
外部インタフェース１９４２は、記録再生装置１９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース１９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース１９４２を介して受信される映像データ及び音声データは、エンコーダ１９４３へ入力される。即ち、外部インタフェース１９４２は、記録再生装置１９４０における伝送部としての役割を有する。
エンコーダ１９４３は、外部インタフェース１９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ１９４３は、符号化ビットストリームをセレクタ１９４６へ出力する。
HDD１９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD１９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ１９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ１９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ１９４６は、映像及び音声の記録時には、チューナ１９４１又はエンコーダ１９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD１９４４又はディスクドライブ１９４５へ出力する。また、セレクタ１９４６は、映像及び音声の再生時には、HDD１９４４又はディスクドライブ１９４５から入力される符号化ビットストリームをデコーダ１９４７へ出力する。
デコーダ１９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ１９４７は、生成した映像データをOSD１９４８へ出力する。また、デコーダ１９０４は、生成した音声データを外部のスピーカへ出力する。
OSD１９４８は、デコーダ１９４７から入力される映像データを再生し、映像を表示する。また、OSD１９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部１９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置１９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９５０から入力される操作信号に応じて、記録再生装置１９４０の動作を制御する。
ユーザインタフェース１９５０は、制御部１９４９と接続される。ユーザインタフェース１９５０は、例えば、ユーザが記録再生装置１９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース１９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９４９へ出力する。
このように構成された記録再生装置１９４０において、エンコーダ１９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ１９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置１９４０での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜第４の応用例：撮像装置＞
図１２３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置１９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置１９６０は、光学ブロック１９６１、撮像部１９６２、信号処理部１９６３、画像処理部１９６４、表示部１９６５、外部インタフェース１９６６、メモリ１９６７、メディアドライブ１９６８、OSD１９６９、制御部１９７０、ユーザインタフェース１９７１、及びバス１９７２を備える。
光学ブロック１９６１は、撮像部１９６２に接続される。撮像部１９６２は、信号処理部１９６３に接続される。表示部１９６５は、画像処理部１９６４に接続される。ユーザインタフェース１９７１は、制御部１９７０に接続される。バス１９７２は、画像処理部１９６４、外部インタフェース１９６６、メモリ１９６７、メディアドライブ１９６８、OSD１９６９、及び制御部１９７０を相互に接続する。
光学ブロック１９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック１９６１は、被写体の光学像を撮像部１９６２の撮像面に結像させる。撮像部１９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部１９６２は、画像信号を信号処理部１９６３へ出力する。
信号処理部１９６３は、撮像部１９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部１９６３は、カメラ信号処理後の画像データを画像処理部１９６４へ出力する。
画像処理部１９６４は、信号処理部１９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部１９６４は、生成した符号化データを外部インタフェース１９６６又はメディアドライブ１９６８へ出力する。また、画像処理部１９６４は、外部インタフェース１９６６又はメディアドライブ１９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部１９６４は、生成した画像データを表示部１９６５へ出力する。また、画像処理部１９６４は、信号処理部１９６３から入力される画像データを表示部１９６５へ出力して画像を表示させてもよい。また、画像処理部１９６４は、OSD１９６９から取得される表示用データを、表示部１９６５へ出力する画像に重畳してもよい。
OSD１９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部１９６４へ出力する。
外部インタフェース１９６６は、例えばUSB入出力端子として構成される。外部インタフェース１９６６は、例えば、画像の印刷時に、撮像装置１９６０とプリンタとを接続する。また、外部インタフェース１９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置１９６０にインストールされ得る。さらに、外部インタフェース１９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース１９６６は、撮像装置１９６０における伝送部としての役割を有する。
メディアドライブ１９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ１９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部１９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置１９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース１９７１から入力される操作信号に応じて、撮像装置１９６０の動作を制御する。
ユーザインタフェース１９７１は、制御部１９７０と接続される。ユーザインタフェース１９７１は、例えば、ユーザが撮像装置１９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース１９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部１９７０へ出力する。
このように構成された撮像装置１９６０において、画像処理部１９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置１９６０での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜１３．スケーラブル符号化の応用例＞
＜第１のシステム＞
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図１２４に示される例のように、伝送するデータの選択のために利用される。
図１２４に示されるデータ伝送システム２０００において、配信サーバ２００２は、スケーラブル符号化データ記憶部２００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク２００３を介して、パーソナルコンピュータ２００４、AV機器２００５、タブレットデバイス２００６、および携帯電話機２００７等の端末装置に配信する。
その際、配信サーバ２００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ２００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ２００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ２００２は、スケーラブル符号化データ記憶部２００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部２００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）２０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）２０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ２００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ２００２は、処理能力の高いパーソナルコンピュータ２００４やタブレットデバイス２００６に対しては、高品質なスケーラブル符号化データ（BL+EL）２０１１をスケーラブル符号化データ記憶部２００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ２００２は、処理能力の低いAV機器２００５や携帯電話機２００７に対しては、スケーラブル符号化データ（BL+EL）２０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）２０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）２０１１よりも低品質なスケーラブル符号化データ（BL）２０１２として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）２０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部２００１の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ２００４乃至携帯電話機２００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク２００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ２００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク２００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ２００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ２００４が、伝送されたスケーラブル符号化データ（BL+EL）２０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ２００４が、伝送されたスケーラブル符号化データ（BL+EL）２０１１から、ベースレイヤのスケーラブル符号化データ（BL）２０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部２００１、配信サーバ２００２、ネットワーク２００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ２００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム２０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のようなデータ伝送システム２０００においても、第４の実施の形態乃至第８の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第４の実施の形態乃至第８の実施の形態において上述した効果と同様の効果を得ることができる。
＜第２のシステム＞
また、スケーラブル符号化は、例えば、図１２５に示される例のように、複数の通信媒体を介する伝送のために利用される。
図１２５に示されるデータ伝送システム２１００において、放送局２１０１は、地上波放送２１１１により、ベースレイヤのスケーラブル符号化データ（BL）２１２１を伝送する。また、放送局２１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク２１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を伝送する（例えばパケット化して伝送する）。
端末装置２１０２は、放送局２１０１が放送する地上波放送２１１１の受信機能を有し、この地上波放送２１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）２１２１を受け取る。また、端末装置２１０２は、ネットワーク２１１２を介した通信を行う通信機能をさらに有し、このネットワーク２１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を受け取る。
端末装置２１０２は、例えばユーザ指示等に応じて、地上波放送２１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）２１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置２１０２は、例えばユーザ指示等に応じて、地上波放送２１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）２１２１と、ネットワーク２１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）２１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）２１２２を伝送する通信媒体を、ネットワーク２１１２とするか、地上波放送２１１１とするかを、ネットワーク２１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置２１０２の数も任意である。さらに、以上においては、放送局２１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム２１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、以上のようなデータ伝送システム２１００においても、第４の実施の形態乃至第８の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第４の実施の形態乃至第８の実施の形態において上述した効果と同様の効果を得ることができる。
＜第３のシステム＞
また、スケーラブル符号化は、例えば、図１２６に示される例のように、符号化データの記憶に利用される。
図１２６に示される撮像システム２２００において、撮像装置２２０１は、被写体２２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）２２２１として、スケーラブル符号化データ記憶装置２２０２に供給する。
スケーラブル符号化データ記憶装置２２０２は、撮像装置２２０１から供給されるスケーラブル符号化データ（BL+EL）２２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置２２０２は、スケーラブル符号化データ（BL+EL）２２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）２２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置２２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）２２２１のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置２２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置２２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体２２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置２２０２が、画像を解析することにより判定しても良い。また、撮像装置２２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置２２０２に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置２２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置２２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）２２２２を生成し、スケーラブル符号化データ記憶装置２２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置２２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）２２２１を生成し、スケーラブル符号化データ記憶装置２２０２に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム２２００の用途は任意であり、監視カメラに限定されない。
そして、以上のような撮像システム２２００においても、第４の実施の形態乃至第８の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第４の実施の形態乃至第８の実施の形態において上述した効果と同様の効果を得ることができる。
＜１４．セット・ユニット・モジュール・プロセッサ＞
＜実施のその他の例＞
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
＜ビデオセット＞
本技術をセットとして実施する場合の例について、図１２７を参照して説明する。図１２７は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図１２７に示されるビデオセット２３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図１２７に示されるように、ビデオセット２３００は、ビデオモジュール２３１１、外部メモリ２３１２、パワーマネージメントモジュール２３１３、およびフロントエンドモジュール２３１４等のモジュール群と、コネクティビティ２３２１、カメラ２３２２、およびセンサ２３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図１２７の例の場合、ビデオモジュール２３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム２３３３、およびRFモジュール２３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図１２７のアプリケーションプロセッサ２３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ２３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ２３３２等、ビデオモジュール２３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ２３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
ブロードバンドモデム２３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム２３３３は、例えば、ビデオプロセッサ２３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
RFモジュール２３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール２３３４は、ブロードバンドモデム２３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール２３３４は、フロントエンドモジュール２３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図１２７において点線２３４１に示されるように、アプリケーションプロセッサ２３３１とビデオプロセッサ２３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ２３１２は、ビデオモジュール２３１１の外部に設けられた、ビデオモジュール２３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ２３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール２３１３は、ビデオモジュール２３１１（ビデオモジュール２３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール２３１４は、RFモジュール２３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図１２７に示されるように、フロントエンドモジュール２３１４は、例えば、アンテナ部２３５１、フィルタ２３５２、および増幅部２３５３を有する。
アンテナ部２３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部２３５１は、増幅部２３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ２３５２に供給する。フィルタ２３５２は、アンテナ部２３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール２３３４に供給する。増幅部２３５３は、RFモジュール２３３４から供給されるRF信号を増幅し、アンテナ部２３５１に供給する。
コネクティビティ２３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ２３２１の物理構成は、任意である。例えば、コネクティビティ２３２１は、ブロードバンドモデム２３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ２３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ２３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ２３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ２３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ２３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ２３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ２３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ２３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ２３３２に供給されて符号化される。
センサ２３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ２３２３により検出されたデータは、例えば、アプリケーションプロセッサ２３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット２３００において、後述するようにビデオプロセッサ２３３２に本技術を適用することができる。したがって、ビデオセット２３００は、本技術を適用したセットとして実施することができる。
＜ビデオプロセッサの構成例＞
図１２８は、本技術を適用したビデオプロセッサ２３３２（図１２７）の概略的な構成の一例を示している。
図１２８の例の場合、ビデオプロセッサ２３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図１２８に示されるように、ビデオプロセッサ２３３２は、ビデオ入力処理部２４０１、第１画像拡大縮小部２４０２、第２画像拡大縮小部２４０３、ビデオ出力処理部２４０４、フレームメモリ２４０５、およびメモリ制御部２４０６を有する。また、ビデオプロセッサ２３３２は、エンコード・デコードエンジン２４０７、ビデオES（Elementary Stream）バッファ２４０８Ａおよび２４０８Ｂ、並びに、オーディオESバッファ２４０９Ａおよび２４０９Ｂを有する。さらに、ビデオプロセッサ２３３２は、オーディオエンコーダ２４１０、オーディオデコーダ２４１１、多重化部（MUX（Multiplexer））２４１２、逆多重化部（DMUX（Demultiplexer））２４１３、およびストリームバッファ２４１４を有する。
ビデオ入力処理部２４０１は、例えばコネクティビティ２３２１（図１２７）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部２４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部２４０３は、画像データに対して、ビデオ出力処理部２４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部２４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部２４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ２３２１（図１２７）等に出力する。
フレームメモリ２４０５は、ビデオ入力処理部２４０１、第１画像拡大縮小部２４０２、第２画像拡大縮小部２４０３、ビデオ出力処理部２４０４、およびエンコード・デコードエンジン２４０７によって共用される画像データ用のメモリである。フレームメモリ２４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部２４０６は、エンコード・デコードエンジン２４０７からの同期信号を受けて、アクセス管理テーブル２４０６Ａに書き込まれたフレームメモリ２４０５へのアクセススケジュールに従ってフレームメモリ２４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル２４０６Ａは、エンコード・デコードエンジン２４０７、第１画像拡大縮小部２４０２、第２画像拡大縮小部２４０３等で実行される処理に応じて、メモリ制御部２４０６により更新される。
エンコード・デコードエンジン２４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン２４０７は、フレームメモリ２４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ２４０８Ａに順次書き込む。また、例えば、ビデオESバッファ２４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ２４０５に順次書き込む。エンコード・デコードエンジン２４０７は、これらの符号化や復号において、フレームメモリ２４０５を作業領域として使用する。また、エンコード・デコードエンジン２４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部２４０６に対して同期信号を出力する。
ビデオESバッファ２４０８Ａは、エンコード・デコードエンジン２４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）２４１２に供給する。ビデオESバッファ２４０８Ｂは、逆多重化部（DMUX）２４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン２４０７に供給する。
オーディオESバッファ２４０９Ａは、オーディオエンコーダ２４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）２４１２に供給する。オーディオESバッファ２４０９Ｂは、逆多重化部（DMUX）２４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ２４１１に供給する。
オーディオエンコーダ２４１０は、例えばコネクティビティ２３２１（図１２７）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ２４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ２４０９Ａに順次書き込む。オーディオデコーダ２４１１は、オーディオESバッファ２４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ２３２１（図１２７）等に供給する。
多重化部（MUX）２４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）２４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）２４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）２４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）２４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）２４１３は、多重化部（MUX）２４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）２４１３は、ストリームバッファ２４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）２４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）２４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）２４１３は、例えばコネクティビティ２３２１やブロードバンドモデム２３３３等（いずれも図１２７）から供給されたトランスポートストリームを、ストリームバッファ２４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）２４１３は、例えばコネクティビティ２３２１（図１２７）により各種記録媒体から読み出されたファイルデータを、ストリームバッファ２４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ２４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ２４１４は、多重化部（MUX）２４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等に供給する。
また、例えば、ストリームバッファ２４１４は、多重化部（MUX）２４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ２３２１（図１２７）等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ２４１４は、例えばコネクティビティ２３２１やブロードバンドモデム２３３３等（いずれも図１２７）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）２４１３に供給する。
また、ストリームバッファ２４１４は、例えばコネクティビティ２３２１（図１２７）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）２４１３に供給する。
次に、このような構成のビデオプロセッサ２３３２の動作の例について説明する。例えば、コネクティビティ２３２１（図１２７）等からビデオプロセッサ２３３２に入力されたビデオ信号は、ビデオ入力処理部２４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ２４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部２４０２または第２画像拡大縮小部２４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ２４０５に書き込まれる。この画像データは、エンコード・デコードエンジン２４０７によって符号化され、ビデオストリームとしてビデオESバッファ２４０８Ａに書き込まれる。
また、コネクティビティ２３２１（図１２７）等からビデオプロセッサ２３３２に入力されたオーディオ信号は、オーディオエンコーダ２４１０によって符号化され、オーディオストリームとして、オーディオESバッファ２４０９Ａに書き込まれる。
ビデオESバッファ２４０８Ａのビデオストリームと、オーディオESバッファ２４０９Ａのオーディオストリームは、多重化部（MUX）２４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）２４１２により生成されたトランスポートストリームは、ストリームバッファ２４１４にバッファされた後、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等を介して外部ネットワークに出力される。また、多重化部（MUX）２４１２により生成されたファイルデータは、ストリームバッファ２４１４にバッファされた後、例えばコネクティビティ２３２１（図１２７）等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等を介して外部ネットワークからビデオプロセッサ２３３２に入力されたトランスポートストリームは、ストリームバッファ２４１４にバッファされた後、逆多重化部（DMUX）２４１３により逆多重化される。また、例えばコネクティビティ２３２１（図１２７）等において各種記録媒体から読み出され、ビデオプロセッサ２３３２に入力されたファイルデータは、ストリームバッファ２４１４にバッファされた後、逆多重化部（DMUX）２４１３により逆多重化される。つまり、ビデオプロセッサ２３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）２４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ２４０９Ｂを介してオーディオデコーダ２４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ２４０８Ｂに書き込まれた後、エンコード・デコードエンジン２４０７により順次読み出されて復号されてフレームメモリ２４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部２４０３によって拡大縮小処理されて、フレームメモリ２４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部２４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ２３３２に本技術を適用する場合、エンコード・デコードエンジン２４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン２４０７が、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ２３３２は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
なお、エンコード・デコードエンジン２４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
＜ビデオプロセッサの他の構成例＞
図１２９は、本技術を適用したビデオプロセッサ２３３２（図１２７）の概略的な構成の他の例を示している。図１２９の例の場合、ビデオプロセッサ２３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
より具体的には、図１２９に示されるように、ビデオプロセッサ２３３２は、制御部２５１１、ディスプレイインタフェース２５１２、ディスプレイエンジン２５１３、画像処理エンジン２５１４、および内部メモリ２５１５を有する。また、ビデオプロセッサ２３３２は、コーデックエンジン２５１６、メモリインタフェース２５１７、多重化・逆多重化部（MUX DMUX）２５１８、ネットワークインタフェース２５１９、およびビデオインタフェース２５２０を有する。
制御部２５１１は、ディスプレイインタフェース２５１２、ディスプレイエンジン２５１３、画像処理エンジン２５１４、およびコーデックエンジン２５１６等、ビデオプロセッサ２３３２内の各処理部の動作を制御する。
図１２９に示されるように、制御部２５１１は、例えば、メインCPU２５３１、サブCPU２５３２、およびシステムコントローラ２５３３を有する。メインCPU２５３１は、ビデオプロセッサ２３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU２５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU２５３２は、メインCPU２５３１の補助的な役割を果たす。例えば、サブCPU２５３２は、メインCPU２５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ２５３３は、メインCPU２５３１およびサブCPU２５３２が実行するプログラムを指定する等、メインCPU２５３１およびサブCPU２５３２の動作を制御する。
ディスプレイインタフェース２５１２は、制御部２５１１の制御の下、画像データを例えばコネクティビティ２３２１（図１２７）等に出力する。例えば、ディスプレイインタフェース２５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ２３２１（図１２７）のモニタ装置等に出力する。
ディスプレイエンジン２５１３は、制御部２５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン２５１４は、制御部２５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ２５１５は、ディスプレイエンジン２５１３、画像処理エンジン２５１４、およびコーデックエンジン２５１６により共用される、ビデオプロセッサ２３３２の内部に設けられたメモリである。内部メモリ２５１５は、例えば、ディスプレイエンジン２５１３、画像処理エンジン２５１４、およびコーデックエンジン２５１６の間で行われるデータの授受に利用される。例えば、内部メモリ２５１５は、ディスプレイエンジン２５１３、画像処理エンジン２５１４、またはコーデックエンジン２５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン２５１３、画像処理エンジン２５１４、またはコーデックエンジン２５１６に供給する。この内部メモリ２５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ２３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン２５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン２５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン２５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図１２９に示される例において、コーデックエンジン２５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video２５４１、AVC/H.264２５４２、HEVC/H.265２５４３、HEVC/H.265(Scalable)２５４４、HEVC/H.265(Multi-view)２５４５、およびMPEG-DASH２５５１を有する。
MPEG-2 Video２５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264２５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265２５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)２５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)２５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH２５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH２５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video２５４１乃至HEVC/H.265(Multi-view)２５４５を利用する。
メモリインタフェース２５１７は、外部メモリ２３１２用のインタフェースである。画像処理エンジン２５１４やコーデックエンジン２５１６から供給されるデータは、メモリインタフェース２５１７を介して外部メモリ２３１２に供給される。また、外部メモリ２３１２から読み出されたデータは、メモリインタフェース２５１７を介してビデオプロセッサ２３３２（画像処理エンジン２５１４若しくはコーデックエンジン２５１６）に供給される。
多重化・逆多重化部（MUX DMUX）２５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）２５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）２５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）２５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）２５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース２５１９は、例えばブロードバンドモデム２３３３やコネクティビティ２３２１（いずれも図１２７）等向けのインタフェースである。ビデオインタフェース２５２０は、例えばコネクティビティ２３２１やカメラ２３２２（いずれも図１２７）等向けのインタフェースである。
次に、このようなビデオプロセッサ２３３２の動作の例について説明する。例えば、例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース２５１９を介して多重化・逆多重化部（MUX DMUX）２５１８に供給されて逆多重化され、コーデックエンジン２５１６により復号される。コーデックエンジン２５１６の復号により得られた画像データは、例えば、画像処理エンジン２５１４により所定の画像処理が施され、ディスプレイエンジン２５１３により所定の変換が行われ、ディスプレイインタフェース２５１２を介して例えばコネクティビティ２３２１（図１２７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン２５１６の復号により得られた画像データは、コーデックエンジン２５１６により再符号化され、多重化・逆多重化部（MUX DMUX）２５１８により多重化されてファイルデータに変換され、ビデオインタフェース２５２０を介して例えばコネクティビティ２３２１（図１２７）等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ２３２１（図１２７）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース２５２０を介して多重化・逆多重化部（MUX DMUX）２５１８に供給されて逆多重化され、コーデックエンジン２５１６により復号される。コーデックエンジン２５１６の復号により得られた画像データは、画像処理エンジン２５１４により所定の画像処理が施され、ディスプレイエンジン２５１３により所定の変換が行われ、ディスプレイインタフェース２５１２を介して例えばコネクティビティ２３２１（図１２７）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン２５１６の復号により得られた画像データは、コーデックエンジン２５１６により再符号化され、多重化・逆多重化部（MUX DMUX）２５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース２５１９を介して例えばコネクティビティ２３２１やブロードバンドモデム２３３３（いずれも図１２７）等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ２３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ２５１５や外部メモリ２３１２を利用して行われる。また、パワーマネージメントモジュール２３１３は、例えば制御部２５１１への電力供給を制御する。
このように構成されるビデオプロセッサ２３３２に本技術を適用する場合、コーデックエンジン２５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン２５１６が、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ２３３２は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
なお、コーデックエンジン２５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ２３３２の構成を２例示したが、ビデオプロセッサ２３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ２３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
＜装置への適用例＞
ビデオセット２３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット２３００は、テレビジョン装置１９００（図１２０）、携帯電話機１９２０（図１２１）、記録再生装置１９４０（図１２２）、撮像装置１９６０（図１２３）等に組み込むことができる。ビデオセット２３００を組み込むことにより、その装置は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
また、ビデオセット２３００は、例えば、図１２４のデータ伝送システム２０００におけるパーソナルコンピュータ２００４、AV機器２００５、タブレットデバイス２００６、および携帯電話機２００７等の端末装置、図１２５のデータ伝送システム２１００における放送局２１０１および端末装置２１０２、並びに、図１２６の撮像システム２２００における撮像装置２２０１およびスケーラブル符号化データ記憶装置２２０２等にも組み込むことができる。ビデオセット２３００を組み込むことにより、その装置は、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
なお、上述したビデオセット２３００の各構成の一部であっても、ビデオプロセッサ２３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ２３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線２３４１により示されるプロセッサやビデオモジュール２３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール２３１１、外部メモリ２３１２、パワーマネージメントモジュール２３１３、およびフロントエンドモジュール２３１４を組み合わせ、本技術を適用したビデオユニット２３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ２３３２を含むものであればどのような構成であっても、ビデオセット２３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ２３３２、点線２３４１により示されるプロセッサ、ビデオモジュール２３１１、または、ビデオユニット２３６１を、テレビジョン装置１９００（図１２０）、携帯電話機１９２０（図１２１）、記録再生装置１９４０（図１２２）、撮像装置１９６０（図１２３）図１２４のデータ伝送システム２０００におけるパーソナルコンピュータ２００４、AV機器２００５、タブレットデバイス２００６、および携帯電話機２００７等の端末装置、図１２５のデータ伝送システム２１００における放送局２１０１および端末装置２１０２、並びに、図１２６の撮像システム２２００における撮像装置２２０１およびスケーラブル符号化データ記憶装置２２０２等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット２３００の場合と同様に、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
＜１５．MPEG-DASHのコンテンツ再生システムの応用例＞
＜MPEG-DASHの応用例＞
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えば、後述するMPEG DASH等のようなHTTPストリーミングのコンテンツ再生システムやWi-Fi規格の無線通信システムにも適用することができる。
＜コンテンツ再生システムの概要＞
まず、図１３０乃至図１３２を参照し、本技術を適用可能なコンテンツ再生システムについて概略的に説明する。
以下では、まず、このような各実施形態において共通する基本構成について図１３０および図１３１を参照して説明する。
図１３０は、コンテンツ再生システムの構成を示した説明図である。図１３０に示したように、コンテンツ再生システムは、コンテンツサーバ２６１０、２６１１と、ネットワーク２６１２と、コンテンツ再生装置２６２０（クライアント装置）とを備える。
コンテンツサーバ２６１０、２６１１とコンテンツ再生装置２６２０は、ネットワーク２６１２を介して接続されている。このネットワーク２６１２は、ネットワーク２６１２に接続されている装置から送信される情報の有線、または無線の伝送路である。
例えば、ネットワーク２６１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet（登録商標）を含む各種のLAN（Local Area Network）、WAN（Wide Area Network）などを含んでもよい。また、ネットワーク２６１２は、IP-VPN（Internet Protocol-Virtual Private Network）などの専用回線網を含んでもよい。
コンテンツサーバ２６１０は、コンテンツデータを符号化し、符号化データおよび符号化データのメタ情報を含むデータファイルを生成して記憶する。なお、コンテンツサーバ２６１０がMP4形式のデータファイルを生成する場合、符号化データは「mdat」に該当し、メタ情報は「moov」に該当する。
また、コンテンツデータは、音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウエアなどであってもよい。
ここで、コンテンツサーバ２６１０は、同一コンテンツに関し、異なるビットレートで複数のデータファイルを生成する。またコンテンツサーバ２６１１は、コンテンツ再生装置２６２０からのコンテンツの再生要求に対して、コンテンツサーバ２６１０のURLの情報に、コンテンツ再生装置２６２０で当該URLに付加させるパラメータの情報を含めてコンテンツ再生装置２６２０に送信する。以下、図１３１を参照して当該事項について具体的に説明する。
図１３１は、図１３０のコンテンツ再生システムにおけるデータの流れを示した説明図である。コンテンツサーバ２６１０は、同一のコンテンツデータを異なるビットレートで符号化し、図１３１に示したように例えば２MbpsのファイルＡ、１．５MbpsのファイルＢ、１MbpsのファイルＣを生成する。相対的に、ファイルＡはハイビットレートであり、ファイルＢは標準ビットレートであり、ファイルＣはロービットレートである。
また、図１３１に示したように、各ファイルの符号化データは複数のセグメントに区分されている。例えば、ファイルＡの符号化データは「Ａ１」、「Ａ２」、「Ａ３」、・・・「Ａｎ」というセグメントに区分されており、ファイルＢの符号化データは「Ｂ１」、「Ｂ２」、「Ｂ３」、・・・「Ｂｎ」というセグメントに区分されており、ファイルＣの符号化データは「Ｃ１」、「Ｃ２」、「Ｃ３」、・・・「Ｃｎ」というセグメントに区分されている。
なお、各セグメントはMP4のシンクサンプル（たとえば、AVC/H．264の映像符号化ではIDR−ピクチャ）で始まる単独で再生可能な１または２以上の映像符号化データおよび音声符号化データより構成サンプルで構成されてもよい。例えば、一秒３０フレームのビデオデータが１５フレーム固定長のGOP（Group of Picture）にて符号化されていた場合、各セグメントは、４GOPに相当する２秒分の映像ならびに音声符号化データであっても、２０GOPに相当する１０秒分の映像ならびに音声符号化データであってもよい。
また、各ファイルにおける配置順番が同一のセグメントによる再生範囲（コンテンツの先頭からの時間位置の範囲）は同一である。例えば、セグメント「Ａ２」、セグメント「Ｂ２」、およびセグメント「Ｃ２」の再生範囲は同一であり、各セグメントが２秒分の符号化データである場合、セグメント「Ａ２」、セグメント「Ｂ２」、およびセグメント「Ｃ２」の再生範囲は、いずれもコンテンツの２秒乃至４秒である。
コンテンツサーバ２６１０は、このような複数のセグメントから構成されるファイルＡ乃至ファイルＣを生成すると、ファイルＡ乃至ファイルＣを記憶する。そして、コンテンツサーバ２６１０は、図１３１に示したように、異なるファイルを構成するセグメントをコンテンツ再生装置２６２０に順次に送信し、コンテンツ再生装置２６２０は、受信したセグメントをストリーミング再生する。
ここで、本実施形態によるコンテンツサーバ２６１０は、各符号化データのビットレート情報およびアクセス情報を含むプレイリストファイル（以下、MPD：Media Presentation Description）をコンテンツ再生装置２６２０に送信し、コンテンツ再生装置２６２０は、MPDに基づき、複数のビットレートのうちのいずれかのビットレートを選択し、選択したビットレートに対応するセグメントの送信をコンテンツサーバ２６１０に要求する。
図１３０では、１つのコンテンツサーバ２６１０のみが図示されているが、本開示は係る例に限定されないことは言うまでもない。
図１３２は、MPDの具体例を示した説明図である。図１３２に示したように、MPDには、異なるビットレート（BANDWIDTH）を有する複数の符号化データに関するアクセス情報が含まれる。例えば、図１３２に示したMPDは、２５６Kbps、１．０２４Mbps、１．３８４Mbps、１．５３６Mbps、２．０４８Mbpsの各々の符号化データが存在することを示す共に、各符号化データに関するアクセス情報を含む。コンテンツ再生装置２６２０は、かかるMPDに基づき、ストリーミング再生する符号化データのビットレートを動的に変更することが可能である。
なお、図１３０にはコンテンツ再生装置２６２０の一例として携帯端末を示しているが、コンテンツ再生装置２６２０はかかる例に限定されない。例えば、コンテンツ再生装置２６２０は、PC（Personal Computer）、家庭用映像処理装置（DVDレコーダ、ビデオデッキなど）、PDA（Personal Digital Assistants）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、コンテンツ再生装置２６２０は、携帯電話、PHS（Personal Handyphone System）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
＜コンテンツサーバ２６１０の構成＞
以上、図１３０乃至図１３２を参照し、コンテンツ再生システムの概要を説明した。続いて、図１３３を参照し、コンテンツサーバ２６１０の構成を説明する。
図１３３は、コンテンツサーバ２６１０の構成を示した機能ブロック図である。図１３３に示したように、コンテンツサーバ２６１０は、ファイル生成部２６３１と、記憶部２６３２と、通信部２６３３とを備える。
ファイル生成部２６３１は、コンテンツデータを符号化するエンコーダ２６４１を備え、同一のコンテンツでビットレートが異なる複数の符号化データ、および上述したMPDを生成する。例えば、ファイル生成部２６３１は、２５６Kbps、１．０２４Mbps、１．３８４Mbps、１．５３６Mbps、２．０４８Mbpsの各々の符号化データを生成した場合、図１３２に示したようなMPDを生成する。
記憶部２６３２は、ファイル生成部２６３１により生成されたビットレートが異なる複数の符号化データおよびMPDを記憶する。この記憶部２６３２は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO（Magneto Optical）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM（Electrically Erasable Programmable Read-Only Memory）、EPROM（Erasable Programmable ROM）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD（Compact Disc、DVD-R（Digital Versatile Disc Recordable）およびBD（Blu-Ray Disc（登録商標））などがあげられる。
通信部２６３３は、コンテンツ再生装置２６２０とのインタフェースであって、ネットワーク２６１２を介してコンテンツ再生装置２６２０と通信する。より詳細には、通信部２６３３は、HTTPに従ってコンテンツ再生装置２６２０と通信するHTTPサーバとしての機能を有する。例えば、通信部２６３３は、MPDをコンテンツ再生装置２６２０に送信し、HTTPに従ってコンテンツ再生装置２６２０からMPDに基づいて要求された符号化データを記憶部２６３２から抽出し、HTTPレスポンスとしてコンテンツ再生装置２６２０に符号化データを送信する。
＜コンテンツ再生装置２６２０の構成＞
以上、本実施形態によるコンテンツサーバ２６１０の構成を説明した。続いて、図１３４を参照し、コンテンツ再生装置２６２０の構成を説明する。
図１３４は、コンテンツ再生装置２６２０の構成を示した機能ブロック図である。図１３４に示したように、コンテンツ再生装置２６２０は、通信部２６５１と、記憶部２６５２と、再生部２６５３と、選択部２６５４と、現在地取得部２６５６とを備える。
通信部２６５１は、コンテンツサーバ２６１０とのインタフェースであって、コンテンツサーバ２６１０に対してデータを要求し、コンテンツサーバ２６１０からデータを取得する。より詳細には、通信部２６５１は、HTTPに従ってコンテンツ再生装置２６２０と通信するHTTPクライアントとしての機能を有する。例えば、通信部２６５１は、HTTP Rangeを利用することにより、コンテンツサーバ２６１０からMPDや符号化データのセグメントを選択的に取得することができる。
記憶部２６５２は、コンテンツの再生に関する種々の情報を記憶する。例えば、通信部２６５１によりコンテンツサーバ２６１０から取得されるセグメントを順次にバッファリングする。記憶部２６５２にバッファリングされた符号化データのセグメントは、FIFO（First In First Out）で再生部２６５３へ順次に供給される。
また記憶部２６５２は、後述のコンテンツサーバ２６１１から要求された、MPDに記述されているコンテンツのURLへのパラメータの付加指示に基づき、通信部２６５１でURLにパラメータを付加して、そのURLへアクセスするための定義を記憶する。
再生部２６５３は、記憶部２６５２から供給されるセグメントを順次に再生する。具体的には、再生部２６５３は、セグメントのデコード、DA変換、およびレンダリングなどを行う。
選択部２６５４は、MPDに含まれるいずれのビットレートに対応する符号化データのセグメントを取得するかを同一コンテンツ内で順次に選択する。例えば、選択部２６５４がネットワーク２６１２の帯域に応じてセグメント「Ａ１」、「Ｂ２」、「Ａ３」を順次に選択すると、図１３１に示したように、通信部２６５１がコンテンツサーバ２６１０からセグメント「Ａ１」、「Ｂ２」、「Ａ３」を順次に取得する。
現在地取得部２６５６は、コンテンツ再生装置２６２０の現在の位置を取得するものであり、例えばGPS（Global Positioning System）受信機などの現在地を取得するモジュールで構成されていても良い。また現在地取得部２６５６は、無線ネットワークを使用してコンテンツ再生装置２６２０の現在の位置を取得するものであってもよい。
＜コンテンツサーバ２６１１の構成＞
図１３５は、コンテンツサーバ２６１１の構成例を示す説明図である。図１３５に示したように、コンテンツサーバ２６１１は、記憶部２６７１と、通信部２６７２とを備える。
記憶部２６７１は、MPDのURLの情報を記憶する。MPDのURLの情報は、コンテンツの再生を要求するコンテンツ再生装置２６２０からの求めに応じ、コンテンツサーバ２６１１からコンテンツ再生装置２６２０へ送信される。また記憶部２６７１は、コンテンツ再生装置２６２０へのMPDのURLの情報を提供する際に、当該MPDに記述されているURLにコンテンツ再生装置２６２０でパラメータを付加させる際の定義情報を記憶する。
通信部２６７２は、コンテンツ再生装置２６２０とのインタフェースであって、ネットワーク２６１２を介してコンテンツ再生装置２６２０と通信する。すなわち通信部２６７２は、コンテンツの再生を要求するコンテンツ再生装置２６２０から、MPDのURLの情報の要求を受信し、コンテンツ再生装置２６２０へMPDのURLの情報を送信する。通信部２６７２から送信されるMPDのURLには、コンテンツ再生装置２６２０でパラメータを付加させるための情報が含まれる。
コンテンツ再生装置２６２０でMPDのURLに付加させるパラメータについては、コンテンツサーバ２６１１およびコンテンツ再生装置２６２０で共有する定義情報で様々に設定することが出来る。一例を挙げれば、コンテンツ再生装置２６２０の現在位置、コンテンツ再生装置２６２０を使用するユーザのユーザID、コンテンツ再生装置２６２０のメモリサイズ、コンテンツ再生装置２６２０のストレージの容量などの情報を、コンテンツ再生装置２６２０でMPDのURLに付加させることが出来る。
以上のような構成のコンテンツ再生システムにおいて、図１乃至図１１８を参照して上述したような本技術を適用することにより、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。
すなわち、コンテンツサーバ２６１０のエンコーダ２６４１は、上述した実施形態に係る画像符号化装置の機能を有する。また、コンテンツ再生装置２６２０の再生部２６５３は、上述した実施形態に係る画像復号装置の機能を有する。それにより、符号化・復号に必要な記憶容量の増大を抑制することができる。
また、コンテンツ再生システムにおいて、本技術により符号化されたデータを送受信することにより、符号化・復号に必要な記憶容量の増大を抑制することができる。
＜１６．Wi-Fi規格の無線通信システムの応用例＞
＜Wi-Fi規格の無線通信システムの応用例＞
本技術を適用可能な無線通信システムにおける無線通信装置の基本動作例について説明する。
＜無線通信装置の基本動作例＞
最初に、P2P（Peer to Peer）接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。
次に、第２層で接続する前に、使用する特定のアプリケーションを指定してからP2P接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。その後、第２層での接続後に、特定のアプリケーションを起動する場合の無線パケット送受信がなされる。
＜特定のアプリケーション動作開始時における通信例＞
図１３６および図１３７は、上述したP2P（Peer to Peer）接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信の例であり、無線通信の基礎となる各装置による通信処理例を示すシーケンスチャートである。具体的には、Wi-Fi Allianceにおいて標準化されているWi-Fiダイレクト（Direct）規格（Wi-Fi P2Pと呼ばれることもある）での接続に至るダイレクト接続の確立手順の一例を示す。
ここで、Wi-Fiダイレクトでは、複数の無線通信装置が互いの存在を検出する（Device Discovery、Service Discovery）。そして、接続機器選択を行うとその選択された機器間において、WPS（Wi-Fi Protected Setup）で機器認証を行うことによりダイレクト接続を確立する。また、Wi-Fiダイレクトでは、複数の無線通信装置が親機（Group Owner）または子機（Client）の何れとしての役割を担うかを決定して通信グループを形成する。
ただし、この通信処理例では、一部のパケット送受信については省略して示す。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、AuthenticationRequest／Responseのやり取り等においてもパケット交換が必要となる。しかしながら、図１３６および図１３７では、これらのパケット交換についての図示を省略し、２回目以降の接続についてのみを示す。
なお、図１３６および図１３７では、第１無線通信装置２７０１および第２無線通信装置２７０２間における通信処理例を示すが、他の無線通信装置間における通信処理についても同様である。
最初に、第１無線通信装置２７０１および第２無線通信装置２７０２間においてDevice Discoveryが行われる（２７１１）。例えば、第１無線通信装置２７０１は、Probe request（応答要求信号）を送信し、このProbe requestに対するProbe response（応答信号）を第２無線通信装置２７０２から受信する。これにより、第１無線通信装置２７０１および第２無線通信装置２７０２は、互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名や種類（TV、PC、スマートフォン等）を取得することができる。
続いて、第１無線通信装置２７０１および第２無線通信装置２７０２間においてService Discoveryが行われる（２７１２）。例えば、第１無線通信装置２７０１は、Device Discoveryで発見した第２無線通信装置２７０２が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、第１無線通信装置２７０１は、Service Discovery Responseを第２無線通信装置２７０２から受信することにより、第２無線通信装置２７０２が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービス等を取得することができる。相手が実行可能なサービスは、例えば、service、protocol（DLNA（Digital Living Network Alliance） DMR（Digital Media Renderer）等）である。
続いて、ユーザにより接続相手の選択操作（接続相手選択操作）が行われる（２７１３）。この接続相手選択操作は、第１無線通信装置２７０１および第２無線通信装置２７０２の何れか一方のみに発生することもある。例えば、第１無線通信装置２７０１の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手として第２無線通信装置２７０２がユーザ操作により選択される。
ユーザにより接続相手選択操作が行われると（２７１３）、第１無線通信装置２７０１および第２無線通信装置２７０２間においてGroup Owner Negotiationが行われる（２７１４）。図１３６および図１３７では、Group Owner Negotiationの結果により、第１無線通信装置２７０１がグループオーナー（Group Owner）２７１５になり、第２無線通信装置２７０２がクライアント（Client）２７１６になる例を示す。
続いて、第１無線通信装置２７０１および第２無線通信装置２７０２間において、各処理（２７１７乃至２７２０）が行われることにより、ダイレクト接続が確立される。すなわち、Association（Ｌ２（第２層） link確立）（２７１７）、Secure link確立（２７１８）が順次行われる。また、IP Address Assignment（２７１９）、SSDP（Simple Service Discovery Protocol）等によるＬ３上でのＬ４ setup（２７２０）が順次行われる。なお、Ｌ２（layer2）は、第２層（データリンク層）を意味し、Ｌ３（layer3）は、第３層（ネットワーク層）を意味し、Ｌ４（layer4）は、第４層（トランスポート層）を意味する。
続いて、ユーザにより特定のアプリケーションの指定または起動操作（アプリ指定・起動操作）が行われる（２７２１）。このアプリ指定・起動操作は、第１無線通信装置２７０１および第２無線通信装置２７０２の何れか一方のみに発生することもある。例えば、第１無線通信装置２７０１の表示部にアプリ指定・起動操作画面が表示され、このアプリ指定・起動操作画面において特定のアプリケーションがユーザ操作により選択される。
ユーザによりアプリ指定・起動操作が行われると（２７２１）、このアプリ指定・起動操作に対応する特定のアプリケーションが第１無線通信装置２７０１および第２無線通信装置２７０２間において実行される（２７２２）。
ここで、Wi-Fi Direct規格以前の仕様（IEEE802.11で標準化された仕様）の範囲内で、AP（Access Point）−STA（Station）間の接続を行う場合を想定する。この場合には、第２層で接続する前（IEEE802.11用語ではassociation前）には、どのようなデバイスと繋ごうとしているのかを事前に知ることができなかった。
これに対して、図１３６および図１３７に示すように、Wi-Fi Directでは、Device discoveryやService Discovery（option）において、接続候補相手を探す際に、接続相手の情報を取得することができる。この接続相手の情報は、例えば、基本的なデバイスのタイプや、対応している特定のアプリケーション等である。そして、その取得された接続相手の情報に基づいて、ユーザに接続相手を選択させることができる。
この仕組みを拡張して、第２層で接続する前に特定のアプリケーションを指定して、接続相手を選択し、この選択後に、自動的に特定のアプリケーションを起動させる無線通信システムを実現することも可能である。このような場合の接続に至るシーケンスの一例を、図１３９に示す。また、この通信処理において送受信されるフレームフォーマット（frame format）の構成例を図１３８に示す。
＜フレームフォーマットの構成例＞
図１３８は、本技術の基礎となる各装置による通信処理において送受信されるフレームフォーマット（frame format）の構成例を模式的に示す図である。すなわち、図１３８には、第２層での接続を確立するためのMAC frameの構成例を示す。具体的には、図１３９に示すシーケンスを実現するためのAssociation Request/Response（２７８７）のフレームフォーマットの一例である。
図１３８に示されるように、MAC frameは、Frame Control（２７５１）乃至FCS（２７５８）よりなり、その内、Frame Control（２７５１）からSequence Control（２７５６）までは、MACヘッダである。また、Association Requestを送信する際には、Frame Control（２７５１）において、Ｂ３Ｂ２＝"０ｂ００"、かつ、Ｂ７Ｂ６Ｂ５Ｂ４＝"０ｂ００００"が設定される。また、Association Responseをencapsulateする際には、Frame Control（２７５１）において、Ｂ３Ｂ２＝"０ｂ００"、かつ、Ｂ７Ｂ６Ｂ５Ｂ４＝"０ｂ０００１"が設定される。なお、「０ｂ００」は、２進法で「００」であることを示し、「０ｂ００００」は、２進法で「００００」であることを示し、「０ｂ０００１」は、２進法で「０００１」であることを示す。
ここで、図１３８に示すMAC frame（Frame body（２７５７））は、基本的には、IEEE802.11-2007仕様書section7.2．3.4節と7.2．3.5節に記載のAssociation Request/Responseframe formatである。ただし、IEEE802.11仕様書内で定義されているInformation Element（以下、IEと省略）（２７５９）だけでなく、独自に拡張したIEを含めている点が異なる。
また、Vendor Specific IE（２７６０）であることを示すため、IE Type（Information Element ID（２７６１））には、１０進数で１２７がセットされる。この場合、IEEE802.11−2007仕様7.3．2.26節により、Lengthフィールド（２７６２）と、OUIフィールド（２７６３）が続き、この後にvendor specific content（２７６４）が配置される。
Vendor specific content（２７６４）の内容としては、最初にvendor specific IEのtypeを示すフィールド（IE type（２７６５））を設ける。そして、この後に、複数のsubelement（２７６６）を格納することができる構成とすることが考えられる。
subelement（２７６６）の内容として、使われるべき特定のアプリケーションの名称（２７６７）や、その特定のアプリケーション動作時のデバイスの役割（２７６８）を含めることが考えられる。また、特定のアプリケーション、または、その制御のために使われるポート番号等の情報（Ｌ４セットアップのための情報）（２７６９）や、特定のアプリケーション内でのCapabilityに関する情報（Capability情報）（２７７０）を含めることが考えられる。ここで、Capability情報は、例えば、指定する特定のアプリケーションがDLNAの場合に、音声送出／再生に対応している、映像送出／再生に対応している等を特定するための情報である。
以上のような構成の無線通信システムにおいて、図１乃至図１１８を参照して上述したような本技術を適用することにより、図１乃至図１１８を参照して上述した効果と同様の効果を得ることができる。すなわち、符号化・復号に必要な記憶容量の増大を抑制することができる。また、上述した無線通信システムにおいて、本技術により符号化されたデータを送受信することにより、符号化・復号に必要な記憶容量の増大を抑制することができる。
なお、本明細書では、画像データの符号化データ以外の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
また、本明細書において、CTU（Coding Tree Unit）は、LCU(最大数のCU)のCTB（Coding Tree Block）と、そのLCUベース（レベル）で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU（Coding Unit）は、CB(Coding Block)と、そのCUベース（レベル）で処理するときのパラメータを含む単位であるとする。
なお、本技術は以下のような構成も取ることができる。
（１） カレントレイヤの復号において動き補償を行う動き補償部と、
前記動き補償部により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部と
を備える画像処理装置。
（２） 前記動き補償部により再構築された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、
前記動き補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（３） 前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
前記（２）に記載の画像処理装置。
（４） 前記動き補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（５） 他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを受け取る受け取り部と、
前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮することを示す値である場合、前記第１の圧縮部により圧縮された前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択し、前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮しないことを示す値である場合、前記第１の圧縮部により圧縮される前の前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と
をさらに備える前記（１）乃至（９）のいずれかに記載の画像処理装置。
（６） 前記動き補償部は、前記受け取り部により受け取られた前記フラグの値に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記（５）に記載の画像処理装置。
（７） 前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（８） 前記第１の圧縮部は、前記動き補償部により再構築された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（９） 前記動き補償部は、他のレイヤの復号における前記動き補償において再構築された動きベクトルを用いて前記動き補償を行う
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの復号において動き補償を行い、
前記動き補償により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
（１１） カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、
前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第１の圧縮部と
を備える画像処理装置。
（１２） 前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第１の圧縮部よりも高圧縮率に圧縮する第２の圧縮部をさらに備え、
前記動き予測・補償部は、前記第２の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１３） 前記第２の圧縮部は、前記第１の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
前記（１２）に記載の画像処理装置。
（１４） 前記動き予測・補償部は、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１５） 他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、
前記制御部の制御に従って、前記第１の圧縮部により圧縮される前の前記動きベクトルと、前記第１の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、
前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、
前記生成部により生成された前記フラグを伝送する伝送部と
をさらに備える前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１６） 前記動き予測・補償部は、前記制御部の制御に関わらず、前記第１の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記（１５）に記載の画像処理装置。
（１７） 前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１８） 前記第１の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
前記（１１）乃至（１９）のいずれかに記載の画像処理装置。
（１９） 前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行う
前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０） 画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの符号化において動き予測・補償を行い、
前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
（２１） 複数階層化された画像データが符号化された階層画像符号化データを受け取る受け取り部と、
前記受け取り部により受け取られた前記階層画像符号化データのベースレイヤのカレントエリアについて、イントラ予測モードを間引く間引き処理部と、
前記間引き処理部により間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶する記憶部と、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記受け取り部により受け取られた前記階層画像符号化データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成するイントラ予測部と、
前記イントラ予測部により生成された前記予測画像を用いて、前記受け取り部により受け取られた前記階層画像符号化データのエンハンスメントレイヤを復号する復号部と
を備える画像処理装置。
（２２） 前記間引き処理部は、前記カレントエリア内の最初にイントラ予測が行われるブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（２１）、（２３）乃至（２９）のいずれかに記載の画像処理装置。
（２３） 前記間引き処理部は、前記カレントエリアの中心付近のブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（２１）、（２２）、（２４）乃至（２９）のいずれかに記載の画像処理装置。
（２４） 前記受け取り部は、さらに間引き率を受け取り、
前記間引き処理部は、前記受け取り部により受け取られた前記間引き率で前記ベースレイヤのイントラ予測モードを間引く
（２１）乃至（２３）、（２５）乃至（２９）のいずれかに記載の画像処理装置。
（２５） 前記間引き率は、ベースレイヤの解像度を基準に設定されている
（２１）乃至（２４）、（２６）乃至（２９）のいずれかに記載の画像処理装置。
（２６） 前記間引き率は、前記階層画像符号化データの所定の位置に格納されて伝送される
（２１）乃至（２５）、（２７）乃至（２９）のいずれかに記載の画像処理装置。
（２７） 前記間引き率は、ビデオパラメータセットにおいて伝送される
（２１）乃至（２６）、（２８）、（２９）のいずれかに記載の画像処理装置。
（２８） 前記間引き率は、前記階層画像符号化データのエンハンスメントレイヤのシーケンスパラメータセット、ピクチャパラメータセット、若しくはスライスヘッダにおいて伝送される
（２１）乃至（２７）、（２９）のいずれかに記載の画像処理装置。
（２９） 前記復号部は、さらに、前記階層画像符号化データのエンハンスメントレイヤと異なる符号化方式で符号化された前記階層画像符号化データのベースレイヤを復号する
（２１）乃至（２８）のいずれかに記載の画像処理装置。
（３０） 複数階層化された画像データが符号化された階層画像符号化データを受け取り、
受け取られた前記階層画像符号化データのベースレイヤのカレントエリアについて、イントラ予測モードを間引き、
間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶部に記憶し、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、受け取られた前記階層画像符号化データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成し、
生成された前記予測画像を用いて、受け取られた前記階層画像符号化データのエンハンスメントレイヤを復号する
画像処理方法。
（３１） 複数階層化された画像データのベースレイヤのカレントエリアについて、イントラ予測モードを間引く間引き処理部と、
前記間引き処理部により間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶する記憶部と、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記画像データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成するイントラ予測部と、
前記イントラ予測部により生成された前記予測画像を用いて、前記画像データのエンハンスメントレイヤを符号化する符号化部と、
前記符号化部により前記画像データが符号化されて得られた階層画像符号化データを伝送する伝送部と
を備える画像処理装置。
（３２） 前記間引き処理部は、前記カレントエリア内の最初にイントラ予測が行われるブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（３１）、（３３）乃至（３９）のいずれかに記載の画像処理装置。
（３３） 前記間引き処理部は、前記カレントエリアの中心付近のブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
（３１）、（３２）、（３４）乃至（３９）のいずれかに記載の画像処理装置。
（３４） 間引き率を設定する間引き率設定部をさらに備え、
前記間引き処理部は、前記間引き率設定部により設定された前記間引き率で前記ベースレイヤのイントラ予測モードを間引く
（３１）乃至（３３）、（３５）乃至（３９）のいずれかに記載の画像処理装置。
（３５） 前記間引き率設定部は、前記間引き率を、ベースレイヤの解像度を基準に設定する
（３１）乃至（３４）、（３６）乃至（３９）のいずれかに記載の画像処理装置。
（３６） 前記伝送部は、前記間引き率を、前記階層画像符号化データの所定の位置に格納して伝送する
（３１）乃至（３５）、（３７）乃至（３９）のいずれかに記載の画像処理装置。
（３７） 前記伝送部は、前記間引き率を、ビデオパラメータセットにおいて伝送する
（３１）乃至（３６）、（３８）、（３９）のいずれかに記載の画像処理装置。
（３８） 前記伝送部は、前記間引き率を、前記階層画像符号化データのエンハンスメントレイヤのシーケンスパラメータセット、ピクチャパラメータセット、若しくはスライスヘッダにおいて伝送する
（３１）乃至（３７）、（３９）のいずれかに記載の画像処理装置。
（３９） 前記符号化部は、さらに、前記画像データのエンハンスメントレイヤと異なる符号化方式で、前記画像データのベースレイヤを符号化する
（３１）乃至（３８）のいずれかに記載の画像処理装置。
（４０） 複数階層化された画像データのベースレイヤのカレントエリアについて、イントラ予測モードを間引き、
間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶部に記憶し、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記画像データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成し、
生成された前記予測画像を用いて、前記画像データのエンハンスメントレイヤを符号化し、
前記画像データが符号化されて得られた階層画像符号化データを伝送する
画像処理方法。
（４１） 複数レイヤよりなる画像データのカレントレイヤの符号化データと、前記画像データのカレントレイヤの復号に用いる他のレイヤの動き情報の予測方向を示す制御情報とを受け取る受け取り部と、
前記他のレイヤの、前記受け取り部により受け取られた前記制御情報により示される前記予測方向の動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記カレントレイヤの符号化データを復号する復号部と
を備える画像復号装置。
（４２） 前記制御情報は、前記予測方向がL0方向であるかを示す情報である
（４１）、（４３）乃至（４９）のいずれかに記載の画像復号装置。
（４３） 前記制御情報は、前記予測方向がL1方向であるかを示す情報である
（４１）、（４２）、（４４）乃至（４９）のいずれかに記載の画像復号装置。
（４４） 前記制御情報は、前記予測方向がL0方向であるか、L1方向であるかを示す情報である
（４１）乃至（４３）、（４５）乃至（４９）のいずれかに記載の画像復号装置。
（４５） 前記制御情報は、前記予測方向を、ピクチャを複数に分割するスライス毎に示す情報である
（４１）乃至（４４）、（４６）乃至（４９）のいずれかに記載の画像復号装置。
（４６） 前記受け取り部は、前記制御情報を前記スライス毎に受け取る
（４１）乃至（４５）、（４７）乃至（４９）のいずれかに記載の画像復号装置。
（４７） 前記動き情報取得部により取得された前記他のレイヤの動き情報の予測方向が、使用時の予測方向と異なる場合、前記他のレイヤの動き情報の予測方向を変換する変換部をさらに備える
（４１）乃至（４６）、（４８）、（４９）のいずれかに記載の画像復号装置。
（４８） 前記変換部は、さらに、前記動き情報取得部により取得された前記他のレイヤの動き情報を前記カレントレイヤ基準に変換する
（４１）乃至（４７）、（４９）のいずれかに記載の画像復号装置。
（４９） 前記動き情報取得部は、前記他のレイヤの、前記カレントレイヤのカレントエリアに対応するエリアの、前記制御情報により示される予測方向の動き情報を取得する
（４１）乃至（４８）のいずれかに記載の画像復号装置。
（５０） 複数レイヤよりなる画像データのカレントレイヤの符号化データと、前記画像データのカレントレイヤの復号に用いる他のレイヤの動き情報の予測方向を示す制御情報とを受け取り、
前記他のレイヤの、受け取られた前記制御情報により示される前記予測方向の動き情報を取得し、
取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成し、
生成された前記予測画像を用いて前記カレントレイヤの符号化データを復号する
画像復号方法。
（５１） 複数レイヤよりなる画像データのカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定する予測方向設定部と、
前記他のレイヤの、前記予測方向設定部により設定された予測方向の動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部と、
前記符号化部により生成された前記画像データの符号化データと、前記予測方向設定部により設定された前記予測方向を示す制御情報とを伝送する伝送部と
を備える画像符号化装置。
（５２） 前記制御情報は、前記予測方向設定部により設定された予測方向がL0方向であるかを示す情報である
（５１）、（５３）乃至（５９）のいずれかに記載の画像符号化装置。
（５３） 前記制御情報は、前記予測方向設定部により設定された予測方向がL1方向であるかを示す情報である
（５１）、（５２）、（５４）乃至（５９）のいずれかに記載の画像符号化装置。
（５４） 前記制御情報は、前記予測方向設定部により設定された予測方向がL0方向であるか、L1方向であるかを示す情報である
（５１）乃至（５３）、（５５）乃至（５９）のいずれかに記載の画像符号化装置。
（５５） 前記予測方向設定部は、前記予測方向を、ピクチャを複数に分割するスライス毎に設定する
（５１）乃至（５４）、（５６）乃至（５９）のいずれかに記載の画像符号化装置。
（５６） 前記伝送部は、前記制御情報を前記スライス毎に伝送する
（５１）乃至（５５）、（５７）乃至（５９）のいずれかに記載の画像符号化装置。
（５７） 前記動き情報取得部により取得された前記他のレイヤの動き情報の予測方向が、使用時の予測方向と異なる場合、前記他のレイヤの動き情報の予測方向を変換する変換部をさらに備える
（５１）乃至（５６）、（５８）、（５９）のいずれかに記載の画像符号化装置。
（５８） 前記変換部は、さらに、前記動き情報取得部により取得された前記他のレイヤの動き情報を前記カレントレイヤ基準に変換する
（５１）乃至（５７）、（５９）のいずれかに記載の画像符号化装置。
（５９） 前記動き情報取得部は、前記他のレイヤの、前記カレントレイヤのカレントエリアに対応するエリアの、前記予測方向設定部により設定された予測方向の動き情報を取得する
（５１）乃至（５８）のいずれかに記載の画像符号化装置。
（６０） 複数レイヤよりなる画像データのカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定し、
前記他のレイヤの、設定された予測方向の動き情報を取得し、
取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成し、
生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化し、
前記画像データが符号化されて生成された符号化データと、設定された前記予測方向を示す制御情報とを伝送する
画像符号化方法。
１００ 画像符号化装置， １１４ 動き予測・補償部， １２１ 動きベクトル圧縮部， １２２ 動きベクトルメモリ， ２００ 画像復号装置， ２１１ 動き補償部， ２２１ 動きベクトル圧縮部， ２２２ 動きベクトルメモリ， ３００ 画像符号化装置， ３１４ 動き予測・補償部， ３２１ 動きベクトル圧縮部， ３２２ テンポラルメモリ， ３２３ 動きベクトル圧縮部， ３２４ 動きベクトルメモリ， ４００ 画像復号装置， ４１１ 動き補償部， ４２１ 動きベクトル圧縮部， ４２２ テンポラルメモリ， ４２３ 動きベクトル圧縮部， ４２４ 動きベクトルメモリ， ５００ 画像符号化装置， ５１４ 動き予測・補償部， ５０６ 可逆符号化部， ５０７ 蓄積バッファ， ５２１ 制御部， ５２２ フラグ生成部， ５３１ 選択部， ５３２ テンポラルメモリ， ５３３ 動きベクトル圧縮部， ５３４ 動きベクトルメモリ， ５３５ 選択部， ６００ 画像復号装置， ６０１ 蓄積バッファ， ６０２ 可逆復号部， ６２１ 制御部， ６３１ 選択部， ６３２ テンポラルメモリ， ６３３ 動きベクトル圧縮部， ６３４ 動きベクトルメモリ， ６３５ 選択部

Claims (9)

  1. カレントブロックのレイヤ方向に周辺のブロックの動きベクトルを、時間方向に周辺のブロックの動きベクトル同じ圧縮率で圧縮する圧縮部と、
    前記圧縮部により圧縮された動きベクトルを、前記カレントブロックの動きベクトルに対する予測動きベクトルとして用いて、前記カレントブロックの動きベクトルを再構築し、再構築した前記動きベクトルを用いて動き補償を行って予測画像を生成する動き補償部と、
    前記動き補償部により生成された前記予測画像を用いて、前記カレントブロックを復号して、復号画像を生成する復号部と
    を備える画像処理装置。
  2. 前記動き補償部は、前記圧縮部により圧縮された動きベクトルを用いて、前記カレントブロックに対する予測動きベクトルの候補を決定する
    請求項１に記載の画像処理装置。
  3. 前記圧縮部により圧縮された前記動きベクトルを記憶する記憶部をさらに備え、
    前記動き補償部は、前記記憶部に記憶された前記動きベクトルを前記予測動きベクトルとして用いる
    請求項１に記載の画像処理装置。
  4. 前記圧縮部は、前記動きベクトルの精度を16x16精度に圧縮する
    請求項１に記載の画像処理装置。
  5. 前記圧縮部は、前記動きベクトルの精度を4x4精度から16x16精度に圧縮する
    請求項４に記載の画像処理装置。
  6. 前記圧縮部は、前記動きベクトルの精度を8x8精度から16x16精度に圧縮する
    請求項４に記載の画像処理装置。
  7. 前記圧縮部は、前記動きベクトルの精度を8x8精度に圧縮する
    請求項１に記載の画像処理装置。
  8. 前記圧縮部は、前記動きベクトルの精度を4x4精度から8x8精度に圧縮する
    請求項７に記載の画像処理装置。
  9. カレントブロックのレイヤ方向に周辺のブロックの動きベクトルを、時間方向に周辺のブロックの動きベクトル同じ圧縮率で圧縮し、
    圧縮された動きベクトルを、前記カレントブロックの動きベクトルに対する予測動きベクトルとして用いて、前記カレントブロックの動きベクトルを再構築し、再構築した前記動きベクトルを用いて動き補償を行って予測画像を生成し、
    生成された前記予測画像を用いて、前記カレントブロックを復号して、復号画像を生成する
    画像処理方法。
JP2014532941A 2012-09-03 2013-08-21 画像処理装置および方法 Active JP6260534B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2012193607 2012-09-03
JP2012193607 2012-09-03
JP2012286726 2012-12-28
JP2012286726 2012-12-28
JP2013064131 2013-03-26
JP2013064131 2013-03-26
PCT/JP2013/072232 WO2014034480A1 (ja) 2012-09-03 2013-08-21 画像処理装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016146259A Division JP6260655B2 (ja) 2012-09-03 2016-07-26 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2014034480A1 JPWO2014034480A1 (ja) 2016-08-08
JP6260534B2 true JP6260534B2 (ja) 2018-01-17

Family

ID=50183295

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014532941A Active JP6260534B2 (ja) 2012-09-03 2013-08-21 画像処理装置および方法
JP2016146259A Active JP6260655B2 (ja) 2012-09-03 2016-07-26 画像処理装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016146259A Active JP6260655B2 (ja) 2012-09-03 2016-07-26 画像処理装置および方法

Country Status (8)

Country Link
US (3) US20150208074A1 (ja)
EP (2) EP2892235B1 (ja)
JP (2) JP6260534B2 (ja)
KR (2) KR102122620B1 (ja)
CN (4) CN109413424B (ja)
MX (1) MX340603B (ja)
RU (2) RU2658793C2 (ja)
WO (1) WO2014034480A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101706318B1 (ko) 2012-10-03 2017-02-15 에이치에프아이 이노베이션 인크. 3차원 비디오 코딩을 위한 모션 데이터 버퍼 감소 방법 및 장치
CN106464941B (zh) * 2014-06-30 2019-10-29 索尼公司 信息处理装置和方法
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
CN116320470A (zh) 2017-10-20 2023-06-23 富士通株式会社 动态图像解码装置、动态图像解码方法和存储介质
KR102456474B1 (ko) * 2018-04-27 2022-10-20 삼성디스플레이 주식회사 영상 처리 회로, 영상 처리 회로를 포함하는 표시 장치 및 그것의 구동 방법
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
WO2020219952A1 (en) * 2019-04-25 2020-10-29 Op Solutions, Llc Candidates in frames with global motion

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199399A (ja) * 2000-12-27 2002-07-12 Sony Corp 動きベクトル変換方法及び変換装置
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4178521B2 (ja) * 2004-09-06 2008-11-12 日本ビクター株式会社 符号化映像信号の記録方法、及び映像信号符号化装置
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1897377A4 (en) * 2005-05-26 2010-12-22 Lg Electronics Inc METHOD FOR PROVIDING AND USING INTERLOCK PREDICTION INFORMATION FOR VIDEO SIGNAL
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR101375669B1 (ko) * 2006-11-07 2014-03-19 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
TW201041404A (en) * 2009-03-06 2010-11-16 Sony Corp Image processing device and method
WO2012096164A1 (ja) * 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US8553769B2 (en) * 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
MX341900B (es) * 2012-08-29 2016-09-07 Vid Scale Inc Metodo y aparato de prediccion de vector de movimiento para codificacion de video escalable.
KR101706318B1 (ko) * 2012-10-03 2017-02-15 에이치에프아이 이노베이션 인크. 3차원 비디오 코딩을 위한 모션 데이터 버퍼 감소 방법 및 장치

Also Published As

Publication number Publication date
US20190238881A1 (en) 2019-08-01
CN109413424B (zh) 2022-11-15
RU2018117906A (ru) 2018-07-25
US10616598B2 (en) 2020-04-07
KR102122620B1 (ko) 2020-06-12
EP2892235B1 (en) 2020-07-22
MX2015002453A (es) 2015-06-05
RU2015106126A (ru) 2016-09-10
WO2014034480A1 (ja) 2014-03-06
CN105141964A (zh) 2015-12-09
US20150208074A1 (en) 2015-07-23
US10349076B2 (en) 2019-07-09
KR102221615B1 (ko) 2021-03-02
CN105141964B (zh) 2018-07-03
EP2892235A1 (en) 2015-07-08
JPWO2014034480A1 (ja) 2016-08-08
RU2680741C2 (ru) 2019-02-26
CN109413425B (zh) 2023-04-14
KR20200039836A (ko) 2020-04-16
EP3687173A1 (en) 2020-07-29
US20170208338A1 (en) 2017-07-20
RU2658793C2 (ru) 2018-06-22
KR20150052016A (ko) 2015-05-13
CN109413424A (zh) 2019-03-01
MX340603B (es) 2016-07-15
CN104604231A (zh) 2015-05-06
CN109413425A (zh) 2019-03-01
EP2892235A4 (en) 2016-04-27
JP2016213875A (ja) 2016-12-15
JP6260655B2 (ja) 2018-01-17
RU2018117906A3 (ja) 2019-02-01
CN104604231B (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
JP6260655B2 (ja) 画像処理装置および方法
JP6525073B2 (ja) 画像処理装置および方法
JP6607414B2 (ja) 画像符号化装置および方法
US10812826B2 (en) Image processing apparatus and image processing method
JPWO2015005137A1 (ja) 画像符号化装置および方法
JP6172155B2 (ja) 画像処理装置および方法
WO2015005136A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R151 Written notification of patent or utility model registration

Ref document number: 6260534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250