JP6172155B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP6172155B2
JP6172155B2 JP2014538424A JP2014538424A JP6172155B2 JP 6172155 B2 JP6172155 B2 JP 6172155B2 JP 2014538424 A JP2014538424 A JP 2014538424A JP 2014538424 A JP2014538424 A JP 2014538424A JP 6172155 B2 JP6172155 B2 JP 6172155B2
Authority
JP
Japan
Prior art keywords
unit
vector
prediction
image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014538424A
Other languages
English (en)
Other versions
JPWO2014050675A1 (ja
Inventor
良知 高橋
良知 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014050675A1 publication Critical patent/JPWO2014050675A1/ja
Application granted granted Critical
Publication of JP6172155B2 publication Critical patent/JP6172155B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置および方法に関し、特に、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができるようにした画像処理装置および方法に関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG（Moving Picture Experts Group）やH．264及びMPEG-4 Part10 （Advanced Video Coding、以下H．264/AVCと記す）などがある。
そして、現在、H．264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により、HEVC (High Efficiency Video Coding) と呼ばれる符号化方式の標準化が進められている。
現時点におけるHEVCのドラフトでは、３Ｄ拡張の１つとして、CUレベルを変更して、ノンベースビューの符号化性能を改善する方式が検討されている（非特許文献１）。
その方式の１つのツールとして、異なるビューの符号化済みベクトルをノンベースビューの予測ベクトルの候補とする、Inter-view motion prediction(IVMP)がある。
Gerhard Tech,Krzysztof Wegner,Ying Chen,Sehoon Yea,"3D-HEVC Test Model Description draft 1",JCT3V-A1005_d0,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1th Meeting: Stockholm,SE,16-20 July 2012
しかしながら、IVMPにおいては、カレントPUの動きベクトルの参照POCと、カレントビューと異なるビューの参照PUの動きベクトルの参照POCが同じ場合しか、参照PUの動きベクトルを、カレントPUの予測ベクトルの候補にすることができなかった。
本開示は、このような状況に鑑みてなされたものであり、ノンベースビューにおいて、動きベクトルの符号化または復号の符号化効率を改善することができるものである。
本開示の第１の側面の画像処理装置は、ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成する予測ベクトル生成部と、前記予測ベクトル生成部により生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを符号化する動きベクトル符号化部と、画像を、階層構造を有する単位で符号化して、符号化ストリームを生成する符号化部とを備える。
前記予測ベクトル生成部は、前記参照ブロックの動きベクトルを、前記カレントブロックの参照画像POCと前記参照ブロックの参照画像POCに応じてスケーリングして、前記予測ベクトルの候補として用いて予測ベクトルを生成することができる。
前記動きベクトル符号化部により符号化された前記カレントブロックの動きベクトルと、前記符号化部により生成された符号化ストリームとを伝送する伝送部をさらに備えることができる。
本開示の第１の画像処理方法は、画像処理装置が、ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成し、生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを符号化し、画像を、階層構造を有する単位で符号化して、符号化ストリームを生成する。
本開示の第２の画像処理装置は、ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成する予測ベクトル生成部と、前記予測ベクトル生成部により生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを復号する動きベクトル復号部と、階層構造を有する単位で符号化された符号化ストリームを復号して、画像を生成する復号部とを備える。
前記予測ベクトル生成部は、前記参照ブロックの動きベクトルを、前記カレントブロックの参照画像POCと前記参照ブロックの参照画像POCに応じてスケーリングして、前記予測ベクトルの候補として用いて予測ベクトルを生成することができる。
前記符号化ストリームと、符号化された前記カレントブロックの動きベクトルを受け取る受け取り部をさらに備えることができる。
本開示の第２の側面の画像処理方法は、画像処理装置が、ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成し、生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを復号し、階層構造を有する単位で符号化された符号化ストリームを復号して、画像を生成する。
本開示の第１の側面においては、ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルが、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングされて、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルが生成される。そして、生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルが符号化され、画像が、階層構造を有する単位で符号化されて、符号化ストリームが生成される。
本開示の第２の側面においては、ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルが、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングされて、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルが生成される。そして、生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルが復号され、階層構造を有する単位で符号化された符号化ストリームが復号されて、画像が生成される。
なお、上述の画像処理装置は、独立した装置であっても良いし、１つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。
本開示の第１側面によれば、画像を符号化することができる。特に、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
本開示の第２の側面によれば、画像を復号することができる。特に、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
従来の技術としてIVMPを説明する図である。 従来の技術としてIVMPを説明する図である。 本技術の概要を説明する図である。 本技術を適用した多視点画像符号化装置を構成するエンコーダの主な構成例を示すブロック図である。 動き予測・補償部の構成例を示すブロック図である。 AMVPモードベクトル予測部の構成例を示すブロック図である。 予測ベクトル生成部の構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 動き予測、補償処理を説明するフローチャートである。 AMVPモードのベクトル予測処理を説明するフローチャートである。 Non-Spatialの予測ベクトルの生成処理を説明するフローチャートである。 L0予測ベクトルの生成処理を説明するフローチャートである。 L1予測ベクトルの生成処理を説明するフローチャートである。 本技術を適用した多視点画像復号装置を構成するデコーダの主な構成例を示すブロック図である。 動き補償部の構成例を示すブロック図である。 AMVPモードベクトル予測部の構成例を示すブロック図である。 予測ベクトル生成部の構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 動き補償処理を説明するフローチャートである。 AMVPモードのベクトル予測処理を説明するフローチャートである。 Non-Spatialの予測ベクトルの生成処理を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化利用の一例を示すブロック図である。 スケーラブル符号化利用の他の例を示すブロック図である。 スケーラブル符号化利用のさらに他の例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 コンテンツ再生システムの構成を示した説明図である。 コンテンツ再生システムにおけるデータの流れを示した説明図である。 MPDの具体例を示した説明図である。 コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。 コンテンツ再生システムのコンテンツ再生装置の構成を示した機能ブロック図である。 コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。 無線通信システムの各装置による通信処理において送受信されるフレームフォーマット（frame format）の構成例を模式的に示す図である。 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．従来と本技術の概要
２．第１の実施の形態（多視点画像符号化装置）
３．第２の実施の形態（多視点画像復号装置）
４．第３の実施の形態（コンピュータ）
５．応用例
６．スケーラブル符号化の応用例
７．第６の実施の形態（セット・ユニット・モジュール・プロセッサ）
８．MPEG-DASHのコンテンツ再生システムの応用例
９．Wi-Fi規格の無線通信システムの応用例
＜１．従来と本技術の概要＞
［従来の説明］
ノンベースビューの符号化性能を改善する方式の１つとして、異なるビューの符号化済みベクトルを、ノンベースビューの予測ベクトルの候補にする、Inter-view motion prediction（IVMP）がある。
図１を参照して、このIVMPについて説明する。図１の例において、縦軸は、ビューを示し、ビューV0は、ベースビューを表し、ビューV1は、ノンベースビューを表している。横軸は、時刻T1乃至時刻T4を示している。
ベースビューV0は、既に符号化済みであり、いま、ノンベースビューV1の時刻T3の画像のカレントPU(Curr PU)の動き予測、補償が行われ、L0およびL1方向の動きベクトルが求められている。このとき、同じビューV1の時刻T1の画像のPOC(Picture Order Count)は、Ref1（Ref POC=1）であり、時刻T2の画像のPOCは、Ref0（Ref POC=0）であり、時刻T4の画像のPOCは、Ref0（Ref POC=0）である。
求められたカレントPUのL0方向の動きベクトルは、時刻T2のRef0（Ref POC=0）の画像を指しており、L1方向の動きベクトルは、時刻T4のRef0（Ref POC=0）の画像を指している。
IVMPにおいては、カレントPUの動きベクトルを符号化する際に求める予測ベクトルの候補として、従来のAMVP(Advanced Motion Vector Prediction)で候補とされる動きベクトルの他に、ベースビューで符号化されてしまった動きベクトルに追加することができる。
すなわち、ベースビューV0とノンベースビューV1では動きに相関があるので、ノンベースビューV1においては、カレントPUの、同じ時刻のベースビューV0における参照PU(Cor PU)の動きベクトルMVL0およびMVL1を予測ベクトルの候補の１つとすることができる。ここで、ベースビューV0の参照PUは、カレントPUの周辺（すなわち、カレントPUに隣接する隣接PU）の動きベクトルの中から、視差ベクトルを探し、ベースビューの画像において、ノンベースビューの画像におけるPUと同じ位置から、その視差ベクトルの分だけずらした位置のPUのことをいう。
ただし、それは、図１に示されるように、ベースビューV0における参照PUの動きベクトルMVL0およびMVL1が参照する画像の時刻T2およびT4が、ノンベースビューV1におけるカレントPUの動きベクトルが参照する画像の時刻T2およびT4と同じ場合のみである。
すなわち、カレントPUのRef POC（Ref 0）と、参照PUのRef POC（Ref 0）が同じの場合のみ、参照PUの動きベクトルを、カレントPUの予測動きベクトルの候補とすることができる。
したがって、図２に示されるように、ベースビューV0における時刻T3の参照PUの動きベクトルMVL0およびMVL1のReFIdx L0およびReFIdx L1がそれぞれ０である場合を考える。
この場合に、ノンベースビューV1の時刻T3のカレントPUの動きベクトルのReFIdx L0が１であり、ReFIdx L1が０であると、カレントPUの予測ベクトルPMV L1は、参照PUの動きベクトルMVL1とRef POCが同じである。したがって、ベースビューV0における時刻T3の参照PUの動きベクトルMVL1を、カレントPUの予測ベクトルの候補として使用することができる。
しかしながら、カレントPUの予測ベクトルPMV L0は、参照PUの動きベクトルMVL0と、Ref POCが同じではないので、使用不可（false）となってしまい、参照PUの動きベクトルMVL0を予測ベクトルとできない。すなわち、上述したように、ビューとノンベースビュー間には相関があるのに、相関の高い予測ベクトルの生成を行うことができず、符号化効率が低下してしまう。
そこで、本技術においては、カレントPUのRef POC（Ref 0）と、異なるビューにおける参照PUのRef POC（Ref 0）が異なる場合には、参照PUの動きベクトルがスケーリングされて、カレントPUの予測ベクトルの候補とされる。
例えば、図３の例においては、図２の例と同様に、カレントPUの予測ベクトルPMV L0は、参照PUの動きベクトルMVL0と、Ref POCが同じではない。そこで、本技術においては、参照PUの動きベクトルMVL0がカレントPUと参照PUの参照先に応じて、スケーリングされる。すなわち、参照PUの動きベクトルMVL0がカレントPUと参照PUのRef POCの距離に応じてスケーリングされ、スケーリングされたMVL0が、カレントPUの予測ベクトルの候補として使用される。
これにより、相関の高い予測ベクトルを生成することができるので、動きベクトルの符号化効率を改善することができる。
すなわち、異なるビューでは、カメラの特性が若干異なったりするので、同じ物体の動きベクトルであったとしても、参照するピクチャが異なっている場合がある。このような場合に、使用不可とするのではなく、相関の高い動きベクトルをスケーリングして用いることができるので、符号化効率改善にかなり効果的である。
＜２．第１の実施の形態＞
［多視点画像符号化装置の構成例］
図４は、本開示を適用した画像処理装置としての多視点画像符号化装置を構成するエンコーダの一実施の形態の構成を表している。
多視点画像符号化装置は、例えば、多視点の画像をそれぞれ符号化するエンコーダ１１−１乃至１１−Ｍにより構成されている。
エンコーダ１１−１は、撮影(Captured)された多視点画像等の画像をHEVC方式で符号化する。例えば、エンコーダ１１−１には、フレーム単位のノンベースビューの色画像が入力画像として入力され、エンコーダ１１−１は、ノンベースビューの色画像を符号化する。
例えば、フレーム単位の他のビュー（ベースビューを含む）の色画像を符号化するエンコーダ１１−Ｍやエンコーダ１１−Ｎも、エンコーダ１１−１と同様に構成される。また、色画像だけでなく、色差情報画像も符号化するエンコーダも存在する場合、エンコーダ１１−１と同様に構成される。
エンコーダ１１−１は、A/D(Analog/Digital)変換部２１、画面並び替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、蓄積バッファ２７、逆量子化部２８、逆直交変換部２９、および演算部３０を含むように構成されている。また、エンコーダ１１−１は、インループフィルタ３１、DPB（Decoded Picture Buffer）３２−１、画面内予測部３３、動き予測・補償部３４、予測画像選択部３５、ＭＶ（動きベクトル）メモリ３６−１を含むように構成されている。
A/D変換部２１には、符号化対象の画像（動画像）であるノンベースビューの色画像のピクチャが、表示順に、順次、供給される。
A/D変換部２１は、そこに供給されるピクチャが、アナログ信号である場合には、そのアナログ信号をA/D変換し、画面並び替えバッファ２２に供給する。
画面並び替えバッファ２２には、例えば、図示せぬ前段のシンタックス符号化部などから符号化情報として、符号化順序が供給される。画面並び替えバッファ２２は、A/D変換部２１からのピクチャを一時記憶し、供給された符号化順序が示すGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。
画面並び替えバッファ２２から読み出されたピクチャは、演算部２３、画面内予測部３３、及び、動き予測・補償部３４に供給される。
演算部２３には、画面並び替えバッファ２２から、ピクチャが供給される他、予測画像選択部３５から、画面内予測部３３、又は、動き予測・補償部３４で生成された予測画像が供給される。
演算部２３は、画面並び替えバッファ２２から読み出されたピクチャを、符号化対象のピクチャである対象ピクチャとし、さらに、対象ピクチャを構成するマクロブロック(LCU)を、順次、符号化対象の対象ブロックとする。
そして、演算部２３は、対象ブロックの画素値から、予測画像選択部３５から供給される予測画像の画素値を減算した減算値を、必要に応じて演算することにより予測符号化を行い、直交変換部２４に供給する。
直交変換部２４は、演算部２３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、TUを単位として、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部２５に供給する。
量子化部２５は、直交変換部２４から供給される変換係数を量子化し、その結果得られる量子化値を、可逆符号化部２６に供給する。
可逆符号化部２６は、量子化部２５からの量子化値に対して、可変長符号化（例えば、CAVLC(Context-Adaptive Variable Length Coding)等）や、算術符号化（例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)等）等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ２７に供給する。
なお、可逆符号化部２６には、量子化部２５から量子化値が供給される他、画面内予測部３３や動き予測・補償部３４から、符号化データのヘッダに含めるヘッダ情報が供給される。
可逆符号化部２６は、画面内予測部３３や動き予測・補償部３４からの、ヘッダ情報を符号化し、符号化データのヘッダに含める。
蓄積バッファ２７は、可逆符号化部２６からの符号化データを一時記憶し、所定のデータレートで出力する。なお、蓄積バッファ２７は、伝送部としても機能する。
蓄積バッファ２７から出力された符号化データは、他のエンコーダ１１−Ｍなどにより符号化された他のビューの符号化データなどと多重化されて、後述する多視点画像復号装置に伝送される。
量子化部２５で得られた量子化値は、可逆符号化部２６に供給される他、逆量子化部２８にも供給され、逆量子化部２８、逆直交変換部２９、及び、演算部３０において、ローカルデコードが行われる。
すなわち、逆量子化部２８は、量子化部２５からの量子化値を、変換係数に逆量子化し、逆直交変換部２９に供給する。
逆直交変換部２９は、逆量子化部２８からの変換係数を逆直交変換し、演算部３０に供給する。
演算部３０は、逆直交変換部２９から供給されるデータに対して、必要に応じて、予測画像選択部３５から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、インループフィルタ３１に供給する。
インループフィルタ３１は、例えば、デブロッキングフィルタで構成される。なお、例えば、HEVC方式が採用される場合、インループフィルタ３１は、デブロッキングフィルタおよび適応オフセットフィルタ(Sample Adaptive Offset:SAO)で構成される。インループフィルタ３１は、演算部３０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）し、DPB３２−１に供給する。また、インループフィルタ３１は、フィルタリングしていないデコード画像を、画面内予測部３３に供給する。
ここで、DPB３２−１は、インループフィルタ３１からのデコード画像、すなわち、エンコーダ１１−１において符号化されてローカルデコードされたノンベースビューの色画像のピクチャを、時間的に後に行われる予測符号化（演算部２３で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。なお、DPB３２−１は、他のビューのエンコーダ１１−Ｍに共用される。
なお、逆量子化部２８、逆直交変換部２９、及び、演算部３０によるローカルデコードは、例えば、参照ピクチャとなることが可能な参照可能ピクチャであるIピクチャ、およびPピクチャを対象として行われ、DPB３２−１では、Iピクチャ、およびPピクチャのデコード画像が記憶される。
画面内予測部３３と動き予測・補償部３４は、対象ブロックとしてPU単位で予測処理を行う。
画面内予測部３３は、対象ピクチャが、イントラ予測（画面内予測）され得るIピクチャ、Pピクチャ、又は、Bピクチャ（Bsピクチャを含む）である場合に、インループフィルタ３１から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部３３は、インループフィルタ３１から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ２２から供給される対象ピクチャの対象ブロックの予測画像とする。
さらに、画面内予測部３３は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部３５に供給する。
動き予測・補償部３４は、対象ピクチャが、インター予測され得るPピクチャ、又は、Bピクチャである場合に、AMVPモードのベクトル予測処理と、M/Sモード（Merge/Skipモード）のベクトル予測処理を行う。
動き予測・補償部３４は、DPB３２−１から、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャ（インター予測参照ピクチャの候補）として読み出す。
また、動き予測・補償部３４は、異なるビューのエンコーダ（例えば、エンコーダ１１−Ｎ）が有するDPB３２−Ｎから、異なるビューにおいて、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャ（インタービュー予測参照ピクチャの候補）として読み出す。
なお、DPB３２−Ｎは、エンコーダ１１−Ｎにおいて符号化されてローカルデコードされた異なるビューの色画像のピクチャを、時間的に後に行われる予測符号化に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶している。
動き予測・補償部３４は、AMVPモードの場合、画面並び替えバッファ２２からの対象ピクチャの対象ブロックと、候補ピクチャとを用いたME(Motion Estimation)（動き検出）によって、対象ブロックと、候補ピクチャの、対象ブロックに対応する対応ブロック（対象ブロックとのSAD(Sum of Absolute Differences)を最小にするブロック）とのずれとしての動きを表すずれベクトル（動きベクトル）を検出する。このとき、検出される動きベクトルとしては、時間的なずれを表すインター動きベクトルと、ビュー間のずれを表すインタービュー動きベクトルがある。
動き予測・補償部３４は、対象ブロックの動きベクトルに従って、DPB３２−１やDPB３２−Ｎからの候補ピクチャの動き分のずれを補償する動き補償を行うことで、予測画像を生成する。
すなわち、動き予測・補償部３４は、候補ピクチャの、対象ブロックの位置から、その対象ブロックの動きベクトルに従って移動した（ずれた）位置のブロック（領域）である対応ブロックを、予測画像として取得する。
また、動き予測・補償部３４は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルを符号化するための予測ベクトルの候補とする。動き予測・補償部３４は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、予測ベクトルの候補とする。動き予測・補償部３４は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出し、予測ベクトルの候補とする。
なお、ここで、異なるビューにおける参照ブロック(図１のCor PU)とは、対象ブロック(図１のCurr PU)の周辺に隣接する隣接ブロックの動きベクトルの中から、視差ベクトルを探し、異なるビューの画像において、対象ブロックと同じ位置から、その視差ベクトル分だけずらした位置のブロックのことである。
一方、動き予測・補償部３４は、M/Sモードの場合、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルの候補とする。動き予測・補償部３４は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、動きベクトルの候補とする。動き予測・補償部３４は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出し、動きベクトルの候補とする。動き予測・補償部３４は、これらの動きベクトルの候補を用いて、候補ピクチャを生成する。
そして、動き予測・補償部３４は、対象ブロックを、予測画像を用いて符号化するのに要する符号化コストを、予測画像の生成に用いる候補ピクチャや、動きベクトルの候補、予測ベクトルの候補、ブロックサイズが異なるインター予測モード（インタービュー予測モード含む）、または、M/Sモードごとに求める。
動き予測・補償部３４は、符号化コストが最小のインター予測モードまたはインタービュー予測モードを、最適なインター予測モードである最適インター予測モードとして、その最適インター予測モードで得られた予測画像と符号化コストとを、予測画像選択部３５に供給する。
動き予測・補償部３４は、最適インター予測モードのときの予測ベクトルの候補を、予測ベクトルとして、動きベクトルとの差分を求め、動きベクトル情報として、予測ベクトルのインデックスとともに、可逆符号化部２６に供給する。また、動き予測・補償部３４は、最適インター予測モードのときの動きベクトルを、ＭＶメモリ３６−１に記憶する。
予測画像選択部３５は、画面内予測部３３、及び、動き予測・補償部３４それぞれからの予測画像のうちの、符号化コストが小さい方を選択し、演算部２３、及び演算部３０に供給する。
ここで、画面内予測部３３は、イントラ予測に関する情報を、ヘッダ情報として、可逆符号化部２６に供給する。動き予測・補償部３４は、インター予測に関する情報（動きベクトルの情報等）を、ヘッダ情報として、可逆符号化部２６に供給する。
可逆符号化部２６は、画面内予測部３３、及び、動き予測・補償部３４それぞれからのヘッダ情報のうちの、符号化コストが小さい予測画像が生成された方からのヘッダ情報を選択し、符号化データのヘッダに含める。
ＭＶメモリ３６−１は、動き予測・補償部３４において決定された動きベクトルを、時間的に後に行われる動きベクトルを符号化するための予測ベクトルを生成するときに参照する動きベクトル（の候補）として記憶する。なお、ＭＶメモリ３６−１は、他のビューのエンコーダ１１−Ｍに共用される。
なお、ＭＶメモリ３６−Ｎは、異なるビューのエンコーダ１１−Ｎが有しており、エンコーダ１１−Ｎにおいて決定された動きベクトルを、時間的に後に行われる動きベクトルを符号化するための予測ベクトルを生成するときに参照する動きベクトル（の候補）として記憶している。ＭＶメモリ３６−Ｎは、動き予測・補償部３４や他のビューのエンコーダ１１−Ｍに共用される。
[動き予測・補償部の構成]
図５は、図４の動き予測・補償部の構成例を示すブロック図である。
図５の例において、動き予測・補償部３４は、動き予測モード生成部５１、参照インデックス自動生成部５２、AMVPモードベクトル予測部５３、M/Sモードベクトル予測部５４、およびモード判定部５５を含むように構成されている。
動き予測モード生成部５１は、インター予測モード、Mergeモード、およびSkipモードなどの動き予測モードを生成する。動き予測モード生成部５１は、インター予測モードを示す情報と、参照画像インデックス（Ref index）を、AMVPモードベクトル予測部５３に供給する。動き予測モード生成部５１は、MergeモードまたはSkipモード (M/Sモード)を、参照インデックス自動生成部５２に供給する。
参照インデックス自動生成部５２は、参照画像インデックスを自動生成し、動き予測モード生成部５１からのMergeモードまたはSkipモードとともに、生成した参照画像インデックス（Ref index）を、M/Sモードベクトル予測部５４に供給する。
AMVPモードベクトル予測部５３は、動き予測モード生成部５１からの予測モードと、参照画像インデックスとに応じて、DPB３２−１またはDPB３２−Ｎから、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャとして読み出す。
AMVPモードベクトル予測部５３は、画面並び替えバッファ２２からの対象ピクチャの対象ブロックと、候補ピクチャとを用いた動き検出によって、対象ブロックと、候補ピクチャの、対象ブロックに対応する対応ブロックとのずれとしての動きを表す動きベクトルを検出する。AMVPモードベクトル予測部５３は、対象ブロックの動きベクトルに従って、DPB３２−１やDPB３２−Ｎからの候補ピクチャの動き分のずれを補償する動き補償を行うことで、予測画像を生成する。
AMVPモードベクトル予測部５３は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルを符号化するための予測ベクトルの候補とする。動き予測・補償部３４は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、予測ベクトルの候補とする。AMVPモードベクトル予測部５３は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出し、予測ベクトルの候補とする。
AMVPモードベクトル予測部５３は、画面並べ替えバッファ２２からの原画像を基に、対象ブロックを、予測画像を用いて符号化するのに要する符号化コストを、予測画像の生成に用いる候補ピクチャや、動きベクトルの候補、予測ベクトルの候補、ブロックサイズが異なるインター予測モードごとに求める。AMVPモードベクトル予測部５３は、求めた符号化コストのうち、最適な符号化コストを、モードコストとして、モード判定部５５に供給する。その際、AMVPモードベクトル予測部５３は、最適な符号化コストのときの予測ベクトルの候補を、予測ベクトルとして、動きベクトルとの差分を求め、動きベクトルの差分(Mvd)と、予測ベクトルのインデックス(Mv index)とを動きベクトル情報として符号化する。
M/Sモードベクトル予測部５４は、参照インデックス自動生成部５２からのモードおよび参照画像インデックスに応じて、DPB３２−１またはDPB３２−Ｎから、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャとして読み出す。
また、M/Sモードベクトル予測部５４は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルの候補とする。M/Sモードベクトル予測部５４は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、動きベクトルの候補とする。M/Sモードベクトル予測部５４は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出し、動きベクトルの候補とする。M/Sモードベクトル予測部５４は、これらの動きベクトルの候補を用いて、候補ピクチャを生成する。
M/Sモードベクトル予測部５４は、画面並べ替えバッファ２２からの原画像を基に、対象ブロックを、予測画像を用いて符号化するのに要する符号化コストを、予測画像の生成に用いる候補ピクチャや、動きベクトルの候補、M/Sモードごとに求める。M/Sモードベクトル予測部５４は、求めた符号化コストのうち、最適な符号化コストを、モードコストとして、モード判定部５５に供給する。また、M/Sモードベクトル予測部５４は、動きベクトルを示すマージインデックス(Merge index)を動きベクトル情報として符号化する。
モード判定部５５は、AMVPモードベクトル予測部５３およびM/Sモードベクトル予測部５４からの符号化コストを参照し、符号化コストが最小のインター予測モードまたはインタービュー予測モードを、最適な動き予測モードである最適予測モードとして判定する。モード判定部５５は、最適予測モードの判定結果をAMVPモードベクトル予測部５３およびM/Sモードベクトル予測部５４に返す。
AMVPモードベクトル予測部５３は、モード判定部５５からの判定結果に基づいて、最適予測モードで得られた予測画像(Pred. image)と符号化コストとを、予測画像選択部３５に供給する。AMVPモードベクトル予測部５３は、最適予測モードと判定されたインター予測モード(Inter mode)、参照画像インデックス(Ref index)、および符号化した動きベクトル情報を、可逆符号化部２６に供給する。
M/Sモードベクトル予測部５４は、モード判定部５５からの判定結果に基づいて、最適予測モードで得られた予測画像(Pred. image)と符号化コストとを、予測画像選択部３５に供給する。また、M/Sモードベクトル予測部５４は、最適予測モードと判定された予測モード(M/S mode)と符号化した動きベクトル情報とを、可逆符号化部２６に供給する。その際、最適な符号化コストの動きベクトルの情報は、後述する図６のSpatial ＭＶメモリ６４に一時保存される（上書きされる）。
[AMVPモードベクトル予測部の構成]
図６は、図５のAMVPモードベクトル予測部の構成例を示すブロック図である。
図６の例において、AMVPモードベクトル予測部５３は、ベクトル探索部６１、予測画像生成部６２、ベクトルコスト判定部６３、Spatial ＭＶメモリ６４、予測ベクトル生成部６５、予測ベクトル生成部６６、スイッチ６７、減算部６８、およびPOC変換部６９を含むように構成されている。
動き予測モード生成部５１からの参照画像インデックスは、ベクトル探索部６１、POC変換部６９、および可逆符号化部２６に供給される。また、ベクトル探索部６１には、動き予測モード生成部５１から予測モードも供給される。
ベクトル探索部６１は、動き予測モード生成部５１からの予測モードと、参照画像インデックスとに応じて、DPB３２−１またはDPB３２−Ｎから、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャとして読み出す。ベクトル探索部６１は、画面並び替えバッファ２２からの対象ピクチャの対象ブロックと、候補ピクチャとを用いた動き検出によって、対象ブロックと、候補ピクチャの、対象ブロックに対応する対応ブロックとのずれとしての動きを表す動きベクトルを検出する。ベクトル探索部６１は、検出した動きベクトルを、予測画像生成部６２、およびベクトルコスト判定部６３に供給する。
予測画像生成部６２は、ベクトル探索部６１からの対象ブロックの動きベクトルに従って、DPB３２−１やDPB３２−Ｎからの候補ピクチャの動き分のずれを補償する動き補償を行うことで、予測画像を生成する。生成した予測画像は、予測画像選択部３５およびベクトルコスト判定部６３に供給される。
ベクトルコスト判定部６３は、画面並べ替えバッファ２２からの原画像、ベクトル探索部６１からの動きベクトル、予測画像生成部６２からの予測画像、予測ベクトル生成部６５および６６からの予測ベクトルとそのMVインデックスなどを用いて、符号化コストを求める。そして、ベクトルコスト判定部６３は、最も小さい符号化コストを判定し、最も小さい符号化コスト（Best cost）とその予測モードを、モード判定部５５に供給する。ベクトルコスト判定部６３は、最も小さい符号化コストの動きベクトルをSpatial ＭＶメモリ６４に一時保存する。
Spatial ＭＶメモリ６４は、最も小さい符号化コストの動きベクトルを、時間的に後に行われる予測ベクトルの生成に用いられる候補として記憶する。Spatial ＭＶメモリ６４においては、動きベクトルが求められたブロックの単位（PU）毎に記憶される。なお、M/Sモードの符号化コストが最適であった場合、Spatial ＭＶメモリ６４の動きベクトルは、M/Sモードの場合の動きベクトルで上書きされる。
また、Spatial ＭＶメモリ６４は、最も小さい符号化コストの動きベクトルがベクトルコスト判定部６３により供給されたとき、最もよい動きベクトル(Best MV)として、減算部６８に供給する。
予測ベクトル生成部６５は、Spatial ＭＶメモリ６４から、同じピクチャにおいて隣接する空間隣接ブロックの動きベクトルを読み出して、Spatialの予測ベクトルを生成する。予測ベクトル生成部６５は、生成したSpatialの予測ベクトルを、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
予測ベクトル生成部６６は、TMVP(Temporal Moving Vector Prediction)による予測ベクトルを生成する。すなわち、予測ベクトル生成部６６は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、予測ベクトルを生成する。なお、その際、POC変換部６９からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、時間隣接ブロックの参照POC（Ref POC）が異なる場合、スケーリングが行われる。すなわち、スケーリングされた動きベクトルが予測ベクトルとされる。予測ベクトル生成部６６は、生成したTemporalの予測ベクトルを、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
また、予測ベクトル生成部６６は、インタービュー予測（IVMP）による予測ベクトルを生成する。予測ベクトル生成部６６は、Spatial ＭＶメモリ６４から、対象ブロックに隣接する隣接ブロックの動きベクトルから、視差ベクトルを探索し、探索した視差ベクトルに基づいて、同じ時刻の異なるビューにおける参照ブロックを求める。そして、予測ベクトル生成部６６は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出して、予測ベクトルを生成する。
なお、その際、対象ブロックの参照POC（Ref POC）と、参照ブロックの参照POC（Ref POC）が異なる場合、スケーリングが行われる。すなわち、スケーリングされた動きベクトルが予測ベクトルとされる。予測ベクトル生成部６６は、生成したインタービューの予測ベクトルを、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
スイッチ６７は、予測ベクトル生成部６５からの予測ベクトルまたは予測ベクトル生成部６６からの予測ベクトルを選択し、選択した予測ベクトルとそのMVインデックスを、ベクトルコスト判定部６３および減算部６８に供給する。
減算部６８は、Spatial ＭＶメモリ６４からの最もコストの小さいとされる動きベクトル(Best MV)と、スイッチ６７からの予測ベクトルとの差分(MVd)を、予測ベクトルのインデックスを示すMVインデックスとともに動きベクトル情報として符号化する。減算部６８は、符号化された動きベクトル情報を、可逆符号化部２６に供給する。
POC変換部６９は、動き予測モード生成部５１からの対象ブロックの参照画像インデックス(Ref index)を、POCに変換し、変換したPOCを示すPOC情報を予測ベクトル生成部６６に供給する。
[Non-Spatial予測ベクトル生成部の構成例]
図７は、図６のNon-Spatialの予測ベクトル生成部の構成例を示すブロック図である。
図７の例において、予測ベクトル生成部６６は、予測ベクトルインデックス生成部８１、ビュー内参照ベクトル生成部８２、およびビュー間参照ベクトル生成部８３を含むように構成されている。
予測ベクトルインデックス生成部８１は、TMVPの予測ベクトルインデックス(MVインデックス)を生成し、ビュー内参照ベクトル生成部８２に供給する。予測ベクトルインデックス生成部８１は、IVMPの予測ベクトルインデックス(MVインデックス)を生成し、ビュー間参照ベクトル生成部８３に供給する。
ビュー内参照ベクトル生成部８２は、TMVPによる予測ベクトルを生成する。すなわち、ビュー内参照ベクトル生成部８２は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、予測ベクトルを生成する。
なお、その際、POC変換部６９からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、対応ブロックの参照POC（Ref POC）が異なる場合、対応ブロックの動きベクトルに対してスケーリングが行われる。すなわち、スケーリングされた動きベクトルが、予測ベクトルとされる。ビュー内参照ベクトル生成部８２は、生成したTemporalの予測ベクトル(PMV)を、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
ビュー間参照ベクトル生成部８３は、IVMPによる予測ベクトルを生成する。ビュー間参照ベクトル生成部８３は、Spatial ＭＶメモリ６４から、対象ブロックに隣接する隣接ブロックの動きベクトルから、視差ベクトルを探索し、探索した視差ベクトルに基づいて、同じ時刻の異なるビューにおける参照ブロックを求める。そして、ビュー間参照ベクトル生成部８３は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出して、予測ベクトルを生成する。
なお、その際、POC変換部６９からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、参照ブロックの参照POC（Ref POC）が異なる場合、参照ブロックの動きベクトルに対してスケーリングが行われる。すなわち、スケーリングされた動きベクトルが、予測ベクトルとされる。ビュー間参照ベクトル生成部８３は、生成したインタービューの予測ベクトルを、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
[エンコーダの動作]
次に、図８のフローチャートを参照して、図４のエンコーダ１１−１の符号化処理について説明する。なお、他のビューの画像の符号化処理を行うエンコーダ１１−Ｎおよび１１−Ｍも同様の符号化処理を行う。
A/D変換部２１には、符号化対象の画像（動画像）であるノンベースビューの色画像のピクチャが、表示順に、順次、供給される。ステップＳ１１において、A/D変換部２１は、ピクチャが、アナログ信号である場合、アナログ信号をA/D変換し、画面並び替えバッファ２２に供給する。
画面並び替えバッファ２２は、A/D変換部２１からのピクチャを一時記憶し、供給された符号化順序が示すGOP(Group of Pictures)の構造に応じて、ピクチャを読み出すことで、ピクチャの並びを、表示順から、符号化順（復号順）に並び替える並び替えを行う。画面並び替えバッファ２２から読み出されたピクチャは、演算部２３、画面内予測部３３、及び、動き予測・補償部３４に供給される。
ステップＳ１２において、画面内予測部３３は、画面内予測を行う。すなわち、画面内予測部３３は、インループフィルタ３１から、対象ピクチャのうちの、既にローカルデコードされている部分（デコード画像）を読み出す。そして、画面内予測部３３は、インループフィルタ３１から読み出した、対象ピクチャのうちのデコード画像の一部を、画面並び替えバッファ２２から供給される対象ピクチャの対象ブロック(PU)の予測画像とする。
画面内予測部３３は、予測画像を用いて対象ブロックを符号化するのに要する符号化コスト、すなわち、対象ブロックの、予測画像に対する残差等を符号化するのに要する符号化コストを求め、予測画像とともに、予測画像選択部３５に供給する。
ステップＳ１３において、動き予測・補償部３４は、動き予測、補償を行う。なお、この動き予測、補償処理については、図９を参照して詳しく後述する。
ステップＳ１３により、すべてのインター予測モードでの動き予測、補償や、予測ベクトル生成、M/Sモードでの動きベクトル生成などが行われて、すべてのインター予測モード（M/Sモード含む）での予測画像が生成される。そして、対象ブロック(PU)を、予測画像を用いて符号化するのに要する符号化コストが、予測画像の生成に用いる候補ピクチャや、動きベクトルの候補、予測ベクトルの候補、マクロブロックタイプが異なるインター予測モード（インタービュー予測モード含む）、または、M/Sモードごとに求められて、最適インター予測モードが決定されて、その符号化コストが、予測画像とともに、予測画像選択部３５に供給される。
なお、このとき、画面内予測部３３は、イントラ予測に関する情報を、ヘッダ情報として、可逆符号化部２６に供給する。動き予測・補償部３４は、インター予測に関する情報（動きベクトルの情報等）を、ヘッダ情報として、可逆符号化部２６に供給する。
ステップＳ１４において、予測画像選択部３５は、画面内予測部３３、及び、動き予測・補償部３４それぞれからの予測画像のうちの、符号化コストが小さい方を選択し、演算部２３、及び演算部３０に供給する。
ステップＳ１５において、動き予測、補償部３４（図６のベクトルコスト判定部６３）は、ステップＳ１４において（画面内予測ではなく）動き予測が選択されたとき、最適インター予測モードの動きベクトルを、図６のSpatial ＭＶメモリ６４に一時保存する。すなわち、ステップＳ１３の処理においても、Spatial ＭＶメモリ６４にAMVPモードの場合の動きベクトルが保存されるが、ステップＳ１５においては、例えば、最適な符号化コストがM/Sモードの場合、M/Sモードの動きベクトルで、図６のSpatial ＭＶメモリ６４の動きベクトルが上書きされる。
ステップＳ１６において、演算部２３は、画面並べ替えバッファ２２からの原画像と、予測画像選択部３５からの予測画像の差分を計算し、計算結果を、直交変換部２４に供給する。すなわち、演算部２３は、対象ブロックの画素値から、予測画像選択部３５から供給される予測画像の画素値を減算した減算値を、必要に応じて演算することにより予測符号化を行い、直交変換部２４に供給する。
ステップＳ１７において、直交変換部２４は、演算部２３からの対象ブロック（の画素値、又は、予測画像が減算された残差）に対して、TUを単位として、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部２５に供給する。
ステップＳ１８において、量子化部２５は、直交変換部２４から供給される変換係数を量子化し、その結果得られる量子化値を、逆量子化部２８および可逆符号化部２６に供給する。
ステップＳ１９において、逆量子化部２８は、量子化部２５からの量子化値を、変換係数に逆量子化し、逆直交変換部２９に供給する。
ステップＳ２０において、逆直交変換部２９は、逆量子化部２８からの変換係数を逆直交変換し、演算部３０に供給する。
ステップＳ２１において、可逆符号化部２６は、量子化部２５からの量子化値である残差係数に対して、可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ２７に供給する。なお、その際、可逆符号化部２６は、画面内予測部３３や動き予測・補償部３４からの、予測モード情報や動きベクトル情報などのヘッダ情報を符号化し、符号化データのヘッダに含める。
ステップＳ２２において、演算部３０は、逆直交変換部２９から供給されるデータに対して、必要に応じて、予測画像選択部３５から供給される予測画像の画素値を加算することで、対象ブロックを復号（ローカルデコード）したデコード画像を得て、インループフィルタ３１に供給する。
ステップＳ２３において、インループフィルタ３１は、LCUの終端であるか否かを判定する。ステップＳ２３において、LCUの終端ではないと判定された場合、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。
ステップＳ２３において、LCUの終端であると判定された場合、処理は、ステップＳ２４に進む。ステップＳ２４において、インループフィルタ３１は、演算部３０からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）する。
ステップＳ２５において、インループフィルタ３１は、フィルタリング後のデコード画像を、DPB３２−１に保存する。
ステップＳ２６において、動き予測、補償部３４は、ステップＳ１５で保存された動きベクトルを圧縮する。すなわち、Spatial ＭＶメモリ６４においては、例えば、４×４ブロック毎に１つの動きベクトルが保存されているが、それを、１６×１６ブロック毎に１つの動きベクトルが保存されるように動きベクトルが圧縮される。例えば、１６×１６ブロックにおける左上のブロックの動きベクトルが選択される。
そして、動き予測、補償部３４は、ステップＳ２７において、圧縮した動きベクトルを、ＭＶメモリ３６−１に保存する。
ステップＳ２８において、他のビューのエンコーダ１１−Ｍは、他のビューのピクチャを符号化する。なお、この符号化処理は、図８の符号化処理と基本的に同様の処理である。
以上のようにして、符号化処理が行われる。
[動き予測、補償処理の例]
次に、図９のフローチャートを参照して、図８のステップＳ１３の動き予測、補償処理について説明する。
動き予測モード生成部５１は、ステップＳ４１において、インター予測モード（インタービュー予測モード含む）、Mergeモード、およびSkipモードなどの動き予測モードを生成する。
動き予測モード生成部５１は、ステップＳ４２において、生成した動き予測モードがインター予測モードであるか否かを判定する。ステップＳ４２において、インター予測モードであると判定された場合、動き予測モード生成部５１は、インター予測モード(Inter mode)と、参照画像インデックス（Ref index）を、AMVPモードベクトル予測部５３に供給し、処理は、ステップＳ４３に進む。
ステップＳ４３において、AMVPモードベクトル予測部５３は、AMVPモードのベクトル予測を行う。このAMVPモードのベクトル予測の詳細は、図１０を参照して後述される。
ステップＳ４３の処理により、インター予測モードについての動きベクトルが探索され、予測画像が生成され、残差画像が生成され、Spatial（空間）およびNon-spatialの各予測ベクトルが生成される。特に、Non-spatialの予測ベクトルを生成する際に、カレントPU のRef POCと、異なるビューにおける参照PUのRef POCが異なる場合、参照PUの動きベクトルがスケーリングされて、カレントPUの予測ベクトルの候補とされる。そして、予測ベクトルの候補と、動きベクトルの差分が計算されることで、最小コストの予測ベクトルが選択される。選択された予測ベクトルの最小コストは、モード判定部５５に供給される。また、選択された最小コストの予測ベクトルと動きベクトルの差分とその予測ベクトルのインデックスは、動きベクトル情報として符号化される。
一方、ステップＳ４２において、インター予測モードではないと判定された場合、動き予測モード生成部５１は、MergeモードまたはSkipモード (M/Sモード)を、参照インデックス自動生成部５２に供給し、処理は、ステップＳ４４に進む。
ステップＳ４４において、参照インデックス自動生成部５２は、参照画像インデックスを自動生成し、動き予測モード生成部５１からのMergeモードまたはSkipモードを示す情報とともに、生成した参照画像インデックス（Ref index）を、M/Sモードベクトル予測部５４に供給する。
ステップＳ４５において、M/Sモードベクトル予測部５４は、MergeモードまたはSkipモードのベクトル予測を行う。
すなわち、M/Sモードベクトル予測部５４は、参照インデックス自動生成部５２からのモードおよび参照画像インデックスに応じて、DPB３２−１またはDPB３２−Ｎから、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャとして読み出す。
また、M/Sモードベクトル予測部５４は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルの候補とする。M/Sモードベクトル予測部５４は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、動きベクトルの候補とする。M/Sモードベクトル予測部５４は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルを読み出し、動きベクトルの候補とする。M/Sモードベクトル予測部５４は、これらの動きベクトルの候補を用いて、候補ピクチャを生成する。
M/Sモードベクトル予測部５４は、画面並べ替えバッファ２２からの原画像を基に、対象ブロックを、予測画像を用いて符号化するのに要する符号化コストを、予測画像の生成に用いる候補ピクチャや、動きベクトルの候補、M/Sモードごとに求める。M/Sモードベクトル予測部５４は、求めた符号化コストのうち、最適な符号化コストを、モードコストとして、モード判定部５５に供給する。その際、M/Sモードベクトル予測部５４は、最適な符号化コストの動きベクトルを示すマージインデックス(Merge index)を、動きベクトル情報として符号化する。
ステップＳ４６において、モード判定部５５は、AMVPモードベクトル予測部５３およびM/Sモードベクトル予測部５４からの符号化コストを参照し、符号化コストが最小のインター予測モードまたはインタービュー予測モードを、最適なインター予測モードである最適インター予測モードとして判定する。モード判定部５５は、最適インター予測モードの判定結果をAMVPモードベクトル予測部５３およびM/Sモードベクトル予測部５４に返す。
ステップＳ４７において、AMVPモードベクトル予測部５３またはM/Sモードベクトル予測部５４は、モード判定部５５からの判定結果に基づいて、符号化コストが小さいモードの符号化した動き情報を選択し、選択した動き情報を可逆符号化部２６に供給する。
[AMVPモードのベクトル予測処理の例]
次に、図１０のフローチャートを参照して、図９のステップS４３のAMVPモードのベクトル予測処理について説明する。
動き予測モード生成部５１からの予測モードは、参照画像インデックスとともにベクトル探索部６１に供給される。
ステップＳ６１において、ベクトル探索部６１は、動き予測モード生成部５１からの予測モードと、参照画像インデックスとに応じて、ベクトルの探索を行う。
すなわち、ベクトル探索部６１は、動き予測モード生成部５１からの予測モードと、参照画像インデックスとに応じて、DPB３２−１またはDPB３２−Ｎから、対象ピクチャより前に符号化されてローカルデコードされた１以上のピクチャを、候補ピクチャとして読み出す。ベクトル探索部６１は、画面並び替えバッファ２２からの対象ピクチャの対象ブロックと、候補ピクチャとを用いた動き検出によって、対象ブロックと、候補ピクチャの、対象ブロックに対応する対応ブロックとのずれとしての動きを表す動きベクトルを検出する。ベクトル探索部６１は、検出した動きベクトルを、予測画像生成部６２、およびベクトルコスト判定部６３に供給する。
ステップＳ６２において、予測画像生成部６２は、ベクトル探索部６１からの対象ブロックの動きベクトルに従って、予測画像を生成する。
すなわち、予測画像生成部６２は、ベクトル探索部６１からの対象ブロックの動きベクトルに従って、DPB３２−１やDPB３２−Ｎからの候補ピクチャの動き分のずれを補償する動き補償を行うことで、予測画像を生成する。生成した予測画像は、予測画像選択部３５およびベクトルコスト判定部６３に供給される。
ステップＳ６３において、ベクトルコスト判定部６３は、画面並べ替えバッファ２２からの原画像、ベクトル探索部６１からの動きベクトル、および予測画像生成部６２からの予測画像を用いて、残差画像を生成する。生成された残差画像は、後述するステップＳ６７における符号化コストの計算に用いられる。
ステップＳ６４において、予測ベクトル生成部６５は、Spatialの予測ベクトルを生成する。すなわち、予測ベクトル生成部６５は、Spatial ＭＶメモリ６４から、同じピクチャにおいて隣接する空間隣接ブロックの動きベクトルを読み出して、Spatialの予測ベクトルを生成する。予測ベクトル生成部６５は、生成したSpatialの予測ベクトルを、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
ステップＳ６５において、予測ベクトル生成部６６は、Non- Spatialの予測ベクトルを生成する。すなわち、予測ベクトル生成部６６は、TMVPによる予測ベクトルと、IVMPによる予測ベクトルを生成する。このNon- Spatialの予測ベクトルの生成処理は、図１１を参照して後述される。
ステップＳ６５の処理により、TMVPによる予測ベクトルの生成処理が行われ、IVMPによる予測ベクトルの生成処理が行われる。なお、IVMPによる予測ベクトルの生成処理の際、対象ブロックに隣接する隣接ブロックの動きベクトルから、視差ベクトルが探索され、探索された視差ベクトルに基づいて、同じ時刻の異なるビューにおける参照ブロックが求められる。そして、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、同じ時刻の異なるビューにおける参照ブロックの動きベクトルが読み出されて、対象ブロックの参照POC（Ref POC）と、参照ブロックの参照POC（Ref POC）が異なる場合、スケーリングが行われる。なお、これらのPOC情報は、POC変換部６９においてRef indexから変換されて、供給される。
ステップＳ６５の処理により生成されたTMVPによる予測ベクトルとIVMPの予測ベクトルとは、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給される。
ステップＳ６６において、ベクトルコスト判定部６３は、対象ブロックの動きベクトルと、予測ベクトル生成部６５および６６から供給される対象ブロックの予測ベクトルとの残差を計算する。
ステップＳ６７において、ベクトルコスト判定部６３は、ステップＳ６３で求められた残差画像、およびステップＳ６６で求められたベクトルの残差などを用いて、符号化コストを求め、求めた符号化コストから、最小コストの予測ベクトルを選択し、選択した予測ベクトルに対応する動きベクトル(Best MV)を、Spatial ＭＶメモリ６４に蓄積する。
この動きベクトル(Best MV)は、Spatial ＭＶメモリ６４を介して、減算部６８に供給される。
ステップＳ６８において、Spatial ＭＶメモリ６４からの最もコストの小さいとされる動きベクトル(Best MV)と、この動きベクトルに対応する、スイッチ６７からの予測ベクトルとの差分(MVd)を、予測ベクトルのインデックスを示すMVインデックスとともに動きベクトル情報として符号化する。
[Non-Spatialの予測ベクトル生成処理の例]
次に、図１１のフローチャートを参照して、図１０のステップＳ６５におけるNon-Spatialの予測ベクトル生成処理について説明する。
予測ベクトルインデックス生成部８１は、TMVPの予測ベクトルインデックス(MVインデックス)を生成し、ビュー内参照ベクトル生成部８２に供給する。予測ベクトルインデックス生成部８１は、IVMPの予測ベクトルインデックス(MVインデックス)を生成し、ビュー間参照ベクトル生成部８３に供給する。
ステップＳ８１において、ビュー内参照ベクトル生成部８２は、TMVPによる予測ベクトルを生成する。
すなわち、ビュー内参照ベクトル生成部８２は、ＭＶメモリ３６−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、予測ベクトルを生成する。ビュー内参照ベクトル生成部８２は、生成したTemporalの予測ベクトル(PMV)を、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給する。
ステップＳ８２乃至Ｓ８４において、ビュー間参照ベクトル生成部８３は、IVMPによる予測ベクトルを生成する。
すなわち、ステップＳ８２において、ビュー間参照ベクトル生成部８３は、Spatial ＭＶメモリ６４から、対象ブロック(PU)に隣接する隣接ブロックの動きベクトルから、視差ベクトルを探索し、探索した視差ベクトルに基づいて、視差を算出する。
ステップＳ８３において、ビュー間参照ベクトル生成部８３は、異なるビューにおいて、ステップＳ８２で求めた視差分だけシフトした位置のPUを参照PUとして選択する。
ステップＳ８４において、ビュー間参照ベクトル生成部８３は、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎから、選択した参照PUの動きベクトルを読み出して、選択した参照PUの動きベクトルから予測ベクトルを生成する。この予測ベクトル生成処理は、図１２および図１３を参照して後述される。
ステップＳ８４の処理により、生成されたIVMPの予測ベクトルは、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給される。
[予測ベクトル生成処理の例]
次に、図１２のフローチャートを参照して、図１１のステップＳ８４の予測ベクトル生成処理について説明する。なお、図１２の例においては、Ｌ０方向についての予測ベクトル生成処理が示されている。
ビュー間参照ベクトル生成部８３は、ステップＳ１０１において、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎを探索し、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であるか否かを判定する。
ステップＳ１０１において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であると判定された場合、処理は、ステップＳ１０２に進む。ステップＳ１０２において、ビュー間参照ベクトル生成部８３は、対象PUのRef POCであるPOCcurr_l0と、参照PUのRef POCであるPOCbase_l0とが等しいか否かを判定する。
ステップＳ１０２において、POCcurr_l0とPOCbase_l0とが等しいと判定された場合、処理は、ステップＳ１０３に進む。ステップＳ１０３において、ビュー間参照ベクトル生成部８３は、Ｌ０方向の動きベクトルMVbase=l0を、対象PUのＬ０方向の予測ベクトルPMV_L0とし、予測ベクトル生成処理は終了される。
ステップＳ１０１において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用不可であると判定された場合、または、ステップＳ１０２において、POCcurr_l0とPOCbase_l0とが等しくないと判定された場合、処理は、ステップＳ１０４に進む。
ビュー間参照ベクトル生成部８３は、ステップＳ１０４において、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎを探索し、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であるか否かを判定する。
ステップＳ１０４において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であると判定された場合、処理は、ステップＳ１０５に進む。ステップＳ１０５において、ビュー間参照ベクトル生成部８３は、対象PUのRef POCであるPOCcurr_l0と、参照PUのRef POCであるPOCbase_l1とが等しいか否かを判定する。
ステップＳ１０５において、POCcurr_l0とPOCbase_l1とが等しいと判定された場合、処理は、ステップＳ１０６に進む。ステップＳ１０６において、ビュー間参照ベクトル生成部８３は、Ｌ１方向の動きベクトルMVbase=l1を、対象PUのＬ０方向の予測ベクトルPMV_L0とし、予測ベクトル生成処理は終了される。
ステップＳ１０４において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用不可であると判定された場合、または、ステップＳ１０５において、POCcurr_l0とPOCbase_l1とが等しくないと判定された場合、処理は、ステップＳ１０７に進む。
ビュー間参照ベクトル生成部８３は、ステップＳ１０７において、再度、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であるか否かを判定する。
ステップＳ１０７において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であると判定された場合、処理は、ステップＳ１０８に進む。ステップＳ１０８において、ビュー間参照ベクトル生成部８３は、Ｌ０方向の動きベクトルMVbase=l0を、対象PUのRef POCであるPOCcurr_l0と参照PUのRef POCであるPOCbase_l0とに応じてスケーリングする。そして、ビュー間参照ベクトル生成部８３は、スケーリングされたMVbase=l0を対象PUのＬ０方向の予測ベクトルPMV_L0とし、予測ベクトル生成処理は終了される。
ステップＳ１０７において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用不可であると判定された場合、処理は、ステップＳ１０９に進む。
ビュー間参照ベクトル生成部８３は、ステップＳ１０９において、再度、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であるか否かを判定する。
ステップＳ１０７において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であると判定された場合、処理は、ステップＳ１１０に進む。ステップＳ１１０において、ビュー間参照ベクトル生成部８３は、Ｌ１方向の動きベクトルMVbase=l1を、対象PUのRef POCであるPOCcurr_l0と、参照PUのRef POCであるPOCbase_l1とに応じてスケーリングする。そして、ビュー間参照ベクトル生成部８３は、スケーリングされたMVbase=l1を対象PUのＬ０方向の予測ベクトルPMV_L0とし、予測ベクトル生成処理は終了される。
ステップＳ１０９において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用不可であると判定された場合、処理は、ステップＳ１１１に進む。ステップＳ１１１において、ビュー間参照ベクトル生成部８３は、対象PUのＬ０方向の予測ベクトルPMV_L0がないものとし、予測ベクトル生成処理は終了される。
[予測ベクトル生成処理の例]
次に、図１３のフローチャートを参照して、図１１のステップＳ８４の予測ベクトル生成処理について説明する。なお、図１３の例においては、Ｌ１方向についての予測ベクトル生成処理が示されている。
ビュー間参照ベクトル生成部８３は、ステップＳ１３１において、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎを探索し、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であるか否かを判定する。
ステップＳ１３１において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であると判定された場合、処理は、ステップＳ１３２に進む。ステップＳ１３２において、ビュー間参照ベクトル生成部８３は、対象PUのRef POCであるPOCcurr_l1と、参照PUのRef POCであるPOCbase_l1とが等しいか否かを判定する。
ステップＳ１３２において、POCcurr_l1とPOCbase_l1とが等しいと判定された場合、処理は、ステップＳ１３３に進む。ステップＳ１３３において、ビュー間参照ベクトル生成部８３は、Ｌ１方向の動きベクトルMVbase=l1を、対象PUのＬ１方向の予測ベクトルPMV_L1とし、予測ベクトル生成処理は終了される。
ステップＳ１３１において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用不可であると判定された場合、または、ステップＳ１３２において、POCcurr_l1とPOCbase_l1とが等しくないと判定された場合、処理は、ステップＳ１３４に進む。
ビュー間参照ベクトル生成部８３は、ステップＳ１３４において、異なるビューの動きベクトルが記憶されるＭＶメモリ３６−Ｎを探索し、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であるか否かを判定する。
ステップＳ１３４において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であると判定された場合、処理は、ステップＳ１３５に進む。ステップＳ１３５において、ビュー間参照ベクトル生成部８３は、対象PUのRef POCであるPOCcurr_l1と、参照PUのRef POCであるPOCbase_l0とが等しいか否かを判定する。
ステップＳ１３５において、POCcurr_l1とPOCbase_l0とが等しいと判定された場合、処理は、ステップＳ１３６に進む。ステップＳ１３６において、ビュー間参照ベクトル生成部８３は、Ｌ０方向の動きベクトルMVbase=l0を、対象PUのＬ１方向の予測ベクトルPMV_L1とし、予測ベクトル生成処理は終了される。
ステップＳ１３４において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用不可であると判定された場合、または、ステップＳ１３５において、POCcurr_l1とPOCbase_l0とが等しくないと判定された場合、処理は、ステップＳ１３７に進む。
ビュー間参照ベクトル生成部８３は、ステップＳ１３７において、再度、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であるか否かを判定する。
ステップＳ１３７において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用可能であると判定された場合、処理は、ステップＳ１３８に進む。ステップＳ１３８において、ビュー間参照ベクトル生成部８３は、Ｌ１方向の動きベクトルMVbase=l1を、対象PUのRef POCであるPOCcurr_l1と、参照PUのRef POCであるPOCbase_l1とに応じてスケーリングする。そして、ビュー間参照ベクトル生成部８３は、スケーリングされたMVbase=l1を対象PUのＬ１方向の予測ベクトルPMV_L1とし、予測ベクトル生成処理は終了される。
ステップＳ１３７において、異なるビュー（ベースビュー）のＬ１方向の動きベクトルMVbase=l1が利用不可であると判定された場合、処理は、ステップＳ１３９に進む。
ビュー間参照ベクトル生成部８３は、ステップＳ１３９において、再度、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であるか否かを判定する。
ステップＳ１３７において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が利用可能であると判定された場合、処理は、ステップＳ１４０に進む。ステップＳ１４０において、ビュー間参照ベクトル生成部８３は、Ｌ０方向の動きベクトルMVbase=l0を、対象PUのRef POCであるPOCcurr_l1と、参照PUのRef POCであるPOCbase_l0とに応じてスケーリングする。そして、ビュー間参照ベクトル生成部８３は、スケーリングされたMVbase=l0を対象PUのＬ１方向の予測ベクトルPMV_L1とし、予測ベクトル生成処理は終了される。
ステップＳ１３９において、異なるビュー（ベースビュー）のＬ０方向の動きベクトルMVbase=l0が不可であると判定された場合、処理は、ステップＳ１４１に進む。ステップＳ１４１において、ビュー間参照ベクトル生成部８３は、対象PUのＬ１方向の予測ベクトルPMV_L1がないものとし、予測ベクトル生成処理は終了される。
以上のように、カレントPUのRef POC（Ref 0）と、異なるビューにおける参照PUのRef POC（Ref 0）が異なる場合に、参照PUの動きベクトルがスケーリングされて、カレントPUの予測ベクトルの候補とされるようにした。
これにより、相関の高い予測ベクトルを生成することができるので、動きベクトルの符号化効率を改善することができる。
＜３．第２の実施の形態＞
［多視点画像復号装置の構成例］
図１６は、本開示を適用した画像処理装置としての多視点画像復号装置を構成するデコーダの一実施の形態の構成を表している。
多視点画像復号装置は、例えば、多視点の画像をそれぞれ復号するデコーダ２１１−１乃至２１１−Ｍにより構成されている。
デコーダ２１１−１は、エンコーダ１１−１により符号化された符号化ストリームのうち、ノンベースビューの色画像に対応する符号化データをHEVC方式で復号し、ノンベースビューの色画像を生成する。
例えば、エンコーダ１１−Ｍおよび１１−Ｎにより符号化された符号化ストリームの対応する符号化データを復号し、フレーム単位の他のビュー（ベースビューを含む）の色画像を生成するデコーダ２１１−Ｍおよびデコーダ２１１−Ｎも、デコーダ２１１−１と同様に構成される。また、色画像だけでなく、色差情報画像も生成するデコーダも存在する場合、デコーダ２１１−１と同様に構成される。
図１６の例において、デコーダ２１１−１は、蓄積バッファ２２１、可逆復号部２２２、逆量子化部２２３、逆直交変換部２２４、演算部２２５、インループフィルタ２２６、画面並び替えバッファ２２７、およびD/A(Digital/Analog)変換部２２８を含むように構成されている。また、デコーダ２１１−１は、DPB２２９−１、画面内予測部２３０、動き補償部２３１、予測画像選択部２３２、およびＭＶメモリ２３３−１を含むように構成されている。
蓄積バッファ２２１は、エンコーダ１１−１からの符号化ストリームのうち、対応する符号化データを受け取る受け取り部でもある。蓄積バッファ２２１は、受け取った符号化データを一時記憶し、可逆復号部２２２に供給する。この符号化データには、ベースビューの色画像の符号化データ（量子化された残差係数）だけでなく、ヘッダ情報が含まれている。
可逆復号部２２２は、蓄積バッファ２２１からの符号化データを可変長復号することにより、量子化された残差係数やヘッダ情報を復元する。そして、可逆復号部２２２は、量子化値を、逆量子化部２２３に供給し、ヘッダ情報のうち対応するものを、画面内予測部２３０、および動き補償部２３１にそれぞれ供給する。
逆量子化部２２３は、可逆復号部２２２からの量子化された残差係数を、変換係数に逆量子化し、逆直交変換部２２４に供給する。
逆直交変換部２２４は、TU単位で逆量子化部２２３からの変換係数を逆直交変換し、ブロック（例えば、LCU）単位で、演算部２２５に供給する。
演算部２２５は、逆直交変換部２２４から供給されるブロックを復号対象の対象ブロックとして、その対象ブロックに対して、必要に応じて、予測画像選択部２３２から供給される予測画像を加算することで、復号を行う。演算部２２５は、その結果得られるデコード画像をインループフィルタ２２６に供給する。
インループフィルタ２２６は、例えば、デブロッキングフィルタで構成される。なお、例えば、HEVC方式が採用される場合、インループフィルタ２２６は、デブロッキングフィルタおよび適応オフセットフィルタで構成される。インループフィルタ２２６は、演算部２２５からのデコード画像に対して、例えば、図４のインループフィルタ３１と同様のフィルタリングを行い、そのフィルタリング後のデコード画像を、画面並び替えバッファ２２７に供給する。
画面並び替えバッファ２２７は、インループフィルタ２２６からのデコード画像のピクチャを一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A変換部２２８に供給する。
D/A変換部２２８は、画面並び替えバッファ２２７からのピクチャをアナログ信号で出力する必要がある場合に、そのピクチャをD/A変換して出力する。
また、インループフィルタ２２６は、フィルタリング後のデコード画像のうちの、参照可能ピクチャであるIピクチャ、Pピクチャ、及び、Bsピクチャのデコード画像を、DPB２２９−１に供給する。なお、インループフィルタ２２６は、フィルタリングしていないデコード画像を、画面内予測部２３０に供給する。
ここで、DPB２２９−１は、インループフィルタ２２６からのデコード画像、すなわち、デコーダ２１１−１において符号化されてローカルデコードされたノンベースビューの色画像のピクチャを、時間的に後に行われる予測符号化（演算部２２５で予測画像の減算が行われる符号化）に用いる予測画像を生成するときに参照する参照ピクチャ（の候補）として記憶する。なお、DPB２２９−１は、他のビューのデコーダ２１１−Ｍに共用される。
画面内予測部２３０は、可逆復号部２２２からのヘッダ情報（イントラ予測モード）に基づき、対象ブロック(PU)が、イントラ予測（画面内予測）で生成された予測画像を用いて符号化されているかどうかを認識する。
対象ブロックが、イントラ予測で生成された予測画像を用いて符号化されている場合、画面内予測部２３０は、図４の画面内予測部３３と同様に、インループフィルタ２２６から、対象ブロックを含むピクチャ（対象ピクチャ）のうちの、既に復号されている部分（デコード画像）を読み出す。そして、画面内予測部２３０は、インループフィルタ２２６から読み出した、対象ピクチャのうちのデコード画像の一部を、対象ブロックの予測画像として、予測画像選択部２３２に供給する。
動き補償部２３１は、可逆復号部２２２からのヘッダ情報に基づき、対象ブロックが、インター予測で生成された予測画像を用いて符号化されているかどうかを認識する。
対象ブロックが、インター予測で生成された予測画像を用いて符号化されている場合、動き補償部２３１は、可逆復号部２２２からのヘッダ情報に基づき、対象ブロックの最適予測モードを認識する。
動き補償部２３１は、最適予測モードがインター予測モードの場合、AMVPモードのベクトル予測処理を行い、最適予測モードがMerge/Skipモードの場合、M/Sモード（Merge/Skipモード）のベクトル予測処理を行う。
動き補償部２３１は、DPB２２９−１またはDPB２２９−Ｎに記憶されている候補ピクチャから、参照画像インデックスに対応する候補ピクチャ(Inter Pred.参照ピクチャやInter-view Pred.参照ピクチャ)を読み出す。
そして、動き補償部２３１は、AMVPモードの場合、可逆復号部２２２からのヘッダ情報のうち、予測ベクトルのインデックスに基づき、動きベクトルの復号に用いる予測ベクトルを生成する。
例えば、予測ベクトルのインデックスがSpatialの予測ベクトルを示す場合、動き補償部２３１は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、予測ベクトルを生成する。予測ベクトルのインデックスがTemporalの予測ベクトルを示す場合、動き補償部２３１は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、予測ベクトルを生成する。予測ベクトルのインデックスがインタービュー予測ベクトルを示す場合、動き補償部２３１は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、同じ時刻の異なるビューにおける参照ブロック(図１のCor PU)の動きベクトルを読み出し、予測ベクトルを生成する。
動き補償部２３１は、可逆復号部２２２からのヘッダ情報のうちの動き情報と生成された予測ベクトルを加算することで、対象ブロックの予測画像の生成に用いられた動きを表す動きベクトルを認識する。そして、動き補償部２３１は、図４の動き予測・補償部３４と同様に、その動きベクトルに従って、参照ピクチャの動き補償を行うことで、予測画像を生成する。
すなわち、動き補償部２３１は、候補ピクチャの、対象ブロックの位置から、その対象ブロックのずれベクトルに従って移動した（ずれた）位置のブロック（対応ブロック）を、予測画像として取得する。
動き補償部２３１は、M/Sモードの場合、可逆復号部２２２からのヘッダ情報のうち、マージインデックスに基づき、動きベクトルを生成する。
例えば、マージインデックスがSpatialの予測ベクトルを示す場合、動き補償部２３１は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルを生成する。マージインデックスがTemporalの予測ベクトルを示す場合、動き補償部２３１は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、動きベクトルを生成する。マージインデックスがインタービュー予測ベクトルを示す場合、動き補償部２３１は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、同じ時刻の異なるビューにおける参照ブロック(図１のCor PU)の動きベクトルを読み出し、動きベクトルを生成する。
そして、動き補償部２３１は、図４の動き予測・補償部３４と同様に、その動きベクトルに従って、参照ピクチャの動き補償を行うことで、予測画像を生成する。動き補償部２３１は、予測画像を、予測画像選択部２３２に供給する。
予測画像選択部２３２は、画面内予測部２３０から予測画像が供給される場合には、その予測画像を、動き補償部２３１から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部２２５に供給する。
ＭＶメモリ２３３−１は、動き補償部２３１において決定された動きベクトルを、時間的に後に行われる動きベクトルを符号化するための予測ベクトルを生成するときに参照する動きベクトル（の候補）として記憶する。なお、ＭＶメモリ２３３−１は、他のビューのデコーダ２１１−Ｍに共用される。
なお、ＭＶメモリ２３３−Ｎは、異なるビューのエンコーダ１１−Ｎが有しており、デコーダ２１１−Ｎにおいて決定された動きベクトルを、時間的に後に行われる動きベクトルを符号化するための予測ベクトルを生成するときに参照する動きベクトル（の候補）として記憶している。ＭＶメモリ２３３−Ｎは、動き補償部２３１や他のビューのデコーダ２１１−Ｍに共用される。
[動き補償部の構成]
図１５は、図１４の動き補償部の構成例を示すブロック図である。
図１５の例において、動き補償部２３１は、参照インデックス自動生成部２５１、AMVPモードベクトル予測部２５２、およびM/Sモードベクトル予測部２５３を含むように構成されている。
予測モードがインター予測モードではない場合、可逆復号部２２２から、ヘッダ情報のうち、MergeモードまたはSkipモードとマージインデックスとが参照インデックス自動生成部２５１に供給される。
参照インデックス自動生成部２５１は、参照画像インデックスを自動生成し、可逆復号部２２２からのMergeモードまたはSkipモードとともに、生成した参照画像インデックス（Ref index）とマージインデックスを、M/Sモードベクトル予測部２５３に供給する。
予測モードがインター予測モードである場合、可逆復号部２２２から、ヘッダ情報のうち、インター予測モード(Inter mode)、参照画像インデックス(Ref index)、動きベクトルの差分情報(Mvd)、予測ベクトルのインデックス(Mv index)がAMVPモードベクトル予測部２５２に供給される。
AMVPモードベクトル予測部２５２は、インター予測モードに応じたDPB２２９−１またはDPB２２９−Ｎに記憶されている候補ピクチャから、参照画像インデックスに対応する候補ピクチャ(Inter Pred.参照ピクチャまたはInter-view Pred.参照ピクチャ)を読み出す。
AMVPモードベクトル予測部２５２は、予測ベクトルのインデックスに基づき、動きベクトルの復号に用いる予測ベクトルを生成する。
例えば、予測ベクトルのインデックスがSpatialの予測ベクトルを示す場合、AMVPモードベクトル予測部２５２は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、予測ベクトルを生成する。予測ベクトルのインデックスがTemporalの予測ベクトルを示す場合、AMVPモードベクトル予測部２５２は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて対応または隣接する時間隣接ブロックの動きベクトルを読み出して、予測ベクトルを生成する。予測ベクトルのインデックスがインタービュー予測ベクトルを示す場合、AMVPモードベクトル予測部２５２は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、同じ時刻の異なるビューにおける参照ブロック(図１のCor PU)の動きベクトルを読み出し、予測ベクトルを生成する。
AMVPモードベクトル予測部２５２は、動きベクトル差分情報と生成された予測ベクトルを加算することで、対象ブロックの予測画像の生成に用いられた動きを表す動きベクトルを認識する。そして、AMVPモードベクトル予測部２５２は、その動きベクトルに従って、参照ピクチャの動き補償を行うことで、予測画像(Pred. image)を生成する。生成された予測画像は、予測画像選択部２３２に供給される。
M/Sモードベクトル予測部２５３は、DPB２２９−１またはDPB２２９−Ｎに記憶されている候補ピクチャから、参照画像インデックスに対応する候補ピクチャ(Inter Pred.参照ピクチャ)を読み出す。
M/Sモードベクトル予測部２５３は、可逆復号部２２２からのヘッダ情報のうち、マージインデックスに基づき、動きベクトルを生成する。
例えば、マージインデックスがSpatialの予測ベクトルを示す場合、M/Sモードベクトル予測部２５３は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルを生成する。マージインデックスがTemporalの予測ベクトルを示す場合、M/Sモードベクトル予測部２５３は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、動きベクトルを生成する。マージインデックスがインタービュー予測ベクトルを示す場合、M/Sモードベクトル予測部２５３は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、同じ時刻の異なるビューにおける参照ブロック(図１のCor PU)の動きベクトルを読み出し、動きベクトルを生成する。生成された動きベクトルの情報は、後述する図１６のSpatial ＭＶメモリ２６２に一時保存される。
M/Sモードベクトル予測部２５３は、その動きベクトルに従って、参照ピクチャの動き補償を行うことで、予測画像を生成する。生成された予測画像は、予測画像選択部２３２に供給される。
[AMVPモードベクトル予測部の構成]
図１６は、図１５のAMVPモードベクトル予測部の構成例を示すブロック図である。
図１６の例において、AMVPモードベクトル予測部２５２は、予測画像生成部２６１、Spatial ＭＶメモリ２６２、加算部２６３、予測ベクトル生成部２６４、予測ベクトル生成部２６５、スイッチ２６６、およびPOC変換部２６７を含むように構成されている。
予測画像生成部２６１は、加算部２６３により動きベクトル差分情報に予測ベクトルが加算されることで生成された動きベクトル(MV)を、Spatial ＭＶメモリ２６２を介して入力する。予測画像生成部２６１は、可逆復号部２２２からの参照画像インデックス(Ref index)に対応する参照画像を、DPB２２９−１またはDPB２２９−Ｎから読み出し、動きベクトルに従って、読み出した参照画像の動き補償を行うことで、予測画像(Pred. image)を生成する。生成された予測画像は、予測画像選択部２３２に供給される。
Spatial ＭＶメモリ２６２は、加算部２６３により生成された動きベクトル(MV)を、時間的に後に行われる予測ベクトルの生成に用いられる候補として記憶する。Spatial ＭＶメモリ２６２においては、動きベクトルが求められたブロックの単位（PU）毎に記憶される。なお、M/Sモードの動きベクトルも、Spatial ＭＶメモリ２６２に記憶される。
加算部２６３は、予測ベクトル生成部２６４または予測ベクトル生成部２６５により生成された予測ベクトルをスイッチ２６６を介して入力し、入力した予測ベクトルを、可逆復号部２２２から供給される動きベクトルの差分情報に加算することで、動きベクトルを生成する。加算部２６３は、生成された動きベクトルを、Spatial ＭＶメモリ２６２に記憶させる。
予測ベクトル生成部２６４は、可逆復号部２２２から供給される予測ベクトルのインデックスが示す動きベクトルを、Spatial ＭＶメモリ２６２から読み出して、Spatialの予測ベクトルを生成する。予測ベクトル生成部２６４は、生成した予測ベクトルを、スイッチ２６６を介して、加算部２６３に供給する。
予測ベクトル生成部２６５は、可逆復号部２２２から供給される予測ベクトルのインデックスが示す動きベクトルを、ＭＶメモリ２３３−１またはＭＶメモリ２３３−Ｎから読み出して、Non- Spatial (すなわち、TMVPまたはIVMP)の予測ベクトルを生成する。予測ベクトル生成部２６５は、生成した予測ベクトルを、スイッチ２６６を介して、加算部２６３に供給する。
すなわち、予測ベクトルのインデックスがTemporalの予測ベクトルを示す場合、予測ベクトル生成部２６５は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、予測ベクトルを生成する。その際、POC変換部２６７からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、対応ブロックの参照POC（Ref POC）が異なる場合、対応ブロックの動きベクトルに対してスケーリングが行われる。すなわち、スケーリングされた動きベクトルが、予測ベクトルとされる。
予測ベクトルのインデックスがインタービュー予測ベクトルを示す場合、AMVPモードベクトル予測部２５２は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、同じ時刻の異なるビューにおける参照ブロック(図１のCor PU)の動きベクトルを読み出し、予測ベクトルを生成する。その際、POC変換部２６７からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、参照ブロックの参照POC（Ref POC）が異なる場合、参照ブロックの動きベクトルに対してスケーリングが行われる。すなわち、スケーリングされた動きベクトルが、予測ベクトルとされる。
POC変換部２６７は、可逆復号部２２２からの対象ブロックの参照画像インデックス(Ref index)を、POCに変換し、変換したPOCを示すPOC情報を予測ベクトル生成部２６５に供給する。
[Non-Spatial予測ベクトル生成部の構成例]
図１７は、図１６のNon-Spatialの予測ベクトル生成部の構成例を示すブロック図である。
図１６の例において、予測ベクトル生成部２６５は、ビュー内参照ベクトル生成部２８１、およびビュー間参照ベクトル生成部２８２を含むように構成されている。
予測ベクトルのインデックスがTemporal(TMVP)の予測ベクトルを示す場合、可逆復号部２２２から、予測ベクトルのインデックス(MV index)がビュー内参照ベクトル生成部２８１に供給される。
ビュー内参照ベクトル生成部２８１は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて、予測ベクトルのインデックスが指し示す、すなわち、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、予測ベクトルを生成する。
なお、その際、POC変換部２６７からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、対応ブロックの参照POC（Ref POC）が異なる場合、対応ブロックの動きベクトルに対してスケーリングが行われる。すなわち、スケーリングされた動きベクトルが、予測ベクトルとされる。
ビュー内参照ベクトル生成部２８１は、生成した予測ベクトルをスイッチ２６６を介して、加算部２６３に供給する。
予測ベクトルのインデックスがインタービュー予測(IVMP)の予測ベクトルを示す場合、可逆復号部２２２から、予測ベクトルのインデックス(MV index)がビュー間参照ベクトル生成部２８２に供給される。
ビュー間参照ベクトル生成部２８２は、IVMPによる予測ベクトルを生成する。ビュー間参照ベクトル生成部２８２は、Spatial ＭＶメモリ２６２から、対象ブロックに隣接する隣接ブロックの動きベクトルから、視差ベクトルを探索し、探索した視差ベクトルに基づいて、同じ時刻の異なるビューにおける参照ブロックを求める。そして、ビュー間参照ベクトル生成部２８２は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、予測ベクトルのインデックスが指し示す、参照ブロックの動きベクトルを読み出して、予測ベクトルを生成する。
なお、その際、POC変換部２６７からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、参照ブロックの参照POC（Ref POC）が異なる場合、参照ブロックの動きベクトルに対してスケーリングが行われる。すなわち、スケーリングされた動きベクトルが、予測ベクトルとされる。
ビュー間参照ベクトル生成部２８２は、生成した予測ベクトルをスイッチ２６６を介して、加算部２６３に供給する。
[デコーダの動作]
次に、図１８のフローチャートを参照して、図１４のデコーダ２１１−１の復号処理について説明する。なお、他のビューの画像の復号処理を行うデコーダ２１１−Ｎおよび２１１−Ｍも同様の復号処理を行う。
蓄積バッファ２２１は、受け取ったノンベースビューの色画像に対応する符号化データを一時記憶し、可逆復号部２２２に供給する。
可逆復号部２２２は、ステップＳ２１１において、蓄積バッファ２２１からの符号化データの量子化された残差係数を復号する。
逆量子化部２２３は、ステップＳ２１２において、可逆復号部２２２からの量子化された残差係数を、変換係数に逆量子化し、逆直交変換部２２４に供給する。
逆直交変換部２２４は、ステップＳ２１３において、逆量子化部２２３からの変換係数を逆直交変換し、演算部２２５に供給する。
ステップＳ２１４において、画面内予測部２３０は、可逆復号部２２２からのヘッダ情報（イントラ予測モード）に基づき、対象ブロック(PU)に対する予測が、画面内予測であるか否かを判定する。ステップＳ２１４において、画面内予測であると判定された場合、処理は、ステップＳ２１５に進む。ステップＳ２１５において、画面内予測部２３０は、画面内予測を行う。
ステップＳ２１４において、画面内予測ではないと判定された場合、処理は、ステップＳ２１６に進む。ステップＳ２１６において、動き補償部２３１は、動き補償処理を行う。この動き補償処理は、図１９を参照して後述される。
ステップＳ２１６の処理により、動き予測が動き予測モードの場合、予測ベクトルインデックスに応じた予測ベクトルが生成され、動きベクトルが生成される。また、参照画像インデックスに応じた参照画像が読み出され、生成された動きベクトルに従って、動き補償がなされ、予測画像が生成される。
M/Sモードの場合、マージインデックスに応じた動きベクトルが生成され、参照画像が読み出され、生成された動きベクトルに従って、動き補償がなされ、予測画像が生成される。生成された予測画像は、予測画像選択部２３２に供給される。
ステップＳ２１７において、動き補償部２３１（加算部２６３）は、生成された動きベクトルを、Spatial ＭＶメモリ２６２に保存する。
予測画像選択部２３２は、画面内予測部２３０から予測画像が供給される場合には、その予測画像を、動き補償部２３１から予測画像が供給される場合には、その予測画像を、それぞれ選択し、演算部２２５に供給する。
ステップＳ２１８において、演算部２２５は、逆直交変換部２２４から供給されるブロック（差分）を、予測画像選択部２３２から供給される予測画像に加算する。演算部２２５は、その結果得られるデコード画像をインループフィルタ２２６に供給する。
インループフィルタ２２６は、ステップＳ２１９において、LCUの終端であるか否かを判定する。ステップＳ２１９において、LCUの終端ではないと判定された場合、処理は、ステップＳ２１１に戻り、それ以降の処理が繰り返される。
ステップＳ２１９において、LCUの終端であると判定された場合、処理は、ステップＳ２２０に進む。ステップＳ２２０において、インループフィルタ２２６は、演算部２２５からのデコード画像をフィルタリングすることにより、デコード画像に生じたブロック歪を除去（低減）する。
ステップＳ２２１において、インループフィルタ２２６は、フィルタリング後のデコード画像を、DPB２２９−１に保存する。
ステップＳ２２２において、動き補償部２３１は、ステップＳ２１７で保存された動きベクトルを圧縮する。すなわち、Spatial ＭＶメモリ２６２においては、図６のSpatial ＭＶメモリ６４と同様に、例えば、４×４ブロック毎に１つの動きベクトルが保存されているが、それを、１６×１６ブロック毎に１つの動きベクトルが保存されるように動きベクトルが圧縮される。例えば、１６×１６ブロックにおける左上のブロックの動きベクトルが選択される。
そして、動き補償部２３１は、ステップＳ２２３において、圧縮した動きベクトルを、ＭＶメモリ２３３−１に保存する。
ステップＳ２２４において、他のビューのデコーダ２１１−Ｍは、他のビューのピクチャを復号する。なお、この復号処理は、図１８の復号処理と基本的に同様の処理である。
以上のようにして、復号処理が行われる。
[動き補償処理の例]
次に、図１９のフローチャートを参照して、図１８のステップＳ２１６の動き補償処理を説明する。
可逆復号部２２２は、ステップＳ２４１において、ヘッダ情報のうち、動き予測モードを復号し、ステップＳ２４２において、インター予測モードであるか否かを判定する。
ステップＳ２４２において、インター予測モードと判定された場合、可逆復号部２２２は、インター予測モード(Inter mode)、参照画像インデックス(Ref index)、動きベクトルの差分情報(Mvd)、予測ベクトルのインデックス(Mv index)を、AMVPモードベクトル予測部２５２に供給し、処理は、ステップＳ２４３に進む。
ステップＳ２４３において、AMVPモードベクトル予測部２５２は、AMVPモードのベクトル予測を行う。このAMVPモードのベクトル予測処理は、図２０のフローチャートを参照して後述される。
ステップＳ２４３の処理により、予測ベクトルのインデックスに応じて予測ベクトルが生成され、動きベクトル差分情報と生成された予測ベクトルを加算することで、対象ブロックの動きベクトルが生成され、生成された動きベクトルに従って、予測画像が生成される。生成された予測画像は、予測画像選択部２３２に供給される。
一方、ステップＳ２４２において、インター予測モードではないと判定された場合、可逆復号部２２２は、MergeモードまたはSkipモードとマージインデックスとを、参照インデックス自動生成部２５１に供給し、処理は、ステップＳ２４４に進む。
ステップＳ２４４において、参照インデックス自動生成部２５１は、参照画像インデックスを自動生成し、可逆復号部２２２からのMergeモードまたはSkipモードとともに、生成した参照画像インデックス（Ref index）とマージインデックスを、M/Sモードベクトル予測部２５３に供給する。
ステップＳ２４５において、M/Sモードベクトル予測部２５３は、MergeモードまたはSkipモードのベクトル予測処理を行う。すなわち、M/Sモードベクトル予測部２５３は、DPB２２９−１またはDPB２２９−Ｎに記憶されている候補ピクチャから、参照画像インデックスに対応する候補ピクチャ(Inter Pred.参照ピクチャ)を読み出す。
M/Sモードベクトル予測部２５３は、可逆復号部２２２からのヘッダ情報のうち、マージインデックスに基づき、動きベクトルを生成する。
例えば、マージインデックスがSpatialの予測ベクトルを示す場合、M/Sモードベクトル予測部２５３は、同じピクチャにおいて隣接する空間隣接ブロックを用いて、動きベクトルを生成する。マージインデックスがTemporalの予測ベクトルを示す場合、M/Sモードベクトル予測部２５３は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、動きベクトルを生成する。マージインデックスがインタービュー予測ベクトルを示す場合、M/Sモードベクトル予測部２５３は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、同じ時刻の異なるビューにおける参照ブロック(図１のCor PU)の動きベクトルを読み出し、動きベクトルを生成する。
M/Sモードベクトル予測部２５３は、その動きベクトルに従って、参照ピクチャの動き補償を行うことで、予測画像を生成する。生成された予測画像は、予測画像選択部２３２に供給される。
[AMVPモードのベクトル予測処理]
次に、図２０のフローチャートを参照して、AMVPモードのベクトル予測処理について説明する。
ステップＳ２６１において、可逆復号部２２２は、ヘッダ情報のうちの動きベクトル差分情報(MVd)を復号し、復号した動きベクトル差分情報を、加算部２６３に供給する。
ステップＳ２６２において、可逆復号部２２２は、ヘッダ情報のうちの参照画像インデックスを復号し、復号した参照画像インデックス(Ref index)を、予測画像生成部２６１およびPOC変換部２６７に供給する。
ステップＳ２６３において、可逆復号部２２２は、ヘッダ情報のうちの予測ベクトルのインデックスを復号する。
ステップＳ２６４において、可逆復号部２２２は、ステップＳ２６３において復号された予測ベクトルインデックスを参照し、予測ベクトルは、Spatialであるか否かを判定する。
ステップＳ２６４において、予測ベクトルは、Spatialであると判定された場合、可逆復号部２２２は、復号した予測ベクトルインデックスを予測ベクトル生成部２６４に供給し、処理は、ステップＳ２６５に進む。
ステップＳ２６５において、予測ベクトル生成部２６４は、Spatialの予測ベクトルを生成する。すなわち、予測ベクトル生成部２６４は、可逆復号部２２２から供給される予測ベクトルのインデックスが示す動きベクトルを、Spatial ＭＶメモリ２６２から読み出して、Spatialの予測ベクトルを生成する。予測ベクトル生成部２６４は、生成した予測ベクトルを、スイッチ２６６を介して、加算部２６３に供給する。
ステップＳ２６４において、予測ベクトルは、Spatialではないと判定された場合、処理は、ステップＳ２６６に進む。
ステップＳ２６６において、予測ベクトル生成部２６５は、Non-Spatialの予測ベクトルを生成する。このNon-Spatialの予測ベクトルの生成処理は、図２１を参照して後述される。
ステップＳ２６６の処理により、可逆復号部２２２から予測ベクトルのインデックスが供給され、予測ベクトルのインデックスが示す動きベクトルが、ＭＶメモリ２３３−１またはＭＶメモリ２３３−Ｎから読み出され、Non- Spatial (すなわち、TMVPまたはIVMP)の予測ベクトルが生成される。生成した予測ベクトルは、スイッチ２６６を介して、加算部２６３に供給する。
ステップＳ２６７において、加算部２６３は、動きベクトルを生成する。すなわち、加算部２６３には、予測ベクトル生成部２６４または予測ベクトル生成部２６５により生成された予測ベクトルがスイッチ２６６を介して入力される。加算部２６３は、入力した予測ベクトルを、可逆復号部２２２から供給される動きベクトルの差分情報に加算することで、動きベクトルを生成する。
ステップＳ２６８において、加算部２６３は、生成された動きベクトルを、Spatial ＭＶメモリ２６２に蓄積する。なお、このとき、生成された動きベクトルは、Spatial ＭＶメモリ２６２を介して、予測画像生成部２６１にも供給される。
ステップＳ２６９において、予測画像生成部２６１は、予測画像(Pred. image)を生成する。すなわち、予測画像生成部２６１は、可逆復号部２２２からの参照画像インデックス(Ref index)に対応する参照画像を、DPB２２９−１またはDPB２２９−Ｎから読み出す。予測画像生成部２６１は、Spatial ＭＶメモリ２６２からの動きベクトルに従って、読み出した参照画像の動き補償を行うことで、予測画像を生成する。
[Non-Spatialの予測ベクトルの生成処理]
次に、図２１のフローチャートを参照して、図２０のステップＳ２６６におけるNon-Spatialの予測ベクトルの生成処理について説明する。
可逆復号部２２２は、ステップＳ２８１において、可逆復号部２２２は、図２０のステップＳ２６３において復号された予測ベクトルインデックスを参照し、予測ベクトルが、temporalであるか否かを判定する。ステップＳ２８１において、temporalであると判定された場合、可逆復号部２２２は、予測ベクトルのインデックスを、ビュー内参照ベクトル生成部２８１に供給し、処理は、ステップＳ２８２に進む。
ステップＳ２８２において、ビュー内参照ベクトル生成部２８１は、TMVPによる予測ベクトルを生成する。すなわち、ビュー内参照ベクトル生成部２８１は、ＭＶメモリ２３３−１から、同じビューの異なる時刻のピクチャにおいて、予測ベクトルのインデックスが指し示す、すなわち、動きベクトルにより対応づけられる対応ブロックの動きベクトルを読み出して、予測ベクトルを生成する。生成された予測ベクトルは、スイッチ２６６を介して加算部２６３に供給される。
ステップＳ２８１において、temporalではないと判定された場合、可逆復号部２２２は、予測ベクトルのインデックスを、ビュー間参照ベクトル生成部２８２に供給し、処理は、ステップＳ２８３に進む。
ステップＳ２８３乃至Ｓ２８５において、ビュー間参照ベクトル生成部２８２は、IVMPによる予測ベクトルを生成する。
すなわち、ステップＳ２８３において、ビュー間参照ベクトル生成部２８２は、Spatial ＭＶメモリ２６２から、対象ブロック(PU)に隣接する隣接ブロックの動きベクトルから、視差ベクトルを探索し、探索した視差ベクトルに基づいて、視差を算出する。
ステップＳ２８４において、ビュー間参照ベクトル生成部２８２は、異なるビューにおいて、ステップＳ２８３で求めた視差分だけシフトした位置のPUを参照PUとして選択する。
ステップＳ２８５において、ビュー間参照ベクトル生成部２８２は、異なるビューの動きベクトルが記憶されるＭＶメモリ２３３−Ｎから、選択した参照PUの動きベクトルを読み出して、選択した参照PUの動きベクトルから予測ベクトルを生成する。この予測ベクトル生成処理は、図１２および図１３を参照して上述された予測ベクトル生成処理と基本的に同じ処理を行うため繰り返しになるので、その説明は省略される。
すなわち、ステップＳ２８５においては、POC変換部２６７からのPOC情報に基づいて、対象ブロックの参照POC（Ref POC）と、参照ブロックの参照POC（Ref POC）が同じであるか、異なるかが判定され、異なると判定された場合、参照ブロックの動きベクトルに対してスケーリングが行われる。すなわち、Ref POCが異なると判定された場合、参照ブロックの動きベクトルがスケーリングされて、予測ベクトルが生成される。
ステップＳ２８５の処理により、生成されたIVMPの予測ベクトルは、その予測ベクトルを示すMVインデックスとともに、スイッチ６７を介して、ベクトルコスト判定部６３および減算部６８に供給される。
以上のように、対象ブロックの参照POC（Ref POC）と異なるビューにおける参照ブロックの参照POC（Ref POC）とが異なる場合にも、参照ブロックの動きベクトルをスケーリングして、スケーリングされた動きベクトルを予測ベクトルとすることができる。すなわち、異なるビューの参照ブロックの動きベクトルも、予測ベクトルの候補とすることができる。したがって、相関の高い動きベクトルをスケーリングして用いることができるので、符号化効率改善にかなり効果的である。
なお、上記説明においては、AMVPモードの場合について詳しく説明してきたが、本技術は、Mergeモードの場合にも適用することができる。なお、Mergeモードの場合は、TMVPの場合と同様に、Ref indexを0に固定し、ベースビューの参照PUのRef POCとカレントPUのRef POCが違うときは、参照PUの動きベクトルがスケーリングして、予測ベクトルとされる。
この場合、TMVPとIVMPとの処理回路を共通化することができる。
また、上記説明においては、対象ブロックのインター動きベクトルの予測ベクトルを求めるにあたり、対象ブロックとは異なるビューにおいて、対象ブロックの隣接ブロックの視差ベクトルが示す視差だけシフトさせた参照ブロックのインター動きベクトルをPOCに応じて時間方向にスケーリングして用いる例を説明した。
これに対して、本技術は、インタービュー動きベクトルを予測ベクトルとして用いる場合にも適用することができる。すなわち、ある時刻の対象ブロックに対応する異なる時刻の対応ブロックの動きベクトルが、対象ブロックと異なるビューを指すインタービュー動きベクトルであった場合、対応ブロックの動きベクトルをview idに応じてスケーリングして、対象ブロックの予測ベクトルとして用いることができる。
以上においては、符号化方式としてHEVC方式をベースに用いるようにした。ただし、本開示はこれに限らず、その他の符号化方式／復号方式を適用することができる。
なお、本開示は、例えば、HEVC方式等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本開示は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
さらに、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えばMPEG DASH等のようなHTTPストリーミングにも適用することができる。
＜４．第３の実施の形態＞
［コンピュータの構成例］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ８００において、CPU（Central Processing Unit）８０１，ROM（Read Only Memory）８０２，RAM（Random Access Memory）８０３は、バス８０４により相互に接続されている。
バス８０４には、さらに、入出力インタフェース８１０が接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、及びドライブ８１５が接続されている。
入力部８１１は、キーボード、マウス、マイクロホンなどよりなる。出力部８１２は、ディスプレイ、スピーカなどよりなる。記憶部８１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部８１４は、ネットワークインタフェースなどよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ８００（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、プログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
＜５．応用例＞
［第１の応用例：テレビジョン受像機］
図２３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去（抑制）などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去（抑制）などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
［第２の応用例：携帯電話機］
図２４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Unallocated Space Bitmap）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
［第３の応用例：記録再生装置］
図２５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
［第４の応用例：撮像装置］
図２６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）又はCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
＜６．スケーラブル符号化の応用例＞
［第１のシステム］
次に、スケーラブル符号化（階層符号化）されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図２７に示される例のように、伝送するデータの選択のために利用される。
図２７に示されるデータ伝送システム１０００において、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを読み出し、ネットワーク１００３を介して、パーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置に配信する。
その際、配信サーバ１００２は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ１００２が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ１００２が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ１００２は、スケーラブル符号化データ記憶部１００１に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。
例えば、スケーラブル符号化データ記憶部１００１は、スケーラブルに符号化されたスケーラブル符号化データ（BL+EL）１０１１を記憶するとする。このスケーラブル符号化データ（BL+EL）１０１１は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。
配信サーバ１００２は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ１００２は、処理能力の高いパーソナルコンピュータ１００４やタブレットデバイス１００６に対しては、高品質なスケーラブル符号化データ（BL+EL）１０１１をスケーラブル符号化データ記憶部１００１から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ１００２は、処理能力の低いAV機器１００５や携帯電話機１００７に対しては、スケーラブル符号化データ（BL+EL）１０１１からベースレイヤのデータを抽出し、スケーラブル符号化データ（BL+EL）１０１１と同じコンテンツのデータであるが、スケーラブル符号化データ（BL+EL）１０１１よりも低品質なスケーラブル符号化データ（BL）１０１２として伝送する。
このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ（BL+EL）１０１１は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部１００１の記憶領域をより効率よく使用することができる。
なお、パーソナルコンピュータ１００４乃至携帯電話機１００７のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク１００３も、例えばインターネットやLAN（Local Area Network）等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。
そこで、配信サーバ１００２は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション（ソフトウエア）の性能等といった端末装置の能力に関する情報、並びに、ネットワーク１００３の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ１００２が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。
なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ１００４が、伝送されたスケーラブル符号化データ（BL+EL）１０１１から、ベースレイヤのスケーラブル符号化データ（BL）１０１２を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。
もちろん、スケーラブル符号化データ記憶部１００１、配信サーバ１００２、ネットワーク１００３、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ１００２がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム１０００は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。
そして、図２７のようなデータ伝送システム１０００においても、図１乃至図２１を参照して上述した本技術を適用することにより、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
［第２のシステム］
また、スケーラブル符号化は、例えば、図２８に示される例のように、複数の通信媒体を介する伝送のために利用される。
図２８に示されるデータ伝送システム１１００において、放送局１１０１は、地上波放送１１１１により、ベースレイヤのスケーラブル符号化データ（BL）１１２１を伝送する。また、放送局１１０１は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク１１１２を介して、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する（例えばパケット化して伝送する）。
端末装置１１０２は、放送局１１０１が放送する地上波放送１１１１の受信機能を有し、この地上波放送１１１１を介して伝送されるベースレイヤのスケーラブル符号化データ（BL）１１２１を受け取る。また、端末装置１１０２は、ネットワーク１１１２を介した通信を行う通信機能をさらに有し、このネットワーク１１１２を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を受け取る。
端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
また、端末装置１１０２は、例えばユーザ指示等に応じて、地上波放送１１１１を介して取得したベースレイヤのスケーラブル符号化データ（BL）１１２１と、ネットワーク１１１２を介して取得したエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２とを合成して、スケーラブル符号化データ（BL+EL）を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。
以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。
また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ（BL）１１２１を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ（EL）１１２２を伝送する通信媒体を、ネットワーク１１１２とするか、地上波放送１１１１とするかを、ネットワーク１１１２の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。
このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。
もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置１１０２の数も任意である。さらに、以上においては、放送局１１０１からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム１１００は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。
そして、図２８のようなデータ伝送システム１１００においても、図１乃至図２１を参照して上述した本技術を適用することにより、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
［第３のシステム］
また、スケーラブル符号化は、例えば、図２９に示される例のように、符号化データの記憶に利用される。
図２９に示される撮像システム１２００において、撮像装置１２０１は、被写体１２１１を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ（BL+EL）１２２１として、スケーラブル符号化データ記憶装置１２０２に供給する。
スケーラブル符号化データ記憶装置１２０２は、撮像装置１２０１から供給されるスケーラブル符号化データ（BL+EL）１２２１を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置１２０２は、スケーラブル符号化データ（BL+EL）１２２１からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置１２０２は、高品質でデータ量の多いスケーラブル符号化データ（BL+EL）１２２１のまま記憶する。
このようにすることにより、スケーラブル符号化データ記憶装置１２０２は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。
例えば、撮像装置１２０１が監視カメラであるとする。撮像画像に監視対象（例えば侵入者）が写っていない場合（通常時の場合）、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ（スケーラブル符号化データ）は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体１２１１として写っている場合（注目時の場合）、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ（スケーラブル符号化データ）は、高品質に記憶される。
なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置１２０２が、画像を解析することにより判定しても良い。また、撮像装置１２０１が判定し、その判定結果をスケーラブル符号化データ記憶装置１２０２に伝送するようにしてもよい。
なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。
また、以上においては、通常時と注目時の２つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、３つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。
また、撮像装置１２０１が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置１２０１が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ（BL）１２２２を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置１２０１が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ（BL+EL）１２２１を生成し、スケーラブル符号化データ記憶装置１２０２に供給するようにしてもよい。
以上においては、監視カメラを例に説明したが、この撮像システム１２００の用途は任意であり、監視カメラに限定されない。
そして、図２９のような撮像システム１２００においても、図１乃至図２１を参照して上述した本技術を適用することにより、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
＜７．第６の実施の形態＞
[実施のその他の例]
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
[ビデオセット]
本技術をセットとして実施する場合の例について、図３０を参照して説明する。図３０は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図３０に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図３０に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図３０の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図３０のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方若しくは両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信に関する処理を行うプロセッサ（若しくはモジュール）である。例えば、ブロードバンドモデム１３３３は、送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。例えば、ブロードバンドモデム１３３３は、ビデオプロセッサ１３３２が処理する画像データや画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報をデジタル変調・復調することができる。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図３０において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図３０に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
[ビデオプロセッサの構成例]
図３１は、本技術を適用したビデオプロセッサ１３３２（図３０）の概略的な構成の一例を示している。
図３１の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図３１に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図３０）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１（図３０）等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１（図３０）等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１（図３０）等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３０）から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により（図３０）各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３０）等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ１３２１（図３０）等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等（いずれも図３０）を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１（図３０）等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１（図３０）等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１（図３０）等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３０）等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１（図３０）等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３０）等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１（図３０）等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、第１の実施の形態に係る画像符号化装置（図４）や第２の実施の形態に係る画像復号装置（図１４）の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
[ビデオプロセッサの他の構成例]
図３２は、本技術を適用したビデオプロセッサ１３３２（図３０）の概略的な構成の他の例を示している。図３２の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
より具体的には、図３２に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図３２に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１（図３０）等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１（図３０）のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。
図３２に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４若しくはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１（いずれも図３０）等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２（いずれも図３０）等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３０）等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３０）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１（図３０）等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１（図３０）等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１（図３０）等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３（いずれも図３０）等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、第１の実施の形態に係る画像符号化装置（図４）や第２の実施の形態に係る画像復号装置（図１４）を実現する機能ブロックを有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
なお、コーデックエンジン１５１６において、本技術（すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
[装置への適用例]
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図２３）、携帯電話機９２０（図２４）、記録再生装置９４０（図２５）、撮像装置９６０（図２６）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
また、ビデオセット１３００は、例えば、図２７のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図２８のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図２９の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等にも組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。さらに、図３３のコンテンツ再生システムや、図３９の無線通信システムにおける各装置にも組み込むことができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図２３）、携帯電話機９２０（図２４）、記録再生装置９４０（図２５）、撮像装置９６０（図２６）、図２７のデータ伝送システム１０００におけるパーソナルコンピュータ１００４、AV機器１００５、タブレットデバイス１００６、および携帯電話機１００７等の端末装置、図２８のデータ伝送システム１１００における放送局１１０１および端末装置１１０２、並びに、図２９の撮像システム１２００における撮像装置１２０１およびスケーラブル符号化データ記憶装置１２０２等に組み込むことができる。さらに、図３３のコンテンツ再生システムや、図３９の無線通信システムにおける各装置にも組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えば、後述するMPEG DASH等のようなHTTPストリーミングのコンテンツ再生システムやWi-Fi規格の無線通信システムにも適用することができる。
＜８．MPEG-DASHの応用例＞
[コンテンツ再生システムの概要]
まず、図３３乃至図３５を参照し、本技術を適用可能なコンテンツ再生システムについて概略的に説明する。
以下では、まず、このような各実施形態において共通する基本構成について図３３および図３４を参照して説明する。
図３３は、コンテンツ再生システムの構成を示した説明図である。図３３に示したように、コンテンツ再生システムは、コンテンツサーバ１６１０、１６１１と、ネットワーク１６１２と、コンテンツ再生装置１６２０（クライアント装置）と、を備える。
コンテンツサーバ１６１０、１６１１とコンテンツ再生装置１６２０は、ネットワーク１６１２を介して接続されている。このネットワーク１６１２は、ネットワーク１６１２に接続されている装置から送信される情報の有線、または無線の伝送路である。
例えば、ネットワーク１６１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet（登録商標）を含む各種のLAN（Local Area Network）、WAN（Wide Area Network）などを含んでもよい。また、ネットワーク１６１２は、IP-VPN（Internet Protocol-Virtual Private Network）などの専用回線網を含んでもよい。
コンテンツサーバ１６１０は、コンテンツデータを符号化し、符号化データおよび符号化データのメタ情報を含むデータファイルを生成して記憶する。なお、コンテンツサーバ１６１０がMP4形式のデータファイルを生成する場合、符号化データは「mdat」に該当し、メタ情報は「moov」に該当する。
また、コンテンツデータは、音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウエアなどであってもよい。
ここで、コンテンツサーバ１６１０は、同一コンテンツに関し、異なるビットレートで複数のデータファイルを生成する。またコンテンツサーバ１６１１は、コンテンツ再生装置１６２０からのコンテンツの再生要求に対して、コンテンツサーバ１６１０のURLの情報に、コンテンツ再生装置１６２０で当該URLに付加させるパラメータの情報を含めてコンテンツ再生装置１６２０に送信する。以下、図３４を参照して当該事項について具体的に説明する。
図３４は、図３３のコンテンツ再生システムにおけるデータの流れを示した説明図である。コンテンツサーバ１６１０は、同一のコンテンツデータを異なるビットレートで符号化し、図３４に示したように例えば２MbpsのファイルＡ、１．５MbpsのファイルＢ、１MbpsのファイルＣを生成する。相対的に、ファイルＡはハイビットレートであり、ファイルＢは標準ビットレートであり、ファイルＣはロービットレートである。
また、図３４に示したように、各ファイルの符号化データは複数のセグメントに区分されている。例えば、ファイルＡの符号化データは「Ａ１」、「Ａ２」、「Ａ３」、・・・「Ａｎ」というセグメントに区分されており、ファイルＢの符号化データは「Ｂ１」、「Ｂ２」、「Ｂ３」、・・・「Ｂｎ」というセグメントに区分されており、ファイルＣの符号化データは「Ｃ１」、「Ｃ２」、「Ｃ３」、・・・「Ｃｎ」というセグメントに区分されている。
なお、各セグメントはMP4のシンクサンプル（たとえば、AVC/H．264の映像符号化ではIDR−ピクチャ）で始まる単独で再生可能な１または２以上の映像符号化データおよび音声符号化データより構成サンプルで構成されてもよい。例えば、一秒３０フレームのビデオデータが１５フレーム固定長のGOP（Group of Picture）にて符号化されていた場合、各セグメントは、４GOPに相当する２秒分の映像ならびに音声符号化データであっても、２０GOPに相当する１０秒分の映像ならびに音声符号化データであってもよい。
また、各ファイルにおける配置順番が同一のセグメントによる再生範囲（コンテンツの先頭からの時間位置の範囲）は同一である。例えば、セグメント「Ａ２」、セグメント「Ｂ２」、およびセグメント「Ｃ２」の再生範囲は同一であり、各セグメントが２秒分の符号化データである場合、セグメント「Ａ２」、セグメント「Ｂ２」、およびセグメント「Ｃ２」の再生範囲は、いずれもコンテンツの２秒乃至４秒である。
コンテンツサーバ１６１０は、このような複数のセグメントから構成されるファイルＡ乃至ファイルＣを生成すると、ファイルＡ乃至ファイルＣを記憶する。そして、コンテンツサーバ１６１０は、図３４に示したように、異なるファイルを構成するセグメントをコンテンツ再生装置１６２０に順次に送信し、コンテンツ再生装置１６２０は、受信したセグメントをストリーミング再生する。
ここで、本実施形態によるコンテンツサーバ１６１０は、各符号化データのビットレート情報およびアクセス情報を含むプレイリストファイル（以下、MPD：Media Presentation Description）をコンテンツ再生装置１６２０に送信し、コンテンツ再生装置１６２０は、MPDに基づき、複数のビットレートのうちのいずれかのビットレートを選択し、選択したビットレートに対応するセグメントの送信をコンテンツサーバ１６１０に要求する。
図３３では、１つのコンテンツサーバ１６１０のみが図示されているが、本開示は係る例に限定されないことは言うまでもない。
図３５は、MPDの具体例を示した説明図である。図３５に示したように、MPDには、異なるビットレート（BANDWIDTH）を有する複数の符号化データに関するアクセス情報が含まれる。例えば、図３５に示したMPDは、２５６Kbps、１．０２４Mbps、１．３８４Mbps、１．５３６Mbps、２．０４８Mbpsの各々の符号化データが存在することを示す共に、各符号化データに関するアクセス情報を含む。コンテンツ再生装置１６２０は、かかるMPDに基づき、ストリーミング再生する符号化データのビットレートを動的に変更することが可能である。
なお、図３３にはコンテンツ再生装置１６２０の一例として携帯端末を示しているが、コンテンツ再生装置１６２０はかかる例に限定されない。例えば、コンテンツ再生装置１６２０は、PC（Personal Computer）、家庭用映像処理装置（DVDレコーダ、ビデオデッキなど）、PDA（Personal Digital Assistants）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、コンテンツ再生装置１６２０は、携帯電話、PHS（Personal Handyphone System）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。
[コンテンツサーバ１６１０の構成]
以上、図３３乃至図３５を参照し、コンテンツ再生システムの概要を説明した。続いて、図３６を参照し、コンテンツサーバ１６１０の構成を説明する。
図３６は、コンテンツサーバ１６１０の構成を示した機能ブロック図である。図３６に示したように、コンテンツサーバ１６１０は、ファイル生成部１６３１と、記憶部１６３２と、通信部１６３３と、を備える。
ファイル生成部１６３１は、コンテンツデータを符号化するエンコーダ１６４１を備え、同一のコンテンツでビットレートが異なる複数の符号化データ、および上述したMPDを生成する。例えば、ファイル生成部１６３１は、２５６Kbps、１．０２４Mbps、１．３８４Mbps、１．５３６Mbps、２．０４８Mbpsの各々の符号化データを生成した場合、図３５に示したようなMPDを生成する。
記憶部１６３２は、ファイル生成部１６３１により生成されたビットレートが異なる複数の符号化データおよびMPDを記憶する。この記憶部１６３２は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO（Magneto Optical）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM（Electrically Erasable Programmable Read-Only Memory）、EPROM（Erasable Programmable ROM）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD（Compact Disc、DVD-R（Digital Versatile Disc Recordable）およびBD（Blu-Ray Disc（登録商標））などがあげられる。
通信部１６３３は、コンテンツ再生装置１６２０とのインタフェースであって、ネットワーク１６１２を介してコンテンツ再生装置１６２０と通信する。より詳細には、通信部１６３３は、HTTPに従ってコンテンツ再生装置１６２０と通信するHTTPサーバとしての機能を有する。例えば、通信部１６３３は、MPDをコンテンツ再生装置１６２０に送信し、HTTPに従ってコンテンツ再生装置１６２０からMPDに基づいて要求された符号化データを記憶部１６３２から抽出し、HTTPレスポンスとしてコンテンツ再生装置１６２０に符号化データを送信する。
[コンテンツ再生装置１６２０の構成]
以上、本実施形態によるコンテンツサーバ１６１０の構成を説明した。続いて、図３７を参照し、コンテンツ再生装置１６２０の構成を説明する。
図３７は、コンテンツ再生装置１６２０の構成を示した機能ブロック図である。図３７に示したように、コンテンツ再生装置１６２０は、通信部１６５１と、記憶部１６５２と、再生部１６５３と、選択部１６５４と、現在地取得部１６５６と、を備える。
通信部１６５１は、コンテンツサーバ１６１０とのインタフェースであって、コンテンツサーバ１６１０に対してデータを要求し、コンテンツサーバ１６１０からデータを取得する。より詳細には、通信部１６５１は、HTTPに従ってコンテンツ再生装置１６２０と通信するHTTPクライアントとしての機能を有する。例えば、通信部１６５１は、HTTP Rangeを利用することにより、コンテンツサーバ１６１０からMPDや符号化データのセグメントを選択的に取得することができる。
記憶部１６５２は、コンテンツの再生に関する種々の情報を記憶する。例えば、通信部１６５１によりコンテンツサーバ１６１０から取得されるセグメントを順次にバッファリングする。記憶部１６５２にバッファリングされた符号化データのセグメントは、FIFO（First In First Out）で再生部１６５３へ順次に供給される。
また記憶部１６５２は、後述のコンテンツサーバ１６１１から要求された、MPDに記述されているコンテンツのURLへのパラメータの付加指示に基づき、通信部１６５１でURLにパラメータを付加して、そのURLへアクセスするための定義を記憶する。
再生部１６５３は、記憶部１６５２から供給されるセグメントを順次に再生する。具体的には、再生部１６５３は、セグメントのデコード、DA変換、およびレンダリングなどを行う。
選択部１６５４は、MPDに含まれるいずれのビットレートに対応する符号化データのセグメントを取得するかを同一コンテンツ内で順次に選択する。例えば、選択部１６５４がネットワーク１６１２の帯域に応じてセグメント「Ａ１」、「Ｂ２」、「Ａ３」を順次に選択すると、図３４に示したように、通信部１６５１がコンテンツサーバ１６１０からセグメント「Ａ１」、「Ｂ２」、「Ａ３」を順次に取得する。
現在地取得部１６５６は、コンテンツ再生装置１６２０の現在の位置を取得するものであり、例えばGPS（Global Positioning System）受信機などの現在地を取得するモジュールで構成されていても良い。また現在地取得部１６５６は、無線ネットワークを使用してコンテンツ再生装置１６２０の現在の位置を取得するものであってもよい。
[コンテンツサーバ１６１１の構成]
図３８は、コンテンツサーバ１６１１の構成例を示す説明図である。図３８に示したように、コンテンツサーバ１６１１は、記憶部１６７１と、通信部１６７２と、を備える。
記憶部１６７１は、MPDのURLの情報を記憶する。MPDのURLの情報は、コンテンツの再生を要求するコンテンツ再生装置１６２０からの求めに応じ、コンテンツサーバ１６１１からコンテンツ再生装置１６２０へ送信される。また記憶部１６７１は、コンテンツ再生装置１６２０へのMPDのURLの情報を提供する際に、当該MPDに記述されているURLにコンテンツ再生装置１６２０でパラメータを付加させる際の定義情報を記憶する。
通信部１６７２は、コンテンツ再生装置１６２０とのインタフェースであって、ネットワーク１６１２を介してコンテンツ再生装置１６２０と通信する。すなわち通信部１６７２は、コンテンツの再生を要求するコンテンツ再生装置１６２０から、MPDのURLの情報の要求を受信し、コンテンツ再生装置１６２０へMPDのURLの情報を送信する。通信部１６７２から送信されるMPDのURLには、コンテンツ再生装置１６２０でパラメータを付加させるための情報が含まれる。
コンテンツ再生装置１６２０でMPDのURLに付加させるパラメータについては、コンテンツサーバ１６１１およびコンテンツ再生装置１６２０で共有する定義情報で様々に設定することが出来る。一例を挙げれば、コンテンツ再生装置１６２０の現在位置、コンテンツ再生装置１６２０を使用するユーザのユーザID、コンテンツ再生装置１６２０のメモリサイズ、コンテンツ再生装置１６２０のストレージの容量などの情報を、コンテンツ再生装置１６２０でMPDのURLに付加させることが出来る。
以上のような構成のコンテンツ再生システムにおいて、図１乃至図２１を参照して上述したような本技術を適用することにより、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。
すなわち、コンテンツサーバ１６１０のエンコーダ１６４１は、上述した実施形態に係る画像符号化装置（図４）の機能を有する。また、コンテンツ再生装置１６２０の再生部１６５３は、上述した実施形態に係る画像復号装置（図１４）の機能を有する。それにより、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
また、コンテンツ再生システムにおいて、本技術により符号化されたデータを送受信することにより、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
＜９．Wi-Fi規格の無線通信システムの応用例＞
[無線通信装置の基本動作例]
本技術を適用可能な無線通信システムにおける無線通信装置の基本動作例について説明する。
最初に、P2P（Peer to Peer）接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。
次に、第２層で接続する前に、使用する特定のアプリケーションを指定してからP2P接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。その後、第２層での接続後に、特定のアプリケーションを起動する場合の無線パケット送受信がなされる。
［特定のアプリケーション動作開始時における通信例］
図３９および図４０は、上述したP2P（Peer to Peer）接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信の例であり、無線通信の基礎となる各装置による通信処理例を示すシーケンスチャートである。具体的には、Wi-Fi Allianceにおいて標準化されているWi-Fiダイレクト（Direct）規格（Wi-Fi P2Pと呼ばれることもある）での接続に至るダイレクト接続の確立手順の一例を示す。
ここで、Wi-Fiダイレクトでは、複数の無線通信装置が互いの存在を検出する（Device Discovery、Service Discovery）。そして、接続機器選択を行うとその選択された機器間において、WPS（Wi-Fi Protected Setup）で機器認証を行うことによりダイレクト接続を確立する。また、Wi-Fiダイレクトでは、複数の無線通信装置が親機（Group Owner）または子機（Client）の何れとしての役割を担うかを決定して通信グループを形成する。
ただし、この通信処理例では、一部のパケット送受信については省略して示す。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、AuthenticationRequest／Responseのやり取り等においてもパケット交換が必要となる。しかしながら、図３９および図４０では、これらのパケット交換についての図示を省略し、２回目以降の接続についてのみを示す。
なお、図３９および図４０では、第１無線通信装置１７０１および第２無線通信装置１７０２間における通信処理例を示すが、他の無線通信装置間における通信処理についても同様である。
最初に、第１無線通信装置１７０１および第２無線通信装置１７０２間においてDevice Discoveryが行われる（１７１１）。例えば、第１無線通信装置１７０１は、Probe request（応答要求信号）を送信し、このProbe requestに対するProbe response（応答信号）を第２無線通信装置１７０２から受信する。これにより、第１無線通信装置１７０１および第２無線通信装置１７０２は、互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名や種類（TV、PC、スマートフォン等）を取得することができる。
続いて、第１無線通信装置１７０１および第２無線通信装置１７０２間においてService Discoveryが行われる（１７１２）。例えば、第１無線通信装置１７０１は、Device Discoveryで発見した第２無線通信装置１７０２が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、第１無線通信装置１７０１は、Service Discovery Responseを第２無線通信装置１７０２から受信することにより、第２無線通信装置１７０２が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービス等を取得することができる。相手が実行可能なサービスは、例えば、service、protocol（DLNA（Digital Living Network Alliance） DMR（Digital Media Renderer）等）である。
続いて、ユーザにより接続相手の選択操作（接続相手選択操作）が行われる（１７１３）。この接続相手選択操作は、第１無線通信装置１７０１および第２無線通信装置１７０２の何れか一方のみに発生することもある。例えば、第１無線通信装置１７０１の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手として第２無線通信装置１７０２がユーザ操作により選択される。
ユーザにより接続相手選択操作が行われると（１７１３）、第１無線通信装置１７０１および第２無線通信装置１７０２間においてGroup Owner Negotiationが行われる（１７１４）。図３９および図４０では、Group Owner Negotiationの結果により、第１無線通信装置１７０１がグループオーナー（Group Owner）１７１５になり、第２無線通信装置１７０２がクライアント（Client）１７１６になる例を示す。
続いて、第１無線通信装置１７０１および第２無線通信装置１７０２間において、各処理（１７１７乃至１７２０）が行われることにより、ダイレクト接続が確立される。すなわち、Association（Ｌ２（第２層） link確立）（１７１７）、Secure link確立（１７１８）が順次行われる。また、IP Address Assignment（１７１９）、SSDP（Simple Service Discovery Protocol）等によるＬ３上でのＬ４ setup（１７２０）が順次行われる。なお、Ｌ２（layer2）は、第２層（データリンク層）を意味し、Ｌ３（layer3）は、第３層（ネットワーク層）を意味し、Ｌ４（layer4）は、第４層（トランスポート層）を意味する。
続いて、ユーザにより特定のアプリケーションの指定または起動操作（アプリ指定・起動操作）が行われる（１７２１）。このアプリ指定・起動操作は、第１無線通信装置１７０１および第２無線通信装置１７０２の何れか一方のみに発生することもある。例えば、第１無線通信装置１７０１の表示部にアプリ指定・起動操作画面が表示され、このアプリ指定・起動操作画面において特定のアプリケーションがユーザ操作により選択される。
ユーザによりアプリ指定・起動操作が行われると（１７２１）、このアプリ指定・起動操作に対応する特定のアプリケーションが第１無線通信装置１７０１および第２無線通信装置１７０２間において実行される（１７２２）。
ここで、Wi-Fi Direct規格以前の仕様（IEEE802.11で標準化された仕様）の範囲内で、AP（Access Point）−STA（Station）間の接続を行う場合を想定する。この場合には、第２層で接続する前（IEEE802.11用語ではassociation前）には、どのようなデバイスと繋ごうとしているのかを事前に知ることができなかった。
これに対して、図３９および図４０に示すように、Wi-Fi Directでは、Device discoveryやService Discovery（option）において、接続候補相手を探す際に、接続相手の情報を取得することができる。この接続相手の情報は、例えば、基本的なデバイスのタイプや、対応している特定のアプリケーション等である。そして、その取得された接続相手の情報に基づいて、ユーザに接続相手を選択させることができる。
この仕組みを拡張して、第２層で接続する前に特定のアプリケーションを指定して、接続相手を選択し、この選択後に、自動的に特定のアプリケーションを起動させる無線通信システムを実現することも可能である。このような場合の接続に至るシーケンスの一例を、図４２に示す。また、この通信処理において送受信されるフレームフォーマット（frame format）の構成例を図４１に示す。
［フレームフォーマットの構成例］
図４１は、本技術の基礎となる各装置による通信処理において送受信されるフレームフォーマット（frame format）の構成例を模式的に示す図である。すなわち、図４１には、第２層での接続を確立するためのMAC frameの構成例を示す。具体的には、図４２に示すシーケンスを実現するためのAssociation Request/Response（１７８７）のフレームフォーマットの一例である。
なお、Frame Control（１７５１）からSequence Control（１７５６）までは、MACヘッダである。また、Association Requestを送信する際には、Frame Control（１７５１）において、Ｂ３Ｂ２＝"０ｂ００"、かつ、Ｂ７Ｂ６Ｂ５Ｂ４＝"０ｂ００００"が設定される。また、Association Responseをencapsulateする際には、Frame Control（１７５１）において、Ｂ３Ｂ２＝"０ｂ００"、かつ、Ｂ７Ｂ６Ｂ５Ｂ４＝"０ｂ０００１"が設定される。なお、「０ｂ００」は、２進法で「００」であることを示し、「０ｂ００００」は、２進法で「００００」であることを示し、「０ｂ０００１」は、２進法で「０００１」であることを示す。
ここで、図４１に示すMAC frameは、基本的には、IEEE802.11-2007仕様書section7.2．3.4節と7.2．3.5節に記載のAssociation Request/Responseframe formatである。ただし、IEEE802.11仕様書内で定義されているInformation Element（以下、IEと省略）だけでなく、独自に拡張したIEを含めている点が異なる。
また、Vendor Specific IE（１７６０）であることを示すため、IE Type（Information Element ID（１７６１））には、１０進数で１２７がセットされる。この場合、IEEE802.11−2007仕様7.3．2.26節により、Lengthフィールド（１７６２）と、OUIフィールド（１７６３）が続き、この後にvendor specific content（１７６４）が配置される。
Vendor specific content（１７６４）の内容としては、最初にvendor specific IEのtypeを示すフィールド（IE type（１７６５））を設ける。そして、この後に、複数のsubelement（１７６６）を格納することができる構成とすることが考えられる。
subelement（１７６６）の内容として、使われるべき特定のアプリケーションの名称（１７６７）や、その特定のアプリケーション動作時のデバイスの役割（１７６８）を含めることが考えられる。また、特定のアプリケーション、または、その制御のために使われるポート番号等の情報（Ｌ４セットアップのための情報）（１７６９）や、特定のアプリケーション内でのCapabilityに関する情報（Capability情報）を含めることが考えられる。ここで、Capability情報は、例えば、指定する特定のアプリケーションがDLNAの場合に、音声送出／再生に対応している、映像送出／再生に対応している等を特定するための情報である。
以上のような構成の無線通信システムにおいて、図１乃至図２１を参照して上述したような本技術を適用することにより、図１乃至図２１を参照して上述した効果と同様の効果を得ることができる。すなわち、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。また、上述した無線通信システムにおいて、本技術により符号化されたデータを送受信することにより、多視点画像における動きベクトルの符号化または復号の符号化効率を改善することができる。
なお、本明細書では、デブロッキングフィルタのパラメータや適応オフセットフィルタのパラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成する予測ベクトル生成部と、
前記予測ベクトル生成部により生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを符号化する動きベクトル符号化部と、
画像を、階層構造を有する単位で符号化して、符号化ストリームを生成する符号化部と
を備える画像処理装置。
（２） 前記予測ベクトル生成部は、前記参照ブロックの動きベクトルを、前記カレントブロックの参照画像POCと前記参照ブロックの参照画像POCに応じてスケーリングして、前記予測ベクトルの候補として用いて予測ベクトルを生成する
前記（１）に記載の画像処理装置。
（３） 前記動きベクトル符号化部により符号化された前記カレントブロックの動きベクトルと、前記符号化部により生成された符号化ストリームとを伝送する伝送部を
さらに備える前記（１）または（２）に記載の画像処理装置。
（４） 画像処理装置が、
ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成し、
生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを符号化し、
画像を、階層構造を有する単位で符号化して、符号化ストリームを生成する
画像処理方法。
（５） ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成する予測ベクトル生成部と、
前記予測ベクトル生成部により生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを復号する動きベクトル復号部と、
階層構造を有する単位で符号化された符号化ストリームを復号して、画像を生成する復号部と
を備える画像処理装置。
（６） 前記予測ベクトル生成部は、前記参照ブロックの動きベクトルを、前記カレントブロックの参照画像POCと前記参照ブロックの参照画像POCに応じてスケーリングして、前記予測ベクトルの候補として用いて予測ベクトルを生成する
前記（５）に記載の画像処理装置。
（７） 前記符号化ストリームと、符号化された前記カレントブロックの動きベクトルを受け取る受け取り部を
さらに備える前記（５）または（６）のいずれかに記載の画像処理装置。
（８） 画像処理装置が、
ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成し、
生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを復号し、
階層構造を有する単位で符号化された符号化ストリームを復号して、画像を生成する
画像処理方法。
１１−１，１１−Ｎ，１１−Ｍ エンコーダ， ２６ 可逆符号化部， ３２−１，３２−Ｎ，３２−Ｍ DPB， ３４ 動き予測補償部， ３６−１，３６−Ｎ，３６−Ｍ ＭＶメモリ， ５１ 動き予測モード生成部， ５２ 参照インデックス自動生成部， ５３ AMVPモードベクトル予測部， ５４ M/Sモードベクトル予測部， ５５ モード判定部， ６１ ベクトル探索部， ６２ 予測画像生成部， ６３ ベクトルコスト判定部， ６４ Spatial ＭＶメモリ， ６５，６６ 予測ベクトル生成部， ６７ スイッチ， ６８ 減算部， ６９ POC変換部， ８１ 予測ベクトルインデックス生成部， ８２ ビュー内参照ベクトル生成部， ８３ ビュー間参照ベクトル生成部， ２１１−１，２１１−Ｎ，２１１−Ｍ デコーダ， ２２２ 可逆復号部， ２３３−１，２３３−Ｎ，２３３−Ｍ DPB， ２３１ 動き補償部， ２２９−１，２２９−Ｎ，２２９−Ｍ ＭＶメモリ， ２５１ 参照インデックス自動生成部， ２５２ AMVPモードベクトル予測部， ２５３ M/Sモードベクトル予測部， ２６１ 予測画像生成部， ２６２ Spatial ＭＶメモリ， ２６３ 加算部， ２６４，２６５ 予測ベクトル生成部， ２６６ スイッチ， ２６７ POC変換部， ２８１ ビュー内参照ベクトル生成部， ２８２ ビュー間参照ベクトル生成部

Claims (8)

  1. ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成する予測ベクトル生成部と、
    前記予測ベクトル生成部により生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを符号化する動きベクトル符号化部と、
    画像を、階層構造を有する単位で符号化して、符号化ストリームを生成する符号化部と
    を備える画像処理装置。
  2. 前記予測ベクトル生成部は、前記参照ブロックの動きベクトルを、前記カレントブロックの参照画像POCと前記参照ブロックの参照画像POCに応じてスケーリングして、前記予測ベクトルの候補として用いて予測ベクトルを生成する
    請求項１に記載の画像処理装置。
  3. 前記動きベクトル符号化部により符号化された前記カレントブロックの動きベクトルと、前記符号化部により生成された符号化ストリームとを伝送する伝送部を
    さらに備える請求項１に記載の画像処理装置。
  4. 画像処理装置が、
    ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成し、
    生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを符号化し、
    画像を、階層構造を有する単位で符号化して、符号化ストリームを生成する
    画像処理方法。
  5. ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成する予測ベクトル生成部と、
    前記予測ベクトル生成部により生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを復号する動きベクトル復号部と、
    階層構造を有する単位で符号化された符号化ストリームを復号して、画像を生成する復号部と
    を備える画像処理装置。
  6. 前記予測ベクトル生成部は、前記参照ブロックの動きベクトルを、前記カレントブロックの参照画像POCと前記参照ブロックの参照画像POCに応じてスケーリングして、前記予測ベクトルの候補として用いて予測ベクトルを生成する
    請求項５に記載の画像処理装置。
  7. 前記符号化ストリームと、符号化された前記カレントブロックの動きベクトルを受け取る受け取り部を
    さらに備える請求項５に記載の画像処理装置。
  8. 画像処理装置が、
    ノンベースビューの画像におけるカレントブロックの周辺から求まる視差分だけ、異なるビューの画像において前記カレントブロックの位置からシフトさせた位置のブロックである参照ブロックの動きベクトルを、前記カレントブロックの参照先と前記参照ブロックの参照先とに応じてスケーリングして、前記カレントブロックの動きベクトルの符号化に用いる予測ベクトルを生成し、
    生成された予測ベクトルを用いて、前記カレントブロックの動きベクトルを復号し、
    階層構造を有する単位で符号化された符号化ストリームを復号して、画像を生成する
    画像処理方法。
JP2014538424A 2012-09-28 2013-09-19 画像処理装置および方法 Expired - Fee Related JP6172155B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012218304 2012-09-28
JP2012218304 2012-09-28
PCT/JP2013/075226 WO2014050675A1 (ja) 2012-09-28 2013-09-19 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2014050675A1 JPWO2014050675A1 (ja) 2016-08-22
JP6172155B2 true JP6172155B2 (ja) 2017-08-02

Family

ID=50388080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014538424A Expired - Fee Related JP6172155B2 (ja) 2012-09-28 2013-09-19 画像処理装置および方法

Country Status (13)

Country Link
US (2) US10516894B2 (ja)
EP (1) EP2903286A4 (ja)
JP (1) JP6172155B2 (ja)
KR (1) KR20150065674A (ja)
CN (1) CN104662907B (ja)
AU (1) AU2013321313B2 (ja)
BR (1) BR112015006317A2 (ja)
CA (1) CA2885642A1 (ja)
MX (1) MX339432B (ja)
MY (1) MY186413A (ja)
RU (1) RU2639647C2 (ja)
SG (1) SG11201502200RA (ja)
WO (1) WO2014050675A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI3907999T1 (sl) 2010-09-02 2024-02-29 Lg Electronics, Inc. Inter napoved
KR102245026B1 (ko) * 2012-09-28 2021-04-27 소니 주식회사 화상 처리 장치 및 방법
WO2014165555A1 (en) 2013-04-02 2014-10-09 Vid Scale, Inc. Enhanced temporal motion vector prediction for scalable video coding
US10218644B1 (en) * 2016-09-21 2019-02-26 Apple Inc. Redundant communication path transmission
KR20230169429A (ko) * 2018-04-13 2023-12-15 엘지전자 주식회사 비디오 처리 시스템에서 인터 예측 방법 및 장치
WO2020050279A1 (ja) * 2018-09-05 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US11418793B2 (en) * 2018-10-04 2022-08-16 Qualcomm Incorporated Adaptive affine motion vector coding
KR102192980B1 (ko) * 2018-12-13 2020-12-18 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133380B1 (en) * 2000-01-11 2006-11-07 At&T Corp. System and method for selecting a transmission channel in a wireless communication system that includes an adaptive array
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
ZA200805337B (en) * 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR20080066522A (ko) 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
WO2008133455A1 (en) * 2007-04-25 2008-11-06 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal
WO2009023091A2 (en) * 2007-08-15 2009-02-19 Thomson Licensing Methods and apparatus for motion skip mode in multi-view coded video using regional disparity vectors
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9357229B2 (en) * 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
JP5747559B2 (ja) * 2011-03-01 2015-07-15 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム
JP5664762B2 (ja) 2011-03-17 2015-02-04 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
US9247249B2 (en) 2011-04-20 2016-01-26 Qualcomm Incorporated Motion vector prediction in video coding
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
WO2014049196A1 (en) * 2012-09-27 2014-04-03 Nokia Corporation Method and techniqal equipment for scalable video coding
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding

Also Published As

Publication number Publication date
MX2015003590A (es) 2015-06-22
EP2903286A4 (en) 2016-05-25
CN104662907B (zh) 2019-05-03
EP2903286A1 (en) 2015-08-05
US10917656B2 (en) 2021-02-09
MX339432B (es) 2016-05-26
AU2013321313A1 (en) 2015-03-26
RU2639647C2 (ru) 2017-12-21
CA2885642A1 (en) 2014-04-03
US20200007887A1 (en) 2020-01-02
WO2014050675A1 (ja) 2014-04-03
MY186413A (en) 2021-07-22
KR20150065674A (ko) 2015-06-15
RU2015109932A (ru) 2016-10-10
SG11201502200RA (en) 2015-07-30
AU2013321313B2 (en) 2016-10-27
BR112015006317A2 (pt) 2017-07-04
US10516894B2 (en) 2019-12-24
CN104662907A (zh) 2015-05-27
JPWO2014050675A1 (ja) 2016-08-22
US20150237365A1 (en) 2015-08-20

Similar Documents

Publication Publication Date Title
JP6525073B2 (ja) 画像処理装置および方法
JP6172155B2 (ja) 画像処理装置および方法
US10075719B2 (en) Image coding apparatus and method
KR102245026B1 (ko) 화상 처리 장치 및 방법
US10616598B2 (en) Image processing device and method
US10812826B2 (en) Image processing apparatus and image processing method
JP6607414B2 (ja) 画像符号化装置および方法
KR20150032257A (ko) 복호 장치 및 복호 방법
WO2015005132A1 (ja) 画像符号化装置および方法、並びに画像復号装置および方法
JP2015005893A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160902

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170619

R151 Written notification of patent or utility model registration

Ref document number: 6172155

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees