JPWO2014010464A1 - 予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラム - Google Patents

Abstract

非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、非基準視点画像に対応するデプスマップにおける、対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する変換画素決定部と、変換画素決定部が決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する視差ベクトル変換部と、視差ベクトル変換部が生成した視差ベクトルを用いて、対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル決定部とを備えることを特徴とする。これにより、良好な符号化効率を得るとともに演算量の増加を抑えた予測ベクトル生成装置を提供することが可能になる。

Description

本発明は、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラムに関する。

動画像の符号化では、フレームをブロックに分割し、該ブロックに近い画像を、他のフレームから取得して予測画像とする動き予測が行われている。そして、このブロックに近い画像を示すベクトルを動きベクトルと呼び、当該ブロックの周辺のブロックの動きベクトルから当該ブロックの動きベクトルを予測することも行われている（例えば、非特許文献１、２を参照）。なお、動きベクトルの予測による得られるベクトルを、予測ベクトルという。
また、ＩＳＯ（International Organization For Standardization）では、３次元映像符号の標準規格であり、複数の視点画像とデプスマップとを符号化するＭＰＥＧ−３ＤＶの規格化が行われている（非特許文献３）。

Recommendation ITU-T H.264 "Advanced video coding for generic audiovisual services", 03/2010 "High efficiency video coding (HEVC) text specification draft 6", JCTVC-H1003, San Jose, CA, USA, February, 2012 "３次元映像符号化の国際標準化動向", NTT技術ジャーナル, pp.63-67, 2011.8

しかしながら、前述のＭＰＥＧ−３ＤＶのように複数の視点画像を符号化する際には、前述の動き予測に加えて、対象ブロックに近い画像を、他の視点画像から取得して予測画像とする視差予測も行われる。この場合、非特許文献１のように、視差ベクトルを予測する際に、周辺ブロックの視差ベクトルを用いようとしても、周辺ブロックが動き予測により予測画像を生成しているときは、周辺ブロックの視差ベクトルが得られない。このため、予測ベクトルの精度が悪くなってしまい、良好な符号化効率が得られないことがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、良好な符号化効率を得ることができる予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成方法、およびプログラムを提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、前記非基準視点画像に対応するデプスマップにおける、前記対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する変換画素決定部と、前記変換画素決定部が決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する視差ベクトル変換部と、前記視差ベクトル変換部が生成した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル決定部とを備えることを特徴とする。

（２）また、本発明の他の態様は、（１）に記載の予測ベクトル生成装置であって、前記変換画素決定部は、前記対象ブロックのサイズに応じて選択した決定規則に従い、前記画素位置を決定することを特徴とする。

（３）また、本発明の他の態様は、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、前記非基準視点画像とは別の視点画像において前記対象ブロックに対応するブロックに関する動きベクトルを取得する動きベクトル取得部と、前記取得した動きベクトルを参照して、前記非基準視点画像の他の時刻の視点画像におけるブロックを選択し、該ブロックに関する視差ベクトルを取得する第１の取得方法と、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第２の取得方法とのうち、選択した取得方法を用いて視差ベクトルを取得する視差ベクトル取得部と、前記視差ベクトル取得部が取得した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを決定する予測ベクトル決定部とを具備することを特徴とする。

（４）また、本発明の他の態様は、（３）に記載の予測ベクトル生成装置であって、前記視差ベクトル取得部は、前記対象ブロックのサイズに応じて、前記第１の取得方法および前記第２取得方法のうちのいずれを用いるかを選択することを特徴とする。

（５）また、本発明の他の態様は、（１）から（４）のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像符号化装置である。

（６）また、本発明の他の態様は、（１）から（４）のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像復号装置である。

（７）また、本発明の他の態様は、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成方法であって、前記非基準視点画像に対応するデプスマップにおける、前記対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する第１の過程と、前記第１の過程にて決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する第２の過程と、前記第２の過程にて生成した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを生成する第３の過程と、を有することを特徴とする。

（８）また、本発明の他の態様は、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成方法であって、前記非基準視点画像とは別の視点画像において前記対象ブロックに対応するブロックに関する動きベクトルを取得する第１の過程と、前記取得した動きベクトルを参照して、前記非基準視点画像の他の時刻の視点画像におけるブロックを選択し、該ブロックに関する視差ベクトルを取得する第１の取得方法、もしくは、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第２の取得方法を用いて視差ベクトルを取得する第２の過程と、前記第２の過程にて取得した視差ベクトルを用いて前記対象ブロックの視差ベクトルの予測ベクトルを決定する第３の過程とを有することを特徴とする。

（９）また、本発明の他の態様は、コンピュータを、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置として機能させるために、前記非基準視点画像に対応するデプスマップにおける、前記対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する変換画素決定部、前記変換画素決定部が決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する視差ベクトル変換部、前記視差ベクトル変換部が生成した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル決定部として機能させるためのプログラムである。
（１０）また、本発明の他の態様は、コンピュータを、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置として機能させるために、前記非基準視点画像とは別の視点画像において前記対象ブロックに対応するブロックに関する動きベクトルを取得する動きベクトル取得部、前記取得した動きベクトルを参照して、前記非基準視点画像の他の時刻の視点画像におけるブロックを選択し、該ブロックに関する視差ベクトルを取得する第１の取得方法、もしくは、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第２の取得方法を用いて視差ベクトルを取得する視差ベクトル取得部、前記視差ベクトル取得部が取得した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを決定する予測ベクトル決定部として機能させるためのプログラムである。

この発明によれば、良好な符号化効率を得るとともに符号化処理および復号処理における演算量の増加を抑えることができる。

この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。 同実施形態に係る画像符号化装置１００の構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部１１０の構成を示す概略ブロック図である。 同実施形態に係る変換画素決定部１１２における視差ベクトルに変換するデプス値（画素）の位置の例を示す図である。 同実施形態に係る変換画素決定部１１２による、ブロックサイズと画素の選択方法の例を示す図である。 同実施形態に係る変換画素決定部１１２による、ブロックサイズと画素の選択方法の別の例を示す図である。 同実施形態に係る変換画素決定部１１２による、ブロックサイズと画素の選択方法のさらに別の例を示す図である。 同実施形態に係る対象ブロックと隣接ブロックの関係を説明する図である。 同実施形態に係る別の画像符号化装置１００ａの構成を示す概略ブロック図である。 同実施形態に係る画像復号装置３００の構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部３０６の構成を示す概略ブロック図である。 同実施形態に係る別の画像復号装置３００ａの構成を示す概略ブロック図である。 この発明の第２の実施形態による画像符号化装置１００ｂの構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部１１０ａの構成を示す概略ブロック図である。 同実施形態に係る画像復号装置３００ｂの構成を示す概略ブロック図である。 同実施形態に係る予測ベクトル生成部３０６ａの構成を示す概略ブロック図である。

［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像伝送システム１０の構成を示す概略ブロック図である。画像伝送システム１０は、複数の視点画像とデプスマップとを符号化して伝送し、伝送先において、これらを用いた自由視点画像の表示を可能とするシステムである。図１に示すように、画像伝送システム１０は、画像符号化装置１００、ネットワーク２００、画像復号装置３００、自由視点画像表示装置４００を含んで構成される。

画像符号化装置１００は、複数の視点画像（テクスチャ画像ともいう）Ｔ各々を符号化し、視点画像Ｔ各々の符号化ストリームＴｅを生成する。さらに、画像符号化装置１００は、符号化した視点画像Ｔ各々に対応するデプスマップＤを符号化し、デプスマップ各々のデプスマップ符号化ストリームＤｅを生成する。ネットワーク２００は、これらの符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとを、画像復号装置３００に伝送する、ＩＰ（Internet Protocol）ネットワーク、ケーブルテレビ網などのネットワークである。なお、符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとは、本実施形態のようにネットワークにより伝送されてもよいが、地上デジタル放送、衛星放送などの放送波により伝送されてもよいし、ＤＶＤ（Digital Versatile Disc）、ブルーレイ（Blu-ray（登録商標））などの記録媒体により伝送されてもよい。

画像復号装置３００は、ネットワーク２００が伝送した符号化ストリームＴｅとデプスマップ符号化ストリームＤｅとを復号し、復号視点画像Ｔｄと復号デプスマップＤｄとを生成する。自由視点画像表示装置４００は、画像復号装置３００が生成した復号視点画像Ｔｄおよび復号デプスマップＤｄを用いて、任意の視点からの画像を生成する。自由視点画像表示装置４００は、液晶ディスプレイや、有機ＥＬ（electroluminescence）ディスプレイなどの表示デバイスを備え、生成した任意の視点からの画像を、該表示デバイスを用いて表示する。なお、この任意の視点からの画像は、２次元画像であってもよいし、立体画像であってもよい。

図２は、画像符号化装置１００の構成を示す概略ブロック図である。図２に示すように、画像符号化装置１００は、減算部１０１、ＤＣＴ（Discrete Cosine Transform）変換・量子化部１０２、エントロピー符号化部１０３、逆量子化・逆ＤＣＴ変換部１０４、加算部１０５、参照画像メモリ１０６、予測部１０７、減算部１０８、ベクトルメモリ１０９、予測ベクトル生成部１１０（予測ベクトル生成装置）、デプスマップ符号化部１２１、デプスマップメモリ１２２を含んで構成される。

減算部１０１は、入力された視点画像Ｔから、予測部１０７が生成した予測画像Ｐを減算し、減算結果を示す残差信号を生成する。ここで、減算とは、視点画像Ｔの画素の画素値から、予測画像Ｐの対応する画素の画素値を減ずることである。ＤＣＴ変換・量子化部１０２は、減算部１０１が生成した残差信号をＤＣＴ変換して、ＤＣＴ係数を算出する。ＤＣＴ変換・量子化部１０２は、算出したＤＣＴ係数を量子化して、量子化係数を算出する。エントロピー符号化部１０３は、ＤＣＴ変換・量子化部１０２が算出した量子化係数と、減算部１０８が算出した差分ベクトルΔｖと、予測ベクトル生成部１１０が選択したインデックスｉｄｘと、予測部１０７が選択した予測モードとをエントロピー符号化して、符号化ストリームＴｅを生成する。

逆量子化・逆ＤＣＴ変換部１０４は、ＤＣＴ変換・量子化部１０２が算出した量子化係数を逆量子化する。さらに、逆量子化・逆ＤＣＴ変換部１０４は、逆量子化した結果を逆ＤＣＴ変換して、復号残差信号を生成する。加算部１０５は、逆量子化・逆ＤＣＴ変換部１０４が生成した復号残差信号と、予測部１０７が生成した予測画像Ｐとを加算して、復号画像を生成する。参照画像メモリ１０６は、加算部１０５が生成した復号画像を、参照画像として記憶する。

予測部１０７は、視点画像Ｔの各フレームを分割したブロック毎に、参照画像メモリ１０６が記憶する参照画像を用いて、予測画像Ｐを生成する。予測部１０７は、複数の予測方式の中から１つを選択し、該選択した予測方式を用いて、予測画像Ｐを生成する。予測方式の選択方法としては、例えば、予測画像Ｐと視点画像Ｔとの差分が最も小さくなる予測方式を選択する方法があるが、これに限らず、その他の方法であってもよい。また、予測部１０７は、上述のブロック各々のブロックサイズを示すブロック情報Ｉｂを、予測ベクトル生成部１１０に通知する。

視点画像Ｔが基準視点画像（ベースビュー（Base View）ともいう）のときは、上述の選択対象の複数の予測方式は、イントラ予測および動き予測である。また、視点画像Ｔが非基準視点画像（ノンベースビュー（Non-base View）ともいう）のときは、上述の選択対象の複数の予測方式は、イントラ予測、動き予測および視差予測である。

なお、イントラ予測は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属するフレームを用いる予測方式である。予測部１０７は、イントラ予測を選択したときは、予測画像Ｐを生成する際に用いた予測モードをエントロピー符号化部１０３に通知する。

動き予測（動き補償ともいう）は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属する視点画像Ｔのうち、対象ブロックが属するフレームとは異なるフレームを用いる予測方式である。予測部１０７は、動き予測を選択したときは、予測画像Ｐを生成する際に用いた動きベクトルＭｖを、ベクトルメモリ１０９と減算部１０８とに通知する。なお、動きベクトルＭｖは、対象ブロックの座標から、予測画像Ｐとしたブロックの参照画像における座標までのベクトルを表す情報と、参照画像としたフレームを示す情報（例えば、ｒｅｆ＿ｉｎｄｅｘ（参照ピクチャ番号）、やＰＯＣ；Picture Order Count（ピクチャの表示順序））とを含む。

視差予測（視差補償ともいう）は、予測画像Ｐを生成する際の参照画像として、対象ブロックが属する視点画像Ｔとは異なる視点画像Ｔのフレームのうち、対象ブロックが属するフレームと表示順序が同じ（同じＰＯＣを持つ）フレームを用いる予測方式である。予測部１０７は、視差予測を選択したときは、予測画像Ｐを生成する際に用いた視差ベクトルＤｖを、ベクトルメモリ１０９と減算部１０８とに通知する。なお、視差ベクトルＤｖは、対象ブロックの座標から、予測画像Ｐとしたブロックの参照画像における座標までのベクトルを表す情報と、参照画像としたフレームを示す情報（例えば、ｒｅｆ＿ｉｎｄｅｘ（参照ピクチャ番号）、やｖｉｅｗ＿ｉｄ（ビュー識別子））とを含む。

また、基準視点画像は、符号化する際に、視差予測を用いることができない視点画像Ｔであり、非基準視点画像は、符号化する際に、視差予測を用いることができる視点画像Ｔである。例えば、画像符号化装置１００は、複数の視点画像Ｔのうち、最初に画像符号化装置１００に入力される視点画像Ｔを、基準視点画像とし、その他の視点画像Ｔを、非基準視点画像とする。本実施形態では、複数の視点画像Ｔに含まれる基準視点画像は１つのみであり、非基準視点画像の視差予測をする際は、その基準視点画像および既に符号化済みの非基準視点画像を参照画像とする。

減算部１０８は、予測部１０７から通知された動きベクトルＭｖまたは視差ベクトルＤｖから、予測ベクトル生成部１１０が生成した予測ベクトルＰｖを減算し、減算結果である差分ベクトルΔｖをエントロピー符号化部１０３に通知する。減算部１０８は、該動きベクトルＭｖまたは視差ベクトルＤｖに含まれていた参照画像としたフレームを示す情報を、差分ベクトルΔｖに含める。ベクトルメモリ１０９は、予測部１０７から通知された動きベクトルＭｖと視差ベクトルＤｖとを記憶する。

予測ベクトル生成部１１０は、予測部１０７が動き予測を選択して予測画像を生成したブロックに対しては、動きベクトルの予測ベクトルＰｖを生成する。予測ベクトル生成部１１０は、複数の候補ベクトルの中から選択したものを予測ベクトルＰｖとするが、この選択した候補ベクトルを示すインデックスｉｄｘをエントロピー符号化部１０３に通知する。なお、動きベクトルの予測ベクトルＰｖの生成には、公知の生成方法を用いることができる。

また、予測ベクトル生成部１１０は、予測部１０７が視差予測を選択して予測画像を生成したブロックに対しては、視差ベクトルの予測ベクトルＰｖを生成する。予測ベクトル生成部１１０は、複数の候補ベクトルの中から選択したものを予測ベクトルＰｖとするが、この選択した候補ベクトルを示すインデックスｉｄｘをエントロピー符号化部１０３に通知する。なお、視差ベクトルの予測ベクトルＰｖの生成方法およびインデックスｉｄｘの詳細については後述する。

デプスマップ符号化部１２１は、視点画像Ｔの各フレームに対応するデプスマップＤを符号化して、デプスマップ符号化ストリームＤｅを生成する。なお、デプスマップ符号化部１２１は、デプスマップ符号化ストリームＤｅを生成する際に、デプスマップ符号化ストリームＤｅを復号した復号デプスマップＤｄも生成する。デプスマップメモリ１２２は、デプスマップ符号化部１２１が生成した復号デプスマップＤｄを記憶する。
なお、デプスマップＤおよび復号デプスマップＤｄは、視点画像と同じサイズ（画素数）でもよいし、視点画像のサイズから１／２、１／４、１／８等に縮小したサイズであってもよい。

図３は、予測ベクトル生成部１１０の構成を示す概略ブロック図である。図３に示すように、予測ベクトル生成部１１０は、第１候補ベクトル生成部１１１、第２候補ベクトル生成部１１４、予測ベクトル決定部１１５、動きベクトル予測部１１６、スイッチ部１１７を含んで構成される。第１候補ベクトル生成部１１１は、変換画素決定部１１２、視差ベクトル変換部１１３を含んで構成される。

変換画素決定部１１２は、予測部１０７から得られるブロック情報Ｉｂに基づいて、対象ブロックに対応する、復号デプスマップＤｄにおけるブロック（以降、デプスブロックという）中の画素位置の決定規則を選択し、該選択した決定規則に従って決定した画素位置を視差ベクトル変換部１１３に入力する。ここで、ブロック情報Ｉｂは、ブロックのサイズ（幅、高さ）、ブロックの左上座標を含む。ブロックサイズは、予測ブロック（ＰＵ、prediction unit）のサイズである。

デプスマップが視点画像のＤＮ分の１（ＤＮ＝2^dn倍）に縮小されている場合には、ブロックの左上座標（x, y）、ブロックのサイズをnPW、nPHとする場合、デプスブロックの座標(x0, y0)とサイズwおよびhは、以下の式により導出できる。
x0 = x >> dn
y0 = x >> dn
w = nPW>>dn
h = nPH>>dn ここで＞＞は右シフトを示す。

＜ブロックサイズにより異なる選択規則を用いる構成例＞
変換画素決定部１１２は、予測部１０７から得られるブロック情報Ｉｂに基づいて、対象ブロックに対応する、復号デプスマップＤｄにおけるブロック（以降、デプスブロックという）中の画素位置の決定規則を選択し、該選択した決定規則に従って決定した画素位置を視差ベクトル変換部１１３に入力する。より、具体的には、ブロック情報Ｉｂが示すブロックサイズが大きいほど、デプスブロックの画素数に対する、決定される画素位置の数の比が小さくなるように、決定規則を選択する。視差ベクトル変換部１１３は、後述するように、変換画素決定部１１２が決定した画素位置のデプス値を、復号デプスマップＤｄから視差ベクトルに変換する際のデプス値とする。

変換画素決定部１１２の一構成例としては、変換画素決定部１１２は、ブロック情報Ｉｂが示すブロックサイズが、予め設定されたブロックサイズ（画素数）の閾値よりも大きいか否かにより、決定規則を選択する。大きいときの決定規則は、縦方向および横方向ともに、デプスブロックにおいて偶数番目であることであり、大きくないときの決定規則は、デプスブロック中の全ての画素位置（もしくは１点）とすることである。なお、ここでは、デプスブロックの左上端の画素位置を、縦方向および横方向ともに、０番目としている。

デプスマップの解像度が、縦横ともに、視点画像の４分の１である場合の例を説明する。例えば、予測の対象ブロックのサイズが３２画素×３２画素であって、それに対応するデプスマップ内のブロックＤｂｌｋ（以下、デプスブロックと記す）が図４（ａ）のような８画素×８画素のサイズであるとする。この時、ブロック情報Ｉｂが示すブロックサイズ（３２×３２）を参照すると、これは、予め設定されたブロックサイズの閾値（例えば１６×１６）より大きい。したがって、変換画素決定部１１２は、図４（ａ）に示す全デプス値ではなく、縦方向および横方向ともに偶数番目の位置、すなわち図４（ｂ）において黒丸で示した画素ｐ１の位置を、視差ベクトルへの変換対象の画素位置として決定する。逆に、予め設定されたブロックサイズの閾値以下の場合には、所定の１点を、視差ベクトルへの変換対象の画素位置として決定する。ここで所定の１点は、左上座標とする。変換画素決定部１１２は、この決定した画素位置を視差ベクトル変換部１１３へ通知する。

視差ベクトル変換部１１３は、変換画素決定部１１２から入力された画素位置のデプス値の平均値Ｄａｖｅを算出し、平均値Ｄａｖｅを視差ベクトルに変換する。視差ベクトル変換部１１３は、変換した視差ベクトルを、予測ベクトル決定部１１５に入力する。変換画素決定部１１２が、上述の一例のような構成の場合、対象ブロックのブロックサイズが閾値よりも大きいときには、変換画素決定部１１２は画素ｐ１の画素位置のみを、視差ベクトル変換部１１３に入力する。このため、視差ベクトル変換部１１３は、入力されない画素位置の画素である画素ｐ０のデプス値を視差ベクトル変換に使用しない。これにより、視差ベクトル変換における演算処理量を削減することができる。

なお、視差ベクトル変換部１１３は、デプス値の平均値Ｄａｖｅを視差ベクトルに変換するとして説明したが、中央値、最頻値、最小値、最大値などを視差ベクトルに変換するようにしてもよい。特に、中央値など、算出する際の演算処理量のオーダが、データ数をｎとしたときにＯ（ｎ）よりも大きいとき（例えば、Ｏ（ｎ^２）やＯ（ｎｌｏｇｎ））には、上述のようにして、ブロックサイズが大きいときに画素位置を限定することによる演算処理量の削減効果が大きい。

なお、図４（ｂ）は、ブロック内の水平方向，垂直方向それぞれ１／２の画素数を利用し、それぞれ偶数画素位置のみを対象とするように決定する例であるが、変換画素決定部１１２における決定規則はこれに限らない。例えば、図４（ｃ）のように、水平方向，垂直方向それぞれの奇数画素位置のみを対象とする決定規則、図４（ｄ）のように、画素行ごとに交互に偶数位置、奇数位置を選択して使用する決定規則、図４（ｅ）のように、ブロック内の最上行と最下行の画素のみを対象とする決定規則、図４（ｆ）のように、ブロック内の四隅の画素のみを対象とする決定規則でもよい。また、図４（ｂ）〜（ｄ）は、水平方向，垂直方向それぞれ元のデプスブロックの１／２の画素数を対象とする例であるが、これに限らず、１／４，１／８等の画素数を対象としてもよい。その際に、水平方向と垂直方向で互いに異なる画素数になるように対象画素を選択してもよい。

図４（ｆ）の方法のように、変換画素決定部１１２が、ブロック内の固定のＮ点（Ｎ＝２＾ｎ、ここではn=2）を用いて対象画素を選択する場合には、変換画素決定部１１２はブロックサイズによらず固定的な処理で対象画素の選択が可能である。この場合、ブロックサイズに依存して決定するような、ループ処理が不要であるため、ループ変数の初期化、ループ終端の判定、ループ変数の更新のような処理が不要であり処理量の削減が可能である。特にブロックサイズが小さい場合には、対象とする点の数に比較してループのオーバーヘッドが大きい。ブロックサイズが小さい場合、処理すべきブロック数が多いため、レイテンシの低下が非常に重要である。また、ブロックサイズが所定のサイズ以下の場合に固定の１点を用いる方法も処理量低下の効果を得ることができる。なお、ループの削減はループに伴う実装を不要とするため実装も容易となる。
具体的に、ブロック内の固定のＮ点（Ｎ＝２＾ｎ、ここではn=2）を用いて対象画素を選択し、視差ベクトル変換部１１３が、選択した画素のデプス値から最大値Ｄmaxを算出する例を示す。

Ｄmax = depth [x0][y0]
if (Dmax > depth [x0+w-1][y0] + depth) Ｄmax = depth [x0+w-1][y0]
if (Dmax > depth [x0][y0+h-1] + depth) Ｄmax = depth [x0+w-1][y0+h-1]
if (Dmax > depth [x0+w-1][y0+h-1] + depth) Ｄmax = depth [x0+w-1][y0+h-1]
この場合、最大値の決定に用いる分岐数が固定となるため、上述したループ不要の効果だけでなく、実装を容易にすることができる。
＜ブロックサイズに依存しない選択規則を用いる構成例＞

また、以上の例では、変換画素決定部１１２において、ブロック情報Ｉｂに基づいて対象画素を決定することとしたが、ブロック情報Ｉｂに依存せずに、デプスブロックから視差ベクトルに変換する際の対象画素を前述のように決定してもよい。すなわち、対象ブロックのサイズにかかわらず、常にデプスブロックの水平方向，垂直方向各１／２の画素数を選択して視差ベクトルに変換するようにしてもよい。

その際、水平方向，垂直方向それぞれの偶数画素位置を選択するか奇数画素位置を選択するか、画素数を１／２ではなく、１／４や１／８等にするか、等を適宜組み合わせて決定してもよいし、あるいはデプスブロックの四隅の画素のみを対象とするように決定してもよい。その際、デプスブロックのもともとのサイズが１画素×２画素や２画素×２画素など、選択しようとする画素数未満であるような場合、すなわち１／２や１／４や１／８等の画素数を選択しようとすると１画素未満になってしまうような場合には、デプスブロックの特定の位置（例えば、左上位置）の画素を対象として選択する。

変換画素決定部１１２の一つの構成例では、全てのブロックサイズにおいて、上述の図４（ｂ）のように、ブロック内の水平方向，垂直方向それぞれ１／２の画素数を利用する。図５は、ブロックが32x32、16x16、8x8、8x4、4x8の場合を示す。このとき、対応するデプスブロックは、各々、8x8、4x4、2x2、2x1、1x2になる。各々のデプスブロックにおいて縦横1/2のサブサンプリングにより選択画素を決定する。
変換画素決定部１１２が、サンプリング間隔stで選択し、視差ベクトル変換部１１３が、選択した画素のデプス値から平均値Ｄａｖｅを算出する場合、平均値の導出は一般に、以下の式で算出される。

sum = 0;
shift = log2(w*h)
for (j = y0; j < y0 + w; j+=st) {
for (i = x0; i < x0 + w; i+=st) {
sum += depth[i][j]
}
}
Ｄａｖｅ=sum >> shift

ここで、depth[x][y]は座標(x,y)でのデプス値、x0, y0はブロックの左上座標、wはブロックの幅、hはブロックの高さである。デプスブロック内の全画素を用いる場合にはst=1であり、st > 1では、デプスブロック内の画素がサンプリングされる。log2は２を底とする対数である。

変換画素決定部１１２の別の構成例では、全てのブロックサイズにおいて、上述の図４（ｆ）のように、ブロック内の４隅の画素を利用する。図６は、デプスマップが視差画像の縦横それぞれ４分の１のサイズである場合に４隅を用いる場合である。図６に示すように、変換画素決定部１１２はp1a、p1b、p1c、p1dの４点を参照する。ブロックサイズが小さくなる場合、４隅の点の幾つかが同じ点を示すことがある。すなわち、8x4の場合、p1a＝p1c、p1b＝p1dであり、4x8の場合、p1a＝p1b、p1c＝p1dである。この場合、変換画素決定部１１２はブロックサイズにかかわらず４点を選択する構成でも良いし、同じ座標となる点を除くようにしてブロックサイズに応じて４点、２点、１点などを選択する構成でも良い。なお、視差ベクトル変換部１１３が、選択した画素のデプス値から平均値もしくは最大値から算出する場合、４点を用いて計算しても、２点で計算しても結果は同じとなる。 本構成では、ブロックサイズに依存せずに固定の４点を用いるため、ループ処理に関わる処理を省略することができ、処理速度と実装容易性を向上させることができる。

また、図４（ｅ）〜（ｆ）のように、ブロックサイズが大きいほど、デプスブロックの画素数に対する、決定される画素位置の数の比が小さくなる決定規則であれば、ブロック情報Ｉｂに依存しなくても、対象ブロックのブロックサイズが大きいときの視差ベクトル変換における演算処理量を削減することができる。

＜ブロックサイズに依存する別の決定規則を用いる構成例＞
変換画素決定部１１２の用いる決定規則としては、上記とは別の決定規則を用いることもできる。より、具体的には、ブロック情報Ｉｂが示すブロックサイズが所定のサイズより以上である場合には、所定のサンプリング規則を決定規則とし、所定のサイズ未満である場合に、決定される画素位置の数が１となるように、決定規則を選択する。この場合、ブロックサイズが所定のサイズ以下の場合は、１点のみを用いるため、ブロックサイズが大きい場合と同様に、特に小レイテンシを必要とされるブロックサイズが小さい場合の処理量も削減することができる。

変換画素決定部１１２の一つの構成例を図５を再度参照して説明する。図５から分かるように、１／２サブサンプリングにおいて、ブロックサイズが所定のサイズ以下の場合、ここでは8x8、8x4、4x8の場合には、１点のみを用いる構成となる、この構成は、ブロックサイズによる分岐を行う方法で実現することもできる。明示的に分岐を行う構成では、例えば、ブロックサイズの幅と高さの最大値が８以下の場合に１点を用い、それ以外の場合には、ループによるサブサンプリングを行う。ブロックサイズによる分岐を行うと、ループ処理を省くことができるため、処理速度を向上させることができる。

変換画素決定部１１２の別の構成例では、全てのブロックサイズにおいて、上述の図４（ｆ）のように、ブロック内の４隅の画素を利用する。図７は、所定のブロックサイズ以上の場合に４隅を用い、それ以外の場合に１点を用いる構成の例である。すなわち、ブロックサイズの幅と高さの最大値が８以下の場合に１点を用い、それ以外の場合には、４隅を用いる。
この場合には、ブロックサイズによらず固定的な点を用いるため、ループ処理を省くことができる。また、小サイズのブロックにおける点数を１点とするため、小サイズにおける処理速度をさらに向上させることができる。

第２候補ベクトル生成部１１４は、対象ブロックの隣接ブロックが有する視差ベクトルＤｖを、ベクトルメモリ１０９から読み出す。第２候補ベクトル生成部１１４は、読み出した視差ベクトルＤｖを、第２候補ベクトルとして、予測ベクトル決定部１１５に通知する。本実施形態では、左側に隣接するブロックのうち一つと、上側に隣接するブロックのうち一つに関して視差ベクトルを読み出し、最大２つの第２候補ベクトルを生成する。隣接ブロックに視差ベクトルがなかった場合は、その隣接ブロックに関する候補ベクトルは生成しない。対象ブロックと隣接ブロックの関係を図８（ａ）に示す。対象ブロックＰＵに対して、視差ベクトルを読み出す隣接ブロックは、図中のブロックＮＢａ０、ＮＢａ１、ＮＢｂ０、ＮＢｂ１、ＮＢｂ２である。このうち、対象ブロックの左側に隣接するブロックＮＢａ０、ＮＢａ１の順で各ブロックの視差ベクトルを参照し、１つの候補ベクトルとする。同様に、対象ブロックの上側に隣接するブロックＮＢｂ０、ＮＢｂ１、ＮＢｂ２の順で各ブロックの視差ベクトルを参照し、１つの候補ベクトルとする。なお、本実施形態では、第２候補ベクトルの数は最大２つとしたが、その他の数であってもよい。

予測ベクトル決定部１１５は、第１候補ベクトルと、第２候補ベクトルとの中から、対象ブロックの視差ベクトルとの差分が少ないものを選択し、予測ベクトルＰｖとする。予測ベクトル決定部１１５は、第１候補ベクトルと第２候補ベクトルとのうち、いずれのベクトルを予測ベクトルとしたかを示すインデックスｉｄｘを生成する。なお、第１候補ベクトル生成部１１１、第２候補ベクトル生成部１１４、予測ベクトル決定部１１５は、対象ブロックの予測画像が視差予測により生成されたときのみ動作する。

動きベクトル予測部１１６は、動きベクトルの予測ベクトルと、インデックスｉｄｘを生成する。動きベクトル予測部１１６による予測ベクトルの生成方法は、公知の方法を用いることができる。一例としては、動きベクトル予測部１１６は、対象ブロックに隣接する複数のブロックの動きベクトルをベクトルメモリ１０９から読み出し、読み出した動きベクトルを隣接ブロックの位置に応じて、順番に候補ベクトルとする。

動きベクトル予測部１１６は、複数の候補ベクトルの中から、対象ブロックの動きベクトルとの差分が少ないベクトルを選択し、予測ベクトルＰｖとする。動きベクトル予測部１１６は、複数の候補のうち、いずれのベクトルを予測ベクトルとしたかを示すインデックスｉｄｘを生成する。なお、動きベクトル予測部１１６は、対象ブロックの予測画像が動き予測により生成されたときのみ動作する。

スイッチ部１１７は、予測ベクトルＰｖとインデックスｉｄｘとが、予測ベクトル決定部１１５あるいは動きベクトル予測部１１６から入力されると、入力された予測ベクトルＰｖとインデックスｉｄｘとを、エントロピー符号化部１０３に通知する。

次に、符号化装置の別の構成例について説明する。図９は、本実施形態における別の画像符号化装置１００ａの構成を示す概略ブロック図である。画像符号化装置１００との違いは、デプスマップ符号化部１２１、デプスマップメモリ１２２の代わりに、デプスマップ生成部１２３を備えることである。

デプスマップ生成部１２３は、ベクトルメモリ１０９から視差ベクトルを読み出し、擬似的なデプスマップを生成する。デプスマップを構成するデプス値は、前述したようなデプスマップから視差ベクトルへ変換する処理の逆変換を行うことによって生成する。生成するデプスマップのサイズ（画素数）は、得られる視差ベクトルの数に従って決定されるが、不足する画素は、隣接する画素からコピーするか、近傍の複数の画素を用いて補間することにより、視点画像のサイズと同一にしてもよい。あるいは、視点画像のサイズの１／２、１／４、１／８等のサイズのデプスマップを生成してもよい。また、対象ブロックのデプス値についても、デプスマップ生成部１２３は、隣接する画素からコピーするか、近傍の複数の画素を用いて補間することで生成する。

なお、画像符号化装置１００ａに含まれるその他の各部は、画像符号化装置１００と同一である。この構成により、デプスマップが外部から与えられない場合においても、擬似的なデプスマップを生成することにより、画像符号化装置１００と同様に予測ベクトル生成部１１０を用いて視差予測ベクトルを生成することができる。

図１０は、画像復号装置３００の構成を示す概略ブロック図である。図１０に示すように、画像復号装置３００は、エントロピー復号部３０１、逆量子化・逆ＤＣＴ変換部３０２、加算部３０３、加算部３０４、ベクトルメモリ３０５、予測ベクトル生成部３０６（予測ベクトル生成装置）、予測部３０７、参照画像メモリ３０８、デプスマップ復号部３０９、デプスマップメモリ３１０を含んで構成される。

エントロピー復号部３０１は、図２のエントロピー符号化部１０３における符号化方式に対応する復号処理を、符号化ストリームＴｅに対して行う。エントロピー復号部３０１は、この復号処理の結果から、インデックスｉｄｘ、差分ベクトルΔｖ、量子化係数、予測モードを分離する。逆量子化・逆ＤＣＴ変換部３０２は、図２の逆量子化・逆ＤＣＴ変換部１０４と同様の処理を、エントロピー復号部３０１が分離した量子化係数に対して行い、復号残差信号を生成する。加算部３０３は、逆量子化・逆ＤＣＴ変換部３０２が生成した復号残差信号と、予測部３０７が生成した予測画像Ｐとを加算し、復号視点画像Ｔｄを生成する。

加算部３０４は、エントロピー復号部３０１が分離した差分ベクトルΔｖと、予測ベクトル生成部３０６が生成した予測ベクトルＰｖとを加算し、動きベクトルＭｖまたは視差ベクトルＤｖを生成する。加算部３０４は、生成した動きベクトルＭｖと視差ベクトルＤｖとを、ベクトルメモリ３０５に記憶させる。ベクトルメモリ３０５は、動きベクトルＭｖと視差ベクトルＤｖとを記憶する。

予測ベクトル生成部３０６は、エントロピー復号部３０１が分離したインデックスｉｄｘと、ベクトルメモリ３０５が記憶するベクトルと、デプスマップメモリ３１０が記憶する復号デプスマップＤｄとを参照して、予測ベクトルＰｖを生成する。なお、予測ベクトル生成部３０６の詳細については、後述する。

予測部３０７は、視点画像Ｔを分割したブロック各々の予測画像Ｐを生成する。予測部３０７は、各ブロックの予測画像Ｐを、図２の予測部１０７で用いたものと同じ予測方式を用いて生成する。なお、予測画像Ｐを生成する際の参照画像は、参照画像メモリ３０８から取得する。また、予測部３０７は、各ブロックのブロックサイズを示すブロック情報Ｉｂを、予測ベクトル生成部３０６に入力する。予測部１０７でイントラ予測により予測画像Ｐが生成されたブロックについては、予測部３０７は、エントロピー復号部３０１が分離した予測モードに従ったイントラ予測を行い、予測画像Ｐを生成する。

また、予測部１０７で動き予測により予測画像Ｐが生成されたブロックについては、予測部３０７は、ベクトルメモリ３０５が記憶している当該ブロックの動きベクトルＭｖを用いた動き予測を行い、予測画像Ｐを生成する。また、予測部１０７で視差予測により予測画像Ｐが生成されたブロックについては、予測部３０７は、ベクトルメモリ３０５が記憶している当該ブロックの視差ベクトルＤｖを用いた視差予測を行い、予測画像Ｐを生成する。

参照画像メモリ３０８は、加算部３０３が生成した復号視点画像Ｔｄを参照画像として記憶する。デプスマップ復号部３０９は、図２のデプスマップ符号化部１２１における符号化方式に対応する復号処理を、デプスマップ符号化ストリームＤｅに対して行い、復号デプスマップＤｄを生成する。デプスマップメモリ３１０は、デプスマップ復号部３０９が生成した復号デプスマップＤｄを記憶する。

図１１は、予測ベクトル生成部３０６の構成を示す概略ブロック図である。図１１に示すように、予測ベクトル生成部３０６は、第１候補ベクトル生成部１１１、第２候補ベクトル生成部１１４、予測ベクトル選択部３６１、動きベクトル予測部３６２、スイッチ部３６３を含んで構成される。同図において図３に示した予測ベクトル生成部１１０の各部に対応する部分には同一の符号（１１１〜１１４）を付け、その説明を省略する。

予測ベクトル選択部３６１は、第１候補ベクトル生成部１１１が生成した候補ベクトルと、第２候補ベクトル生成部１１４が生成した候補ベクトルとの中から、インデックスｉｄｘが示すベクトルを選択する。動きベクトル予測部３６２は、図３の動きベクトル予測部１１６と同様に候補ベクトルを生成し、これらの中からインデックスｉｄｘが示すベクトルを選択する。スイッチ部３６３は、予測方式が視差予測のブロックが対象のときは、予測ベクトル選択部３６１が選択したベクトルを予測ベクトルＰｖとして出力する。また、スイッチ部３６３は、予測方式が動き予測のブロックが対象のときは、動きベクトル予測部３６２が選択したベクトルを予測ベクトルＰｖとして出力する。

（復号装置の別の構成）
次に、復号装置の別の構成例について説明する。図１２は、本実施形態における別の画像復号装置３００ａの構成を示す概略ブロック図である。画像復号装置３００との違いは、デプスマップ復号部３０９、デプスマップメモリ３１０の代わりに、デプスマップ生成部３１１を備えることである。

デプスマップ生成部３１１は、画像符号化装置１００ａにおけるデプスマップ生成部１２３と同様に、ベクトルメモリ３０５から視差ベクトルを読み出し、擬似的なデプスマップを生成する。デプスマップを構成するデプス値は、前述したようなデプスマップから視差ベクトルへ変換する処理の逆変換を行うことによって生成する。生成するデプスマップのサイズ（画素数）は、得られる視差ベクトルの数に従って決定されるが、不足する画素は、隣接する画素からコピーするか、近傍の複数の画素を用いて補間することにより、視点画像のサイズと同一にしてもよい。あるいは、視点画像のサイズの１／２、１／４、１／８等のサイズのデプスマップを生成してもよい。また、対象ブロックのデプス値についても、デプスマップ生成部３１１は、隣接する画素からコピーするか、近傍の複数の画素を用いて補間することで生成する。

なお、画像復号装置３００ａに含まれるその他の各部は、画像復号装置３００と同一である。この構成により、デプスマップが外部から与えられない場合においても、擬似的なデプスマップを生成することにより、画像復号装置３００と同様に予測ベクトル生成部３０６を用いて視差予測ベクトルを生成することができる。
このように、本実施形態では、デプスマップ内の一部の画素を利用して視差ベクトルを生成することにより、符号化／復号処理における演算量の増加を抑えながら、効率よく視差予測ベクトルを生成することができる。

［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。第１の実施形態では、視差ベクトルの予測ベクトルを生成する際に、装置外部から入力されたデプスマップもしくは視点画像から生成したデプスマップを利用して、視差ベクトルの予測ベクトルを生成していた。第２の実施形態では、デプスマップを必要とせず、対象ブロックに空間的時間的に隣接するブロックの情報を利用して視差ベクトルの予測ベクトルを生成する。

本実施形態における画像伝送システム１０ａは、画像符号化装置１００に変えて画像符号化装置１００ａを有し、画像復号装置３００に変えて画像復号装置３００ａを有する。図１３は、画像符号化装置１００ｂの構成を示す概略ブロック図である。同図において、図２に示した画像符号化装置１００の各部に対応する部分には同一の符号（１０１〜１０９、１１１、１１２）を付し、説明を省略する。図１３に示すように、画像符号化装置１００ｂは、減算部１０１、ＤＣＴ変換・量子化部１０２、エントロピー符号化部１０３、逆量子化・逆ＤＣＴ変換部１０４、加算部１０５、参照画像メモリ１０６、予測部１０７、減算部１０８、ベクトルメモリ１０９、予測ベクトル生成部１１０ａを含んで構成される。

図１４は、予測ベクトル生成部１１０ａの構成を示す概略ブロック図である。図１４に示すように、予測ベクトル生成部１１０ａは、第１候補ベクトル生成部１１１ａ、第２候補ベクトル生成部１１４、予測ベクトル決定部１１５、動きベクトル予測部１１６、スイッチ部１１７を含んで構成される。第１候補ベクトル生成部１１１ａは、動きベクトル取得部１１８、視差ベクトル取得部１１９を含んで構成される。以下、同図において、図３で同一の符号（１１４〜１１７）を付した各部に関しては、説明を省略する。

動きベクトル取得部１１８は、対象ブロックに対応する別視点のブロックの動きベクトルＭｖを取得する。図８（ｂ）に、対象ブロックに対応するブロックを示す。動きベクトル取得部１１８は、対象ブロックを含む視点画像とは別視点の画像（対象ブロックを含むピクチャと時間的に同じ表示順の参照ピクチャ）に含まれるブロックであって、対象ブロックと同位置にあるブロックＣＬＰＵと、ＣＬＰＵを含む符号化単位ブロックＣＬＣＵと、ＣＬＰＵの右下に隣接する隣接ブロックＢＢに関して、それぞれ動きベクトルの利用可能性をチェックし、利用可能な場合に動きベクトルを取得する。上記の順に動きベクトルを取得し、取得できた時点（参照可能な動きベクトルがあった最初のブロック）でベクトルの取得を終了する。

なお、ここで符号化単位ブロックとは、ＨＥＶＣ（High Efficiency Video Coding）におけるＬＣＵ（Largest Coding Unit）などのように、各フレームを均等のサイズに分割したブロックである。予測画像を生成するブロックは、この符号化単位ブロックと同じか、符号化単位ブロックをさらに分割したブロックである。また、符号化単位ブロックＣＬＣＵに関する動きベクトルとは、符号化単位ブロックＣＬＣＵを分割した各ブロック（予測画像を生成するブロック）のいずれかの動きベクトルである。すなわち、符号化単位ブロックＣＬＣＵを分割した各ブロックのうち、いずれかが動きベクトルを有していれば、符号化単位ブロックＣＬＣＵに関する動きベクトルとして取得される。

また、一般的には、隣接ブロックＢＢも、符号化単位ブロックＣＬＣＵ内のブロックであり、その場合は、隣接ブロックＢＢが動きベクトルを有していれば、符号化単位ブロックＣＬＣＵに関する動きベクトルとして取得される。しかし、図８（ｂ）に示した場合のように、ブロックＣＬＰＵが、符号化単位ブロックＣＬＣＵの右端または下端にあるときは、隣接ブロックＢＢは、符号化単位ブロックＣＬＣＵ外に位置するため、符号化単位ブロックＣＬＣＵに関する動きベクトルが取得されなくても、隣接ブロックＢＢの動きベクトルが取得されることはある。

なお、動きベクトル取得部１１８および視差ベクトル取得部１１９において、あるブロックＸ（Ｘは上記ブロックの一つ）の動きベクトルおよび視差ベクトルは次のように参照される。ブロックＸの予測モードpredModeもしくはブロックＸの２つの予測フラグpredFlagL0、predFlagL1を参照し、ブロックＸがインター予測されているか否かをチェックする。予測モードpredModeがMODE_INTRAであればイントラ予測、それ以外であればインター予測である。

予測フラグpredFlagL0、predFlagL1は、各参照リストＬ０、参照リストＬ１に属する参照ピクチャが予測画像生成に用いられるか否かを示す。予測フラグpredFlagL0、predFlagL1がともに１であればインター予測の双予測、いずれか一方のみが１であればインター予測の単予測、ともに０であればイントラ予測である。ブロックＸがインター予測されていない場合には、ブロックＸの動きベクトルおよび視差ベクトルは利用可能ではない。参照リストＬＸの予測フラグpredFlagLXが１の場合には、予測画像生成に用いる参照ピクチャが、参照ピクチャインデックスrefIdxLXにより指定される。ブロックＸがインター予測である場合には、次に、対象ブロックの参照ピクチャインデックスrefIdxLXが示す参照ピクチャの時間順序（ＰＯＣ）と、ブロックＸの参照ピクチャインデックスrefIdxLXが示す参照ピクチャの時間順序（ＰＯＣ）を比較する（X=0もしくは１）。具体的には、以下の２つを比較する。
PicOrderCnt( RefPicList0[ refIdxL0 ])
PicOrderCnt( RefPicList0[ refIdxL0 of blockX ] )

ここで、RefPicListXは参照ピクチャインデックスredIdxLXから参照ピクチャを参照するための配列、PicOrderCnt(x)は引数xで指定された参照ピクチャの表示順序を求める関数である。なお、対象ブロックのＬ０リスト用の参照ピクチャインデックスrefIdxL0に対しては、ブロックＸのＬ０リスト用の参照ピクチャインデックスrefIdxL0と参照リストＬ０用のベクトルを参照するが、ブロックＸの参照リストＬ１用の参照ピクチャインデックスref_L1idxと参照リストＬ０用のベクトルを参照しても良い。対象ブロックの参照リストＬ１用の参照ピクチャインデックスrefIdxL1も同様である。

上記、時間順序が異なる場合には、ベクトルメモリで保持されているブロックＸのベクトルは、動きベクトルであり、動きベクトルが利用可能であり、動きベクトルmvLXが導出される。
逆に、上記、時間順序が等しい場合には、ベクトルメモリで保持されているブロックＸのベクトルは、視差ベクトルであり、視差ベクトルが利用可能であり、視差ベクトルmvLXが導出される。

視差ベクトル取得部１１９は、対象ブロックに隣接するブロックの視差ベクトルＤｖを取得する。視差ベクトル取得部１１９は図示しない隣接視差ベクトル導出部、時間視差ベクトル導出部、固定視差ベクトル導出部を備える。視差ベクトル取得部１１９は、後述するように隣接視差ベクトル、時間的視差ベクトルの順で視差ベクトルを取得し、いずれかの視差ベクトルが得られた時点で、その視差ベクトルを第１候補ベクトルとして出力する。いずれの視差ベクトルも得られなかった場合には、第１候補ベクトルとしてゼロベクトルを出力する。

図８（ａ）に、対象ブロックとその隣接ブロックの関係を示す。対象ブロックＰＵに対して、視差ベクトルを読み出す隣接ブロックは、図中のブロックＮＢａ０、ＮＢａ１、ＮＢｂ０、ＮＢｂ１、ＮＢｂ２である。
視差ベクトル取得部１１９は、隣接視差ベクトル取得部において、対象ブロックの左側に隣接するブロックＮＢａ０、ＮＢａ１の順で各ブロックの視差ベクトルの利用可能性を参照し、利用可能な視差ベクトルがある場合には、最初に参照したブロックの視差ベクトルを第１候補ベクトルとする。左に隣接するブロックのいずれにも利用可能な視差ベクトルがない場合には、隣接視差ベクトル取得部は、さらに、対象ブロックの上側に隣接するブロックＮＢｂ０、ＮＢｂ１、ＮＢｂ２の順で各ブロックの視差ベクトルの利用可能性を参照し、利用可能な視差ベクトルがある場合には、最初に参照したブロックの視差ベクトルを第１候補ベクトルとする。

隣接するブロックの視差ベクトルがない場合、視差ベクトル取得部１１９の備える時間視差ベクトル取得部は、前記動きベクトル取得部１１８が取得した動きベクトルが指し示す先の、時間的に別の表示順の参照ピクチャに含まれるブロックの視差ベクトルを取得する。
隣接視差ベクトル取得部、時間視差ベクトル取得部において視差ベクトルが取得できない場合、視差ベクトル取得部１１９は、固定視差ベクトル取得部において、第１候補ベクトルをゼロベクトルとする。

動きベクトルが指し示す先のブロックに関連する視差ベクトルを取得する場合、動きベクトルを導出する処理に加えて、時間的に別のピクチャに存在するブロックの情報を取得する処理が必要になる。これらの処理は、処理の段階が多い（動きベクトル導出、別ピクチャ参照）ため処理時間がかかる。また、別ピクチャの符号化情報は比較的遅延の大きいメモリに置かれることが多い。すなわち、レイテンシと容量にトレードオフがある複数のメモリ（レジスタ、１次キャッシュ、２次キャッシュ、外部メモリなど）があると、隣接視差ベクトル取得部で参照する対象ブロック周囲の符号化情報に比べ、時間視差ベクトル取得部で参照される符号化情報は、遅延が大きいメモリに置かれる。従って、時間視差ベクトル取得部の処理の演算量（処理時間）は大きい。

上記各ベクトルの取得処理において、動きベクトル取得部１１８および視差ベクトル取得部１１９は、ブロック情報Ｉｂを参照して処理を切り替える。例えば、ブロック情報Ｉｂに含まれる対象ブロックのブロックサイズが所定のサイズ（例えば１６×１６）より小さい場合には、視差ベクトル取得部１１９は、動きベクトルを参照する視差ベクトルの取得を行わないようにし、対象ブロックに隣接するブロックに関連する視差ベクトル、もしくは固定ベクトルのみ取得するようにする。また、動きベクトル取得部１１８は視差ベクトル取得に用いられる動きベクトルの取得を行わないようにする。

具体的には、ブロックサイズが所定のサイズ以上の場合には、視差ベクトル取得部１１９は、隣接視差ベクトル取得部、時間視差ベクトル取得部、固定視差ベクトル取得部の順に、視差ベクトルの取得を行い、ブロックサイズが所定のサイズ未満の場合には、視差ベクトル取得部１１９は、時間視差ベクトル取得部を除く処理、すなわち、隣接視差ベクトル取得部、固定視差ベクトル取得部の順に、視差ベクトルの取得を行う。

このような構成にすることで、ブロックサイズが小さくて、ブロック数が多くなっているときに、動きベクトル参照および別ピクチャの符号化パラメータ参照による処理量の増加を低減することができる。なお、ブロックサイズの判定は、予測ブロック（ＰＵ）のサイズであるＰＵサイズを用いても良いし、ＰＵを含む構造であるＣＵのサイズを用いても良い。また、ＰＵのサイズと等価な意味を有するＣＵサイズとＰＵ分割タイプを用いても良い。

なお、以上の例では、動きベクトル取得部１１８および視差ベクトル取得部１１９において、ブロック情報Ｉｂに基づいて処理を切り替えることとしたが、ブロック情報Ｉｂの代わりに、符号化条件に基づいて処理を切り替えてもよい。例えば、低負荷処理や低遅延伝送を狙いとする用途の符号化条件の場合に、動きベクトル取得部１１８を作動させずに、視差ベクトル取得部１１９が隣接ブロックの情報のみを用いて視差ベクトルを取得するようにして、高品位伝送を狙いとする用途の符号化条件の場合には、常に動きベクトル取得部１１８、視差ベクトル取得部１１９共に作動させ、隣接ブロックの視差ベクトルおよび動きベクトルを参照して視差ベクトルを取得するようにしてもよい。

図１５は、画像復号装置３００ｂの構成を示す概略ブロック図である。同図において、図１０の各部に対応する部分には同一の符号（３０１〜３０５、３０７〜３０８）を付し、説明を省略する。図１５に示すように、画像復号装置３００ｂは、エントロピー復号部３０１、逆量子化・逆ＤＣＴ変換部３０２、加算部３０３、加算部３０４、ベクトルメモリ３０５、予測ベクトル生成部３０６ａ、予測部３０７、参照画像メモリ３０８を含んで構成される。

図１６は、予測ベクトル生成部３０６ａの構成を示す概略ブロック図である。図１６に示すように、予測ベクトル生成部３０６ａは、第１候補ベクトル生成部１１１ａ、第２候補ベクトル生成部１１４、予測ベクトル選択部３６１、動きベクトル予測部３６２、スイッチ部３６３を含んで構成される。第１候補ベクトル生成部１１１ａは、動きベクトル取得部１１８、視差ベクトル取得部１１９を含んで構成される。同図において、各構成要素は図１１または図１４に含まれるものと同一であり、説明は省略する。
本実施形態においても、第１の実施形態と同様に、視差ベクトル予測精度を良好に保ちながら、符号化／復号処理における演算量を軽減させることができる。

なお、画像符号化装置１００、画像復号装置３００や、画像符号化装置１００ａ、１００ｂ、画像復号装置３００ａ、３００ｂ各々の機能あるいはそれらの一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各装置を実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、画像符号化装置１００、画像復号装置３００や、画像符号化装置１００ａ、１００ｂ、画像復号装置３００ａ、３００ｂの一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。各装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０…画像伝送システム
１００、１００ａ、１００ｂ…画像符号化装置
１０１…減算部
１０２…ＤＣＴ変換・量子化部
１０３…エントロピー符号化部
１０４…逆量子化・逆ＤＣＴ変換部
１０５…加算部
１０６…参照画像メモリ
１０７…予測部
１０８…減算部
１０９…ベクトルメモリ
１１０、１１０ａ…予測ベクトル生成部
１１１、１１１ｂ…第１候補ベクトル生成部
１１２…変換画素決定部
１１３…視差ベクトル変換部
１１４…第２候補ベクトル生成部
１１５…予測ベクトル決定部
１１６…動きベクトル予測部
１１７…スイッチ部
１１８…動きベクトル取得部
１１９…視差ベクトル取得部
１２１…デプスマップ符号化部
１２２…デプスマップメモリ
１２３…デプスマップ生成部
２００…ネットワーク
３００、３００ａ…画像復号装置
３０１…エントロピー復号部
３０２…逆量子化・逆ＤＣＴ変換部
３０３…加算部
３０４…加算部
３０５…ベクトルメモリ
３０６、３０６ａ…予測ベクトル生成部
３０７…予測部
３０８…参照画像メモリ
３０９…デプスマップ復号部
３１０…デプスマップメモリ
３１１…デプスマップ生成部
３６１…予測ベクトル選択部
３６２…動きベクトル予測部
３６３…スイッチ部
４００…自由視点画像表示装置

Claims (10)

1. 非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、
   前記非基準視点画像に対応するデプスマップにおける、前記対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する変換画素決定部と、
   前記変換画素決定部が決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する視差ベクトル変換部と、
   前記視差ベクトル変換部が生成した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル決定部と、
   を具備することを特徴とする予測ベクトル生成装置。
2. 前記変換画素決定部は、前記対象ブロックのサイズに応じて選択した決定規則に従い、前記画素位置を決定することを特徴とする、請求項１に記載の予測ベクトル生成装置。
3. 非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置であって、
   前記非基準視点画像とは別の視点画像において前記対象ブロックに対応するブロックに関する動きベクトルを取得する動きベクトル取得部と、
   前記取得した動きベクトルを参照して、前記非基準視点画像の他の時刻の視点画像におけるブロックを選択し、該ブロックに関する視差ベクトルを取得する第１の取得方法と、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第２の取得方法とのうち、選択した取得方法を用いて視差ベクトルを取得する視差ベクトル取得部と、
   前記視差ベクトル取得部が取得した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを決定する予測ベクトル決定部と、
   を具備することを特徴とする予測ベクトル生成装置。
4. 前記視差ベクトル取得部は、前記対象ブロックのサイズに応じて、前記第１の取得方法および前記第２取得方法のうちのいずれを用いるかを選択する
   ことを特徴とする請求項３に記載の予測ベクトル生成装置。
5. 請求項１から請求項４のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像符号化装置。
6. 請求項１から請求項４のいずれかの項に記載の予測ベクトル生成装置を具備することを特徴とする画像復号装置。
7. 非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成方法であって、
   前記非基準視点画像に対応するデプスマップにおける、前記対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する第１の過程と、
   前記第１の過程にて決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する第２の過程と、
   前記第２の過程にて生成した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを生成する第３の過程と、
   を有することを特徴とする予測ベクトル生成方法。
8. 非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成方法であって、
   前記非基準視点画像とは別の視点画像において前記対象ブロックに対応するブロックに関する動きベクトルを取得する第１の過程と、
   前記取得した動きベクトルを参照して、前記非基準視点画像の他の時刻の視点画像におけるブロックを選択し、該ブロックに関する視差ベクトルを取得する第１の取得方法、もしくは、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第２の取得方法を用いて視差ベクトルを取得する第２の過程と、
   前記第２の過程にて取得した視差ベクトルを用いて前記対象ブロックの視差ベクトルの予測ベクトルを決定する第３の過程と
   を有することを特徴とする予測ベクトル生成方法。
9. コンピュータを、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置として機能させるために、
   前記非基準視点画像に対応するデプスマップにおける、前記対象ブロックに対応するデプスブロック内のひとつ以上の画素位置を決定する変換画素決定部、
   前記変換画素決定部が決定した画素位置のデプス値の代表値を算出し、該代表値を視差ベクトルに変換する視差ベクトル変換部、
   前記視差ベクトル変換部が生成した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル決定部
   として機能させるためのプログラム。
10. コンピュータを、非基準視点画像における対象ブロックの視差ベクトルの予測ベクトルを生成する予測ベクトル生成装置として機能させるために、
    前記非基準視点画像とは別の視点画像において前記対象ブロックに対応するブロックに関する動きベクトルを取得する動きベクトル取得部、
    前記取得した動きベクトルを参照して、前記非基準視点画像の他の時刻の視点画像におけるブロックを選択し、該ブロックに関する視差ベクトルを取得する第１の取得方法、もしくは、前記対象ブロックの隣接ブロックに関する視差ベクトルを取得する第２の取得方法を用いて視差ベクトルを取得する視差ベクトル取得部、
    前記視差ベクトル取得部が取得した視差ベクトルを用いて、前記対象ブロックの視差ベクトルの予測ベクトルを決定する予測ベクトル決定部
    として機能させるためのプログラム。

Images