WO2012060171A1

WO2012060171A1 - 動画像符号化装置、動画像復号装置、動画像伝送システム、動画像符号化装置の制御方法、動画像復号装置の制御方法、動画像符号化装置制御プログラム、動画像復号装置制御プログラム、および記録媒体

Info

Publication number: WO2012060171A1
Application number: PCT/JP2011/072288
Authority: WO
Inventors: 純生佐藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-11-04
Filing date: 2011-09-28
Publication date: 2012-05-10
Anticipated expiration: 2013-05-04

Abstract

　各フレーム画像を複数の領域に分割する距離画像分割処理部（２２）と、各領域の代表値を決定する番号付与部（２４）と、代表値に対し適応的符号化を行い、フレーム画像の符号化データを生成する距離値符号化部（２５）とを備え、距離値符号化部（２５）は、上記更新するコードブックの初期のコードブックとして、今回、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに作成したコードブックを用いる。

Description

動画像符号化装置、動画像復号装置、動画像伝送システム、動画像符号化装置の制御方法、動画像復号装置の制御方法、動画像符号化装置制御プログラム、動画像復号装置制御プログラム、および記録媒体

　本発明は、距離映像を符号化する動画像符号化装置、動画像符号化装置の制御方法、動画像符号化装置制御プログラム、および、これらによって符号化された符号化データを復号する動画像復号装置、動画像復号装置の制御方法、動画像復号装置制御プログラム、並びに、こられを含む動画像伝送システム、記録媒体に関するものである。

　近年、被写体の３次元形状を表現するディスプレイが広まってきている。３次元形状を表現する形式は大きく分けて２つある。１つは、ディスプレイを見るときに、ユーザが専用の眼鏡をかけることによって、表示された被写体を３次元で認識することができる眼鏡方式であり、もう１つは、ユーザが眼鏡をかけることなく、表示された被写体を３次元で認識することができる裸眼方式である。

　眼鏡方式の場合、左眼で左眼用画像を右眼で右眼用画像を見ることによって、被写体を３次元で認識することができるので、左右それぞれの眼に対応する２つの画像が必要となる。

　一方、裸眼方式の場合、８～９視点の画像が必要となる。よって、８～９視点の画像それぞれを伝送する場合、伝送データ量が膨大となってしまう。そこで、複数視点の画像を伝送するためのさまざまな技術が提案されている．
　例えば、複数視点の画像それぞれを伝送するのではなく、通常の二次元映像（テクスチャ映像）と、カメラから被写体までの距離を表現する画像である距離映像との２種類の画像を記録して、伝送する方法がある。テクスチャ画像と距離画像とを伝送することにより、伝送先で複数視点の画像を作成することができる（後述する）ので、複数視点の画像それぞれを伝送するよりも伝送データ量を抑えることができる。

　ここで、距離画像とは，画像内の被写体全てについて、カメラから被写体までの距離を画素ごとに表現した画像である。カメラから被写体までの距離は、カメラ近傍に設置された、距離を測定する装置によって取得することもできるし、２つ以上の多視点からのカメラによって撮影されたテクスチャ映像を解析することによっても取得することができる。

　なお、距離画像については、国際標準化機構／国際電機標準会議（ＩＳＯ／ＩＥＣ）のワーキンググループであるＭｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ（ＭＰＥＧ）により、距離深度（カメラから被写体までの距離）を２５６段階、すなわち８ビットの輝度値で表現する規格であるＭＰＥＧ－Ｃ　ｐａｒｔ３が定められている。

　この規格により、距離画像は８ビットのグレースケールで表現された画像となる。そして、距離画像では、距離が近いほど高い値の輝度を割り当てるため、カメラに近い被写体ほど白くなり、遠くの被写体になるほど黒くなる。

　そして、テクスチャ画像と距離画像とがあれば、テクスチャ画像に映る被写体の画素ごとの距離が分かるため、被写体を２５６段階の三次元形状に復元することができる。また、その形状を他視点の二次元平面に幾何的に投影することができるので、テクスチャ画像を他視点からのテクスチャ画像に変換することが可能となる。

　ただし，１つの視点からのテクスチャ画像には、画像には表れない被写体の裏側の死角が存在するため、単純に投影変換をすると、投影変換では埋められない空白画素（オクルージョン）が発生してしまう。

　そこで、複数の視点画像を用いることのより、オクルージョンの発生を防止する。具体的には、視点Ａからのテクスチャ画像を仮想視点Ｂからのテクスチャ画像に投影変換する場合、Ａとは別の視点である視点Ｃからのテクスチャ画像からも、同様に仮想視点Ｂからのテクスチャ画像に投影変換する。これにより、同じ仮想視点Ｂからの画像が２つでき、視点Ａからのテクスチャ画像と視点Ｃからのテクスチャ画像とでは死角が異なるため、一方の視点からの画像におけるオクルージョンを、他方の視点からの画像により補うことができる。

　なお、一般的に、視点Ａと視点Ｃとを結ぶ線上の仮想視点への投影変換については、オクルージョンを補うことが可能であり、当該線上の仮想視点からの画像を作成することができる。

　そして、この手法を用いることにより、例えば２視点あるいは３視点のテクスチャ画像とそれぞれに対応する距離画像とから、８～９視点の仮想視点からのテクスチャ画像を作成することが可能となる。よって、２視点あるいは３視点のテクスチャ画像とそれぞれに対応する距離画像とを伝送すれば、受信側で８～９視点の仮想視点からのテクスチャ画像を作成することが可能となり、伝送データ量を少なくすることができる。

　また、非特許文献１には、複数の視点間の映像（画像を各フレームとする映像）の冗長性を効率良く排除することにより、複数の視点の映像を圧縮する方法が開示されている。これを、複数のテクスチャ映像と、複数の距離映像との２つのグループに対して適用することにより、テクスチャ映像同士での冗長性の排除と、距離映像同士での冗長性の排除が可能となり、伝送データを圧縮することができる。

　また、特許文献１には、ある視点における距離映像に対し、上述した投影変換を行うことにより、特定視点における距離映像を作成し、作成した距離映像におけるホールを除去することによって、特定視点における距離映像を生成する方法が開示されている。

日本国公開特許公報「特開２００９－１０５８９４号公報（２００９年５月１４日公開）」

ＩＴＵ－Ｔ　勧告　Ｈ．２６４　International Telecommunication Union - Telecommunication Standardization Sector,２００９年３月 C. Lawrence Zinick, Sing Bing Kang, Matthew Uyttendaele, Simon Winder AND Richard Szeliski, "High－quality video view interpolation using a layered representation," ACM Trans. On Graphics, 23(３),600-608 (2004) T. A. Welch, "A Technique forHigh-Performance Data Compression," IEEE Computer, 17(6), 8-(1)9 (1984).

　まず、距離画像の特性について説明する。距離画像は、カメラから被写体までの距離を、画素ごとに段階的に離散値で表現したものであり、次のような特徴を持っている。第１の特徴は、被写体のエッジ部分がテクスチャ画像と共通しているということである。すなわち、テクスチャ画像に、被写体と背景とが画像として区別できる情報が含まれている限りにおいて、被写体と背景との境界（エッジ）は、テクスチャ画像と距離画像とで共通である。よって、被写体のエッジ情報は、テクスチャ画像と距離画像との相関情報の大きな要素の１つとなる。

　また、第２の特徴は、被写体のエッジより内側の部分は距離深度値が比較的平坦であるということである。

　例えば、被写体が人物の場合、テクスチャ画像では、当該人物が着ている服の模様の情報などが現れるが、距離画像には、服の模様の情報などは現れず、距離深度の情報のみが表現される。そのため、同一被写体上の距離深度値は平坦か、あるいはテクスチャ画像と比較して緩やかな変化となる。

　このような２つの特徴により、距離深度値が一定の範囲ごとに画素を区切れば、その範囲内は距離深度値が一定であるため、直交変換などを行うことなく非常に効率的な符号化を行うことが可能となる。さらに、区切り方について、テクスチャ画像における何らかの法則に基づいてより区切る範囲を決定すれば、区切った範囲に関する情報を伝送する必要がなくなり、さらに符号化効率を向上させることができる。

　ここで、距離深度値に基づいて区切った範囲に含まれる画素群をセグメントと呼ぶ。セグメントの個数が少ないほど符号化効率を向上させることができるため、セグメントの形状は限定せず、柔軟な形状としたほうが、より符号化効率を向上させることができる。

　そこで、様々な形状のセグメントによって距離画像を分割する場合を考える。各セグメントに対応する距離深度値の分布は、時間的に前後するフレーム間、あるいは異なる視点画像と対応する距離画像と類似したものになる場合が多い。

　したがって，このような特性を利用し、時間的に前後するフレーム間，あるいは異なる視点画像に対応する距離画像との間で、冗長性を排除すれば、さらなる圧縮が可能となる。

　そして、非特許文献１では、テクスチャ画像について、時間的に前後するフレーム間、あるいは異なる視点画像間で、正方形のセグメントを再利用して、圧縮の効率化を図っている。より詳細には、非特許文献１では、動き補償ベクトルあるいは視差補償ベクトルという手法により、画像を正方形のセグメント（ブロック）に分割して、時間的に前後するフレーム間、あるいは異なる視点画像間でブロックを再利用することによってデータを圧縮している。

　しかしながら、非特許文献１に記載された方法を、上述した柔軟なセグメント形状に分割した距離画像に適用すると、極めて符号化効率が悪くなってしまう。なぜなら、特許文献１に記載された方法は、セグメントを正方形とし、各セグメントを直交変換するという方法に適した手法であり、セグメントを柔軟な形状にした場合、伝送するベクトル情報が膨大になってしまうためである。

　また、特許文献１に記載された方法は、複数視点の距離映像を一つの視点で代用するため、誤差が大きくなり、品質が大幅に劣化してしまう。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、効率よく符号化することができる動画像符号化装置等を実現することにある。

　上記課題を解決するために、本発明に係る動画像符号化装置は、動画像を符号化する動画像符号化装置であって、上記動画像の各フレーム画像を複数の領域に分割する画像分割手段と、上記画像分割手段が分割した各領域の代表値を決定する代表値決定手段と、上記フレーム画像ごとに、上記代表値決定手段が決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化手段と、を備え、上記適応的符号化手段は、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いることを特徴としている。

　また、本発明に係る動画像符号化装置の制御方法は、動画像を符号化する動画像符号化装置の制御方法であって、上記動画像の各フレーム画像を複数の領域に分割する画像分割ステップと、上記画像分割ステップで分割した各領域の代表値を決定する代表値決定ステップと、上記フレーム画像ごとに、上記代表値決定ステップで決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化ステップと、を含み、上記適応的符号化ステップでは、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いることを特徴としている。

　上記の構成または方法によれば、動画像の各フレーム画像が複数の領域に分割され、分割された各領域の代表値が決定される。そして、フレーム画像ごとに、代表値を所定の順序で並べた数列に対し、適応的符号化が行われる。

　ここで、所定の順序とは、代表値と対応する領域がフレーム画像においてどの位置に存在するかを特定することができる順序である。例えば、フレーム画像をラスタスキャンしたときに各領域に含まれる何れかの画素が最初にスキャンされた順を、所定の順序とすることが挙げられる。

　そして、適応的符号化のときに、更新するコードブックとして、符号化対象の数列に対応するフレーム画像とは異なるフレーム画像の数列を適応的符号化したときに更新し終えたコードブックを用いる。

　これにより、適応的符号化のときに、更新するコードブックを再利用することができるので、コードブックを再利用しない場合と比較して、適応的符号化の処理の効率を向上させることができる。すなわち、動画像を効率よく符号化することができる。

　上記課題を解決するために、本発明に係る動画像復号装置は、動画像の各フレーム画像を複数の領域に分割し、各領域の代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新することにより符号化する適応的符号化を行った上記フレーム画像の符号化データである画像符号化データを復号する動画像復号装置であって、上記画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号手段と、上記適応的復号手段が生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成手段と、を備え、上記適応的復号手段は、上記更新するコードブックとして、適応的復号を行う画像符号化データ以外の画像符号化データを適応的復号したときに更新し終えたコードブックを用いることを特徴としている。

　また、本発明に係る動画像復号装置の制御方法は、動画像の各フレーム画像を複数の領域に分割し、各領域の代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新することにより符号化する適応的符号化を行った上記フレーム画像の符号化データである画像符号化データを復号する動画像復号装置の制御方法であって、上記画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号ステップと、上記適応的復号ステップで生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成ステップと、を備え、上記適応的復号ステップでは、上記更新するコードブックとして、適応的復号を行う符号化データ以外の符号化データを適応的復号したときに更新し終えたコードブックを用いることを特徴としている。

　上記の構成または方法によれば、動画像の各フレーム画像を複数の領域に分割し、各領域の代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行った上記フレーム画像の符号化データである画像符号化データを、適応的復号する。そして、適応的復号した復号データと、領域を示す情報とから、画像を生成する。

　そして、適応的復号に用いる、更新するコードブックとして、適応的復号を行う画像符号化データ以外の画像符号化データを適応的復号したときに更新し終えたコードブックを用いる。

　これにより、適応的復号に用いる、更新するコードブックを再利用することができるので、コードブックを再利用しない場合と比較して、適応的復号の処理の効率を向上させることができる。

　なお、上記動画像符号化装置および動画像復号装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記動画像符号化装置および動画像復号装置をコンピュータにて実現させる動画像符号化装置および動画像復号装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　以上のように、本発明に係る動画像符号化装置は、動画像の各フレーム画像を複数の領域に分割する画像分割手段と、上記画像分割手段が分割した各領域の代表値を決定する代表値決定手段と、上記フレーム画像ごとに、上記代表値決定手段が決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化手段と、を備え、上記適応的符号化手段は、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いる構成である。

　また、本発明に係る動画像符号化装置の制御方法は、動画像の各フレーム画像を複数の領域に分割する画像分割ステップと、上記画像分割ステップで分割した各領域の代表値を決定する代表値決定ステップと、上記フレーム画像ごとに、上記代表値決定ステップで決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化ステップと、を含み、上記適応的符号化ステップでは、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに作成したコードブックを用いる方法である。

　これにより、適応的符号化に用いるコードブックを再利用することができるので、コードブックを再利用しない場合と比較して、適応的符号化の処理の効率を向上させることができるという効果を奏する。すなわち、動画像を効率よく符号化することができるという効果を奏する。

　また、本発明に係る復号装置は、画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号手段と、上記適応的復号手段が生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成手段と、を備え、上記適応的復号手段は、上記更新するコードブックとして、適応的復号を行う画像符号化データ以外の画像符号化データを適応的復号したときに更新し終えたコードブックを用いる構成である。

　また、本発明に係る復号装置の制御方法は、画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号ステップと、上記適応的復号ステップで生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成ステップと、を備え、上記適応的復号ステップでは、上記更新するコードブックとして、適応的復号を行う符号化データ以外の符号化データを適応的復号したときに更新し終えたコードブックを用いる方法である。

　これにより、適応的復号に用いるコードブックを再利用することができるので、コードブックを再利用しない場合と比較して、適応的復号の処理の効率を向上させることができるという効果を奏する。

本発明の実施の形態を示すものであり、動画像符号化装置の要部構成を示すブロック図である。ＡＶＣ符号化において、あるピクチャがどのピクチャを参照するかを説明するための図である。テクスチャ画像を分割する例を説明するための図である。テクスチャ画像を分割する例を説明するための図である。テクスチャ画像を分割する例を説明するための図である。図３のテクスチャ画像に対応する距離画像を示す図である。セグメントに含まれる画素を説明するための図である。セグメントに含まれる画素を説明するための図である。セグメントに含まれる画素を説明するための図である。セグメント番号の付与の方法を説明するための図である。セグメント番号の付与の方法を説明するための図である。セグメントテーブル示す図である。代表値がセグメント番号順に並んだ数列を示す図である。ＬＺＷ方式のアルゴリズムを示す図である。ＬＺＷ方式により作成されるコードブックを示す図である。ＬＺＷ方式により作成される符号語列を示す図である。図１６に示す符号語列を９桁の２値で表現した２値列を示す図である。ＮＡＬユニットの構成を模式的に示した図である。動画像符号化装置の動作を示すフローチャートである。本発明の実施の形態の示すものであり、動画像復号装置の要部構成を示すブロック図である。動画像復号装置の動作を示すフローチャートである。本発明の他の実施の形態を示すものであり、動画像符号化装置の要部構成を示すブロック図である。ＭＶＣ符号化を説明するための図である。距離値符号化部が、参照画像を決定する処理の流れを示すフローチャートである。上記他の実施の形態を示すものであり、動画像復号装置の要部構成を示すブロック図である。複数のセグメントを規定する動作の一例を示すフローチャート図である。図２６のフローチャートにおけるセグメント結合処理のサブルーチンを示すフローチャート図である。動画像復号装置および動画像符号化装置が、動画像の送受信に利用できることを説明するための図であり、図２８の（ａ）は、動画像符号化装置を搭載した送信装置の構成を示したブロック図であり、図２８の（ｂ）は、動画像復号装置を搭載した受信装置の構成を示したブロック図である。動画像復号装置および動画像符号化装置が、動画像の記録および再生に利用できることを説明するための図であり、図２９の（ａ）は、動画像符号化装置を搭載した記録装置の構成を示したブロック図であり、図２９の（ｂ）は、動画像復号装置を搭載した再生装置の構成を示したブロックである。

　〔実施の形態１〕
　本発明の一実施の形態について図１から図２１に基づいて説明すれば、以下のとおりである。最初に、本実施形態に係る動画像符号化装置１について説明する。本実施形態に係る動画像符号化装置１は、概略的に言えば、３次元動画像を構成する各フレームについて、該フレームを構成するテクスチャ画像および距離画像（各画素値が奥行き値で表現された画像）を符号化することによって符号化データを生成する装置である。

　本実施形態に係る動画像符号化装置１は、テクスチャ画像の符号化に、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）－４　ＡＶＣ（Advanced Video Coding）規格に採用されている符号化技術を用いる一方、距離画像の符号化には本発明に特有の符号化技術を用いている動画像符号化装置である。

　本発明に特有の上記符号化技術は、テクスチャ画像と距離画像とに相関があることに着目して開発された符号化技術である。２つの画像には、テクスチャ画像中に被写体のエッジを示す情報が含まれている場合、距離画像中の被写体のエッジも同様となるとともに、被写体領域に含まれる画素群は全部または略全ての画素が同じ距離値をとる傾向が強いという相関がある。

　（画像符号化装置の構成）
　最初に本実施形態に係る動画像符号化装置の構成について図１を参照しながら説明する。図１は、動画像符号化装置１の要部構成を示すブロック図である。

　図１に示すように、動画像符号化装置１は、画像符号化部（ＡＶＣ符号化手段）１１、画像復号部（ＡＶＣ復号手段）１２、距離画像符号化部２０、およびパッケージング部２８を含む構成である。また、距離画像符号化部２０は、画像分割処理部２１、距離画像分割処理部（画像分割手段）２２、距離値修正部２３、番号付与部（代表値決定手段）２４、および距離値符号化部（適応的符号化手段、出力手段）２５を含む構成である。

　画像符号化部１１は、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ規格に規定されているＡＶＣ（Advanced Video Coding）符号化によりテクスチャ画像＃１の符号化を行う。そして、符号化データ（ＡＶＣ符号化データ）＃１１を画像復号部１２およびパッケージング部２８に出力する。

　また、画像符号化部１１は、選択されたピクチャ（予測画像）の種類（後述する）、および選択されたピクチャの参照先となるピクチャを識別する情報（選択されたピクチャがＰピクチャまたはＢピクチャの場合）を示すピクチャ情報＃１１Ａを、距離値符号化部２５に出力する。

　画像復号部１２は、画像符号化部１１から取得した、テクスチャ画像＃１の符号化データ＃１１からテクスチャ画像＃１´を復号する。そして、テクスチャ画像＃１´を画像分割処理部２１へ出力する。

　なお、復号されたテクスチャ画像＃１´は、動画像符号化装置１からへ送信する時のビット誤りが無い場合、受信側である動画像復号装置２で復号される画像と等しいものとなり、元のテクスチャ画像＃１とは異なるものとなる。これは、元のテクスチャ画像＃１をＡＶＣ符号化する際、正方形状に画素を区切るブロックと呼ばれる単位で施す直交変換係数の量子化誤差が発生するためである。

　また、画像復号部１２から画像分割処理部２１へのテクスチャ画像＃１´の出力は、必ずしもフレーム順に行われるものではない。この理由について、図２を用いて説明する。図２は、ＡＶＣ符号化において、あるピクチャがどのピクチャを参照するかを説明するための図である。なお、図２の各ピクチャ（２０１～２０９）は、この順で映像を構成しており、ピクチャが時刻とともに切り替わることによって映像（動画像）となる。また、ピクチャとは、ある離散時刻における一枚の画像（フレーム画像）のことを意味する。

　ＡＶＣ符号化は，時間方向の冗長性排除のために、ピクチャの前後で予測を行う。ここで、予測とは、画面を一定の大きさの方形領域（ブロック）ごとに分割し、符号対象となるピクチャの各領域について、時間的に前後する他のピクチャの中の領域から近いものを探し出すことをいう。

　そして、予測に用いるピクチャの選択方法に応じて、Ｉピクチャ、Ｐピクチャ、Ｂピクチャと種類分けされている。Ｉピクチャとは、他のピクチャを用いて予測を行わないピクチャのことをいう。また、Ｐピクチャは時間的に順方向のピクチャのみを予測に用いるピクチャをいう。また、Ｂピクチャとは、時間的に順方向および逆方向の両方のピクチャを予測に用いるピクチャのことをいう。そして、予測はブロック毎に行われ、例えばＢピクチャの場合、参照するピクチャは最大２枚まで指定できる。

　したがって、Ｂピクチャは、時間的に後に存在するＩピクチャまたはＰピクチャ参照する必要があり、参照対象のピクチャが到着した時点で初めて復号が可能となる。例えば、図２のＢピクチャ２０１は、参照対象であるＩピクチャ２０２が到着して初めて復号できる。また、参照対象となるピクチャがＩピクチャ２０２とＰピクチャ２０５となるＢピクチャ２０３は、Ｐピクチャ２０５が到着して初めて復号が可能となる。

　よって、画像復号部１２は、後のピクチャを参照するＢピクチャについては、参照対象のＩピクチャまたはＰピクチャが到着して初めて、復号処理を行うことができることになるので、場合によっては、時間的に後のピクチャであるＩピクチャを先に復号して、画像分割処理部２１へ出力するということが起こる。

　画像分割処理部２１は、テクスチャ画像の全領域を複数のセグメント（領域）に分割する。そして、画像分割処理部２１は、各セグメントの位置情報からなるセグメント情報＃２１を距離画像分割処理部２２に出力する。セグメントの位置情報とは、そのセグメントのテクスチャ画像＃１における位置を表す情報である。

　テクスチャ画像を複数のセグメントに分割する方法としては、例えば、次のような方法が挙げられる。

　まずテクスチャ画像を、エッジ情報を残しつつ繰り返し平滑化する。これにより、画像の持つノイズを取り除くことができる。その後、隣接するよく似た色のセグメント同士を結合させていく。ただし、幅あるいは高さが所定の画素数を超えるセグメントは、当該セグメント内で距離値が変化する可能性が高くなるため、所定の画素数を超えないように分割する。この方法によって，テクスチャ映像をセグメント単位に分割することができる。

　この点について、図３～５を用いて、より詳細に説明する。図３～５は、テクスチャ画像を分割する例を説明するための図である。

　例えば，ある離散時刻における画像が、図３に示すような画像３０１の場合に、画像分割処理部２１に画像３０１が入力されると、画像分割処理部２１は、図４の画像４０１に示すようなセグメントに分割する。画像３０１において、女の子の頭の分け目の左右の髪は、茶色と薄茶色との２色で描かれており、画像分割処理部２１は、茶色と薄茶色とのように類似する色の画素からなる閉領域を１つのセグメントに規定している（図４）。また、女の子の顔の肌の部分も、肌色と頬の部分のピンク色との２色で描かれているので、画像分割処理部２１は、肌色の領域とピンク色の領域とをそれぞれ別個のセグメントとして規定している（図４）。これは、肌色とピンク色とが類似しない色（すなわち、肌色の画素値とピンク色の画素値との差が所定の閾値を上回る）ためである。なお、画像４０１において、同一の模様により描かれている閉領域は１つのセグメントを示している。

　また、ここでは、上述した、幅あるいは高さが所定の画素数を超えることにより、セグメントが小さく分割される処理については省略している。

　そして、画像４０１において、セグメント形状のみを抽出すると図５の画像５０１に示すような情報となる。

　また、図６に、図３の画像３０１（テクスチャ画像）に対応する距離画像６０１を示す。図６に示すように、距離画像は、セグメントごとに異なる距離値を持つ画像となる。

　距離画像分割処理部２２は、距離映像の各フレーム画像である距離画像（フレーム画像）＃２およびセグメント情報＃２１が入力されると、テクスチャ画像＃１´中の各セグメントについて、距離画像＃２中の対応するセグメント（領域）に含まれる各画素の距離値からなる距離値セットを抽出する。そして、距離画像分割処理部２２は、セグメント情報＃２１から、各セグメントについて距離値セットと位置情報とが関連づけられたセグメント情報＃２２を生成する。そして、生成したセグメント情報＃２２を距離値修正部２３に出力する。

　具体的には、距離画像分割処理部２２は、入力されたセグメント情報＃２１を参照して各セグメントのテクスチャ画像＃１´における位置を特定し、テクスチャ画像＃１´におけるセグメントの分割パターンと同一の分割パターンで、距離画像＃２を複数のセグメントに分割する。したがって、テクスチャ画像＃１´におけるセグメントの分割パターンと距離画像＃２におけるセグメントの分割パターンとは同じとなる。

　距離値修正部２３は、距離画像＃２の各セグメントについて、セグメント情報＃２２に含まれる該セグメントの距離値セットから代表値＃２３ａとして最頻値を算出する。すなわち、距離値修正部２３は、距離画像＃２中のセグメントｉにＮ個の画素が含まれている場合には、Ｎ個の距離値から最頻値を算出する。なお、距離値修正部２３は、最頻値の代わりに、Ｎ個の距離値の平均を平均値、または、Ｎ個の距離値の中央値等を代表値＃２３ａとして算出してもよい。また、距離値修正部２３は、算出の結果、平均値や中央値等の値が小数値になる場合には、切捨て、切り上げ、または四捨五入等により小数値を整数値に丸めてもよい。

　そして、距離値修正部２３は、セグメント情報＃２２に含まれる各セグメントの距離値セットを、対応するセグメントの代表値＃２３ａに置き換え、セグメント情報＃２３として番号付与部２４に出力する。

　代表値＃２３ａを算出する理由は以下の通りである。距離画像＃２中の各セグメントに含まれる画素は全て等しい距離値を持つことが理想的である。しかし、例えば距離画像＃２の精度の悪さなどにより、テクスチャ画像＃１と距離画像＃２とでエッジがずれてしまっている場合に、距離画像＃２の同じセグメント内に異なる距離値を持つ画素グループが存在してしまう可能性がある。このような場合に、例えば、画素値が小さい画素グループの距離値を、画素値が最大の画素グループの距離値に置き換えれば、同一セグメント内の距離値は全て同じとなり、距離画像＃２がセグメントの形状に丸め込むことができる。

　また、エッジ部分の精度は，距離画像＃２よりもテクスチャ画像＃１の方が良いことが一般的であるため、上記処理により、距離画像＃２のエッジ部分の精度の悪さを改善する効果も有することになる。

　番号付与部２４は、セグメント情報＃２３が入力されると、セグメント情報＃２３に含まれている各代表値＃２３ａに、互いに値が異なる識別子を関連づける。具体的には、番号付与部２４は、セグメント情報＃２３に含まれているＭ組の位置情報および代表値＃２３ａの各組について、代表値＃２３ａと位置情報に応じたセグメント番号＃２４とを関連づける。そして、番号付与部２４は、セグメント番号＃２４と代表値＃２３ａとが関連づけられたデータを距離値符号化部２５に出力する。

　なお、セグメントは、縦または横方向に接続されている画素の距離値が同一の場合、これらの画素は同じセグメントに含まれるが、斜め方向に距離値が同一の画素が存在しても、これらの画素は同じセグメントに含まれるとは見做さない。すなわち、セグメントは、縦または横方向に接続されている同じ距離値の画素群によって形成されている。

　具体的に、図７～９を用いて説明する。図７～９は、セグメントに含まれる画素を説明するための図である。

　図７および図８に示されている画素Ａと画素Ｂは、縦または横方向に接続しているので、距離値が同じであれば、同じセグメントに含まれることになる。一方、図９に示されている画素Ａと画素Ｂは、斜め方向に接続しているので、同じ距離値であっても同じセグメントには含まれない。すなわち、図９の画素Ａと画素Ｂとは、別のセグメントということになる。

　次に、セグメント番号＃２４の付与の方法について、図１０～１２を用いて説明する。図１０～１２は、セグメント番号＃２４の付与の方法を説明するための図である。

　セグメント番号＃２４は、同一映像の同一画像（フレーム）内で重ならなければよいので、画像の左上から右下に向かって画素を１行ずつ走査していき（図１０、ラスタースキャン）、走査対象画素が含まれるセグメントへの番号が割り当てられていない場合に、０から順に番号を割り当てる、という方法で付与することが考えられる。

　例えば、図５の画像５０１に対し、ラスタースキャンによりセグメント番号＃２４を付与すると、図１１に示すように、ラスタースキャン順で先頭に位置するセグメントＲ０にはセグメント番号「０」が割り当てられる。また、ラスタースキャン順で２番目に位置するセグメントＲ１にはセグメント番号「１」が割り当てられる。同様に、ラスタースキャン順で３、４番目に位置するセグメントＲ２、Ｒ３には、それぞれ、セグメント番号「２」「３」が割り当てられる。

　これにより、図１２に示すセグメントテーブル１２０１のようなデータが得られる。そして、この得られたデータを距離値符号化部２５に出力する。

　距離値符号化部２５は、セグメント番号＃２４と代表値＃２３ａとが関連付けられたデータ（セグメントテーブル１２０１）に圧縮符号化処理を施し、得られた符号化データ（画像符号化データ）＃２５をパッケージング部２８に出力する。

　より具体的に説明する。距離値は２５６段階で表現されており、セグメント番号＃２４と代表値＃２３ａとが関連付けられたデータは、図１３に示すような、０から２５５までの値がセグメント番号順に、セグメント数だけ並んだ数列１３０１として表現できる。

　そして、この数列に対し、適応的圧縮符号化を行う。適応的圧縮符号化というのは、圧縮の過程で、符号語と符号化前の値（数列パターン）との対応表（コードブック）を作成し、コードブックを適応的に更新していく符号化方法のことをいう。これは、符号化前の各値の発生確率が分かっていないときに適した方法である。

　なお、符号化前の各値の発生確率が分かっている場合は、この発生確率に基づく符号化を行うことができ、これを静的圧縮符号化と呼ぶ。静的圧縮符号化を行うためには、まず各値の発生確率を求めるために、一度数列を最後までスキャンして各値の頻度を計数し、各値の発生確率を計算する必要がある。そして、発生確率に基づいて静的圧縮符号化を行うことになる。よって、静的圧縮符号化は、発生確率を求めるために、数列を余分にスキャンする必要があるため，処理に時間がかかるという欠点がある。そして、復号側の装置でも、符号化方法に対応した復号を行う必要があるので、復号側の装置でも同様に処理の時間がかかってしまう。

　よって、本実施の形態では、適応的圧縮符号化（適応的符号化）を採用している。適応的圧縮符号化の方式には、エントロピー符号化に分類されるハフマン符号化や算術符号化方式のコードブック（事象発生確率表）を適応的に更新していく適応的エントロピー符号化方式など、さまざまな方式が提案されている。ここでは一例として、辞書式符号化の代表例であるＬｅｍｐｅｌ－Ｚｉｖ符号化のコードブック（辞書）を適応的に更新していくＬｅｍｐｅｌ－Ｚｉｖ－Ｗｅｌｃｈ（ＬＺＷ）符号化方式について説明する。ＬＺＷ方式は、Ａｂｒａｈａｍ　Ｌｅｍｐｅｌと，Ｊａｃｏｂ　Ｚｉｖが１９７８年に発表したＬＺ７８符号化方式の実装の一例として、Ｔｅｒｒｙ　Ｗｅｌｃｈが開発した符号化方式である。これは、値が並ぶパターンに着目し、新たに出現したパターンを逐次コードブックに登録していくと同時に符号語を出力するものである。また、復号側では、受信した符号語を基に、符号側と同じようにしてコードブックに新たなパターンを登録し、復号していくことにより、元の系列が完全に再現できる。よって、この方式は、符号化することによって情報が欠落しない、いわゆるロスレス符号化方式である。この符号化方式は、圧縮効率が優れている符号化方式の１つであり、画像圧縮などにおいて広く実用的に使用されている。

　この、ＬＺＷ方式のアルゴリズムを図１４に示す。ただし、このＬＺＷ方式は、文字列を圧縮するために開発された符号化方式であるため、文字列を圧縮する場合を想定した表現となっている。しかしながら、文字列は何桁かの２値（ビット）の列で表現可能なので、このアルゴリズムはそのまま、距離値の数列１３０１に適用可能である。

　まず、コードブックを初期化し、単一の文字を全てコードブックに登録する（Ｓ５１）。例えば、アルファベットのａ，ｂ，およびｃの３文字だけを使用する場合であれば、この３つのアルファベットをコードブックに登録し、ａに０、ｂに１、ｃに２の符号語を割り当てる。

　次に、符号化対象の文字列の最初の１文字を読み込み、ω（ωは変数）に代入する（Ｓ５２）。さらに、その次の１文字を読み込み、Ｋ（Ｋは変数）に代入する（Ｓ５３）。そして、さらに入力文字列があるか否かを判定する（Ｓ５４）。さらに入力文字列がなければ（Ｓ５４でＮＯ）、ωに格納されている文字列に対応する符号語を出力して終了する（Ｓ５５）。一方、さらに入力文字列があれば（Ｓ５４でＹＥＳ）、文字列ωＫがコードブックの中に存在するかどうかを判定する（Ｓ５６）。

　そして、文字列ωＫがコードブックに存在すれば（Ｓ５６でＹＥＳ）、文字列ωＫをωに代入し（Ｓ５７）、ステップＳ５３に戻る。

　一方、文字列ωＫがコードブックに存在しなければ（Ｓ５６でＮＯ）、ωに格納されている文字列に対応する符号語を出力し（Ｓ５８）、文字列ωＫをコードブックに登録して（Ｓ５９）、さらにＫをωに代入する（Ｓ６０）。その後、ステップＳ５３に戻る。

　以上が、ＬＺＷ方式のアルゴリズムである。このアルゴリズムから分かるように、ＬＺＷ方式では、符号化しようとする文字列の中に同じパターンが含まれているほど、そのパターン部分を１つの符号語に置き換えることができるので、大幅な圧縮が可能となる。

　このＬＺＷ方式のアルゴリズムにおいて、文字を距離値に置き換え、図１３に示した数列１３０１を符号化することを考える。

　まず、コードブックを初期化し、０から２５５までの数値を全てコードブックに登録する。この時点で、符号語の０から２５５までが埋まる。よって、次の登録は符号語が２５６から行われる。そして、上述したアルゴリズムにより数列１３０１を符号化していくと、図１５に示すコードブック１５０１が作成され、図１６に示す符号語列１６０１が出力される。

　そして、出力された符号語列１６０１に含まれる各符号語は、図１７に示すような９桁の２値に変換されて、２値列１７０１としてパッケージング部２８に出力される。ここでは、符号語「８９」が２値の「００１０１１００１」に、符号語「１８２」が２値の「０１０１１０１１０」にというように変換されている。以下も同様である。なお、ここでは各符号語を表す値として９桁の２値を用いているが、コードブックは、符号化が進むにつれ大きくなっていくため、符号語の数が５１２を超えると９桁の２値では表現できなくなる。よって、この場合は、符号語の数が５１２を超えた時点で桁を１つ増やし、１０桁の２値で表現する。このようにしても、ＬＺＷ方式は、符号語が出力されるタイミングでコードブックの大きさが１だけ増えるという規則があるため、復号側でその桁数を判断することが可能である。よって、復号側で、受信する符号語の数を数えておけば、各時点での桁数を判断することが可能である。

　また、ＬＺＷ方式では、符号化を続けていけばいくほど、コードブックの大きさが大きくなっていくため、どこかの時点でコードブックの大きさを限定する必要がある。

　この問題に対しては、さまざまな方式が広く普及している。例えば、コードブックの最大サイズを予め決めておき、コードブックのサイズが決められたサイズに達した時点でコードブックを初期値に戻すという方法や、未使用期間が最も長いパターンから順に、新しいものに置き換えていく方式であるＬＺＴ方式等がある。ここでは、ＬＺＴ方式を用いているものとする。

　そして、このＬＺＴ方式の符号化を、数列１３０１に適用すれば、同じパターンで出現する複数の距離値は１つの符号語で表現できるので、距離値の個数よりも符号語の数が少なくなり、この結果、データ量を圧縮することができる。

　ここで、前述したように、テクスチャ映像だけでなく距離映像についても、時間的に前後する関係にあるピクチャ同士は類似している。よって、時間的に前後するそれぞれのピクチャの数列１３０１には、同じ距離値とその出現パターンが多く含まれることが期待できる。

　そこで、距離値符号化部２５は、ＬＺＴ方式によって生成されたコードブック１５０１を、時間的に前後のピクチャ間、あるいは異なる視点画像間で再利用することにより、圧縮効率をさらに高めている。

　具体的に、以下に説明する。まず、画像符号化部１１が、１枚目のテクスチャ画像をＩピクチャとして符号化した場合、Ｉピクチャを選択したという情報と、当該テクスチャ画像と対応する距離画像のセグメントテーブル１２０１が、距離値符号化部２５には入力される。そして、距離値符号化部２５は、上述したアルゴリズムに則って、セグメントテーブル１２０１からコードブック１５０１を作成し、符号語列１６０１の各符号語を９桁の２値に変換した２値列１７０１を出力する。ここで、距離値符号化部２５は、作成したコードブック１５０１を、次のピクチャの処理まで保存しておく。

　次に、画像符号化部１１が、２枚目のテクスチャ画像を、例えばＰピクチャとして符号化した場合、Ｐピクチャを選択したという情報と、どのピクチャを参照したかという情報と、当該テクスチャ画像と対応する距離画像のセグメントテーブル１２０１とが、距離値符号化部２５には入力される。ここでは、このＰピクチャが１つ前のＩピクチャを参照しているとする。なお、ＡＶＣ符号化では、Ｂピクチャの場合、参照先が最大２つまで許可されているので、参照先が２つとなる場合もある。この場合は、その両方の参照先の情報が入力される。

　そして、距離値符号化部２５が、セグメントテーブル１２０１からコードブック１５０１を作成するとき、保存している前回のコードブック１５０１を初期のコードブックとして利用する。前回のコードブック１５０１には、１つ前のピクチャで多く使用されたパターンが既に登録されているので、最初の段階から効率のよい圧縮符号化を行うことができる。

　ただし、コードブックのサイズが最初から大きいと、最初の段階から、各符号語を表す桁数は多くなり、データ量が大きくなってしまう。そこで、上述したＬＺＴ方式のコードブック縮小方法を用いて、未使用期間の長い符号語から、所定のサイズ（例えば、５１２個）になるまで符号語と対応するパターンとの組を削除してもよい。なお、少なくとも、各符号語を表現するために９ビット（９桁の２値）は使用するので、最初から、０～５１１までの５１２個のコードブックサイズを保持したとしても、伝送する情報量は変わらない。

　また、コードブックのサイズの縮小を、Ｉフレームが発生する毎に行ってもよい。さらに、ＡＶＣ符号化には、復号側の復号動作をリフレッシュさせるための特殊なピクチャであるＩＤＲピクチャが用意されており、このＩＤＲピクチャが発生するタイミングで、コードブックの縮小を行ってもよい。

　また、ＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）と呼ばれる、ピクチャ全体の符号化モードを示すヘッダ情報を拡張し、ここに、コードブックサイズを縮小させるかどうかを示すフラグ（縮小情報）を挿入して、復号側ではこのフラグに基づいてコードブックサイズの縮小処理を施してもよい。

　これにより、復号側でも、符号化側と同じタイミングでコードブックのサイズを縮小することができる。

　また、画像符号化部１１が符号化対象のテクスチャ画像をＢピクチャとして選択し、参照するピクチャが２枚ある場合は、例えば、次のルールを適用して、コードブックを再利用するピクチャを決定すればよい。
１．参照するブロックの面積が多い方のピクチャを選択する。
２．参照するブロックの面積が同じ場合は、時間的に近い方のピクチャを選択する。
３．時間的にも同じ近さであれば、符号化対象のピクチャより時間的に早いピクチャを選択する。

　以上のように、距離値符号化部２５は、ＬＺＴ方式の符号化において、類似したコードブックを再利用することにより、圧縮符号化の効率を高めている。

　なお、コードブックを保持する期間については、例えば、参照フレームの最大値として指定することができる、０～１６フレームと定めてもよいし、ＩＤＲフレームが到着すれば、それより過去のコードブックは廃棄するとする構成でもよい。

　パッケージング部２８は、入力されたテクスチャ画像＃１の符号化データ＃１１と距離画像＃２の符号化データ＃２５とを関連づけ、符号化データ＃２８として動画像復号装置２に出力する。

　具体的には、パッケージング部２８は、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ規格で規定されているＮＡＬユニットのフォーマットに従って、テクスチャ画像の符号化データ＃１１と距離画像の符号化データ＃２５とを統合する。

　図１８はＮＡＬユニット１８０１の構成を模式的に示した図である。図１８に示すように、ＮＡＬユニット１８０１は、ＮＡＬヘッダ１８０２とＲＢＳＰ１８０３とＲＢＳＰトレイリングビット１８０４との３つの部分から構成される。

　そして、主ピクチャの各スライス（主スライス）に対応するＮＡＬユニット１８０１のＮＡＬヘッダ１８０２のｎａｌ_ｕｎｉｔ_ｔｙｐｅ（ＮＡＬユニットの種類を示す識別子）フィールドに、距離値符号化部２５が行った符号化方法を示す識別子が入る。また、ＲＢＳＰ１８０３には、符号化されたデータである符号化データ＃１１と符号化データ＃２５とが入る。ＲＢＳＰトレイリングビット１８０４は、ＲＢＳＰ１８０３の最後のビット位置を特定するための調整用ビットである。

　なお、上記実施の形態では、動画像符号化装置１は、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ規格に規定されているＡＶＣ符号化を用いてテクスチャ画像＃１を符号化するものとしたが、本発明はこれに限定されない。すなわち、動画像符号化装置１の画像符号化部１１は、ＭＰＥＧ―２やＭＰＥＧ－４他の他の符号化方式を用いてテクスチャ画像＃１を符号化してもよい。

　（動画像符号化装置の動作）
　次に、動画像符号化装置１の動作について、図１９を参照しながら以下に説明する。図１９は、動画像符号化装置１の動作を示すフローチャートである。なお、ここで説明する動画像符号化装置１の動作とは、多数のフレームからなる動画像における先頭からｔフレーム目のテクスチャ画像および距離画像を符号化する動作である。すなわち、動画像符号化装置１は、上記動画像全体を符号化するために、上記動画像のフレーム数に応じた回数だけ以下に説明する動作を繰り返すことになる。また、以下の動作の説明においては、特に明示していなければ、各データ＃１～＃２８はｔフレーム目のデータであると解釈するものとする。

　最初に、画像符号化部１１および距離画像分割処理部２２が、それぞれ、テクスチャ画像＃１および距離画像＃２を動画像符号化装置１の外部から受信する（Ｓ１）。上述したように、外部から受信されるテクスチャ画像＃１および距離画像＃２のペアは、例えば図３のテクスチャ画像と図６の距離画像とを対比するとわかるように、画像の内容に互いに相関がある。

　次に、画像符号化部１１は、Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ規格に規定されているＡＶＣ符号化方式によりテクスチャ画像＃１の符号化を行い、得られたテクスチャ画像の符号化データ＃１１をパッケージング部２８と画像復号部１２とに出力する（Ｓ２）。また、ステップＳ２において、画像符号化部１１は、選択したピクチャの種類、および、選択したピクチャがＢピクチャまたはＰピクチャである場合は、その参照ピクチャを、距離値符号化部２５へ出力する。

　そして、画像復号部１２は、符号化データ＃１１からテクスチャ画像＃１´を復号して画像分割処理部２１に出力する（Ｓ３）。その後、画像分割処理部２１は、入力されたテクスチャ画像＃１´から、複数のセグメントを規定する（Ｓ４）。

　次に、画像分割処理部２１は、各セグメントの位置情報からなるセグメント情報＃２１を生成し、距離画像分割処理部２２に出力する（Ｓ５）。セグメントの位置情報としては、例えば、そのセグメントの他のセグメントとの境界に位置する画素群の各座標値が挙げられる。すなわち、図３のテクスチャ画像から各セグメントを規定した場合、図５における閉領域の輪郭部分に位置する各座標の座標値がセグメントの位置情報となる。

　その後、距離画像分割処理部２２は、入力された距離画像＃２を複数のセグメントに分割する。そして、距離画像分割処理部２２は、距離画像＃２の各セグメントについて、該セグメントに含まれる各画素の距離値を距離値セットとして抽出する。さらに、距離画像分割処理部２２は、セグメント情報＃２１に含まれる各セグメントの位置情報に、対応するセグメントから抽出した距離値セットを関連づける。そして、距離画像分割処理部２２は、これにより得られたセグメント情報＃２２を、距離値修正部２３に出力する（Ｓ６、画像分割ステップ）。

　次に、距離値修正部２３は、距離画像＃２の各セグメントについて、セグメント情報＃２２に含まれる該セグメントの距離値セットから代表値＃２３ａを算出する。そして、セグメント情報＃２２に含まれる距離値セットの各々を、対応するセグメントの代表値＃２３ａに置き換え、セグメント情報＃２３として番号付与部２４に出力する（Ｓ７、代表値決定ステップ）。

　そして、番号付与部２４は、セグメント情報＃２３に含まれている位置情報および代表値＃２３ａの各組について、代表値＃２３ａと位置情報に応じたセグメント番号＃２４とを関連づけ、Ｍ組の代表値＃２３ａおよびセグメント番号＃２４を距離値符号化部２５に出力する（Ｓ８）。

　その後、距離値符号化部２５は、入力された代表値＃２３ａおよびセグメント番号＃２４に符号化処理を施し、得られた符号化データ＃２５をパッケージング部２８に出力する（Ｓ９、適応的符号化ステップ）。

　そして、パッケージング部２８は、ステップＳ２にて画像符号化部１１が出力した符号化データ＃１１とステップＳ９にて距離値符号化部２５が出力した符号化データ＃２５とを統合し、得られた符号化データ＃２８を、動画像復号装置２に出力する（Ｓ１０）。

　以上が、動画像符号化装置１の動作である。

　（動画像復号装置の構成）
　次に、本発明の一実施の形態に係る動画像復号装置２について、図２０および図２１に基づいて以下に説明する。本実施の形態に係る動画像復号装置２は、上述した動画像符号化装置１より伝送された符号化データ＃２８からテクスチャ画像＃１´および距離画像＃２´を復号するものである。そして、復号したテクスチャ画像＃１´および距離画像＃２´をフレーム画像として動画像を構成する装置に出力する。

　最初に本実施の形態に係る動画像復号装置２の構成について図２０を参照しながら説明する。図２０は、動画像復号装置２の要部構成を示すブロック図である。

　図２０に示すように、動画像復号装置２は、画像復号部１２、画像分割処理部２１´、アンパッケージング部（取得手段）３１、距離値復号部（適応的復号手段）３２、および距離値付与部（画像生成手段）３３を含む構成である。

　アンパッケージング部３１は、符号化データ＃２８から、テクスチャ画像＃１の符号化データ＃１１と距離画像＃２の符号化データ＃２５とを抽出する。そして、テクスチャ画像＃１の符号化データ＃１１を画像復号部１２に、距離画像＃２の符号化データ＃２５を距離値復号部３２に出力する。

　画像復号部１２は、符号化データ＃１１からテクスチャ画像＃１´を復号する。画像復号部１２は、動画像符号化装置１が備える画像復号部１２と同一である。すなわち、画像復号部１２は、動画像符号化装置１から動画像復号装置２への符号化データ＃２８の伝送中に符号化データ＃２８中にノイズが混入しない限り、動画像符号化装置１の画像復号部１２が復号したテクスチャ画像と同一内容のテクスチャ画像＃１´を復号するようになっている。そして、復号したテクスチャ画像＃１´を出力する。

　また、画像復号部１２は、復号したテクスチャ画像＃１´のピクチャの種類、および参照ピクチャの情報を距離値復号部３２へ出力する。

　画像分割処理部２１´は、動画像符号化装置１の画像分割処理部２１と同じアルゴリズムにより、テクスチャ画像＃１´の全体領域を複数のセグメント（領域）に分割する。そして、画像分割処理部２１´は、各セグメントの位置情報からなるセグメント情報＃２１´を距離値付与部３３に出力する。

　距離値復号部３２は、符号化された距離画像の符号化データ＃２５から代表値＃２３ａおよびセグメント番号＃２４（復号データ）を復号する。これにより、動画像符号化装置１の距離値符号化部２５で符号化された、図１３の数列１３０１が復号される。

　そして、上述したように、このときに符号化時と同じコードブックが作成される。距離値復号部３２は、作成したコードブックを、所定期間（例えば、時間的後方予測の最長時間幅（どの後ろのピクチャまで参照することが許されているか）、ＩＤＲピクチャを受信するまで等）、保持する。

　なお、保持すべき時間については、画像復号部１２でも同じ時間だけピクチャを保持することが求められる。これは、ＡＶＣフォーマットの受信情報により決定できるので、これによって決定される。そして、保持しているコードブックを再利用するピクチャを受信すると、当該コードブックを利用して復号を行う。

　また、どのコードブックを再利用するかの決定については、画像復号部１２から入力された参照先情報に基づき、距離値符号化部２５における符号化の時と同じアルゴリズムに則って決定する。

　これにより、図１２のセグメントテーブル１２０１が復号される。そして、このセグメントテーブル１２０１を距離値付与部３３に出力する。

　距離値付与部３３は、入力された代表値＃２３ａおよびセグメント番号＃２４に基づいて、各セグメントに含まれる画素に、当該セグメントの代表値である画素値（距離値）を当てはめて距離画像＃２´を復元する。そして、復元した距離画像＃２´を出力する。

　以上より、テクスチャ画像＃１および距離画像＃２を復号することができる。

　例えば、以下のような方法で、テクスチャ画像の画面をセグメント単位に分割すると、入力されたテクスチャ画像が１０２４×７６８ドットの画像である場合、数千個程度（例えば３０００個～５０００個）のセグメントに分割することができる。なお、ＡＶＣ符号化方式では、ブロック（４×４＝１６画素）の総数は約４９０００個である。

　具体的には、画像分割処理部２１は、入力されたテクスチャ画像＃１´から、各セグメントについて、該セグメントに含まれる画素群の画素値から算出される平均値と該セグメントに隣接するセグメントに含まれる画素群の画素値から算出される平均値との差が所定の閾値以下であるような複数のセグメントを規定する。

　上記平均値の差が所定の閾値以上であるような複数のセグメントを規定する具体的なアルゴリズムについて図２６および図２７を参照しながら以下に説明する。

　図２６は、上記アルゴリズムに基づいて動画像符号化装置１が複数のセグメントを規定する動作を示すフローチャート図である。また、図２７は、図２６のフローチャートにおけるセグメント結合処理のサブルーチンを示すフローチャート図である。

　画像分割処理部２１は、平滑化処理が施されたテクスチャ画像に対し、図中の初期化ステップで、テクスチャ画像中に含まれる全ての画素の各々について、独立した１つのセグメント（暫定セグメント）を規定し、各暫定セグメントにおける全画素値の平均値（平均色）として、対応する画素の画素値そのものを設定する（Ｓ４１）。

　次に、セグメント結合処理ステップ（Ｓ４２）に進み、色が似ている暫定セグメント同士を結合させる。このセグメント結合処理について以下に図２７を参照しながら詳細に説明するが、この結合処理を、結合が行われなくなるまで繰り返し続ける。

　画像分割処理部２１は、全ての暫定セグメントについて、以下の処理（Ｓ５１～Ｓ５５）を行う。

　まず、画像分割処理部２１は、注目する暫定セグメントの高さと幅とが、いずれも閾値以下であるかどうかを判定する（Ｓ５１）。もしいずれも閾値以下であると判定された場合（Ｓ５１でＹＥＳ）、ステップＳ５２の処理に進む。一方、いずれかが閾値より大きいと判定された場合（Ｓ５１でＮＯ）、次に注目すべき暫定セグメントについてステップＳ５１の処理を行う。なお、次に注目すべき暫定セグメントは、例えば、ラスタスキャン順で注目している暫定セグメントの次に位置する暫定セグメントにすればよい。

　画像分割処理部２１は、注目している暫定セグメントに隣接する暫定セグメントのうち、注目している暫定セグメントにおける平均色と最も近い平均色の暫定セグメントを選択する（Ｓ５２）。色の近さを判断する指標としては、例えば、画素値のＲＧＢの３つの値を３次元ベクトルと見做したときの、ベクトル同士のユークリッド距離を用いることができる。各セグメントの画素値としては、各セグメントに含まれる全画素値の平均値を用いる。

　ステップＳ５２の処理の後、画像分割処理部２１は、注目している暫定セグメントと、最も色が近いと判断された暫定セグメントと、の近さが、ある閾値以下であるか否かを判定する（Ｓ５３）。閾値より大きいと判定された場合（Ｓ５３でＮＯ）、次に注目すべき暫定セグメントについてステップＳ５１の処理を行う。一方、閾値以下であると判定された場合（Ｓ５３でＮＯ）、ステップＳ５４の処理に進む。

　ステップＳ５３の処理の後、画像分割処理部２１は、２つの暫定セグメント（注目している暫定セグメントと最も色が近いと判断された暫定セグメント）を結合することにより、１つの暫定セグメントに変換する（Ｓ５４）。このステップＳ５４の処理のより暫定セグメントの数が１減ることになる。

　ステップＳ５４の処理の後、変換後の対象セグメントに含まれる全画素の画素値の平均値を計算する（Ｓ５５）。まだステップＳ５１～Ｓ５５までの処理を行っていないセグメントがある場合には、次に注目すべき暫定セグメントについてステップＳ５１の処理を行う。

　ステップＳ５１～Ｓ５５の処理を全暫定セグメントについて完了した後、ステップＳ４３の処理に進む。

　画像分割処理部２１は、ステップＳ４２の処理を行う前の暫定セグメントの数とステップＳ４２の処理を行った後の暫定セグメントの数とを比較する（Ｓ４３）。

　暫定セグメントの数が減少した場合（Ｓ４３でＹＥＳ）には、ステップＳ４２の処理に戻る。一方、暫定セグメントの数が変わらない場合（Ｓ４３でＮＯ）、画像分割処理部２１は、現状の各暫定セグメントを１つのセグメントとして規定する。

　以上のようなアルゴリズムによって、上述したように、入力されたテクスチャ画像が１０２４×７６８ドットの画像である場合、数千個程度（例えば３０００個～５０００個）のセグメントに分割することができる。

　なお、上述したように、セグメントは、距離画像を分割するために用いられる。したがって、セグメントのサイズが大きくなり過ぎると、１つのセグメントの中にさまざまな距離値が含まれてしまい、代表値との誤差が大きい画素が生じてしまい、距離画像の符号化精度が低下する。したがって、本発明ではステップＳ５１の処理は必須ではないがステップＳ５１のようにセグメントの大きさを制限することにより、セグメントのサイズが大きくなり過ぎることを防ぐことが望ましい。

　このように、上述したアルゴリズムでは、数千個程度（例えば３０００個～５０００個）のセグメントに分割するのに対し、ＡＶＣ符号化方式では、ブロック（４×４＝１６画素）の総数は約４９０００個となる。そして、このブロックごとに、直交変換を行い、その係数を量子化して伝送する。

　よって、本実施の形態では、直交変換の処理単位数よりも大幅に少ないセグメント数とすることができる。また、各セグメント内の距離値は一定であるため、直交変換をする必要がなく、８ビットの情報で距離値を伝送することができる。さらに，本実施の形態では、適応的圧縮符号化方式を行うこと、およびコードブックを再利用することにより、より圧縮効率の向上を図ることができる。したがって、本実施の形態では、テクスチャ映像（画像）と距離映像（画像）とをそれぞれＡＶＣ符号化方式で符号化することに比べ、圧縮効率を大幅に向上させることができる。

　（動画像復号装置の動作）
　次に、動画像復号装置２の動作について、図２１を参照しながら以下に説明する。図２１は、動画像復号装置２の動作を示すフローチャートである。ここで説明する動画像復号装置２の動作とは、多数のフレームからなる３次元動画像における先頭からｔフレーム目のテクスチャ画像および距離画像を復号する動作である。すなわち、動画像復号装置２は、上記動画像全体を復号するために、上記動画像のフレーム数に応じた回数だけ以下に説明する動作を繰り返すことになる。また、以下の説明においては、特に断わらない限り、各データ＃１～＃２８はｔフレーム目のデータであると解釈するものとする。

　最初に、アンパッケージング部３１は、動画像符号化装置１より受信した符号化データ＃２８から、テクスチャ画像の符号化データ＃１１および距離画像の符号化データ＃２５を抽出する。そして、アンパッケージング部３１は、符号化データ＃１１を画像復号部１２に出力し、符号化データ＃２５を距離値復号部３２に出力する（Ｓ２１）。

　画像復号部１２は、入力された符号化データ＃１１からテクスチャ画像＃１´を復号し、画像分割処理部２１´と動画像復号装置２の外部の立体映像表示装置（図示せず）とに出力する（Ｓ２２）。また、画像復号部１２は、選択されたピクチャの種類および参照ピクチャを示すピクチャ情報＃１１Ａ報を距離値復号部３２へ出力する。

　次に、画像分割処理部２１´は動画像符号化装置１の画像分割処理部２１と同じアルゴリズムで複数のセグメントを規定する。

　そして、画像分割処理部２１´は、各セグメントについて、テクスチャ画像＃１´中のラスタスキャン順で、それぞれのセグメントに含まれる各画素の画素値を代表値に置き換えることにより、セグメント識別用画像＃２１´を生成する。画像分割処理部２１´は、セグメント識別用画像＃２１´を距離値付与部３３に出力する（Ｓ２３）。

　一方、距離値復号部３２は、符号化された距離画像の符号化データ＃２５から、上述した２値列１７０１を復号する。さらに、距離値復号部３２は、２値列１７０１から、セグメント番号と代表値＃２３ａとを復号する。そして、距離値復号部３２は、得られた代表値＃２３ａおよびセグメント番号＃２４を距離値付与部３３に出力する（Ｓ２４、適応的復号ステップ）。

　距離値付与部３３は、入力された代表値＃２３ａおよびセグメント番号＃２４に基づいて、セグメント識別用画像＃２１中の全画素の画素値を、当該セグメントに含まれる代表値＃２３ａに変換することにより、距離画像＃２´を復号する。そして、距離値付与部３３は、距離画像＃２´を上述した立体映像表示装置に出力する（Ｓ２５、画像生成ステップ）。

　以上、動画像復号装置２の動作について説明したが、ステップＳ２５にて距離値付与部３３が復号する距離画像＃２´は、一般的に、動画像符号化装置１に入力される距離画像＃２に近似する距離画像になる。

　これは、前述したように、テクスチャ画像＃１と距離画像＃２との相関から、「各セグメントが類似する色の画素群で構成されるような複数のセグメントにテクスチャ画像＃１´を分割すると、距離画像＃２中の単一のセグメントに含まれる全部または略全ての画素が同一の距離値を持つ傾向がある」と言えるからである。すなわち、距離画像＃２´は、距離画像＃２中のセグメントに含まれる極一部の距離値を該セグメントにおける代表値に変更することにより得られる画像と同一であるので、距離画像＃２´と距離画像＃２とは近似すると言える。

　また、上述した動画像符号化装置１と動画像復号装置２とを含む動画像伝送システムも、上述した効果を奏する。

　〔実施の形態２〕
　本発明の他の実施の形態について図２２から図２５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態１において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

　本実施の形態において、上記実施の形態１と異なるのは、テクスチャ画像と、テクスチャ画像に対応する距離画像とが、複数視点分ある点である。すなわち、本実施の形態に係る動画像符号化装置１Ａは、上記実施の形態１の動画像符号化装置１と同様の符号化方法を用いてテクスチャ画像および距離画像の符号化処理を行うが、１フレームあたりテクスチャ画像および距離画像を複数組符号化する点において動画像符号化装置１と異なっている。

　ここで、複数組のテクスチャ画像および距離画像は、被写体を取り囲むように複数箇所に設置されたカメラおよび測距装置によって同時に取り込まれた被写体の画像である。すなわち、複数組のテクスチャ画像および距離画像は、自由視点画像を生成するための画像である。また、各組のテクスチャ画像および距離画像には、当該組のテクスチャ画像および距離画像の実データとともに、カメラの位置、方向、および焦点距離情報などのカメラパラメータがメタデータとして含まれている。

　（動画像符号化装置の構成）
　まず、動画像符号化装置１Ａの構成について図２２を用いて説明する。図２２は、本実施の形態の動画像符号化装置１Ａの要部構成を示すブロック図である。

　図２２に示すように、動画像符号化装置１Ａは、画像符号化部（ＭＶＣ符号化手段）１１Ａ、画像復号部（ＭＶＣ復号手段）１２Ａ、距離画像符号化部２０Ａ、およびパッケージング部２８´を備えている。また、距離画像符号化部２０Ａは、画像分割処理部２１、距離画像分割処理部２２、距離値修正部２３、番号付与部２４、および距離値符号化部（適応的符号化手段、出力手段）２５Ａを備えている。

　画像符号化部１１Ａは、上述した画像符号化部１１と同様の符号化を行うものであるが、複数視点の画像を圧縮符号化する点が異なる。具体的には、画像符号化部１１Ａは、ＭＶＣ（Multiview Video Coding）を用いて符号化する。上記実施の形態１に用いたＡＶＣは１つの視点からの映像（画像）を圧縮符号化するための規格であるのに対し、ＭＶＣは多視点映像（画像）を圧縮符号化するための規格である。よって、画像符号化部１１Ａから出力される符号化データ＃１１は、ＭＶＣ符号化データとなる。

　ＭＶＣ符号化は、視点間の冗長性排除のために、視点間においても、上記実施の形態１で説明した予測を行う。具体的に図２３を用いて説明する。図２３は、ＭＶＣ符号化を説明するための図である。

　図２３に示すように、符号化対象画像２３０１に対し、時間方向と視点方向（空間方向）からブロック単位で画像を予測する。ここでは、時間方向の画像として画像２３０３、画像２３０５が参照可能であることを示し、視点方向の画像として画像２３０２、画像２３０４が参照可能であることを示している。

　時間経過とともに被写体の画面内の位置が変化することと、視点によって画面内における被写体の位置が変化することとは等価であるため、視点間においても、時間方向における画像予測と同様の予測方法が適用できる。

　したがって、時間方向の画像間の冗長性と、空間方向の画像間の冗長性を排除するために、同じ手法を利用することができる。

　ここで、上述したような時間方向および空間方向の予測を行うと、時間方向と同様に、空間方向でも参照先の画像が発生する。空間方向における参照画像についても最大２枚まで参照することができる。

　よって、上述したように、画像符号化部１１Ａからは、上記実施の形態１と同様に、ピクチャの種類と、参照先のピクチャ番号と、参照先の視点番号の情報が距離値符号化部２５Ａに出力される。

　画像復号部１２Ａは、画像復号部１２と同様に、画像符号化部１１Ａから取得した、テクスチャ画像＃１の符号化データ＃１１からテクスチャ画像＃１´を復号する。そして、テクスチャ画像＃１´を画像分割処理部２１へ出力する。

　距離値符号化部２５Ａは、距離値符号化部２５と同様に、セグメント番号＃２４と代表値＃２３ａとが関連付けられたデータに圧縮符号化処理を施し、得られた符号化データ＃２５をパッケージング部２８´に出力する。

　ここで、距離値符号化部２５Ａにおいて、参照画像を決定する方法の一例について、図２４を用いて説明する。図２４は、距離値符号化部２５Ａが、参照画像を決定する処理の流れを示すフローチャートである。

　まず、参照するブロック面積が最大となる参照画像を選択する。そして、参照する面積が最大となる参照画像が１つであれば（Ｓ８１でＹＥＳ）、当該参照画像を選択する（Ｓ８５）。

　一方、参照する面積が最大となる参照画像が１つでない場合（Ｓ８１でＮＯ）、すなわち参照画像が複数ある場合、これらの複数の画像が全て時間方向の画像か否かを判定する（Ｓ８２）。そして、全ての画像が時間方向の画像であれば（Ｓ８２でＹＥＳ）、時間的に近い参照画像を選択する（Ｓ８６）。他方、複数の画像が全て時間方向の画像というのでないのであれば（Ｓ８２でＮＯ）、複数の画像に時間方向の画像が含まれているか否かを判定する（Ｓ８３）。そして、時間方向の画像が含まれている場合、当該時間方向の画像を選択する（Ｓ８７）。

　また、時間方向の画像が含まれていない場合（Ｓ８３でＮＯ）、すなわち、参照画像がいずれも空間方向の画像である場合、視点番号の小さい参照画像を選択する（Ｓ８４）。なお、本実施の形態では、時間方向の画像を優先させる構成としたが、空間方向の画像を優先させる構成でもよい。

　ここで、上述した理由により、時間的に前後する関係にあるピクチャ同士は類似しているのと同様、異なる視点のピクチャ同士も類似している。また、各カメラ同士は数センチメートル間隔で並べられることが一般的であり、各カメラに対応する距離画像の距離値はほぼ等しい。よって、異なる視点のピクチャ間において距離画像に出現する距離値およびその出現パターンは類似すると期待できる。したがって、距離値符号化部２５Ａにおいても、上記実施の形態の距離値符号化部２５と同様に、参照画像に対して距離値が適応的圧縮符号化された時のコードブックを保存し再利用することにより、圧縮符号化の効率を向上させることができる。

　パッケージング部２８´は、テクスチャ画像＃１－１～＃１－Ｎのそれぞれの符号化データ＃１１（－１～－Ｎ）と、対応する距離画像の距離値の符号化データ＃２５（－１～－Ｎ）とを統合し、符号化データ＃２８´を生成する。そして、パッケージング部２８´は、生成した符号化データ＃２８´を動画像復号装置２Ａに伝送する。

　（動画像復号装置の構成）
　次に、本実施の形態の動画像復号装置２Ａの構成について図２５を用いて説明する。図２５は、動画像復号装置２Ａの要部構成を示すブロック図である。

　図２５に示すように、動画像復号装置２Ａは、画像復号部１２Ａ、画像分割処理部２１´、アンパッケージング部３１´、距離値復号部３２Ａ、および距離値付与部３３を含む構成である。

　アンパッケージング部３１´は、符号化データ２８´を受信すると、符号化データ＃１１（－１～－Ｎ）と、符号化データ＃２５（－１～－Ｎ）とを抽出し、符号化データ＃１１は画像復号部１２へ、符号化データ＃２５は距離値復号部３２へ出力するものである。

　その他の構成は、テクスチャ画像および距離画像が複数視点分ある点を除いて、動画像復号装置２と同様である。そして、動画像復号装置２Ａにおいても、図２４に示したアルゴリズムに則って、参照画像を決定し、コードブックを再利用して距離値を復号して、距離画像を復元する。

　本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　（応用例）
　上述した動画像復号装置２および動画像符号化装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。

　まず、上述した動画像復号装置２および動画像符号化装置１を、動画像の送信及び受信に利用できることを、図３０を参照して説明する。

　図２８（ａ）は、動画像符号化装置１を搭載した送信装置Ａの構成を示したブロック図である。図２８（ａ）に示すように、送信装置Ａは、動画像を符号化することによって符号化データを得る符号化部Ａ１と、符号化部Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部Ａ２と、変調部Ａ２が得た変調信号を送信する送信部Ａ３と、を備えている。上述した動画像符号化装置１は、この符号化部Ａ１として利用される。

　送信装置Ａは、符号化部Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＡ４、動画像を記録した記録媒体Ａ５、及び、動画像を外部から入力するための入力端子Ａ６を更に備えていてもよい。図２８（ａ）においては、これら全てを送信装置Ａが備えた構成を例示しているが、一部を省略しても構わない。

　なお、記録媒体Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体Ａ５と符号化部Ａ１との間に、記録媒体Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

　図２８（ｂ）は、動画像復号装置２を搭載した受信装置Ｂの構成を示したブロック図である。図２８（ｂ）に示すように、受信装置Ｂは、変調信号を受信する受信部Ｂ１と、受信部Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部Ｂ２と、復調部Ｂ２が得た符号化データを復号することによって動画像を得る復号部Ｂ３と、を備えている。上述した動画像復号装置２は、この復号部Ｂ３として利用される。

　受信装置Ｂは、復号部Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＢ４、動画像を記録するための記録媒体Ｂ５、及び、動画像を外部に出力するための出力端子Ｂ６を更に備えていてもよい。図２８（ｂ）においては、これら全てを受信装置Ｂが備えた構成を例示しているが、一部を省略しても構わない。

　なお、記録媒体Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部Ｂ３と記録媒体Ｂ５との間に、復号部Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。

　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置Ａ／受信装置Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置Ａ及び受信装置Ｂの双方として機能する。

　次に、上述した動画像復号装置２および動画像符号化装置１を、動画像の記録及び再生に利用できることを、図２９を参照して説明する。

　図２９（ａ）は、上述した動画像復号装置２を搭載した記録装置Ｃの構成を示したブロック図である。図２９（ａ）に示すように、記録装置Ｃは、動画像を符号化することによって符号化データを得る符号化部Ｃ１と、符号化部Ｃ１が得た符号化データを記録媒体Ｍに書き込む書込部Ｃ２と、を備えている。上述した動画像符号化装置１は、この符号化部Ｃ１として利用される。

　なお、記録媒体Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disk:登録商標）などのように、記録装置Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

　また、記録装置Ｃは、符号化部Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＣ３、動画像を外部から入力するための入力端子Ｃ４、及び、動画像を受信するための受信部Ｃ５を更に備えていてもよい。図２９（ａ）においては、これら全てを記録装置Ｃが備えた構成を例示しているが、一部を省略しても構わない。

　なお、受信部Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部Ｃ５と符号化部Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

　このような記録装置Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子Ｃ４又は受信部Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＣ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部Ｃ５が動画像の主な供給源となる）、スマートフォン（この場合、カメラＣ３又は受信部Ｃ５が動画像の主な供給源となる）なども、このような記録装置Ｃの一例である。

　図２９（ｂ）は、上述した動画像復号装置２を搭載した再生装置Ｄの構成を示したブロックである。図２９（ｂ）に示すように、再生装置Ｄは、記録媒体Ｍに書き込まれた符号化データを読み出す読出部Ｄ１と、読出部Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部Ｄ２と、を備えている。上述した動画像復号装置２は、この復号部Ｄ２として利用される。

　なお、記録媒体Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

　また、再生装置Ｄは、復号部Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＤ３、動画像を外部に出力するための出力端子Ｄ４、及び、動画像を送信する送信部Ｄ５を更に備えていてもよい。図２９（ｂ）においては、これら全てを再生装置Ｄが備えた構成を例示しているが、一部を省略しても構わない。

　なお、送信部Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部Ｄ２と送信部Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

　このような再生装置Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＤ３が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子Ｄ４又は送信部Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＤ３又は送信部Ｄ５が動画像の主な供給先となる）なども、このような再生装置Ｄの一例である。

　以上のように、本発明の動画像符号化装置１は、動画像の各フレーム画像を複数の領域に分割する距離画像分割処理部２２と、距離画像分割処理部２２が分割した各領域の代表値を決定する番号付与部２４と、番号付与部２４が決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新することにより符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する距離値符号化部２５と、を備え、距離値符号化部２５は、上記更新するコードブックの初期のコードブックとして、今回、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに作成したコードブックを用いる。

　以上のように、本発明に係る動画像符号化装置は、動画像を符号化する動画像符号化装置であって、上記動画像の各フレーム画像を複数の領域に分割する画像分割手段と、上記画像分割手段が分割した各領域の代表値を決定する代表値決定手段と、上記フレーム画像ごとに、上記代表値決定手段が決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化手段と、を備え、上記適応的符号化手段は、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いることを特徴としている。

　本発明に係る動画像符号化装置では、上記適応的符号化手段は、上記更新するコードブックとして、適応的符号化を行うフレーム画像の直近のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いるものであってもよい。

　上記の構成によれば、更新するコードブックとして、適応的符号化を行うフレーム画像の直近のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いる。

　動画像の場合、前後するフレーム画像は、類似したものとなる可能性が高い。よって、直近のフレーム画像は、符号化対象の画像フレームと類似している可能性が高く、画像フレームの各領域の代表値の数列も類似している可能性が高い。

　したがって、直近の画像フレームを適応的符号化したときに更新し終えたコードブックは、再利用できる部分が非常に多くなり、適応的符号化の処理をより効率的に行うことができる。

　本発明に係る動画像符号化装置では、上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、テクスチャ画像をＡＶＣ（Advanced Video Coding）符号化するＡＶＣ符号化手段を備え、上記適応的符号化手段は、上記距離画像を適応的符合化するときに、当該距離画像と対応するテクスチャ画像を上記ＡＶＣ符号化手段が符号化するときに予測画像として選択したテクスチャ画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、上記更新するコードブックとして用いるものであってもよい。

　上記の構成によれば、距離画像を適応的符号化するときに更新するコードブックとして、該距離画像と対応したテクスチャ画像がＡＶＣ符号化されたときに選択された予測画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを用いる。

　テクスチャ画像がＡＶＣ符号化されるときに選択される予測画像は、当該テクスチャ画像と類似している画像である。よって、符号化対象の距離画像と、該距離画像と対応するテクスチャ画像の予測画像と対応する距離画像とも、類似していることになる。

　したがって、類似した距離画像を適応的符号化したときに更新し終えたコードブックを、更新するコードブックとして用いることができ、適応的符号化の処理をより効率的に行うことができる。

　本発明に係る動画像符号化装置では、上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、複数の視点に対応する複数のテクスチャ画像を符号化するＭＶＣ（Multiview Video Coding）符号化するＭＶＣ符号化手段を備え、上記適応的符号化手段は、上記距離画像を適応的符合化するときに、当該距離画像と対応するテクスチャ画像を上記ＭＶＣ符号化手段が符号化するときに予測画像として選択したテクスチャ画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、上記更新するコードブックとして用いるものであってもよい。

　上記の構成によれば、距離画像を適応的符号化するときに更新するコードブックとして、該距離画像と対応したテクスチャ画像がＭＶＣ符号化されたときに選択された予測画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを用いる。

　テクスチャ画像がＭＶＣ符号化されるときに選択される予測画像は、当該テクスチャ画像と類似している画像である。よって、符号化対象の距離画像と、該距離画像と対応するテクスチャ画像の予測画像と対応する距離画像とも、類似していることになる。

　したがって、類似した距離画像を適応的符号化したときに作成したコードブックを、更新するコードブックとして用いることができ、適応的符号化の処理をより効率的に行うことができる。

　本発明に係る動画像符号化装置では、上記適応的符号化手段は、上記予測画像が複数存在する場合、参照する面積が最も広い予測画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、上記更新するコードブックとして用いるものであってもよい。

　上記の構成によれば、予測画像が複数存在する場合、参照する面積が最も広い予測画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、更新するコードブックとして用いる。

　そして、参照する面積が最も広い予測画像は、予測画像の中でも、テクスチャ画像と最も類似した画像である。よって、距離画像を適応的符号化するときに更新するコードブックとして、該距離画像と対応するテクスチャ画像の予測画像のうち、最もテクスチャ画像と類似した予測画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを用いることができる。

　したがって、最も再利用できる部分が多いコードブックを再利用することができ、距離画像の適応的符号化の処理をさらに効率的に行うことができる。

　本発明に係る動画像符号化装置では、上記適応的符号化手段は、上記更新するコードブックを所定のサイズに縮小した後、該コードブックを更新して適応的復号を行うものであってもよい。

　符号化対象のフレーム画像とは異なるフレーム画像を適応的符号化したときに更新し終えたコードブックは、サイズが大きくなっている可能性が高く、そのまま更新するコードブックとして用いて、更新していくと、さらにサイズが大きくなってしまう。

　上記の構成によれば、適応的符号化手段は、更新するコードブックを所定のサイズに縮小するので、コードブックが大きくなってデータ量が大きくなることを防止することができる。

　本発明に係る動画像符号化装置では、上記符号化データを出力する出力手段を備え、上記出力手段は、上記適応的符号化手段がコードブックを縮小したとき、縮小したことを示す縮小情報を上記符号化データとともに出力するものであってもよい。

　上記の構成によれば、コードブックを縮小したとき、縮小したことを示す縮小情報を上記符号化データとともに出力する。よって、出力先において、コードブックが縮小されたことを認識することが可能となる。したがって、出力先において、符号化データを復号するときに、符号化されたときと同様にコードブックを縮小して用いることができる。

　また、本発明に係る動画像復号装置は、動画像の各フレーム画像を複数の領域に分割し、各領域の代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新することにより符号化する適応的符号化を行った上記フレーム画像の符号化データである画像符号化データを復号する動画像復号装置であって、上記画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号手段と、上記適応的復号手段が生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成手段と、を備え、上記適応的復号手段は、上記更新するコードブックとして、適応的復号を行う画像符号化データ以外の画像符号化データを適応的復号したときに更新し終えたコードブックを用いることを特徴としている。

　本発明に係る動画像復号装置では、上記適応的復号手段は、上記更新するコードブックとして、適応的復号を行う画像符号化データの直近の画像符号化データを適応的復号したときに更新し終えたコードブックを用いるものであってもよい。

　上記の構成によれば、更新するコードブックとして、適応的復号を行う画像符号化データの直近のフレーム画像を適応的復号したときに更新し終えたコードブックを用いる。

　動画像の場合、前後するフレーム画像は、類似したものとなる可能性が高い。よって、直近の画像符号化データも、復号対象の画像符号化データと類似している可能性が高い。

　したがって、直近の画像符号化データを適応的復号したときに更新し終えたコードブックは、再利用できる部分が非常に多くなり、適応的復号の処理をより効率的に行うことができる。

　本発明に係る動画像復号装置では、上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、上記距離画像の画像符号化データとともに、該距離画像と対応するテクスチャ画像がＡＶＣ（Advanced Video Coding）符号化されたデータであるＡＶＣ符号化データを取得する取得手段と、上記取得手段が取得したＡＶＣ符号化データを復号するＡＶＣ復号手段とを備え、上記適応的復号手段は、上記画像符号化データを適応的復号するときに、当該画像符号化データと対応するＡＶＣ符号化データを上記ＡＶＣ復号手段が復号するときに予測画像として選択したテクスチャ画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、上記更新するコードブックとして用いるものであってもよい。

　上記の構成によれば、画像符号化データを適応的復号するときに更新するコードブックとして、該画像符号化データと対応したＡＶＣ符号化データがＡＶＣ復号されたときに選択された予測画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを用いる。

　ＡＶＣ符号化データがＡＶＣ復号されるときに選択される予測画像は、当該ＡＶＣ符号化データが復号されたときのテクスチャ画像と類似している画像である。よって、復号対象の画像符号化データは、該画像符号化データと対応するＡＶＣ符号化データの予測画像と対応する距離画像の画像符号化データと、類似していることになる。

　したがって、類似した画像符号化データを適応的復号したときに更新し終えたコードブックを、更新するコードブックとして用いることができ、適応的復号の処理をより効率的に行うことができる。

　本発明に係る動画像復号装置では、上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、上記距離画像の画像符号化データとともに、該距離画像と対応するテクスチャ画像が、複数の視点に対応する複数のテクスチャ画像を符号化するＭＶＣ（Multiview Video Coding）符号化されたデータであるＭＶＣ符号化データを取得する取得手段と、上記取得手段が取得したＭＶＣ符号化データを復号するＭＶＣ復号手段とを備え、上記適応的復号手段は、上記画像符号化データを適応的復号するときに、当該画像符号化データと対応するＭＶＣ符号化データを上記ＭＶＣ復号手段が復号するときに予測画像として選択したテクスチャ画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、上記更新するコードブックとして用いるものであってもよい。

　上記の構成によれば、画像符号化データを適応的復号するときに更新するコードブックとして、該画像符号化データと対応したＭＶＣ符号化データがＭＶＣ復号されたときに選択された予測画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを用いる。

　ＭＶＣ符号化データがＭＶＣ復号されるときに選択される予測画像は、当該ＭＶＣ符号化データが復号されたときのテクスチャ画像と類似している画像である。よって、復号対象の画像符号化データは、該画像符号化データと対応するＭＶＣ符号化データの予測画像と対応する距離画像の画像符号化データと、類似していることになる。

　本発明に係る動画像復号装置では、上記適応的復号手段は、上記予測画像が複数存在する場合、参照する面積が最も広い予測画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、上記更新するコードブックとして用いるものであってもよい。

　上記の構成によれば、予測画像が複数存在する場合、参照する面積が最も広い予測画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、更新するコードブックとして用いる。

　そして、参照する面積が最も広い予測画像は、予測画像の中でも、テクスチャ画像と最も類似した画像である。よって、画像符号化データを適応的復号するときに更新するコードブックとして、予測画像のうち、最もテクスチャ画像と類似した予測画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを用いることができる。

　したがって、最も再利用できる部分が多いコードブックを再利用することができ、画像符号化データの適応的復号の処理をさらに効率的に行うことができる。

　本発明に係る動画像復号装置では、上記適応的復号手段は、上記更新するコードブックを所定のサイズに縮小した後、該コードブックを更新して適応的復号を行うものであってもよい。

　復号対象の画像符号化データとは異なる画像符号化データを適応的復号したときに更新し終えたコードブックは、サイズが大きくなっている可能性が高く、そのまま更新するコードブックとして用いて、更新していくと、さらにサイズが大きくなってしまう。

　上記の構成によれば、適応的復号手段は、更新するコードブックを所定のサイズに縮小するので、コードブックが大きくなってデータ量が大きくなることを防止することができる。

　本発明に係る動画像復号装置では、上記取得手段は、上記画像符号化データが適応的符号化されたときに適応的符号化に用いられたコードブックが縮小されたことを示す縮小情報を取得し、上記適応的復号手段は、上記取得手段が上記縮小情報を取得すると、復号に用いるコードブックを縮小するものであってもよい。

　上記の構成によれば、符号化されたときに、コードブックを縮小したとき、縮小したことを示す縮小情報を画像符号化データとともに取得する。よって、符号化のときにコードブックが縮小されたことを認識することが可能となる。したがって、画像符号化データを復号するときに、符号化されたときと同様にコードブックを縮小して用いることができる。

　上記動画像符号化装置と、上記動画像復号装置とを含む動画像伝送システムは、上述した効果を奏することができる。

　（ソフトウェアによる構成）
　最後に、動画像符号化装置１（１Ａ）、動画像復号装置２（２Ａ）の各ブロック、特に画像符号化部１１（１１Ａ）、画像復号部１２、距離画像符号化部２０（２０Ａ）（画像分割処理部２１（２１´）、距離画像分割処理部２２、距離値修正部２３、番号付与部２４、距離値符号化部２５（２５Ａ））、距離値復号部３２、距離値付与部３３は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現していてもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。

　後者の場合、動画像符号化装置１（１Ａ）、動画像復号装置２（２Ａ）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像符号化装置１（１Ａ）、動画像復号装置２（２Ａ）の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の動画像符号化装置１（１Ａ）、動画像復号装置２（２Ａ）に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

　また、動画像符号化装置１（１Ａ）、動画像復号装置２（２Ａ）を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　本発明は、３Ｄ対応のコンテンツを生成するコンテンツ生成装置や３Ｄ対応のコンテンツを再生するコンテンツ再生装置等に好適に適用することができる。

　　１　　動画像符号化装置（動画像符号化装置）
　　２　　動画像復号装置（動画像復号装置）
　１１、１１Ａ　　画像符号化部（ＡＶＣ符号化手段、ＭＶＣ符号化手段）
　１２　　画像復号部（ＡＶＣ復号手段、ＭＶＣ復号手段）
　２２　　距離画像分割処理部（画像分割手段）
　２４　　番号付与部（代表値決定手段）
　２５、２５Ａ　　距離値符号化部（適応的符号化手段、出力手段）
　３１　　アンパッケージング部（取得手段）
　３２　　距離値復号部（適応的復号手段）
　３３　　距離値付与部（画像生成手段）

Claims

　動画像を符号化する動画像符号化装置であって、
　上記動画像の各フレーム画像を複数の領域に分割する画像分割手段と、
　上記画像分割手段が分割した各領域の代表値を決定する代表値決定手段と、
　上記フレーム画像ごとに、上記代表値決定手段が決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化手段と、を備え、
　上記適応的符号化手段は、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いることを特徴とする動画像符号化装置。
　上記適応的符号化手段は、上記更新するコードブックとして、適応的符号化を行うフレーム画像の直近のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いることを特徴とする請求項１に記載の動画像符号化装置。
　上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、
　テクスチャ画像をＡＶＣ（Advanced Video Coding）符号化するＡＶＣ符号化手段を備え、
　上記適応的符号化手段は、上記距離画像を適応的符合化するときに、当該距離画像と対応するテクスチャ画像を上記ＡＶＣ符号化手段が符号化するときに予測画像として選択したテクスチャ画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、上記更新するコードブックとして用いることを特徴とする請求項１に記載の動画像符号化装置。
　上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、
　複数の視点に対応する複数のテクスチャ画像を符号化するＭＶＣ（Multiview Video Coding）符号化するＭＶＣ符号化手段を備え、
　上記適応的符号化手段は、上記距離画像を適応的符合化するときに、当該距離画像と対応するテクスチャ画像を上記ＭＶＣ符号化手段が符号化するときに予測画像として選択したテクスチャ画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、上記更新するコードブックとして用いることを特徴とする請求項１に記載の動画像符号化装置。
　上記適応的符号化手段は、上記予測画像が複数存在する場合、参照する面積が最も広い予測画像と対応する距離画像を適応的符号化したときに更新し終えたコードブックを、上記更新するコードブックとして用いることを特徴とする請求項３または４に記載の動画像符号化装置。
　上記適応的符号化手段は、上記更新するコードブックを所定のサイズに縮小した後、該コードブックを更新して適応的符号化を行うことを特徴とする請求項１～５のいずれか１項に記載の動画像符号化装置。
　上記符号化データを出力する出力手段を備え、
　上記出力手段は、上記適応的符号化手段がコードブックを縮小したとき、縮小したことを示す縮小情報を上記符号化データとともに出力することを特徴とする請求項６に記載の動画像符号化装置。
　動画像の各フレーム画像を複数の領域に分割し、各領域の代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行った上記フレーム画像の符号化データである画像符号化データを復号する動画像復号装置であって、
　上記画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号手段と、
　上記適応的復号手段が生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成手段と、を備え、
　上記適応的復号手段は、上記更新するコードブックとして、適応的復号を行う符号化データ以外の符号化データを適応的復号したときに更新し終えたコードブックを用いることを特徴とする動画像復号装置。
　上記適応的復号手段は、上記更新するコードブックとして、適応的復号を行う画像符号化データの直近の画像符号化データを適応的復号したときに更新し終えたコードブックを用いることを特徴とする請求項８に記載の動画像復号装置。
　上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、
　上記距離画像の画像符号化データとともに、該距離画像と対応するテクスチャ画像がＡＶＣ（Advanced Video Coding）符号化されたデータであるＡＶＣ符号化データを取得する取得手段と、
　上記取得手段が取得したＡＶＣ符号化データを復号するＡＶＣ復号手段とを備え、
　上記適応的復号手段は、上記画像符号化データを適応的復号するときに、当該画像符号化データと対応するＡＶＣ符号化データを上記ＡＶＣ復号手段が復号するときに予測画像として選択したテクスチャ画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、上記更新するコードブックとして用いることを特徴とする請求項８に記載の動画像復号装置。
　上記動画像は、各画素値が奥行き値を示す距離画像の動画像であり、
　上記距離画像の画像符号化データとともに、該距離画像と対応するテクスチャ画像が、複数の視点に対応する複数のテクスチャ画像を符号化するＭＶＣ（Multiview Video Coding）符号化されたデータであるＭＶＣ符号化データを取得する取得手段と、
　上記取得手段が取得したＭＶＣ符号化データを復号するＭＶＣ復号手段とを備え、
　上記適応的復号手段は、上記画像符号化データを適応的復号するときに、当該画像符号化データと対応するＭＶＣ符号化データを上記ＭＶＣ復号手段が復号するときに予測画像として選択したテクスチャ画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、上記更新するコードブックとして用いることを特徴とする請求項８に記載の動画像復号装置。
　上記適応的復号手段は、上記予測画像が複数存在する場合、参照する面積が最も広い予測画像と対応する距離画像の画像符号化データを適応的復号したときに更新し終えたコードブックを、上記更新するコードブックとして用いることを特徴とする請求項１０または１１に記載の動画像復号装置。
　上記適応的復号手段は、上記更新するコードブックを所定のサイズに縮小した後、該コードブックを更新して適応的復号を行うことを特徴とする請求項８～１２のいずれか１項に記載の動画像復号装置。
　上記画像符号化データが適応的符号化されたときに適応的符号化に用いられたコードブックが縮小されたことを示す縮小情報を取得する取得手段を備え、
　上記適応的復号手段は、上記取得手段が上記縮小情報を取得すると、復号に用いるコードブックを縮小することを特徴とする請求項１３に記載の動画像復号装置。
　請求項１～７のいずれか１項に記載の動画像符号化装置と、請求項８～１４のいずれか１項に記載の動画像復号装置とを含む動画像伝送システム。
　動画像を符号化する動画像符号化装置の制御方法であって、
　上記動画像符号化装置にて、
　上記動画像の各フレーム画像を複数の領域に分割する画像分割ステップと、
　上記画像分割ステップで分割した各領域の代表値を決定する代表値決定ステップと、
　上記フレーム画像ごとに、上記代表値決定ステップで決定した代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行い、上記フレーム画像の符号化データを生成する適応的符号化ステップと、を含み、
　上記適応的符号化ステップでは、上記更新するコードブックとして、適応的符号化を行うフレーム画像以外のフレーム画像を適応的符号化したときに更新し終えたコードブックを用いることを特徴とする動画像符号化装置の制御方法。
　動画像の各フレーム画像を複数の領域に分割し、各領域の代表値を所定の順序で並べた数列に対し、数列パターンと符号語とを対応付けたコードブックを適応的に更新して符号化する適応的符号化を行った上記フレーム画像の符号化データである画像符号化データを復号する動画像復号装置の制御方法であって、
　上記動画像復号装置にて、
　上記画像符号化データに対し、コードブックを適応的に更新して復号する適応的復号を行って、復号データを生成する適応的復号ステップと、
　上記適応的復号ステップで生成した上記復号データと、上記領域を示す情報とから、画像を生成する画像生成ステップと、を備え、
　上記適応的復号ステップでは、上記更新するコードブックとして、適応的復号を行う符号化データ以外の符号化データを適応的復号したときに更新し終えたコードブックを用いることを特徴とする動画像復号装置の制御方法。
　請求項１～７のいずれか１項に記載の動画像符号化装置を動作させる動画像符号化装置の制御プログラムであって、コンピュータを上記の各手段として機能させるための動画像符号化装置の制御プログラム。
　請求項８～１４のいずれか１項に記載の動画像復号装置を動作させる動画像復号装置の制御プログラムであって、コンピュータを上記の各手段として機能させるための動画像復号装置の制御プログラム。
　請求項１８および１９の少なくとも何れか一方に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。