JP5729825B2 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム - Google Patents

画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム Download PDF

Info

Publication number
JP5729825B2
JP5729825B2 JP2011209416A JP2011209416A JP5729825B2 JP 5729825 B2 JP5729825 B2 JP 5729825B2 JP 2011209416 A JP2011209416 A JP 2011209416A JP 2011209416 A JP2011209416 A JP 2011209416A JP 5729825 B2 JP5729825 B2 JP 5729825B2
Authority
JP
Japan
Prior art keywords
image
encoding
region
prediction
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011209416A
Other languages
English (en)
Other versions
JP2013074303A (ja
Inventor
信哉 志水
信哉 志水
木全　英明
英明 木全
志織 杉本
志織 杉本
宣彦 松浦
宣彦 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011209416A priority Critical patent/JP5729825B2/ja
Publication of JP2013074303A publication Critical patent/JP2013074303A/ja
Application granted granted Critical
Publication of JP5729825B2 publication Critical patent/JP5729825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラムに関する。
従来から、撮影空間内でのカメラの位置や向き（以下、視点と称する）をユーザが自由に指定することができる自由視点画像が知られている。自由視点画像では、ユーザが任意の視点を指定するため、その全ての可能性に対して画像を保持しておくことは不可能である。そのため、自由視点画像は、指定された視点の画像を生成するのに必要な情報群によって構成される。自由視点画像は様々なデータ形式を用いて表現されるが、最も一般的な形式として画像とその画像に対するデプスマップ（距離画像）を用いる方式がある（例えば、非特許文献１参照）。ここで、デプスマップとは、カメラから被写体までのデプス（距離）を画素ごとに表現したものであり、被写体の三次元的な位置を表現している。デプスは２つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに蓄積された情報となるため、Ｚ画像やＺマップと呼ばれることもある。
なお、カメラから被写体までの距離の他に、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。
デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いる方がデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。
デプスマップは、各画素が１つの値を持つ画像として表現されるため、グレースケール画像とみなすことができる。また、被写体が実空間上で連続的に存在し、瞬間的に離れた位置へ移動することができないため、画像信号と同様に空間的相関および時間的相関を持つと言える。したがって、通常の画像信号や映像信号を符号化するために用いられる画像符号化方式や動画像符号化方式によって、デプスマップやその動画像（デプスビデオ）を空間的冗長性や時間的冗長性を取り除きながら効率的に符号化することが可能である。
ここで、一般的な画像符号化について説明する。画像符号化では、被写体が空間的に連続しているという特徴を利用して効率的な符号化を実現するために、画像をマクロブロックと呼ばれる処理単位ブロックに分割し、マクロブロックごとにその画像信号を空間的または時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化する。画像信号を空間的に予測する場合は、例えば空間的な予測の方向を示す情報が予測情報となり、時間的に予測する場合は、例えば参照する画像を示す情報とその画像中の位置を示す情報とが予測情報となる。
画像信号の空間相関や時間相関は被写体やテクスチャに依存したものであるため、Ｈ．２６４／ＡＶＣに代表される近年の動画像符号化では、マクロブロックごとに画像信号にあわせてさらに細かいブロックへの分割を可能にする可変ブロックサイズを採用することで、ブロック分割の柔軟性の低いＭＰＥＧ−２やＭＰＥＧ−４ ＡＳＰよりも効率的な符号化を実現している（Ｈ．２６４／ＡＶＣの詳細については、例えば、非特許文献２参照）。
画像とデプスマップとで構成される自由視点画像の符号化においては、どちらも空間相関と時間相関を持つことから、通常の画像符号化方式や動画像符号化方式を用いて、それぞれを符号化することでデータ量を削減できる。例えばＭＰＥＧ−Ｃ Ｐａｒｔ．３を用いて、画像とそれに対するデプスマップを表現する場合は、それぞれを既存の動画像符号化方式を用いて符号化している。
また、画像とデプスマップとを一緒に符号化する際に、同じ被写体や空間に対する情報であることから、その間に存在する相関を利用することで、効率的な符号化を実現する方法がある。非特許文献３や非特許文献４では、画像やデプスマップを符号化する際に用いる予測情報（ブロック分割や動きベクトル）を共通化し重複して符号化することを避けることで、効率的な符号化を実現している。なお、非特許文献３では、画像とデプスマップの両方を鑑みて１つの予測情報を生成して共通利用するのに対し、非特許文献４では、画像を符号化する際に生成された予測情報に対して、必要に応じた修正を加えてデプスマップを符号化する際に利用する。
Y. Mori, N. Fukusima, T. Fuji, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV ",In Proceedings of 3DTV-CON2008, pp. 229-232, May 2008. Rec. ITU-T H.264,"Advanced video coding for generic audiovisual services", March 2009. I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal on Advances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009. H. Oh, Y.-S. Ho, "H.264-based depth map sequence coding Using Motion Information of Corresponding Texture Video," Springer Berlin/Heidelberg, Advances in Image and Video Technology, vol. 4319, 2006.
上述した可変ブロックサイズによる画像信号の予測によって、被写体の形状に応じて単一の方法で予測画像を生成するブロックの大きさを変化させることでより精度の高い予測を実現し、画像信号とデプスとで構成される自由視点画像を高効率に圧縮符号化することができる。しかしながら、被写体の形状は様々であり、規則的な分割ルールに従ったブロック分割を行う従来方式では、被写体に応じた正確なブロック分割を行う場合には、細かいブロック分割が必要となってしまう。細かいブロック分割を用いることで、画像信号やデプスの予測精度を向上することが可能だが、ブロックの分割方法を示す情報やブロックごとの予測方法を示す情報の量が膨大になり、トータルとして符号化効率を悪化させてしまう。そのため、上述したＨ．２６４／ＡＶＣでは、４画素ｘ４画素のブロックが最小ブロックサイズとされている。
非特許文献３では、画像信号やデプスの予測値を決定するのに必要なブロック分割や動きベクトルなどの予測情報を、画像とデプスマップとで共有することで、符号化しなくてはならない予測情報の総量を減らし、効率的な符号化を実現しようとしている。この方法を用いることで、画像とデプスマップのそれぞれで予測信号を符号化する場合に比べて、符号量を削減することができている。しかしながら、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。また、両方に適したブロック分割を求めるということは、それぞれに対して最適なブロック分割を足し合わせて作られるブロック分割を使用することになる。すなわち、単独で符号化する場合に比べて過度に分割したブロックを用いることになるため、画像とデプスマップとで予測方法も含めて完全に共有できない場合は、無駄な符号量が生じることになる。
一方、非特許文献４では、画像に対する予測情報からデプスマップに対する予測情報を予測することで、画像とデプスマップ間の予測情報についての冗長性を取り除き、効率的な符号化を実現しようとしている。この方法では、画像とデプスマップとで異なるブロック分割を用いることができるようになるため、過度なブロック分割が生じてしまう懸念を回避している。しかしながら、この方式でも、規則的な分割ルールに従ったブロック分割を使うため、被写体に応じた正確なブロック分割を行うことは不可能であるか、可能であっても大量の符号量を必要とし、効率的な符号化を実現することができない。
本発明は、このような事情に鑑みてなされたもので、画像とデプスマップとを構成要素に持つ自由視点画像データの符号化において、効率的な画像符号化を実現する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムを提供することを目的とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする。
本発明は、前記被写体数設定ステップにおいて設定された前記被写体数を符号化する被写体数符号化ステップをさらに有することを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップとを有することを特徴とする。
本発明は、前記領域分割規則設定ステップにおいて設定された前記規則を示す情報を符号化する領域分割規則符号化ステップをさらに有することを特徴とする。
本発明は、前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする。
本発明は、前記分割領域と前記処理領域に隣接する既に符号化済み領域において設定された分割領域との統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に符号化済み処理領域において設定された分割領域に含まれる画素群を符号化する際に使用した予測画像生成方法を、前記統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測方法設定ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法設定ステップで設定された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする。
本発明は、前記予測方法設定ステップは、前記分割領域ごとに、当該分割領域に含まれる画素群を小領域に分割する方法を設定し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を設定し、前記予測情報符号化ステップは、前記予測方法設定ステップで設定された小領域に分割する方法を示す情報と、前記小領域ごとに設定された予測方法を示す情報とを符号化することを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測情報復号ステップにおいて復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする。
本発明は、前記被写体数設定ステップは、前記符号データから前記被写体数を復号して設定することを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、前記予測情報復号ステップで復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップとを有することを特徴とする。
本発明は、前記領域分割規則設定ステップは、前記符号データから前記領域分割規則設定ステップにおいて設定する前記規則を復号して設定することを特徴とする。
本発明は、前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする。
本発明は、前記分割領域と前記処理領域に隣接する既に復号済み領域において設定された予測ユニットとの統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に復号済み領域において設定された分割領域に含まれる画素群を復号する際に使用した予測画像の生成方法を、統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、前記予測情報復号ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみについて、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号し、前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測情報復号ステップで復号された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする。
本発明は、前記予測情報復号ステップは、前記分割領域ごとに、前記符号データから当該分割領域に含まれる画素群を小領域に分割する方法を復号し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を復号することを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段とを備えることを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする。
本発明は、符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段とを備えることを特徴とする。
本発明は、前記画像符号化方法をコンピュータに実行させるための画像符号化プログラムである。
本発明は、前記画像復号方法をコンピュータに実行させる実行させるための画像復号プログラムである。。
本発明によれば、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することが可能となる。さらに、被写体に応じたブロック分割により、被写体に依存する相関を利用することによって画像信号の予測精度が向上し、予測残差の符号化に必要な符号量も削減することが可能となる。これらの結果、効率的な画像符号化を実現することができるようになるという効果が得られる。
第１実施形態による画像符号化装置の構成を示すブロック図である。 第１実施形態による画像符号化装置の処理フローチャートである。 被写体マップの例を示す図である。 第１実施形態による画像復号装置の構成を示すブロック図である。 第１実施形態による画像復号装置の処理フローチャートである。 第２実施形態における小領域の統合を行う場合の画像符号化装置の処理フローチャートである。 第２実施形態における小領域の統合を行う場合の画像復号装置の処理フローチャートである。 第３実施形態における小領域の発生を抑える場合の画像符号化装置の処理フローチャートである。 第３実施形態における小領域の発生を抑える場合の画像復号装置の処理フローチャートである。 第４実施形態における更なる領域分割を行う場合の画像符号化装置の処理フローチャートである。 第４実施形態における更なる領域分割を行う場合の画像復号装置の処理フローチャートである。 第５実施形態におけるデプスマップに対する規則によって領域分割を決定する場合の画像符号化装置の処理フローチャートである。 第５実施形態におけるデプスマップに対する規則によって領域分割を決定する場合の画像復号装置の処理フローチャートである。 画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。 画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。
以下、本発明の一実施形態を、図面を参照して説明する。
＜第１実施形態＞
まず、第１実施形態における画像符号化装置について説明する。図１は、本発明の第１実施形態による画像符号化装置の構成を示すブロック図である。図１に示すように、画像符号化装置１００は、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、デプスマップ入力部１０３、デプスマップメモリ１０４、被写体数決定部１０５、被写体マップ生成部１０６、予測画像生成部１０７、予測情報符号化部１０８、画像信号符号化部１０９、画像信号復号部１１０、復号画像メモリ１１１、および多重化部１１２を備えている。
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下の説明においては、この符号化対象となる画像のことを符号化対象画像と呼ぶ。符号化対象画像メモリ１０２は、入力された符号化対象画像を記憶する。デプスマップ入力部１０３は、符号化対象画像に対応するデプスマップを入力する。このデプスマップは符号化対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ１０４は、入力されたデプスマップを記憶する。被写体数設定部１０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部１０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。
予測画像生成部１０７は、予測画像候補生成機能、予測画像評価機能を有し、復号画像を用いて、処理領域内の被写体ごとに画像信号の予測方法を決定し、予測画像を生成する。予測情報符号化部１０８は、予測画像生成部１０７で決定した画像信号の予測方法を示す情報を符号化する。画像信号符号化部１０９は、生成された予測画像を用いて、符号化対象画像を予測符号化する。画像信号復号部１１０は、生成された予測画像を用いて、生成された符号データを復号して復号画像を生成する。復号画像メモリ１１１は、生成された復号画像を蓄積する。多重化部１１２は、予測情報の符号データと、画像信号の符号データを多重化して出力する。
次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像Ｏｒｇを入力し、符号化対象画像メモリ１０２に記憶する。一方、デプスマップ入力部１０３は、符号化対象画像Ｏｒｇに対するデプスマップＤを入力し、デプスマップメモリ１０４に記憶する（ステップＳ１０１）。ここで入力されるデプスマップは、既に符号化済みのデプスマップを復号したものなど、復号側で得られるデプスマップとする。これは、復号装置で得られる情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されてもよい。その他の復号側で得られるデプスマップの例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
なお、符号化対象画像の各画素に対するデプス情報が得られれば、デプスマップの解像度は符号化対象画像と異なっていても構わない。符号化対象画像とデプスマップとで解像度が異なる場合は、デプスマップに対してアップサンプリングやダウンサンプリングといった解像度変換処理を行うことで、符号化対象画像の各画素に対するデプス情報が得られるようにしても構わないし、符号化対象画像の各画素に対する対応関係を内部的に保持し、解像度変換処理を行わずに処理を行っても構わない。
次に、符号化対象画像とデプスマップの格納が終了したら、符号化対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、符号化対象画像の画像信号を符号化する（ステップＳ１０２〜Ｓ１１４）。すなわち、符号化対象領域インデックスをｂｌｋ、総符号化対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ１０２）、その後、ｂｌｋに１を加算しながら（ステップＳ１１３）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ１１４）、以下の処理（ステップＳ１０３〜ステップＳ１１２）を繰り返す。なお、一般的な符号化では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、復号側と同じであればその他の大きさのブロックに分割してもよい。
符号化対象領域ごとに繰り返される処理は、まず、被写体数設定部１０５が、符号化対象領域ｂｌｋに含まれる被写体の数（被写体数ｎｕｍＯｂｊｓ）を決定する（ステップＳ１０３）。被写体数は復号側が同じ値を得られる処理であれば、どのような処理を用いて設定してもよい。例えば、常に予め定められた数を設定してもよい。また、符号化対象領域ごとに異なる値を被写体数として設定してもよい。符号化対象領域ごとに異なる値を設定する方法としては、符号化後の画質を決定するパラメータに基づいて設定する方法がある。Ｈ．２６４／ＡＶＣなどでは量子化パラメータＱＰと呼ばれるものが画質を決定するパラメータである。このパラメータに基づいて、高品質に符号化する（量子化パラメータＱＰが小さい）場合は大きな数の被写体数を設定し、低品質に符号化する（量子化パラメータＱＰが大きい）場合は小さな数の被写体数を設定する。
さらに、画質を決定するパラメータのほかに、そのブロックにおけるデプスマップの値の分布も使用して決定してもよい。例えば、高品質に符号化する（量子化パラメータＱＰが小さい）場合でも、デプスマップの値の分布範囲が狭い場合は被写体数に小さな数を設定し、低品質に符号化する（量子化パラメータＱＰが大きい）場合でも、デプスマップの値の分布範囲が広い場合は被写体数に大きな数を設定してもよい。また、デプスマップの値が主に背景に分布している場合は被写体数を小さくし、前景に分布している場合は被写体数を大きくしてもよい。
符号化対象領域ごとに異なる値を被写体数として設定する別の方法としては、符号化対象領域に対するデプスマップに従って被写体数を設定する方法がある。具体的には、符号化対象領域に対するデプスマップの各画素をｋ−ｍｅａｎｓ法やＡｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎなどのクラスタリング手法を用いて、各クラスタ内のデプス値分散が予め定められた値以下になるクラスタリング結果のうち、最小のクラスタ数を被写体数にする方法がある。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。
なお、クラスタリング結果を評価する際に、各クラスタ内のデプス値の分散ではなく、各クラスタ内のデプスを定数または平面で近似した際の誤差量を用いる方法もある。このような評価をすることで、カメラの向きに対して鉛直に存在する被写体だけでなく、斜めになっている被写体を正しく識別することが可能になる。
符号化対象領域ごとに異なる被写体数を推定して設定する場合、被写体数が大きくなると符号化効率が低下する場合があるため、被写体数の最大値を予め定めておき、被写体数が一定値以上になるのを防いでもよい。
さらに別の方法として、被写体数を導出する際に符号化対象画像等の復号側では得られない情報を用いて設定し、設定した被写体数を符号化して伝送してもよい。例えば、複数の被写体数の候補値に対して、発生符号量と符号化によって生じる歪み量の重み付き和で表されるレート歪みコストなどの符号化効率を評価する尺度を計算し、最も符号化効率が高いと判断された被写体数を選ぶ方法がある。この場合は、画像符号化装置は被写体数を符号化する被写体数符号化部を有し、被写体数を設定した後に被写体数を符号化するステップを有し、後述する多重化ステップ（Ｓ１１２）では被写体数を示す符号データを一緒に多重化する。このとき、被写体数に対する符号語をコンパクトに設計するために、被写体数として取りえる数を制限してもよい。なお、被写体数を符号化する際には、デプスマップや隣接する符号化済みブロックの画像情報を用いて被写体数を予測して、予測誤差のみを符号化してもよい。
被写体数を予測する方法としては、復号側で同じ処理を行うことが可能であれば、どのような処理を用いてもよい。例えば、前述のように符号化対象ブロックやその周辺のデプスマップに対してクラスタリングを適用することで得られる値を予測値とする方法や、それらデプスマップの値に加えて符号化対象ブロック周辺の既に符号化済みのブロックに対する復号画像信号を用いてクラスタリングを適用することで得られる値を予測値とする方法や、符号化対象ブロック周辺の既に符号化済みのブロックにおける被写体数や領域分割数に対して、平均値や中央値などの数値計算を適用することで得られる値を予測値とする方法がある。
次に、被写体数の設定が終了したら、被写体マップ生成部１０６は、符号化対象領域ｂｌｋに対して被写体マップＳを生成する（ステップＳ１０４）。ここでいう被写体マップとは、ブロック内の各画素にどの“被写体”が存在しているかを示したものでり、符号化対象領域ｂｌｋの各画素に対して、０からｎｕｍＯｂｊｓ−１までの値で表される被写体識別子（番号）を割り当てたものである。どのように表現をしてもよいが、最も単純な表現では２次元情報として表現できる。すなわち、被写体マップは例えば図３のような２次元情報になる。
被写体マップは、符号化対象領域に対するデプスマップの各画素をｋ−ｍｅａｎｓ法やＡｆｆｉｎｉｔｙ Ｐｒｏｐａｇａｔｉｏｎなどのクラスタリング手法を用いて、ｎｕｍＯｂｊｓ個のクラスタに分類し、同じクラスタ内の画素が全て同じ被写体識別子を持ち、別のクラスタ内の画素とは必ず異なる被写体識別子を持つように、被写体識別子を割り振ることで生成する。クラスタリングに用いる尺度としては、デプス値のみを用いてもよいし、デプス値と画素位置とからなる値を用いてもよい。ただし、使用するクラスタリング手法や尺度は復号側と同じものを用いる必要がある。
また、各クラスタへの被写体識別子を割り振る方法も、復号側と同じで、与えられたクラスタリング結果に対して単一の割り振りができるのであれば、どのような方法を用いてもよい。例えば、より上の行の画素を含むクラスタほど小さな値の被写体識別子を持ち、クラスタに含まれる画素の最も上の行が同じクラスタ間では、より左の列の画素を含むクラスタほど小さな値の被写体識別子を持つように、値を割り振ることで曖昧性のない被写体識別子の割り振りを行うことができる。なお、被写体数を決定する際にクラスタリングを行っている場合には、その結果を利用し、ここで再度クラスタリングを行う必要はない。
次に、被写体マップが得られたら、同じ被写体識別子を持つ画素群ごとに、画像信号の予測を行う（ステップＳ１０５〜Ｓ１０９）。すなわち、予測対象の被写体識別子をｏｂｊで表すとすると、ｏｂｊを０で初期化し（ステップＳ１０５）、その後、ｏｂｊに１を加算しながら（ステップＳ１０８）、ｏｂｊがｎｕｍＯｂｊｓになるまで（ステップＳ１０９）、被写体マップ上の対応する位置の被写体識別子がｏｂｊである符号化対象画像の画像信号に対する予測画像を生成する方法を決定して予測画像を生成する処理（ステップＳ１０６）と、予測画像を生成する方法を示すための情報を符号化する処理（ステップＳ１０７）とを交互に繰り返す。
予測画像生成法の決定と予測画像の生成は、予測画像生成部１０７が行う。予測画像を生成する方法を決定する方法には、どのようなものを用いてもよい。ただし、符号化効率を最大化する場合は、各予測画像生成法による画像信号の予測効率を評価し、その予測効率が最大になるものを探し出したほうがよい。すなわち、ある予測画像生成法ｍでの予測効率の評価値をＥ（ｍ）とするとき、（１）式で与えられるＭｂｌｋ，ｏｂｊを、被写体マップ上の対応する位置の被写体識別子がｏｂｊである画素群に対する符号化対象画像の予測画像を生成する方法に決定する。
Figure 0005729825
なお、Ｅ（ｍ）の値は大きいほど予測効率が高いことを示しており、ａｒｇｍａｘは与えられた関数を最大化するパラメータを求める処理を示す。導出するパラメータはａｒｇｍａｘの下部で与えられる。Ｍｏｄｅは使用可能な予測方法の集合であり、復号側で同じ方法が使用可能であれば、どのような方法が含まれていてもよいし、その集合の大きさがいくつであってもよい。例えば、Ｈ．２６４／ＡＶＣのイントラ予測のように、８つ異なる予測方向に従ったイントラ予測、隣接画素の復号画像の平均値で予測画像を生成するＤＣ予測、グラデーションを想定して隣接画素を線形補間することで予測画像を生成するＰｌａｎｅ予測からなる集合を用いてもよい。
また、文献「K. McCann, W.-J. Han, and I. Kim, “Samsung's Response to the Call for Proposals on Video Compression Technology”, Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124, April 2010. 」のようにさらに多数の予測方向を集合に加えてもよいし、文献「K. Ugur, K. R. Andersson, and A. Fuldseth,“Description of video coding technology proposal by Tandberg, Nokia, Ericsson”, Input document to Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A119, April 2010.」のように先に一部分を符号化し、その情報を用いて双方向予測を行う方法を集合に加えてもよい。
さらに、画面内予測方法だけでなく、時間的に連続する複数枚の画像（動画像）や異なる位置に置いたカメラで同一シーンを撮影した複数枚の画像（多視点画像）やその動画像（多視点動画像）を符号化する場合は、符号化済みの画像から予測画像を生成する画面間予測方法を使用してもよい。画面間予測では、参照する画像を示す情報と、その参照する画像上の領域を指定するベクトル情報との組で１つの予測画像生成法となる。
予測効率の評価値Ｅ（ｍ）としては、任意のものを使用することが可能であるが、例えば、（２）、（３）式で表される符号化対象画像と予測画像とのＳＡＤ（差分絶対値和）やＳＳＤ（差分二乗和）を用いてもよい。
Ｅ（ｍ）＝−Σｐ｜Ｏｒｇ［ｐ］−Ｐｒｅｄｍ［ｐ］｜ ・・・（２）
Ｅ（ｍ）＝−Σｐ（Ｏｒｇ［ｐ］−Ｐｒｅｄｍ［ｐ］）２ ・・・（３）
ここで、Ｐｒｅｄｍは予測画像生成法ｍに従って生成された予測画像を示す。Σｐは領域ｂｌｋの内部で被写体マップによって示される被写体識別子がｏｂｊである画素全てについての和を表している。これら以外に符号化対象画像と予測画像の差分値をＤＣＴやアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Ａで表すと、（４）式で表すことができる。なお、‖Ｘ‖はＸのノルムを表す。
Ｅ（ｍ）＝−‖Ａ・（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄｍ［ｂｌｋ］）‖ ・・・（４）
ただし、この場合変換に用いる全ての画素（上記の式の場合は領域ｂｌｋ全体）についての予測画像が必要となるため、全ての被写体識別子に対して予測画像生成方法を仮定して評価する必要がある。また、上記のように符号化対象画像と予測画像との乖離度のみを評価する方法ではなく、発生する符号量と歪み量を鑑みたＲＤコストを用いてもよい。ここで用いるＲＤコストは、Ｐｒｅｄｍを予測画像として、Ｏｒｇを符号化した際の符号量Ｒ（ｍ）と歪み量Ｄ（ｍ）とを用いて、（５）式で表すことができる。なお、λはラグランジュの未定乗数であり、予め定められた値を用いる。
Ｅ（ｍ）＝−Ｄ（ｍ）−λＲ（ｍ） ・・・（５）
予測画像の生成法を示す情報の符号化は予測情報符号化部１０８が行う。符号化する方法には、どのような方法を使用してもよい。ただし、正しく復号するためには、復号側で行う処理に対応させる必要がある。例えば、Ｍｂｌｋ，ｏｂｊを予め定められたテーブルを用いて符号化してもよいし、Ｍｂｌｋ，ｏｂｊを予め定められたテーブルを用いて２値化した後に、 周辺の符号化結果を考慮した２値算術符号化によって符号化してもよい。なお、本実施形態では被写体識別子ｏｂｊごとに符号化しているが、符号化対象領域ｂｌｋごとにまとめて符号化してもよいし、画像全体でまとめて符号化してもよい。その場合、Ｍｂｌｋ，ｏｂｊを蓄積しておくことで、予測情報の符号化処理を符号化対象領域ｂｌｋごとの１度だけ行われる処理や、画像全体で１度だけ行われる処理とすることができる。
次に、符号化対象領域ｂｌｋに対する予測画像の生成が終わったら、画像信号符号化部１０９は、その予測画像を用いて符号化対象画像Ｏｒｇの符号化対象領域ｂｌｋにおける画像信号を符号化する（ステップＳ１１０）。符号化にはどのような方法を用いてもよい。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化では、ブロックｂｌｋの画像信号と予測画像との差分信号（Ｏｒｇ［ｂｌｋ］−Ｐｒｅｄ［ｂｌｋ］）に対して、ＤＣＴなどの周波数変換、量子化、２値化、エントロピー符号化を順に施すことで符号化を行う。
次に、画像信号復号部１１０は、符号化結果として得られた符号データと予測画像とを用いて、ブロックｂｌｋに対する画像信号を復号し、復号結果であるところの復号画像Ｄｅｃ［ｂｌｋ］を復号画像メモリ１１１に記憶する（ステップＳ１１１）。ここでは、符号化時に用いた手法に対応する手法を用いる。例えば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化であれば、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測信号を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。なお、符号化側での処理がロスレスになる直前のデータと予測画像を受け取り、簡略化した復号処理によって復号処理を行っても構わない。つまり、前述の例であれば符号化時に量子化処理を加えた後の値と予測画像を受け取り、その量子化後の値に逆量子化、周波数逆変換を順に施して得られた２次元信号に対して予測画像を加え、画素値の値域でクリッピングを行うことで映像信号を復号しても構わない。復号して得られた画像信号は、他のブロックを符号化する際の予測画像を生成するために用いられる。
次に、多重化部１１１は、予測画像生成法を示す情報の符号データと、画像信号の符号データとを多重化して出力する（ステップＳ１１２）。なお、ここではブロックごとに多重化しているが、フレーム単位で多重化してもよい。ただし、その場合には、復号時に１フレーム分の符号データをバッファリングしてから復号する必要が生じる。また、復号画像を生成した後に多重化しているが、画像信号の符号化が終了した直後に多重化してもよい。
次に、図４を参照して、第１実施形態における画像復号装置について説明する。図４は、本発明の第１実施形態による画像復号装置の構成を示すブロック図である。図４に示すように、画像復号装置２００は、符号データ入力部２０１、符号データメモリ２０２、デプスマップ入力部２０３、デプスマップメモリ２０４、被写体数決定部２０５、被写体マップ生成部２０６、分離部２０７、予測情報復号部２０８、予測画像生成部２０９、画像信号復号部２１０、および復号画像メモリ２１１を備えている。
符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下の説明においては、この復号対象となる画像のことを復号対象画像と呼ぶ。符号データメモリ２０２は、入力された符号データを記憶する。デプスマップ入力部２０３は、復号対象画像に対応するデプスマップを入力する。このデプスマップは復号対象画像の各画素に写っている被写体のデプスを表すものである。デプスマップメモリ２０４は、入力されたデプスマップを記憶する。被写体数設定部２０５は、予め定められた大きさの処理領域に含まれる被写体の数を設定する。被写体マップ生成部２０６は、処理領域内の各画素に写っている被写体を識別して被写体マップを生成する。
分離部２０７は、入力された符号データでは多重化されている予測情報の符号データと画像信号の符号データとを分離する。予測情報復号部２０８は、画像信号の予測方法を示す情報を符号データから復号する。予測画像生成部２０９は、与えられた予測情報に従って、処理領域内の被写体ごとに予測画像を生成する。画像信号復号部２１０は、生成された予測画像を用いて、符号データを復号して復号画像を生成する。復号画像メモリ２１１は、生成された復号画像を記憶する。
次に、図５を参照して、図４に示す画像復号装置２００の動作を説明する。図９は、図４に示す画像復号装置２００の動作を示すフローチャートである。まず、符号データ入力部２０１は復号対象画像の符号データを入力し、符号データメモリ２０２に記憶する。一方、デプスマップ入力部２０３は、復号対象画像に対するデプスマップＤを入力し、デプスマップメモリ２０４に記憶する（ステップＳ２０１）。ここで入力されるデプスマップは、符号化時に使用したデプスマップと同じものとする。これは符号化装置で使用した情報と全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化に使用されたものとは異なるものが入力されてもよい。入力されるデプスマップとしては、例えば、別途復号されたデプスマップや、別の視点に対して復号されたデプスマップを用いて合成されたデプスマップや、別の視点に対して復号された画像群からステレオマッチング等によって推定したデプスマップなどがある。
次に、符号データとデプスマップの格納が終了したら、復号対象画像を予め定められた大きさの領域に分割し、分割した領域ごとに、復号対象画像の画像信号を復号する（ステップＳ２０２〜Ｓ２１３）。すなわち、復号対象領域インデックスをｂｌｋ、総復号対象領域数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳ２０２）、その後、ｂｌｋに１を加算しながら（ステップＳ２１２）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳ２１３）、以下の処理（ステップＳ２０３〜ステップＳ２１１）を繰り返す。なお、一般的な符号化方式では１６画素×１６画素のマクロブロックと呼ばれる処理単位ブロックへ分割するが、符号化側と同じであればその他の大きさのブロックに分割してもよい。
復号対象領域ごとに繰り返される処理は、まず、分離部２０７が符号データから、ブロックｂｌｋの予測情報の符号データと画像信号の符号データとを分離する（ステップＳ２０３）。なお、ここではブロックごとに分離しているが、フレーム単位など他の単位で分離してもよい。ただしフレーム単位で分離する場合は、入力された符号データではなく、分離された符号データを蓄積する必要が生じる。また、ブロックごとの処理の最初に行っているが、被写体ごとに予測画像を生成する前であれば、いつ分離してもよい。
次に、被写体数設定部２０５は、復号対象領域ｂｌｋに含まれる被写体の数（被写体数ｎｕｍＯｂｊｓ）を決定する（ステップＳ２０４）。被写体数は符号化側と同じ処理であれば、どのような処理を用いて設定してもよい。すなわち、ここでの処理は図２に示すステップＳ１０３と同じである。なお、被写体数が符号化されて符号データに含まれている場合は、符号データを分離する際に、被写体数に対する符号データも分離し、その符号データを復号することで被写体数を設定する。また、隣接する復号済みブロックの情報を用いて被写体数が予測符号化されている場合は、予め定められた符号化側と同じ処理によって被写体数の予測値を生成し、その予測値を用いて符号データから被写体数を復号する。ただし、被写体数を予測する方法は、符号化側で行われた処理と同じである必要がある。
次に、被写体数の設定が終了したら、被写体マップ生成部２０６は、復号対象領域ｂｌｋに対して被写体マップＳを生成する（ステップＳ２０５）。被写体マップとは、ブロック内の各画素にどの“被写体”が存在しているかを示したものであり、符号化対象領域ｂｌｋの各画素に対して、０からｎｕｍＯｂｊｓ−１までの値で表される被写体識別子（番号）を割り当てたものである。どのように表現をしてもよいが、最も単純な表現では２次元情報として表現できる。すなわち、被写体マップは例えば図３のような２次元情報になる。ここでの処理は図２に示すステップＳ１０４と同じである。
次に、被写体マップが得られたら、同じ被写体識別子を持つ画素群ごとに、復号対象画像の画像信号の予測を行う（ステップＳ２０６〜Ｓ２１０）。すなわち、予測対象の被写体識別子をｏｂｊで表すとすると、ｏｂｊを０で初期化し（ステップＳ２０６）その後、ｏｂｊに１を加算しながら（ステップＳ２０８）、ｏｂｊがｎｕｍＯｂｊｓになるまで（ステップＳ２１０）、予測情報復号部２０８で被写体マップ上の対応する位置の被写体識別子がｏｂｊである符号化対象画像の画像信号に対する予測画像を生成する方法を予測情報の符号データから復号する処理（ステップＳ２０７）と、予測画像生成部２０９で得られた予測情報に従って予測画像を生成する処理（ステップＳ２０８）とを繰り返す。
なお、予測画像を生成する方法にはどのような方法を用いても構わないが、復号した予測情報を用いることで、符号化時に使用した予測画像と同じものを生成できる必要がある。また、本実施形態では被写体識別子ｏｂｊごとに予測情報を復号しているが、復号対象領域ｂｌｋごとにまとめて復号してもよいし、画像全体でまとめて復号してもよい。その場合、復号した予測情報を蓄積しておき、予測情報の復号処理を、符号化対象領域ｂｌｋごとに１度だけ行われる処理や、画像全体で１度だけ行われる処理とすることができる。
次に、復号対象領域ｂｌｋに対する予測画像の生成が終わったら、画像信号復号部２１０は、生成した予測画像を用いて復号対象領域ｂｌｋにおける復号対象画像の画像信号を復号する（ステップＳ２１１）。復号にはどのような方法を用いてもよいが、符号化時に用いた方法に対応する方法を用いる必要がある。ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの一般的な符号化が使用されている場合は、符号データに対して、エントロピー復号、逆２値化、逆量子化、ＩＤＣＴなどの周波数逆変換を順に施し、得られた２次元信号に対して予測信号（予測画像）を加え、最後に画素値の値域でクリッピングを行うことで画像信号を復号する。復号して得られた画像信号は、画像復号装置２００の出力となると共に、他のブロックを符号化する際の予測画像を生成するために復号画像メモリ２１１に記憶する。なお、復号画像をフレーム単位で出力する必要がある場合は、画像信号復号部２１０からは直接出力せずに、１フレーム分の処理が終わったところで、復号画像メモリ２１１から出力する。
＜第２実施形態＞
次に、第２実施形態における画像符号化装置及び画像復号装置について説明する。第１実施形態では、デプスマップの各画素の値をそのまま用いて被写体マップを生成するため、デプスマップの取得誤差や符号化ノイズの影響を受けて、非常に小さな孤立した領域が１つの被写体と決定されることがある。また、ブロック端にほんの少しだけ被写体が残っている場合なども、同様に非常に小さな領域に対して１つの被写体識別子が対応付けられることになる。そのように生成される小さな領域に対して１つの予測画像生成方法を割り当てる場合、予測効率の改善による符号量削減よりも、予測画像生成方法を符号化するために必要になる符号量増加のほうが多くなるため効率的な符号化を実現することができない。そこで生成された被写体マップＳにおいて、微小な被写体画素集合を隣接する被写体と統合してもよい。
図６、図７を参照して、第２実施形態における画像符号化装置及び画像復号装置が微小な被写体画素集合を隣接する被写体と統合して画像符号化及び画像復号を行う動作を説明する。図６は、第２実施形態における画像符号化装置の動作を示すフローチャートである。図６において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図６に示す動作が図２に示す動作と異なる点は、被写体マップを生成した後に、被写体マップを修正するステップ（ステップＳ１１５）が追加されている点である。
図７は、第２実施形態における画像復号装置の動作を示すフローチャートである。図７において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図７に示す動作が図５に示す動作と異なる点は、被写体マップを生成した後に、被写体マップを修正するステップ（ステップＳ２１４）が追加されている点である。
ここでは被写体マップを修正するだけでなく、それに伴って被写体数ｎｕｍＯｂｊｓも更新する。ここでの処理は符号化側と復号側との処理が一致していればどのような処理を用いてもよい。例えば、被写体マップを生成した際に生成したクラスタのサイズが予め定められた閾値以下の場合に、そのクラスタを隣接するクラスタに統合する方法がある。複数のクラスタと隣接している場合は、予め定めた規則に従って統合を行う。どのような規則を用いてもよいが、例えば、微小クラスタに接する画素の多いクラスタと統合する、クラスタ内の画素に対する平均デプス値が近いクラスタと統合する、クラスタ内の画素に対する平均デプス値が小さいまたは大きいクラスタと統合するなどの統合規則がある。なお、複数の統合規則の組み合わせを用いてもよい。統合対象を判定する閾値や、統合規則の選択をシーケンス、フレーム、スライス、ブロックなどの単位で指定してもよい。その場合、画像符号化においては、それらを指定する情報を、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、ブロックヘッダなどの適切な位置で必要に応じて符号化する必要があり、画像復号においては、それらを指定する情報を適切な位置で必要に応じて復号して切り替える必要がある。
また、既に符号化済みまたは復号済みの隣接ブロック内のクラスタとの統合を許可してもよい。その場合、既に符号化済みまたは復号済みの隣接ブロック内のクラスタと統合された画素に対しては、画像符号化時には、ステップＳ１０６において、統合先で使用された予測画像生成方法を用いて予測画像を生成し、ステップＳ１０７をスキップする。画像復号時には、ステップＳ２０７において予測情報を符号データから復号せずに、統合先で使用された予測情報を用いて予測画像を生成する。なお、この場合は符号化または復号された予測情報を蓄積しておく必要がある。
＜第３実施形態＞
次に、第３実施形態における画像符号化装置及び画像復号装置について説明する。第３実施形態においては、小さな領域が１つの被写体として生成されるのを防ぐために、被写体マップを生成する前に、入力されたデプスマップにフィルタをかける。
図８、図９を参照して、第３実施形態における画像符号化装置及び画像復号装置がデプスマップにフィルタ処理を加えて画像符号化及び画像復号を行う動作を説明する。図８は、第３実施形態における画像符号化装置の動作を示すフローチャートである。図８において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図８に示す動作が図２に示す動作と異なる点は、デプスマップを入力した後に、デプスマップにフィルタをかけるステップ（ステップＳ１１６）が追加されている点である。
図９は、第３実施形態における画像復号装置の動作を示すフローチャートである。図９において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図９に示す動作が図５に示す動作と異なる点は、デプスマップを入力した後に、デプスマップにフィルタをかけるステップ（ステップＳ２１５）が追加されている点である。
ここで用いるフィルタは、どのようなフィルタを用いてもよいが、クラスタリングによって小さな領域が１つの被写体として判定されるのを防ぐことが目的であるため、一般的には、デプスマップの空間相関を高めるようなフィルタを用いる。例えば、２次元のメディアンフィルタやバイラテラルフィルタ、Ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ（ＮＬＭ）フィルタを用いればよい。メディアンフィルタとは、注目画素の値を一定距離内の画素の値の中央値で置き換えるフィルタである。バイラテラルフィルタとは、エッジを保持しながら平滑化するフィルタである（詳しくは文献「C. Tomasi, R. Manduchi, "Bilateral Filtering for Gray and Color Images," iccv, pp.839, Sixth International Conference on Computer Vision (ICCV'98), 1998.」参照）。ＮＬＭフィルタとは、画素ごとにマッチング度合いを考慮した係数を計算して畳み込むフィルタである（詳しくは文献「A. Buades, B. Coll, J.-M. Morel, "A Non-Local Algorithm for Image Denoising," cvpr, vol. 2, pp.60-65, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, 2005.」参照）。
なお、同じフィルタを繰り返しかけてもよいし、複数種類のフィルタを組み合わせて使ってもよい。ただし、符号化側と復号側とで行うフィルタ処理と一致させる必要がある。一致させるためには、予め使用するフィルタの種類や回数を固定しておいてもよいし、使用するフィルタの種類や回数に関する情報を符号化して、復号側に伝えてもよい。また、小さな領域が１つの被写体として生成されるのを防ぐために、上述した第２の実施形態の方法を組み合わせ、被写体マップ生成前にデプスマップにフィルタ処理を施し、被写体マップの生成後に微小なクラスタを隣接するクラスタと統合する処理を行う方法もある。
＜第４実施形態＞
次に、第４実施形態における画像符号化装置及び画像復号装置について説明する。第１実施形態では、予測画像の生成法を指定する単位を、デプスマップの値の類似性から生成する任意形状の領域分割に従って決定しているが、画像信号の空間相関や時間相関は同じ被写体であっても異なることがあるため、被写体マップによって決定した領域をさらに分割し、得られた小領域ごとに異なる予測画像生成法を指定してもよい。
図１０、図１１を参照して、第４実施形態における画像符号化装置及び画像復号装置が被写体マップで決定した領域をさらに分割して画像符号化及び画像復号を行う動作を説明する。図１０は、第４実施形態における画像符号化装置の動作を示すフローチャートである。図１０において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１０に示す動作が図２に示す動作と異なる点は、被写体ごとにその画素の集合の分割方法を決定し（ステップＳ１１７）、その分割された小領域ごとに予測画像生成法を決定して予測画像を生成し（ステップＳ１０６’）、領域分割方法と各小領域の予測方法を示す情報を符号化する（ステップＳ１０７’）という点である。
図１１は、第４実施形態における画像復号装置の動作を示すフローチャートである。図１１において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１１に示す動作が図５に示す動作と異なる点は、被写体ごとにその画素集合の分割方法を示す情報を符号データから復号し（ステップＳ２１６）、その分割された小領域ごとに予測画像の生成方法を示す情報を符号データから復号し（ステップＳ２０７’）、それら得られた分割方法と予測画像生成方法に従って被写体ｏｂｊの画素群に対する予測画像を生成する（ステップＳ２０８’）という点である。
被写体ｏｂｊに対する画素の集合を分割する方法は、どのような方法を用いてもよい。例えば、被写体ｏｂｊ毎に、（１）分割を行わない、（２）ブロックｂｌｋを２等分する水平のラインで分割する、（３）ブロックｂｌｋを２等分する鉛直のラインで分割する、（４）ブロックｂｌｋを４等分する十字のラインで分割するうち、いずれかを予測効率や符号化効率を基準にして選択してもよい。なお、被写体ｏｂｊの形状や大きさを考慮して分割を決定する方法もある。例えば、被写体ｏｂｊの重心を通る水平ラインや鉛直ラインを用いる方法や、被写体ｏｂｊを含む傾きのない最小の長方形を見つけ、その長方形を等分するラインを用いる方法がある。
分割方法を示す情報を符号化する方法および復号する方法は、お互いに解釈できる方法であれば、どのような方法を用いてもよい。例えば、上記の例のように４通りの中から１つを選ぶのであれば、それぞれに００、０１、１０、１１の符号を割り当ててもよいし、これらバイナリ列を隣接ブロック等の情報を用いて算術符号化してもよい。その場合、復号時は算術復号をして得られたバイナリ列を解釈することで正しく情報が得られる。なお、分割方法を示す情報と予測画像の生成方法を示す情報を一緒に符号化または復号してもよい。
＜第５実施形態＞
次に、第５実施形態における画像符号化装置及び画像復号装置について説明する。第１実施形態では、各ブロックに対して被写体数を決定し、それに基づいてブロック内の画素をクラスタリングすることで分割方法を決定しているが、被写体数の代わりに分割規則を与えて、その規則に従ってブロック分割を決定する方法もある。
図１２、図１３を参照して、第５実施形態における画像符号化装置及び画像復号装置が分割規則を与えてブロック分割を設定して画像符号化及び画像復号を行う動作を説明する。図１２は、第５実施形態における画像符号化装置の動作を示すフローチャートである。図１２において、図２に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１２に示す動作が図２に示す動作と異なる点は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップＳを生成し（ステップＳ１１９）、その結果から被写体数を計算する（ステップＳ１２０）という点である。
図１３は、第５実施形態における画像復号装置の動作を示すフローチャートである。図１３において、図５に示す動作と同一の部分には同一の符号を付し、その説明を省略する。図１３に示す動作が図５に示す動作と異なる点は、ブロックごとに、分割規則に従ってブロック内のデプスをグルーピングして被写体マップＳを生成し（ステップＳ２１７）、その結果から被写体数を計算する（ステップＳ２１８）という点である。
分割規則は符号化側と復号側とで同じ規則が利用できるのであれば、どのようなものを用いてもよい。例えば、Ｓｏｂｅｌフィルタ等を用いてデプスマップのエッジを抽出し、そのエッジ（またはその内側や外側）を領域の境界とする規則でもよい。また、デプスの値域を幾つかの区間に分割し、同じ区間に属するデプス値を持つ画素ごとに領域を設定する規則でもよい。この場合、デプス値区間の分割は固定のものでもよいし、量子化パラメータ等の符号化品質をコントロールするパラメータに依存して可変にしてもよいし、別途分割情報を符号化して伝送してもよい。また、被写体数を明示的に伝送する方法と組み合わせて、被写体マップＳを生成した後に、指定された被写体数となるように、被写体を統合する処理を行ってもよい。
前述した説明においては、１枚の画像を符号化または復号する処理を説明したが、連続する複数枚の画像を処理することで動画像を符号化または復号する処理にも拡張できることは容易に考えられる。また、複数のカメラで撮影された多視点画像や多視点動画像を符号化または復号する処理にも適用可能なことも容易に類推可能である。これらの場合、予測モードは動きまたは視差ベクトルや参照フレームを含む１つの予測画像を生成する方法と解釈する。
また、画像全体を符号化または復号する処理として説明したが、画像の一部分のみに適用することも可能である。また、上述の説明では、予め定められたブロックごとに処理を行う場合を説明したが、画像全体や複数のブロックの集合に対して、デプスマップを用いた被写体判別によって領域分割を行ってもよい。
また、符号化または復号対象画像に対するデプスマップを用いているが、法線マップや温度画像などの被写体に依存した値を持つ画像情報を代わりに用いることも可能である。ただし、符号化側で使用されたものが復号側でも同様に入手できる必要がある。
なお、ここでいう被写体とは、撮影されている個々の物体や人物そのものを意味するのではなく、対応するデプスマップの値が類似する画素の集合であり、本発明ではその画素の集合に対して単一の方法で予測画像が生成される。すなわち、単一の実物体であっても、対応するデプスマップの値が大きく異なる場合など、単一の方法で予測画像が生成できないと判断された場合は、複数の被写体とみなされることもある。また、複数の実物体であっても、対応するデプスマップの値が類似し、単一の方法で予測画像が生成される場合は、単一の被写体とみなされることもある。
また、被写体数は、ブロック内に存在する“被写体”の数であり、予測画像の生成方法に関する情報を付与する対象の個数である。被写体数は、ブロック内のデプスマップの値を解析することで生成することができる。例えば、ブロック内の画素をデプスマップの値や位置などの情報を用いてクラスタリングし、各クラスタの評価値（例えば、デプスマップ値の分散）が一定値以下となるクラスタ数の最大値を被写体数とすることが可能である。また、経験などに基づいて外部から与えたり、符号化結果の画質や符号量をコントロールするために指定されるパラメータ（例えば、Ｈ．２６４などにおける量子化パラメータ）に基づいて決定したり、予め定められた値を用いたりすることも可能である。
以上説明した画像符号化装置及び画像復号装置の機能は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
図１４は、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。図１４に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、例えばネットワークを介して符号化対象画像に対するデプスマップを入力するデプスマップ入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、図２等で説明した処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５４１を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部５５（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。図示は省略するが、他に、符号データ記憶部、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
図１５は、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示す図である。図１５に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による多重化符号データを記憶する記憶部でもよい）と、例えばネットワークを介して復号対象の画像に対するデプスマップを入力する参照視点画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、図９等で説明した処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６４１が格納されたプログラム記憶装置６４と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６４１を実行することにより、符号データを復号して得られた復号画像を、再生装置などに出力する復号画像出力部６５とが、バスで接続された構成になっている。図示省略するが、他に、復号画像記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、画像信号符号データ記憶部、予測情報符号データ記憶部が用いられることもある。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加、省略、置換、その他の変更を行ってもよい。
以上説明したように、画像信号がその画像に対するデプスマップのように被写体に大きく依存した値を持つデータと一緒に伝送される場合に、被写体依存のデータを用いて対応する領域の画像信号を符号化する際のブロック分割を決定することで、被写体に応じた任意形状のブロック分割を表現するための符号量を削減することができる。さらに、被写体に応じたブロック分割により、被写体に依存する相関を利用することによって画像信号の予測精度が向上し、予測残差の符号化に必要な符号量も削減することができる。これらは結果的に、効率的な画像符号化を実現することができるようになる。
画像とデプスマップとを構成要素に持つ自由視点画像データの符号化に対して、対応するデプスマップの復号画像を用いて、画像信号を符号化する際のブロック分割を決定することで、被写体に応じた正確なブロック分割を少ない符号量で表現し、効率的な画像符号化を実現することが不可欠な用途に適用できる。
１００・・・画像符号化装置、１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・デプスマップ入力部、１０４・・・デプスマップメモリ、１０５・・・被写体数決定部、１０６・・・被写体マップ生成部、１０７・・・予測画像生成部、１０８・・・予測情報符号化部、１０９・・・画像信号符号化部、１１０・・・画像信号復号部、１１１・・・復号画像メモリ、１１２・・・多重化部、２００・・・画像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・デプスマップ入力部、２０４・・・デプスマップメモリ、２０５・・・被写体数決定部、２０６・・・被写体マップ生成部、２０７・・・分離部、２０８・・・予測情報復号部、２０９・・・予測画像生成部、２１０・・・画像信号復号部、２１１・・・復号画像メモリ

Claims (20)

  1. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
    前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、
    前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、
    前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
    前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
    前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップと
    を有することを特徴とする画像符号化方法。
  2. 前記被写体数設定ステップにおいて設定された前記被写体数を符号化する被写体数符号化ステップをさらに有することを特徴とする請求項１に記載の画像符号化方法。
  3. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化方法であって、
    前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、
    前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、
    前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定ステップと、
    前記予測方法設定ステップにおいて設定された予測方法を示す情報を符号化する予測情報符号化ステップと、
    前記予測方法設定ステップにおいて設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化ステップと
    を有することを特徴とする画像符号化方法。
  4. 前記領域分割規則設定ステップにおいて設定された前記規則を示す情報を符号化する領域分割規則符号化ステップをさらに有することを特徴とする請求項３に記載の画像符号化方法。
  5. 前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする請求項１から４のいずれか一項に記載の画像符号化方法。
  6. 前記分割領域と前記処理領域に隣接する既に符号化済み領域において設定された分割領域との統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に符号化済み処理領域において設定された分割領域に含まれる画素群を符号化する際に使用した予測画像生成方法を、前記統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、
    前記予測方法設定ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定し、
    前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測方法設定ステップで設定された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像符号化方法。
  7. 前記予測方法設定ステップは、前記分割領域ごとに、当該分割領域に含まれる画素群を小領域に分割する方法を設定し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を設定し、
    前記予測情報符号化ステップは、前記予測方法設定ステップで設定された小領域に分割する方法を示す情報と、前記小領域ごとに設定された予測方法を示す情報とを符号化する
    ことを特徴とする請求項１から６のいずれか一項に記載の画像符号化方法。
  8. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、
    前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定ステップと、
    前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割ステップと、
    前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
    前記予測情報復号ステップにおいて復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップと
    を有することを特徴とする画像復号方法。
  9. 前記被写体数設定ステップは、前記符号データから前記被写体数を復号して設定することを特徴とする請求項８に記載の画像復号方法。
  10. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号方法であって、
    前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定ステップと、
    前記領域分割規則設定ステップにおいて設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割ステップと、
    前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号ステップと、
    前記予測情報復号ステップで復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成ステップと、
    前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号ステップと
    を有することを特徴とする画像復号方法。
  11. 前記領域分割規則設定ステップは、前記符号データから前記領域分割規則設定ステップにおいて設定する前記規則を復号して設定することを特徴とする請求項１０に記載の画像復号方法。
  12. 前記分割領域の統合を行い、前記分割領域を更新する領域統合ステップをさらに有することを特徴とする請求項８から１１のいずれか一項に記載の画像復号方法。
  13. 前記分割領域と前記処理領域に隣接する既に復号済み領域において設定された予測ユニットとの統合判定を行い、統合対象と判定された前記分割領域に対して、統合先として判定された前記処理領域に隣接する既に復号済み領域において設定された分割領域に含まれる画素群を復号する際に使用した予測画像の生成方法を、統合対象と判定された前記分割領域に含まれる画素群に対する前記画像を予測する方法として設定する予測情報複製ステップをさらに有し、
    前記予測情報復号ステップは、前記予測情報複製ステップで統合対象と判断されなかった前記分割領域のみについて、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号し、
    前記予測画像生成ステップは、前記分割領域に含まれる画素群に対しては、前記予測情報復号ステップで復号された予測方法に従い、前記統合対象と判定された前記分割領域に含まれる画素群に対しては、前記予測情報複製ステップで設定された予測方法に従って予測画像を生成することを特徴とする請求項８から１１のいずれか一項に記載の画像復号方法。
  14. 前記予測情報復号ステップは、前記分割領域ごとに、前記符号データから当該分割領域に含まれる画素群を小領域に分割する方法を復号し、前記小領域ごとに、当該小領域に含まれる画素群に対する前記画像を予測する方法を復号することを特徴とする請求項８から１３のいずれか一項に記載の画像復号方法。
  15. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、
    前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、
    前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、
    前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、
    前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、
    前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段と
    を備えることを特徴とする画像符号化装置。
  16. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測符号化を行う画像符号化装置であって、
    前記デプスマップの距離情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、
    前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、
    前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を設定する予測方法設定手段と、
    前記予測方法設定手段において設定された予測方法を示す情報を符号化する予測情報符号化手段と、
    前記予測方法設定手段において設定された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
    前記予測画像を用いて前記処理領域の画像を予測符号化する画像符号化手段と
    を備えることを特徴とする画像符号化装置。
  17. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、
    前記処理領域内に存在する被写体の数を被写体数として設定する被写体数設定手段と、
    前記処理領域に対応するデプスマップを参照して、処理領域内の画素群を前記被写体数と同じ数の分割領域に分割する領域分割手段と、
    前記符号データから、前記分割領域ごとに、当該分割に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、
    前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
    前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段と
    を備えることを特徴とする画像復号装置。
  18. 符号化対象の画像を予め定められた大きさの処理領域に分割し、前記画像における被写体の距離情報を表したデプスマップに基づき前記処理領域ごとに予測しながら画像の符号データの復号を行う画像復号装置であって、
    前記デプスマップの情報を基準に前記処理領域内の画素群の領域分割に使用する規則を設定する領域分割規則設定手段と、
    前記領域分割規則設定手段において設定された規則に従って、前記処理領域に対するデプスマップを用いて、前記処理領域内の画素群を分割領域に分割する領域分割手段と、
    前記符号データから、前記分割領域ごとに、当該分割領域に含まれる画素群に対する前記画像を予測する方法を復号する予測情報復号手段と、
    前記予測情報復号手段において復号された予測方法に従って、前記処理領域に対する前記画像の予測画像を生成する予測画像生成手段と、
    前記予測画像を用いて前記処理領域に対する画像を前記符号データから復号する画像復号手段と
    を備えることを特徴とする画像復号装置。
  19. 請求項１から７のいずれか一項に記載の画像符号化方法をコンピュータに実行させることを特徴とする画像符号化プログラム。
  20. 請求項８から１４のいずれか一項に記載の画像復号方法をコンピュータに実行させることを特徴とする画像復号プログラム。
JP2011209416A 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム Active JP5729825B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011209416A JP5729825B2 (ja) 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011209416A JP5729825B2 (ja) 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Publications (2)

Publication Number Publication Date
JP2013074303A JP2013074303A (ja) 2013-04-22
JP5729825B2 true JP5729825B2 (ja) 2015-06-03

Family

ID=48478487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011209416A Active JP5729825B2 (ja) 2011-09-26 2011-09-26 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム

Country Status (1)

Country Link
JP (1) JP5729825B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911779B2 (en) 2013-10-17 2021-02-02 Nippon Telegraph And Telephone Corporation Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
KR101748637B1 (ko) 2014-08-05 2017-06-20 한국전자통신연구원 깊이 맵 생성 장치 및 방법
JP6529374B2 (ja) * 2014-10-07 2019-06-12 キヤノン株式会社 符号化装置及びその制御方法
JP6651814B2 (ja) 2015-11-30 2020-02-19 富士通株式会社 領域抽出装置、領域抽出プログラム、及び領域抽出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08307877A (ja) * 1995-05-12 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 動画像構造化の符号化および復号化方法
CN1217852A (zh) * 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
JP4025570B2 (ja) * 2002-04-03 2007-12-19 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
JP4015532B2 (ja) * 2002-11-07 2007-11-28 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体
CN102326391B (zh) * 2009-02-23 2014-07-09 日本电信电话株式会社 多视点图像编码装置及方法、多视点图像译码装置及方法
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
JP2014150297A (ja) * 2011-05-25 2014-08-21 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Also Published As

Publication number Publication date
JP2013074303A (ja) 2013-04-22

Similar Documents

Publication Publication Date Title
TWI498006B (zh) 圖像編碼方法及裝置、圖像解碼方法及裝置以及其程式
KR101592535B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
KR101552664B1 (ko) 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP5711636B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP5876933B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体
JP5759357B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
WO2015098827A1 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130606

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150403

R150 Certificate of patent or registration of utility model

Ref document number: 5729825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150