JPWO2014010584A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 - Google Patents

画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 Download PDF

Info

Publication number
JPWO2014010584A1
JPWO2014010584A1 JP2014524815A JP2014524815A JPWO2014010584A1 JP WO2014010584 A1 JPWO2014010584 A1 JP WO2014010584A1 JP 2014524815 A JP2014524815 A JP 2014524815A JP 2014524815 A JP2014524815 A JP 2014524815A JP WO2014010584 A1 JPWO2014010584 A1 JP WO2014010584A1
Authority
JP
Japan
Prior art keywords
pixel
image
interpolation
depth information
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014524815A
Other languages
English (en)
Other versions
JP5833757B2 (ja
Inventor
信哉 志水
信哉 志水
志織 杉本
志織 杉本
木全　英明
英明 木全
明 小島
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014524815A priority Critical patent/JP5833757B2/ja
Application granted granted Critical
Publication of JP5833757B2 publication Critical patent/JP5833757B2/ja
Publication of JPWO2014010584A1 publication Critical patent/JPWO2014010584A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Abstract

参照画像における被写体の三次元位置を表すデプス情報を用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を達成する。符号化対象画像の各画素に対して、参照画像上の対応点を設定する。対応点によって示される符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する。対応点によって示される参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する参照画像デプス情報と、被写体デプス情報とを用いて、画素補間のためのタップ長を決定する。対応点によって示される参照画像上の整数画素位置もしくは小数画素位置の画素値をタップ長に従った補間フィルタを用いて生成する。生成した画素値を、対応点によって示される符号化対象画像上の整数画素位置の画素の予測値とすることで、視点間の画像予測を行う。

Description

本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体に関する。
本願は、２０１２年７月９日に日本へ出願された特願２０１２−１５４０６５号に基づき優先権を主張し、その内容をここに援用する。
多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。以下では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と呼び、同じ被写体と背景を撮影した２次元画像（動画像）群を“多視点画像（動画像）”と呼ぶ。２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めている。
一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。
ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ−２、ＭＰＥＧ−４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。
Ｈ．２６４で使われている動き補償技術の詳細については、例えば特許文献１に記載されている。その概要を説明する。Ｈ．２６４の動き補償は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照画像を持つことを可能にしている。さらに、参照画像に対してフィルタ処理を行うことで、１／２画素位置や１／４画素位置の映像を生成し、より細かい１／４画素精度の動き補償を可能にすることで、従来の国際符号化標準方式より高効率な符号化を達成している。
次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法はどちらの場合でも、同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。
多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図１６は、カメラ間で生じる視差の概念図である。図１６に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。
視差補償は、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラの画像ごとに変化するため、符号化処理対象フレームごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点符号化方式では、フレーム（より正確には、視差補償予測を用いるブロック）ごとに視差情報を符号化している。
視差情報によって得られる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の三次元位置を示す１次元量で表すことができる。被写体の三次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として被写体の三次元位置を表現する場合もある。どのような表現を用いたとしてもその物理的な意味に本質的な違いはないため、以下では、表現による区別をせずに、それら三次元位置を示す情報をデプスと表現する。
図１７はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図１７に示すように、カメラＡの画像でｍの位置に投影された被写体に対するカメラＢの画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。
図１８は、１つのカメラの画像に対してデプスが与えられたときに複数のカメラの画像間で対応点が得られることを示す図である。デプスは被写体の三次元位置を示す情報であり、その三次元位置は物理的な被写体の位置によって決定するためカメラに依存する情報ではない。そのためデプスという１つの情報で複数のカメラ画像上の対応点を表すことができる。例えば、図１８に示すように、カメラＡの視点位置から被写体上の点までの距離Ｄがデプスとして与えられた場合、デプスから被写体上の点Ｍが特定されることにより、カメラＡの画像上の点ｍａに対するカメラＢの画像上の対応点ｍｂ、カメラＣの画像上の対応点ｍｃの双方を表すことができる。この性質によると、視差情報を参照画像に対するデプスを用いて表すことで、その参照画像から（カメラ間の位置関係が得られている）他のカメラで同時刻に撮られた全てのフレームに対する視差補償を実現することができる。
非特許文献２では、この性質を利用して、符号化が必要となる視差情報の量を減らし、高効率な多視点動画像符号化を達成している。動き補償予測や視差補償予測を用いる際に、整数画素単位よりも詳細な対応関係を用いることで、高精度な予測を行えることが知られている。例えば、前述した通りＨ．２６４では１／４画素単位の対応関係を用いることで効率的な符号化を実現している。そのため、参照画像の画素に対するデプスを与える場合においても、そのデプスをより詳細に与えることで予測精度を向上する方法が存在する。
参照画像の画素に対してデプスを与える場合、そのデプスの精度を上げると、参照画像上の画素が対応する符号化対象画像上の位置をより詳細に得られるだけで、符号化対象画像上の画素が対応する参照画像上の位置をより詳細に得られるわけではない。特許文献１では、この問題に対して視差の大きさを維持したまま、対応関係を平行移動させ、符号化対象画像上の画素に対する詳細な視差情報として用いることで、予測精度を向上している。
国際公開第０８／０３５６６５号
ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
確かに、特許文献１の方法によれば、参照画像の整数画素を基準として与えられる符号化（復号）対象画像に対する対応点情報から、符号化（復号）対象画像の整数画素の位置に対応する参照画像上の小数画素精度の位置を求めることができる。そして、整数画素位置の画素値から補間して求めた小数画素位置の画素値を用いて予測画像を生成することで、より精度の高い視差補償予測を実現し、高効率な多視点画像（動画像）の符号化を実現することができる。小数画素位置に対する画素値の補間は、周辺の整数画素位置の画素値の重み付き平均を求めることで行われる。その際に、より自然な補間を実現するためには、空間的な連続性、すなわち補間画素と距離を考慮した重み係数を用いることが必要である。小数画素位置の画素値を参照画像上で求める方式では、その補間に用いた画素及び補間された画素の全ての位置関係が、符号化（復号）対象画像上でも同じであることを仮定している。
しかしながら、実際には、それらの画素の位置関係が同一である保証はなく、その仮定が崩れるケースでは補間画素の品質が極めて悪いという問題がある。補間に用いる画素と補間対象となる画素との距離が遠いほど、参照画像と符号化（復号）対象画像の間で位置関係が変化する可能性が高い。そのため、前述の問題に対して、補間対象となる画素に隣接する画素のみを補間に用いることで、前記仮定が成立しないケースの発生を抑制するという対処法が考えられる。しかし、一般に補間に用いる画素は多いほど、高性能な補間を実現できるため、このような容易に類推可能な手法では、たとえ誤った補間が行われる可能性は低くなるとしても、その補間性能は著しく低い。
また、補間に用いる画素に対する符号化（復号）対象画像上の対応点を全て求めた後に、その対応点と符号化（復号）対象画像上の補間対象の画素との位置関係に従って重みを決定する方法もある。しかしながら、補間画素ごとに参照画像上の複数の画素に対する符号化（復号）対象画像上の対応点を求める必要があるため計算コストが非常に高いという問題が生じてしまう。
本発明は、このような事情に鑑みてなされたもので、参照画像における被写体の三次元位置を表すデプス情報を用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を達成できる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体を提供することを目的とする。
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。
好ましくは、本発明は、前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する。
好ましくは、本発明は、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する。
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する。
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップとを有する。
好ましくは、本発明は、前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する。
好ましくは、本発明は、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する。
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する。
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。
好ましくは、本発明において、前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する。
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。
本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。
本発明は、多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部とを備える。
本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。
本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。
本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、三次元空間上の距離を考慮して画素値を補間することで、より高品質な予測画像の生成を実現し、多視点画像の高効率な画像符号化を実現することができるという効果が得られる。
本発明の第１の実施形態における画像符号化装置の構成を示す図である。 図１に示す画像符号化装置１００の動作を示すフローチャートである。 図１に示す視差補償画像生成部１１０の構成を示すブロック図である。 図１に示す対応点設定部１０９と、図３に示す視差補償画像生成部１１０が行う処理（視差補償画像生成処理：ステップＳ１０３）の処理動作を示すフローチャートである。 視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。 対応点設定部１０９および図５に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。 視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。 対応点設定部１０９および図７に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。 参照画像デプス情報のみを用いる場合の画像符号化装置１００ａの構成例を示す図である。 図９に示す画像符号化装置１００ａが行う視差補償画像処理の動作を示すフローチャートである。 本発明の第３実施形態による画像復号装置の構成例を示す図である。 図１１に示す画像復号装置２００の処理動作を示すフローチャートである。 参照画像デプス情報のみを用いる場合の画像復号装置２００ａの構成例を示す図である。 画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。 画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す図である。 カメラ間で生じる視差の概念図である。 エピポーラ幾何拘束の概念図である。 １つのカメラの画像に対してデプスが与えられたときに複数のカメラの画像間で対応点が得られることを示す図である。
以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、文献「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。これには、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
＜第１の実施形態＞
図１は第１の実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照画像入力部１０３、参照画像メモリ１０４、参照画像デプス情報入力部１０５、参照画像デプス情報メモリ１０６、処理対象画像デプス情報入力部１０７、処理対象画像デプス情報メモリ１０８、対応点設定部１０９、視差補償画像生成部１１０、および画像符号化部１１１を備えている。
符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と呼ぶ。ここではカメラＢの画像が入力される。符号化対象画像メモリ１０２は、入力された符号化対象画像を記憶する。参照画像入力部１０３は、視差補償画像を生成する際に参照画像となる画像を入力する。ここではカメラＡの画像が入力される。参照画像メモリ１０４は、入力された参照画像を記憶する。
参照画像デプス情報入力部１０５は、参照画像に対するデプス情報を入力する。以下では、この参照画像に対するデプス情報を参照画像デプス情報と呼ぶ。参照画像デプス情報メモリ１０６は、入力された参照画像デプス情報を記憶する。処理対象画像デプス情報入力部１０７は、符号化対象画像に対するデプス情報を入力する。以下では、この符号化対象画像に対するデプス情報を処理対象画像デプス情報と呼ぶ。処理対象画像デプス情報メモリ１０８は、入力された処理対象画像デプス情報を記憶する。
なお、デプス情報とは参照画像の各画素に写っている被写体の三次元位置を表すものである。また、デプス情報は、別途与えられるカメラパラメータ等の情報によって三次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。
対応点設定部１０９は、処理対象画像デプス情報を用いて、符号化対象画像の画素ごとに、参照画像上の対応点を設定する。視差補償画像生成部１１０は、参照画像と対応点の情報を用いて視差補償画像を生成する。画像符号化部１１１は、視差補償画像を予測画像として、符号化対象画像を予測符号化する。
次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、符号化対象画像メモリ１０２に記憶する（ステップＳ１０１）。次に、参照画像入力部１０３は参照画像を入力し、参照画像メモリ１０４に記憶する。これと並行して、参照画像デプス情報入力部１０５は参照画像デプス情報を入力し、参照画像デプス情報メモリ１０６に記憶する。また、処理対象画像デプス情報入力部１０７は処理対象画像デプス情報を入力し、処理対象画像デプス情報メモリ１０８に記憶する（ステップＳ１０２）。
なお、ステップＳ１０２で入力される参照画像、参照画像デプス情報、処理対象画像デプス情報は、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。デプス情報に関しては、既に符号化済みのものを復号したもの以外に、別のカメラに対して復号されたデプス情報から生成されたデプス情報や、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプス情報なども、復号側で同じものが得られるものとして用いることができる。
次に、入力が終了したならば、対応点設定部１０９は、参照画像と参照画像デプス情報、処理対象画像デプス情報とを用いて、符号化対象画像の画素または予め定められたブロックごとに参照画像上の対応点または対応ブロックを生成する。これと並行して、視差補償画像生成部１１０は視差補償画像を生成する（ステップＳ１０３）。ここでの処理の詳細については後述する。
視差補償画像が得られたならば、画像符号化部１１１は、視差補償画像を予測画像として、符号化対象画像を予測符号化して出力する（ステップＳ１０４）。符号化の結果得られるビットストリームが画像符号化装置１００の出力となる。なお、復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、画像を予め定められた大きさのブロックに分割して、ブロックごとに、符号化対象画像と予測画像との差分信号を生成し、差分画像に対してＤＣＴ（Discrete Cosine Transform）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。なお、予測符号化処理をブロックごとに行う場合、視差補償画像の生成処理（ステップＳ１０３）と符号化対象画像の符号化処理（ステップＳ１０４）をブロック後に交互に繰り返すことで、符号化対象画像を符号化してもよい。
次に、図３を参照して、図１に示す視差補償画像生成部１１０の構成を説明する。図３は、図１に示す視差補償画像生成部１１０の構成を示すブロック図である。視差補償画像生成部１１０は、補間参照画素設定部１１０１と画素補間部１１０２を備えている。補間参照画素設定部１１０１は対応点設定部１０９で設定された対応点の画素値を補間するために用いる参照画像の画素であるところの補間参照画素の集合を決定する。画素補間部１１０２は、設定された補間参照画素に対する参照画像の画素値を用いて、対応点の位置の画素値を補間する。
次に、図４を参照して、図１に示す対応点設定部１０９と、図３に示す視差補償画像生成部１１０の処理動作を説明する。図４は、図１に示す対応点設定部１０９と、図３に示す視差補償画像生成部１１０が行う処理（視差補償画像生成処理：ステップＳ１０３）の処理動作を示すフローチャートである。この処理では、符号化対象画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成する。すなわち、画素インデックスをｐｉｘ、画像中の総画素数をｎｕｍＰｉｘｓとすると、ｐｉｘを０に初期化した後（ステップＳ２０１）、ｐｉｘに１ずつ加算しながら（ステップＳ２０５）、ｐｉｘがｎｕｍＰｉｘｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０２〜ステップＳ２０５）を繰り返すことで、視差補償画像を生成する。
ここで、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、符号化対象画像全体の代わりに予め定められた大きさの領域に対して視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた大きさの領域に対して視差補償画像を生成してもよい。図４に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、符号化対象画像を「視差補償画像を生成する対象の領域」に置き換えることで、それらの処理フローに相当する。この処理を繰り返す単位を、処理対象画像デプス情報が与えられる単位に相当する大きさに合わせるような実施や、視差補償画像を生成する対象の領域を、符号化対象画像を領域分割して予測符号化を行うときの領域とあわせるような実施も好適である。
画素ごとに行われる処理において、まず、対応点設定部１０９は、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘを用いて、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘを得る（ステップＳ２０２）。なお、デプス情報から対応点を計算する処理は、与えられるデプス情報の定義にあわせて行われるが、そのデプス情報が示す正しい対応点が得られるのであれば、どのような処理を用いてもよい。例えば、デプス情報がカメラから被写体までの距離や、カメラ平面と平行でない軸に対する座標値として与えられる場合は、符号化対象画像を撮影したカメラと、参照画像を撮影したカメラのカメラパラメータを用いて、画素ｐｉｘに対する三次元点を復元し、その三次元点を参照画像へ投影することで、対応点を得ることができる。
すなわち、デプス情報がカメラから被写体までの距離を表している場合、次の式１によって三次元点ｇの復元が行われ、式２によって参照画像への投影が行われ、参照画像上での対応点の座標（ｘ，ｙ）が得られる。ここで、（ｕｐｉｘ，ｖｐｉｘ）は画素ｐｉｘの符号化対象画像上での座標値を表す。Ａｘ、Ｒｘ、ｔｘはカメラｘ（ｘはｃまたはｒ）の内部パラメータ、回転行列、並進ベクトルを表す。ｃが符号化対象画像を撮影したカメラを表し、ｒが参照画像を撮影したカメラを表す。なお、回転行列と並進ベクトルをあわせてカメラの外部パラメータと呼ぶ。これらの数式ではカメラの外部パラメータがカメラ座標系からワールド座標系への変換を示すものとしているが、別の定義がされている場合は、それに従って異なる数式を用いる必要がある。ｄｉｓｔａｎｃｅ（ｘ，ｄ）はカメラｘに対するデプス情報ｄをカメラｘから被写体までの距離に変換する関数であり、デプス情報の定義とともに与えられている。関数の代わりにルックアップテーブルを用いて変換が定義されていることもある。ｋは数式を満たす任意の実数である。
Figure 2014010584
Figure 2014010584
なお、デプス情報がカメラ平面と平行でない軸に対する座標値として与えられる場合は、上記式１において、ｄｉｓｔａｎｃｅ（ｃ，ｄｐｉｘ）が未定数となるが、ｇがある平面上に存在するという制約からｇが２変数で表現されるため、式１を用いて三次元点を復元できる。
また、三次元点を介さずにホモグラフィと呼ばれる行列を用いて対応点を求めてもよい。ホモグラフィは三次元空間に存在する平面上の点について、ある画像上の座標値を別の画像上の座標値に変換する３×３行列である。すなわち、デプス情報がカメラから被写体までの距離や、カメラ平面と平行でない軸に対する座標値として与えられる場合は、ホモグラフィはデプス情報の値ごとに異なる行列となり、次の式３で参照画像上での対応点の座標が得られる。Ｈｃ，ｒ，ｄは、デプス情報ｄに対応する三次元平面上の点を、カメラｃの画像上の座標値からカメラｒの画像上の座標値へと変換するホモグラフィを表し、ｋ’は数式を満たす任意の実数である。なお、ホモグラフィに関する詳しい説明は、例えば「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 206-211, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。
Figure 2014010584
また、符号化対象画像を撮影したカメラと参照画像を撮影したカメラが同じで、同じ向きに配置されている場合、ＡｃとＡｒおよびＲｃとＲｒが等しくなるため、式１と式２から次の式４が得られる。ｋ”は数式を満たす任意の実数である。
Figure 2014010584
式４は、画像上の位置の差、すなわち視差がカメラから被写体の距離の逆数に比例することを示している。このことから、基準となるデプス情報に対する視差を求めておき、その視差をデプス情報によってスケーリングすることで対応点を求めることができる。このとき、視差が画像上の位置に依存しないため、演算量の削減を目的に、各デプス情報に対する視差のルックアップテーブルを作成しておき、そのテーブルを参照することで視差及び対応点を求めるような実施も好適である。
画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、次に補間参照画素設定部１１０１は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、参照画像上の対応点に対する画素値を補間して生成するための補間参照画素の集合（補間参照画素群）を決定する（ステップＳ２０３）。なお、参照画像上の対応点が整数画素位置の場合は、その対応する画素を補間参照画素として設定する。
補間参照画素群は、ｑｐｉｘからの距離、すなわち補間フィルタのタップ長として決定してもよいし、任意の画素集合として決定してもよい。なお、補間参照画素群はｑｐｉｘに対して、１次元方向に対して決定しても、２次元方向に対して決定してもよい。例えば、ｑｐｉｘが上下方向には整数位置の場合には、ｑｐｉｘに対して左右方向に存在する画素のみを対象とするような実施も好適である。
ここで、補間参照画素群をタップ長として決定する方法について説明する。まず、予め定められた最小のタップ長よりも１サイズだけ大きいタップ長を仮タップ長として設定する。次に、仮タップ長の補間フィルタを用いて、参照画像上の点ｑｐｉｘの画素値を補間する際に参照される点ｑｐｉｘの周辺の画素の集合を仮補間参照画素群として設定する。画素ｐに対する参照画像デプス情報ｒｄｐとｄｐｉｘとの差が予め定められた閾値を超える画素が、仮補間参照画素群の中に別途定められた個数よりも多く存在する場合は、仮タップ長よりも１だけ小さい長さをタップ長として決定する。そうでない場合は、仮タップ長を１サイズ大きくし、仮補間参照画素群の設定及び評価を再度行う。なお、タップ長が決まるまで仮タップ長を大きくして、補間参照画素群の設定を繰り返してもよいし、タップ長に最大値を設定しておき、仮タップ長がその最大値よりも大きくなった際に、その最大値をタップ長として決定するようにしてもよい。更に、取りえるタップ長は連続であっても、離散的であってもよい。例えば、取りえるタップ長を１、２、４、６として、タップ長１以外では、補間参照画素の数が補間対象の画素位置に対して対称となるタップ長のみを用いるようにする実施も好適である。
次に、任意の画素の集合として、補間参照画素群を設定する方法について説明する。まず、参照画像上の点ｑｐｉｘ周辺の予め定められた範囲内の画素の集合を仮補間参照画像群として設定する。次に、仮補間参照画像群の画素ごとに検査し、補間参照画素として採用するか否かを決定する。すなわち、検査対象の画素をｐとすると、画素ｐに対する参照画像デプス情報ｒｄｐとｄｐｉｘとの差が、閾値よりも大きい場合には、画素ｐを補間参照画素から除外し、差が閾値以下の場合には画素ｐを補間参照画素として採用する。閾値には、予め定められた値を用いてもよいし、仮補間参照画像群の各画素に対するデプス情報とｄｐｉｘとの差の平均値や中間値、またはそれらを基準に決めた値を用いてもよい。また、画素ｐに対する参照画像デプス情報ｒｄｐとｄｐｉｘとの差が、小さい順に予め定められた数だけ補間参照画素として採用する方法もある。これらの条件を組み合わせて使用することも可能である。
なお、補間参照画素群を設定する際に、上記説明した２つの方法を組み合わせてもよい。例えば、タップ長を決定した後に補間参照画素を絞り込んで、任意の画素の集合を生成するような実施や、補間参照画素の数が別途定められた数になるまで、タップ長を増やしながら、任意の画素の集合の形成を繰り返すような実施が好適である。
また、上述のようにデプス情報を比較する代わりに、デプス情報をある共通する情報へと変換したのちに比較してもよい。例えば、デプス情報ｒｄｐを、参照画像を撮影したカメラまたは符号化対象画像を撮影したカメラからその画素に対する被写体までの距離に変換したあとで比較する方法や、デプス情報ｒｄｐを、カメラ画像に平行ではない任意の軸に対する座標値や、任意のカメラペアに対する視差に変換して比較する方法が好適である。さらに、デプス情報から、その画素に対応する三次元点を得て、その三次元点間の距離を用いて評価を行う方法も好適である。その場合、ｄｐｉｘに対応する三次元点は画素ｐｉｘに対する三次元点とし、画素ｐに対する三次元点はデプス情報ｒｄｐを用いて計算する必要がある。
次に、補間参照画素群が決定したら、画素補間部１１０２は、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、視差補償画像の画素ｐｉｘの画素値とする（ステップＳ２０４）。補間処理は補間参照画素群における参照画像の画素値を用いて、補間対象位置ｑｐｉｘの画素値を決定する方法であれば、どのような方式を用いてもよい。例えば、各補間参照画素の画素値の重み付き平均として補間対象位置ｑｐｉｘの画素値を決定する方法がある。この場合、その補間参照画素と補間対象位置ｑｐｉｘとの距離に基づいて重みを決定してもよい。なお、距離が近いほど大きな重みを与えてもよいし、Ｂｉｃｕｂｉｃ法やＬａｎｃｚｏｓ法など、一定区間における変化の滑らかさを仮定して生成した距離に依存する重みを用いてもよい。また、補間参照画素をサンプルにして画素値に対するモデル（関数）を推定して、そのモデルに従って補間対象位置ｑｐｉｘの画素値を決定することで補間を行ってもよい。
また、補間参照画素をタップ長として決定した場合、そのタップ長ごとに予め定義された補間フィルタを用いて補間を行うような実施も好適である。例えば、タップ長が１のときは最近傍補間（０次補間）を行い、タップ長が２のときはバイリニアフィルタを用いて補間し、タップ長が４のときはＢｉｃｕｂｉｃフィルタを用いて補間し、タップ長が６のときはＬａｎｃｚｏｓ３フィルタやＡＶＣ−６ｔａｐフィルタを用いて補間するようにしてもよい。
視差補償画像の生成において、固定のタップ長、すなわち、対応点から一定距離に存在する参照画像上の画素を補間対象画素とし、各補間参照画素に対するフィルタ係数を、参照画像デプス情報及び符号化対象画像デプス情報を用いて、補間する画素ごとに設定するようにする方法もある。図５は、この場合の視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。図５に示す視差補償画像生成部１１０は、フィルタ係数設定部１１０３と画素補間部１１０４とを備えている。フィルタ係数設定部１１０３は対応点設定部１０９で設定された対応点から予め定められた距離に存在する参照画像の各画素について、対応点の画素値を補間する際に用いるフィルタの係数を決定する。画素補間部１１０４は、設定されたフィルタ係数と参照画像とを用いて、対応点の位置の画素値を補間する。
図６は、対応点設定部１０９および図５に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。図６に示す処理動作は、フィルタ係数を適用的に決定しながら視差補償画像を生成するものであり、符号化対象画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成している。図６において、図４に示す処理と同じ処理には同じ符号を付与している。まず、画素インデックスをｐｉｘ、画像中の総画素数をｎｕｍＰｉｘｓとすると、ｐｉｘを０に初期化した後（ステップＳ２０１）、ｐｉｘに１ずつ加算しながら（ステップＳ２０５）、ｐｉｘがｎｕｍＰｉｘｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０２、ステップＳ２０７、ステップＳ２０８）を繰り返すことで、視差補償画像を生成する。
前述の場合と同様、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、符号化対象画像全体の代わりに予め定められた大きさの領域に対して視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた大きさの領域に対して視差補償画像を生成してもよい。図６に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、符号化対象画像を「視差補償画像を生成する対象の領域」に置き換えることで、それらの処理フローに相当する。
画素ごとに行われる処理において、まず、対応点設定部１０９は、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘを用いて、画素ｐｉｘに対する参照画像上の対応点を得る（ステップＳ２０２）。ここでの処理は前述の場合と同じである。画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、次にフィルタ係数設定部１１０３は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、参照画像上の対応点から予め定められた距離の範囲内に存在する画素であるところの補間参照画素ごとに、対応点に対する画素値を補間して生成する際に用いるフィルタ係数を決定する（ステップＳ２０７）。なお、参照画像上の対応点が整数画素位置の場合は、対応点が示す整数画素位置の補間参照画素に対するフィルタ係数を１として、その他の補間参照画素に対するフィルタ係数を０とする。
ある補間参照画素に対するフィルタ係数は、その補間参照画素ｐに対する参照デプス情報ｒｄｐを用いて決定する。具体的な決定法には様々な方法を用いることができるが、復号側と同一の手法を用いることが可能であれば、どのような方法を用いてもよい。例えば、ｒｄｐとｄｐｉｘとを比較し、その差が大きいほど小さな重みとなるようなフィルタ係数を決定してもよい。ｒｄｐとｄｐｉｘとの差に基づくフィルタ係数の例としては、単純に差の絶対値に比例する値を用いる方法や、次の式５のようにガウス関数を用いて決定する方法がある。ここで、αおよびβはフィルタの強度を調整するためのパラメータであり、ｅはネイピア数である。
Figure 2014010584
また、ｒｄｐとｄｐｉｘとの差だけでなく、ｐとｑｐｉｘとの距離が広がるほど小さい重みとなるようなフィルタ係数を決定するような実施も好適である。例えば、次の式６のようにガウス関数を用いてフィルタ係数を決定してもよい。ここでγはｐとｑｐｉｘとの距離の影響の強さを調整するためのパラメータである。
Figure 2014010584
なお、上述のようにデプス情報を直接比較するのではなく、デプス情報をある共通する情報へと変換したのちに比較してもよい。例えば、デプス情報ｒｄｐを、参照画像を撮影したカメラまたは符号化対象画像を撮影したカメラからその画素に対する被写体までの距離に変換したあとで比較する方法や、デプス情報ｒｄｐを、カメラ画像に平行ではない任意の軸に対する座標値や、任意のカメラペアに対する視差に変換して比較する方法が好適である。さらに、デプス情報から、その画素に対応する三次元点を得て、その三次元点間の距離を用いて評価を行う方法も好適である。その場合、ｄｐｉｘに対応する三次元点は画素ｐｉｘに対する三次元点とし、画素ｐに対する三次元点はデプス情報ｒｄｐを用いて計算する必要がある。
次に、フィルタ係数が決定したら、画素補間部１１０４は、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、画素ｐｉｘにおける視差補償画像の画素値とする（ステップＳ２０８）。ここでの処理は次の式７で与えられる。なお、Ｓは補間参照画素の集合、ＤＣＰｐｉｘは補間された画素値、Ｒｐは画素ｐに対する参照画像の画素値を表す。
Figure 2014010584
視差補償画像の生成において、上記説明した２つの方法を組み合わせて、補間参照画素の選択と、その補間参照画素に対するフィルタ係数の決定の両方を、参照画像デプス情報及び符号化対象画像デプス情報を用いて、補間する画素ごとに設定する方法もある。図７は、この場合の視差補償画像を生成する視差補償画像生成部１１０の構成の変形例を示す図である。図７に示す視差補償画像生成部１１０は、補間参照画素設定部１１０５と、フィルタ係数設定部１１０６と、画素補間部１１０７とを備えている。補間参照画素設定部１１０５は対応点設定部１０９で設定された対応点の画素値を補間するために用いる参照画像の画素であるところの補間参照画素の集合を決定する。フィルタ係数設定部１１０６は、補間参照画素設定部１１０５で設定された補間参照画素について、対応点の画素値を補間する際に用いるフィルタの係数を決定する。画素補間部１１０７は、設定された補間参照画素とフィルタ係数とを用いて、対応点の位置の画素値を補間する。
図８は、対応点設定部１０９および図７に示す視差補償画像生成部１１０で行われる視差補償画像処理（ステップＳ１０３）の動作を示すフローチャートである。図８に示す処理動作では、フィルタ係数を適用的に決定しながら視差補償画像を生成するものであり、符号化対象画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成している。図８において、図４に示す処理と同じ処理には同じ符号を付与している。まず、画素インデックスをｐｉｘ、画像中の総画素数をｎｕｍＰｉｘｓとすると、ｐｉｘを０に初期化した後（ステップＳ２０１）、ｐｉｘに１ずつ加算しながら（ステップＳ２０５）、ｐｉｘがｎｕｍＰｉｘｓになるまで（ステップＳ２０６）、以下の処理（ステップＳ２０２、ステップＳ２０９〜ステップＳ２１１）を繰り返すことで、視差補償画像を生成する。
前述の場合と同様、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、符号化対象画像全体の代わりに予め定められた大きさの領域に対して視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた大きさの領域に対して視差補償画像を生成してもよい。図８に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、符号化対象画像を「視差補償画像を生成する対象の領域」に置き換えることで、それらの処理フローに相当する。
画素ごとに行われる処理において、まず、対応点設定部１０９は、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘを用いて、画素ｐｉｘに対する参照画像上の対応点を得る（ステップＳ２０２）。ここでの処理は前述の場合と同じである。画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、次に補間参照画素設定部１１０５は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、参照画像上の対応点に対する画素値を補間して生成するための補間参照画素の集合（補間参照画素群）を決定する（ステップＳ２０９）。ここでの処理は前述のステップＳ２０３と同じである。
次に、補間参照画素の集合が決定したら、フィルタ係数設定部１１０６は、参照画像デプス情報と、画素ｐｉｘに対する処理対象画像デプス情報ｄｐｉｘとを用いて、決定された補間参照画素ごとに、対応点に対する画素値を補間して生成する際に用いるフィルタ係数を決定する（ステップＳ２１０）。ここでの処理は、与えられた補間参照画素の集合についてフィルタ係数を決定するだけで、前述のステップＳ２０７と同じである。
次に、フィルタ係数が決定したら、画素補間部１１０７は、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、画素ｐｉｘにおける視差補償画像の画素値とする（ステップＳ２１１）。ここでの処理は、ステップＳ２０９で決定された補間参照画素の集合を用いるだけで、前述のステップＳ２０８と同じである。すなわち、前述の式７における補間参照画素の集合Ｓとして、ステップＳ２０９で決定された補間参照画素の集合を用いる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。前述した図１に示す画像符号化装置１００では、処理対象画像デプス情報と参照画像デプス情報の２種類のデプス情報を用いているが、参照画像デプス情報のみを用いることにしてもよい。図９は、参照画像デプス情報のみを用いる場合の画像符号化装置１００ａの構成例を示す図である。図９示す画像符号化装置１００ａと図１に示す画像符号化装置１００との違いは、処理対象画像デプス情報入力部１０７と処理対象画像デプス情報メモリ１０８とを備えず、対応点設定部１０９の代わりに対応点変換部１１２を備えている点である。なお、対応点変換部１１２は、参照画像デプス情報を用いて、符号化対象画像の整数画素に対する、参照画像上の対応点を設定する。
画像符号化装置１００ａが実行する処理は、次の２点を除き、画像符号化装置１００の実行する処理と同じである。まず１つ目の違いは、図２のフローチャートのステップＳ１０２において、画像符号化装置１００では、参照画像と参照画像デプス情報と処理対象画像デプス情報とが入力されるが、画像符号化装置１００ａでは、参照画像と参照画像デプス情報のみが入力される点である。２つ目の違いは、視差補償画像生成処理（ステップＳ１０３）が、対応点変換部１１２および視差補償画像生成部１１０で行われ、その内容が異なる点である。
画像符号化装置１００ａにおける視差補償画像の生成処理について詳細に説明する。なお、図９に示す視差補償画像生成部１１０の構成は画像符号化装置１００の場合と同じであり、上述した通り、補間参照画素の集合を設定するようにしてもよいし、フィルタ係数を設定するようにしてもよいし、その両方を設定するようにしてもよい。ここでは、補間参照画像の集合を設定する場合について説明する。図１０は、図９に示す画像符号化装置１００ａが行う視差補償画像処理の動作を示すフローチャートである。図１０に示す処理動作は、参照画像全体に対して、画素ごとに処理を繰り返すことで、視差補償画像を生成している。まず、画素インデックスをｒｅｆｐｉｘ、参照画像中の総画素数をｎｕｍＲｅｆＰｉｘｓとすると、ｒｅｆｐｉｘを０に初期化した後（ステップＳ３０１）、ｒｅｆｐｉｘに１ずつ加算しながら（ステップＳ３０６）、ｒｅｆｐｉｘがｎｕｍＲｅｆＰｉｘｓになるまで（ステップＳ３０７）、以下の処理（ステップＳ３０２〜ステップＳ３０５）を繰り返すことで、視差補償画像を生成する。
ここで、画素の代わりに予め定められた大きさの領域ごとに処理を繰り返してもよいし、参照画像全体の代わりに予め定められた領域の参照画像を用いた視差補償画像を生成してもよい。また、両者を組み合わせて、予め定められた大きさの領域ごとに処理を繰り返して、同一または別の予め定められた領域の参照画像を用いた視差補償画像を生成してもよい。図１０に示す処理フローにおいて、画素を「処理を繰り返すブロック」に置き換え、参照画像を「視差補償画像の生成に用いる領域」に置き換えることで、それらの処理フローに相当する。この処理を繰り返す単位を、参照画像デプス情報が与えられる単位に相当する大きさに合わせるような実施や、視差補償画像を生成する対象の領域を、符号化対象画像を領域分割して予測符号化を行うときの領域に対応する参照画像の領域とあわせるような実施も好適である。
画素ごとに行われる処理において、まず、対応点変換部１１２は、画素ｒｅｆｐｉｘに対する参照画像デプス情報ｒｄｒｅｆｐｉｘを用いて、画素ｒｅｆｐｉｘに対する処理対象画像上の対応点ｑｒｅｆｐｉｘを得る（ステップＳ３０２）。ここでの処理は、参照画像と処理対象画像が入れ替わっただけで、前述のステップＳ２０２と同じである。画素ｒｅｆｐｉｘに対する処理対象画像上の対応点ｑｒｅｆｐｉｘが得られたら、その対応点関係から、処理対象画像の整数画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘを推定する（ステップＳ３０３）。この方法は、どのような方法を用いてもよいが、例えば特許文献１に記載の方法を用いてもよい。
次に、処理対象画像の整数画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘが得られたら、画素ｐｉｘに対するデプス情報をｒｄｒｅｆｐｉｘとして、参照画像デプス情報を用いて、参照画像上の対応点に対する画素値を補間して生成するための補間参照画素の集合（補間参照画素群）を決定する（ステップＳ３０４）。ここでの処理は前述のステップＳ２０３と同じである。
次に、補間参照画素群が決定したら、画素ｐｉｘに対する参照画像上の対応点ｑｐｉｘに対する画素値を補間し、視差補償画像の画素ｐｉｘの画素値とする（ステップＳ３０５）。ここでの処理は前述のステップＳ２０４と同じである。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。図１１は、本発明の第３実施形態による画像復号装置の構成例を示す図である。画像復号装置２００は、図１１に示すように、符号データ入力部２０１、符号データメモリ２０２、参照画像入力部２０３、参照画像メモリ２０４、参照画像デプス情報入力部２０５、参照画像デプス情報メモリ２０６、処理対象画像デプス情報入力部２０７、処理対象画像デプス情報メモリ２０８、対応点設定部２０９、視差補償画像生成部２１０、および画像復号部２１１を備えている。
符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは復号対象画像はカメラＢの画像を指す。符号データメモリ２０２は、入力された符号データを記憶する。参照画像入力部２０３は、視差補償画像を生成する際に参照画像となる画像を入力する。ここではカメラＡの画像が入力される。参照画像メモリ２０４は、入力された参照画像を記憶する。参照画像デプス情報入力部２０５は、参照画像デプス情報を入力する。参照画像デプス情報メモリ２０６は、入力された参照画像デプス情報を記憶する。処理対象画像デプス情報入力部２０７は、復号対象画像に対するデプス情報を入力する。以下では、この復号対象画像に対するデプス情報を処理対象画像デプス情報と呼ぶ。処理対象画像デプス情報メモリ２０８は、入力された処理対象画像デプス情報を記憶する。
対応点設定部２０９は、処理対象画像デプス情報を用いて、復号対象画像の画素ごとに、参照画像上の対応点を設定する。視差補償画像生成部２１０は、参照画像と対応点の情報を用いて視差補償画像を生成する。画像復号部２１１は、視差補償画像を予測画像として、符号データから復号対象画像を復号する。
次に、図１２を参照して、図１１に示す画像復号装置２００の処理動作を説明する。図１２は、図１１に示す画像復号装置２００の処理動作を示すフローチャートである。まず、符号データ入力部２０１は、符号データ（復号対象画像）を入力し、符号データメモリ２０２に記憶する（ステップＳ４０１）。これと並行して、参照画像入力部２０３は参照画像を入力し、参照画像メモリ２０４に記憶する。また、参照画像デプス情報入力部２０５は参照画像デプス情報を入力し、参照画像デプス情報メモリ２０６に記憶する。さらに、処理対象画像デプス情報入力部２０７は処理対象画像デプス情報を入力し、処理対象画像デプス情報メモリ２０８に記憶する（ステップＳ４０２）。
なお、ステップＳ４０２で入力される参照画像、参照画像デプス情報、処理対象画像デプス情報は、符号化側で使用されたものと同じものとする。これは符号化装置で使用したものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。デプス情報に関しては、別途復号したもの以外に、別のカメラに対して復号されたデプス情報から生成されたデプス情報や、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプス情報などを用いることもある。
次に、入力が終了したならば、対応点設定部２０９は、参照画像と参照画像デプス情報、処理対象画像デプス情報とを用いて、復号対象画像の画素または予め定められたブロックごとに参照画像上の対応点または対応ブロックを生成する。これと並行して、視差補償画像生成部２１０は視差補償画像を生成する（ステップＳ４０３）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なるだけで、図２に示すステップＳ１０３と同じである。
次に、視差補償画像が得られたならば、画像復号部２１１は視差補償画像を予測画像として、符号データから復号対象画像を復号する（ステップＳ４０４）。復号の結果得られる復号対象画像が画像復号装置２００の出力となる。なお、符号データ（ビットストリーム）を正しく復号できるならば、復号にはどのような方法を用いてもよい。一般的には、符号化時に用いられた方法に対応する方法を用いられる。
ＭＰＥＧ−２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化で符号化されている場合は、画像を予め定められた大きさのブロックに分割して、ブロックごとに、エントロピー復号、逆２値化、逆量子化などを施した後、ＩＤＣＴ（Inverse Discrete Cosine Transform）など逆周波数変換を施して予測残差信号を得た後、予測残差信号に対して予測画像を加え、得られた結果を画素値範囲でクリッピングすることで復号を行う。
なお、復号処理をブロックごとに行う場合、視差補償画像の生成処理（ステップＳ４０３）と復号対象画像の復号処理（ステップＳ４０４）をブロック後に交互に繰り返すことで、復号対象画像を復号してもよい。
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図１１に示す画像復号装置２００では、処理対象画像デプス情報と参照画像デプス情報の２種類のデプス情報を用いているが、参照画像デプス情報のみを用いることにしてもよい。図１３は、参照画像デプス情報のみを用いる場合の画像復号装置２００ａの構成例を示す図である。図１３に示す画像復号装置２００ａと図１１に示す画像復号装置２００との違いは、処理対象画像デプス情報入力部２０７と処理対象画像デプス情報メモリ２０８とを備えず、対応点設定部２０９の代わりに対応点変換部２１２を備えている点である。なお、対応点変換部２１２は、参照画像デプス情報を用いて、復号対象画像の整数画素に対する、参照画像上の対応点を設定する。
画像復号装置２００ａが実行する処理は、次の２点を除き、画像復号装置２００の実行する処理と同じである。まず１つ目の違いは、図１２に示すステップＳ４０２において、画像復号装置２００では、参照画像と参照画像デプス情報と処理対象画像デプス情報とが入力されるが、画像復号装置２００ａでは、参照画像と参照画像デプス情報のみが入力される点である。２つ目の違いは、視差補償画像生成処理（ステップＳ４０３）が、対応点変換部２１２および視差補償画像生成部２１０で行われ、その内容が異なる点である。画像復号装置２００ａにおける視差補償画像の生成処理については、図１０を参照して説明した処理と同じである。
上述した説明においては、１フレーム中のすべての画素を符号化および復号する処理を説明したが、一部の画素にのみ本発明の実施形態の処理を適用し、その他の画素では、Ｈ．２６４／ＡＶＣなどで用いられる画面内予測符号化や動き補償予測符号化などを用いて符号化を行ってもよい。その場合には、画素ごとにどの方法を用いて符号化したかを示す情報を符号化および復号する必要がある。また、画素ごとではなくブロック毎に別の予測方式を用いて符号化を行ってもよい。
また、上述した説明においては、１フレームを符号化および復号する処理を説明したが、複数フレームについて処理を繰り返すことで動画像符号化にも本発明の実施形態を適用することができる。また、動画像の一部のフレームや一部のブロックにのみ本発明の実施形態を適用することもできる。
上述した説明では画像符号化装置および画像復号装置を中心に説明したが、これら画像符号化装置および画像復号装置の各部の動作に対応したステップによって本発明の画像符号化方法および画像復号方法を実現することができる。
図１４に、画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図１４に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象の画像に対するデプス情報を入力する符号化対象画像デプス情報入力部５３（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部５４（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの参照画像に対するデプス情報を入力する参照画像デプス情報入力部５５（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、第１実施形態または第２実施形態として説明した画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５６１が格納されたプログラム記憶装置５６と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５６１を実行することにより生成された符号データを、例えばネットワークを介して出力するビットストリーム出力部５７（ディスク装置等による多重化符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
図１５に、画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。図１５に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象の画像に対するデプス情報を入力する復号対象画像デプス情報入力部６３（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照画像入力部６４（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの参照画像に対するデプス情報を入力する参照画像デプス情報入力部６５（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、第３実施形態または第４実施形態として説明した画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６６１が格納されたプログラム記憶装置６６と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６６１を実行することにより、符号データを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６７（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。
また、図１、図９に示す画像符号化装置、図１１、図１３に示す画像復号装置における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理と画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
本発明は、参照画像における被写体の三次元位置を表すデプス情報を用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を達成することが不可欠な用途に適用できる。
１００、１００ａ・・・画像符号化装置、１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・参照画像入力部、１０４・・・参照画像メモリ、１０５・・・参照画像デプス情報入力部、１０６・・・参照画像デプス情報メモリ、１０７・・・処理対象画像デプス情報入力部、１０８・・・処理対象画像デプス情報メモリ、１０９・・・対応点設定部、１１０・・・視差補償画像生成部、１１１・・・画像符号化部、１１０３・・・フィルタ係数設定部、１１０４・・・画素補間部、１１０５・・・補間参照画素設定部、１１０６・・・フィルタ係数設定部、１１０７・・・画素補間部、１１２・・・対応点変換部、２００、２００ａ・・・画像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照画像入力部、２０４・・・参照画像メモリ、２０５・・・参照画像デプス情報入力部、２０６・・・参照画像デプス情報メモリ、２０７・・・処理対象画像デプス情報入力部、２０８・・・処理対象画像デプス情報メモリ、２０９・・・対応点設定部、２１０・・・視差補償画像生成部、２１１・・・画像復号部、２１２・・・対応点変換部

Claims (22)

  1. 複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
    前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
    前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、
    前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、
    前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
    を有する画像符号化方法。
  2. 複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
    前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
    前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、
    前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、
    前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
    を有する画像符号化方法。
  3. 前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、
    前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、
    前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する
    請求項２に記載の画像符号化方法。
  4. 前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、
    前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する
    請求項３に記載の画像符号化方法。
  5. 前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する
    請求項３または４に記載の画像符号化方法。
  6. 前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
    請求項３または４に記載の画像符号化方法。
  7. 前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
    請求項３または４に記載の画像符号化方法。
  8. 多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
    前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
    前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップと、
    前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間ステップと、
    前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
    を有する画像復号方法。
  9. 多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
    前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定ステップと、
    前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定ステップと、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定ステップと、
    前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間ステップと、
    前記画素補間ステップにより生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測ステップと
    を有する画像復号方法。
  10. 前記補間参照画素ごとに、前記補間参照画素に対する前記参照画像デプス情報と、前記被写体デプス情報との差に基づいて、前記補間参照画素に対する補間係数を決定する補間係数決定ステップをさらに有し、
    前記補間参照画素設定ステップは、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素を前記補間参照画素として設定し、
    前記画素補間ステップは、前記補間係数に基づいた前記補間参照画素の画素値の重み付け和を求めることで、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する
    請求項９に記載の画像復号方法。
  11. 前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の前記周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定ステップをさらに有し、
    前記補間参照画素設定ステップは、前記タップ長の範囲内に存在する画素を前記補間参照画素として設定する
    請求項１０に記載の画像復号方法。
  12. 前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差に基づいて前記補間係数を決定する
    請求項１０または請求項１１に記載の画像復号方法。
  13. 前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と前記被写体デプス情報との差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
    請求項１０または請求項１１に記載の画像復号方法。
  14. 前記補間係数決定ステップは、前記補間参照画素の１つに対する前記参照画像デプス情報と、前記被写体デプス情報との差の大きさが、予め定められた閾値より大きい場合には、前記補間係数をゼロとして前記補間参照画素の１つを前記補間参照画素から除外し、前記差の大きさが前記閾値以内の場合には、前記差と、前記補間参照画素の１つと前記対応点によって示される前記参照画像上の整数画素もしくは小数画素との距離とに基づいて、前記補間係数を決定する
    請求項１０または請求項１１に記載の画像復号方法。
  15. 複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
    前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
    前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、
    前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、
    前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
    を備える画像符号化装置。
  16. 複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
    前記符号化対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
    前記対応点によって示される前記符号化対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、
    前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、
    前記画素補間部により生成した前記画素値を、前記対応点によって示される前記符号化対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
    を備える画像符号化装置。
  17. 多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
    前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
    前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間のためのタップ長を決定する補間タップ長決定部と、
    前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を前記タップ長に従った補間フィルタを用いて生成する画素補間部と、
    前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
    を備える画像復号装置。
  18. 多視点画像の復号対象画像を復号する際に、復号済みの参照画像と、前記参照画像中の被写体のデプス情報である参照画像デプス情報とを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
    前記復号対象画像の各画素に対して、前記参照画像上の対応点を設定する対応点設定部と、
    前記対応点によって示される前記復号対象画像上の整数画素位置の画素に対するデプス情報である被写体デプス情報を設定する被写体デプス情報設定部と、
    前記対応点によって示される前記参照画像上の整数画素位置もしくは小数画素位置の周辺の整数画素位置の画素に対する前記参照画像デプス情報と、前記被写体デプス情報とを用いて、画素補間に用いる前記参照画像の整数画素位置の画素を補間参照画素として設定する補間参照画素設定部と、
    前記補間参照画素の画素値の重み付け和によって、前記対応点によって示される前記参照画像上の前記整数画素位置もしくは前記小数画素位置の画素値を生成する画素補間部と、
    前記画素補間部により生成した前記画素値を、前記対応点によって示される前記復号対象画像上の前記整数画素位置の画素の予測値とすることで、視点間の画像予測を行う視点間画像予測部と
    を備える画像復号装置。
  19. コンピュータに、請求項１から７のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
  20. コンピュータに、請求項８から１４のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
  21. 請求項１９に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  22. 請求項２０に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2014524815A 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 Active JP5833757B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014524815A JP5833757B2 (ja) 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012154065 2012-07-09
JP2012154065 2012-07-09
PCT/JP2013/068728 WO2014010584A1 (ja) 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP2014524815A JP5833757B2 (ja) 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP5833757B2 JP5833757B2 (ja) 2015-12-16
JPWO2014010584A1 true JPWO2014010584A1 (ja) 2016-06-23

Family

ID=49916036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524815A Active JP5833757B2 (ja) 2012-07-09 2013-07-09 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20150172715A1 (ja)
JP (1) JP5833757B2 (ja)
KR (1) KR101641606B1 (ja)
CN (1) CN104429077A (ja)
WO (1) WO2014010584A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3142365A1 (en) 2015-09-14 2017-03-15 Thomson Licensing Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
CN116883522A (zh) * 2015-12-14 2023-10-13 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
KR102466996B1 (ko) 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures
US10638126B2 (en) * 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
WO2019176831A1 (ja) * 2018-03-12 2019-09-19 日本電信電話株式会社 秘密表参照システム、方法、秘密計算装置及びプログラム
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
CN113056909A (zh) * 2018-12-31 2021-06-29 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US11218724B2 (en) * 2019-09-24 2022-01-04 Alibaba Group Holding Limited Motion compensation methods for video coding
FR3125150B1 (fr) * 2021-07-08 2023-11-17 Continental Automotive Procédé d’étiquetage d’une image 3D
CN117438056B (zh) * 2023-12-20 2024-03-12 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3334342B2 (ja) 1994-07-21 2002-10-15 松下電器産業株式会社 高周波加熱器
BR0004994A (pt) * 1999-02-26 2000-12-26 Koninkl Philips Electronics Nv Processo de filtragem de uma coleção de amostras, arranjo de filtro para filtrar uma coleção de amostras, e, produto de programa de computador para um arranjo de filtro
CA2316610A1 (en) * 2000-08-21 2002-02-21 Finn Uredenhagen System and method for interpolating a target image from a source image
US20040037366A1 (en) * 2002-08-23 2004-02-26 Magis Networks, Inc. Apparatus and method for multicarrier modulation and demodulation
CN101616330B (zh) * 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7508997B2 (en) * 2004-05-06 2009-03-24 Samsung Electronics Co., Ltd. Method and apparatus for video image interpolation with edge sharpening
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
CA2663084C (en) * 2006-09-20 2014-08-12 Nippon Telegraph And Telephone Corporation Image encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP5011168B2 (ja) * 2008-03-04 2012-08-29 日本電信電話株式会社 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101727311B1 (ko) * 2008-04-25 2017-04-14 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
KR101663819B1 (ko) * 2008-08-20 2016-10-10 톰슨 라이센싱 정제된 깊이 맵
WO2010063881A1 (en) * 2008-12-03 2010-06-10 Nokia Corporation Flexible interpolation filter structures for video coding
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
US9078008B2 (en) * 2009-04-20 2015-07-07 Dolby Laboratories Licensing Corporation Adaptive inter-layer interpolation filters for multi-layered video delivery
WO2010126613A2 (en) * 2009-05-01 2010-11-04 Thomson Licensing Inter-layer dependency information for 3dv
KR20110039988A (ko) * 2009-10-13 2011-04-20 엘지전자 주식회사 인터폴레이션 방법
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN103155568B (zh) * 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的系统和方法
JP2012085211A (ja) * 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム
JP5858381B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 多視点画像合成方法及び多視点画像合成システム
US9565449B2 (en) * 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
EP3739886A1 (en) * 2011-11-18 2020-11-18 GE Video Compression, LLC Multi-view coding with efficient residual handling

Also Published As

Publication number Publication date
JP5833757B2 (ja) 2015-12-16
KR101641606B1 (ko) 2016-07-21
KR20150015483A (ko) 2015-02-10
CN104429077A (zh) 2015-03-18
WO2014010584A1 (ja) 2014-01-16
US20150172715A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5883153B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
JP2009164865A (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP5706291B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP2013126006A (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151029

R150 Certificate of patent or registration of utility model

Ref document number: 5833757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150