WO2008035665A1

WO2008035665A1 - procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme

Info

Publication number: WO2008035665A1
Application number: PCT/JP2007/068065
Authority: WO
Inventors: Shinya Shimizu; Masaki Kitahara; Kazuto Kamikura; Yoshiyuki Yashima
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2006-09-20
Filing date: 2007-09-18
Publication date: 2008-03-27
Also published as: RU2407220C2; KR20090053820A; US20130058584A1; RU2009109204A; TWI346509B; BRPI0716810A2; US8290289B2; KR101023262B1; TW200822762A; CA2663672C; EP2066133A4; CA2663672A1; JP4999854B2; CN101518090A; JPWO2008035665A1; US20100021072A1; EP2066133A1; CN101518090B

Description

明細書

画像符号化方法及び復号方法、それらの装置、画像復号装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

技術分野

[0001] 本発明は、多視点画像の符号化および復号技術に関するものである。

本願 (ま、 2006年 9月 20曰 ίこ出願された特願 2006— 253845号 ίこ基づき優先権を主張し、その内容をここに援用する。

背景技術

[0002] 多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。以下では、 1つのカメラで撮影された動画像を" 2次元動画像"と呼び、同じ被写体と背景を撮影した 2 次元動画像群を"多視点動画像"と呼ぶ。

[0003] 2次元動画像は、時間方向に関して強い相関があり、符号化の際には、その相関を利用することによって符号化効率を高めている。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、同じ時間に対応した各カメラの映像は、まったく同じ状態の被写体と背景とを別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって、符号化効率を高めることができる。

[0004] まず、 2次元動画像の符号化技術に関する従来技術を述べる。

国際符号化標準である Η. 264、 MPEG— 2、 MPEG— 4をはじめとした従来の多くの 2次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、 H. 264では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。

[0005] H. 264で使われている動き補償技術の詳細については、例えば、非特許文献 1に記載されている。その概要を説明する。

H. 264の動き補償は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照画像とを持つことを可能にしている。さらに、参照画像に対してフィルタ処理を行うことで、 1/2画素位置や 1/4画素位置の映像を生成し、より細かい 1/4画素精度の動き補償を可能にすることで、従来の国際符号化標準方式より高効率な符号化を達成している。

[0006] 次に、従来の多視点画像や多視点動画像の符号化方式について説明する。

多視点画像の符号化方法と多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法は、どちらの場合にも同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。

[0007] 多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償を同じ時刻の異なるカメラの画像に適用した"視差補償"によって、高効率に多視点動画像を符号化する方式が従来力存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。

[0008] 図 8は、カメラ間で生じる視差の概念図である。

図 8に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は、一般的に対応点と呼ばれる。

視差補償は、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測し、その予測残差と、対応関係を示す視差情報とを符号化する。

[0009] この対応関係は、カメラパラメータを用いることで、ェピポーラ幾何拘束に基づき、 2 次元ベクトルではなぐ一方のカメラを基準として、そのカメラ力被写体までの距離という 1次元量で表すことができる。

[0010] 図 9は、ェピポーラ幾何拘束の概念図である。ェピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はェピポーラ線という直線上に拘束される。このとき、その画素におけるカメラから被写体までの距離が得られた場合、対応点はェピポーラ線上に一意に定まる。

[0011] 例えば、図 9に示すように、カメラ Aの画像で mの位置に投影された被写体の点は、カメラ Bの画像において、実空間における被写体の対応する点の位置が M'の場合にはェピポーラ線上の位置 m'に、実空間における被写体の対応する点の位置が M "の場合にはェピポーラ線上の位置 m"に、実空間における被写体の対応する点の位置が Μ'"の場合にはェピポーラ線上の位置 m'"に、投影される。

[0012] 図 10は、 1つのカメラに対して被写体までの距離が与えられたときに複数のカメラ間で対応点が得られることを示す図である。

一般的に視差は符号化対象フレームによって変化するため、視差情報は、符号化対象フレームごとに符号化することが必要である。しかし、カメラから被写体までの距離は、被写体の物理的な状態によって決定されるため、カメラから被写体までの距離という 1つの情報で複数のカメラの画像上の対応点を表すことができる。

例えば、図 10に示すように、カメラ Aの視点位置力も被写体の点 Mまでの距離の情報 1つで、カメラ Aの画像の点 m に対応するカメラ Bの画像の対応点 m 、カメラじの画像の対応点 mの双方を表すことができる。

[0013] この性質によると、視差情報を参照画像におけるカメラ力被写体までの距離で表すことで、その参照画像から（カメラ間の位置関係が得られている）他のカメラで同時刻に撮られたすべてのフレームに対する視差補償を実現することができる。非特許文献 2では、この性質を利用して符号化しなければならない視差情報の数を減らし、高効率な多視点動画像符号化を達成している。

[0014] なお、非特許文献 3は、後述の本発明の実施の形態の説明で参照する技術が記載された先行技術文献であり、これには、複数のカメラの位置関係を表すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。

非特許文献 1 : ITU-T Rec.H.264/ISO/IEC 11496-10， "Editor's Proposed Draft Tex t Modifications for Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-1 0 AVC), Draft 7", Final Committee Draft, Document JVT-E022, pp. 10-13， and 62 -68， September 2002.

非特許文献 2： Shinya SHIMIZU, Masaki ITAHARA, azuto AMI URA and Yoshi yuki YASHIMA, "Multi-view Video Coding based on 3_D Warping with Depth Map ，，， In Proceedings of Picture Coding Symposium 2006, SS3-6, April， 2006. 非特許文献 3 : Oliver Faugeras, Three-Dimension Computer Vision-MIT Press; BC TC/UFF-006.37 F259 1993-ISBN:0-262-06158_9， pp. 33-68·

発明の開示

発明が解決しょうとする課題

[0015] 確かに、非特許文献 2の方法によれば、符号化対象画像ごとに視差情報を符号化するよりも、少ない符号量で視差情報を符号化することができる。

[0016] 多視点画像符号化では、符号化対象画像の各画素の値を符号化することが目的であるため、視差補償では符号化対象画像の各画素の値を予測することが必要である。し力、しながら、参照画像の各画素に対してカメラ力も被写体までの距離を与える方法では、参照画像側の対応点が固定されているため、符号化対象画像における対応点は、必ずしも画素と一致しない。この場合、符号化対象画像の全画素における値を予測する方法として、次の 3つが、容易に類推できる方法として考えられる。

[0017] 1つ目は、符号化対象画像における対応点が必ず画素位置になるように距離を定める方法である。

しかし、複数の符号化対象画像に対して必ず画素位置に対応するような距離は限られてしまうため、この方法では、予測誤差の小さくなるような視差補償ができず、最終的に全体の符号化効率が悪くなつてしまう。

[0018] 2つ目は、符号化対象画像において得られた対応点を最も近い画素に丸める方法である。

この方法では、おおよそ正しい視差補償を達成できると考えられる力 S、丸めたことによってその予測精度は少なからず低下する。また、符号化した視差情報から得られる情報を後から丸めるため、丸めた情報を符号化する場合に比べて、無駄な情報を符号化して!/、ることになつてしまう。

[0019] 3つ目は、参照画像の全画素に対する符号化対象画像における対応点を求めた後で、符号化対象画像の画素ごとに、周辺に得られた対応点の画素値から補完を行つて求める方法である。

3つ目の方法では、符号化した視差情報を完全に利用することができる。しかしながら、この方法では、離散的に与えられた画素値から符号化対象画像全体の画素値を補完する必要があるため、精度の高い補完を行うための計算コストが非常に高い。また、全画素の対応点を求めた後でしか視差補償による予測誤差が分からなレ、ため

、予測誤差を最小化するような符号化のための距離を求めようとする場合、全画素に対する視差情報を仮定し、仮定した視差情報を用いて参照画像の全画素に対する符号化対象画像における対応点を求め、画素値が離散的に与えられた画像に対して補完を行うことで符号化対象画像に対する予測画像を生成して予測誤差を求めるという処理を、すべての視差情報の組み合わせに対して繰り返すことになり、非常に多くの演算量がかかり、最適な視差情報の集合を得ることが非常に困難である。

[0020] また、非特許文献 2の方法のような、参照画像の各画素に対してカメラから被写体までの距離を与える方法では、参照画像側の対応点が整数画素単位に固定されているため、 H. 264の動き予測のように参照画像の小数画素位置（1/2画素位置や 1/4画素位置など）における画素値を用いた細かい動きに対応した高精度な補償を fiうことあでさない。

[0021] 単純に参照画像の小数画素（1/2画素や 1/4画素など）においても、カメラ力、ら被写体までの距離を与えることで、精度の高い視差補償を可能にすることができるが、符号化しなければならない視差情報の数が増加してしまい、符号化効率が低下するという問題点がある。

たとえ整数画素に対して与えられた距離から小数画素の距離を推定して用いるとしても、対応点を求めるための演算回数が数倍にも増加するという問題がある。

[0022] 本発明は、力、かる事情に鑑みてなされたものであって、参照画像におけるカメラから被写体までの距離に基づいて表される視差情報を用いて、符号化対象画像に対して視差補償を行うという構成をとる場合に、符号化の必要な視差情報の数を増やすことなく、その符号化に用いた視差情報に含まれる情報を最大限に利用し、小数画素単位の視差補償を行うことで、高い符号化効率を達成できるようにする画像符号化技術および復号技術を提供することを目的とする。

課題を解決するための手段

[0023] 本発明は、上記の課題を解決するために、複数のカメラで撮影された多視点画像を符号化するにあたり、既に符号化済みの参照画像と、前記複数のカメラのうち前記参照画像を撮影したカメラ力被写体までの距離とを用いて、カメラ間で画像を予測しながら符号化を行う画像符号化方法であって、

前記参照画像の各画素に対して与えられる前記距離と、前記参照画像を撮影したカメラと符号化対象画像を撮影した各カメラとの位置関係とに基づいて、前記参照画像の各画素に対応する各符号化対象画像上での対応点を求め、前記参照画像の画素位置から前記符号化対象画像上での対応点へと向かう画素空間上の視差べクトルを算出する視差ベクトル設定ステップと、

前記視差ベクトルと同じ始点を持ち、前記視差ベクトルの各成分の小数部分の切り捨てまたは各成分の値に最も近い整数値の選択により、前記視差べ外ルの各成分を整数値に丸めた値を、ベクトルの各成分として持つ予測対象ベクトルを算出する予測対象ベクトル設定ステップと、

前記視差べクルと同じ始点を持ち、前記予測対象ベクトルと前記視差ベクトルとの差分ベクトルと同じ大きさと向きとを持つ参照対象ベクトルを算出する参照対象べタトル設定ステップと、

前記参照対象ベクトルによって示される参照画像上の整数もしくは小数画素位置の画素値を、前記予測対象ベクトルによって示される符号化対象画像上の画素の予測値とすることで、カメラ間の画像予測を行うカメラ間画像予測ステップとを有することを特徴とする画像符号化方法を提供する。

[0024] これにより、参照画像の整数画素位置ごとに与えられる符号化対象画像上の整数画素位置とは限らない対応点の情報を用いて、符号化対象画像の整数画素位置に対して、参照画像の小数画素位置の画素値を用いた視差補償による画像予測が可能となり、高い符号化効率の達成が可能となる。

[0025] 典型例として、前記参照画像の各画素に対して、ェピポーラ幾何拘束に基づいて、前記参照画像から、符号化対象の画像を予測する際の対応点を示す疑似距離を設定する疑似距離設定ステップと、

前記疑似距離設定ステップで設定された疑似距離を符号化する疑似距離符号化前記視差ベクトル設定ステップでは、前記疑似距離を前記参照画像の各画素に対して与えられる距離として用いるようにしても良!/ヽ。

[0026] ここで述べる疑似距離とは、参照画像のある画素に対する符号化対象画像上のェピポーラ直線を考えた場合に、その直線上の 1点を特定するような値である。具体的には、カメラから、参照画素中の対象画素に写っているものまでの推定距離を示すものになる。疑似距離は、距離そのものであっても、ステレオマッチング等で得られる推定距離であっても、それらに対応付けられたインデックス値でも力、まわなレ、。

[0027] この方法によると、カメラから被写体までの距離が明らかに得られないような場合においても、符号化側で視差補償に用いたパラメータを復号側に通知することによって、距離パラメータを用いた視差補償を実行することができるようになる。

[0028] 上記典型例における好適例として、前記疑似距離設定ステップは、

取り得る値を推定して定めた推定疑似距離とカメラの位置関係とに基づいて求められる符号化対象画像上での対応点を終点とし、その推定疑似距離が与えられる参照画像中の画素を始点とする、画素空間上の推定視差ベクトルを設定する過程と、前記推定視差ベクトルの終点を整数画素に丸めた推定予測対象ベクトルを設定する過程と、

前記推定視差ベクトルと同じ始点を持ち、前記推定予測対象ベクトルと前記推定視差ベクトルとの差分ベクトルと同じ大きさと向きを持つ推定参照対象ベクトルを設定する過程と、

前記推定予測対象ベクトルと前記推定参照対象ベクトルとを用いてカメラ間の画像予測を行う処理を、全く同じ状態の被写体を撮影した各符号化対象画像に対して行った際の、予測誤差の合計が最も小さくなる場合の前記推定疑似距離を、前記疑似距離として設定する過程とを有する。

[0029] すなわち、前記疑似距離設定ステップでは、前記視差ベクトル設定ステップと同様の処理を施して推定視差ベクトルを求め、推定視差ベクトルに対して予測対象べタトル設定ステップと同様の処理を施して推定予測対象ベクトルを求め、推定視差べタトルと推定予測対象ベクトルとに対して前記参照対象ベクトル設定ステップと同様の処理を施して推定参照対象ベクトルを求め、推定予測対象ベクトルと推定参照対象べタトルとを用いて画像予測を行う処理を、全く同じ状態の被写体を撮影した各符号化対象画像に対して行った際の、予測誤差の合計が最も小さくなる場合の前記推定疑似距離を、前記疑似距離として設定する。

[0030] なお、推定予測対象ベクトルを求める際の整数画素への丸め方は、小数部分を切り捨てる方法でも、最も近い整数画素へと丸める方法でも用いることができる力視差補償時に行う対応する処理と一致させるものとする。

[0031] ある画素に対するカメラから被写体までの距離が与えられたときに、その画素からほんの少しずれた位置に対するカメラから被写体までの距離力 S、その画素に対して与えられた距離とほとんど変わらないと仮定することができる力常に完全に一致しているとは言えない。そのため、適当な疑似距離を用いた場合はもちろんである力たとえ実際の距離に極めて近い疑似距離を用いた場合でも、状況によっては予測誤差が大きいような対応点を用いて視差補償を行ってしまう可能性がある。

[0032] 一方、この発明によると、視差補償の予測誤差が他の距離よりも小さレ、疑似的な距離を求めてその疑似距離を用いるため、視差補償の予測誤差が大きい対応点を視差補償に使うことを回避することが可能となり、高い符号化効率を達成することができ

[0033] また、予測誤差に対して、その疑似距離を符号化する際の符号量の予測値に対してある一定の重みを乗じた値を加えたレート歪みコストを最小化するような疑似距離を求めることで、予測誤差は増加したとしても、符号化効率という観点でより最適な疑似距離を求めるようにしてもよい。

[0034] なお、疑似距離の符号化において歪が存在する場合、符号化した疑似距離を復号した復号疑似距離を距離として視差ベクトル設定ステップで用いることで、符号化側と復号側で用いるパラメータを一致させ、符号化歪みの一種であるドリフトを防ぐことができる。

[0035] 上記典型例における別の好適例として、参照画像における領域分割を設定する領域分割設定ステップを有し、

前記疑似距離設定ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を設定し、前記疑似距離符号化ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を符号化する。

[0036] カメラから被写体までの距離は画像上でそれほど頻繁に変化せず、ある程度まとまつた領域では同じ距離を持つ場合が多い。そのため、適切に領域分割を設定し、領域ごとに 1つの疑似距離を設定して符号化することで、符号化する疑似距離の個数を少なくすることができ、符号量を削減することができる。

[0037] この場合、領域分割の情報も符号化して復号側に渡す必要があるが、参照画像の画像全体を領域分割し、領域ごとに処理を加え、その領域分割情報と共に符号化されている場合には、その参照画像の符号化データに含まれる領域分割情報による領域分割と、各疑似距離を設定する領域分割とを一致させることで、領域分割情報を符号化しな!/ヽで済ませること力 Sできる。

[0038] 画像符号化時の領域分割は、各被写体の形状を表す形に区切られる場合が多い。また、カメラから被写体までの距離も、被写体ごとに同じような値を持つと考えられるため、上記のように領域分割を一致させることにより、効率的に領域分割情報の符号量を削減することが可能である。

[0039] しかし、画像符号化時の領域分割は、テクスチャ（見た目 )の違いによっても設定される場合がある。そのため、画像符号化時の領域分割と、疑似距離が同じとなるような領域分割とに差が生じる場合もある。この場合、その違いを表す情報のみを符号化することで、画像全体の領域分割を符号化して大量の符号量が発生してしまうのを防ぐとともに、領域分割誤りによる視差補償の予測効率低下を防ぐことができる。

[0040] また、実空間における被写体の空間的な特性上、カメラから被写体までの距離が隣り合う画素や領域間で大きく変化しないことを利用して、疑似距離を符号化する際に、既に符号化済みの疑似距離を選び、その符号化済みの疑似距離を示す情報と、符号化対象の疑似距離と前記選んだ疑似距離との差分とを符号化することで、疑似距離の符号量を削減することもできる。

[0041] また、 1つの参照画像に対して与えられる疑似距離群は、与えられる領域の位置と大きさを考慮すると、画像とみなすことができる。したがって、その画像を JPEGや JPE G2000などの画像符号化方法を用いて符号化することで、疑似距離を効率的に符号ィ匕すること力 sでさる。

[0042] また、カメラから被写体までの距離は時間的にも大きく変化しないため、本発明の方法を、各時刻の画像群に適用することで多視点動画像を符号化する場合、各時刻の疑似距離群を画像とみなし、その集合を映像とみなし、疑似距離全体を MPEG— 2や H. 264/AVCなどの映像符号化方法を用いて符号化することで、疑似距離を効率的に符号化することもできる。

[0043] また、前記予測対象ベクトル設定ステップでは、各成分が前記視差ベクトルの各成分に最も近い符号化処理ブロックサイズの整数倍の値を持つベクトルを予測対象べタトルとするようにしても良い。

[0044] 多視点動画像全体として高効率な符号化を達成するためには、疑似距離の符号量を抑えつつ、高効率な視差補償残差の符号化を行う必要がある。つまり、符号化処理ブロックごとに疑似距離を推定する際に、その疑似距離の符号化に必要な符号量のほかに、その疑似距離によって視差補償されたブロックの残差の符号量を考慮にいれる必要がある。し力もながら、参照画像のある符号化対象ブロックに対して与えられる疑似距離によって視差補償されるブロックは、符号化対象画像にぉレ、て複数の符号化処理ブロックを跨いでしまっている可能性がある。この場合、このブロックにおける視差補償残差の符号量を見積もることが非常に困難であるため、高効率な符号化を達成するための最適化を精度よく行うことができない。

[0045] 一方、上述のように、各成分が前記視差ベクトルの各成分に最も近い符号化処理ブロックサイズの整数倍の値を持つベクトルを予測対象ベクトルとするようにすれば、符号化対象画像上の視差補償されるブロックが必ず符号化処理ブロックと一致することが保証されるため、そのブロックの視差補償残差を符号化するのに必要な符号量を、視差補償残差の符号化方式を考慮した上で算出することが可能となる。その結果、全体として高効率な多視点画像符号化が可能となる。

[0046] なお、多視点動画像を符号化 (復号)する場合、各時刻の対応するフレームの集合を多視点画像とみなして、本発明の画像符号化方法 (画像復号方法)を適用することができる。

さらに、多視点動画像では本発明の画像符号化方法のみで画像全体を符号化するのではなく、時間方向の相関を利用した動き補償などの他の手法を符号化処理対象ごとに適宜選択して符号化することで、符号化効率を高めることもできる。

発明の効果

[0047] 本発明によれば、参照画像の整数画素を基準として与えられる符号化対象画像の対応点情報から、符号化対象画像の整数画素の位置に対応する参照画像の小数画素単位の位置を、精度よく低演算コストで求めることができ、より細かい視差に対応した視差補償を実現し、多視点画像全体としての高効率な画像符号化を実現すること力 Sできる。

図面の簡単な説明

[0048] [図 1]本発明における各ベクトルの関係を示す図である。

[図 2]本発明の実施の形態による画像符号化装置の構成例を示す図である。

[図 3]画像符号化装置による画像符号化処理フローチャートである。

[図 4]距離画像生成部による距離画像生成処理フローチャートである。

[図 5]視差補償画像生成部による視差補償画像生成処理フローチャートである。

[図 6]本発明の実施の形態による画像復号装置の構成例を示す図である。

[図 7]画像復号装置による画像復号処理フローチャートである。

[図 8]カメラ間で生じる視差の概念図である。

[図 9]ェピポーラ幾何拘束の概念図である。

[図 10]1つのカメラに対して被写体までの距離が与えられたときに複数のカメラ間で対応点が得られることを示す図である。

符号の説明

[0049] 100 画像符号化装置

101 画像入力部

102 参照画像入力部

103 参照画像メモリ

104 距離画像生成部

105 距離画像符号化部

106 距離画像復号部 107 視差補償画像生成部

108 符号化対象画像符号化部

200 画像復号装置

201 距離画像復号部

202 参照画像メモリ

203 視差補償画像生成部

204 符号化対象画像復号部

発明を実施するための最良の形態

[0050] 以下、実施の形態に従って、本発明を詳細に説明する。

まず、図 1を参照し、本発明の原理を説明する。

最初に、参照画像の各画素に対して与えられるカメラ力被写体までの距離と、カメラ間の位置関係とを用いて、参照画像の各画素の符号化対象画像上での対応点を求める。

このとき、画素空間上で参照画像の画素を始点とし、その画素の符号化対象画像上の対応点を終点とするベクトルを視差ベクトルと呼ぶ。このような求め方をするため、視差ベクトルの始点は必ず整数画素位置であり、終点は必ずしも整数画素位置とは限らない。

[0051] 次に、各視差ベクトルに対して、始点が同じで、ベクトルの水平成分と垂直成分の小数部分を切り捨てたベクトルを求め、このベクトルを予測対象ベクトルと呼ぶ。この予測対象ベクトルは、視差ベクトルの始点と終点によって張られる長方形 (座標平面上で、始点座標と終点座標により定義される、視差ベクトルを対角線とする長方形）の内部で、視差ベクトルの終点に最も近い整数画素位置を終点に持つベクトルであ

[0052] そして、視差ベクトルごとに、その視差ベクトルと同じ始点を持ち、前のステップで求めた予測対象ベクトルからその視差ベクトルを減算してできるベクトルと同じ大きさと向きを持つベクトルを求め、このベクトルを参照対象ベクトルと呼ぶ。この参照対象べタトルの終点は、必ずしも整数画素位置になるとは限らな!/、。

[0053] 本発明では、このようにして得られた予測対象ベクトルと参照対象ベクトルの組ごとに、参照対象ベクトルによって示される参照画像上の位置の値を、予測対象ベクトルによって示される符号化対象画像上の画素位置の予測値として用いることで、カメラ間の画像予測を実現する。

[0054] 本発明では、ある画素からほんの少しずれた位置のカメラから被写体までの距離は

、その画素におけるカメラ力も被写体までの距離とほぼ同じであるという仮定に基づいて、対応点を求める。つまり、カメラ力も被写体までの距離の構造が単純なほうが画像予測の精度が高い。

一方、前述の容易に類推できる手法の 2つ目の手法と 3つ目の手法では、被写体のテクスチャ（見た目）が隣接部分でほぼ同じという仮定を用いている。つまり、テクスチヤの構造が単純なほうが画像予測の精度が高い。

自然画像において、距離の構造とテクスチャの構造とを比較すると、現実空間における連続性の制約があるため、テクスチャよりも距離のほうが単純な構造をしている傾向がある。したがって、本発明の手法は前述の容易に類推できる手法よりも高精度な画像予測を実現し、符号化効率を高めることができる。

[0055] なお、上記のように予測対象ベクトルを求める際に、小数部分を切り捨てて整数部分に丸める処理を行うこともできる力最も近!/、整数に丸める方法を取ることもできる

最も近い整数に丸める処理を行ったほうが、参照画像の画素により近い点が同じ距離を持っていると仮定していることになるため、予測誤差の小さくなるような視差補償を達成すること力できる。ただし、この場合には、小数部分を切り捨てる場合よりも演算コストが増加する可能性がある。

[0056] 以下に説明する実施の形態の例では、カメラ A、カメラ Bの 2つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラ Aの画像を参照画像としてカメラ B の画像を符号化する方法について説明を行う。

[0057] なお、カメラ Aとカメラ Bの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータは、別途与えられているものとする。

これらのパラメータに関する詳しい説明は、非特許文献 3に記載されている力 S、カメラを設置したときに求めることも、あるいは、撮影した画像対から推定することも可能である。

[0058] 図 2は、本発明の実施の形態による画像符号化装置の構成例を示す図である。

画像符号化装置 100は、符号化対象画像であるカメラ Bの原画像を入力する画像入力部 101と、参照画像であるカメラ Aの復号画像を入力する参照画像入力部 102 と、参照画像を格納する参照画像メモリ 103と、距離画像を生成する距離画像生成部 104と、距離画像の符号化を行う距離画像符号化部 105と、符号化された距離画像を復号する距離画像復号部 106と、参照画像と復号された距離画像とから視差補償画像を生成する視差補償画像生成部 107と、視差補償画像を利用して符号化対象画像を符号化する符号化対象画像符号化部 108とを備える。

[0059] ここで、画像符号化装置 100と後述の画像復号装置 200 (図 6参照）のどちらにおいても、実際のカメラから被写体までの距離を表した距離画像でも、視差補償のために使われる疑似的な距離を表した疑似距離画像でも、装置や処理は区別をして処理を行うわけではない。したがって、以下では、両者を区別せず単に距離画像と記し、それによつて示される距離もしくは疑似的な距離も区別せず単に距離と記す。

[0060] 以下、図 2に示すように構成された画像符号化装置 100が実行する画像符号化処理について、図 3〜図 5のフローチャートを用いて詳細に説明する。

[0061] 図 3は、画像符号化装置による画像符号化処理フローチャートである。図 3に示すフローチャートは、画像符号化装置 100による画像符号化処理全体の概要を示す。

[0062] 画像符号化装置 100では、画像入力部 101により、カメラ Bの画像が入力される (ステツプ S 10)。なお、参照画像入力部 102によって、カメラ Aの復号画像が参照画像メモリ 103に入力されている。

以下では、入力されたカメラ Bの画像を符号化対象画像と記し、参照画像メモリ 103 上の画像を参照画像と記す。

[0063] 次に、符号化対象画像と参照画像を用いて、距離画像生成部 104で参照画像に対する距離画像を生成する (ステップ S 11)。

そして、画像符号化装置 100側と画像復号装置 200側でまったく同じ情報を用いた視差補償画像生成を実現するために、生成された距離画像を距離画像符号化部 105で符号化し (ステップ S 12)、その符号化データを距離画像復号部 106で復号す次に、復号して得られた距離画像と参照画像とから、視差補償画像生成部 107で視差補償画像を生成する (ステップ S14)。最後に、生成された視差補償画像を用いて、符号化対象画像を符号化対象画像符号化部 108で符号化する (ステップ S 15)

[0064] 図 3に示す画像符号化処理は、カメラ Bの一つの画像を符号化する際に行う処理を示しており、各時刻の画像についてこの処理を繰り返すことにより、多視点動画像の符号化を行うことができる。

[0065] なお、距離画像符号化部 105では、既存の任意の符号化手法を用いて構わない。

静止画像として JPEG2000のような画像符号化方式を適用してもよいし、他の時刻の参照画像に対して生成された距離画像と共に、 H. 264などの動画像符号化方式を適用してもよ!/、し、画素値を単純に可変長符号化してもよレ、。

ただし、距離画像復号部 106は、距離画像符号化部 105で用いた方式で生成される符号化データを復号できるものでなければならない。

[0066] また、本発明を多視点動画像符号化に用いる場合、符号化対象画像符号化部 10 8では、視差補償画像を利用して符号化を行う符号化方式であれば、任意のものを用いること力 Sでさる。

例えば、視差補償画像と符号化対象画像の差分画像を生成して符号化する方式や、差分画像をそのまま符号化するのではなぐ異なる時刻の差分画像と H. 264で用いられる動き補償を行って符号化する方式や、視差補償画像を用いて行う映像予測と、動き補償によって行う映像予測とを比べて予測効率のよい予測法を使って符号化する方式などがある。

[0067] 本実施の形態では、画像符号化装置 100の内部で距離画像を生成する方式を取つて!/、る力センサ等を用いて外部で生成した距離画像をそのまま用いても構わない。その場合には、距離画像生成部 104が不要となり、図 3のフローチャートにおけるステップ S 11の処理を省略することができる。

さらに、距離画像符号化部 105において可逆符号化方式を用いる場合には、距離画像復号部 106が不要となり、図 3のフローチャートにおけるステップ S 13の処理を省略すること力 Sできる。ただし、その場合には、距離画像がそのまま視差補償画像生成部 107に入力されることになる。

[0068] 図 4は、距離画像生成部 104による距離画像生成処理フローチャートである。

ここでは、図 3のステップ S 1 1における符号化対象画像と参照画像とから距離画像を生成する距離画像生成処理について、より詳細に説明する。

図 4のフローチャートでは、参照画像を複数のブロックに分割して、ブロックごとに距離を求める処理を行っている。ここで、ブロックのサイズをすベて 1 X 1 (画素）とすると、画素ごとに距離を求めることに相当する。

この距離を設定する単位となるブロックを、参照画像を領域分割して符号化処理するときの符号化処理ブロックに合わせるような実施も好適である。なお、各ブロックを示すインデックスを blkと表し、一つの画像に対するブロック数を maxBlkと表す。

[0069] blkを 0に初期化した後（ステップ S20)、 blkを 1ずつ加算しながら（ステップ S35)、 blkが maxBlkになるまで（ステップ S36)、ブロックごとに、ステップ S21〜ステップ S3 6の処理を繰り返して実行する。

[0070] ブロックごとに行われる処理では、まず、インデックス blkのブロックの参照画像の画素空間上の位置求め、 blk— posとする（ステップ S21)。

ここで、距離候補を示すインデックスを depthと表し、その最小値を minDepthと表し、最大値を maxDepthと表す。 minDepthと maxDepthは、撮影する風景を考慮して任意に与えられる符号化時のパラメータである。

また、以下の処理で各距離候補に対して評価を行っていくのである力その評価値として絶対に取りえない最大値を maxCostと表す。さらに、繰り返し評価を行うために、最も良かった評価値を minCostと表し、そのときの距離候補インデックスを best Depthと表すこととする。

[0071] depthを minDepthに初期化し、 minCostを maxCostに初期化した後（ステップ S 22)、 depthを 1ずつ加算しながら（ステップ S32)、 depthが maxDepthになるまで（ステップ S33)、距離候補ごとに、ステップ S23〜ステップ S33の処理を繰り返して実行する。

そして、 depthが maxDepthになったときに、 bestDepthに格納されているものを、ブロックインデックス blkに対する距離の値と決定する（ステップ S34)。

[0072] 以下、距離候補ごとに行われる処理 (ステップ S23〜ステップ S33)について説明する。

まず、距離画像符号化部 105で用いられる符号化方式を考慮して、距離画像の W k—posの位置の距離が depthとなった場合、その depthを符号化するのに必要な符号量を求め rateとする（ステップ S23)。これは実際の符号量であっても、符号量の予測値であっても構わない。

次に、 depthを符号化して復号したときに得られる値を求め dec— depthとする（ステツプ S24)。そして、 blk— posの位置におけるカメラから被写体までの距離力 S、 dec —depthで与えられる距離である場合の視差ベクトルを求め、 DISP— Vとする（ステップ S25)。この視差ベクトルは、次の数式（1)によって求めることができる。

[0073] 國

"p Soik pos 賺 P— V « p - e (_{1 }}

[0074] 数式（1)において、太字になっている変数はベクトルを表し、大文字の変数は行列を表す。

行列 Aはカメラの内部パラメータ行列を表し、行列 Rはカメラの回転行列を表し、ベタトル tはカメラの並進ベクトルを表す。なお、添え字 tは符号化対象画像を撮影したカメラのパラメータであることを示し、添え字 rは参照画像を撮影したカメラのパラメ一タであることを示す。

[0075] dは、距離インデックス dec— depthで表されるカメラ力、ら被写体までの距離を表す。

「〜x」（〜は Xの上部に付される）は、ベクトル Xの斉次ベクトル（同次ベクトル）を示す。また、「χ」 Γは Xの上部に付される）は、ベクトル Xの斉次ベクトルのうち、最終成分力である斉次ベクトルを示す。なお、 N次元ベクトルに対する斉次ベクトルは、 N+ 1 個の要素を持つ。この斉次ベクトルの N+ 1番目の成分で、 1〜N番目の成分を除算した値を 1〜N次元目の成分として持つベクトルが、斉次ベクトルに対する通常のベタトル（上記の例ではベクトル X)となる。つまり、 N次元ベクトルに関しては、次の関係が成り立つ c

[0076] [数 2]

( χ_ί 、

x：ただし ≠0

f、

[0077] DISP—Vが求められた Xら J、その各成分を整数化した予測対象ベクトル TAR— Vを求める（ステップ S26)。整数化する方法は、

1)小数部分を切り捨てる方法、

2)四捨五入をする方法、

のどちらを用いてもよい。そして、参照対象ベクトル REF— Vを、次の数式（2)によつて求める（ステップ S27)。

[0078] REF _V=TAR_ V— DISP V (2) このとき、 blk— posに含まれるすべての画素 pに対して、符号化対象画像上の位置 p + TAR— Vと参照画像上の位置 p + REF— Vが対応点となる。

この対応点の確からしさの評価値、すなわち符号化対象画像の位置 blk— pos + T AR—Vのブロックを参照画像の位置 blk— pos + DISP—Vのブロックで予測するとしたときの予測誤差を求め、 diffとする（ステップ S28)。

確からしさの評価には、差分絶対値和や、二乗誤差和や、差分値の分散や、相関係数などの任意の尺度を用いることができる。一例として、差分絶対値和による評価式は、以下の数式（3)によって示される。

[0079] 園

[0080] 数式（3)において、 Iは、引数で与えられる位置の画像の画素値を返す関数を表す。 p + TAR— Vは必ず整数画素位置を示す力 p + REF— Vは必ずしも整数画素位置を示しているとは限らない。整数画素位置以外の位置の値は、周辺の画素の値からフィルタ処理等によって生成すること力 Sできる。また、与えられる位置に対して厳密にその位置に対応する値を求める必要はなぐある程度の小数画素位置までの値しか求めず、最も近い点のものを用いてもよい。

[0081] このようにして求められた rateと diffに対して、距離候補を多視点動画像の符号化効率という面から評価するために、次の数式 (4)で示されるレート歪コスト costを計算する（ステップ S29)。

[0082] cost = diff + λ X rate (4) 数式 (4)において、 λはラグランジュの未定乗数であり、あらかじめ設定された値が利用される。符号化効率ではなぐ単純な予測誤差だけで距離候補を評価する場合は、 λ = 0に相当する。ここで求められる costは、小さいほど良い。

[0083] 距離候補 depthの評価値 costをこれまでの距離候補における最良の評価値 minC ostと比べ（ステップ S30)、評価が良いようであれば、距離候補 depthを最良候補 be stDepthとして保存し、最良評価値 minCostを costで書き換える（ステップ S31)。そして、距離候補インデックス depthを 1だけ増して (ステップ S32)、まだ別の距離候補があるならば、その距離候補に対して同様の処理を繰り返す (ステップ S33)。

[0084] 図 5は、視差補償画像生成部 107による視差補償画像生成処理フローチャートである。ここでは、図 3のステップ S 14における、距離画像と参照画像とから視差補償画像を生成する視差補償画像生成処理について、より詳細に説明する。

図 5のフローチャートでは、距離が与えられる参照画像のブロックごとに、視差補償画像を生成する処理を行っている。なお、各ブロックを示すインデックスを blkと表し、一つの画像に対するブロック数を maxBlkと表す。

[0085] blkを 0に初期化した後（ステップ S40)、 blkを 1ずつ加算しながら（ステップ S47)、 blkが maxBlkになるまで（ステップ S48)、ブロックごとに、ステップ S41〜ステップ S4 8の処理を繰り返して実行する。

[0086] ブロックごとに行われる処理では、まず、インデックス blkのブロックの参照画像の画素空間上の位置求め、 blk— posとし（ステップ S41)、距離画像からブロック blkの距離 dを得

そして、 blk—posの位置におけるカメラから被写体までの距離力 dで与えられる距離である場合の視差ベクトル DISP— Vを求める（ステップ S43)。 DISP— Vは、次の数式（5)によって求めることがで

きる。

[0087] [数 4]

^JpE.blk pos

e A,Rf ^l I R ^pd + ■ )'

DISP V ^ p -e ）

[0088] 数式（1)と同様に、数式（5)において、太字になっている変数はベクトルを表し、大文字の変数は行列を表す。行列 Aはカメラの内部パラメータ行列を表し、行列 Rは力メラの回転行列を表し、ベクトル tはカメラの並進ベクトルを表す。なお、添え字 tは符号化対象画像を撮影したカメラのパラメータであることを示し、添え字 rは参照画像を撮影したカメラのパラメータであることを示す。「〜x」（〜は Xの上部に付される）は、ベ )斉次ベクトル（同次ベクトル）を示す。また、「χ」 Γは Xの上部に付される）は )斉次ベクトルのうち、最終成分が 1である斉次ベクトルを示す。

[0089] DISP— Vが求められたら、その各成分を整数化した予測対象ベクトル TAR—Vを求める（ステップ S44)。整数化する方法は、

1)小数部分を切り捨てる方法、

2)四捨五入をする方法、

のどちらを用いてもよいが、距離画像生成を行った場合には、距離画像生成部 104 での図 4に示すステップ S26の処理で用いられた方法と同様の方法を用いる。

次に、参照対象ベクトル REF— Vを次の数式（6)によって求める（ステップ S45)。

[0090] REF _V=TAR V— DISP V (6) そして、 blk— posに含まれるすべての画素 pに対して、視差補償画像の位置 p + T AR— Vの画素値を、参照画像上の位置 p + REF— Vの値で補償する（ステップ S46 )。ここで、 p + REF— Vは、整数画素位置を示しているとは限らない。整数画素位置以外の位置の値は、周辺の画素の値からフィルタ処理等によって生成することができる。また、与えられる位置に対して厳密にその位置に対応する値を求める必要はなく、ある程度の小数画素位置までの値しか求めず、最も近い点のものを用いてもよい。しかし、距離画像が距離画像生成部 104で生成されたものである場合には、図 4に示すステップ S28の処理で用いられた方法と同様の方法を用いる。

[0091] 以上の実施例において、ブロックサイズをすベて 1 X 1とすると、画素ごとに距離を求めることになる力参照画像を n X m画素（n、 mは可変）のブロックで分割し、参照画像を領域分割したブロックごとに距離 (疑似距離)を設定し、その領域分割を示す情報と領域ごとの距離 (疑似距離)とを符号化するようにしてもよい。

このように参照画像を領域分割したブロックごとに距離 (疑似距離)を設定する場合に、参照画像が、画像全体を領域分割されて各領域ごとに符号化処理され、その領域分割情報と共に符号化されているときには、参照画像の符号化データに含まれる領域分割情報に従って、同様の領域分割を設定し、領域分割を示す情報の符号化を省略することあでさる。

[0092] また、参照画像の符号化処理ブロックに関する領域分割と、上記の距離を設定する領域分割とが異なる場合に、距離を設定するブロックを定める領域分割を示す情報の符号化では、参照画像の符号化データに含まれる領域分割情報の示す領域分割との違いを表す情報だけを符号化することにより、符号量の増加を抑えるようにしてもよい。

[0093] また、上記距離 (疑似距離）の符号化では、既に符号化済みの距離の中から 1つの参照距離を選択し、その参照距離を示す情報と、符号化対象の距離とその参照距離との差異とを符号化することにより、符号量の増加を抑えることもできる。

[0094] また、上記距離 (疑似距離)の符号化では、 1つの参照画像に対して与えられる疑似距離群を画像とみなし、それらの疑似距離の集合を JPEG等の所定の画像符号化方法を用いて符号化するようにしてもょレ、。

[0095] 次に、このように生成された符号化データを復号する本発明の画像復号装置 200 について説明する。 [0096] 図 6は、本発明の実施の形態による画像復号装置の構成例を示す図である。

画像復号装置 200は、距離画像を復号する距離画像復号部 201と、参照画像であるカメラ Aの復号画像を格納する参照画像メモリ 202と、復号された距離画像と参照画像とから視差補償画像を生成する視差補償画像生成部 203と、生成された視差補償画像を参照しながら符号化対象画像の符号化データを復号する符号化対象画像復号部 204とを備える。

[0097] 図 7は、画像復号装置による画像復号処理フローチャートである。図 7では、カメラ B の画像を 1フレーム復号する上でのフローチャートを示している。以下、図 7に示すフローチャートを詳細に説明する。なお、復号されるフレームと同時刻のカメラ Aの画像のフレームは先立って復号されているものとし、その復号画像が参照画像として参照画像メモリ 202に格納されているものとする。

[0098] まず、距離画像復号部 201で、距離画像の符号化データを復号する（ステップ S 50 )。次に、復号した距離画像と参照画像メモリ 202に格納されている参照画像とを用いて、視差補償画像生成部 203で視差補償画像を生成する (ステップ S51)。最後に、生成された視差補償画像を参照しながら、符号化対象画像の符号化データを符号化対象画像復号部 204で復号する (ステップ S 52)。

[0099] ここで、符号化対象画像復号部 204で行われる処理は、画像符号化装置 100の内部の符号化対象画像符号化部 108で用いられた符号化方式に準じたものを用いる。つまり、符号化対象画像符号化部 108で視差補償画像と符号化対象画像の差分を符号化する方式を用いている場合には、符号化対象画像復号部 204は、与えられた符号化データを復号し、生成した視差補償画像と足し合わせることで、符号化対象画像の復号画像を得る。

[0100] なお、画像復号装置 200内の距離画像復号部 201は、画像符号化装置 100内の距離画像復号部 106と同じ処理を行うものである。

画像復号装置 200内の視差補償画像生成部 203は、画像符号化装置 100内の視差補償画像生成部 107と同じ、図 5に示す処理を行うものである。

[0101] 本実施の形態では、距離画像の符号化データが与えられる形式を取っているが、別の方法で距離画像が与えられる場合には、距離画像復号部 201は不要であり、図 7のフローチャートにおけるステップ S50の処理を省略することができる。その場合には、与えられた距離画像がそのまま視差補償画像生成部 203で用いられる。

[0102] 図 4のフローチャートのステップ S26の処理と、図 5のフローチャートのステップ S44 の処理における TAR—Vを生成する部分で、各成分を整数にするだけでなぐ各成分を、視差ベクトルの対応する各成分に最も近!、符号化処理ブロックサイズの整数倍にしてもよい。

[0103] このとき、図 4のフローチャートのステップ S28の処理において、 blk— pos + TAR —Vは必ず 1つの符号化処理ブロックを示すため、符号化対象画像の blk— pos + T AR—Vで表されるブロックを符号化するのに必要な符号量 codeを求め、その符号化を行った際の原画像と復号画像の二乗誤差和 SSDを求め、 diffを次の数式（7)で求めることで、実際の符号量と映像品質との間の関係を鑑みて距離画像を生成できるため、より高効率な符号化を達成できる。

[0104] diff = SSD+ λ ' X code (7) 数式（7)において、 λ 'はラグランジュの未定乗数であり、あらかじめ設定された値が利用される。

[0105] なお、本実施の形態では、符号化対象画像を撮影しているカメラが 1台の場合を取り扱った。カメラが 2台以上の場合でも、次に説明する処理を除き、同じ処理で画像符号化および復号が行える。

カメラが 2台以上の場合には、図 4に表される距離画像を生成する処理のフローチヤートにおけるステップ S25〜ステップ S28の処理を符号化対象画像ごとに行い、それぞれで求められた diffの合計値を diffとして距離候補の評価を行って距離画像を生成する。

[0106] 以上の画像符号化の処理は、ハードウェアやファームウェアに限らず、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンビユータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。 [0107] 以上、図面を参照して本発明の実施の形態を説明したが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神および範囲を逸脱しない範囲で、上記実施の形態に対し構成要素の追加、省略、置換、その他の変更を行ってもよい。

産業上の利用可能性

[0108] 本発明によれば、参照画像の整数画素を基準として与えられる符号化対象画像の対応点情報から、符号化対象画像の整数画素の位置に対応する参照画像の小数画素単位の位置を、精度よく低演算コストで求めることができ、より細かい視差に対応した視差補償を実現し、多視点画像全体としての高効率な画像符号化を実現すること力 Sできる。

Claims

請求の範囲

[1] 複数のカメラで撮影された多視点画像を符号化するにあたり、既に符号化済みの参照画像と、前記複数のカメラのうち前記参照画像を撮影したカメラから被写体までの距離とを用いて、カメラ間で画像を予測しながら符号化を行う画像符号化方法であつて、

前記参照対象ベクトルによって示される参照画像上の整数もしくは小数画素位置の画素値を、前記予測対象ベクトルによって示される符号化対象画像上の画素の予測値とすることで、カメラ間の画像予測を行うカメラ間画像予測ステップとを有することを特徴とする画像符号化方法。

[2] 請求項 1に記載の画像符号化方法にお!/、て、

前記参照画像の各画素に対して、ェピポーラ幾何拘束に基づいて、前記参照画像から、符号化対象の画像を予測する際の対応点を示す疑似距離を設定する疑似距離設定ステップと、

前記疑似距離設定ステップで設定された疑似距離を符号化する疑似距離符号化前記視差ベクトル設定ステップでは、前記疑似距離を前記参照画像の各画素に対して与えられる距離として用いる

ことを特徴とする画像符号化方法。

[3] 請求項 2に記載の画像符号化方法において、

前記疑似距離設定ステップは、

前記推定予測対象ベクトルと前記推定参照対象ベクトルとを用いてカメラ間の画像予測を行う処理を、全く同じ状態の被写体を撮影した各符号化対象画像に対して行った際の、予測誤差の合計が最も小さくなる場合の前記推定疑似距離を、前記疑似距離として設定する過程と

を有することを特徴とする画像符号化方法。

[4] 請求項 3に記載の画像符号化方法において、

前記疑似距離設定ステップでは、前記予測誤差の合計値と、前記推定疑似距離を符号化するのに必要な符号量に重みを付けた値との和で表されるレート歪コストが最小になるように前記疑似距離を設定する

ことを特徴とする画像符号化方法。

[5] 請求項 2に記載の画像符号化方法において、

前記疑似距離符号化ステップで符号化された疑似距離の符号化データを復号する符号化済み疑似距離復号ステップを有し、

前記視差ベクトル設定ステップでは、前記符号化済み疑似距離復号ステップで復号して得られた復号疑似距離を前記参照画像の各画素に対して与えられる距離として用いることを特徴とする画像符号化方法。

[6] 請求項 2に記載の画像符号化方法において、

参照画像における領域分割を設定する領域分割設定ステップを有し、前記疑似距離設定ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を設定し、

前記疑似距離符号化ステップでは、前記領域分割設定ステップで設定された領域ごとに前記疑似距離を符号化する

ことを特徴とする画像符号化方法。

[7] 請求項 6に記載の画像符号化方法において、

前記領域分割設定ステップで設定された領域分割を示す情報を符号化する領域分割符号化ステップを更に有する

ことを特徴とする画像符号化方法。

[8] 請求項 6に記載の画像符号化方法において、

前記参照画像が、画像全体を領域分割され、各領域ごとに、その領域分割情報と共に符号化されて!/、る場合に、

前記領域分割設定ステップでは、参照画像の符号化データに含まれる領域分割情報に従って、同様の領域分割を設定する

ことを特徴とする画像符号化方法。

[9] 請求項 7に記載の画像符号化方法において、

前記領域分割符号化ステップでは、参照画像の符号化データに含まれる領域分割情報の示す領域分割との違いを表す情報のみを符号化する

ことを特徴とする画像符号化方法。

[10] 請求項 2に記載の画像符号化方法において、

前記疑似距離符号化ステップでは、既に符号化済みの疑似距離の中から 1つの参照疑似距離を選択し、その参照疑似距離を示す情報と、前記疑似距離設定ステップで設定された疑似距離とその参照疑似距離との差異とを符号化することを特徴とする画像符号化方法。

[11] 請求項 2に記載の画像符号化方法において、

前記疑似距離符号化ステップでは、 1つの参照画像に対して設定される疑似距離群を画像とみなし、それらの疑似距離の集合を所定の画像符号化方法を用いて符号化する

ことを特徴とする画像符号化方法。

[12] 請求項 1に記載の画像符号化方法におレ、て、

前記予測対象ベクトル設定ステップでは、各成分が前記視差ベクトルの各成分に最も近い符号化処理ブロックサイズの整数倍の値を持つベクトルを予測対象べクトノレとする

ことを特徴とする画像符号化方法。

[13] 複数のカメラで撮影された多視点画像の符号化データを復号するにあたり、既に復号済みの参照画像と、前記複数のカメラのうち前記参照画像を撮影したカメラ力被写体までの距離とを用いて、カメラ間で画像を予測しながら画像を復号する画像復号方法であって、

前記参照画像の各画素に対して与えられる前記距離と、前記参照画像を撮影したカメラと復号対象画像を撮影した各カメラとの位置関係とに基づいて、各復号対象画像上での対応点を求め、前記参照画像の画素位置から前記復号対象画像上での対応点へと向力、う画素空間上の視差ベクトルを算出する視差ベクトル設定ステップと、前記視差ベクトルと同じ始点を持ち、前記視差ベクトルの各成分の小数部分の切り捨てまたは各成分の値に最も近い整数値の選択により、前記視差べ外ルの各成分を整数値に丸めた値を、ベクトルの各成分として持つ予測対象ベクトルを算出する予測対象ベクトル設定ステップと、

前記参照対象ベクトルによって示される参照画像上の整数もしくは小数画素位置の画素値を、前記予測対象ベクトルによって示される復号対象画像上の画素の予測値とすることで、カメラ間の画像予測を行うカメラ間画像予測ステップとを有することを特徴とする画像復号方法。

[14] 請求項 13に記載の画像復号方法において、

符号化データから、前記参照画像から復号対象画像を予測する際の対応点をェピポーラ幾何拘束に基づいて示す疑似距離を復号する疑似距離復号ステップを有し、前記視差ベクトル設定ステップでは、前記疑似距離を前記参照画像の各画素に対して与えられる距離として用いる

ことを特徴とする画像復号方法。

[15] 請求項 13に記載の画像復号方法において、

符号化データから、参照画像における領域分割を示す情報を復号する領域分割復号ステップを有し、

前記疑似距離復号ステップでは、前記領域分割復号ステップで復号された情報の示す領域ごとに与えられた疑似距離を復号する

ことを特徴とする画像復号方法。

[16] 請求項 15に記載の画像復号方法において、

前記領域分割復号ステップでは、参照画像の符号化データに含まれる領域分割情報を復号する

ことを特徴とする画像復号方法。

[17] 請求項 15に記載の画像復号方法において、

前記領域分割復号ステップでは、参照画像の符号化データに含まれる領域分割情報の示す領域分割との違いを表す情報を復号し、参照画像の符号化データに含まれる領域分割情報と、前記違！、を表す情報とを用いて領域分割を設定する

ことを特徴とする画像復号方法。

[18] 請求項 14に記載の画像復号方法において、前記疑似距離復号ステップでは、符号化データから、既に符号化済みの複数の疑似距離の中の 1つの参照疑似距離を示す情報と、復号対象の疑似距離と前記参照疑似距離との差異を示す情報とを復号して、前記疑似距離を復号する

ことを特徴とする画像復号方法。

[19] 請求項 14に記載の画像復号方法において、

前記疑似距離復号ステップでは、 1つの参照画像に対して与えられる疑似距離群を画像とみなし、符号化データから、前記疑似距離群を、所定の画像復号方法を用いて復号する

ことを特徴とする画像復号方法。

[20] 請求項 13に記載の画像復号方法において、

前記予測対象ベクトル設定ステップでは、各成分が前記視差ベクトルの各成分に最も近い復号処理ブロックサイズの整数倍の値を持つベクトルを予測対象ベクトルとする

ことを特徴とする画像復号方法。

[21] 請求項 1に記載の画像符号化方法における各ステップを実行するための手段を備える

ことを特徴とする画像符号化装置。

[22] 請求項 2に記載の画像符号化方法における各ステップを実行するための手段を備える

ことを特徴とする画像符号化装置。

[23] 請求項 1に記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラム。

[24] 請求項 2に記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラム。

[25] 請求項 1に記載の画像符号化方法における各ステップをコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

[26] 請求項 13に記載の画像復号方法における各ステップを実行するための手段を備えることを特徴とする画像復号装置。

[27] 請求項 13に記載の画像復号方法における各ステップをコンピュータに実行させるための画像復号プログラム。

[28] 請求項 13に記載の画像復号方法における各ステップをコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。