JP5531282B2 - 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 - Google Patents

多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP5531282B2
JP5531282B2 JP2012136560A JP2012136560A JP5531282B2 JP 5531282 B2 JP5531282 B2 JP 5531282B2 JP 2012136560 A JP2012136560 A JP 2012136560A JP 2012136560 A JP2012136560 A JP 2012136560A JP 5531282 B2 JP5531282 B2 JP 5531282B2
Authority
JP
Japan
Prior art keywords
image
distance information
pixel
decoding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012136560A
Other languages
English (en)
Other versions
JP2012213207A (ja
Inventor
信哉 志水
英明 木全
一人 上倉
由幸 八島
正幸 谷本
俊彰 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Original Assignee
Nagoya University NUC
Nippon Telegraph and Telephone Corp
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya University NUC, Nippon Telegraph and Telephone Corp, Tokai National Higher Education and Research System NUC filed Critical Nagoya University NUC
Priority to JP2012136560A priority Critical patent/JP5531282B2/ja
Publication of JP2012213207A publication Critical patent/JP2012213207A/ja
Application granted granted Critical
Publication of JP5531282B2 publication Critical patent/JP5531282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は,多視点画像および多視点動画像において,既知の映像信号と距離情報とを用いて,別の視点の距離情報や映像信号を生成する方法である。また,それを用いた多視点画像および多視点動画像の符号化および復号技術に関するものである。
多視点画像とは,複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり,多視点動画像(多視点映像)とは,その動画像のことである。以下では,1つのカメラで撮影された動画像を“2次元動画像”と呼び,同じ被写体と背景を撮影した2次元動画像群を多視点動画像と呼ぶ。
2次元動画像は,時間方向に関して高い相関があり,その相関を利用することによって符号化効率を高めている。一方,多視点画像や多視点動画像では,各カメラが同期されていた場合,同じ時間に対応した各カメラの映像は全く同じ状態の被写体と背景を別の位置から撮影したものなので,カメラ間で高い相関がある。多視点画像や多視点動画像の符号化においては,この相関を利用することによって符号化効率を高めることができる。
まず,2次元動画像の符号化技術に関する従来技術を述べる。国際符号化標準であるH.264,MPEG−2,MPEG−4をはじめとした従来の多くの2次元動画像符号化方式では,動き補償,直交変換,量子化,エントロピー符号化という技術を利用して,高効率な符号化を行う。動き補償と呼ばれる技術がフレーム間の時間相関を利用する方法である。
H.264で使われている動き補償技術の詳細については,下記の非特許文献1に記載されているが,以下で概要を説明する。H.264の動き補償では,符号化対象フレームを様々なサイズのブロックに分割し,各ブロックで異なる動きベクトルを持つことを可能にし,局所的な映像変化に対しても高い符号化効率を達成している。また,参照フレームの候補として,符号化対象フレームに対して過去もしくは未来の既に符号化済みの複数枚のフレームを用意し,各ブロックで異なる参照フレームを用いることを可能にしている。これによって,時間変化によってオクルージョンが生じるような映像に対しても高い符号化効率を達成している。
次に,従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と,多視点動画像の符号化方法との違いは,多視点動画像にはカメラ間の相関に加えて,時間方向の相関が同時に存在するということである。しかし,カメラ間の相関を利用する方法はどちらの場合でも,同じ方法を用いることができる。そのため,ここでは多視点動画像の符号化において用いられる方法について説明する。
多視点動画像の符号化については,動き補償を同じ時刻の異なる視点に置かれたカメラで撮影された画像に適用した“視差補償”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで,視差とは,異なる位置に配置されたカメラの画像平面上で,被写体上の同じ位置が投影される位置の差である。
図17に,このカメラ間で生じる視差の概念図を示す。この概念図では,光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。一般的に,異なるカメラの画像平面上で被写体上の同じ位置が投影される位置は対応点と呼ばれる。視差補償は,この対応関係に基づいて,符号化対象フレームの各画素値を参照フレームから予測して,その予測残差と,対応関係を示す視差情報とを符号化する。
多くの手法では,視差を画像平面上でのベクトルとして表現する。例えば,非特許文献2では,ブロック単位で視差補償を行う仕組みを用いているが,ブロック単位の視差を2次元ベクトルで,すなわち2つのパラメータ(x成分およびy成分)で表現する。つまり,この手法では,2パラメータで構成される視差情報と予測残差を符号化する。
一方,非特許文献3に記載の手法では,カメラパラメータを符号化に利用し,エピポーラ幾何拘束に基づき視差ベクトルを1次元の情報として表現することにより,予測情報を効率的に符号化する。
エピポーラ幾何拘束の概念図を図18に示す。エピポーラ幾何拘束によれば,2台のカメラ(カメラ1とカメラ2)において,片方の画像上の点に対応するもう片方の画像上の点は,エピポーラ線という直線上に拘束される。なお,この手法ではエピポーラ線上の位置を示すために,カメラから被写体までの距離という1つのパラメータを用いている。
エピポーラ幾何拘束によって距離が示す情報は被写体の三次元位置であり,被写体の三次元位置はカメラに因らないため,同じ被写体上の点に対して複数の距離を符号化することは冗長であり符号化効率を低下してしまう。そのため,符号化対象フレームごとに,そのフレームを撮影したカメラから被写体までの距離を符号化する非特許文献3の手法では,同じ被写体に対する距離情報を複数符号化することが生じるため,効率的な符号化を実現することができない。
一方,特許文献1の手法では,この問題を解決するために,参照フレームに対して,そのフレームを撮影しているカメラから被写体までの距離を符号化することで,カメラの台数にかかわらず,同じ参照フレームを利用する符号化対象フレームにおける視差補償を実現し,効率的な符号化を実現している。
従来の視差補償画像を予測画像として用いる符号化処理および復号処理の例を,図19ないし図22に示すフローチャートに従って説明する。
図19は,従来の符号化処理の全体の処理の流れを示す。まず,符号化対象フレーム,参照フレームおよび参照距離情報を入力する[X1]。参照距離情報は,参照フレームの各画素ごとの被写体からカメラまでの距離を示す情報である。次に,入力した参照距離情報を用いて,参照フレームの各画素の符号化対象フレームに対する視差ベクトルを計算する[X2]。視差ベクトルを算出したならば,参照フレームの各画素の映像信号を視差ベクトルによって示される画素に複写して視差補償画像を生成する[X3]。その後,同位置の視差補償画像を予測画像として用いながら,符号化対象フレームをブロックごとに符号化する[X4]。
図20に,図19の信号符号化処理X4の詳細フローを示す。符号化対象フレームをブロックごとに符号化するにあたって,まずブロックのインデックスblkを0に初期化する[X401]。次に,インデックスblkで示されるブロックについて,図19の処理X3で生成した視差補償画像Synth[blk]を予測画像候補として使用しながら,入力した符号化対象フレームOrg[blk]を符号化する[X402]。その後,blkに1を加算し[X403],blkがフレームのブロック数numBlksになるまで[X404],すなわち,フレーム内の全ブロックの符号化が終了するまで,処理[X402]に戻って同様に処理を繰り返す。
図21は,従来の復号処理の全体の処理の流れを示す。まず,復号対象フレームの符号化データ,参照フレームおよび参照距離情報を入力する[Y1]。次に,入力した参照距離情報を用いて,参照フレームの各画素の復号対象フレームに対する視差ベクトルを計算する[Y2]。視差ベクトルを算出したならば,参照フレームの各画素の映像信号を視差ベクトルによって示される画素に複写して視差補償画像を生成する[Y3]。その後,同位置の視差補償画像を予測画像として用いながら,復号対象フレームをブロックごとに復号する[Y4]。
図22に,図21の信号復号処理Y4の詳細フローを示す。復号対象フレームをブロックごとに復号するにあたって,まずブロックのインデックスblkを0に初期化する[Y401]。次に,インデックスblkで示されるブロックについて,図21の処理Y3で生成した視差補償画像Synth[blk]をカメラ間予測時の予測信号として使用しながら,入力した復号対象フレームDec[blk]を復号する[Y402]。その後,blkに1を加算し[Y403],blkがフレームのブロック数numBlksになるまで[Y404],すなわち,フレーム内の全ブロックの復号が終了するまで,処理[Y402]に戻って同様に処理を繰り返す。
"Editor's Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec. H.264 |ISO/IEC 14496-10 AVC), Draft 7" ,Document JVT-E022d7 ,September 2002.(pp.10-13,pp.62-73) Hideaki. Kimata and Masaki. Kitahara,"Preliminary results on multiple view video coding(3DAV) ",document M10976 MPEG Redmond Meeting,July,2004. Sehoon Yea,Jongdae Oh,Serdar Ince ,Emin Martinian,and Anthony Vetro ,"Report on Core Experiment CE3 of Multiview Coding ,"Joint Video Team(JVT) of ISO/IEC MPEG & ITU-T VCEG Doc. JVT-T106,July 2006.
特開2007−036800号公報
従来の多視点動画像の符号化方法によれば,カメラパラメータが既知である場合に,エピポーラ幾何拘束を利用して,カメラの台数にかかわらず,参照フレームに対してカメラから被写体までの距離という1次元情報を符号化するだけで,全カメラの符号化対象フレームに対する視差補償が実現でき,多視点動画像を効率的に符号化することが可能である。
しかしながら,従来の手法では参照フレームの領域ごとに視差を示す情報が与えられるため,符号化対象フレームのある領域に対する視差を直接求めることができない。そのため,従来手法では,あるフレームの符号化処理を開始する前に,参照フレームの映像信号とそのフレーム対して与えられた距離情報とから,符号化対象フレームの各領域が視差補償予測を用いるかどうかにかかわらず,符号化対象フレーム全体の視差補償予測による予測映像信号を生成し,その予測映像信号を一時的に蓄積する必要がある。復号側も同様に,あるフレームの復号処理を開始する前に,復号対象フレームの各領域が視差補償予測を用いて符号化されているかどうかにかかわらず,復号対象フレーム全体の視差補償による予測映像信号を生成し,その予測映像信号を一時的に蓄積する必要がある。
また,オクルージョンやノイズ,輝度変化の影響を受けて予測品質の低下を抑えるために,ある処理対象フレームに対して,複数の参照フレームを視差補償予測に利用する場合,その枚数と同じフレーム数の予測映像信号を一時的に蓄積可能な容量のメモリを備えなければならない。
多視点動画像の符号化・復号処理では,視点数と同じ数の2次元動画像を同時に処理しなくてはならない。そのため,視点ごとに必要となるメモリ量が大きい場合,全体として非常に大容量のメモリが必要となってしまう。このことは,コスト・消費電力・データ転送時間・小型化などの面で非常に大きな問題である。
さらに,H.264/AVCなどが符号化効率向上のために採用している方式のように,あるブロックの映像信号を符号化するにあたって,複数存在する映像予測方法から1つの方法を選択して符号化が行われている場合,カメラ間での映像予測が行われてないブロックが多数存在する。しかしながら,従来手法ではあるフレームを処理する前に,そのフレーム全体に対して視差補償予測した場合の予測信号を生成しなくてはならない。このことは復号時に必要のない無駄な演算を行っていることになり,リアルタイム処理および消費電力の削減のためには大きな問題である。
また,従来手法では参照フレームの領域ごとに処理フレーム上の対応領域を求めるため,処理対象フレームのブロック内では複数の視差ベクトルが用いられることになる。この場合,予測信号において自然画像では存在しないブロックノイズと呼ばれる不連続な映像信号が生成される。このような不連続な予測信号を用いた場合,その予測残差が通常とは異なる周波数成分を持つことになり,その符号化効率が低下するという問題がある。
本発明はかかる事情に鑑みてなされたものであって,処理対象フレーム(符号化対象フレームまたは復号対象フレーム)で用いる参照フレームに対して距離情報が与えられている際に,処理開始前に処理対象フレーム全体の予測映像信号を生成するのではなく,処理開始前に処理対象フレームの距離情報を生成し,ブロックごとにその生成された距離情報を用いて予測映像信号を生成することで,必要となるメモリ容量を削減し,また復号側での演算量を削減することが可能な効率的な多視点画像符号化を実現することを目的とする。
前述した課題を解決するために,本発明では,参照フレームに対して与えられた距離情報を用いて直接予測映像信号を生成・蓄積するのではなく,複数の参照フレームのそれぞれに対して与えられた距離情報から1つの処理対象フレームに対する距離情報を生成・蓄積し,必要に応じて処理ブロックごとに蓄積されている処理対象フレームに対する距離情報を用いて,その処理ブロックに対する予測映像信号のみを生成する。
これによってフレーム全体の予測映像信号ではなく,フレーム全体の距離情報のみを蓄積すれば済む。通常,映像信号は3チャンネル分のデータであり,距離情報は1チャンネル,つまりモノクロ映像分のデータであるため,これによって必要なメモリ容量を削減することが可能である。特に,複数の参照フレームを用いる場合に,距離情報は参照フレームによって変化しないため,1つの処理対象フレームに対して1フレーム分のデータだけを蓄積すれば十分であり,参照フレームの数と同じフレーム数分のデータを蓄積しなくてはならない従来手法よりも必要なメモリ容量が少なくなることは明らかである。
参照フレームに対して与えられた距離情報から処理対象フレームに対する距離情報を生成する処理は,まず参照フレームを撮影したカメラによって被写体が撮影される際の物理現象に従って被写体の三次元位置を復元し,次に復元された三次元位置を持った被写体が処理対象フレームを撮影したカメラによって撮影される際の物理現象に従って,処理対象フレームから撮影された被写体までの距離情報を復元する。このように,ここで行われる処理はカメラによる撮影プロセスという物理現象に従って行われるため,カメラ撮影による射影変換を十分にモデル化することが可能であれば,非常に高い精度で実現可能である。
複数の参照フレームを用いる場合,1つの参照フレームに対して与えられた距離情報から1つの処理対象フレームに対する距離情報を生成すると,参照フレーム数に等しいフレーム数の距離情報が生成されることになる。1フレーム分の符号化・復号処理を行う間,それらの全てを蓄積する場合には,予測映像信号を蓄積するほどではないが,多くのメモリが必要となる。そこで本発明では,上記の処理に加えて,生成された複数フレーム分の処理対象フレームに対する距離情報から,1フレーム分の処理対象フレームに対する距離情報を生成し,全ての参照フレームで共通して使用する手段を備える。
具体的には,各参照フレームに対して与えられた距離情報から処理対象フレームに対する距離情報をそれぞれ生成した後,同じ領域において複数得られた距離情報からフィルタ処理などによって1つの距離情報を生成することでメモリ量を削減する。
また,参照フレームによらない距離情報を生成することによって,オクルージョンの発生が検知できなくなる問題が生じる。これは生成された距離情報は,領域ごとに,対応関係が存在する参照フレームに対して,処理対象フレーム上の領域と参照フレーム上の領域との対応関係を与えるが,対応関係が存在するか否かの情報を含まないためである。そこで本発明では,上記の処理に加えて,処理ブロックの持つ距離情報と,そのブロックに対応する参照フレーム上のブロックの持つ距離情報とを比較することで,オクルージョンの発生を検知する手段を備える。
本発明によれば,使用する参照フレームの枚数によらず,少ない量のメモリのみを使用した多視点画像や多視点動画像の符号化および復号を実現することが可能になる。
参考例1の多視点映像符号化装置の構成例を示す図である。 参考例1における多視点映像符号化装置の処理フローチャートである。 参照カメラが1つの場合の参照距離情報から処理フレーム距離情報を生成する処理を詳細に示したフローチャートである。 ブロック毎に視点合成画像を画素ベースで生成しながら符号化対象フレームを符号化する処理を詳細に示したフローチャートである。 ブロック毎に視点合成画像をブロックベースで生成しながら符号化対象フレームを符号化する処理を詳細に示したフローチャートである。 実施例1の多視点映像符号化装置の構成例を示す図である。 実施例1における多視点映像符号化装置の処理フローチャートである。 実施例1の多視点映像符号化装置の派生形である多視点映像符号化装置の構成例を示す図である。 オクルージョンを考慮しながら視点合成画像を生成する処理を詳細に示したフローチャートである。 参考例2の多視点映像復号装置の構成例を示す図である。 参考例2における多視点映像復号装置の処理フローチャートである。 必要に応じて画素ベースで視点合成画像を生成しながらブロック毎に復号対象フレームを復号する処理を詳細に示したフローチャートである。 必要に応じてブロックベースで視点含成画像を生成しながらブロック毎に復号対象フレームを復号する処理を詳細に示したフローチャートである。 実施例2の多視点映像復号装置の構成例を示す図である。 実施例2における多視点映像復号装置の処理フローチャートである。 実施例2の多視点映像復号装置の派生形である多視点映像復号装置の構成例を示す図である。 カメラ間で発生する視差を概念的に示した図である。 カメラ間に存在するエピポーラ幾何拘束を概念的に示した図である。 従来の符号化処理の全体の処理フローチャートである。 図19の信号符号化処理X4を詳細に示したフローチャートである。 従来の復号処理の全体の処理フローチャートである。 図21の信号復号処理Y4を詳細に示したフローチャートである。
以下,本発明を実施の形態に従って詳細に説明する。なお,以下の説明では,映像や距離情報に対して,記号[]で挟まれた位置を特定可能な情報(座標値もしくは座標値に対応付け可能なインデックス)を付加することで,その位置の画素によってサンプリングされた映像信号や距離情報を示すものとする。また,距離情報はカメラから離れるほど大きな値を持つ情報であるとし,カメラパラメータを定義する三次元座標系における距離を与えるものとする。ただし,この条件を満たす距離情報に変換可能な情報(例えばインデックスを用いて各距離情報を表現したもの)であれば,変換を必要に応じて行うことで,本発明の手法を適用することによる効果を得ることが可能である。
以下の説明では,各カメラのカメラパラメータは既に得られているものとする。カメラ番号をviewとして,カメラの内部パラメータ行列をAview,回転行列をRview,並進ベクトルをtviewで表す。カメラパラメータの表現法には様々なものがあるため,以下で用いる数式は,カメラパラメータの定義に従って変更する必要がある。なお,本実施例では,画像座標mと世界座標Mの対応関係が,次の式で得られるカメラパラメータ表現を用いているものとする。
Figure 0005531282
チルダ記号は任意スカラ倍を許した斉次座標を表す。
〔多視点映像符号化装置(第1の参考例)〕
まず,本発明の実施例を説明するための第1の参考例(以下,参考例1)について説明する。ここで説明する参考例1では,2つのカメラで撮影された多視点動画像を符号化する場合を想定し,カメラ1で撮影された映像を参照画像として,カメラ2で撮影された映像を符号化する方法について説明する。
参考例1に係る映像符号化装置の構成図を,図1に示す。図1に示すように,多視点映像符号化装置100は,符号化対象となるカメラ2のフレームを入力する符号化対象画像入力部101と,入力された符号化対象フレームを蓄積する符号化対象画像メモリ102と,参照フレームとなるカメラ1のフレームを入力する参照カメラ画像入力部103と,その参照フレームを蓄積する参照カメラ画像メモリ104と,参照フレームに対する距離情報を入力する参照カメラ距離情報入力部105と,カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部106と,カメラの投影モデルに従って三次元点をカメラ2へと再投影する距離情報再投影部107と,符号化対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ108と,参照フレームの映像信号と符号化対象フレームに対する距離情報とから符号化対象フレームの合成画像を生成する視点合成画像生成部109と,その生成された合成画像を予測画像として使用しながら符号化対象フレームを符号化する画像符号化部110とを備える。
図2に,このようにして構成される多視点映像符号化装置100の実行する処理フローを示す。この処理フローに従って,参考例1の多視点映像符号化装置100の実行する処理について詳細に説明する。
まず,参照カメラ距離情報入力部105より参照距離情報RefDepthが入力される[A1]。この参照距離情報とは,参照フレームに対する距離情報のことである。ここで入力される参照距離情報は,一旦任意の符号化手法を用いて符号化され,その符号化データから復号されたものとする。これは復号装置で得られる情報と同じ情報を用いることで,ドリフト歪みと呼ばれる符号化ノイズの発生を抑えるためである。ただし,ドリフト歪みの発生を許容する場合には,符号化前のオリジナルの情報が入力されてもかまわない。
次に,参照距離情報から符号化対象フレームに対する距離情報であるところの処理フレーム距離情報CurDepthを生成し,処理フレーム距離情報メモリ108に蓄積する[A2]。ここでの処理は後で詳しく説明する。
その後,符号化対象画像入力部101より符号化対象フレームOrgが入力され,参照カメラ画像入力部103より参照フレームRefとなるカメラ1の画像が入力され,それぞれ符号化対象画像メモリ102および参照カメラ画像メモリ104に蓄積される[A3]。なお,参照カメラ画像入力部103では,一旦任意の符号化手法を用いて符号化され,その符号化データから復号された参照フレームRefが入力されるものとする。これは復号装置で得られる情報と同じ情報を用いることで,ドリフト歪みと呼ばれる符号化ノイズの発生を抑えるためである。ただし,ドリフト歪みの発生を許容する場合,符号化前のオリジナルの情報が入力されてもかまわない。
次に,視点合成画像生成部109で参照フレームと処理フレーム距離情報とを用いて符号化単位ブロックごとに視点合成画像を生成しながら,画像符号化部110で符号化対象フレームを符号化する[A4]。ここでの処理の詳細は後で詳しく説明する。
図3に,図2の処理A2で行われる参照距離情報から処理フレーム距離情報を生成する処理の詳細フローを示す。
最初に,処理フレーム距離情報CurDepthを初期化する[A201]。この初期化では,全ての位置において処理フレーム距離情報は取り得る最大値を持つように設定される。
次に参照距離情報の画素ごとに,処理フレーム距離情報を徐々に生成する[A202−A208]。つまり,参照距離情報の画素インデックスをpix,画素数をnumPixsで表すと,pixを0で初期化した後[A202],pixに1を加算しながら[A207],pixがnumPixsになるまで[A208],次の処理[A203−A206]を繰り返す。
参照距離情報RefDepthの画素ごとに繰り返される処理では,まず距離情報逆投影部106で画素pixを三次元座標系へ逆投影することで三次元点gを取得する[A203]。具体的には,この処理は次の(式1)を用いて行われる。ここで,(upix ,vpix )は,画素pixでの画像平面上での座標値を表す。
Figure 0005531282
次に,距離情報再投影部107で三次元点gを符号化対象フレームへ再投影し,符号化対象フレーム上で三次元点gが投影される位置pと,カメラ2から三次元点gまでの距離dを取得する[A204]。具体的には,この処理は次の(式2)を用いて行われる。なお,pは(x,y)で表される。
Figure 0005531282
再投影される位置pとその距離dの情報が得られたならば,処理フレーム距離情報メモリ108における位置pの処理フレーム距離情報を更新する。ただし,カメラ位置や向きが変わることによってオクルージョンが発生するため,既に得られている位置pの処理フレーム距離情報CurDepth[p]と,新しく得られた距離dとを比較し[A205],新しく得られた距離dのほうがカメラに近いことを示す場合にのみCurDepth[p]をdに更新する[A206]。
全ての参照距離情報の画素に対して上記の処理が終わった後,実空間での連続性を鑑みて得られた処理フレーム距離情報CurDepthを補正する[A209]。具体的には,中央値フィルタやbi-lateralフィルタなどのノイズ除去を行う空間フィルタを適用する。この処理は距離情報が離散的にサンプリングされ,変換元と変換先が同じサンプリングではないために生じた誤った距離情報の値を補正するために行われる。サンプリング間隔に起因するノイズであると考えられるため,そのノイズは空間的に大量に固まって生じるものではない。したがって,中央値フィルタやbi-lateralフィルタなどのノイズフィルタを施すことで,空間的に特異な値を持った距離情報の値を,周辺の距離情報の値と同じような値に補正することが可能である。なお,この処理はカメラ1とカメラ2が非常に近くに存在する場合などでは,サンプリングに起因するノイズは発生しないため,省略することが可能である。ただし,復号装置で同様の処理を行う場合には,符号化装置でこの処理を省略するとドリフト歪みが発生することになる。
図4に,図2の処理A4で行われる符号化単位ブロックごとに視点合成画像を生成しながら,符号化対象フレームを符号化する処理の第1の詳細フローを示す。
ここでの処理は,符号化単位ブロックごとに行われる。つまり,符号化単位ブロックインデックスをblk,総符号化単位ブロック数をnumBlksとすると,blkを0で初期化した後[A411],blkに1を加算しながら[A418],blkがnumBlksになるまで[A419],視点合成画像Synthを生成する処理[A412−A416]を行い,生成されたSynthを予測画像候補として用いながら符号化対象フレームOrg[blk]を符号化する処理[A417]を繰り返す。
なお,視点合成画像を予測画像候補として用いながら符号化対象フレームを符号化する画像符号化には,映像予測を行うものであればどのような手法を用いることもできる。例えば,H.264/AVCのように入力画像と予測画像の差分信号を生成し,その差分信号に直交変換,量子化,エントロピー符号化を施すことで符号化を行うことができる。その際に,視点合成画像以外も予測画像の候補として準備し,符号化効率が最適となる予測方法をブロックごとに適応的に選択してもかまわない。例えば,対応点ベクトルを別途符号化することで参照フレームを用いて視差補償予測を行ったり,カメラ2の既に符号化済みフレームの復号画像を用いて動き補償予測を行ったりすることも可能である。
視点合成画像を生成する処理は,符号化単位ブロックblkに含まれる画素ごとに,参照フレーム上の対応画素を求め,対応画素における映像信号をその画素の視点合成画像信号とすることで行われる。つまり,画素インデックスをpel,ブロック符号化単位ブロックblkに含まれる画素数をnumPelsblk とすると,pelを0で初期化した後[A412],pelに1を加算しながら[A415],pelがnumPelsblk になるまで[A416],次の(式3)に従って符号化対象フレーム上の画素blkpel の参照フレーム上の対応画素cpを求め[A413],画素cpの画素値Ref[cp]を画素blkpel における視点合成画像Synth[pel]とする処理[A414]を繰り返す。
Figure 0005531282
なお,(ublk,pel ,vblk,pel )は,符号化対象フレーム上の画素blkpel の位置であり,(cpx ,cpy )は,参照フレーム上の対応画素中の位置であり,sは,スカラ値である。
ここで,Synthは処理中の符号化単位ブロックに対する視点合成画像を保持できれば十分であり,符号化対象フレーム全体の視点合成画像を保持する必要はない。すなわち,視点合成画像Synthの生成と画像符号化とを符号化単位ブロックごとに交互に行うことで,視点合成画像Synthを同時には高々符号化単位ブロック分しか生成しないで済むことになる。
図5に,図2の処理A4で行われる符号化単位ブロックごとに視点合成画像を生成しながら,符号化対象フレームを符号化する処理の第2の詳細フローを示す。
上記図4を用いて説明した処理フローと本処理フローとの違いは,符号化単位ブロックごとに視点合成画像を生成する処理[A412−A416]と,処理[A422−A423]との違いだけである。したがって,以下の説明では処理[A422−A423]についてのみ説明を行う。
ここで行われる視点合成画像生成は,符号化単位ブロックblkに対する処理フレーム距離情報CurDepth[blk](画素ごとに1つの距離情報を持つため距離情報の集合となる)を用いて,ブロックblkに対する1つの代表距離情報depを生成し[A422],その代表距離情報depを用いて符号化対象フレームのブロックblkに対応する参照フレーム上のブロックblk′を求め[A423],そのブロックにおける参照フレームの画像信号を視点合成画像とする。
代表距離情報depはブロックblkにおけるCurDepth[blk]の代表値となるため,CurDepth[blk]の平均値や中央値,または最も多く現れる値などを用いて表すことができる。
ブロックblkに対応する参照フレーム上のブロックblk′を求める処理では,ブロックblkの中央またはブロックの角の座標をblkpel として,上記(式3)を用いて求まったcpをブロックblk′の中央またはブロックの角の座標とすることで求めることができる。
ブロック内で複数の距離情報を使用して予測信号を生成するということは,ブロック内で複数のベクトルを用いて対応点を求めて予測信号を生成することに等しい。一般に,予測信号を生成する際に複数のベクトルを用いて対応点を求めると,予測信号にブロックノイズが発生し,周波数領域での予測残差の符号化効率が低下する。しかし,ここでの処理のようにブロックに対して1つの代表距離情報を生成することによって,ブロック内では1つのベクトルのみを用いて対応点を求めることと同じになるため,予測信号にブロックノイズが発生せず,予測残差の符号化効率が低下するのを防ぐことができる。なお,ここではブロックに対して1つの代表距離情報を生成したが,ブロックを複数のサブブロックに分割して,サブブロックごとに1つの代表距離情報を生成することで,予測効率の低下を抑えつつ予測信号におけるブロックノイズ発生を抑制することが可能となる。
〔多視点映像符号化装置(第1の実施例)〕
次に,本発明の第1の実施例(以下,実施例1)について説明する,ここで説明する実施例1では,N個のカメラで撮影された多視点動画像を符号化する場合を想定し,カメラ1〜カメラN−1で撮影された映像を参照画像として,カメラNで撮影された映像を符号化する方法について説明を行う。なお,特別な説明がない限り,参考例1で用いた記号は本実施例においても同様の意味で用いる。
実施例1に係る映像符号化装置の構成図を,図6に示す。図6に示すように,多視点映像符号化装置200は,符号化対象となるカメラNのフレームを入力する符号化対象画像入力部201と,入力された符号化対象フレームを蓄積する符号化対象画像メモリ202と,参照フレームとなるカメラ1からカメラN−1のフレームを入力する参照カメラ画像入力部203と,その参照フレーム群を蓄積する参照カメラ画像メモリ204と,各参照フレームに対する距離情報を入力する参照カメラ距離情報入力部205と,カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部206と,カメラの投影モデルに従って三次元点をカメラNへと再投影する距離情報再投影部207と,各参照距離情報を変換することで得られた距離情報群を一時的に蓄積する処理フレーム距離情報候補メモリ208と,各参照距離情報から変換することで得られた距離情報群を1つの符号化対象フレームに対する距離情報へと統合する距離情報統合部209と,生成された符号化対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ210と,参照フレームの映像信号と符号化対象フレームに対する距離情報とから符号化対象フレームの合成画像を生成する視点合成画像生成部211と,その生成された合成画像を予測画像として使用しながら符号化対象フレームを符号化する画像符号化部212とを備える。
図7に,このようにして構成される多視点映像符号化装置200の実行する処理フローを示す。この処理フローに従って,多視点映像符号化装置200の実行する処理について詳細に説明する。
まず,参照距離情報を入力し,各参照距離情報を符号化対象フレームに対する距離情報の候補へと変換する。つまり,参照するカメラのインデックスをrefとすると,refを0で初期化した後[B1],refに1を加算しながら[B4],refがN−1になるまで[B5],参照カメラ距離情報入力部205よりカメラrefに対する参照距離情報RefDepthref を入力し[B2],参照距離情報RefDepthref から符号化対象フレームに対する距離情報の候補であるところの処理フレーム距離情報候補TempDepthref を生成し,処理フレーム距離情報候補メモリ208に一時的に蓄える処理B3を繰り返す。
処理B3は,上記参考例1の処理A2で行われる処理と同じである。ただし,処理A2における参照距離情報RefDepthを参照距離情報RefDepthref に,処理フレーム距離情報CurDepthを処理フレーム距離情報候補TempDepthref に,カメラ1をカメラrefに,カメラ2をカメラNに,距離情報逆投影部106を距離情報逆投影部206,距離情報再投影部107を距離情報再投影部207に,それぞれ読み替える必要がある。
全ての参照距離情報に関する処理が終了したならば,距離情報統合部209で,処理フレーム距離情報候補群から,処理フレーム距離情報CurDepthを生成し,処理フレーム距離情報メモリ210に蓄積する[B6]。ここでの処理は,処理フレーム距離情報の各画素位置に対して,同じ画素位置に対する各処理フレーム距離情報候補がもつ距離の値の集合を用いて,1つの距離を求めることを,画素ごとに繰り返す。したがって,処理フレーム距離情報におけるある画素位置をppとすると,以下の(式4)で表すことが可能である。
Figure 0005531282
なお,上バー付きのδ()は,引数が0の場合には0を返し,それ以外の場合には1を返すデルタ関数の0と1を反転したような関数であり,max_dは距離情報の取り得る最大値である。
上記の(式4)は,処理フレーム距離情報候補の平均値を処理フレーム距離情報とする方法であり,このほかに中央値を用いる方法(式5)や,カメラに近いことを表す情報を用いる方法(式6)などを用いることも可能である。
Figure 0005531282
ここで,median()は中央値を返す関数,min()は最小値を返す関数である。TEMP_DEPTHは画素位置ppの処理フレーム距離情報候補の集合であり,次の(式7)で表すことが可能である。なお,入力される参照距離情報に含まれるノイズ成分を考慮して,TEMP_DEPTHから外れる値を事前に除外してから,上記の処理を適用してもかまわない。
Figure 0005531282
なお,この処理B6が終了した後は,処理フレーム距離情報候補メモリ208に蓄積した参照フレーム距離情報候補を開放してもかまわない。
処理フレーム距離情報が生成されたならば,参照カメラ画像入力部203より参照フレームRefref となるカメラrefの画像を入力して参照カメラ画像メモリ204に蓄積し,符号化対象画像入力部201より符号化対象フレームOrgを入力して符号化対象画像メモリ202に蓄える[B7]。
その後,視点合成画像生成部211で参照フレームと処理フレーム距離情報とを用いて符号化単位ブロックごとに視点合成画像を生成しながら,画像符号化部212で符号化対象フレームを符号化する[B8]。ここでの処理は,参考例1における処理A4の処理と同じである。ただし,実施例1では複数の参照フレームを使用するため,各符号化単位ブロックに対して,参照フレームごとにその参照フレームにおける対応画素や対応ブロックを求め,その領域の映像信号を視点合成画像の1つとして,複数の視点合成画像を生成し,それぞれを符号化時の予測画像の候補とする。また,H.264/AVCの双予測のように,複数の参照フレームに対して生成された視点合成画像の平均値を新たな視点合成画像として予測画像の候補に加えてもかまわない。
図8は,図6に示す多視点映像符号化装置200の派生形の実施の形態を示している。図6の多視点映像符号化装置200に,図8に示す多視点映像符号化装置200′のように,入力された参照距離情報群を蓄積するための参照カメラ距離情報メモリ213を追加し,これによりオクルージョンを考慮した視点合成画像の生成を可能にするようにしてもよい。
この場合の多視点映像符号化の処理フローは前述の実施例1におけるフローと同じであるが,処理B8内の視点合成画像を生成する部分の処理は,図9に示すフローに従う。このフローはある参照フレームrefを用いて,符号化対象フレーム内のブロックblkに対する視点合成画像を生成するフローである。以下,このフローに従って視点合成画像を生成する処理について説明を行う。
まず,視点合成画像はブロック内の画素ごとに行うため,画素インデックスpelを0で初期化した後[B801],pelに1を加算しながら[B806],pelがブロック内の画素数numPelsblk になるまで[B807],次の(式8)に従って符号化対象フレーム上の画素blkpel の参照フレームref上の対応画素cpおよび復元距離情報rdを求め[B802],対応画素に対する参照距離情報RefDepthref [cp]と復元距離情報rdとの差を予め定められた閾値thと比較し[B803],閾値より小さければ参照フレームrefの対応画素における画素値Refref [cp]を画素blkpel における参照フレームrefを使用した際の視点合成画像Synthref [pel]とし[B804],そうでなければ視点合成画像が定義できないことを示す情報NON_DEFをSynthref [pel]とする処理[B805]を繰り返す。ここで,復元距離情報とは,参照フレームを撮影したカメラから符号化対象フレーム上の画素blkpel に撮影されていた被写体までの距離を表す。
Figure 0005531282
ここでは画素ごとに対応画素を求めて視点合成画像を生成したが,図5を用いて説明したように,ブロックごとに代表距離情報を求めて対応ブロックを求めることも可能である。その場合,対応ブロックにおける参照距離情報から代表参照距離情報を比較し,代表距離情報と代表参照距離情報との差が予め定められた閾値より小さいかどうかを判定する。そして閥値より小さければ,求まった対応ブロックにおける参照フレームrefの映像信号が視点合成画像となり,そうでなければ,ブロック全体で視点合成画像を生成できないとすればよい。
なお,どの参照フレームを視点合成画像の生成に用いたかを示す情報を符号化する場合,ブロック全体で視点合成画像が生成できない場合には,その参照フレームを示すためにシンタックスを割り当てなくすることで,さらに符号量を節約することも可能である。また,シンタックスを算術符号化する場合においては,その参照フレームを示すシンタックスが発生する確率を低く設定することでも符号化効率を向上させることが可能である。また,H.264/AVCの双予測のように,複数の方式で生成した予測画像の平均値を実際の予測画像とするような場合,視点合成画像が定義できない画素を除外して平均値を取ることで,全体の予測効率低下を回避することが可能である。
〔多視点映像復号装置(第2の参考例)〕
次に,本発明の実施例を説明するための第2の参考例(以下,参考例2)について説明する。ここで説明する参考例2では,2つのカメラで撮影された多視点動画像を符号化したデータを復号する場合を想定し,カメラ1で撮影された映像を参照画像として,カメラ2で撮影された映像を復号する方法について説明を行う。
参考例2に係る映像復号装置の構成図を図10に示す。図10に示すように,多視点映像復号装置300は,復号対象となるカメラ2のフレームの符号化データを入力する符号化データ入力部301と,入力された符号化データを蓄積する符号化データメモリ302と,参照フレームとなるカメラ1のフレームを入力する参照カメラ画像入力部303と,その参照フレームを蓄積する参照カメラ画像メモリ304と,参照フレームに対する距離情報を入力する参照カメラ距離情報入力部305と,カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部306と,カメラの投影モデルに従って三次元点をカメラ2へと再投影する距離情報再投影部307と,復号対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ308と,参照フレームの映像信号と復号対象フレームに対する距離情報とから復号対象フレームの合成画像を生成する視点合成画像生成部309と,その生成された合成画像を予測画像として使用しながら復号対象フレームを復号する画像復号部310とを備える。
図11に,このようにして構成される多視点映像復号装置300の実行する処理フローを示す。この処理フローに従って,参考例2の多視点映像復号装置300の実行する処理について詳細に説明する。
まず,参照カメラ距離情報入力部305より参照距離情報RefDepthが入力される[C1]。この参照距離情報とは,参照フレームに対する距離情報のことである。ここで入力される参照距離情報は,一旦任意の符号化手法を用いて符号化された符号化データから復号されたものとする。ただし,何らかの手法でオリジナルの情報が得られるのであれば,オリジナルの情報が入力されてもかまわない。しかしながら,符号化時に使用したものと同じものを入力しない場合,ドリフト歪みが発生することになる。
次に,参照距離情報から復号対象フレームに対する距離情報であるところの処理フレーム距離情報CurDepthを生成し,処理フレーム距離情報メモリ308に蓄積する[C2]。ここでの処理は参考例1のA2の処理と同じである。ただし,符号化対象フレームは復号対象フレームに読み替える必要がある。
その後,符号化データ入力部301より符号化データが入力され,参照カメラ画像入力部303より参照フレームRefとなるカメラ1の画像が入力され,それぞれ符号化データメモリ302および参照カメラ画像メモリ304に蓄積される[C3]。なお,一旦任意の符号化手法を用いて符号化された符号化データから復号された参照フレームが入力されるものとする。ただし,何らかの手法でオリジナルの情報が得られるのであれば,オリジナルの情報が入力されてもかまわない。しかしながら,符号化時に使用したものと同じものを入力しない場合,ドリフト歪みが発生することになる。
そして,視点合成画像生成部309で参照フレームと処理フレーム距離情報とを用いて,復号単位ブロックごとに必要に応じて視点合成画像を生成しながら,画像復号部310で復号対象フレームDecを復号する[C4]。ここでの処理の詳細は後で詳しく説明する。
図12に,図11の処理C4で行われる復号単位ブロックごとに必要に応じて視点合成画像を生成しながら,復号対象フレームを復号する処理の第1の詳細フローを示す。
ここでの処理は,復号単位ブロックごとに行われる。つまり復号単位ブロックインデックスをblk,総復号単位ブロック数をnumBlksとすると,blkを0で初期化した後[C4101],blkに1を加算しながら[C4110],blkがnumBlksになるまで[C4111],ブロックblkが視点合成画像Synthを使用して符号化されているかどうかをチェックし[C4102],視点合成画像を使用していない場合には,そのブロックにおいては視点合成画像を生成せずに復号を行い[C4103],視点合成画像を使用している場合には,そのブロックにおける視点合成画像Synthのみを生成する処理[C4104−C4108]を行い,生成されたSynthを用いてそのブロックの復号対象フレームDec[blk]を復号する処理[C4109]を繰り返す。
なお,視点合成画像を予測画像として復号対象フレームを復号する方法には,符号化に用いられた符号化方法に対する復号方法を用いる必要がある。例えば,H.264/AVCのように入力画像と予測画像の差分信号を生成し,その差分信号に直交変換,量子化,エントロピー符号化を施すことで符号化が行われている場合には,符号化データに含まれるビット列をエントロピー復号,逆量子化,逆直交変換を施して得られた信号に,予測画像であるところの視点合成画像を加えることで復号を行う。
視点合成画像を生成する処理は,復号単位ブロックblkに含まれる画素ごとに,参照フレーム上の対応画素を求め,対応画素における映像信号をその画素の視点合成画像信号とすることで行われる。つまり,画素インデックスをpel,ブロック復号単位ブロックblkに含まれる画素数をnumPelsblk とすると,pelを0で初期化した後[C4104],pelに1を加算しながら[C4107],pelがnumPelsblk になるまで[C4108],前述の(式3)に従って復号対象フレーム上の画素blkpel の参照フレーム上の対応画素cpを求め[C4105],画素cpの画素値Ref[cp]を画素blkpel における視点合成画像Synth[pel]とする処理[C4106]を繰り返す。
ここで,Synthは処理中の復号単位ブロックに対する視点合成画像を保持できれば十分であり,復号対象フレーム全体の視点合成画像を保持する必要はない。すなわち,視点合成画像Synthの生成と画像復号とを復号単位ブロックごとに交互に行うことで,視点合成画像Synthを同時には高々復号単位ブロック分しか生成しないで済むことになる。
図13に,図11の処理C4で行われる復号単位ブロックごとに必要に応じて視点合成画像を生成しながら,復号対象フレームを復号する処理の第2の詳細フローを示す。
上記図12を用いて説明した処理フローと本処理フローとの違いは,復号単位ブロックごとに視点合成画像を生成する処理[C4104−C4108]と処理[C4204−C4206]との違いだけである。したがって,以下の説明では,処理[C4204−C4206]についてのみ説明を行う。
ここで行われる視点合成画像生成は,復号単位ブロックblkに対する処理フレーム距離情報CurDepth[blk](画素ごとに1つ距離情報を持つため距離情報の集合となる)を用いて,ブロックblkに対する1つの代表距離情報depを生成し[C4204],その代表距離情報depを用い復号対象フレームのブロックblkに対応する参照フレーム上のブロックblk′を求め[C4205],そのブロックにおける参照フレームの画像信号を視点合成画像とする。
代表距離情報depはブロックblkにおけるCurDepth[blk]の代表値となるため,CurDepth[blk]の平均値や中央値,または最も多く現れる値などを用いて表すことができる。
ブロックblkに対応する参照フレーム上のブロックblk′を求める処理では,ブロックblkの中央またはブロックの角の座標をblkpel として,上記(式3)を用いて求まったcpをブロックblkの中央またはブロックの角の座標とすることで求めることができる。
〔多視点映像復号装置(第2の実施例)〕
次に,本発明の第2の実施例(以下,実施例2)について説明する。ここで説明する実施例2では,N個のカメラで撮影された多視点動画像の符号化データを復号する場合を想定し,カメラ1〜カメラN−1で撮影された映像を参照画像として,カメラNで撮影された映像を復号する方法について説明を行う。なお,本実施例において特別な説明がない限り,参考例2で用いた記号は同様の意味で用いる。
実施例2に係る多視点映像復号装置の構成図を図14に示す。図14に示すように,多視点映像復号装置400は,復号対象となるカメラNのフレームの符号化データを入力する符号化データ入力部401と,入力された符号化データを蓄積する符号化データメモリ402と,参照フレームとなるカメラ1からカメラN−1のフレームを入力する参照カメラ画像入力部403と,その参照フレーム群を蓄積する参照カメラ画像メモリ404と,各参照フレームに対する距離情報を入力する参照カメラ距離情報入力部405と,カメラの投影モデルを利用して距離情報を三次元空間へ逆投影する距離情報逆投影部406と,カメラの投影モデルに従って三次元点をカメラNへと再投影する距離情報再投影部407と,各参照距離情報を変換することで得られた距離情報群を一時的に蓄積する処理フレーム距離情報候補メモリ408と,各参照距離情報から変換することで得られた距離情報群を1つの復号対象フレームに対する距離情報へと統合する距離情報統合部409と,生成された復号対象フレームに対する距離情報を蓄積する処理フレーム距離情報メモリ410と,参照フレームの映像信号と処理フレーム距離情報とから必要に応じて復号対象フレームの合成画像を生成する視点合成画像生成部411と,その生成された合成画像を予測画像として使用しながら復号対象フレームを復号する画像復号部412とを備える。
図15に,このようにして構成される多視点映像復号装置400の実行する処理フローを示す。この処理フローに従って,実施例2の多視点映像復号装置400の実行する処理について詳細に説明する。
まず,参照距離情報の入力し各参照距離情報を復号対象フレームに対する距離情報の候補へと変換する。つまり,参照するカメラのインデックスをrefとすると,refを0で初期化した後[D1],refに1を加算しながら[D4],refがN−1になるまで[D5],参照カメラ距離情報入力部405よりカメラrefに対する参照距離情報RefDepthref を入力し[D2],参照距離情報RefDepthref から復号対象フレームに対する距離情報の候補であるところの処理フレーム距離情報候補TempDepthref を生成し処理フレーム距離情報候補メモリ408に一時的に蓄える処理[D3]を繰り返す。処理D3は上記参考例2の処理C2で行われる処理と同じである。ただし,処理C2における参照距離情報RefDepthを参照距離情報RefDepthref に,処理フレーム距離情報CurDepthを処理フレーム距離情報候補TempDepthref に,カメラ1をカメラrefに,カメラ2をカメラNに,距離情報逆投影部306を距離情報逆投影部406,距離情報再投影部307を距離情報再投影部407に,それぞれ読み替える必要がある。
全ての参照距離情報に関する処理が終了したならば,距離情報統合部409で,処理フレーム距離情報候補群から,処理フレーム距離情報CurDepthを生成し,処理フレーム距離情報メモリ410に蓄積する[D6]。ここでの処理は,実施例1の処理B6と同じである。実施例1の場合と同様に,この処理D6が終了した後は,処理フレーム距離情報候補メモリに蓄積した参照フレーム距離情報候補を開放してもかまわない。
処理フレーム距離情報が生成されたならば,参照カメラ画像入力部403より参照フレームRefref となるカメラrefの画像を入力して参照カメラ画像メモリ404に蓄積し,符号化データ入力部401より符号化データを入力して符号化データメモリ402に蓄える[D7]。
そして,視点合成画像生成部411で参照フレームと処理フレーム距離情報とを用いて,復号単位ブロックごとに必要に応じて視点合成画像を生成しながら,画像復号部412で符号化データより復号対象フレームを復号する[D8]。ここでの処理は,参考例2における処理C4の処理と同じである。ただし,実施例2では複数の参照フレームが存在するため,復号単位ブロックごとに符号化データに含まれる参照フレームを指定する情報を復号し,その参照フレームにおける対応画素や対応ブロックを求め,その領域の映像信号を視点合成画像とする。また,H.264/AVCの双予測のように,複数の参照フレームを使用して符号化されていることを示すデータが符号化データに含まれていた場合,指定された参照フレームそれぞれに対して視点合成画像を生成し,その平均値を新たな視点合成画像としてもかまわない。
図16は,図14に示す多視点映像復号装置400の派生形の実施の形態を示している。実施例2として説明した多視点映像復号装置400に,図16に示す多視点映像復号装置400′のように,入力された参照距離情報群を蓄積するための参照カメラ距離情報メモリ413を追加することで,オクルージョンを考慮した視点合成画像の生成を可能にしている。
この場合の多視点映像復号の処理フローは,前述の実施例2におけるフローと同じであるが,処理D8内の視点合成画像を生成する部分の処理は,前述の実施例1の際に,図9を用いて説明した処理と同じである。ただし,符号化対象という記載は復号対象と読み替える必要がある。
以上説明した処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも,ネットワークを通して提供することも可能である。
また,以上の実施の形態では多視点映像符号化装置および多視点映像復号装置を中心に説明したが,これら多視点映像符号化装置および多視点映像復号装置の各部の動作に対応したステップによって本発明の多視点画像符号化方法および多視点画像復号方法を実現することができる。
以上の実施の形態による作用・効果について説明する。
(1)メモリ使用量の削減
本実施の形態では,処理対象フレームに対する視差補償画像を生成して蓄積するのではなく,処理視点に対する距離情報(処理フレーム距離情報)を生成して蓄積する。一般に映像信号は蓄積に3チャンネルを使用するが,距離情報は1チャンネルで済む。したがって,視差補償に必要なメモリを約3分の1に削減できる。これは,例えば符号化時においては,図2に示す処理A2,A4の作用,復号時においては,図11に示す処理C2,C4の作用による。予測信号の生成では,処理フレーム距離情報における処理ブロックの距離情報から,視差ベクトルを計算し,参照フレームから1ブロック分の映像信号を複写することで実現する。
(2)視差補償が使用されていないブロックに対するデコード処理の高速化
従来技術では,視差補償予測の予測信号の生成処理は処理対象フレーム全体に対して行われるため,処理ブロックごとに視差補償予測の必要性を判定して,その予測信号の生成処理を省略することはできない。これに対し,本実施の形態では,視差補償予測の予測信号の生成処理が処理ブロックごとに行われるようになっているため,必要な処理ブロックだけカメラ間予測の予測信号を生成することで,不必要な処理ブロックのカメラ間予測の予測信号を生成する処理を省略することができる。これは,例えば図12に示す処理C4102の判定処理によって,処理C4103を実行するか処理[C4104−C4109]を実行するかを切り分けることによって実現される。
(3)符号化効率の向上
本実施の形態では,予測信号にブロックノイズが発生するのを抑制することが可能になる。従来技術では,参照フレームの画素ごとに設定された視差ベクトルを用いて視差補償画像を生成するため,処理ブロックでいくつの視差ベクトルを使用するか制御することができない。処理ブロック内で複数の視差ベクトルを用いると,予測信号が不連続になるため,周波数領域での残差符号化効率が低下する。これに対し,本実施の形態では,例えば図2の処理A4,図11の処理C4において,処理ブロックごとに使用する視差ベクトルの数を制御することで,処理ブロック内での不連続性をなくすことができる。
以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものでないことは明らかである。したがって,本発明の精神および範囲を逸脱しない範囲で構成要素の追加,省略,置換,その他の変更を行っても良い。
100,200 多視点映像符号化装置
101,201 符号化対象画像入力部
102,202 符号化対象画像メモリ
103,203,303,403 参照カメラ画像入力部
104,204,304,404 参照カメラ画像メモリ
105,205,305,405 参照カメラ距離情報入力部
106,206,306,406 距離情報逆投影部
107,207,307,407 距離情報再投影部
108,210,308,410 処理フレーム距離情報メモリ
109,211,309,411 視点合成画像生成部
110,212 画像符号化部
208,408 処理フレーム距離情報候補メモリ
209,409 距離情報統合部
213,413 参照カメラ距離情報メモリ
300,400 多視点映像復号装置
301,401 符号化データ入力部
302,402 符号化データメモリ
310,412 画像復号部

Claims (20)

  1. 多視点画像を符号化するにあたり,それぞれ異なるカメラで撮影された複数の参照画像に対するカメラから被写体までの距離を示す参照距離情報群を用いて,カメラ間の画像予測をしながら多視点画像を符号化する多視点画像符号化方法において,
    符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる,既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定ステップと,
    前記参照距離情報から,符号化対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成ステップと,
    符号化対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における符号化対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合ステップと,
    符号化対象画像の画素ごとに,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成ステップと,
    前記視点合成画像生成ステップで生成された視点合成画像を予測画像の候補として用いて,符号化対象画像を符号化する画像符号化ステップとを有し,
    前記視点合成画像生成ステップでは,符号化対象画像のブロックごとに,そのブロックに含まれる画素に対する前記処理フレーム距離情報から1つの代表距離情報を生成し,その代表距離情報を用いて,そのブロックに対する参照カメラ画像上の対応領域を同定することで,符号化対象画像の画素に対する対応画素を同定すること
    を特徴とする多視点画像符号化方法。
  2. 多視点画像を符号化するにあたり,それぞれ異なるカメラで撮影された複数の参照画像に対するカメラから被写体までの距離を示す参照距離情報群を用いて,カメラ間の画像予測をしながら多視点画像を符号化する多視点画像符号化方法において,
    符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる,既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定ステップと,
    前記参照距離情報から,符号化対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成ステップと,
    符号化対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における符号化対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合ステップと,
    符号化対象画像の画素ごとに,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成ステップと,
    前記視点合成画像生成ステップで生成された視点合成画像を予測画像の候補として用いて,符号化対象画像を符号化する画像符号化ステップとを有し,
    前記視点合成画像生成ステップでは,符号化対象画像の画素ごとに,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素と,前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し,復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が,予め定められた範囲内の場合にのみ,その画素における視点合成画像を生成すること
    を特徴とする多視点画像符号化方法。
  3. 請求項1または請求項2に記載の多視点画像符号化方法において,
    前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正ステップを有し,
    前記視点合成画像生成ステップでは,前記距離情報補正ステップで補正された処理フレーム距離情報を用いること
    を特徴とする多視点画像符号化方法。
  4. 請求項1から請求項までのいずれか1項に記載の多視点画像符号化方法において,
    前記視点合成画像生成ステップと前記画像符号化ステップとを,符号化単位ブロックごとに交互に行うことで,視点合成画像を同時には高々符号化単位ブロック分しか生成しないこと
    を特徴とする多視点画像符号化方法。
  5. 多視点画像を符号化した符号化データを復号するにあたり,カメラ間予測に用いる参照画像を撮影したカメラから被写体までの距離を示す,複数の参照画像のそれぞれに対する参照距離情報を用いて,カメラ間の画像予測をしながら多視点画像を復号する多視点画像復号方法において,
    復号対象画像を復号するにあたってカメラ間の画像信号の予測に用いる,既に復号済みの参照カメラ画像を設定する参照カメラ画像設定ステップと,
    前記参照距離情報から,復号対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成ステップと,
    復号対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における復号対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合ステップと,
    復号対象画像の画素ごとに,その画素がカメラ間の画像予測を用いて符号化されている場合に限り,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成ステップと,
    前記視点合成画像生成ステップで生成された視点合成画像を予測画像として用いて,復号対象画像を復号する画像復号ステップとを有し,
    前記視点合成画像生成ステップでは,復号対象画像のブロックごとに,そのブロックがカメラ間の画像予測を用いて符号化されている場合に限り,そのブロックに含まれる画素に対する前記処理フレーム距離情報から1つの代表距離情報を生成し,その代表距離情報を用いて,そのブロックに対する参照カメラ画像上の対応領域を同定することで,復号対象画像の画素に対する対応画素を同定すること
    を特徴とする多視点画像復号方法。
  6. 多視点画像を符号化した符号化データを復号するにあたり,カメラ間予測に用いる参照画像を撮影したカメラから被写体までの距離を示す,複数の参照画像のそれぞれに対する参照距離情報を用いて,カメラ間の画像予測をしながら多視点画像を復号する多視点画像復号方法において,
    復号対象画像を復号するにあたってカメラ間の画像信号の予測に用いる,既に復号済みの参照カメラ画像を設定する参照カメラ画像設定ステップと,
    前記参照距離情報から,復号対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成ステップと,
    復号対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における復号対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合ステップと,
    復号対象画像の画素ごとに,その画素がカメラ間の画像予測を用いて符号化されている場合に限り,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成ステップと,
    前記視点合成画像生成ステップで生成された視点合成画像を予測画像として用いて,復号対象画像を復号する画像復号ステップとを有し,
    前記視点合成画像生成ステップでは,復号対象画像の画素ごとに,その画素がカメラ間の画像予測を用いて符号化されている場合に限り,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素と,前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し,復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が,予め定められた範囲内の場合にのみ,その画素における視点合成画像を生成すること
    を特徴とする多視点画像復号方法。
  7. 請求項5または請求項6に記載の多視点画像復号方法において,
    前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正ステップを有し,
    前記視点合成画像生成ステップでは,前記距離情報補正ステップで補正された処理フレーム距離情報を用いること
    を特徴とする多視点画像復号方法。
  8. 請求項から請求項までのいずれか1項に記載の多視点画像復号方法において,
    前記視点合成画像生成ステップと前記画像復号ステップとを,復号単位ブロックごとに交互に行うことで,視点合成画像を同時には高々復号単位ブロック分しか生成しないこと
    を特徴とする多視点画像復号方法。
  9. 多視点画像を符号化するにあたり,それぞれ異なるカメラで撮影された複数の参照画像に対するカメラから被写体までの距離を示す参照距離情報群を用いて,カメラ間の画像予測をしながら多視点画像を符号化する多視点画像符号化装置において,
    符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる,既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定手段と,
    前記参照距離情報から,符号化対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成手段と,
    符号化対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における符号化対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合手段と,
    符号化対象画像の画素ごとに,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成手段と,
    前記視点合成画像生成手段で生成された視点合成画像を予測画像の候補として用いて,符号化対象画像を符号化する画像符号化手段とを備え,
    前記視点合成画像生成手段は,符号化対象画像のブロックごとに,そのブロックに含まれる画素に対する前記処理フレーム距離情報から1つの代表距離情報を生成し,その代表距離情報を用いて,そのブロックに対する参照カメラ画像上の対応領域を同定することで,符号化対象画像の画素に対する対応画素を同定すること
    を特徴とする多視点画像符号化装置。
  10. 多視点画像を符号化するにあたり,それぞれ異なるカメラで撮影された複数の参照画像に対するカメラから被写体までの距離を示す参照距離情報群を用いて,カメラ間の画像予測をしながら多視点画像を符号化する多視点画像符号化装置において,
    符号化対象画像を符号化するにあたってカメラ間の画像信号の予測に用いる,既に符号化済みのカメラ画像を復号した参照カメラ画像を設定する参照カメラ画像設定手段と,
    前記参照距離情報から,符号化対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成手段と,
    符号化対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における符号化対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合手段と,
    符号化対象画像の画素ごとに,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成手段と,
    前記視点合成画像生成手段で生成された視点合成画像を予測画像の候補として用いて,符号化対象画像を符号化する画像符号化手段とを備え,
    前記視点合成画像生成手段は,符号化対象画像の画素ごとに,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素と,前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し,復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が,予め定められた範囲内の場合にのみ,その画素における視点合成画像を生成すること
    を特徴とする多視点画像符号化装置。
  11. 請求項9または請求項10に記載の多視点画像符号化装置において,
    前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正手段を備え,
    前記視点合成画像生成手段は,前記距離情報補正手段で補正された処理フレーム距離情報を用いること
    を特徴とする多視点画像符号化装置。
  12. 請求項から請求項11までのいずれか1項に記載の多視点画像符号化装置において,
    前記視点合成画像生成手段と前記画像符号化手段とを,符号化単位ブロックごとに交互に動作させることで,視点合成画像を同時には高々符号化単位ブロック分しか生成しないこと
    を特徴とする多視点画像符号化装置。
  13. 多視点画像を符号化した符号化データを復号するにあたり,カメラ間予測に用いる参照画像を撮影したカメラから被写体までの距離を示す,複数の参照画像のそれぞれに対する参照距離情報を用いて,カメラ間の画像予測をしながら多視点画像を復号する多視点画像復号装置において,
    復号対象画像を復号するにあたってカメラ間の画像信号の予測に用いる,既に復号済みの参照カメラ画像を設定する参照カメラ画像設定手段と,
    前記参照距離情報から,復号対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成手段と,
    復号対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における復号対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合手段と,
    復号対象画像の画素ごとに,その画素がカメラ間の画像予測を用いて符号化されている場合に限り,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成手段と,
    前記視点合成画像生成手段で生成された視点合成画像を予測画像として用いて,復号対象画像を復号する画像復号手段とを備え,
    前記視点合成画像生成手段は,復号対象画像のブロックごとに,そのブロックがカメラ間の画像予測を用いて符号化されている場合に限り,そのブロックに含まれる画素に対する前記処理フレーム距離情報から1つの代表距離情報を生成し,その代表距離情報を用いて,そのブロックに対する参照カメラ画像上の対応領域を同定することで,復号対象画像の画素に対する対応画素を同定すること
    を特徴とする多視点画像復号装置。
  14. 多視点画像を符号化した符号化データを復号するにあたり,カメラ間予測に用いる参照画像を撮影したカメラから被写体までの距離を示す,複数の参照画像のそれぞれに対する参照距離情報を用いて,カメラ間の画像予測をしながら多視点画像を復号する多視点画像復号装置において,
    復号対象画像を復号するにあたってカメラ間の画像信号の予測に用いる,既に復号済みの参照カメラ画像を設定する参照カメラ画像設定手段と,
    前記参照距離情報から,復号対象画像に対するカメラから被写体までの距離の候補を表す処理フレーム距離情報候補を前記参照画像ごとに生成する距離情報候補生成手段と,
    復号対象画像の画素ごとに,その画素に対して前記参照画像ごとに得られた前記処理フレーム距離情報候補を用いて,その画素における復号対象画像を撮影したカメラから被写体までの距離を表す処理フレーム距離情報を生成する距離情報統合手段と,
    復号対象画像の画素ごとに,その画素がカメラ間の画像予測を用いて符号化されている場合に限り,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素を同定し,その対応画素における画像信号を用いて,その画素における視点合成画像を生成する視点合成画像生成手段と,
    前記視点合成画像生成手段で生成された視点合成画像を予測画像として用いて,復号対象画像を復号する画像復号手段とを備え,
    前記視点合成画像生成手段は,復号対象画像の画素ごとに,その画素がカメラ間の画像予測を用いて符号化されている場合に限り,その画素における前記処理フレーム距離情報を用いて,前記参照カメラ画像上の対応画素と,前記参照カメラ画像を撮影したカメラからその対応画素における被写体までの距離を表す復元距離情報とを同定し,復元距離情報とその対応画素に対して与えられた前記参照距離情報との差が,予め定められた範囲内の場合にのみ,その画素における視点合成画像を生成すること
    を特徴とする多視点画像復号装置。
  15. 請求項13または請求項14に記載の多視点画像復号装置において,
    前記処理フレーム距離情報を実空間での連続性を仮定した補正方法を用いて補正する距離情報補正手段を備え,
    前記視点合成画像生成手段は,前記距離情報補正手段で補正された処理フレーム距離情報を用いること
    を特徴とする多視点画像復号装置。
  16. 請求項13から請求項15までのいずれか1項に記載の多視点画像復号装置において,
    前記視点合成画像生成手段と前記画像復号手段とを,復号単位ブロックごとに交互に動作させることで,視点合成画像を同時には高々復号単位ブロック分しか生成しないこと
    を特徴とする多視点画像復号装置。
  17. 請求項1から請求項までのいずれか1項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラム。
  18. 請求項1から請求項までのいずれか1項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  19. 請求項から請求項までのいずれか1項に記載の多視点画像復号方法をコンピュータに実行させるための多視点画像復号プログラム。
  20. 請求項から請求項までのいずれか1項に記載の多視点画像復号方法をコンピュータに実行させるための多視点画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012136560A 2012-06-18 2012-06-18 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体 Active JP5531282B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012136560A JP5531282B2 (ja) 2012-06-18 2012-06-18 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012136560A JP5531282B2 (ja) 2012-06-18 2012-06-18 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008181364A Division JP5219199B2 (ja) 2008-07-11 2008-07-11 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2012213207A JP2012213207A (ja) 2012-11-01
JP5531282B2 true JP5531282B2 (ja) 2014-06-25

Family

ID=47266739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012136560A Active JP5531282B2 (ja) 2012-06-18 2012-06-18 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP5531282B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959787A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2001283201A (ja) * 2000-03-31 2001-10-12 Toshiba Corp 3次元画像データ作成方法及び3次元画像データを用いた任意視点画像作成方法
JP3971691B2 (ja) * 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
CN101536529B (zh) * 2006-09-20 2011-08-31 日本电信电话株式会社 图像编码方法和解码方法、其装置
WO2008035665A1 (fr) * 2006-09-20 2008-03-27 Nippon Telegraph And Telephone Corporation procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959787A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置
CN107959787B (zh) * 2016-10-17 2020-04-28 杭州海康威视数字技术股份有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
JP2012213207A (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
JP5219199B2 (ja) 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4414379B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4999854B2 (ja) 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US9066096B2 (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5197591B2 (ja) 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP4838275B2 (ja) 距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2011114755A1 (ja) 多視点画像符号化装置
JP4944046B2 (ja) 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP4851564B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5531282B2 (ja) 多視点画像符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4851563B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP5024962B2 (ja) 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4964827B2 (ja) 多視点距離情報符号化方法,復号方法,符号化装置,復号装置,符号化プログラム,復号プログラムおよびコンピュータ読み取り可能な記録媒体
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
WO2015141549A1 (ja) 動画像符号化装置及び方法、及び、動画像復号装置及び方法
JP6310340B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140327

R150 Certificate of patent or registration of utility model

Ref document number: 5531282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250