JPWO2011105337A1 - 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム - Google Patents

多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム Download PDF

Info

Publication number
JPWO2011105337A1
JPWO2011105337A1 JP2012501773A JP2012501773A JPWO2011105337A1 JP WO2011105337 A1 JPWO2011105337 A1 JP WO2011105337A1 JP 2012501773 A JP2012501773 A JP 2012501773A JP 2012501773 A JP2012501773 A JP 2012501773A JP WO2011105337 A1 JPWO2011105337 A1 JP WO2011105337A1
Authority
JP
Japan
Prior art keywords
viewpoint
frame
image
decoding
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012501773A
Other languages
English (en)
Other versions
JP5303754B2 (ja
Inventor
信哉 志水
信哉 志水
木全　英明
英明 木全
宣彦 松浦
宣彦 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012501773A priority Critical patent/JP5303754B2/ja
Publication of JPWO2011105337A1 publication Critical patent/JPWO2011105337A1/ja
Application granted granted Critical
Publication of JP5303754B2 publication Critical patent/JP5303754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

カメラ間での局所的な輝度や、色のミスマッチを伴うような多視点映像においても、高能率な符号化手法を実現する。多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、符号化対象フレームに対応する視点合成画像が合成される。予め定められた大きさの処理単位領域毎に、視点合成画像に対応する、符号化対象視点における既に符号化済みの参照フレーム上の参照領域が探索される。処理単位領域に対する視点合成画像と参照領域に対する参照フレームとから、カメラ間ミスマッチを補正する補正パラメータが推定される。推定された補正パラメータを用いて、処理単位領域に対する視点合成画像が補正される。補正された視点合成画像を用いて、符号化対象視点の映像が予測符号化される。

Description

本発明は、多視点画像または多視点動画像を符号化する多視点映像符号化方法及び多視点映像符号化装置、多視点画像または多視点動画像を復号する多視点映像復号方法及び多視点映像復号装置、ならびにプログラムに関する。
本願は、２０１０年２月２４日に日本へ出願された日本特願２０１０−０３８６８０号に対して優先権を主張し、その内容をここに援用する。
多視点画像とは、複数のカメラで同じ被写体とその背景とを撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。一般的な映像符号化では、映像の中の撮影時刻の異なるフレーム間に存在する高い相関を利用した、動き補償予測を用いて効率的な符号化を実現する。動き補償予測は、Ｈ．２６４に代表される近年の映像符号化方式の国際標準規格に採用されている手法である。すなわち、動き補償予測は、符号化対象フレームと既に符号化済みの参照フレームとの間で被写体の動きを補償して画像を生成し、該生成した画像と符号化対象フレームとの間でフレーム間差分を取り、その差分信号と動きベクトルとを符号化する方法である。
多視点映像符号化では、撮影時刻の異なるフレーム間だけでなく、視点の異なるフレーム間にも高い相関が存在する。そのため、動きではなく視点間の視差を補償して生成した画像（フレーム）と符号化対象フレームとの間でフレーム間差分を取り、差分信号と視差ベクトルとを符号化する視差補償予測と呼ばれる手法が用いられる。視差補償予測は、Ｈ．２６４ Ａｎｎｅｘ．Ｈとして国際標準規格に採用されている（例えば、非特許文献１参照）。
ここで用いられる視差とは、異なる位置や、向きで配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。視差補償予測では、これを二次元ベクトルで表現して符号化を行っている。図７に示すように、視差がカメラの視点位置と被写体のカメラからの距離（デプス）とに依存して発生する情報であるため、この原理を利用した視点合成予測（視点補間予測）と呼ばれる方式が存在する。
視点合成予測（視点補間予測）は、カメラや、被写体の三次元的な位置関係に従って、既に処理が終了して復号結果が得られている多視点映像の一部分を用いて、符号化、もしくは復号処理を行う別の視点に対するフレームを合成（補間）し、合成によって得られた画像を、予測画像として用いる方式である（例えば、非特許文献２参照）。被写体の三次元的な位置を表現するために、カメラから被写体までの距離（デプス）を画素ごとに表現したデプスマップ（距離画像、視差画像、ディスパリティマップと呼ばれることもある）が用いられることが多い。デプスマップの他には、被写体のポリゴン情報や、被写体空間のボクセル情報を用いることもできる。
なお、デプスマップを取得する方法には、大きく分けると、赤外線パルスなどを用いて測定することでデプスマップを生成する方法と、多視点映像上で同じ被写体が写っている点から三角測量の原理を用いてデプスを推定した上で、デプスマップを生成する方法とがある。どちらの方法で得られたデプスマップを用いるかは、視点合成予測において大きな問題ではない。また、デプスマップが得られるのであれば、どこで推定するかも大きな問題ではない。
但し、予測符号化を行う場合においては、一般的に、符号化側で用いたデプスマップと復号側で用いたデプスマップとが一致しない場合には、ドリフトと呼ばれる符号化歪みが発生することになる。そのため、符号化側で用いたデプスマップを復号側へ伝送するか、符号化側と復号側とで全く同じデータと手法を用いてデプスマップを推定する方法が用いられる。
視差補償予測や、視点合成予測では、カメラの撮像素子の応答に個体差があったり、カメラ毎にゲインコントロールや、ガンマ補正が行われていたり、シーンに方向依存の照明効果があったりすると、符号化効率が劣化する。これは、符号化対象フレームと参照フレームとで被写体の色が同じであるという前提で予測を行っているためである。
こうした被写体の輝度や、色の変化に対応すべく検討された方式として、輝度補償や、色補正と呼ばれるものがある。これは、参照フレームの輝度や、色を補正したものを予測に使用するフレームとすることで、符号化する予測残差を小さく抑える方式である。非特許文献１に記載されているＨ．２６４では、１次関数を用いて補正するＷｅｉｇｈｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ が採用されている。また、それとは別に色テーブルを用いて補正する方式も提案されている（例えば、非特許文献３参照）。
また、これらの被写体の輝度や、色のカメラ間のミスマッチは、被写体依存の局所的なものであるため、本来であれば、局所的に異なる補正パラメータ（補正のためのパラメータ）を用いて補正するほうが望ましい。また、これらのミスマッチは、単純なゲイン等の違いだけでなく、フォーカスの違いなど、多少複雑なモデルに従って発生する。このため、単純な補正モデルではなく、投影プロセス等をモデル化した複雑な補正モデルを用いたほうが望ましい。
更に、局所的な変化に対応するためには、補正パラメータを複数セット用意する必要がある。一般に、複雑な補正モデルは、多数のパラメータを持つものとして表現される。そのため、補正パラメータを伝送するアプローチでは、ミスマッチを改善できたとしても、多くの符号量を必要とするため、高い符号化効率を達成することができない。
補正パラメータの符号量を増やさずに、ミスマッチの局所性や、複雑性に対応可能な方法として、復号側で補正パラメータを推定して使用する手法がある。例えば、処理対象ブロックの隣接領域においては同じ被写体が撮影されていると仮定し、隣接領域における視点合成画像と復号画像との差を最小化する補正パラメータを推定して、そのブロックの補正パラメータとして用いる手法がある（例えば、非特許文献４参照）。この方式では、補正パラメータは、一切送る必要がないため、ミスマッチを減少させることができれば、トータルの補正パラメータ数が増えたとしても発生符号量が増加することはない。
Rec. ITU-T H.264 "Advanced video coding for generic audiovisual services," March 2009. S. Shimizu, M. Kitahara, H. Kimata, K. Kamikura, and Y. Yashima, "View Scalable Multiview Video Coding Using 3-D Warping with Depth Map," IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1485-1495, November, 2007. K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol. 17, No. 11, pp. 1436-1449, November, 2007. S. Shimizu, H. Kimata, and Y. Ohtani, "Adaptive Appearance Compensated View Synthesis Prediction for Multiview Video Coding," Proceedings of ICIP2009, pp. 2949-2952, November 2009.
上述した従来技術では、復号時に参照可能な隣接ブロックの情報を用いて補正パラメータを推定することで、補正パラメータを符号化することなく、カメラ間のミスマッチを補正することが可能となる。このため、多視点映像の効率的な圧縮符号化を実現することが可能である。
しかしながら、隣接ブロックにおいて処理対象ブロックとは異なる被写体が写っていた場合、得られる補正パラメータは、処理対象ブロックに写っている被写体に対するミスマッチを適切に補正することができないという問題がある。また、ミスマッチを適切に補正できないだけでなく、逆にミスマッチを増幅させ、符号化効率を悪化させてしまう可能性もある。
この課題に対する解決策として、ブロック毎に補正を行うかどうかを示すフラグを符号化する方法が容易に考えられる。しかしながら、この方法では、ミスマッチの増加を防ぐことは可能であるが、フラグを符号化する必要が生じるため、符号化効率を大きく改善することは不可能である。
本発明は、このような事情を考慮してなされたものであり、その目的は、カメラ間で局所的な輝度や、色のミスマッチを伴うような多視点映像においても、補正パラメータを別途符号化／復号することなく、効率的に多視点画像や多視点動画像の符号化／復号を実現できる多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラムを提供することにある。
上述した課題を解決するために、本発明の第１の観点は、多視点映像を符号化する多視点映像符号化方法であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化ステップとを含む多視点映像符号化方法である。
本発明の第１の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第１の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第１の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
また、上述した課題を解決するために、本発明の第２の観点は、多視点映像を復号する多視点映像復号方法であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップとを含む多視点映像復号方法である。
本発明の第２の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第２の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第２の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
また、上述した課題を解決するために、本発明の第３の観点は、多視点映像を符号化する多視点映像符号化装置であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化手段とを備える多視点映像符号化装置である。
本発明の第３の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記参照領域推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第３の観点において、前記補正パラメータ推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第３の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定手段を更に備え、前記補正パラメータ推定手段は、前記推定精度設定手段により設定された前記推定精度、および前記信頼度設定手段により設定された前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
また、上述した課題を解決するために、本発明の第４の観点は、多視点映像を復号する多視点映像復号装置であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号手段とを有する多視点映像復号装置である。
また、上述した課題を解決するために、本発明の第５の観点は、多視点映像を符号化する多視点映像符号化装置のコンピュータに、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化機能を実行させるプログラムである。
また、上述した課題を解決するために、本発明の第６の観点は、多視点映像を復号する多視点映像復号装置のコンピュータに、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号機能を実行させるプログラムである。
この発明によれば、カメラ間の輝度や色のミスマッチが局所的に生じている場合においても、補正パラメータを別途符号化／復号することなく、効率的な多視点画像や多視点動画像の符号化／復号を実現することができる。
本発明の第１実施形態による多視点映像符号化装置の構成を示すブロック図である。 本第１実施形態による多視点映像符号化装置１００の視点合成画像補正部１０８の構成を示すブロック図である。 本第１実施形態による多視点映像符号化装置１００の動作を説明するためのフローチャートである。 本第２実施形態による多視点映像復号装置の構成を示すブロック図である。 本第２実施形態による多視点映像復号装置２００の視点合成画像補正部２０８の構成を示すブロック図である。 本第２実施形態による多視点映像復号装置２００の動作を説明するためのフローチャートである。 従来技術でのカメラ間で発生する視差を示す概念図である。
本発明の実施形態では、生成した視点合成画像を用いて、処理中の領域に対する、既に符号化済みのフレーム上の対応領域を求め、符号化済みフレームにおける対応領域の映像信号をリファレンスとして、視点合成画像の輝度や色の補正を行う。本発明の実施形態では、従来手法が利用した隣接領域には同じ被写体が写っているという仮定ではなく、被写体に依存する色や輝度のミスマッチが時間的には大きく変化しないという仮定を用いて補正パラメータを求める。一般に、フレーム内には複数の被写体が含まれているため、従来の仮定が外れる領域は必ず存在する。一方、シーンチェンジ等で急激にシーンが変化しない限り、時間的にミスマッチは変化しないため、本発明の実施形態が有効に機能する。つまり、従来の手法が補正に失敗していた領域においても、ミスマッチを減少させる補正を行うことが可能となり、効率的な多視点映像符号化を実現することが可能となる。
以下、本発明の実施形態を、図面を参照して説明する。
なお、以下の説明では、映像（フレーム）に記号[]で挟まれた位置を特定可能な情報（座標値、もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素に関してサンプリングされた映像信号を示すものとする。
Ａ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本発明の第１実施形態による多視点映像符号化装置の構成を示すブロック図である。図１において、多視点映像符号化装置１００は、符号化対象フレーム入力部１０１、符号化対象画像メモリ１０２、参照視点フレーム入力部１０３、参照視点画像メモリ１０４、視点合成部１０５、視点合成画像メモリ１０６、信頼度設定部１０７、視点合成画像補正部１０８、予測残差符号化部１０９、予測残差復号部１１０、復号画像メモリ１１１、予測残差算出部１１２、及び復号画像算出部１１３を備えている。
符号化対象フレーム入力部１０１は、符号化対象となる映像フレーム（符号化対象フレーム）を入力する。符号化対象画像メモリ１０２は、入力された符号化対象フレームを蓄積する。参照視点フレーム入力部１０３は、符号化対象フレームとは別の視点（参照視点）に対する参照映像フレーム（参照視点フレーム）を入力する。参照視点画像メモリ１０４は、入力された参照視点フレームを蓄積する。視点合成部１０５は、参照視点フレームを用いて符号化対象フレームに対する視点合成画像を生成する。視点合成画像メモリ１０６は、生成された視点合成画像を蓄積する。
信頼度設定部１０７は、生成された視点合成画像の画素毎の信頼度を設定する。視点合成画像補正部１０８は、視点合成画像のカメラ間ミスマッチを補正し、補正視点合成画像を出力する。予測残差算出部１１２は、符号化対象フレームと補正視点合成画像との差（予測残差信号）を生成する。予測残差符号化部１０９は、生成された予測残差信号を符号化して符号化データを出力する。予測残差復号部１１０は、予測残差信号の符号化データを復号する。復号画像算出部１１３は、復号された予測残差信号と補正視点合成画像とを足し合わせて符号化対象フレームの復号画像を生成する。復号画像メモリ１１１は、生成された復号画像を蓄積する。
図２は、本第１実施形態による多視点映像符号化装置１００の視点合成画像補正部１０８の構成を示すブロック図である。図２において、本第１実施形態の視点合成画像補正部１０８は、視点合成画像を用いて符号化対象ブロックに対応する参照フレーム上のブロックを参照領域として探索する参照領域設定部１０８１と、参照領域の画素毎に対応領域が正しく設定できたかどうかを示す推定精度を設定する推定精度設定部１０８２と、視点合成画像におけるカメラ間ミスマッチを補正するためのパラメータを推定する補正パラメータ推定部１０８３と、求められた補正パラメータに従って視点合成画像を補正する画像補正部１０８４とを備える。
図３は、本第１実施形態による多視点映像符号化装置１００の動作を説明するためのフローチャートである。このフローチャートに従って、多視点映像符号化装置１００の実行する処理について詳細に説明する。
まず、符号化対象フレーム入力部１０１より符号化対象フレームＯｒｇが入力され、符号化対象画像メモリ１０２に格納される（ステップＳａ１）。また、参照視点フレーム入力部１０３より符号化対象フレームＯｒｇと同時刻に参照視点で撮影された参照視点フレームＲｅｆｎが入力され（ｎ＝１，２，…，Ｎ）、参照視点画像メモリ１０４に蓄積される（ステップＳａ１）。ここで入力される参照視点フレームは、既に符号化済みの画像を復号したものとする。これは、復号装置で得られる情報と同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。但し、これらの符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。なお、ｎは、参照視点を示すインデックスであり、Ｎは、ここで利用可能な参照視点の数である。
次に、視点合成部１０５で、参照視点フレームの情報から、符号化対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Ｓｙｎを視点合成画像メモリ１０６に蓄積する（ステップＳａ２）。この視点合成画像Ｓｙｎの生成法には、どのような方法を用いても構わない。例えば、参照視点フレームの映像情報以外に参照視点フレームに対するデプス情報が与えられるのであれば、前述した非特許文献２や、非特許文献５（Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV,” Proceedings of 3DTV-CON2008, pp. 229-232, May 2008.）などに記載されている手法を用いることができる。
また、符号化対象フレームに対するデプス情報が得られた場合には、非特許文献６（S. Yea and A. Vetro, “View Synthesis Prediction for Rate-Overhead Reduction in FTV,” Proceedings of 3DTV-CON2008, pp. 145-148, May 2008.）などに記載されている手法を用いることも可能である。全くデプス情報が得られない場合では、非特許文献７（J. Sun, N. Zheng, and H. Shum, “Stereo Matching Using Belief Propagation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 7, pp. 787-800, July 2003.）などに記載のステレオ法や、デプス推定法と呼ばれる手法を用いて、参照視点フレーム、もしくは符号化対象フレームに対するデプス情報を作成した後に、前述のような手法を適用して視点合成画像を生成することができる（非特許文献８：S. Shimizu, Y. Tonomura, H. Kimata, and Y. Ohtani, “Improved View Interpolation Prediction for Side Information in Multiview Distributed Video Coding,” Proceedings of ICDSC2009, August 2009.）。デプス情報を明には生成せずに、参照視点フレームから視点合成画像を直接生成する方法もある（前述した非特許文献３参照）。
なお、これらの手法を用いるには、基本的にカメラの位置関係や、カメラによる投影プロセスを示すカメラパラメータが必要となる。これらのカメラパラメータも参照視点フレームから推定することが可能である。なお、デプス情報や、カメラパラメータなどを復号側で推定しない場合、符号化装置内で使用したそれらの情報を別途符号化して伝送する必要がある。
次に、信頼度設定部１０７において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成する（ステップＳａ３）。本第１実施形態では、信頼度ρは、０〜１までの実数とするが、大きな値ほど信頼度が高いとするような定義のものであれば、どのように信頼度を表現しても構わない。例えば、１以上の８ビット整数で信頼度を表現しても構わない。
信頼度ρは、上述した通り、合成がどれぐらい正確に行われたかを示すことができればどのようなものでも構わない。例えば、最も簡単なものとしては、視点合成画像の各画素が対応する参照視点フレーム上の画素の画素値の分散値を用いる方法がある。対応画素間で画素値が近いほど同じ被写体を同定して正しく視点合成できたことを示すので、分散が小さいほど信頼度が高いことを示す。つまり、信頼度は分散の逆数を用いて表現される。視点合成画像Ｓｙｎ［ｐ］を合成するのに使用した各参照視点フレームの画素をＲｅｆｎ［ｐｎ］で表すとすると、次の数式（１）や数式（２）を用いて信頼度を表すことが可能である。
Figure 2011105337
Figure 2011105337
分散の最小値が０であることから、関数ｍａｘを用いて信頼度を定義する必要がある。なお、ｍａｘは、与えられた集合に対する最大値を返す関数である。また、その他の関数は、次の数式（３）で表現されるものである。
Figure 2011105337
分散以外にも、次の数式（４）で表される、対応する参照視点フレームの画素の最大値と最小値との差ｄｉｆｆ（ｐ）を用いる方法もある。また、分散の逆数ではなく、次の数式（４）’のように指数関数を用いた信頼度を定義しても構わない。なお、関数ｆは上述のｖａｒ１，ｖａｒ２，ｄｉｆｆのいずれでも構わない。この場合、関数ｆの値域に０が含まれていても信頼度を定義することが可能である。
Figure 2011105337
これらの方法は、単純であるが、オクルージョンの発生を考慮していないため、常に最適な信頼度が得られるとは限らない。そこで、オクルージョンの発生を考慮して、参照視点フレームを対応画素の画素値によってクラスタリングし、最も大きいクラスタに属する参照視点フレームの対応画素の画素値に対して、分散値や、最大値と最小値との差を計算して用いても構わない。
更に別の方法としては、視点間の対応点における誤差が正規分布や、ラプラス分布に従うと仮定し、分布の平均値や、分散値をパラメータとして、上記数式（４）のｄｉｆｆなどで求められる各画素の誤差量に対応する確率の値を用いて信頼度を定義しても構わない。その際に分布のモデルや、その平均値や、分散値は、予め定められたものを用いても構わないし、使用したモデルの情報を符号化して伝送しても構わない。一般に、被写体が完全拡散反射しているのであれば、理論的に分布の平均値は０と考えることができるため、モデルを簡略化してもよい。
また、視点合成画像を生成した際の対応点が得られるデプス付近で、対応画素の画素値の誤差量が最小であると仮定すると、デプスを微小に変化させたときの誤差量の変化から誤差分布モデルを推定し、その誤差分布モデルそのものや、その誤差分布モデルと視点合成画像生成時の参照視点フレーム上の対応画素の画素値とに基づいた値を用いて信頼度を定義する方法を用いても構わない。
誤差分布モデルのみを用いた定義としては、誤差の発生確率がその誤差分布に従う際に、誤差が一定の範囲内に収まる確率を信頼度とする方法がある。誤差分布モデルと視点合成画像生成時の参照視点フレーム上の対応画素の画素値とを用いた定義としては、誤差の発生確率が推定した誤差分布に従うとした場合に、視点合成画像生成時の参照視点フレーム上の対応画素の画素値で表される状況が発生する確率を信頼度とする方法がある。
更に別な方法として、視点合成を行う際に必要となる視差（デプス）を推定する際に、Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎと呼ばれる手法（上述した非特許文献７）を用いた際に得られる、視差（デプス）に対する確率の値を信頼度としても構わない。Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ以外でも、視点合成画像の各画素について、解の確からしさを内部的に計算するデプス推定アルゴリズムであれば、その情報を信頼度として用いることが可能である。
視点合成画像生成時に、対応点探索や、ステレオ法、デプス推定を行う場合には、対応点の情報やデプス情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては、視点合成画像生成と信頼度計算とを同時に行うことで、演算量を削減することが可能である。
信頼度の計算が終了したら、符号化対象フレームをブロックに分割し、その領域毎に、視点合成画像補正部１０８で、視点合成画像のカメラ間ミスマッチを補正しながら、符号化対象フレームの映像信号を符号化する（ステップＳａ４〜Ｓａ１２）。つまり、符号化対象ブロックインデックスをｂｌｋ、総符号化対象ブロック数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳａ４）、その後、ｂｌｋに１を加算しながら（ステップＳａ１１）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳａ１２）、以下の処理（ステップＳａ５〜Ｓａ１０）を繰り返す。
なお、視点合成画像の生成や、信頼度の計算を符号化対象ブロック毎に行うことが可能であれば、それらの処理も、符号化対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、符号化対象ブロックに対するデプス情報が与えられている場合が該当する。
符号化対象ブロック毎に繰り返される処理では、まず、参照領域設定部１０８１で、視点合成画像を用いて、ブロックｂｌｋに対応する参照フレーム上のブロックであるところの参照領域を見つける（ステップＳａ５）。ここで、参照フレームとは、既に符号化処理が終了したデータを復号して得られるローカルデコード画像のことである。このローカルデコード画像のデータは、復号画像メモリ１１１に蓄積されるデータである。
なお、ローカルデコード画像を使用するのは、復号側で同じタイミングで取得可能なデータと同じものを用いることで、ドリフトと呼ばれる符号化歪みの発生を防ぐためである。そのような符号化歪みの発生を許すのであれば、ローカルデコード画像ではなく、符号化対象フレームより先に符号化された入力フレームを用いても構わない。
参照領域を求める処理は、視点合成画像Ｓｙｎ［ｂｌｋ］をテンプレートとして、適合度を最大化もしくは乖離度を最小化する対応ブロックを、復号画像メモリ１１１に蓄積されているローカルデコード画像上で求める処理である。本第１実施形態では、乖離度を示すマッチングコストを用いるものとする。乖離度を示すマッチングコストの具体例としては、次の数式（５）や、数式（６）などがある。
Figure 2011105337
Figure 2011105337
ここで、ｖｅｃは、対応ブロック間のベクトルであり、ｔは、復号画像メモリ１１１に蓄積されているローカルデコード画像Ｄｅｃの１つを示すインデックス値とする。これら以外に、視点合成画像とローカルデコード画像との間の差分値をＤＣＴ（Discrete Cosine Transform：離散コサイン変換）や、アダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Ａで表すと、次の数式（７）や、数式（８）で表すことができる。なお、||Ｘ||は、Ｘのノルムを表す。
Figure 2011105337
Figure 2011105337
つまり、これらのマッチングコストを最小化するブロックを求める処理は、次の数式（９）で表される（ｂｅｓｔ＿ｖｅｃ，ｂｅｓｔ＿ｔ）の組を求めることになる。ここで、ａｒｇｍｉｎは、与えられた関数を最小化するパラメータを求める処理を示す。導出するパラメータの集合はａｒｇｍｉｎの下部で与えられる集合である。
Figure 2011105337
探索するフレーム数、探索範囲、及び探索の順序や打ち切りを決定する方法には、任意の方法を用いても構わない。但し、正確に復号するためには、復号側で用いるものと同様のものを用いる必要がある。なお、探索範囲や、打ち切り方法は、演算コストに大きな影響を与える。より少ない探索範囲で高いマッチング精度を出すための１つの方法として、探索中心を適切に設定する方法がある。１つの例としては、参照視点フレーム上の対応領域で使用されていた動きベクトルで表される対応点を探索中心にする方法がある。
また、復号側の探索にかかる演算コストを削減する別の方法として、探索を行う対象のフレームを限定する方法がある。予め探索対象のフレーム決定法を決めても構わない。例えば、最も直前に符号化が終了したフレームを探索対象とする方法がこれに相当する。また、探索対象フレームを限定する別の方法として、どのフレームを対象とするかを示す情報を符号化して復号側に通知する方法もある。この場合、復号側では、探索対象フレームを示すインデックス値などの情報を復号し、それに基づいて探索対象フレームを決定する機構を備える必要がある。
本第１実施形態では、符号化対象ブロックｂｌｋに対応するブロックを１つだけ求めている。しかし、必要なデータは、時間的に異なるフレームの映像信号を用いて表現された符号化対象ブロックの映像信号の予測値である。このため、符号化対象ブロックｂｌｋ内の各画素に対して、対応画素を求めて、それらをブロック状に並べて作られる映像信号を参照領域としても構わない。また、符号化対象ブロックｂｌｋに対応するブロックを複数設定し、その複数ブロックにおける映像信号の平均値で表される映像信号を参照領域としても構わない。このようにすることで、探索対象フレームにノイズが重畳している場合や、探索精度が低い場合に、それらの影響を低減させ、よりロバストに参照領域を設定することが可能となる。
参照領域Ｒｅｆ［ｂｌｋ］（＝Ｄｅｃｔ［ｂｌｋ＋ｖｅｃ］）が決定したら、推定精度設定部１０８２で、参照領域Ｒｅｆ［ｂｌｋ］の画素毎に、参照領域がどれぐらい正しく得られたかを示す推定精度ψを設定する（ステップＳａ６）。推定精度には、どのような値を用いても構わないが、視点合成画像および参照フレームにおける対応画素間の誤差量に依存した値を用いることが可能である。例えば、数式（１０）や、数式（１１）で表される二乗誤差や、絶対値誤差の逆数や、数式（１２）や、数式（１３）で表される二乗誤差や、絶対値誤差にマイナスを乗じた値などがある。また、別の例としては、誤差がラプラス分布などに従うと仮定して、得られた対応画素間の画像信号の差分に対応する確率を推定精度として用いても構わない。ラプラス分布などのパラメータは、別途与えても構わないし、参照領域推定時に計算する誤差の分布から推定しても構わない。数式（１４）が平均を０とするラプラス分布を用いる場合の例であり、φはパラメータとなる。
Figure 2011105337
Figure 2011105337
Figure 2011105337
Figure 2011105337
Figure 2011105337
推定精度の設定が終了したら、補正パラメータ推定部１０８３において、視点合成画像Ｓｙｎ［ｂｌｋ］を補正するための補正パラメータを推定する（ステップＳａ７）。補正方法や、補正パラメータ推定には、どのような方法を用いても構わないが、復号側で使用されるものと同じ方法を用いる必要がある。
補正方法の例としては、オフセット値による補正、１次関数による補正、ガンマ補正などがある。それぞれ補正前の値をｉｎ、補正後の値をｏｕｔとすると、以下の数式（１５）、（１６）、（１７）で表すことが可能である。
Figure 2011105337
Figure 2011105337
Figure 2011105337
これらの例では、それぞれ、ｏｆｆｓｅｔ、（α，β）、（γ，ａ，ｂ）が補正パラメータである。符号化対象ブロックｂｌｋに写っている被写体の画像信号が時間的に変化しないと仮定すると、補正前の値が視点合成画像の画像信号であり、理想的な補正後の値が参照領域の画像信号となる。つまり、この２つの画像信号の乖離度で表されるマッチングコストが小さくなるように、補正パラメータを求めることで、精度の高い補正が行えることになる。なお、マッチングコストを２つの画像信号の適合度で表す場合は、マッチングコストを最大化するようにパラメータを求めることになる。
つまり、補正処理を表す関数をＦとし、２つの画像信号の乖離度を表すマッチングコスト関数をＣとすると、補正パラメータを求める処理は、次の数式（１８）で表すことができる。
Figure 2011105337
 ここで、ｐａｒＦは、補正方法Ｆの補正パラメータの集合を示し、ａｒｇｍｉｎは、与えられた関数を最小化するパラメータを求める処理を示す。導出するパラメータの集合はａｒｇｍｉｎの下部で与えられる集合である。
マッチングコストにはどのようなものを用いても構わないが、例えば、２つの信号の差の二乗を用いることができる。また、マッチングコストにおいて、視点合成画像の信頼度や、参照領域の推定精度や、その両方を用いて画素ごとに重み付けを行っても構わない。次の数式（１９），（２０），（２１），（２２）は、２つの信号の差の二乗を乖離度とする際に、それぞれ、全く重み付けを行わない場合、視点合成画像の信頼度で重み付けを行う場合、参照領域の推定精度で重み付けを行う場合、視点合成画像の信頼度と参照領域の推定精度の両方で重み付けを行う場合のマッチングコスト関数の例を示す。
Figure 2011105337
Figure 2011105337
Figure 2011105337
Figure 2011105337
例えば、オフセット値による補正では、マッチングコスト関数として数式（２２）を用いた場合は、次の数式（２３）を用いて、ｏｆｆｓｅｔを求めることが可能である。
Figure 2011105337
一次関数による補正を行う場合には、最小二乗法を用いて、二乗誤差を最小化するパラメータを導出することが可能である。
なお、これらの補正パラメータは、輝度や、色差信号毎に求めても良いし、ＲＧＢなどの色チャンネル毎に求めても構わない。また、各チャンネルを細分化して、一定のレンジ毎に異なる補正を行うことも可能である（例えば、Ｒチャンネルの０〜１２７と１２８〜２５５とで別の補正パラメータを用いた補正を行う）。
補正パラメータの推定が終了したら、画像補正部１０８４で、ブロックｂｌｋに対する視点合成画像を補正パラメータに従って補正し、補正視点合成画像Ｐｒｅｄを生成する（ステップＳａ８）。ここでの処理は、補正パラメータを代入した補正モデルに視点合成画像を入力すればよい。例えば、オフセット値を用いた補正を行う場合には、以下の数式（２４）に従って補正視点合成画像Ｐｒｅｄが生成される。
Figure 2011105337
ブロックｂｌｋの視点合成画像の補正が完了したら、補正視点合成画像Ｐｒｅｄを予測画像として用いて符号化対象フレームＯｒｇ［ｂｌｋ］を予測符号化する（ステップＳａ９）。つまり、符号化対象フレームＯｒｇ［ｂｌｋ］と補正視点合成画像Ｐｒｅｄの差分を予測残差として予測残差算出部１１２で生成し、その予測残差を予測残差符号化部１０９で符号化する。どのような符号化方法を用いても構わないが、Ｈ．２６４などの一般的な符号化手法では、予測残差に対して、ＤＣＴ・量子化・２値化・エントロピー符号化を施すことによって符号化を行う。
符号化結果のビットストリームは、多視点映像符号化装置１００の出力となると共に、ブロック毎に予測残差復号部１１０で復号され、復号結果と補正視点合成画像Ｐｒｅｄとを復号画像算出部１１３で足し合わせてローカルデコード画像Ｄｅｃｃｕｒ［ｂｌｋ］を構築する。構築されたローカルデコード画像は、今後の予測に使用するために、復号画像メモリ１１１に蓄積する（ステップＳａ１０）。
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図４は、本第２実施形態による多視点映像復号装置の構成を示すブロック図である。図４において、多視点映像復号装置２００は、符号化データ入力部２０１、符号化データメモリ２０２、参照視点フレーム入力部２０３、参照視点画像メモリ２０４、視点合成部２０５、視点合成画像メモリ２０６、信頼度設定部２０７、視点合成画像補正部２０８、予測残差復号部２１０、復号画像メモリ２１１及び復号画像算出部２１２を備えている。
符号化データ入力部２０１は、復号対象となる映像フレーム（復号対象フレーム）に対する符号化データを入力する。符号化データメモリ２０２は、入力された符号化データを蓄積する。参照視点フレーム入力部２０３は、復号対象フレームとは別の視点に対する映像フレームである参照視点フレームを入力する。参照視点画像メモリ２０４は、入力された参照視点フレームを蓄積する。視点合成部２０５は、参照視点フレームを用いて復号対象フレームに対する視点合成画像を生成する。視点合成画像メモリ２０６は、生成された視点合成画像を蓄積する。
信頼度設定部２０７は、生成された視点合成画像の画素毎の信頼度を設定する。視点合成画像補正部２０８は、視点合成画像のカメラ間ミスマッチを補正し、補正視点合成画像を出力する。予測残差復号部２１０は、符号化データから復号対象フレームと補正視点合成画像との差を予測残差信号として復号する。復号画像メモリ２１１は、復号された予測残差信号と補正視点合成画像とを復号画像算出部２１２で足し合わせて得られる復号対象フレームの復号画像を蓄積する。
なお、上述した多視点映像復号装置２００の構成において、参照視点フレーム入力部２０３、参照視点画像メモリ２０４、視点合成部２０５、視点合成画像メモリ２０６、信頼度設定部２０７、視点合成画像補正部２０８、予測誤差復号部２１０、及び復号画像メモリ２１１は、各々、第１実施形態による多視点映像符号化装置１００における、参照視点フレーム入力部１０３、参照視点画像メモリ１０４、視点合成部１０５、視点合成画像メモリ１０６、信頼度設定部１０７、視点合成画像補正部１０８、予測誤差復号部１１０、及び復号画像メモリ１１１と同じである。
また、視点合成画像補正部２０８の構成は、上述した第１実施形態よる多視点映像符号化装置１００の視点合成画像補正部１０８（図２）と同一である。但し、以下の説明では、図５に示すように、参照領域設定部２０８１、推定精度設定部２０８２、補正パラメータ推定部２０８３、画像補正部２０８４として説明する。
図６は、本第２実施形態による多視点映像復号装置２００の動作を説明するためのフローチャートである。このフローチャートに従って、多視点映像復号装置２００の実行する処理について詳細に説明する。
まず、符号化データ入力部２０１より、復号対象フレームに対する符号化データが入力され、符号化データメモリ２０２に格納される（ステップＳｂ１）。また、参照視点フレーム入力部２０３より、復号対象フレームと同時刻に参照視点で撮影された参照視点フレームＲｅｆｎが入力され（ｎ＝１，２，…，Ｎ）、参照視点画像メモリ２０４に蓄積される（ステップＳｂ１）。
ここで入力される参照視点フレームは、別途復号された画像とする。ドリフトと呼ばれる符号化ノイズの発生を防ぐためには、符号化装置で使用したものと同一のものが入力される必要がある。しかし、それらの符号化ノイズの発生を許容する場合には、符号化装置で使用されたものと別のものが入力されても構わない。なお、ｎは、参照視点を示すインデックスであり、Ｎは、ここで利用可能な参照視点の数である。
次に、視点合成部２０５で、参照視点フレームの情報から、復号対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Ｓｙｎを視点合成画像メモリ２０６に蓄積する（ステップＳｂ２）。そして、信頼度設定部２０７において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成する（ステップＳｂ３）。これらの処理は、それぞれ、第１実施形態のステップＳａ２、及びステップＳａ３と同じである。
信頼度の計算が終了したら、予め定められたブロック毎に、視点合成画像補正部２０８で視点合成画像のカメラ間ミスマッチを補正しながら、復号対象フレームの映像信号を復号する（ステップＳｂ４〜Ｓｂ１２）。つまり、復号対象ブロックインデックスをｂｌｋ、総復号対象ブロック数をｎｕｍＢｌｋｓで表すとすると、ｂｌｋを０で初期化し（ステップＳｂ４）、その後、ｂｌｋに１を加算しながら（ステップＳｂ１１）、ｂｌｋがｎｕｍＢｌｋｓになるまで（ステップＳｂ１２）、以下の処理（ステップＳｂ５〜Ｓｂ１０）を繰り返す。
なお、視点合成画像の生成や、信頼度の計算を、復号対象ブロック毎に行うことが可能であれば、それらの処理も復号対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、復号対象ブロックに対するデプス情報が与えられている場合が該当する。また、後述のステップＳｂ９は、ブロック毎に行わず、事前に全部のブロックに対して行い、その結果を蓄積して利用しても構わない。但し、その場合には、復号予測残差信号を蓄積するメモリが必要となる。
復号対象ブロック毎に繰り返される処理では、まず、参照領域設定部２０８１（≒参照領域設定部１０８１）で、視点合成画像を用いて、ブロックｂｌｋに対応する参照フレーム上のブロックであるところの参照領域Ｒｅｆ［ｂｌｋ］を見つける（ステップＳｂ５）。なお、参照フレームとは、既に復号処理が終了して、復号画像メモリ２１１に蓄積されているデータである。
この処理は、第１実施形態のステップＳａ５と同じである。探索のためのマッチングコスト・探索対象フレームの決定法・参照領域に対する映像信号の生成法などは、符号化装置で用いられた方法と同一のものを使うことで、ノイズの発生を防ぐことが可能である。
参照領域Ｒｅｆ［ｂｌｋ］（＝Ｄｅｃｔ［ｂｌｋ＋ｖｅｃ］）が決定したら、推定精度設定部２０８２（≒推定精度設定部１０８２）で、参照領域Ｒｅｆ［ｂｌｋ］の画素毎に、参照領域がどれぐらい正しく得られたかを示す推定精度ψを設定する（ステップＳｂ６）。その後、補正パラメータ推定部２０８３（≒補正パラメータ推定部１０８３）において、視点合成画像Ｓｙｎ［ｂｌｋ］を補正するための補正パラメータを推定する（ステップＳｂ７）。次に、画像補正部２０８４（≒画像補正部１０８４）で、ブロックｂｌｋに対する視点合成画像を補正パラメータに従って補正し、補正視点合成画像Ｐｒｅｄを生成する（ステップＳｂ８）。これらの処理は、それぞれ、第１実施形態のステップＳａ６、Ｓａ７、Ｓａ８と同じである。
ブロックｂｌｋの視点合成画像の補正が完了したら、予測誤差復号部２１０により、符号化データよりブロックｂｌｋに対する予測残差信号を復号する（ステップＳｂ９）。ここでの復号処理は、符号化手法に対応した処理となる。例えば、Ｈ．２６４などの一般的な符号化手法で符号化されている場合には、ＩＤＣＴ（Inverse Discrete Cosine Transform：逆離散コサイン変換）・逆量子化・多値化・エントロピー復号などを施すことによって復号を行う。
最後に、得られた復号予測残差信号ＤｅｃＲｅｓと補正視点合成画像Ｐｒｅｄとを復号画像算出部２１２で足し合わせて復号対象フレームＤｅｃｃｕｒ［ｂｌｋ］を構築する。構築された復号対象フレームは、今後の予測に使用するために、復号画像メモリ２１１に蓄積すると共に、多視点映像復号装置２００の出力となる（ステップＳｂ１０）。
上述した第１、第２実施形態によれば、生成した視点合成画像を用いて、処理中の領域に対する、既に符号化済みのフレーム上の対応領域を求め、符号化済みフレームにおける対応領域の映像信号をリファレンスとして、視点合成画像の輝度や色の補正を行う。これにより、ミスマッチを減少させる補正を行うことが可能となり、効率的な多視点映像符号化を実現することができる。また、視点合成画像の画素毎に、合成処理の確からしさを示す信頼度を設定し、その信頼度に基づいて画素毎にマッチングコストを重み付けする。そうすることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、適切な対応領域を設定することが可能となる。
また、上述した第１実施形態のステップＳａ５と第２実施形態のステップＳｂ５では、処理対象フレーム（符号化対象フレームまたは復号対象フレーム）の視点合成画像Ｓｙｎ［ｂｌｋ］に対応する参照フレーム上の対応ブロックを、参照フレームＤｅｃを用いて求めている。しかし、参照フレームの視点合成画像ＲｅｆＳｙｎが得られる場合は、参照フレームＤｅｃの代わりに視点合成画像ＲｅｆＳｙｎを用いて対応ブロックを求めても構わない。つまり、数式（５）〜（８）において、ＤｅｃをＲｅｆＳｙｎに置き換えたマッチングコストを用いて、数式（９）で示される（ｂｅｓｔ＿ｖｅｃ，ｂｅｓｔ＿ｔ）の組を求めることで、参照フレーム上の対応ブロックを求めても構わない。ただし、この場合でも、参照領域Ｒｅｆは参照フレームＤｅｃを用いて生成する。視点合成処理が高精度に行える場合、視点合成画像ＲｅｆＳｙｎと参照フレームＤｅｃは等しいと考えられるため、このように視点合成画像ＲｅｆＳｙｎを用いて対応ブロックを探索しても、本発明の実施形態の効果が同様に得られる。
視点合成画像ＲｅｆＳｙｎを用いる場合、参照フレームと同時刻に撮影された参照視点フレームを入力し、参照フレームの視点合成画像を生成して、蓄積する必要がある。ただし、上記実施形態による符号化及び復号処理が連続して複数のフレームに適用される場合、復号画像メモリに処理済フレームが蓄積されている間、視点合成画像メモリに視点合成画像を蓄積し続けることで、参照フレームの視点合成画像を処理対象フレームごとに繰り返し合成することを回避することが可能である。
なお、視点合成画像ＲｅｆＳｙｎを用いる場合、対応領域探索（第１実施形態のステップＳａ５と第２実施形態のステップＳｂ５）において復号画像メモリに蓄積された処理済フレームを必要としないため、対応領域探索の処理は符号化処理や復号処理と同期して行う必要はなくなる。その結果、並列演算等が可能となり、全体の演算時間を削減できるという効果が得られる。
上述した第１、第２実施形態では、視点合成画像や参照フレームをそのまま用いている。しかし、視点合成画像や参照フレームに発生するフィルムグレインや符号化歪みなどのノイズの影響を受けて、対応領域探索の精度が低下する。これらのノイズは特定の周波数成分（特に高周波成分）であるため、対応領域探索に用いるフレーム（画像）に対して、バンドパスフィルタ（ノイズを高周波とする場合は、ローパスフィルタ）をかけてから探索を行うことで、ノイズの影響を小さくすることが可能である。
また、ノイズ等の影響を受けて対応領域探索の精度が低下した場合、対応領域を示すベクトルの空間相関が低下する。しかしながら、通常の映像では、隣接領域には同じ被写体が写っているため、領域間のベクトルはほぼ等しいと考えられ、対応領域を示すベクトルの空間相関は非常に高い。そこで、ブロックごとに推定した動きベクトルに対して平均値フィルタや中央値フィルタを施して、空間相関を高めることで、対応領域探索の精度を向上しても構わない。
上述した第１、第２実施形態では、処理対象ブロックが、対応領域探索のブロックと同じ大きさである場合で説明したが、それらが同じ大きさである必要がないことは明らかである。映像の時間変化は非線形であるため、より小さなブロック毎に対応領域を見つけたほうが、より正確に映像信号の変化を予測することができる。しかしながら、小さなブロックを用いる場合は、演算量が増加するだけでなく、映像信号に含まれるノイズの影響も大きくなる。この問題に対処するために、小さな領域に対する対応領域を探索する際に、小さな領域の周り数画素も探索に用いてノイズの影響を減らすことも容易に類推可能な範囲の処理である。
なお、上述した第１、第２実施形態では、１つのカメラの１フレームを、符号化、または復号する処理を説明したが、この処理をフレーム毎に繰り返すことで、多視点動画像の符号化、または復号を実現することが可能である。さらに、カメラ毎に処理を繰り返すことで、複数のカメラの多視点動画像の符号化、または復号を実現することが可能である。
上述した通り、本発明の実施形態では、被写体に依存する色や輝度のミスマッチが時間的には大きく変化しないという仮定を用いて補正パラメータを求める。そのため、シーンチェンジ等で急激にシーンが変化する場合は、時間的にミスマッチが変化する。このような場合、本発明の実施形態では、適切な補正パラメータが推定できず、補正によって視点合成画像と処理対象フレームの差を増大させてしまう可能性がある。そこで、シーンチェンジ等の急激な変化の有無を判定して、そのような急激な映像の変化がないと判定された場合にだけ、視点合成画像を補正するようにしても構わない。なお、そのような急激な映像変化を判定する方法として、対応領域探索の結果として得られた対応領域の乖離度の値をチェックし、乖離度が一定以上の場合には、急激な映像変化が発生したと判定する方法を用いても構わない。
以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができる。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
また、以上の実施の形態では、多視点映像符号化装置、及び多視点映像復号装置を中心に説明した。しかし、これら多視点映像符号化装置、及び多視点映像復号装置の各部の動作に対応したステップによって本発明の多視点映像符号化方法及び多視点映像復号方法を実現することができる。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は、本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
本発明は、例えば、多視点画像または多視点動画像の符号化および復号に利用される。本発明によれば、カメラ間の輝度や色のミスマッチが局所的に生じている場合においても、補正パラメータを別途符号化／復号することなく、効率的な多視点画像や多視点動画像の符号化／復号を実現することができる。
１００ 多視点映像符号化装置
１０１ 符号化対象フレーム入力部
１０２ 符号化対象画像メモリ
１０３ 参照視点フレーム入力部
１０４ 参照視点画像メモリ
１０５ 視点合成部
１０６ 視点合成画像メモリ
１０７ 信頼度設定部
１０８ 視点合成画像補正部
１０９ 予測残差符号化部
１１０ 予測残差復号部
１１１ 復号画像メモリ
１１２ 予測残差算出部
１１３ 復号画像算出部
１０８１ 参照領域設定部
１０８２ 推定精度設定部
１０８３ 補正パラメータ推定部
１０８４ 画像補正部
２００ 多視点映像復号装置
２０１ 符号化データ入力部
２０２ 符号化データメモリ
２０３ 参照視点フレーム入力部
２０４ 参照視点画像メモリ
２０５ 視点合成部
２０６ 視点合成画像メモリ
２０７ 信頼度設定部
２０８ 視点合成画像補正部
２１０ 予測残差復号部
２１１ 復号画像メモリ
２１２ 復号画像算出部
【０００６】
と、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化ステップとを含む多視点映像符号化方法である。
また、上述した課題を解決するために、本発明の第２の観点は、多視点映像の符号化対象視点に対する映像を符号化するに際し、前記符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームと、前記符号化対象視点における既に符号化済みの参照フレームとを用いて、予測符号化を行う多視点映像符号化方法であって、前記参照視点フレームから、前記符号化対象視点の前記符号化対象フレームと前記参照フレームとに対する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記符号化対象フレームに対する視点合成画像に対応する、前記参照フレームに対する視点合成画像上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域と同位置の前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化ステップとを含む多視点映像符号化方法である。
［００１９］
本発明の第１または第２の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２０］
本発明の第１または第２の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２１］
本発明の第１または第２の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２２］
また、上述した課題を解決するために、本発明の第３の観点は、多視点映像を復号する多視点映像復号方法であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画
【０００７】
像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップとを含む多視点映像復号方法である。
［００２３］
本発明の第３の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２４］
本発明の第３の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２５］
本発明の第３の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２６］
また、上述した課題を解決するために、本発明の第４の観点は、多視点映像を符号化する多視点映像符号化装置であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補
【０００８】
正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化手段とを備える多視点映像符号化装置である。
［００２７］
本発明の第４の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記参照領域推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２８］
本発明の第４の観点において、前記補正パラメータ推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００２９］
本発明の第４の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定手段を更に備え、前記補正パラメータ推定手段は、前記推定精度設定手段により設定された前記推定精度、および前記信頼度設定手段により設定された前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
［００３０］
また、上述した課題を解決するために、本発明の第５の観点は、多視点映像を復号する多視点映像復号装置であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記復号対象視点における既に
【０００９】
復号済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号手段とを有する多視点映像復号装置である。
［００３１］
また、上述した課題を解決するために、本発明の第６の観点は、多視点映像を符号化する多視点映像符号化装置のコンピュータに、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化機能を実行させるプログラムである。
［００３２］
また、上述した課題を解決するために、本発明の第７の観点は、多視点映像を復号する多視点映像復号装置のコンピュータに、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の
また、上述した課題を解決するために、本発明の第３の観点は、多視点映像を復号する多視点映像復号方法であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップとを含む多視点映像復号方法である。
また、上述した課題を解決するために、本発明の第４の観点は、多視点映像の復号対象視点に対する映像を復号するに際し、前記復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における既に復号済みの参照視点フレームと、前記復号対象視点における既に復号済みの参照フレームとを用いて、多視点映像を復号する多視点映像復号方法であって、前記参照視点フレームから、前記復号対象視点の前記復号対象フレームと前記参照フレームとに対する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記復号対象フレームに対する視点合成画像に対応する、前記参照フレームに対する視点合成画像上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域と同位置の前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップとを含む多視点映像復号方法である。
本発明の第３または第４の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第３または第４の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第３または第４の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
また、上述した課題を解決するために、本発明の第５の観点は、多視点映像を符号化する多視点映像符号化装置であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化手段とを備える多視点映像符号化装置である。
本発明の第５の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記参照領域推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第５の観点において、前記補正パラメータ推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
本発明の第５の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定手段を更に備え、前記補正パラメータ推定手段は、前記推定精度設定手段により設定された前記推定精度、および前記信頼度設定手段により設定された前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。
また、上述した課題を解決するために、本発明の第６の観点は、多視点映像を復号する多視点映像復号装置であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号手段とを有する多視点映像復号装置である。
また、上述した課題を解決するために、本発明の第７の観点は、多視点映像を符号化する多視点映像符号化装置のコンピュータに、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化機能を実行させるプログラムである。
また、上述した課題を解決するために、本発明の第８の観点は、多視点映像を復号する多視点映像復号装置のコンピュータに、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号機能を実行させるプログラムである。

Claims (15)

  1. 多視点映像を符号化する多視点映像符号化方法であって、
    前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、
    予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、
    前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
    前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、
    前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化ステップと
    を含む多視点映像符号化方法。
  2. 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、
    前記参照領域推定ステップは、
    前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつける
    請求項１に記載の多視点映像符号化方法。
  3. 前記補正パラメータ推定ステップは、
    前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける
    請求項２に記載の多視点映像符号化方法。
  4. 前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、
    前記補正パラメータ推定ステップは、
    前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける
    請求項２に記載の多視点映像符号化方法。
  5. 多視点映像を復号する多視点映像復号方法であって、
    前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、
    予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、
    前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
    前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、
    前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップと
    を含む多視点映像復号方法。
  6. 前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、
    前記参照領域推定ステップは、
    前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつける
    請求項５に記載の多視点映像復号方法。
  7. 前記補正パラメータ推定ステップは、
    前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける
    請求項６に記載の多視点映像復号方法。
  8. 前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、
    前記補正パラメータ推定ステップは、
    前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける
    請求項６に記載の多視点映像復号方法。
  9. 多視点映像を符号化する多視点映像符号化装置であって、
    前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、
    予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定手段と、
    前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、
    前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、
    前記視点合成画像補正手段により補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化手段と
    を備える多視点映像符号化装置。
  10. 前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、
    前記参照領域推定手段は、
    前記信頼度設定手段により設定された前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつける
    請求項９に記載の多視点映像符号化装置。
  11. 前記補正パラメータ推定手段は、
    前記信頼度設定手段により設定された前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける
    請求項１０に記載の多視点映像符号化装置。
  12. 前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定手段を更に備え、
    前記補正パラメータ推定手段は、
    前記推定精度設定手段により設定された前記推定精度、および前記信頼度設定手段により設定された前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける
    請求項１０に記載の多視点映像符号化装置。
  13. 多視点映像を復号する多視点映像復号装置であって、
    前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、
    予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定手段と、
    前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、
    前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、
    前記視点合成画像補正手段により補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号手段と
    を有する多視点映像復号装置。
  14. 多視点映像を符号化する多視点映像符号化装置のコンピュータに、
    前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、
    予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定機能、
    前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、
    前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、
    前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化機能
    を実行させるプログラム。
  15. 多視点映像を復号する多視点映像復号装置のコンピュータに、
    前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、
    予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定機能、
    前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、
    前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、
    前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号機能
    を実行させるプログラム。
JP2012501773A 2010-02-24 2011-02-21 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム Active JP5303754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012501773A JP5303754B2 (ja) 2010-02-24 2011-02-21 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010038680 2010-02-24
JP2010038680 2010-02-24
PCT/JP2011/053742 WO2011105337A1 (ja) 2010-02-24 2011-02-21 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
JP2012501773A JP5303754B2 (ja) 2010-02-24 2011-02-21 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2011105337A1 true JPWO2011105337A1 (ja) 2013-06-20
JP5303754B2 JP5303754B2 (ja) 2013-10-02

Family

ID=44506745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012501773A Active JP5303754B2 (ja) 2010-02-24 2011-02-21 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム

Country Status (10)

Country Link
US (1) US20120314776A1 (ja)
EP (1) EP2541943A1 (ja)
JP (1) JP5303754B2 (ja)
KR (1) KR101374812B1 (ja)
CN (1) CN102918846B (ja)
BR (1) BR112012020993A2 (ja)
CA (1) CA2790268A1 (ja)
RU (1) RU2527737C2 (ja)
TW (1) TWI436637B (ja)
WO (1) WO2011105337A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
WO2013087880A1 (en) 2011-12-14 2013-06-20 Thomson Licensing Method and system for interpolating a virtual image from a first and a second input images
CN103379349B (zh) * 2012-04-25 2016-06-29 浙江大学 一种视点合成预测编码方法、解码方法、对应的装置及码流
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
CN102761765B (zh) * 2012-07-16 2014-08-20 清华大学 一种用于三维立体视频的深度快速插帧方法
US9854138B2 (en) * 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
CN103079083B (zh) * 2012-12-06 2015-05-06 上海大学 一种已标定平行摄像机阵列多视图像校正方法
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
WO2014103966A1 (ja) 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2014166068A1 (en) * 2013-04-09 2014-10-16 Mediatek Inc. Refinement of view synthesis prediction for 3-d video coding
WO2014178051A2 (en) * 2013-04-30 2014-11-06 Mantisvision Ltd. Selective 3d registration
CN103402097B (zh) * 2013-08-15 2016-08-10 清华大学深圳研究生院 一种自由视点视频深度图编码方法及其失真预测方法
CN103763567B (zh) * 2013-12-31 2017-01-18 华中科技大学 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法
CN105184780B (zh) * 2015-08-26 2018-06-05 京东方科技集团股份有限公司 一种立体视觉深度的预测方法和系统
CN105430397B (zh) * 2015-11-20 2018-04-17 清华大学深圳研究生院 一种3d图像体验质量预测方法及装置
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
DE102021200225A1 (de) 2021-01-12 2022-07-14 Rheinisch-Westfälische Technische Hochschule (RWTH) Aachen, Körperschaft des öffentlichen Rechts Verfahren zur Wiedergabe eines Videostreams durch einen Client

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
WO2009001791A1 (ja) * 2007-06-25 2008-12-31 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2009523355A (ja) * 2006-01-12 2009-06-18 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
US6859494B2 (en) * 2001-07-27 2005-02-22 General Instrument Corporation Methods and apparatus for sub-pixel motion estimation
JP2005505841A (ja) * 2001-10-08 2005-02-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定のための装置及び方法
JP2005506626A (ja) * 2001-10-25 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
PL378138A1 (pl) * 2003-05-20 2006-03-06 Lego A/S Sposób i układ do manipulowania cyfrową reprezentacją obiektu trójwymiarowego
JP4052331B2 (ja) * 2003-06-20 2008-02-27 日本電信電話株式会社 仮想視点画像生成方法及び３次元画像表示方法並びに装置
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
CN101375593A (zh) * 2006-01-12 2009-02-25 Lg电子株式会社 处理多视图视频
EP2116062A2 (en) * 2007-01-04 2009-11-11 Thomson Licensing Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video
TW200843510A (en) * 2007-01-17 2008-11-01 Lg Electronics Inc Method and apparatus for processing a video signal
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
EP2061248A1 (en) * 2007-11-13 2009-05-20 IBBT vzw Motion estimation and compensation process and device
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP5008203B2 (ja) 2008-08-04 2012-08-22 株式会社ニレコ 超音波式厚み検出装置、及び、超音波式エッジ位置検出装置
US8639046B2 (en) * 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
KR101451286B1 (ko) * 2010-02-23 2014-10-17 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009523355A (ja) * 2006-01-12 2009-06-18 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling
WO2009001791A1 (ja) * 2007-06-25 2008-12-31 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Also Published As

Publication number Publication date
BR112012020993A2 (pt) 2016-05-03
CA2790268A1 (en) 2011-09-01
EP2541943A1 (en) 2013-01-02
TWI436637B (zh) 2014-05-01
KR20120117888A (ko) 2012-10-24
WO2011105337A1 (ja) 2011-09-01
RU2527737C2 (ru) 2014-09-10
JP5303754B2 (ja) 2013-10-02
US20120314776A1 (en) 2012-12-13
KR101374812B1 (ko) 2014-03-18
TW201218745A (en) 2012-05-01
CN102918846A (zh) 2013-02-06
RU2012135682A (ru) 2014-03-27
CN102918846B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
JP5303754B2 (ja) 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
JP5237500B2 (ja) 動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラム
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2007036800A (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5883153B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
JP4851564B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4851563B2 (ja) 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20160286212A1 (en) Video encoding apparatus and method, and video decoding apparatus and method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R150 Certificate of patent or registration of utility model

Ref document number: 5303754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350