JP5894301B2 - 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム - Google Patents

映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム Download PDF

Info

Publication number
JP5894301B2
JP5894301B2 JP2014554497A JP2014554497A JP5894301B2 JP 5894301 B2 JP5894301 B2 JP 5894301B2 JP 2014554497 A JP2014554497 A JP 2014554497A JP 2014554497 A JP2014554497 A JP 2014554497A JP 5894301 B2 JP5894301 B2 JP 5894301B2
Authority
JP
Japan
Prior art keywords
prediction
region
image
video
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014554497A
Other languages
English (en)
Other versions
JPWO2014104104A1 (ja
Inventor
志織 杉本
志織 杉本
信哉 志水
信哉 志水
木全　英明
英明 木全
明 小島
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014554497A priority Critical patent/JP5894301B2/ja
Application granted granted Critical
Publication of JP5894301B2 publication Critical patent/JP5894301B2/ja
Publication of JPWO2014104104A1 publication Critical patent/JPWO2014104104A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、双予測符号化を用いた映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム、および、映像復号プログラムに関する。
本願は、２０１２年１２月２８日に出願された特願２０１２−２８７９２７号に基づき優先権を主張し、その内容をここに援用する。
一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを複数の処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。
また、一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象画像を予測するイントラ予測と、既に復号済みの他のフレームを参照して動き探索などに基づき符号化対象画像を予測するインター予測を行う。
ＭＰＥＧ（動画像専門家グループ（Moving Picture Experts Group））−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む多くのビデオ圧縮標準では、画像の符号化／復号順序は再生順序と同一ではなく、そのため、インター予測において時間的に前のフレームを参照する前方向予測だけでなく、後のフレームを参照する後方向予測、更に２つ以上のフレームからの予測結果を混合する双予測を行うことができる。
双予測によれば、画像間の回転、輝度変化、ノイズなどによる予測エラーを低減することができる。双予測については、非特許文献１に詳しく記載されている。
この双予測は、空間解像度の異なる映像を符号化するスケーラブル映像符号化や、多視点映像を符号化する多視点映像符号化などにも利用することができる。
スケーラブル符号化においては、低解像度レイヤの復号画像から高解像度レイヤの予測を行うインターレイヤ予測とインター予測を混合することが可能である。
また多視点映像符号化においては、異なる視点の復号画像から符号化対象視点の予測を行うインタービュー予測とインター予測を混合することが可能である。
スケーラブル映像符号化については非特許文献２に、多視点映像符号化においては非特許文献３に詳しく記載されている。
また、通常の予測方式と組み合わせることが可能な予測方式として、あるピクチャを符号化した際の予測残差を現符号化対象ピクチャの予測に用いる残差予測を利用することも可能である。この残差予測については、非特許文献４に詳しく記載されている。この方法は、高い相関を持つ２つのピクチャを、それぞれ対応する参照ピクチャから予測した場合に、その予測残差も互いに相関を持つことを利用した予測方式である。
一般的な残差予測では、あるピクチャの符号化時の予測残差を、別の参照ピクチャを用いて予測を行った現符号化対象ピクチャの予測残差から差し引き、その差分を符号化する。
スケーラブル符号化では、低解像度レイヤにおける予測残差をアップサンプリングし、高解像度レイヤにおける予測残差から差し引くことで、符号量を削減することができる。
多視点映像符号化においては、異なる視点における予測残差を符号化対象視点の予測残差から差し引くことで符号化効率の向上が可能である。
ここで、自由視点映像符号化について説明する。自由視点映像とは、対象シーンを多数の撮像装置等を用いて様々な位置・角度から撮像することでシーンの光線情報を取得し、これを元に任意の視点における光線情報を復元することで任意の視点から見た映像を生成するものである。
シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある（例えば、非特許文献５参照）。
デプスマップとは、カメラから被写体までの距離（奥行き・デプス）を画素毎に記述したものであり、被写体のもつ３次元情報の簡易な表現である。
２つのカメラから同一の被写体を観測するとき、被写体における各画素のデプス値は、その画素に対するカメラ間の視差の逆数に比例するために、デプスマップはディスパリティマップ（視差画像）と呼ばれることもある。これに対して、デプスマップの対応するカメラの映像のことをテクスチャと呼ぶこともある。デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。
また、デプスマップの時間的に連続した記述であるデプスマップ映像（以下では画像／映像の区別なしにデプスマップと呼ぶ）は、映像信号と同様に、被写体の空間的／時間的な連続性から、空間的・時間的相関を持つと言える。したがって、通常の映像信号を符号化するために用いられる映像符号化方式によって、空間的／時間的冗長性を取り除きながらデプスマップを効率的に符号化することが可能である。
一般にテクスチャとデプスマップの間には高い相関があり、そのため自由視点映像符号化のようにテクスチャとデプスマップを合わせて符号化する場合には、両者の間の相関を利用して更なる符号化効率の向上が実現できる。
非特許文献６では、両者の符号化に用いる予測情報（ブロック分割、動きベクトル、参照フレーム）を共通化することで冗長性を排除し、効率的な符号化を実現している。
なお、本明細書中において、画像とは動画像の１つのフレームまたは静止画像のことであり、複数のフレーム（画像）が集まったもの（動画像）を映像と称する。
M. Flierl and B. Girod, "Generalized B pictures and the draft H. 264/AVC video-compression standard," Circuits and Systems for Video Technology, …, vol. 13, no. 7, pp. 587-597, 2003. H. Schwarz, D. Marpe, and T. Wiegand, "Overview of the scalable video coding extension of the H. 264/AVC standard," …and Systems for Video …, vol. 17, no. 9, pp. 1103-1120, Sep. 2007. M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability," Communications, Control and SignalProcessing, 2008. ISCCSP 2008. 3rd International Symposium on, no. March, pp. 1041-1046, 2008. Y. Mori, N. Fukushima, T. Yendo, T. Fujii, and M. Tanimoto, "View generation with 3D warping using depth information for FTV," Signal Processing, Image Communication, vol. 24, no. 1-2, pp. 65-72, Jan. 2009. I. Daribo, C. Tillier, and B. P. Popescu, "Motion Vector Sharing and Bitrate Allocation for 3D Video-Plus-Depth Coding," EURASIP Journal onAdvances in Signal Processing, vol. 2009, Article ID 258920, 13 pages, 2009.
ところで、従来の双予測は、２つの異なる参照領域に基づいて生成される２つの一次予測画像を混合することによってフレーム間の輝度変化に対する補償や、ノイズの低減が期待できる反面、一部で両方向の予測が大きく異なる場合には予測精度が低下する。こうした予測精度の違いに対する解決方法としては、両一次予測画像に重み係数を設定し混合する方法などがある。
例えば、混合した一次予測画像Ｐｒｅｄは、
Ｐｒｅｄ＝〔（Ｐ０）（Ｐｒｅｄ０）〕＋〔（Ｐ１）（Ｐｒｅｄ１）〕＋Ｄ
と表現できる。
ここで、Ｐ０，Ｐ１は重み係数であり、Ｐｒｅｄ０，Ｐｒｅｄ１はそれぞれ異なる参照領域に基づく１次予測画像であり、Ｄはオフセット係数である。
重み係数及びオフセット係数は、それぞれ単一のスカラー値を用いるよりも、小領域毎や画素毎に設定される係数値とする方がより効果的であるが、復号側で用いるためにこの係数値を符号化することは、ビットストリーム全体の符号量の増大を招くという問題がある。
本発明は、このような事情に鑑みてなされたもので、係数値を符号化することなく高精度な予測画像を生成することができる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム、および、映像復号プログラムを提供することを目的とする。
本発明は、符号化対象映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、符号化対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像符号化装置であって、
前記符号化対象画像に対し、前記基本参照領域に対応づけられる参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定手段と、
前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定手段と、
前記符号化対象画像に対する参照領域である第１の予測領域と第２の予測領域を設定する予測領域設定手段と、
前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成手段と
を備えることを特徴とする映像符号化装置を提供する。
前記第１の参照予測領域と第２の参照予測領域は、前記基本参照領域を符号化した際の予測情報に基づき設定しても良い。
前記第１の予測領域及び第２の予測領域は、前記符号化対象画像との関係が、前記第１の参照予測領域及び前記第２の参照予測領域と前記基本参照領域との間の関係と同等になるように設定しても良い。
前記第１の参照予測領域及び第２の参照予測領域は、前記基本参照領域との関係が、前記第１の予測領域及び前記第２の予測領域と前記符号化対象画像との間の関係と同等になるように設定しても良い。
本発明はまた、映像符号化データを構成する各復号対象フレームを複数の処理領域に分割し、前記処理領域毎に復号を行う際に、復号対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像復号装置であって、
前記復号対象画像に対し、前記基本参照領域に対応づけられる参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定手段と、
前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定手段と、
前記復号対象画像に対する参照領域である第１の予測領域と第２の予測領域を設定する予測領域設定手段と、
前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成手段と
を備えることを特徴とする映像復号装置も提供する。
前記第１の参照予測領域と第２の参照予測領域は、前記基本参照領域を復号した際の予測情報に基づき設定しても良い。
前記第１の予測領域及び第２の予測領域は、前記復号対象画像との関係が、前記第１の参照予測領域及び前記第２の参照予測領域と前記基本参照領域との間の関係と同等になるように設定しても良い。
前記第１の参照予測領域及び第２の参照予測領域は、前記基本参照領域との関係が、前記第１の予測領域及び前記第２の予測領域と前記復号対象画像との間の関係と同等になるように設定しても良い。
好適例として、前記基本参照領域に基づいて設定される基本参照画像と前記第１の参照予測領域に基づいて設定される第１の参照予測画像との差分、及び、前記基本参照画像と前記第２の参照予測領域に基づいて設定される第２の参照予測画像との差分を取り、第１の参照予測残差と第２の参照予測残差を生成する参照予測残差生成手段を更に有し、
前記重み係数設定手段は、前記第１の参照予測残差と前記第２の参照予測残差に基づき前記重み係数を設定する。
前記基本参照領域は前記復号対象画像とは異なるカメラで撮影された画像上に設定しても良い。
前記映像符号化データの復号対象が奥行き映像である場合に、前記基本参照領域は、当該奥行き映像に対応するカメラ映像の画像上に設定しても良い。
前記第１の参照予測領域と前記第２の参照予測領域とは、互いに異なる予測方法により設定されるようにしても良い。
前記映像符号化データには、前記第１の参照予測領域と前記第２の参照予測領域の少なくとも一方を示す情報が多重化されているようにしても良い。
前記映像符号化データには、前記第１の参照予測領域と前記第２の参照予測領域の設定に用いる少なくとも１つの予測方法を示す情報が多重化されているようにしても良い。
典型例として、前記小領域は、画素である。
本発明はまた、符号化対象映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、符号化対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像符号化方法であって、
前記符号化対象画像に対し、前記基本参照領域に対応づけられる参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定ステップと、
前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定ステップと、
前記符号化対象画像に対する参照領域である第１の予測領域と第２の予測領域を設定する予測領域設定ステップと、
前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像符号化方法も提供する。
本発明はまた、映像符号化データを構成する各復号対象フレームを複数の処理領域に分割し、前記処理領域毎に復号を行う際に、復号対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像復号方法であって、
前記復号対象画像に対し、前記基本参照領域に対応づけられる参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定ステップと、
前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定ステップと、
前記復号対象画像に対する参照領域である第１の予測領域と第２の予測領域を設定する予測領域設定ステップと、
前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成ステップと
を備えることを特徴とする映像復号方法も提供する。
本発明はまた、前記映像符号化方法をコンピュータに実行させるための映像符号化プログラムも提供する。
本発明はまた、前記映像復号方法をコンピュータに実行させるための映像復号プログラムも提供する。
本発明によれば、重み係数を符号化することなしに双予測において小領域毎に加重平均を行うことで予測精度低下を回避し、高精度な予測画像を生成することができる。これにより、予測残差符号化に必要な符号量を削減することができるという効果が得られる。
本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。 図１に示す映像符号化装置１００の動作を示すフローチャートである。 同第１実施形態による映像復号装置の構成を示すブロック図である。 図３に示す映像復号装置２００の動作を示すフローチャートである。 本発明の第２実施形態による映像符号化装置の構成を示すブロック図である。 図５に示す映像符号化装置１００ａの動作を示すフローチャートである。 同第２実施形態による映像復号装置の構成を示すブロック図である。 図７に示す映像復号装置２００ａの動作を示すフローチャートである。 映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。 映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。図１は、同実施形態による映像符号化装置１００の構成を示すブロック図である。
映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力フレームメモリ１０２、参照フレームメモリ１０３、付加映像入力部１０４、付加映像メモリ１０５、基本参照領域決定部１０６、第１参照予測部１０７、第２参照予測部１０８、第１予測部１０９、第２予測部１１０、重み係数設定部１１１、加重平均部１１２、減算部１１３、変換・量子化部１１４、逆量子化・逆変換部１１５、加算部１１６、ループフィルタ部１１７、及びエントロピー符号化部１１８を備えている。
符号化対象映像入力部１０１は、符号化対象となる映像を、外部から受け取る。以下では、この符号化対象となる映像のことを符号化対象映像と呼び、特に、処理を行うフレームを、符号化対象フレームまたは符号化対象画像と呼ぶ。
入力フレームメモリ１０２は、入力された符号化対象映像を記憶する。
参照フレームメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下では、この記憶されたフレームを参照フレームまたは参照画像と呼ぶ。
付加映像入力部１０４は、符号化対象映像に対応する付加映像を、外部から受け取る。以下では、この映像のことを付加映像と呼び、特に処理を行う符号化対象フレームに対応するフレームを、対象付加フレームまたは対象付加画像と呼ぶ。
付加映像メモリ１０５は、入力された付加映像を記憶する。
基本参照領域決定部１０６は、符号化対象画像に対応する付加画像上の基本参照領域を決定する。
第１参照予測部１０７及び第２参照予測部１０８は、記憶された付加画像上で、基本参照領域に対する２つ以上の参照予測領域を決定し、それぞれに基づき参照予測画像を生成する。
第１予測部１０９及び第２予測部１１０は、記憶された参照画像上で符号化対象画像に対する２つ以上の予測領域を決定し、それぞれに基づき一次予測画像を生成する。
重み係数設定部１１１は、各参照予測画像に基づき、各一次予測画像に対する重み係数を決定する。
加重平均部１１２は、各一次予測画像と設定された重み係数とを乗算し、両乗算結果を加算して予測画像を生成する。
減算部１１３は、符号化対象画像と予測画像の差分値をとり、予測残差を生成する。
変換・量子化部１１４は、生成された予測残差を変換・量子化し、量子化データを生成する。
逆量子化・逆変換部１１５は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。
加算部１１６は、予測画像と予測残差から、復号画像を生成する。
ループフィルタ部１１７は、生成された復号画像にループフィルタをかけ、参照フレームを生成する。
エントロピー符号化部１１８は、量子化データをエントロピー符号化し符号（符号化）データを生成する。
次に、図２を参照して、図１に示す映像符号化装置１００の動作を説明する。図２は、図１に示す映像符号化装置１００の動作を示すフローチャートである。
図２は、符号化対象映像と相関を持つ別の映像上での対応する領域において予測を行う場合の予測精度を見積り、そこから符号化対象映像において同様の予測を行う場合の予測精度を見積もることで、一次予測画像の加重平均に用いる重み係数を決定する場合の処理を示している。
ここでは、符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレーム毎に繰り返すことで、映像全体の符号化が実現できる。
まず、符号化対象映像入力部１０１は、符号化対象フレームを外部より受け取り、入力フレームメモリ１０２に記憶する。また、付加映像入力部１０４は、符号化対象映像に対応する付加映像の対象付加フレームを外部より受け取り、付加映像メモリ１０５に記憶する（ステップＳ１０１）。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１０３に記憶されているとする。また、付加映像メモリ１０５上には、参照フレームメモリに記憶されている復号フレームに対応する付加フレームも記憶されているとする。
入力される付加映像は符号化対象映像と相関を持つ別の映像であり、符号化対象映像とともに多重化するような映像でも構わないし、復号側で同等の映像を得られるようなものであれば、任意の映像が利用できる。
例えば、多視点映像における符号化対象映像と別の視点の映像などが付加映像として適用できるし、スケーラブル映像における符号化対象映像と別のレイヤの映像なども適用できる。また、符号化対象映像が通常の（カメラ）映像である場合に、当該映像に対応するデプスマップ映像なども適用できるし、その逆の形態も可能である。その他にどのような映像を付加映像としても構わない。
また、付加映像を符号化対象映像とともに符号化し多重化するような場合には、符号化対象映像の付加映像としては、既に符号化し復号した付加映像を映像符号化装置に入力することが望ましいが、そうでなくても構わない。
次に、映像入力の後、符号化対象フレームを複数の符号化対象ブロックに分割し、ブロック毎に符号化対象フレームの映像信号を符号化する（ステップＳ１０２〜Ｓ１１２）。以下のステップＳ１０３〜Ｓ１１１までの処理は、当該フレームの全ての符号化対象ブロックが処理されるまで、繰り返し実行される。
符号化対象ブロック毎に繰り返される処理において、まず、基本参照領域決定部１０６は、符号化対象画像に対応する対象付加画像上の基本参照領域を決定する。
そして、第１参照予測部１０７及び第２参照予測部１０８の各々は、付加映像メモリ１０５上に記憶されている参照付加画像上で基本参照領域に対する何れかの予測を行って参照予測領域を決定し、それぞれの参照予測領域に基づき、第１参照予測画像及び第２参照予測画像を生成する（ステップＳ１０３）。
ここでの参照予測領域とは、各参照付加画像から基本参照領域の予測を行う場合に参照することになる領域であり、その時の予測画像が参照予測画像である。予測方法がインター予測である場合には対応する領域が参照予測領域であり、イントラ予測である場合には既に復号済みの隣接領域が参照予測領域になる。
基本参照領域の決定方法はどのような方法を用いても構わない。
例えば、付加映像が多視点映像における別の視点の映像である場合には、視差探索により符号化対象画像に対応する領域を基本参照領域に決定しても構わない。また、付加映像がスケーラブル映像の別のレイヤの映像である場合には、同一位置に当たる領域を対応する領域として基本参照領域に決定しても構わない。また、付加映像が映像に対するデプスマップ映像や、両映像がその逆の関係である場合には、同一位置に当たる領域を基本参照領域に決定しても構わない。
また、基本参照領域を示す情報を予め定めておいても構わないし、既に復号済みの周辺ブロックの予測情報などから推定しても構わない。あるいは、基本参照領域を示す情報を符号化した映像とともに多重化しても構わない。
また、第１参照予測部１０７と第２参照予測部１０８とは、異なる予測方法あるいは参照予測領域、あるいは共に異なる予測方法及び参照予測領域を選択することが望ましい。
第１参照予測部１０７及び第２参照予測部１０８での予測方法及び参照付加画像及び参照予測領域を決定する方法は、復号側で予測情報などを使用して正しくそれらを決定し、参照予測画像を生成できる方法であれば、どのような方法でも構わない。
また、第１参照予測部１０７と第２参照予測部１０８における予測方法の組み合わせは、どのようなものでも構わない。例えば、両方共インター予測であるが参照するピクチャが違う場合や、一方がイントラ予測でもう他方がインター予測である場合など、任意の組み合わせで構わない。
また、予測方法及び参照付加画像はどのようなものでも構わない。
予め定められたものを用いても構わないし、いずれかの情報が付加映像とともに入力されていても構わない。あるいは、付加映像の符号化／復号時に用いたものと同じものを用いても構わないし、各予測部において動き探索などのいずれかの処理を行なった上で決定しても構わない。
例えば、第１参照予測部１０７では前方向予測を行うとし、第２参照予測部１０８では後方向予測を行うと定めておいても構わないし、フレーム番号やその他の情報に基づいて予測方法を決定する何れかの基準を予め定めておいても構わない。
同様に、参照予測領域は予め定められるとしても構わないし、参照予測領域を示す参照予測情報が付加映像とともに入力されていても構わない。また、周辺の領域や付加映像の符号化／復号時に用いた予測情報や参照予測情報を用いて参照予測領域を決定しても構わないし、いずれかの情報に基づき参照予測情報を推定して用いても構わない。あるいは、各予測部において動き探索などのいずれかの処理を行なった上で決定しても構わないし、他に何れかの方法で決定しても構わない。
例えば、予測方法のみがいずれかに決定されている場合に、各予測部において定められた予測方法で予測処理を行い、予測領域を決定しても構わない。このとき動きベクトルなどの領域を示す情報を参照予測情報として入力し使用しても構わないし、予め定められた視差量などに基づいて動きベクトルを決定しても構わない。また、映像に対するデプスマップなど、何れかの付加情報を用いて動きベクトルを決定しても構わない。
また、各予測方法や各参照付加画像及び参照予測領域を示す情報などを参照予測情報として符号化し、映像の符号データと共に多重化するなどしても構わないし、復号側で同様の情報を得られる場合には符号化しなくても構わない。
例えば、各参照付加画像及び参照予測領域をそれぞれ示す参照付加画像ＩＤや参照動きベクトルを符号化しても良いが、それらを符号化せずに、復号側で復号済みの周辺ブロックなどから推定する場合もある。他にどのような推定を行なっても構わない。
あるいは、一方の参照予測領域を示す情報のみを符号化し、他方の参照予測領域を示す情報を予測しても構わない。
例えば、第１参照予測部１０７における予測方法がＩピクチャまたはＰピクチャからの前方向予測であり、第２参照予測部１０８における予測方法がＰピクチャからの後方向予測である場合に、第２参照予測領域を示す動きベクトルのみを符号化し、第２参照予測領域の周辺ブロックの前方向予測に用いた動きベクトルから、第１参照予測領域を示す動きベクトルを推定する場合などがある。
また多視点映像の場合には、第１参照予測部１０７における予測方法がインタービュー予測であり、第２参照予測部１０８における予測方法がインター予測である場合に、第２参照予測領域を示す参照動きベクトルのみを符号化し、第２参照予測領域の周辺ブロックを予測符号化する際にインタービュー予測に用いた視差ベクトルから、第１参照予測領域を示す参照視差ベクトルを推定する場合などがある。この他にどのような組み合わせや方法を用いても構わない。
また、後述の第１予測部１０９及び第２予測部１１０での予測に用いる情報である予測情報のみを符号化して多重化し、復号時にはその予測情報から、第１参照予測部１０７と第２参照予測部１０８で用いる参照予測情報を決定しても構わない。
例えば、符号化時に第１参照予測部１０７と第２参照予測部１０８で決定した参照予測情報（参照画像番号や予測ベクトルなど）を、第１予測部１０９及び第２予測部１１０で何れかの対応関係に基づいて変更して使用する場合に、第１予測部１０９及び第２予測部１１０で変更された予測情報を符号化して符号データと多重化し、復号時には、後述する復号側の第１参照予測部と第２参照予測部で使用する参照予測情報に戻すための対応関係に基づき、逆の変更を行うようにしてもよい。この場合には、後述する復号側の第１予測部及び第２予測部では、復号した予測情報をそのまま利用できる。
このように第１参照予測部１０７と第２参照予測部１０８での予測方法及び参照付加画像及び参照予測領域を決定する方法は、どのような方法や組み合わせを用いても構わない。
次に、第１予測部１０９及び第２予測部１１０のそれぞれは、参照フレームメモリ１０３に記憶されている参照画像上で、第１参照予測部１０７及び第２参照予測部１０８と同様の予測処理を行って参照領域を決定し、それぞれ一つずつ一次予測画像を生成する（ステップＳ１０４）。
ここでの参照領域とは、各参照画像から符号化対象ブロックの予測を行う場合に参照することになる領域であり、その時の予測画像が一次予測画像である。
第１予測部１０９及び第２予測部１１０での予測方法は、第１参照予測部１０７と第２参照予測部１０８で用いたものと同一であり、参照画像は参照予測画像と対応するものであり、参照領域は参照予測領域と対応するものである。それらの対応関係はどのようなものでも構わない。
例えば、参照画像は、参照予測画像と同一フレーム番号あるいは対応するフレーム番号の、符号化対象映像に対する参照画像を用いることができる。また、参照領域は、参照予測領域と同一ブロック番号の領域や同一位置の領域を用いることもできるし、例えば付加映像が多視点映像の別の視点の映像である場合などには、視差を加味して領域を決定することもできる。
また、これらの対応関係を示す情報を符号化して映像とともに多重化しても構わないし、復号側で推定する場合には符号化しなくても構わない。
また、このような対応関係と参照予測情報とから第１予測部１０９及び第２予測部１１０で用いる予測情報を推定することが可能な場合には、該当する予測情報を符号化せずに復号側で推定しても構わない。
例えば完全に同一フレーム番号の画像を参照して同じ予測方法で予測を行う場合に、第１予測部１０９及び第２予測部１１０で用いる参照画像番号や予測ベクトルを、第１参照予測部１０７と第２参照予測部１０８で用いたものと完全に同じものを用いてもよい。
他にも、対応関係と参照予測情報から、どのような方法で予測情報を推定しても構わない。またこのような場合に、参照予測情報が付加映像の符号化時の予測情報から生成される場合には、予測情報及び参照予測情報を共に符号化しなくても構わない。
次に、重み係数設定部１１１は、第１参照予測画像及び第２参照予測画像を参照して、第１の一次予測画像と第２の一次予測画像とを加重平均するための小領域毎の重み係数を決定する（ステップＳ１０５）。
小領域は符号化対象領域よりも小さい単位の領域であり、予め定められた大きさの領域でも良いし、適応的に決定される大きさの領域でも良いし、各画素を小領域としてもよい。また、重み係数の他に更にオフセット係数を決定し、使用してもよい。
重み係数の決定方法はどのような方法を用いても構わない。
例えば、決定した重み係数に基づいて第１参照予測画像と第２参照予測画像を加重平均した際に基本参照領域における画像が生成されるという仮定のもとに、基本参照領域における付加画像をＩｂとし、第１参照予測画像及び第２参照予測画像をＰｒｅｄｂ１及びＰｒｅｄｂ２としたとき、
｜Ｉｂ−［ｗ・Ｐｒｅｄｂ１＋（１−ｗ）・Ｐｒｅｄｂ２］｜
を最小化するような重み係数行列ｗを求める方法などが適用できる。
どのような方法で求めても構わないが、例えば一般的な最適化問題の解法によって求めても構わないし、例えば予め定められた重み係数のパターンのうち最もいいものを選択しても構わない。この他にどのような方法を用いても構わない。また、この方法を示す情報を符号化し、映像の符号データと多重化しても構わない。
あるいは、基本参照領域における画像を基本参照画像とし、基本参照画像と第１参照予測画像及び第２参照予測画像とから第１参照予測残差及び第２参照予測残差を生成して利用しても構わない。これら第１参照予測残差及び第２参照予測残差を生成する方法はどのようなものを用いても構わない。
例えば、単純に基本参照画像から参照予測画像を差し引いて参照予測残差とするような方法が適用できる。また、オフセット係数を与えても構わないし、他にどのような処理を加えても構わない。
また、それらの方法や処理の内容や必要な情報は、どのように決定しても構わない。付加映像の符号化に用いた予測情報から推定しても構わないし、他にもどのような方法を用いても構わない。また、その方法等を示す情報を符号化し映像の符号データと共に多重化しても構わない。
重み係数生成の方法はどのようなものでも構わない。最も単純な方法としては、例えば第１一次予測画像及び第２一次予測画像に対する重み係数をそれぞれＷ１，Ｗ２とし、第１参照予測残差及び第２参照予測残差をＲｅｓＰｒｅｄ１、ＲｅｓＰｒｅｄ２としたとき、
Ｗ１＝｜ＲｅｓＰｒｅｄ２｜／（｜ＲｅｓＰｒｅｄ１｜＋｜ＲｅｓＰｒｅｄ２｜）
Ｗ２＝｜ＲｅｓＰｒｅｄ１｜／（｜ＲｅｓＰｒｅｄ１｜＋｜ＲｅｓＰｒｅｄ２｜）
とするような方法が適用できる。
あるいは、
Figure 0005894301
 とするような方法も考えられる。
この他にどのような参照予測残差の関数を設計して用いても構わないし、その他にどのような方法を用いて重み係数を決定しても構わない。
たとえば、予め幾つかの組み合わせの一次予測画像について最適な重み係数を決定しておき、参照予測残差との相関を学習しておくような方法も考えられる。またルックアップテーブル等を生成して使用しても構わない。その他にどのような方法を用いても構わない。
また、この方法を示す情報を符号化し、映像の符号データと多重化しても構わない。また、重み係数を決定する方法を示す情報を符号化し、映像の符号データと共に多重化しても構わない。
また、前述の例では、各一次予測画像の乗算に用いる重み係数だけを決定しているが、この他にオフセット係数も決定し、後述の加重平均部で加算して予測画像を生成しても構わない。オフセット係数はスカラー値でも構わないし、小領域毎のオフセット値からなる係数行列でも構わない。また、このオフセット係数はどのように決定されても構わない。
ここで、Ｗ１，Ｗ２は重み係数であり、Ｐｒｅｄ１，Ｐｒｅｄ２はそれぞれ１次予測画像であり、Ｄはオフセット係数であるとき、
Ｐｒｅｄ＝〔（Ｗ１）（Ｐｒｅｄ１）〕＋〔（Ｗ２）（Ｐｒｅｄ２）〕＋Ｄ
とするような場合が考えられる。
この他にどのような形で決定しても構わない。また、重み係数と同時に決定しても構わないし、順番に決定しても構わない。
また、係数値そのものでなく、別の値として決定されても構わない。例えば、予め定められたオフセット係数に対するスケーリング係数として決定する方法などが考えられるが、この他にどのような値として決定しても構わないし、どのような方法で決定しても構わない。
次に、加重平均部１１２は、それぞれ第１の一次予測画像と第２の一次予測画像から、重み係数に基づき、(最終）予測画像を生成する（ステップＳ１０６）。
ここで、重み係数を使用して各一次予測画像を加重平均することで予測画像としても構わないし、更にオフセット係数を加算しても構わない。
続いて、減算部１１３は予測画像と符号化対象画像との差分により、予測残差を生成する（ステップＳ１０７）。
そして、変換・量子化部１１４は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０８）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであれば、どのような方法を用いても構わない。
次に、逆量子化・逆変換部１１５は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０９）。
そして、加算部１１６は、復号予測残差と（最終）予測画像とを加算し、復号画像を生成する（ステップＳ１１０）。続いて、ループフィルタ部１１７はループフィルタをかけて、参照フレームとして参照フレームメモリ１０３に記憶する。
ループフィルタは必要がなければ特にかけなくても構わないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して、符号化ノイズを除去する。
次に、エントロピー符号化部１１８は、量子化データをエントロピー符号化し、符号データを生成する（ステップＳ１１１）。必要であれば、予測情報やその他の付加情報も符号化して符号データに含めても構わない。
そして、全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１２）。
次に、本第１実施形態における映像復号装置について説明する。図３は、同映像復号装置の構成を示すブロック図である。
映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照フレームメモリ２０３、エントロピー復号部２０４、逆量子化・逆変換部２０５、付加映像入力部２０６、付加映像メモリ２０７、基本参照領域決定部２０８、第１参照予測部２０９、第２参照予測部２１０、第１予測部２１１、第２予測部２１２、重み係数設定部２１３、加重平均部２１４、加算部２１５、及びループフィルタ部２１６を備えている。
符号データ入力部２０１は、復号対象となる映像符号データを受け取る。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを、復号対象フレームまたは復号対象画像と呼ぶ。
符号データメモリ２０２は、入力された復号対象映像を記憶する。
参照フレームメモリ２０３は、すでに復号済みの画像を記憶する。
エントロピー復号部２０４は、復号対象フレームの符号データをエントロピー復号して量子化データを生成し、逆量子化・逆変換部２０５は、この量子化データに逆量子化／逆変換を施して復号予測残差を生成する。
付加映像入力部２０６は、復号対象映像に対応する付加映像を受け取る。以下では、この映像のことを付加映像と呼び、特に処理を行う復号対象フレームに対応するフレームを、対象付加フレームまたは対象付加画像と呼ぶ。
付加映像メモリ２０７は、入力された付加映像を記憶する。
基本参照領域決定部２０８は、復号対象画像に対応する付加画像上の基本参照領域を決定する。
第１参照予測部２０９及び第２参照予測部２１０は、記憶された付加画像上で、基本参照領域に対する２つ以上の参照予測領域を決定し、それぞれに基づき参照予測画像を生成する。
第１予測部２１１及び第２予測部２１２は、記憶された参照画像上で復号対象画像に対する２つ以上の予測領域を決定し、それぞれに基づき一次予測画像を生成する。
重み係数設定部２１３は、各参照予測画像に基づき、各一次予測画像に対する重み係数を決定する。
加重平均部２１４は、各一次予測画像と設定された重み係数とを乗算し、両者を加算して予測画像を生成する。
加算部２１５は、予測画像と復号予測残差から、復号画像を生成する。
ループフィルタ部２１６は、生成された復号画像にループフィルタをかけ、参照フレームを生成する。
次に、図４を参照して、図３に示す映像復号装置２００の動作を説明する。図４は、図３に示す映像復号装置２００の動作を示すフローチャートである。
図４は、復号対象映像と相関を持つ別の映像上での対応する領域において予測を行う場合の予測精度を見積り、そこから復号対象映像において同様の予測を行う場合の予測精度を見積もることで、一次予測画像の加重平均に用いる重み係数を決定する場合の処理を示している。
ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレーム毎に繰り返すことで、映像全体の復号が実現できる。
まず、符号データ入力部２０１は、符号データを受け取り、符号データメモリ２０２に記憶する。また、付加映像入力部２０６は、符号化対象映像に対応する付加映像の対象付加フレームを受け取り、付加映像メモリ２０７に記憶する（ステップＳ２０１）。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２０３に記憶されているとする。また、付加映像メモリ２０７上には、参照フレームメモリ２０３に記憶されている復号フレームに対応する付加フレームも記憶されているとする。
次に、復号対象フレームを複数の復号対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号する（ステップＳ２０２〜Ｓ２１０）。以下のステップＳ２０３〜Ｓ２０９までの処理は、当該フレームの全ての復号対象ブロックが処理されるまで、繰り返し実行される。
復号対象ブロック毎に繰り返される処理では、まず、エントロピー復号部２０４は符号データをエントロピー復号して量子化データを生成し（ステップＳ２０３）、逆量子化・逆変換部２０５は、この量子化データに対して逆量子化・逆変換を行い、復号予測残差を生成する（ステップＳ２０４）。
予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し、適宜必要な情報を生成しても構わない。
次に、基本参照領域決定部２０８は、復号対象画像に対応する対象付加画像上の基本参照領域を決定する。
そして、第１参照予測部２０９及び第２参照予測部２１０の各々は、付加映像メモリ２０７上に記憶されている参照付加画像上で基本参照領域に対する何れかの予測を行って参照予測領域を決定し、それぞれの参照予測領域に基づき、第１参照予測画像及び第２参照予測画像を生成する（ステップＳ２０５）。
基本参照領域の決定方法は、符号化時と同一の領域を決定できるものであれば、どのような方法を用いても構わない。当該領域を示す情報を予め定めておいても構わないし、映像とともに多重化された情報があるならば利用しても構わない。また、予測方法や参照予測領域を示す情報が映像符号データと多重化されている場合は、それを利用しても構わないし、特に予測情報を用いずに符号化時と同様の予測が行えるのであれば、係る情報はなくても構わない。詳細については符号化の場合と同様である。
次に、第１予測部２１１及び第２予測部２１２のそれぞれは、参照フレームメモリ２０３に記憶されている参照画像上で、第１参照予測部２０９及び第２参照予測部２１０と同様の予測処理を行って参照領域を決定し、それぞれ一つずつ一次予測画像を生成する（ステップＳ２０６）。
ここで、予測方法や予測領域を示す情報が映像符号データと多重化されている場合はそれを利用しても構わないし、特に予測情報を用いずに符号化時と同様の予測が行えるのであれば、係る情報はなくても構わない。詳細については符号化の場合と同様であるので、ここでは詳細な説明を省略する。
次に、重み係数設定部２１３は、第１参照予測画像及び第２参照予測画像を参照して、第１の一次予測画像と第２の一次予測画像とを加重平均するための小領域毎の重み係数を決定する（ステップＳ２０７）。
小領域は符号化対象領域よりも小さい単位の領域であり、予め定められた大きさの領域でも良いし、適応的に決定される大きさの領域でも良いし、各画素を小領域としてもよい。また、重み係数の他に更にオフセット係数を決定し使用してもよい。またこのとき用いる重み係数を決定する方法を示す情報などが映像符号データと多重化されていれば、それを使用しても構わない。係る情報がなくても符号化時と同様に重み係数を生成できる場合は、なくても構わない。
次に、加重平均部２１４は、それぞれ第１の一次予測画像と第２の一次予測画像から、重み係数に基づき、(最終）予測画像を生成する（ステップＳ２０８）。重み係数を使用して各一次予測画像を加重平均することで予測画像としても構わないし、更にオフセット係数を加算しても構わない。
続いて、加算部２１５は予測画像と復号予測残差とを加算し、復号画像を生成する（ステップＳ２０９）。そして、ループフィルタ部２１６でループフィルタをかけ、参照フレームとして参照フレームメモリ２０３に記憶する。
ループフィルタは必要がなければ特にかけなくても構わないが、通常の映像符号化(復号も含む）では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。
全てのブロックについて処理が終了したら、処理されたフレームを復号フレームとして出力する（ステップＳ２１０）。
＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置を説明する。図５は、同実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図１に示す装置と異なる点は、図１に示す構成では第１参照予測部１０７及び第２参照予測部１０８からの出力が第１予測部１０９及び第２予測部１１０の入力となっていたが、図５に示す構成では、第１予測部１０９及び第２予測部１１０からの出力が第１参照予測部１０７及び第２参照予測部１０８の入力になっている点である。
図５に示す第１予測部１０９及び第２予測部１１０は、記憶された参照画像上で符号化対象画像に対する２つ以上の予測領域を決定し、それぞれに基づき予測画像を生成する。
また、図５に示す第１参照予測部１０７及び第２参照予測部１０８は、記憶された対象付加画像上で基本参照領域に対する２つ以上の参照予測領域を決定し、それぞれに基づき参照予測画像を生成する。
次に、図６を参照して、図５に示す映像符号化装置１００ａの動作を説明する。図６は、図５に示す映像符号化装置１００ａの動作を示すフローチャートである。
図６は、第２実施形態における重み係数設定処理として、符号化対象画像に対する予測情報に基づいて基本参照領域に対する参照予測画像を生成し、それを重み係数生成に用いる場合の処理を示している。
図６において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
まず、ステップＳ１０１、Ｓ１０２は、図２に示す処理動作と同様の処理を行う。
次に、第１予測部１０９及び第２予測部１１０は、記憶された参照画像上で符号化対象画像に対する何れかの予測を行い、それぞれ予測領域を決定し、それぞれに基づき第１一次予測画像及び第２一次予測画像を生成する（ステップＳ１０３ａ）。
第１予測部１０９及び第２予測部１１０での予測方法及び参照画像及び参照領域を決定する方法は、復号側で予測情報などを使用してそれらを正しく決定して一次予測画像を生成できるなら、どのような方法でも構わない。
第１実施形態における参照予測と同様のものでも構わないし、また別の方法でも構わない。また、この予測に必要な情報を予測情報として符号化し、映像の符号データと共に多重化しても構わない。
次に、第１参照予測部１０７及び第２参照予測部１０８のそれぞれにおいて、付加映像メモリ１０５に記憶されている参照付加画像上で、第１予測部１０９及び第２予測部１１０と同様の予測処理を行って参照予測領域を決定し、それぞれ一つずつ参照予測画像を生成する（ステップＳ１０４ａ）。
第１参照予測部１０７及び第２参照予測部１０８での予測方法は、第１予測部１０９と第２予測部１１０で用いたものと同一であり、参照予測画像は参照画像と対応するものであり、また、参照予測領域は参照領域と対応するものである。それらの対応関係はどのようなものでも構わない。詳細は第１実施形態と同様である。
以下、ステップＳ１０６〜Ｓ１１２の処理は図２に示す処理動作と同様である。
次に、本第２実施形態における映像復号装置を説明する。図７は、同実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図３に示す装置と異なる点は、図３に示す構成では、第１参照予測部２０９及び第２参照予測部２１０の出力が第１予測部２１１及び第２予測部２１２の入力となっていたが、図７に示す構成では、第１予測部２１１及び第２予測部２１２の出力が第１参照予測部２０９及び第２参照予測部２１０の入力になっている点である。
図７に示す第１予測部２１１及び第２予測部２１２は、記憶された参照画像上で復号対象画像に対する２つ以上の予測領域を決定し、それぞれに基づき予測画像を生成する。
また、図７に示す第１参照予測部２０９及び第２参照予測部２１０は、記憶された対象付加画像上で基本参照領域に対する２つ以上の参照予測領域を決定し、それぞれに基づき参照予測画像を生成する。
次に、図８を参照して、図７に示す映像復号装置２００ａの動作を説明する。図８は、図７に示す映像復号装置２００ａの動作を示すフローチャートである。
図８は、第２実施形態における重み係数設定処理として、復号対象画像に対する予測情報に基いて基本参照領域に対する参照予測画像を生成し、それを重み係数生成に用いる場合の処理を示している。
図８において、図４に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
まず、ステップＳ２０１からＳ２０４までは、図４に示す処理動作と同様の処理を行う。
次に、第１予測部２１１及び第２予測部２１２は、記憶された参照画像上で符号化対象画像に対する何れかの予測を行い、それぞれ予測領域を決定し、それぞれに基づき第１一次予測画像及び第２一次予測画像を生成する（ステップＳ２０５ａ）。
第１予測部２１１及び第２予測部２１２での予測方法及び参照画像及び参照領域を決定する方法は、符号化側と同様に一次予測画像を生成できるならどのような方法でも構わない。
第１実施形態における参照予測と同様のものでも構わないし、また別の方法でも構わない。また、この予測に必要な情報が符号化されて映像の符号化データと共に多重化されている場合には、これを使用しても構わない。
次に、第１参照予測部２０９及び第２参照予測部２１０のそれぞれにおいて、付加映像メモリ２０７に記憶されている参照付加画像上で、第１予測部２１１及び第２予測部２１２と同様の予測処理を行って参照予測領域を決定し、それぞれ一つずつ参照予測画像を生成する（ステップＳ２０６ａ）。
第１参照予測部２０９及び第２参照予測部２１０での予測方法は、第１予測部２１１と第２予測部２１２で用いたものと同一であり、参照予測画像は参照画像と対応するものであり、また、参照予測領域は参照領域と対応するものである。それらの対応関係はどのようなものでも構わない。
以下、ステップＳ２０７〜Ｓ２１０の処理は第１実施形態と同様である。
なお、前述の第１、第２実施形態では、符号化対象フレームの全ブロックについて重み係数を適用する例を説明したが、一部のブロックにのみ適用してもよい。
また、ブロックによって第１、第２予測部における予測方法の組み合わせや重み係数の決定方法などを可変にしても構わない。その場合には、それらを示す情報を符号化して付加情報に含めてもよいし、復号側に適用可否や予測方法などを判別する機能を付け加えてもよい。その場合には、符号化ノイズや伝送エラーによって復号不能になることを防ぐためのトラブル回避機能や訂正機能を付け加えるとよい。
また、前述した第１、第２実施形態では、主として第１、第２参照予測部と第１、第２予測部で共通の予測情報を用いる場合を説明したが、それぞれ異なる予測によって参照予測画像及び一次予測画像を生成しても構わない。
例えば、第１、第２予測部においては通常の符号化対象映像上の動き探索などによる予測を行い、第１、第２参照予測部においては参照映像上の動き探索などによる予測を行なっても構わない。他にどのような組み合わせでも構わない。
例えば第１、第２予測部における予測は付加映像の符号化時の予測情報を利用して実施するが、第１、第２参照予測部における予測は任意の方法で行うなどしても構わない。または、予測の際に参照するフレーム番号など一部の情報だけを共有しても構わない。
それぞれの予測に用いる予測情報は符号化して映像の符号データと共に多重化しても構わないし、周辺ブロックの情報などから推定しても構わない。
また、前述した第１、第２実施形態では、第１一次予測画像と第２一次予測画像との加重平均によって予測画像を生成する例を説明したが、３つ以上の一次予測画像を加重平均して予測画像を生成するようにしてもよい。
また、その場合に使用する基本参照領域や参照予測画像の数はいくつでも構わないし、その決定方法もどのようなものでも構わないし、複数の決定方法を組み合わせても構わない。
また、前述した第１、第２実施形態では、基本参照領域を別の映像である付加映像上に設定しているが、既に復号済みの同じ映像に基本参照領域を設定しても構わない。
例えば、映像中に細かいテクスチャや繰り返しパターンが多く発生している場合に、同じ映像中の符号化対象画像と同じフレームあるいは異なるフレームに基本参照領域を設定し、その予測残差によって予測誤差を推定することができる場合などに適用できる。その他の場合においても、基本参照領域をどこに設定しても構わない。
例えば多視点映像符号化において符号化対象映像と異なる視点の映像の復号済みのピクチャを参照してインター予測を行う場合に、符号化対象映像の符号化対象フレームと異なるフレーム上に基本参照領域を設定し、その予測残差によって予測誤差を推定するなどしてもよい。
また、前述した第１、第２実施形態では、基本参照領域を一つだけ設定しているが、二つ以上の基本参照領域を設定してもよい。また、第１、第２参照予測部においてそれぞれ異なる基本参照領域に基づいて参照領域を決定してもよい。またこの場合に、一方の予測における予測領域をもう一方の基本参照領域としてもよい。例えば、一方の予測が符号化対象映像と異なる映像の復号済みのピクチャを参照する視差補償予測であり、もう一方の予測が符号化対象映像と異なるフレームの復号済みのピクチャを参照する動き補償予測である場合に、視差補償予測の予測誤差を見積もるための基本参照領域として動き補償予測における予測領域を使用するなどしてもよい。
また、前述の第１、第２実施形態では、符号化対象映像信号中の輝度信号や色差信号を特に区別していないが、区別しても構わない。
例えば色差信号は固定の重み係数を用いて符号化し、輝度信号の符号化時に色差信号の符号化時の予測情報や予測残差を参照して重み係数を決定しても構わないし、逆でも構わない。あるいは、それぞれの重み係数として異なるものを決定して用いても構わない。
また、前述した第１、第２実施形態における一部の処理は、その順序が前後しても構わない。
なお、以上説明した映像符号化装置及び映像復号装置の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
図９は、映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。
本システムは：
・プログラムを実行するＣＰＵ３０
・ＣＰＵ３０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ３１
・カメラ等からの符号化対象の映像信号を映像符号化装置内に入力する符号化対象映像入力部３２（ディスク装置などによる、映像信号を記憶する記憶部でもよい）
・図２、図６に示す処理動作をＣＰＵ３０に実行させるソフトウェアプログラムである映像符号化プログラム３５１が格納されたプログラム記憶装置３５
・ＣＰＵ３０がメモリ３１にロードされた映像符号化プログラムを実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部３６（ディスク装置などによる、符号データを記憶する記憶部でもよい）
とが、バスで接続された構成になっている。
この他に、第１、２実施形態で説明したような符号化を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部３３（ディスク装置などによる、補助情報信号を記憶する記憶部でもよい）をさらに接続する。
また、図示は省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
図１０は、映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。
本システムは：
・プログラムを実行するＣＰＵ４０
・ＣＰＵ４０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ４１
・映像符号化装置が本発明による手法により符号化した符号データを映像復号装置内に入力する符号データ入力部４２（ディスク装置などによる、符号データを記憶する記憶部でもよい）
・図４、図８に示す処理動作をＣＰＵ４０に実行させるソフトウェアプログラムである映像復号プログラム４５１が格納されたプログラム記憶装置４５
・ＣＰＵ４０がメモリ４１にロードされた映像復号プログラムを実行することにより生成された復号映像を、再生装置などに出力する復号映像出力部４６
とが、バスで接続された構成になっている。
この他に、第１、２実施形態で説明したような復号を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部４３（ディスク装置などによる、補助情報信号を記憶する記憶部でもよい）をさらに接続する。
また、図示は省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
以上説明したように、双予測のように２つ以上の予測結果を使用する予測方法における、各予測結果である一次予測画像に対し、符号化対象と相関を持つ別の映像上または符号化対象映像上での対応する領域において、符号化対象映像と同様の予測を行う場合の予測精度を見積り、そこから符号化対象映像における予測精度を見積もることで、一次予測画像の加重平均に用いる重み係数を決定する。
このとき：
(i) 上記対応する領域の符号化時の予測ベクトルなどの予測情報やそれらから算出される符号化時の予測画像や、その予測画像と当該領域の画像との差分など、または
(ii) 上記対応する領域に対して符号化対象映像の予測情報を用いて生成される予測画像や、その予測画像と当該領域の画像との差分画像など、
から各予測の予測精度を見積り、その精度に基づき小領域毎に重み係数を導出して一次予測画像の加重平均をすることで、係数値を符号化することなしに高精度な予測画像を生成する。
これによれば、重み系数値を符号化することなしに、双予測において小領域毎に加重平均を行うことで予測精度低下を回避し、高精度な予測画像を生成することが可能となる。これにより、予測残差符号化に必要な符号量を削減することができる。
なお、図１、３、５、７における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理、映像復号処理を行ってもよい。
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
係数値を符号化することなしに高精度な予測画像を生成し、予測残差符号化に必要な符号量を削減することが望まれる用途に適用できる。
１００・・・映像符号化装置
１０１・・・符号化対象映像入力部
１０２・・・入力フレームメモリ
１０３・・・参照フレームメモリ
１０４・・・付加映像入力部
１０５・・・付加映像メモリ
１０６・・・基本参照領域決定部
１０７・・・第１参照予測部
１０８・・・第２参照予測部
１０９・・・第１予測部
１１０・・・第２予測部
１１１・・・重み係数設定部
１１２・・・加重平均部
１１３・・・減算部
１１４・・・変換・量子化部
１１５・・・逆量子化・逆変換部
１１６・・・加算部
１１７・・・ループフィルタ部
１１８・・・エントロピー符号化部
２００・・・映像復号装置
２０１・・・符号データ入力部
２０２・・・符号データメモリ
２０３・・・参照フレームメモリ
２０４・・・エントロピー復号部
２０５・・・逆量子化・逆変換部
２０６・・・付加映像入力部
２０７・・・付加映像メモリ
２０８・・・基本参照領域決定部
２０９・・・第１参照予測部
２１０・・・第２参照予測部
２１１・・・第１予測部
２１２・・・第２予測部
２１３・・・重み係数設定部
２１４・・・加重平均部
２１５・・・加算部
２１６・・・ループフィルタ部

Claims (19)

  1. 符号化対象映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、符号化対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像符号化装置であって、
    前記符号化対象画像に対し、前記基本参照領域を符号化した際の予測情報に基づき、対応する領域若しくは隣接する領域を設定する参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定手段と、
    前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定手段と、
    前記符号化対象画像に対する参照領域であり、前記符号化対象画像との関係が前記基本参照領域との間の関係と同等になるよう、第１の予測領域と第２の予測領域を設定する予測領域設定手段と、
    前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成手段と
    を備えることを特徴とする映像符号化装置。
  2. 前記符号化対象画像に対応する対象付加画像上の基本参照領域を決定し、記憶されている参照付加画像上で基本参照領域に対するインター予測、イントラ予測のいずれかの予測を行って参照予測領域を決定し、それぞれの参照予測領域に基づき、第１参照予測画像及び第２参照予測画像を生成することを特徴とする請求項１に記載の映像符号化装置。
  3. 前記基本参照領域は前記復号対象画像とは異なるカメラで撮影された画像上に設定することを特徴とする請求項１に記載の映像符号化装置。
  4. 前記異なるカメラの視差に応じて前記参照領域を決定することを特徴とする請求項３に記載の映像符号化装置。
  5. 前記異なるカメラのうち、いずれか一方のカメラによる前記予測領域の動きベクトルのみを符号化することを特徴とする請求項３に記載の映像符号化装置。
  6. 映像符号化データを構成する各復号対象フレームを複数の処理領域に分割し、前記処理領域毎に復号を行う際に、復号対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像復号装置であって、
    前記復号対象画像に対し、前記基本参照領域を復号した際の予測情報に基づき、対応する領域若しくは隣接する領域を設定する参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定手段と、
    前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定手段と、
    前記復号対象画像に対する参照領域であり、前記復号対象画像との関係が前記基本参照領域との間の関係と同等になるよう、第１の予測領域と第２の予測領域を設定する予測領域設定手段と、
    前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成手段と
    を備えることを特徴とする映像復号装置。
  7. 前記復号対象画像に対応する対象付加画像上の基本参照領域を決定し、記憶されている参照付加画像上で基本参照領域に対するインター予測、イントラ予測のいずれかの予測を行って参照予測領域を決定し、それぞれの参照予測領域に基づき、第１参照予測画像及び第２参照予測画像を生成することを特徴とする請求項６に記載の映像復号装置。
  8. 前記基本参照領域は前記復号対象画像とは異なるカメラで撮影された画像上に設定することを特徴とする請求項６に記載の映像復号装置。
  9. 前記映像符号化データの復号対象が奥行き映像である場合に、前記基本参照領域は、当該奥行き映像に対応するカメラ映像の画像上に設定することを特徴とする請求項６に記載の映像復号装置。
  10. 前記第１の参照予測領域と前記第２の参照予測領域とは、互いに異なる予測方法により設定されることを特徴とする請求項６に記載の映像復号装置。
  11. 前記映像符号化データには、前記第１の参照予測領域と前記第２の参照予測領域の少なくとも一方を示す情報が多重化されていることを特徴とする請求項６に記載の映像復号装置。
  12. 前記映像符号化データには、前記第１の参照予測領域と前記第２の参照予測領域の設定に用いる少なくとも１つの予測方法を示す情報が多重化されていることを特徴とする請求項６に記載の映像復号装置。
  13. 前記小領域は、画素であることを特徴とする請求項６に記載の映像復号装置。
  14. 映像符号化データを構成する各復号対象フレームを複数の処理領域に分割し、前記処理領域毎に復号を行う際に、復号対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像復号装置であって、
    前記復号対象画像に対し、前記基本参照領域に対応づけられる参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定手段と、
    前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定手段と、
    前記復号対象画像に対する参照領域である第１の予測領域と第２の予測領域を設定する予測領域設定手段と、
    前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成手段と
    を備え、
    前記基本参照領域に基づいて設定される基本参照画像と前記第１の参照予測領域に基づいて設定される第１の参照予測画像との差分、及び、前記基本参照画像と前記第２の参照予測領域に基づいて設定される第２の参照予測画像との差分を取り、第１の参照予測残差と第２の参照予測残差を生成する参照予測残差生成手段を更に有し、
    前記重み係数設定手段は、前記第１の参照予測残差と前記第２の参照予測残差に基づき前記重み係数を設定することを特徴とする映像復号装置。
  15. 符号化対象映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、符号化対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像符号化装置であって、
    前記符号化対象画像に対し、前記基本参照領域に対応づけられる参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定手段と、
    前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定手段と、
    前記符号化対象画像に対する参照領域である第１の予測領域と第２の予測領域を設定する予測領域設定手段と、
    前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成手段と
    を備え、
    前記基本参照領域に基づいて設定される基本参照画像と前記第１の参照予測領域に基づいて設定される第１の参照予測画像との差分、及び、前記基本参照画像と前記第２の参照予測領域に基づいて設定される第２の参照予測画像との差分を取り、第１の参照予測残差と第２の参照予測残差を生成する参照予測残差生成手段を更に備え、
    前記重み係数設定手段は、前記第１の参照予測残差と前記第２の参照予測残差に基づき前記重み係数を設定することを特徴とする映像符号化装置。
  16. 符号化対象映像を構成する各フレームを複数の処理領域に分割し、前記処理領域毎に予測符号化を行う際に、符号化対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像符号化方法であって、
    前記符号化対象画像に対し、前記基本参照領域を符号化した際の予測情報に基づき、対応する領域若しくは隣接する領域を設定する参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定ステップと、
    前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定ステップと、
    前記符号化対象画像に対する参照領域であり、前記符号化対象画像との関係が前記基本参照領域との間の関係と同等になるよう、第１の予測領域と第２の予測領域を設定する予測領域設定ステップと、
    前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成ステップと
    を備えることを特徴とする映像符号化方法。
  17. 映像符号化データを構成する各復号対象フレームを複数の処理領域に分割し、前記処理領域毎に復号を行う際に、復号対象画像としての各処理領域に対応づけられる基本参照領域から予測画像を生成する映像復号方法であって、
    前記復号対象画像に対し、前記基本参照領域を復号した際の予測情報に基づき、対応する領域若しくは隣接する領域を設定する参照領域である第１の参照予測領域と第２の参照予測領域とを設定する参照予測領域設定ステップと、
    前記第１の参照予測領域に基づく第１の参照予測画像と、前記第２の参照予測領域に基づく第２の参照予測画像とに基づき、小領域毎の重み係数を決定する重み係数設定ステップと、
    前記復号対象画像に対する参照領域であり、前記復号対象画像との関係が前記基本参照領域との間の関係と同等になるよう、第１の予測領域と第２の予測領域を設定する予測領域設定ステップと、
    前記重み係数に基づき、前記第１の予測領域に基づく第１の一次予測画像と、前記第２の予測領域に基づく第２の一次予測画像とから、前記予測画像を生成する予測画像生成ステップと
    を備えることを特徴とする映像復号方法。
  18. 請求項１６に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
  19. 請求項１７に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
JP2014554497A 2012-12-28 2013-12-25 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム Active JP5894301B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014554497A JP5894301B2 (ja) 2012-12-28 2013-12-25 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012287927 2012-12-28
JP2012287927 2012-12-28
JP2014554497A JP5894301B2 (ja) 2012-12-28 2013-12-25 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
PCT/JP2013/084689 WO2014104104A1 (ja) 2012-12-28 2013-12-25 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム

Publications (2)

Publication Number Publication Date
JP5894301B2 true JP5894301B2 (ja) 2016-03-23
JPWO2014104104A1 JPWO2014104104A1 (ja) 2017-01-12

Family

ID=51021182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014554497A Active JP5894301B2 (ja) 2012-12-28 2013-12-25 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム

Country Status (5)

Country Link
US (1) US20150358644A1 (ja)
JP (1) JP5894301B2 (ja)
KR (1) KR20150079742A (ja)
CN (1) CN104885462A (ja)
WO (1) WO2014104104A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201703454XA (en) 2014-11-18 2017-06-29 Mediatek Inc Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
CN115460408A (zh) * 2016-01-27 2022-12-09 韩国电子通信研究院 通过使用预测对视频进行编码和解码的方法和装置
CN109716763A (zh) * 2016-09-26 2019-05-03 索尼公司 编码设备、编码方法、解码设备、解码方法、发送设备和接收设备
CN116886930A (zh) * 2016-11-28 2023-10-13 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008535310A (ja) * 2005-03-25 2008-08-28 サムスン エレクトロニクス カンパニー リミテッド 加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置
WO2009005071A1 (ja) * 2007-07-02 2009-01-08 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2009502099A (ja) * 2005-07-21 2009-01-22 トムソン ライセンシング スケーラブルビデオコーディングのための重み付け予測方法及び装置
WO2009054347A1 (ja) * 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1085763B1 (en) * 1996-05-28 2003-01-22 Matsushita Electric Industrial Co., Ltd. Image predictive coding apparatus and method.
DK1387585T3 (da) * 2001-09-12 2005-07-25 Matsushita Electric Ind Co Ltd Billedkodningsfremgangsmåde og billedkodningsfremgangsmåde
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2011128259A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A video decoder and a video encoder using motion-compensated prediction
JP6005865B2 (ja) * 2012-09-28 2016-10-12 インテル・コーポレーション スケーラブルビデオ符号化のためのエンハンスド参照領域の利用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008535310A (ja) * 2005-03-25 2008-08-28 サムスン エレクトロニクス カンパニー リミテッド 加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置
JP2009502099A (ja) * 2005-07-21 2009-01-22 トムソン ライセンシング スケーラブルビデオコーディングのための重み付け予測方法及び装置
WO2009005071A1 (ja) * 2007-07-02 2009-01-08 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2009054347A1 (ja) * 2007-10-25 2009-04-30 Nippon Telegraph And Telephone Corporation 動画像スケーラブル符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体

Also Published As

Publication number Publication date
CN104885462A (zh) 2015-09-02
KR20150079742A (ko) 2015-07-08
JPWO2014104104A1 (ja) 2017-01-12
US20150358644A1 (en) 2015-12-10
WO2014104104A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
JP5197591B2 (ja) 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP5902814B2 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
KR101631183B1 (ko) 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치 및 그 프로그램
JP5894301B2 (ja) 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
JP2015528649A (ja) ３ｄシーンの１以上のビデオを処理する方法
WO2014156648A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
WO2007037645A1 (en) Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
JP5952733B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
JP6386466B2 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
JP2015128252A (ja) 予測画像生成方法、予測画像生成装置、予測画像生成プログラム及び記録媒体
JP5894338B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及びそれらのプログラム
KR101407719B1 (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
US20160057414A1 (en) Method for encoding a plurality of input images, and storage medium having program stored thereon and apparatus
JP6306883B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
US10972751B2 (en) Video encoding apparatus and method, and video decoding apparatus and method
JP6306884B2 (ja) 予測画像生成方法、画像再構成方法、予測画像生成装置、画像再構成装置、予測画像生成プログラム、画像再構成プログラム及び記録媒体
KR20140124045A (ko) 객체 기반 적응적 밝기 보상 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160225

R150 Certificate of patent or registration of utility model

Ref document number: 5894301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150