JP5131224B2 - 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム - Google Patents

動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム Download PDF

Info

Publication number
JP5131224B2
JP5131224B2 JP2009036928A JP2009036928A JP5131224B2 JP 5131224 B2 JP5131224 B2 JP 5131224B2 JP 2009036928 A JP2009036928 A JP 2009036928A JP 2009036928 A JP2009036928 A JP 2009036928A JP 5131224 B2 JP5131224 B2 JP 5131224B2
Authority
JP
Japan
Prior art keywords
image
key frame
frame
information
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009036928A
Other languages
English (en)
Other versions
JP2010193304A (ja
Inventor
貴宏 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2009036928A priority Critical patent/JP5131224B2/ja
Priority to US12/654,335 priority patent/US8374255B2/en
Publication of JP2010193304A publication Critical patent/JP2010193304A/ja
Application granted granted Critical
Publication of JP5131224B2 publication Critical patent/JP5131224B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、動画像符号化システム、動画像符号化装置、方法及びプログラム、並びに、動画像復号装置、方法及びプログラムに関し、例えば、分散映像符号化方式(Distributed Video Coding(DVC):以下、DVC方式と呼ぶ)を用いたものに適用し得るものである。
近年、非特許文献1に記載されるようなDVC方式という新しい符号化方式が注目されている。
DVC方式は、動画像の符号化において、いくつかのフレーム(以下、キーフレームと呼ぶ)についてはフレーム内符号化を適用し、一方、その他のフレーム(Wyner−Zivフレーム)については、時間方向の予測誤差信号の誤り訂正符号(パリティビット)のみを符号化して伝送するものである。なお、キーフレームに対して、フレーム間符号化方式を適用していることもある。
今日のDVC方式は、Slepian−Wolf定理及びWyner−Ziv定理という2つのキーとなる情報理論に基づいた新しい圧縮方式である。DVC方式は、Wyner−Zivフレーム符号化部で符号化するべき原画像(Wyner−Zivフレーム:以下、WZフレームと呼ぶ)に対してSlepian−Wolf符号化処理を行い、その符号化データとWyner−Zivフレーム復号部側で得たWyner−Zivフレーム符号化部側の原画像の予測画像とを基にSlepian−Wolf復号を行う、新しい符号化方式である。
非特許文献1に記載されるようなDVC方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献1の図1を参照しながら、WZフレームの符号化、復号の面から説明する。
Wyner−Zivフレーム符号化部で、符号化するべきWZフレームを変換係数領域に変換(DCT)した後、各帯域毎に、量子化(2MK level Quantizer)し、その量子化値(q)を2値で表し、各ビットの情報を、例えば、1フレーム分集めた情報(Extract bit−planes)毎にSlepian−Wolf符号化(Turbo Encoder)を行い、その結果のうち、パリティピットのみを一時保存(Buffer)し、情報ピットは捨てられる(非特許文献1の図1には明確に図示はされていない)。
Wyner−Zivフレーム復号部では、予測画像を生成し(Interpolation/Extrapolation)、その予測画像を変換係数領域に変換(DCT)し、帯域毎に、サイドインフォメーション(Side Information;副次情報)としてSlepian−Wolf復号部(Turbo Decoder)に入力する。
Slepian−Wolf復号部は、Wyner−Zivフレーム符号化部に対して、一時保存しているパリティピットのうち一部に対して送信要求(Request bits)を行う。受信したパリティビットと、上述したサイドインフォメーションからSlepian−Wolf復号を行う。十分な復号が行えなかった場合には、再度、Wyner−Zivフレーム符号化部側にパリティビットの一部の追加送信要求(Request bits)を行い、受信したパリティビットと上述したサイドインフォメーションからSlepian−Wolf復号を行う。この処理を、十分な復号が行えるまで続ける。
その後、Slepian−Wolf復号の復号値と、サイドインフォメーションから変換係数を再構築し、逆変換(IDCT)することで復号画像を得る。
非特許文献1の記載方式に代表されるような一般的なDVC方式では、パンクチュア(puncture)された誤り訂正符号の一部をWyner−Zivフレーム復号部へ送信し、Wyner−Zivフレーム復号部で誤り訂正符号を受け取り、誤り訂正を行う。このとき、Wyner−Zivフレーム復号部が十分に誤り訂正できない場合は、Wyner−Zivフレーム符号化部へ追加の誤り訂正符号の送信を要求し、十分に誤り訂正が可能になるまでこれを繰り返す。そのため、再送要求というフィードバックを行うために、遅延が生じることや、Wyner−Zivフレーム符号化部とWyner−Zivフレーム復号部が単独で動作できないという問題がある。
そこで、非特許文献2の記載技術では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をWyner−Zivフレーム符号化部で計算している。非特許文献2の記載技術は、Wyner−Zivフレーム復号部の作る予測画像を想定し、Wyner−Zivフレーム符号化部で予測画像を生成し、原画像と比較することにより、訂正を行う対象(Wyner−Zivフレーム復号部の作る予測画像)が原画像に対してどれほどの誤りがあるかを推定し、それを訂正するための必要なパリティ量を計算することにより、フィードバックを必要としない手法を実現している。
Anne Aaron, Shantanu Rane, Eric Setton, and Bernd Girod:Transform−domain Wyner−Ziv Codec for Video. In: Proc, SPIE Visual Communications and Image Processing, San Jose, CA(2004) Marleen Morbee, Josep Prades−Nebot, antoni Roca, and Aleksandra Pizurica,"Improved Pixel−Based Rate Allocation For Pixel−Domain Distributed Video Coders Without Feedback Channel", ICIVS 2007
今日のように、多くのメーカーが存在する状況においては、Wyner−Zivフレーム符号化部のメーカーと、Wyner−Zivフレーム復号部のメーカーとが異なることも多くなると思われる。また、製品の価格帯によって採用されている予測画像の生成方法が異なる可能性は高い。
非特許文献2の記載技術に関し、Wyner−Zivフレーム符号化部で生成する予測画像とWyner−Zivフレーム復号部で生成する予測画像を比較すると、DVC方式においては、Wyner−Zivフレーム符号化部の処理が少ないという特徴があるため、Wyner−Zivフレーム符号化部ではそれほど処理量の大きくない予測画像を生成すると考えられる。一方、誤り訂正を行うWyner−Zivフレーム復号部の予測画像は誤りの少ない予測画像であれば、少ない誤り訂正符号量で誤り訂正が行えるため、より原画像に近い予測画像を生成する傾向がある。そのため、一般的にWyner−Zivフレーム符号化部で生成する予測画像よりも、Wyner−Zivフレーム復号部で生成する予測画像の方がより原画像に近い。
それにも拘らず、Wyner−Zivフレーム復号部でSlepian−Wolf復号を行う際に仮定する誤り(=相関)は、Wyner−Zivフレーム符号化部で生成した予測画像と原画像との相関を計算した結果である。そのため、Slepian−Wolf復号の際には、実際よりも誤っていると仮定して復号を行うこととなり、正しいものを誤っていると仮定してしまい、Slepian−Wolf復号の際の繰り返し回数が増え、値の収束が遅くなるという課題がある。
そのため、非キーフレーム(Wyner−Zivフレーム)の復号を迅速に実行することができる、DVC方式に従う動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムが望まれている。
第1の本発明は、対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置において、(1)入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、(2)上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、(3)上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、(4)上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、(5)誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段とを有することを特徴とする。
第2の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置において、上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段を有することを特徴とする。
第3の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置と、上記動画像符号化装置に対向する動画像復号装置とを有する動画像符号化システムにおいて、上記動画像復号装置として、第1の本発明の動画像復号装置を適用していることを特徴とする。
第4の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられて復号処理を行う動画像復号方法において、(1)キーフレーム復号手段は、入力された符号化キーフレームを復号し、復号されたキーフレームを得、(2)予測画像形成手段は、上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得、(3)相関補正手段は、上記動画像符号化装置から与えられた相関情報を補正し、(4)原画擬似画像誤り訂正手段は、上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正し、(5)復号画像生成手段は、誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得ることを特徴とする。
第5の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを得ると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを得て出力する動画像符号化方法において、予測画像情報出力手段が、上記予測画像の生成方法又は予測画像の特徴の情報を、動画像復号装置へ出力することを特徴とする。
第6の本発明は、対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置を構成するコンピュータを、(1)入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、(2)上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、(3)上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、(4)上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、(5)誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段として機能させることを特徴とする。
第7の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置を構成するコンピュータを、上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段として機能させることを特徴とする。
本発明によれば、非キーフレームの復号を迅速に実行することができるようになる。
第1の実施形態の動画像符号化システムの構成を示すブロック図である。 第1の実施形態のWyner−Zivフレーム符号化部における動作を示すフローチャートである。 第1の実施形態のWyner−Zivフレーム復号部における動作を示すフローチャートである。 第2の実施形態の動画像符号化システムの構成を示すブロック図である。 第2の実施形態のWyner−Zivフレーム符号化部における動作を示すフローチャートである。 第2の実施形態のWyner−Zivフレーム復号部における動作を示すフローチャートである。
(A)第1の実施形態
以下、本発明による動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第1の実施形態を、図面を参照しながら詳述する。第1の実施形態に係る動画像符号化方式は上述したDVC方式である。
(A−1)第1の実施形態の構成
図1は、第1の実施形態の動画像符号化システムの構成を示すブロック図である。
図1において、第1の実施形態の動画像符号化システム100は、動画像符号化装置101と、それに対向する動画像復号装置102とから構成される。
動画像符号化装置101は、ハードウェア的に各種回路を接続して構築されても良く、また、CPU、ROM、RAMなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置101としての機能を実現するように構築されても良い。同様に、動画像復号装置102も、ハードウェア的に各種回路を接続して構築されても良く、また、CPU、ROM、RAMなどを有する汎用的な装置が動画像復号プログラムを実行することで動画像復号装置102としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置101及び動画像復号装置102の機能的構成は、図1で表すことができる。
動画像符号化装置101は、Wyner−Zivフレーム符号化部103とキーフレーム符号化部104とを備える。動画像復号装置102は、Wyner−Zivフレーム復号部105とキーフレーム復号部106とを有する。
キーフレーム符号化部104は、入力シーケンス(フレーム系列)からキーフレームを得、MPEGやJPEGといった従来の符号化方式で符号化を行い、キーフレーム復号部106へ符号化データ(キーフレーム符号化データ)を送信するものである。
Wyner−Zivフレーム符号化部103は、量子化・ビットプレーン分割部107と、Slepian−Wolf符号化部108と、予測画像生成部110と、送信符号量計算部111と、バッファ109とを有する。
量子化・ビットプレーン分割部107は、入力シーケンスからWZフレームを得、画素値を量子化すると共に、ビットプレーン単位へ分割するものである。
Slepian−Wolf符号化部108は、量子化・ビットプレーン分割部107で分割された各ビットプレーンを入力し、Turbo符号やLDPC符号を適用したSlepian−Wolf符号化を行うものである。
予測画像生成部110は、WZフレームの前、若しくは、WZフレームの後、若しくは、WZフレームの前後のキーフレームを入力し、WZフレームの予測画像を生成するものである。WZフレームの前、WZフレームの後、若しくは、WZフレームの前後のキーフレームのいずれを適用するかは予め定められている。
送信符号量計算部111は、予測画像生成部110で生成された予測画像と、入力シーケンスから得られるWZフレームとを入力し、これらを比較することで、Wyner−Zivフレーム復号部105で生成されるWZフレームの予測画像の予測誤り分布の分布パラメータ(相関パラメータ)を推定し、推定した予測誤り分布から、Wyner−Zivフレーム復号部105へ送る各ビットプレーンの誤り訂正符号の量を推定し、推定した相関パラメータをWyner−Zivフレーム復号部105へ送信するものである。送信符号量計算部111は、誤り訂正符号(パリティ)の量を推定している点に着目すれば、パリティ見積もり計算部ということができる。
バッファ109は、Slepian−Wolf符号化部108から出力される各ビットプレーンの誤り訂正符号を保存し、送信符号量計算部111で推定された結果に従った量の誤り訂正符号をWyner−Zivフレーム復号部105へ送信するものである。
キーフレーム復号部106は、キーフレーム符号化部104で符号化されたキーフレームを受信し、復号を行うことで、復号画像を得るものである。
Wyner−Zivフレーム復号部105は、サイドインフォメーション生成部114と、相関補正部115と、Slepian−Wolf復号部112と、復号画像生成部113とを有する。
サイドインフォメーション生成部114は、キーフレーム復号部104で得られた、WZフレームの前、若しくは、WZフレームの後、若しくは、WZフレームの前後のキーフレームの復号画像から、動き推定と動き補償などの手法を用いてWZフレームの予測画像を生成し、量子化・ビットプレーンへ分割するものである。WZフレームの前、WZフレームの後、若しくは、WZフレームの前後のキーフレームのいずれを適用するかは予め定められている。
相関補正部115は、Wyner−Zivフレーム符号化部103から送信されたWZフレームの予測画像と原画像との相関パラメータを補正するものである。この補正方法については、後述する動作説明の項で明らかにする。
Slepian−Wolf復号部112は、サイドインフォメーション生成部114で生成されたビットプレーンを入力し、Wyner−Zivフレーム符号化部103から送信された誤り訂正符号と、相関補正部115で補正された原画像と予測画像の相関パラメータを用いて、Slepian−Wolf復号を行うものである。
復号画像生成部113は、Slepian−Wolf復号化部112での各ビットプレーンの復号結果と、サイドインフォメーション生成部114で生成された予測画像の情報を参照してフレーム単位での情報に再構成した後、再構成されたフレームに逆量子化を行い、復号画像を得るものである。
(A−2)第1の実施形態の動作
次に、第1の実施形態に係る動画像符号化システム100の動作を、図1に加えて、図2及び図3をも参照しながら説明する。ここで、図2は、第1の実施形態のWyner−Zivフレーム符号化部103における動作を示すフローチャートであり、図3は、第1の実施形態のWyner−Zivフレーム復号部105における動作を示すフローチャートである。
入力シーケンス(フレーム系列)は、キーフレームとWZフレームに分けられる。キーフレーム(キーフレーム画像も適宜キーフレームと呼ぶ)は、キーフレーム符号化部104によって符号化され、キーフレーム復号部106によって復号され、一方、WZフレーム(WZフレーム画像も適宜WZフレームと呼ぶ)は、Wyner−Zivフレーム符号化部103によって符号化され、Wyner−Zivフレーム復号部105によって復号される。
以下では、入力シーケンスをキーフレームとWZフレームとに交互に分割して符号化する例を用いて動作の説明を行う。まず、動画像符号化装置101の動作を説明する。
1フレーム目はキーフレームとして符号化が行われる。1フレーム目は、キーフレーム符号化部104へ入力され、非特許文献1の記載技術などと同様に、JPEGやMPEGの1フレームのようなイントラ符号化が行われ、キーフレーム復号部106へ送信される。
2フレーム目は、Wyner−Zivフレーム符号化部103によってWZフレームとして符号化が行われる。この動作を、図1及び図2を参照して説明する。
まず、入力シーケンスから2フレーム目の原画像を取り出し、量子化・ピットプレーン分割部107へ入力し(ステップS101)、量子化・ビットプレーン分割部107は、2フレーム目の原画像(WZフレーム)の画素値を量子化し2値化し、その結果をビットプレーンへ分割する(ステップS102)。
次に、量子化・ビットプレーン分割部107の出力結果から1つのビットプレーンをSlepian−Wolf符号化部108へ入力し(ステップS103)、Slepian−Wolf符号化部108で、Turbo符号やLDPC符号などの方法で、ビットプレーンをSlepian−Wolf符号化し、誤り訂正符号のみをバッファ109へ保存する(ステップS104)。
ビットプレーンをSlepian−Wolf符号化し、誤り訂正符号のみをバッファ109へ保存する処理を、量子化・ビットプレーン分割部107の出力結果における全てのビットプレーンに対して繰り返し実行する(ステップS105)。
また、キーフレーム符号化部104から前後(1フレーム目及び3フレーム目)のキーフレームを予測画像生成部110へ入力し(ステップS106)、予測画像生成部110は、前後のキーフレームから、2フレーム目(WZフレーム)の予測画像を生成する(ステップS107)。例えば、キーフレーム符号化部104には、キーフレームを符号化するために、フレームメモリを内蔵しており、そのフレームメモリに格納されているキーフレームや、キーフレーム符号化部104へ入力されたキーフレームなどを、予測画像生成部110は取り込む。また例えば、キーフレーム符号化部104はイントラ符号化方式が適用されているので、局部復号構成を備えており、符号されたキーフレームを局部復号したキーフレームを、予測画像生成部110は取り込む。予測画像の形成方法として、既存のいかなる方法を適用しても良い。予測画像の生成方法として、例えば、前後フレームの平均を求める方法を挙げることができる。
次に、予測画像生成部110が生成した2フレーム目の予測画像と、入力シーケンスから得た2フレーム目の原画像(WZフレーム)を送信符号量計算部111へ入力し(ステップS108)、送信符号量計算部111は、入力された2フレーム目のWZフレームの予測画像と原画像を比較し、予測画像の予測誤差の分布パラメータ(相関パラメータ)を推定する(ステップS109)。
そして、送信符号量計算部111は、推定した相関パラメータを、Wyner−Zivフレーム復号部105の相関補正部115へ送信すると共に(ステップS110)、送信符号量計算部111で、推定した相関パラメータを基に、各ビットプレーンの予測画像の誤りを推定し、それを訂正するための誤り訂正符号の量(送信符号量)を計算する(ステップS111)。後者の処理は、フレーム符号化部103の予測画像生成部110で生成された予測画像をフレーム復号部105側で生成する予測画像と仮定することで、原画像(WZフレーム)に対する誤り量を推定し、誤りを訂正するために必要な誤り訂正符号の量を推定する処理である。
上述した分布パラメータ(相関パラメータ)を推定する処理(ステップS109)や、誤り訂正符号の量を計算する処理(ステップS111)の手法として、例えば、非特許文献2などに記載の方法を用いることができる。例えば、非特許文献2の記載方法は、計算式の記載は省略し、非特許文献2の記載に委ねるが、予測誤差の分布を平均0のラプラス分布と仮定し、予測画像と原画像の差分の分散を計算し、分布パラメータ(相関パラメータ)の推定値を得、得られた分布パラメータの推定値を利用してビットエラーの確率(誤り量)を推定し、得られたビットエラーの確率の推定値を利用して誤り訂正符号の量(送信符号量)を推定するものである。
送信符号量計算部111は、各ビットプレーンについてそれぞれ推定した、送信すべき誤り訂正符号の量をバッファ109へ入力し(ステップS112)、バッファ109は、全てのビットプレーンについて、推定された量の誤り訂正符号をWyner−Zivフレーム復号部105へ送信する(ステップS113)。
次に、Wyner−Zivフレーム復号部105とキーフレーム復号部106とを有する動画像復号装置102の動作を説明する。
1フレーム目はキーフレームであるため、キーフレーム復号部106は、キーフレーム符号化部104から送信された符号化されたキーフレームを受信し、復号を行う。キーフレームの符号化方式は、上述した例ではイントラ符号化方式であるので、キーフレーム復号部106は、イントラ符号化方式における復号を行うことにより、復号画像を得る。
2フレーム目はWZフレームであるので、Wyner−Zivフレーム復号部105が復号を行う。以下、Wyner−Zivフレーム復号部105の動作を、図1及び図2を参照して説明する。
まず、キーフレーム復号部106から、処理対象のフレーム(2フレーム目;WZフレーム)の前後(1フレーム目及び3フレーム目)のキーフレームをサイドインフォメーション生成部114へ入力し(ステップS201)、サイドインフォメーション生成部114は、前後のキーフレームから、処理対象フレーム(WZフレーム)の予測画像を生成すると共に(ステップS202)、生成した予測画像を量子化・2値化しビットプレーン(特許請求の範囲の原画擬似画像情報に該当する)へ分割する(ステップS203)。予測画像生成方法として、既存のいかなる方法を適用しても良い。予測画像の生成方法として、例えば、前後フレームの平均を適用する方法や、参照文献1に記載のような動き推定や動き補償を行って生成する方法を適用できる。なお、Wyner−Zivフレーム符号化部103の予測画像生成部110が適用している生成方法と、Wyner−Zivフレーム復号部105のサイドインフォメーション生成部114が適用している生成方法とは必ずしも同一である必要はない。
参照文献1:「Jo〜ao Ascenso, Catarina Brites, and Fernando Pereira, “Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding,” 5th EURASIP Conference on Speech and Image Processing, Multimedia Communications and Services, July 2005.」
また、Wyner−Zivフレーム符号化部103から送信された相関パラメータを相関補正部115へ入力し(ステップS204)、相関補正部115は、相関パラメータを補正すると共に(ステップS205)、補正した相関パラメータをSlepian−Wolf復号部112へ入力する(ステップS206)。
WZフレームの予測画像と原画像の差分の分布、すなわち、予測差分の分布が、平均0のラプラス分布に従うと仮定した場合、相関パラメータは分布パラメータαで表される。ラプラス分布のパラメータαと分散σの関係は、以下の(1)式で表される(非特許文献2参照)。
α=2/σ …(1)
Wyner−Zivフレーム符号化部103の処理量が少ないというDVC方式の特徴を考慮すると、Wyner−Zivフレーム復号部105で生成される予測画像の方がWyner−Zivフレーム符号化部103で生成される予測画像よりも原画像により近くなることが多いと考えられる。そのため、サイドインフォメーション生成部114で生成される予測画像と原画像の予測差分の分布の分散は小さいと考えられる。そのため、Wyner−Zivフレーム符号化部103で推定した相関パラメータを、分散を小さくする(=分布パラメータαを大きくする)方向へ補正することにより、Wyner−Zivフレーム復号部105で生成する予測画像と原画像の間の相関へ近付けることができる。例えば、重みWを用いて、補正後の相関パラメータをW・αとする。重みWは一律の重みでも良く、重みWが条件などによって変化させるものであっても良い。例えば、予測画像の生成方法として、参照文献1に記載のような動き推定や動き補償を行って生成する方法を適用した場合には、予測画像生成の際に利用した動き情報に所定の関数を適用して重みWを得ても良く、また、動き情報と重みWとを対応付けた変換テーブルを用意しておいて重みWを得るようにしても良い。
その後、Slepian−Wolf復号部112へサイドインフォメーション生成部114で生成した1つのビットプレーンを入力し(ステップS207)、Slepian−Wolf復号部112は、Wyner−Zivフレーム符号化部103から送信された誤り訂正符号を受信し(ステップS208)、受信した誤り訂正符号と相関補正部115で補正された相関パラメータとを用いて、入力した予測画像のビットプレーンを誤り訂正(Slepian−Wolf復号)し(ステップS209)、その復号結果を復号画像生成部113へ出力する(ステップS210)。
サイドインフォメーション生成部114が生成した全てのビットプレーンについて、それぞれ、上述したビットプレーンの入力、誤り訂正符号の受信、Slepian−Wolf復号、復号結果の出力という一連の処理(ステップS207〜S210)を繰り返す(ステップS211)。
そして、復号画像生成部113は、Slepian−Wolf復号結果のビットプレーンと、サイドインフォメーション生成部114で生成された予測画像の情報を参照してフレーム単位の情報に再構成した後、再構成されたフレームを逆量子化することにより復号画像を得る(ステップS212)。
入力シーケンスにおける奇数番目のフレームの処理は、上述した1フレーム目の処理と同様であり、入力シーケンスにおける偶数番目のフレームの処理は、上述した2フレーム目の処理と同様である。
(A−3)第1の実施形態の効果
第1の実施形態によれば、相関補正部において、相関パラメータをWyner−Zivフレーム復号部の生成する予測画像と原画像との予測誤差分布の真の分布に近い相関パラメータに補正するようにしたので、Slepian−Wolf復号の際に、真の誤りに近い誤りを仮定して復号を行うことができる。その結果、Slepian−Wolf復号でより早く真の値に収束し、繰り返し復号における繰り返し回数を少なくすることができる。
(B)第2の実施形態
次に、本発明による動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第2の実施形態を、図面を参照しながら詳述する。
(B−1)第2の実施形態の構成
図4は、第1の実施形態の動画像符号化システムの構成を示すブロック図であり、上述した第1の実施形態に係る図1との同一、対応部分には同一符号を付して示している。
図4において、第1の実施形態の動画像符号化システム200は、動画像符号化装置201と、それに対向する動画像復号装置202とから構成される。
動画像符号化装置201は、Wyner−Zivフレーム符号化部203とキーフレーム符号化部104とを備える。動画像復号装置202は、Wyner−Zivフレーム復号部205とキーフレーム復号部106とを有する。
第2の実施形態のWyner−Zivフレーム符号化部203も、量子化・ビットプレーン分割部107と、Slepian−Wolf符号化部108と、予測画像生成部210と、送信符号量計算部111と、バッファ109とを有するが、予測画像生成部210が、第1の実施形態のものと多少異なっている。
第2の実施形態の予測画像生成部210は、WZフレームの前、若しくは、WZフレームの後、若しくは、WZフレームの前後のキーフレームを入力し、WZフレームの予測画像を生成し、予測画像と、どのような方法で予測画像を生成したかというエンコーダ予測画像生成情報を出力する。予測画像生成部210は、予測画像を送信符号量計算部111へ出力し、エンコーダ予測画像生成情報をWyner−Zivフレーム復号部205へ送信する。
第2の実施形態のWyner−Zivフレーム復号部205も、サイドインフォメーション生成部214と、相関補正部215と、Slepian−Wolf復号部112と、復号画像生成部113とを有するが、サイドインフォメーション生成部214及び相関補正部215が、第1の実施形態のものと多少異なっている。
サイドインフォメーション生成部214は、キーフレーム復号部106で得られたWZフレームの前、若しくは、WZフレームの後、若しくは、WZフレームの前後のキーフレームの復号画像から、動き推定と動き補償などの手法を用いてWZフレームの予測画像を生成し、量子化とビットプレーンへの分割を行い、どのような手法で予測画像を生成したかというデコーダ予測画像生成情報と予測画像とを相関補正部215へ出力する。
相関補正部215は、Wyner−Zivフレーム符号化部203から送信された相関パラメータ及びエンコーダ予測画像生成情報を受信し、相関パラメータを、サイドインフォメーション生成部214から入力されたデコーダ予測画像生成情報と、エンコーダ予測画像生成情報とを用いて補正するものである。
(B−2)第2の実施形態の動作
次に、第2の実施形態に係る動画像符号化システム200の動作を、図4に加えて、図5及び図6をも参照しながら説明する。ここで、図4は、第2の実施形態のWyner−Zivフレーム符号化部203における動作を示すフローチャートであり、上述した第1の実施形態に係る図2との同一、対応ステップには同一、対応符号を付して示している。また、図5は、第2の実施形態のWyner−Zivフレーム復号部205における動作を示すフローチャートであり、上述した第2の実施形態に係る図3との同一、対応ステップには同一、対応符号を付して示している。
第2の実施形態の動画像符号化システム200は、第1の実施形態の動画像符号化システム100に比較すると、Wyner−Zivフレーム符号化部203における動作と、Wyner−Zivフレーム復号部205における動作が異なっている。
入力シーケンスの2フレーム目(WZフレーム)を処理するとして、第2の実施形態のWyner−Zivフレーム符号化部203の動作を図4及び図5を参照しながら説明する。
まず、入力シーケンスから2フレーム目の原画像を取り出し、量子化・ピットプレーン分割部107へ入力し(ステップS101)、量子化・ビットプレーン分割部107は、2フレーム目の原画像(WZフレーム)の画素値を量子化し2値化し、その結果をビットプレーンへ分割する(ステップS102)。そして、量子化・ビットプレーン分割部107の出力結果から1つのビットプレーンをSlepian−Wolf符号化部108へ入力し(ステップS103)、Slepian−Wolf符号化部108で、Turbo符号やLDPC符号などの方法で、ビットプレーンをSlepian−Wolf符号化し、誤り訂正符号のみをバッファ109へ保存する(ステップS104)。このような処理を全てのビットプレーンに対して繰り返し実行する(ステップS105)。
また、キーフレーム符号化部104から前後(1フレーム目及び3フレーム目)のキーフレームを予測画像生成部210へ入力し(ステップS106)、予測画像生成部210は、前後のキーフレームから、2フレーム目(WZフレーム)の予測画像を生成する(ステップS107)。
以上までの処理は、第1の実施形態と同様である。次に、予測画像生成部210は、どのような方法で予測画像を生成したかということを表すエンコーダ予測画像生成情報を相関補正部215へ送信する(ステップS301)。例えば、予測画像として前のキーフレームを用いた場合は「1」、前後のキーフレームを用いた場合は「2」というように、予測画像の各生成手法とIDとの対応関係を予め定めておき、予測画像生成部210が採用している予測画像の生成手法に応じたIDを、エンコーダ予測画像生成情報として適用するようにすれば良い。これ以降の処理は、第1の実施形態と同様である。
予測画像生成部110が生成した2フレーム目の予測画像と、入力シーケンスから得た2フレーム目の原画像(WZフレーム)を送信符号量計算部111へ入力し(ステップS108)、送信符号量計算部111は、入力された2フレーム目のWZフレームの予測画像と原画像を比較し、予測画像の予測誤差の分布パラメータ(相関パラメータ)を推定する(ステップS109)。そして、送信符号量計算部111は、推定した相関パラメータを、Wyner−Zivフレーム復号部105の相関補正部115へ送信すると共に(ステップS110)、送信符号量計算部111で、推定した相関パラメータを基に、各ビットプレーンの予測画像の誤りを推定し、それを訂正するための誤り訂正符号の量(送信符号量)を計算する(ステップS111)。送信符号量計算部111は、各ビットプレーンについてそれぞれ推定した、送信すべき誤り訂正符号の量をバッファ109へ入力し(ステップS112)、バッファ109は、全てのビットプレーンについて、推定された量の誤り訂正符号をWyner−Zivフレーム復号部105へ送信する(ステップS113)。
次に、入力シーケンスの2フレーム目(WZフレーム)を処理するとして、第2の実施形態のWyner−Zivフレーム復号部205の動作を図4及び図6を参照しながら説明する。
まず、キーフレーム復号部106から、処理対象のフレーム(2フレーム目;WZフレーム)の前後(1フレーム目及び3フレーム目)のキーフレームをサイドインフォメーション生成部214へ入力し(ステップS201)、サイドインフォメーション生成部214は、前後のキーフレーム等から、処理対象フレーム(WZフレーム)の予測画像を生成する(ステップS202)。
第2の実施形態の場合、サイドインフォメーション生成部214は、どのような方法で予測画像を生成したかということを表すデコーダ予測画像生成情報を相関補正部215へ出力する(ステップS401)。例えば、予測画像として前のキーフレームを用いた場合は「1」、前後のキーフレームの平均を用いた場合は「2」、前後のキーフレームを用いて動き推定及び動き補償を行った場合は「3」というように、予測画像の各生成手法とIDとの対応関係を予め定めておき、サイドインフォメーション生成部214が採用している予測画像の生成手法に応じたIDを、デコーダ予測画像生成情報として適用するようにすれば良い。また、サイドインフォメーション生成部214は、生成した予測画像を量子化・2値化しビットプレーンへ分割する(ステップS203)。
また、Wyner−Zivフレーム符号化部103から送信された相関パラメータとエンコーダ予測画像生成情報とを相関補正部215へ入力し(ステップS402)、相関補正部215は、相関パラメータを後述のように補正すると共に(ステップS403)、補正した相関パラメータをSlepian−Wolf復号部112へ入力する(ステップS206)。
第2の実施形態でも、重みWを用いて、相関パラメータαに重みWを乗算することにより、補正後の相関パラメータW・αを得る。第2の実施形態の場合、この重みWの決定に、エンコーダ予測画像生成情報とデコーダ予測画像生成情報とが利用される。例えば、エンコーダ予測画像生成情報とデコーダ予測画像生成情報とのIDの組み合わせに対応付けて重みWを格納したテーブルを相関補正部215が内蔵し、そのテーブルに、今回与えられたエンコーダ予測画像生成情報とデコーダ予測画像生成情報とのIDを適用して重みWを取り出して補正する。
予測画像として、前のフレームの画像を用いるよりも前後のフレームの平均を用いた方がより原画像に近く、動き推定及び動き補償を用いた方がより原画像に近いと考えられる。そのため、これらの関係を考慮して、各組み合わせについて、重みWを予め定めておく。例えば、Wyner−Zivフレーム符号化部203側の予測画像生成手法が前後のフレームの平均で、Wyner−Zivフレーム復号部205側の予測画像生成手法が動き推定・動き補償である場合には、エンコーダ予測画像生成情報とデコーダ予測画像生成情報とに基づいて、予め定められているその重みWを取り出して、相関パラメータの補正を行う。例えば、さまざまなシーケンスを用いて、予測画像生成方法の組み合わせについて、重みを実験的に調べて、適切な重みWを設定するようにすれば良い。これ以降の処理は、第1の実施形態と同様である。
Slepian−Wolf復号部112へサイドインフォメーション生成部214で生成した1つのビットプレーンを入力し(ステップS207)、Slepian−Wolf復号部112は、Wyner−Zivフレーム符号化部203から送信された誤り訂正符号を受信し(ステップS208)、受信した誤り訂正符号と相関補正部215で補正された相関パラメータとを用いて、入力した予測画像のビットプレーンを誤り訂正(Slepian−Wolf復号)し(ステップS209)、その復号結果を復号画像生成部113へ出力する(ステップS210)。サイドインフォメーション生成部214が生成した全てのビットプレーンについて、それぞれ、上述したビットプレーンの入力、誤り訂正符号の受信、Slepian−Wolf復号、復号結果の出力という一連の処理(ステップS207〜S210)を繰り返す(ステップS211)。そして、復号画像生成部113は、Slepian−Wolf復号結果のビットプレーンと、サイドインフォメーション生成部114で生成された予測画像の情報を参照してフレーム単位の情報に再構成した後、再構成されたフレームを逆量子化することにより復号画像を得る(ステップS212)。
(B−3)第2の実施形態の効果
第2の実施形態によっても、Wyner−Zivフレーム復号部が受信した相関パラメータを補正して用いているので、第1の実施形態で言及した効果を奏することができる。さらに、第2の実施形態によれば、Wyner−Zivフレーム符号化部及びWyner−Zivフレーム復号部における予測画像の生成方法の組み合わせによって、補正用の重みを変更するようにしているので、相関パラメータを第1の実施形態以上に正確に補正することが期待できる。
(C)他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
上記各実施形態の動画像符号化装置及び動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。
予測画像の生成に用いるキーフレーム若しくはその範囲は、上記各実施形態のものに限定されるものではない。例えば、WZフレームの前側にも後側にも2つずつのキーフレームを利用するようにしても良い。
第2の実施形態では、エンコーダ予測画像生成情報とデコーダ予測画像生成情報として、予測画像生成手法に割り当てられたIDを用いたものを示したが、予測画像の生成手法を区別できれば良く、表現形式は問われないものである。
第2の実施形態では、予測画像生成手法を、相関パラメータの補正用パラメータの決定に用いたものを示したが、予測画像の特徴を表す情報等の他の情報を、補正用パラメータの決定に用いるようにしても良い。例えば、前後のキーフレームから得た動き情報(キーフレーム符号化部から取り込むようにしても良い)を、予測画像生成手法に代えて用いるようにしても良い。
第2の実施形態の説明では、明確に言及しなかったが、予測画像の生成手法は、動画像符号化装置及び動画像復号装置共に、全てのWZフレームについて同じであっても良く、各WZフレーム毎にダイナミックに定めるものであっても良い。前者の場合であれば、各WZフレームの処理毎に、エンコーダ予測画像生成情報とデコーダ予測画像生成情報を入力させるのではなく、符号化及び復号の開始前に初期時の処理として相関補正部に入力させるようにしても良い。後者の方法としては、例えば、前後のキーフレームから得た動き情報に基づき、動きがない静止フレームと判断したときには、前(若しくは後)のキーフレームを予測画像に適用し、動きがあると判定したときには、動き推定や動き補償を行って予測画像を生成するようにする方法を挙げることができる。このような場合の動き情報を、キーフレーム符号化部から取り込むようにしても良い。
第2の実施形態では、エンコーダ予測画像生成情報及びデコーダ予測画像生成情報から、相関パラメータを補正する重みを決定するものを示したが、エンコーダ予測画像生成情報だけから相関パラメータを補正する重みを決定するようにしても良く、デコーダ予測画像生成情報だけから相関パラメータを補正する重みを決定するようにしても良い。
上記各実施形態では、入力シーケンス(フレーム系列)から、キーフレーム及びWZフレームを交互に取り出すものを示したが、キーフレーム及びWZフレームの比率はこれに限定されるものではない。例えば、キーフレームを2フレーム連続させた次の1フレームをWZフレームとし、キーフレーム及びWZフレームの比率を2:1とするようにしても良い。この場合、キーフレーム符号化部及びキーフレーム復号部は、入力されたキーフレームの時間軸の変化が一律ではないことに応じて、動き補償などを実行するようにすれば良い。
キーフレームの符号化方式は、問われないものである。フレーム内符号化方式に固定されていても良く、フレーム間符号化方式に固定されていても良く、フレーム内符号化方式及びフレーム間符号化方式をフレーム内容に応じて適応的に切り替えるものであっても良い。
100、200…動画像符号化システム、
101、201…動画像符号化装置、
103、203…Wyner−Zivフレーム符号化部、
107…量子化・ビットプレーン分割部、
108…Slepian−Wolf符号化部、
109…バッファ、
110、210…予測画像生成部、
111…送信符号量計算部、
104…キーフレーム符号化部、
102、202…動画像復号装置、
105、205…Wyner−Zivフレーム復号部、
112…Slepian−Wolf復号部、
113…復号画像生成部、
114、214…サイドインフォメーション生成部、
115、215…相関補正部、
106…キーフレーム復号部。

Claims (11)

  1. 対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置において、
    入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、
    上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、
    上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、
    上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、
    誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段と
    を有することを特徴とする動画像復号装置。
  2. 上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、予め定められた定数によって重み付けして補正することを特徴する請求項1に記載の動画像復号装置。
  3. 上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、上記予測画像形成手段が上記予測情報を生成する際に得た非キーフレームの動き情報に応じて定まる重みを重み付けて補正することを特徴する請求項1に記載の動画像復号装置。
  4. 上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、上記動画像符号化装置から与えられた上記動画像符号化装置における予測画像の生成方法又は予測情報の特徴に応じて定まる重みを重み付けて補正することを特徴する請求項1に記載の動画像復号装置。
  5. 上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、当該動画像符号化装置における予測画像の生成方法又は予測画像の特徴に応じて定まる重みを重み付けて補正することを特徴する請求項4に記載の動画像復号装置。
  6. フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置において、
    上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段を有することを特徴とする動画像符号化装置。
  7. フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置と、上記動画像符号化装置に対向する動画像復号装置とを有する動画像符号化システムにおいて、
    上記動画像復号装置として、請求項1に記載の動画像復号装置を適用していることを特徴とする動画像符号化システム。
  8. フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられて復号処理を行う動画像復号方法において、
    キーフレーム復号手段は、入力された符号化キーフレームを復号し、復号されたキーフレームを得、
    予測画像形成手段は、上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得、
    相関補正手段は、上記動画像符号化装置から与えられた相関情報を補正し、
    原画擬似画像誤り訂正手段は、上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正し、
    復号画像生成手段は、誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る
    ことを特徴とする動画像復号方法。
  9. フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを得ると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを得て出力する動画像符号化方法において、
    予測画像情報出力手段が、上記予測画像の生成方法又は予測画像の特徴の情報を、動画像復号装置へ出力することを特徴とする動画像符号化方法。
  10. 対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置を構成するコンピュータを、
    入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、
    上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、
    上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、
    上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、 誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段と
    して機能させることを特徴とする動画像復号プログラム。
  11. フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、非キーフレームの原画像の情報に対して誤り訂正符号化を施して得られた誤り訂正符号のうち、時間方向が異なるキーフレームから形成された予測画像と非キーフレームの原画像とから推定された量の誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置を構成するコンピュータを、
    上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段として機能させることを特徴とする動画像符号化プログラム。
JP2009036928A 2009-02-19 2009-02-19 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム Expired - Fee Related JP5131224B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009036928A JP5131224B2 (ja) 2009-02-19 2009-02-19 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
US12/654,335 US8374255B2 (en) 2009-02-19 2009-12-17 Moving picture encoder, decoder, and coding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009036928A JP5131224B2 (ja) 2009-02-19 2009-02-19 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム

Publications (2)

Publication Number Publication Date
JP2010193304A JP2010193304A (ja) 2010-09-02
JP5131224B2 true JP5131224B2 (ja) 2013-01-30

Family

ID=42559894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009036928A Expired - Fee Related JP5131224B2 (ja) 2009-02-19 2009-02-19 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム

Country Status (2)

Country Link
US (1) US8374255B2 (ja)
JP (1) JP5131224B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
US8111755B2 (en) * 2008-06-25 2012-02-07 International Business Machines Corporation Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding
US9131238B2 (en) * 2010-06-18 2015-09-08 The Trustees Of Princeton University System and method for lossy source-channel coding at the application layer
CN101883287B (zh) * 2010-07-14 2012-06-20 清华大学深圳研究生院 一种多视点视频编码边信息融合的方法
JP5625808B2 (ja) * 2010-11-26 2014-11-19 沖電気工業株式会社 データ更新装置及びプログラム、並びに、動画像復号装置及びプログラム、並びに、動画像配信システム
JP5625824B2 (ja) * 2010-11-30 2014-11-19 沖電気工業株式会社 符号量制御装置及びプログラム、並びに、動画像符号化装置及びプログラム
JP5484378B2 (ja) * 2011-02-23 2014-05-07 日本電信電話株式会社 符号化装置、符号化及び復号化システム、符号化方法並びに符号化及び復号化方法
JP5484377B2 (ja) * 2011-02-23 2014-05-07 日本電信電話株式会社 復号化装置及び復号化方法
JP5811823B2 (ja) * 2011-12-12 2015-11-11 沖電気工業株式会社 動画像符号化装置、システム及びプログラム
JP5900024B2 (ja) * 2012-03-02 2016-04-06 沖電気工業株式会社 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
JP5971010B2 (ja) * 2012-07-30 2016-08-17 沖電気工業株式会社 動画像復号装置及びプログラム、並びに、動画像符号化システム
US8924827B2 (en) * 2012-10-31 2014-12-30 Wipro Limited Methods and systems for minimizing decoding delay in distributed video coding
JP6127487B2 (ja) * 2012-12-10 2017-05-17 沖電気工業株式会社 動画像符号化装置及びプログラム
JP6268718B2 (ja) * 2013-03-05 2018-01-31 沖電気工業株式会社 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
JP6398149B2 (ja) * 2013-04-12 2018-10-03 沖電気工業株式会社 動画像符号化装置及びプログラム、並びに、動画像符号化システム
FR3047103B1 (fr) * 2016-01-26 2019-05-24 Thales Procede de detection de cibles au sol et en mouvement dans un flux video acquis par une camera aeroportee
CN111050165B (zh) * 2019-11-29 2022-02-22 苏州浪潮智能科技有限公司 一种视频解码的方法、设备及介质
CN118044204A (zh) * 2021-09-30 2024-05-14 浙江大学 编解码方法、解码器、编码器及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605070B2 (ja) * 2006-03-30 2011-01-05 Kddi株式会社 画像圧縮符号化装置、画像復号装置、プログラム及び方法
US7233269B1 (en) * 2006-06-30 2007-06-19 International Business Machines Corporation Method and apparatus for constructing efficient codes for Wyner-Ziv video compression systems
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
JP4878025B2 (ja) * 2007-12-05 2012-02-15 独立行政法人情報通信研究機構 撮像システム
US8111755B2 (en) * 2008-06-25 2012-02-07 International Business Machines Corporation Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding
AU2008240343B2 (en) * 2008-10-31 2012-04-19 Canon Kabushiki Kaisha Rate-distortion control in DVC with no feedback
JP2010166145A (ja) * 2009-01-13 2010-07-29 Osaka Univ 動画像復号装置

Also Published As

Publication number Publication date
US20100208801A1 (en) 2010-08-19
JP2010193304A (ja) 2010-09-02
US8374255B2 (en) 2013-02-12

Similar Documents

Publication Publication Date Title
JP5131224B2 (ja) 動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
JP5056530B2 (ja) 復号システム、方法及びプログラム
JP5071413B2 (ja) 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
Brites et al. Encoder rate control for transform domain Wyner-Ziv video coding
JP5406222B2 (ja) 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置
JP5071416B2 (ja) 動画像符号化装置、及び動画像復号装置、並びに動画像伝送システム
JP4819024B2 (ja) 画像符号化・復号化方法及びシステム
JP2012501569A (ja) 映像の逆量子化方法及び装置、並びに復号化方法及び装置
JP5233939B2 (ja) 動画像符号化装置及びプログラム、並びに、動画像配信システム
JP5446686B2 (ja) 動画像符号化装置及びプログラム、動画像復号装置及びプログラム、並びに、動画像配信システム
KR101639434B1 (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR101035746B1 (ko) 동영상 인코더와 동영상 디코더에서의 분산적 움직임 예측 방법
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
JP5811823B2 (ja) 動画像符号化装置、システム及びプログラム
KR101311410B1 (ko) 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치
KR100755388B1 (ko) 동영상 압축에서의 복원 오차 추정 방법 및 장치
KR100701740B1 (ko) 영상 데이터의 pi프레임 인코딩과 디코딩을 위한 장치및 방법
Taieb et al. Low complexity hybrid rate control schemes for distributed video coding
KR100969135B1 (ko) 복원정보 신뢰도에 기반하여 계속적으로 보조정보를 향상시키는 분산비디오 부호화 영상의 복호화 장치 및 그 방법
JP5900548B2 (ja) 動画像符号化装置
JP5625824B2 (ja) 符号量制御装置及びプログラム、並びに、動画像符号化装置及びプログラム
KR101180539B1 (ko) 분산비디오 부호화 영상의 복호화 장치 및 그 방법
JP5845750B2 (ja) 画像符号化システム、画像符号化装置及び画像符号化プログラム
Louw et al. A system combining extrapolated and interpolated side information for single view multi-hypothesis distributed video coding
KR101038205B1 (ko) 분산 비디오 압축 기법을 위한 가상 채널 모델링 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5131224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees