JP5872739B2 - 参照ピクチャセットを含む動画シーケンスの符号化及び復号 - Google Patents

参照ピクチャセットを含む動画シーケンスの符号化及び復号 Download PDF

Info

Publication number
JP5872739B2
JP5872739B2 JP2015520125A JP2015520125A JP5872739B2 JP 5872739 B2 JP5872739 B2 JP 5872739B2 JP 2015520125 A JP2015520125 A JP 2015520125A JP 2015520125 A JP2015520125 A JP 2015520125A JP 5872739 B2 JP5872739 B2 JP 5872739B2
Authority
JP
Japan
Prior art keywords
rps
current picture
sps
inter
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015520125A
Other languages
English (en)
Other versions
JP2015526021A (ja
Inventor
ジョナタン サミュエルソン,
ジョナタン サミュエルソン,
リカード スイェベルイ,
リカード スイェベルイ,
ヤコブ ストレム,
ヤコブ ストレム,
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル), テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2015526021A publication Critical patent/JP2015526021A/ja
Application granted granted Critical
Publication of JP5872739B2 publication Critical patent/JP5872739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、参照ピクチャセット(RPS)を含む動画シーケンスの符号化方法、RPSを含む動画シーケンスの復号方法、対応するコンピュータプログラム及びコンピュータプログラム製品、対応するエンコーダ及び対応するデコーダに関連する。
高効率動画符号化(HEVC)は、JCT−VC(Joint Collaborative Team - Video Coding)において現在策定されている新しい動画像符号化規格である。JCT−VCは、MPEG(the Moving Picture Experts Group)とITU−T(the Telecommunication Standardization Sector of the International Telecommunication Union)との間の共同プロジェクトである。現在、委員会草案は、HEVCを従来の動画像符号化規格、特にH.264/AVCよりも遙かに効率的なものにするための多数の新しいツールを含めることを定めている。
HEVCはインター予測のために複数の参照ピクチャを利用するハイブリッドコーデックである。HEVCは、ピクチャマーキング処理を含み、そこでは参照ピクチャに「短期参照に使用」、「長期参照に使用」または「参照に未使用」とマーキングすることができる。「参照に未使用」とマーキングされた場合、当該参照ピクチャは非参照ピクチャとなり、もはやインター予測のために利用することはできない。「参照に未使用」とマーキングされたピクチャを、短期或いは長期参照用に使用されるものとして後で再マーキングすることはできない。
HEVCにおけるマーキング処理は、RPSにより制御される。RPSは参照ピクチャを識別するピクチャ識別子のセットである。RPSは各スライス内で送信され、RPS内で指定された参照ピクチャはデコーダ・ピクチャ・バッファ(DPB)内に保持され、「短期参照に使用」または「長期参照に使用」とマーキングされる。
例えば、RPS情報は「−4、−6、4」といった値を含んでも良い。これは、現ピクチャが、数字−4が現在を表しているので、(表示順で)4フレーム前のピクチャから予測、即ち画素をコピーできることを意味する。また、6フレーム前のピクチャと、4フレーム先のピクチャから予測することもできる。このように、デコーダは上述の3つの画像を除いた全ての画像をバッファから破棄することができる。ピクチャを破棄することはデコーダにとっては負担のかかる方法である。実際には、デコーダはこれらの画像を、表示されるまで保持していても良いが、インター予測に再び用いられることはない。簡単のため、本明細書の以降の記載では、デコーダがこれらの画像を破棄できるものとして説明する。
時に、RPSに含まれる情報はむしろ長くなり得る。例えば、以下のRPSは、HEVCの規格策定においてテスト目的で使用された:「−3、−2、1、2、5、6」。この例のRPSを符号化するには最大33ビット必要となるであろうが、特に非常に低ビットレートの画像や小さいサイズの画像にとっては、これは顕著な量である。
1つの鍵となる見解は、RPSは典型的には、完全にランダムではない。むしろ、それらは何度も何度も再利用することができる。例えば、HEVC規格策定においてテスト目的で使用されコンフィグレーションファイルから18個の画像のシーケンスについて考える。
HEVCのピクチャは、フルPOC値としても知られるピクチャ・オーダ・カウント(POC)値(PicOrderCntVal)により識別される。これらの数は、ピクチャの出力順序を表しており、或いは表示順序としても引用される。即ち、POC=57のピクチャは、POC=56のピクチャの直後に表示されるであろう。しかしながら、画像は必ずしも表示順序で送信されるわけではない。例えば、エンコーダはPOC=0のピクチャを最初に送信し、その後POC=8、続いてPOC=4といった具合で送信するかもしれない。デコーダはピクチャの順序を記録し、正しい順序で表示しなければならない。HEVC規格策定における例では、18ピクチャは図1に示す順序で送信されている。
図1から分かるように、いくつかのRPSは何回か送信されている。例えば、POC=6について送信されたRPS(−2、−4、−6、2)は、POC=14のものと同一である。よって、規格はスライスヘッダでRPSを送信するのに加えて、シーケンス・パラメータ・セット(SPS)でRPSを送信することを許可している。SPSは、全てのスライスについて送信する必要のないデータを含む。典型的に、SPSはシーケンス毎に1回だけ送信されるか、或いは、ランダムアクセスの可能性が希望される度に送信される。例えば、ビットストリームがブロードキャストされた場合、SPSを毎秒送信すれば足りるであろう。これによりチャネルを毎秒切り替えることが可能になるためである。なお、チャネルを毎秒切り替えることを可能とするために、クリーン・ランダム・アクセス(CRA)ピクチャや瞬時復号更新(IDR)ピクチャは、毎秒送信されなければならないことに注意すべきである。CRAピクチャは先行ピクチャからは予測されないピクチャであって、出力順序でCRAピクチャに続くピクチャは、出力順序でCRAピクチャよりも前のピクチャから予測を行わない。IDRピクチャはCRAピクチャであって、復号順序でIDRピクチャに続くピクチャは、復号順序でIDRより前のピクチャを参照しないものである。
SPSでは、図1に例示するような繰り返し用いられるRPSを8つ指定することができ、図2に示すようにそれらにインデックスを割り当てることができる。スライスヘッダで送信される情報は、図3に示すように、SPS内のRPSインデックスを引用するだけでよい。RPSインデックスを利用することで、RPSそのものを送信する場合よりも必要とされるビット数が少なくなる。
この目的を達成するために、図3に示すようにRPSインデックスを使用することはRPSを送信するために必要とされるビット数を大きく削減する。これは、データの大部分はSPSで代わりに送信され、しかも、あまり頻繁ではないからである。また、RPS情報を更に圧縮することも可能である。図1の2つの行を比較すると、それらの類似性に気づくはずである。例えば、POC=1のRPSの全ての数字は、5を加算すればPOC=6のRPSの対応する数字と一致する。即ち、POC=1のRPSの第1の値「−1」は、−6+5と一致する。第2の値「1」は−4+5に一致する。第3の値「3」は−2+5と一致する。唯一の例外は、POC=1のRPSの最後の値「5」である。POC=6のRPSに「0」を必要とするが、画像はそれ自体から予測することはできない。
結局のところ、図1の全てのRPSは他のRPSから予測することができる。これは、例えば図1のRPSデータのようなSPS内のRPSデータの記述に以下の方法をもたらすものである。
−各行、即ちRPSについて、他のどのRPSからインター予測が実行されるかが特定される。例えば、先行RPSからの予測は、SPS内のパラメータであるdelta_idx_minus1(図4の短期RPSシンタックスを参照)内で値「−1」を送信することにより指示される。
−そして、加算すべき値、例えば「5」をSPS内のパラメータであるdelta_rps_sign and abs_delta_rps_minus1の値(図4の短期RPSシンタックスを参照)を使用して送信する
このようにしてRPS情報を送信することにより、多くのビットを節約することができる。節約されたビット量は、HEVC参照ピクチャ構造をテストするために利用されたコンフィグレーションファイルの旧バージョンについて測定された、SPSでRPSを送信するために利用されるビットの約50%である。SPSデータは動画ビットストリームデータ全体のうちの非常に少ない部分であるため、全体的な効果は50%より小さいが、データの圧縮効率は依然として重要である。
典型的に、RPSはSPS内で1度だけ送信され、後に続くスライスは単にどのRPSを使用するべきかをRPSインデックスを利用して指定するだけである。しかしながら、エンコーダはSPS内にないRPSを使用したい場合がある。その場合、当該エンコーダは上記のようにスライス内でRPSを明示的に送信するオプションを有している。インター予測が使用されるか、或いは、RPSが値毎に符号化されるかは、図4に示す短期RPSの一部であるパラメータinter_ref_pic_set_prediction_flagを使用して各RPSについてシグナリングされる。もし、inter_ref_pic_set_prediction_flagの値が0である場合、送信RPSの値毎の方法が使用され、0で無い場合はRPSシグナリングのためにインター予測が使用される。
本発明の目的は、上記の技術及び先行技術に対する改良された代替手段を提供することである。
より詳細には、本発明の目的は、RPSシグナリングの改良された方法を提供することにある。
本発明のこれら及び他の目的は、独立請求項により規定される発明の異なる側面により実現される。発明の実施形態は、従属請求項により特徴付けられる。
発明の第1の側面によれば、動画シーケンスの符号化方法が提供される。当該動画シーケンスはRPS、特に短期RPSを含む。当該方法は、前記RPSをデータ構造内に送信順に配列し、前記動画シーケンスの現ピクチャのRPSのために明示的RPS送信が利用されるかどうかを判定し、前記明示的RPS送信が利用される場合にのみ、前記現ピクチャの前記RPSを予測するために利用されるべき前記データ構造内に含まれるRPSを示す情報を符号化することを含む。
発明の第2の側面によれば、コンピュータプログラムが提供される。当該コンピュータプログラムはコンピュータプログラムコードを含む。コンピュータプログラムコードは、プロセッサにより実行された場合に、発明の第1の側面に対応する方法を実行するように適合されている。
発明の第3の側面によれば、コンピュータプログラム製品が提供される。当該コンピュータプログラム製品は、コンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は発明の第2の側面に対応するコンピュータプログラムを記憶している。
発明の第4の側面によれば、動画シーケンスの復号方法が提供される。当該動画シーケンスは、RPS、特に短期RPSを含む。当該方法は、送信順に配列された前記RPSを含むデータ構造を受信し、前記動画シーケンスの現ピクチャのRPSのために明示的RPS送信が利用されるかどうかを判定し、前記明示的RPS送信が利用される場合にのみ、前記現ピクチャの前記RPSを予測するために利用されるべき前記データ構造内に含まれるRPSを示す情報を受信することを含む。
発明の第5の側面によれば、コンピュータプログラムが提供される。当該コンピュータプログラムはコンピュータプログラムコードを含む。コンピュータプログラムコードは、プロセッサにより実行された場合に、発明の第4の側面に対応する方法を実行するように適合されている。
発明の第6の側面によれば、コンピュータプログラム製品が提供される。当該コンピュータプログラム製品は、コンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体は発明の第5の側面に対応するコンピュータプログラムを記憶している。
発明の第7の側面によれば、動画シーケンスを符号化するためのエンコーダが提供される。当該動画シーケンスはRPS、特に短期RPSを含む。当該エンコーダは、プロセッサとメモリとを備える。メモリはプロセッサにより実行可能な命令を含み、それによりエンコーダは、前記RPSを送信順にデータ構造内に配列し、前記動画シーケンスの現ピクチャのRPSのために明示的RPS送信が利用されるかどうかを判定し、前記明示的RPS送信が利用される場合にのみ、前記現ピクチャの前記RPSを予測するために利用されるべき前記データ構造内に含まれるRPSを示す情報を符号化するように動作可能である。
発明の第8の側面によれば、動画シーケンスを復号するためのデコーダが提供される。当該動画シーケンスはRPS、特に短期RPSを含む。当該デコーダは、プロセッサとメモリとを備える。メモリはプロセッサにより実行可能な命令を含み、それによりデコーダは、送信順に配列された前記RPSを含むデータ構造を受信し、前記動画シーケンスの現ピクチャのRPSのために明示的RPS送信が利用されるかどうかを判定し、前記明示的RPS送信が利用される場合にのみ、前記現ピクチャの前記RPSを予測するために利用されるべき前記データ構造内に含まれるRPSを示す情報を受信するように動作可能である。
発明は、RPS、特に短期RPSの符号化及びシグナリングがRPSのインター予測を利用してより効率的に実行できることの理解を活用するものである。このために、RPSはSPSのようなデータ構造において送信順に配列される。明示的送信が現ピクチャのRPSについて利用される場合にのみ、現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報をエンコーダからデコーダへ、その情報を符号化することによりシグナリングする。換言すると、送信順序で配列されたRPSのうちのどのRPSが予測に使用されるべきかを記述する情報は、動画シーケンスの復号のためにそれが必要とされる場合にのみシグナリングされる。その情報は現ピクチャのRPS、特に短期RPS内で符号化されてもよい。発明の実施形態は、現ピクチャのRPSがSPS内でシグナリングされたRPSから予測可能である点で利益がある。それにより、RPSのシグナリングに必要とされるビット数を削減でき、結果として符号化されたビデオシーケンスのビットレートも削減できる。さらに、RPSの符号化及びシグナリングの提案方法は、技術分野において公知の技術よりも複雑性が低い。
本明細書の全体を通して、情報要素、パラメータ、値等の情報は、通信ネットワークを介してエンコーダからデコーダへ符号化・シグナリングされ、或いは送信されることが理解されよう。そのような情報は結果的にデコーダで受信されて復号され、また、その後に復号処理において用いられても良い。
発明の実施形態によれば、方法は更にインター予測を前記現ピクチャの前記RPSのために利用するかどうかを判定することを更に含み、前記現ピクチャの前記RPSを予測するために利用されるべき前記データ構造内に含まれるRPSを示す前記情報は、前記明示的RPS送信とインター予測とが利用される場合にのみ符号化される。即ち、明示的に送信されたRPSのためにインター予測が利用される場合にのみ、データ構造内に含まれるどのRPSがインター予測に用いられるかを特定する情報がデコーダへシグナリングされるのである。明示的に送信されたRPSが値毎に符号化される場合、即ち、インター予測を利用しない場合、当該情報は符号化されてシグナリングされることはない。インター予測を利用するかどうかは、例えばエンコーダからデコーダへパラメータを使ってシグナリングされても良い。このことは、RPSをシグナリングするための全ての選択肢が考慮される点、及び、RPSシグナリングに必要なビット数が削減される点で利益がある。
発明の実施形態によれば、データ構造の符号化には、少なくとも1つのRPSを送信順序で該少なくとも1つのRPSの直前のRPSから予測することが含まれる。特に、これは明示的RPS送信が利用されない場合に適用される。データ構造内に含まれるRPSを、送信順で該RPSに先行するRPSのようなデータ構造内に含まれる別のRPSから予測することは、RPSのシグナリングに必要とされるビット数を削減できる点で利益がある。インター予測は、送信順の第1のRPSには利用できないことが理解されよう。インター予測の利用の代替方法として、RPSは値毎に符号化されても良い。
発明の実施形態によれば、方法は、データ構造内に含まれる各RPSに対してインデックスを割り当てることを更に含み、現ピクチャのRPSを予測するために使用されるべきRPSを示す情報は、現ピクチャのRPSのインデックスと予測に利用されるRPSのインデックスとの間の差分を特定する。どのRPSがインター予測に使用されるのかを指定する情報のこの符号化方法は、当該情報を伝達するために必要とされるビット数を削減できる点で、特に可変長符号化(VLC)を採用する場合に利益がある。例えば、HEVCパラメータdelta_idx_minus1を利用してこの情報が符号化されても良い。delta_idx_minus1は図4に示す短期RPSシンタックスの一部である。
発明の実施形態によれば、データ構造はSPSである。
発明の実施形態によれば、明示的RPS送信が利用されるかどうかの判定は、現ピクチャのRPSのインデックスが、SPS内に含まれるRPSの数と等しいかどうかの判定を含む。この方法は、明示的RPS送信が利用されたかどうかを判定する上で効果的な方法である。というのも、SPSに含まれるRPS、特に短期RPSの数はSPS内でシグナリングされ、ゆえにエンコーダとデコーダの両方には既知だからである。
発明の実施形態によれば、明示的RPS送信が利用されるかどうかの判定は、現ピクチャのRPSが、現ピクチャのスライスヘッダ内で符号化されているかどうかの判定を含む。この方法は、明示的RPS送信が利用されたか否かを判定する代替的方法である。このため、RPSがスライスヘッダ内で符号化されているかどうかをチェックするために、スライスヘッダが検査される。
本発明の利点が、ある場合において発明の第1または第4の側面の実施形態を参照して記述されていたとしても、対応する理由付けは発明の他の実施形態にも適用されるものである。
発明の更なる目的、特徴、利点は以下の詳細な記述、図面及び特許請求の範囲の記載から明らかとなるであろう。当業者であれば、発明の異なる特徴を、以下に記載する実施形態以外の実施形態を生成するために組み合わせ可能であることを理解するであろう。
発明の上記特徴及び利点は、追加的な目的と同様、以下の図面を参酌し、以下の発明の実施形態の例示的でかつ非制限的な記述からより理解されるであろう。
全ての図面は概略的なものであって、必ずしもスケーリングを必要とせず、全般的に発明を理解するために必要な部分のみを示している。他の部分は省略されてもよいし、或いは、単に提案されてもよい。
RPSの例を示す図。 SPS内の例示的RPSの符号化を示す図。 スライスヘッダ内の例示的RPSの符号化を示す図。 短期RPSの既知のシンタックスを示す図。 発明の実施形態に対応する、厳格な送信順序における例示的なピクチャシーケンスを示す図。 発明の実施形態に対応する、厳格でない送信順序における例示的なピクチャシーケンスを示す図。 発明の実施形態に対応する、SPS内の例示的RPSの送信順序での符号を示す図。 発明の実施形態に対応する、提案に係る短期RPSシンタックスを示す図。 発明の実施形態に対応する、ビットストリームを示す図。 発明の実施形態に対応する、RPSの符号化方法を示す図。 発明の実施形態に対応する、RPSの復号方法を示す図。 発明の実施形態に対応する、エンコーダ及びデコーダを示す図。
本発明は、発明の所定の実施形態を示す添付の図面を参照して以下により詳細に記述される。しかしながら、本発明は多くの異なる形態において実施されてもよく、ここで説明する実施形態に限定して解釈されるべきではない。むしろ、これらの実施形態は本開示を緻密で完全なものとするために例示目的で提供されたものであり、当業者に発明の範囲を十分に伝えるものであろう。
RPSシグナリングの提案に係る方法は、RPSをSPSのようなデータ構造として、送信順に配列することに基づくものである。異なる種別の送信順序が存在するが、特に厳格な送信順序であるグループ・オブ・ピクチャ(GOP)的な送信順序や、一般的な送信順序がある。以下では、厳格な送信順序を図5を参照して記述する。図5は16ピクチャのシーケンスを示す。
厳格な送信順序では、RPSは使用される順序と完全に同一順序で符号化される。即ち、図5に示す順序であり、送信するRPSが無くなるまではこの順序で画像が復号される。即ち、復号順序でもある。(POC=17のピクチャは、12行のRPSを再利用し、POC=18のピクチャは、13行のRPSを再利用し、POC=19のピクチャは、14行のRPSを再利用し、POC=20のピクチャは、15行のRPSを再利用し、POC=21のピクチャは、12行のRPSを再利用する等)。この場合、先行する行、即ちRPSからの予測が有効であることが保証される。
しかしながら、これは十分条件ではあるが、必要条件ではない。先行するRPS行からの予測を許容する厳格でない他の送信順序が存在する。一つの方法は、GOPの順序を変えることである。予測に利用可能なピクチャはGOP内の位置により主に判定されるので、所定のGOPの第1のRPSを、先行するGOPの最後のRPSから予測することが可能となる場合がある。例えば、図6に示す順序では可能となる。図6では、SPS内の第2のGOPグループは、先行する(第1の)GOPグループよりも低いGOP番号を有しているので、インデックス4(GOP=0)の行は、インデックス3の行から予測することができる。
送信順序による送信の代替的な定義は、以下のようになる。もしRPS BがRPS Aに続いて送信され、RPS Aを利用するピクチャXとRPS Bを利用するピクチャYとがあってピクチャYは復号順序でピクチャXに続くピクチャである場合に、RPS Aは、RPS Bと関連する送信順序において送信されると言える。
送信順序による格納について、類似の定義は以下のようになる。もしRPS BのインデックスがRPS Aのインデックスより1大きく、RPS Aを利用するピクチャXとRPS Bを利用するピクチャYがあって、ピクチャYは復号順序でピクチャXに続くピクチャである場合、RPS Aは、RPS Bと関連する送信順で格納されると言える。
さらに、RPSの符号化及びシグナリングの処理は、RPSが明示的に送信されるか、或いは、黙示的に送信されるかに依存する。もし、RPSがシーケンス毎1回、或いは、毎秒1回、SPSのようなデータ構造において送信されるとすると、(大半の場合にフレームを参照する)各スライスはSPS内のRPS行、即ち、RPSインデックスを参照することができる。これは、黙示的なRPSインデックス送信と呼ばれる。
或いは、RPSをスライスヘッダにおいて直接に送信することもできる。これは明示的RPS送信と呼ばれ、デコーダがSPS内のRPSを利用できない場合や、アクティブなSPS内に含まれないRPSを使用したい場合に利用される。
上述のように、RPSの符号化には2つの選択肢があるが、明示的RPS送信を使用する場合、インター予測や値毎のアプローチ(value-by-value approach)を利用した符号化となる。もし、インター予測を利用する場合、どのRPS、或いは、データ構造におけるRPSリストのどの行から予測を行うかを特定することが重要である。エンコーダはどのフレームに対しても明示的にRPSを符号化することを選択できるので、デコーダはどの行がもっとも可能性があるのかを知ることができない。よって、インター予測が明示的RPS送信で利用される場合、データ構造に含まれるRPSの1つを識別する情報、即ち、SPSが必要となる。当該情報はパラメータdelta_idx_minus1内でシグナリングされても良い。
しかしながら、これがSPS内のRPSを符号化する場合には当てはまらないことは、見解として自明ではない。RPSが送信順序で送信される条件下では、各RPSについて、SPS内の第1のRPSは別として、RPSに直接に先行するRPSは当該RPSについて利用が可能な全ての画像を、先行フレーム自体を除き、含んでいなければならない。結果として、SPS内のRPSを符号化する場合、可変のdelta_idx_minus1は0に等しく、送信する必要がない。
この見解を更に明らかとするために、図2のRPSを再び図7に示す。ここではPOC番号とデルタPOCが書き出されている。デルタPOCは、先行するPOC番号と現POC番号との差分である。
図7を参照すると、エンコーダはPOC=0の第1のピクチャを送信しなければならないであろう。当該第1のピクチャはイントラピクチャであって、先行するどのピクチャからも予測できない。第2のピクチャ、即ち図7の第1の行は、POC=8であり、デルタPOC=0−8=−8である。POC=0以外に送信されるピクチャは存在しないので、POC=8が参照できるピクチャはPOC=0のものだけである。よって、−8はRPS内でのみ可能となる値である。
ここで、2番目に送信されたPOC=4のピクチャについて検討する。利用可能な2つのみのピクチャは、デルタPOC=4で表されるPOC=8の先行画像と、POC=0の第1の画像である。もし、それが先行ピクチャでなければ、先行RPS内で利用可能でなければならない。さもなくば、デコーダはそれを破棄するであろう。よって、第2のピクチャは、先行するRPS(−8のみである)から導出可能なPOC値を持っていなければならない。デルタPOC=4をその値に加算すると、−4となる。これはRPS内の第2の値である。
よって、もしRPSが送信順序にて格納されるならば、全てのRPSはa)先行RPS内の値にデルタPOCを加算した先行RPSから再構成、或いは、予測が可能であるか、或いは、b)デルタPOC自体でなければならない、ことは明白であろう。
もしこれが当てはまらない場合、即ち、値がa)でもb)でもない場合、先行するRPSのいずれの値からも値を予測可能ではなく、デコーダはピクチャを破棄し、そのピクチャを参照することができない。唯一の例外は先行ピクチャであって、これは先行RPS内には含まれない。というのも、当該ピクチャをそれ自体から予測することはなく、その場合は確実にb)に該当するからである。
この理由により、以下が明らかとなる。もし、RPSが配列され、SPS内の送信順序で符号化されれば、パラメータdelta_idx_minus1は省略されてもよく、複雑性とビットの両方を抑えることができる。しかしながら、RPSを明示的に送信する場合、インター予測のために当該RPSを使用すべくSPS内のいずれのRPSにアクセスすることは望ましい。この場合、予測のためのRPSはdelta_idx_minus1を利用してシグナリングされる。よって、インター予測との関連で明示的RPS送信が利用されるかどうかを確認することが提案される。もし、明示的RPS送信が利用される場合、インター予測が実行され、delta_idx_minus1が送信されるが、それ以外の場合には省略される。
delta_idx_minus1をシグナリングするかどうかの問題は、インター予測が利用される場合にのみ発生する点に注意すべきである。このことは、図4の短期RPSシンタックスから理解できよう。3行目のif文
if( inter_ref_pic_set_prediction_flag )
は、インター予測が利用されるか否かを確認している。このため、if文において真と評価された場合、即ち、インター予測が利用される場合にのみ、delta_idx_minus1が送信される。
RPSの符号化及びシグナリングの提案方法は、特に明示的送信や黙示的送信の観点で、図8の短期RPSシンタックスに反映されている。
図8に示す短期RPSシンタックスでは、新たなif文が導入されている。
if( idx == num_short_term_ref_pic_sets )
このif文において真と評価された場合、明示的RPS送信が現ピクチャについて利用され、デコーダはdelta_idx_minus1を復号しなければならない。一方、偽と評価された場合、RPSはSPSでシグナリングされたRPSのうちの1つであって、delta_idx_minus1は0に等しいと推測される。即ち、直前のRPSからのインター予測が実施される。図4に示す既知の短期RPSに対応して、delta_idx_minus1をシグナリングするか否かの問題が、インター予測を用いる場合にのみ生ずる。このことは、図8の提案に係る短期RPSの3行目のif文から分かる。これは、図4に示す既知の短期RPSのif文と同一である。
より詳細には、SPSが例えばシーケンス毎1回、又は、毎秒1回生成される場合、及び、エンコーダが明示的RPS送信を採用する場合に、現ピクチャのスライスヘッダのために任意に、という両方の場合について図8に示すシンタックスに対応する処理が実行される。第1の場合、インデックスの値は0からnum_short_term_ref_pic_sets - 1, の間の値、即ち、SPSでシグナリングされた短期RPSの数から1を引いた数で変化する。第2の場合、明示的RPS送信が利用され、インデックスの値はnum_short_term_ref_pic_setと等しい。このように、if文により実行されるように、idxをnum_short_term_ref_pic_setと比較することにより、明示的RPS送信を使用するかどうかを判定することができる。
代替的に、SPS生成の間にコールされる場合に0に等しく(即ち、上記の第1の場合)、スライスヘッダの生成の間にコールされる場合に1に等しいother_parameterという別のパラメータに基づき、発明の実施形態を予想できるかもしれない。その場合、対応するif文は以下のようになる。
if( other_parameter )
更なる代替案として、SPSが生成される場合に、短期RPSを生成するためのある機能が実行され、スライスヘッダが生成される場合に別の機能が実行されても良い。このために、第1の機能はパラメータdelta_idx_minus1の送受信を行わないであろうが、第2の機能はパラメータdelta_idx_minus1の送受信を行うであろう。
一見して、提案に係る図8の短期RPSシンタックスは、部分的には4行目の余計なif文のために図4に示す現在の規格と比較して複雑性が増しているように見える。しかしながら、delta_idx_minus1の値を復号することは、if文を評価することに比べてより複雑である。また、大半のピクチャには非明示的RPS送信が利用されるので、追加的なif文が実行されることは滅多にない。
発明をより明確化するために、図9を参照して発明の例示的な実施形態についてここで説明する。図9はビットストリーム900が、SPS901と、3枚のスライス、スライス2(902)、スライス3(903)、スライス4(904)とを含む場合を示している。ビットストリーム900は図9には示されていない追加要素を含んでいてもよい。
SPS901は、とりわけ5つのRPS905を含んでいる。RPSは、値毎のコーディングによりSPSにおいて送信することができ、RPS内の値の数が少ない場合に、これは多くの場合において最も効率的な方法である。例えば、RPSのリスト905における第1のRPS({−8})は値毎に以下のように送信できる。
inter_ref_set_prediction_flag = 0
num_negative_pics = 1
num_positive_pics = 0
delta_poc_s0_minus1[0] = 8
used_by_cur_flag[0] = 1
或いは、SPS内のRPSは、例えば、RPSのリスト905における第2のRPS({−4、4})でインター予測を利用して送信することができる。RPSはSPS901内で、非明示的にシグナリングされ、インター予測は前の行から実行され本例では単一値{−8}のみを含むので、どのRPSから予測するかを記述する情報をシグナリングする必要はない。よって、第2のRPSは以下のように送信される。
inter_ref_set_prediction_flag = 1
delta_rps_sign = 0
abs_delta_rps_minus1 = 3
デコーダは第2のRPSを以下のように再構成することができる。まず、deltaRps = ( 1 - 2 * delta_rps_sign ) * ( abs_delta_rps_minus1 + 1 ) = 4 が計算され、値{-8}に加算され(第1のRPS)、結果−4となる。これが第2のRPSの第1の値となる。第2のRPSの第2の値は、delta_rpsの値そのもの(delta_rps = 4)となる。このように、第2のRPSは{−4、4}として再構成される。ここでdelta_idx_minus1は第2のRPSについて送信されない点を強調しておく。これは、0と予測されるためである。
対応して、SPS901内のRPSリスト905の残りのRPSを、上述のように値毎或いはインター予測を用いて送信することができる。例えば、第3のRPS{−2、−4、−6、2}はインター予測を用いてシグナリングしてもよく、第4のRPS{−1、1、3、5、7}は値毎にシグナリングしても良い。
更に、図9に示すビットストリーム900を参照すると、スライス2(902)はRPSの黙示的送信を示す。このためにスライス2(902)は点線909で示す情報を含む。当該情報は、RPSインデックス「#1」のようにしてRPSのリスト905内のどのRPSを使用するかを示している。このように、エンコーダは、スライス2(902)についてSPS901内のRPSのリスト905からのRPSを使用すべきことを指示するために以下を送信する。
short_term_ref_pic_set_sps_flag = 1
また、インデックス「#1」を有するリスト905内の第2のRPSを使用すべきことを指示するために以下を送信する。
short_term_ref_pic_set_idx = 1
更なる例として、ビットストリーム900内で送信されるスライス3(903)は、SPS901内のシグナリングされたRPSのリスト905からのいずれのRPSも使用できないと推測される。しかし、その代わりにRPS907を明示的にシグナリングしている。明示的なシグナリングには2つの方法があり、本例ではスライス3(903)は値毎のコーディングを用いている。即ち、エンコーダは、RPS907({−2、2、6}をシグナリングするために、以下を送信する。
inter_ref_set_prediction_flag = 0
num_negative_pics = 1
num_positive_pics = 2
delta_poc_s0_minus1[0] = 1
used_by_cur_flag[0] = 1
delta_poc_s1_minus1[0] = 1
used_by_cur_flag[0] = 1
delta_poc_s1_minus1[1] = 3
used_by_cur_flag[1] = 1
このセットにおいて負のピクチャの数は1(−2)であり、正のピクチャ数は2(2と6)である。負の値は0(delta_poc_s0[0] = 2)に対して符号化され、第1の正の値は同様に符号化される。最後に、2つの正の値の差分(6−2=4)が符号化される(delta_poc_s1[1] = 4)。
明示的符号化の他の方法は、ビットストリーム900のスライス4(904)を参照して説明される。スライス4(904)はインター予測を利用する。しかし、RPSは明示的に送信されるので、RPSのリスト905内のどのRPSが予測に使用されるかを示す点線910の情報908が提供されなければならない。本例では、RPSインデックス#2(908)として示される。よって、スライス4(904)内で以下が送信される。
inter_ref_set_prediction_flag = 1
delta_idx_minus1 = 2
num_negative_pics = 1
num_positive_pics = 0
delta_poc_s0_minus1[0] = 8
used_by_cur_flag[0] = 1
デコーダは RefRpsIdxを
RefRpsIdx = stRpsIdx - ( delta_idx_minus1 + 1 )
として計算することができる。
本例では、SPS901内のRPSのリスト905は、5つのRPSを含んでいる。よって、stRpsIdxの値は5に等しく、RefRPSIdxの値は5 - (2 + 1) = 2として評価される。これは、第3のRPS({-2, -4, -6, 2})のインデックスである。スライス4(904)の場合、どのRPSから予測を行うかを示すためにdelta_idx_minus1が送信されなければならない。RPSインデックス908に加えて、どのように予測するかを記述する情報がシグナリングされる(予測データ908)。
以下では、図9に示す例をデコーダについて説明する。デコーダは最初にRPSのリスト905を含むSPS901を受信する。リスト905に含まれるRPSは、値毎またはインター予測を利用して受信することができる。例えば、第1のRPS({−8})は、以下を受信することにより値毎に受信される。
inter_ref_set_prediction_flag = 0
num_negative_pics = 1
num_positive_pics = 0
delta_poc_s0_minus1[0] = 8
used_by_cur_flag[0] = 1
一方、第2のRPS({−4、4})はインター予測を利用して受信されても良い。しかしながら、RPSはSPS901内に含まれるので、RPSは明示的に受信されず、よってdelta_idx_minus1も受信されない。従って、第2のRPSについてデコーダにより以下が受信される。
inter_ref_set_prediction_flag = 1
delta_rps_sign = 0
abs_delta_rps_minus1 = 3
デコーダはdeltaRps = ( 1 - 2*delta_rps_sign ) * ( abs_delta_rps_minus1 + 1 ) = 4を再構成し、(第1のRPSの)値({−8})に加算する。その結果−4が得られるが、これが第2のRPSの第1の値となる。第2のRPSの第2の値はdelta_rpsの値そのものである(4)。よって、RPSは{−4、4}として予測される。SPS901内でシグナリングされる他のRPSは、上述のように値毎またはインター予測を利用して受信される。
スライス2(902)については、SPS901内のRPSのリスト905における第2のRPSを指し示す(909)RPSインデックス906(#1)を受信することにより、RPSが黙示的に受信される。スライス3(903)は符号化された値毎にRPS907を明示的に送信する。
スライス4(904)のRPSはインター予測を利用して明示的に受信される。よって、インター予測のために利用されるべきRPSのリスト905におけるRPSを示す情報908が受信される。また、予測方法を記述する情報(予測データ908)も受信される。この場合、delta_idx_minus1を受信する必要があり、以下の情報はデコーダにより受信される。
inter_ref_set_prediction_flag = 1
delta_idx_minus1 = 2
num_negative_pics = 1
num_positive_pics = 0
delta_poc_s0_minus1[0] = 8
used_by_cur_flag[0] = 1
ここで強調すべきは、スライス4(904)のRPSをインター予測を利用して明示的に受信するためには、delta_idx_minus1を受信することが必要な点である。
図10は、RPSを含む動画シーケンスを符号化する方法の実施形態を示している。方法1000は、ステップ1001でSPSのようなデータ構造において送信順序でRPSを配列し、当該データ構造を送信することから開始する。続いてステップ1002ではインター予測が利用されるか否かが判定される。これは、上述のように、或いは技術分野において公知であるように、例えばinter_ref_set_prediction_flagを用いることにより実行しても良い。もしインター予測が利用される場合(ステップ1002でYES)、ステップ1003では、明示的RPS送信が動画シーケンスの現ピクチャのRPSについて使用されるかどうか、即ち、RPSが現ピクチャのスライスヘッダ内でシグナリングされるかどうかが判定される。もし、明示的送信が使用される場合、即ち、RPSが現ピクチャのスライスヘッダ内でシグナリングされる場合は、ステップ1004で、delta_idx_minus1のような、現ピクチャのRPSを予測するために利用されるデータ構造内に含まれるRPSを示す情報が符号化され、送信される。この情報は明示的RPS送信が利用される場合にのみ送信され(ステップ1004)、それ以外の場合は送信されない(ステップ1005)。同様に、ステップ1002においてインター予測が利用されない場合(ステップ1002でNO)、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報は、シグナリングされない。本発明の実施形態は、図10に示すステップの順序で実行される場合に限定されるわけではない。例えば、発明の実施形態は、動画シーケンスの現ピクチャのRPSについて明示的RPS送信が利用されるかどうか、即ち、RPSが現ピクチャのスライスヘッダ内でシグナリングされるかどうかを最初に決定し、その後でインター予測を利用するかどうかを決定しても良い。
図11には、RPSを含む動画シーケンスの復号方法の実施形態が示される。方法1100はステップ1101において、送信順序で配列されたRPSを含むデータ構造を受信し、ステップ1102においてインター予測を利用するかどうかを判定する。これは、例えば上述のようにinter_ref_set_prediction_flagを調べることによって実施しても良い。もし、インター予測を利用する場合(ステップ1102でYES)、ステップ1103において明示的RPS送信が動画シーケンスの現ピクチャのRPSについて使用されているかどうか、即ち、現ピクチャのスライスヘッダ内でRPSがシグナリングされているかどうかを判定する。もし明示的送信が利用されている、即ち、RPSが現ピクチャのスライスヘッダ内でシグナリングされている場合、ステップ1104において、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報が受信される。この情報は明示的RPS送信が利用される場合にのみ受信され(ステップ1104)、それ以外の場合は受信されない(ステップ1105)。もし情報が、現ピクチャのRPSのインデックスと予測に使用されるRPSのインデックスとの間の差分を規定するdelta_idx_minus1の場合、delta_idx_minus1はむしろ0と解釈される(ステップ1105)。即ち、先行RPSがインター予測に使用される。もしステップ1102でインター予測が利用されない場合(ステップ1102でNO)、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報は、受信されない。本発明の実施形態は、図11に示すステップの順序で実行される場合に限定されるわけではない。例えば、発明の実施形態は、動画シーケンスの現ピクチャのRPSについて明示的RPS送信が利用されるかどうか、即ち、RPSが現ピクチャのスライスヘッダ内でシグナリングされるかどうかを最初に決定し、その後でインター予測を利用するかどうかを決定しても良い。
図12は、RPSを含む動画シーケンスを符号化するエンコーダの実施形態と、RPSを含む動画シーケンスを復号するデコーダの実施形態とを示す図である。
エンコーダ1200は、プロセッサ1201と、プロセッサ1201により実行可能な命令1203を含むメモリ1202とを有する。これにより、エンコーダ1200はデータ構造内で送信順序でRPSを配列し、動画シーケンスの現ピクチャのRPSのために明示的RPS送信を使用するかどうかを判定し、明示的RPS送信が使用される場合にのみ、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報1220を符号化する、ように動作可能である。
デコーダ1210はプロセッサ1211と、プロセッサ1211により実行可能な命令1213を含むメモリ1212とを有する。これにより、デコーダ1210は送信順序で配列されたRPSを含むデータ構造を受信し、動画シーケンスの現ピクチャのRPSのために明示的RPS送信を使用するかどうかを判定し、明示的RPS送信が使用される場合にのみ、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報1220を受信する、ように動作可能である。
ここに記述する実施形態は動画のエンコーダとデコーダとに関連するとともに、ビットストリームのパーサー、トランスコーダ、ネットワークノードなどにも関連する。エンコーダ及びデコーダの実施形態は、ビデオカメラ、ディスプレイ、タブレット、デジタルテレビ受信機、ネットワークノードなどのような装置として実現することができる。図12では、パラメータdelta_idx_minus1が送信される場合を示したが、本発明の実施形態ではdelta_idx_minus1は明示的RPS送信が利用される場合にのみ送信されるものであることを理解すべきである。
delta_idx_minus1の利用は、本明細書の全体を通して、インター予測に利用するRPSをどのように指定するかの単なる例示に過ぎないことを理解すべきである。また、他のシグナリング手法を用いることが可能な点も当業者には自明である。この点について、delta_idx_minus1の参照はどのようなものであっても、どのRPSから予測するかのインジケータとして理解されるべきである。
本実施形態ではRPSをSPSの一部として記述したが、RPSは他のデータ構造、例えばPPSや他のパラメータセットに含まれても良い。
図12を参照して説明したエンコーダ1200の代替として、エンコーダの実施形態は、データ構造内で送信順序でRPSを配列し、動画シーケンスの現ピクチャのRPSのために明示的RPS送信を使用するかどうかを判定し、明示的RPS送信が使用される場合にのみ、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報1220を符号化するように構成された手段を含んでもよい。
更なる代替として、エンコーダの実施形態は、データ構造内で送信順序でRPSを配列する手段、動画シーケンスの現ピクチャのRPSのために明示的RPS送信を使用するかどうかを判定する手段、明示的RPS送信が使用される場合にのみ、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報1220を符号化する手段を含んでもよい。
図12を参照して説明したデコーダ1210の代替として、デコーダの実施形態は、送信順序で配列されたRPSを含むデータ構造を受信し、動画シーケンスの現ピクチャのRPSのために明示的RPS送信を使用するかどうかを判定し、明示的RPS送信が使用される場合にのみ、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報1220を受信するように構成された手段を含んでもよい。
更なる代替として、デコーダの実施形態は、送信順序で配列されたRPSを含むデータ構造を受信する手段、動画シーケンスの現ピクチャのRPSのために明示的RPS送信を使用するかどうかを判定する手段、明示的RPS送信が使用される場合にのみ、delta_idx_minus1のような現ピクチャのRPSを予測するために利用されるべきデータ構造内に含まれるRPSを示す情報1220を受信する手段を含んでもよい。
当業者であれば、上述の実施形態が決して本発明を限定するものでないことを理解するであろう。それどころか、特許請求の範囲の記載の範囲内で多くの修正、変形が可能である。

Claims (24)

  1. 参照ピクチャセット(RPS)を含む高効率動画像符号化方式(HEVC)の動画シーケンスの符号化方法(1000)であって、
    前記RPSをシーケンス・パラメータ・セット(SPS)内に復号順に配列し(1001)、
    インター予測を前記SPSに含まれる前記RPSの現RPSのために利用する場合、前記現RPSは復号順で前記現RPSの直前のRPSからインター予測されると推定し、
    インター予測を前記動画シーケンスの現ピクチャのRPSのために利用するかどうかを判定し(1002)、
    前記現ピクチャの前記RPSのために明示的RPS送信が利用されるかどうかを判定し(1003)、
    インター予測及び明示的RPS送信が前記現ピクチャの前記RPSのインター予測のために利用される場合にのみ、前記現ピクチャの前記RPSをインター予測するために利用されるべき前記SPS内に含まれるRPSを示す情報(1220)を符号化する(1004)
    ことを含む方法。
  2. 前記SPS内に配列された前記RPSのうちの少なくとも1つのRPSは、復号順で前記少なくとも1つのRPSの直前のRPSからインター予測される、請求項に記載の方法。
  3. 前記SPS内に含まれる各RPSに対してインデックスを割り当てることを更に含み、
    前記インデックスは0から前記SPS内に含まれるRPS数−1の範囲の値を取り、前記現ピクチャの前記RPSをインター予測するために使用されるべきRPSを示す前記情報は、前記現ピクチャの前記RPSのインデックスとインター予測に利用される前記RPSのインデックスとの間の差分を特定する、請求項1または2に記載の方法。
  4. 明示的RPS送信が利用されるかどうかの前記判定(1003)は、前記現ピクチャの前記RPSのインデックスが、前記SPS内に含まれるRPSの数と等しいかどうかの判定を含む、請求項に記載の方法。
  5. 明示的RPS送信が利用されるかどうかの前記判定(1003)は、前記現ピクチャの前記RPSが、前記現ピクチャのスライスヘッダ内で符号化されているかどうかの判定を含む、請求項1乃至のいずれか1項に記載の方法。
  6. コンピュータプログラムコードを含むコンピュータプログラム(1203)であって、前記コンピュータプログラムコードは、プロセッサ(1201)上で実行された場合に、請求項1乃至のいずれか1項に記載の方法を実行するように適合されている、コンピュータプログラム。
  7. 請求項に記載のコンピュータプログラム(1203)を記憶したコンピュータ可読記憶媒体(1202)。
  8. 参照ピクチャセット(RPS)を含む高効率動画像符号化方式(HEVC)の動画シーケンスの復号方法(1100)であって、
    復号順に配列された前記RPSを含むシーケンス・パラメータ・セット(SPS)を受信し(1101)、
    インター予測を前記SPSに含まれる前記RPSの現RPSのために利用する場合、前記現RPSは復号順で前記現RPSの直前のRPSからインター予測されると推定し、
    インター予測を前記動画シーケンスの現ピクチャのRPSのために利用するかどうかを判定し(1002)、
    前記現ピクチャの前記RPSのために明示的RPS送信が利用されるかどうかを判定し(1103)、
    インター予測及び明示的RPS送信が前記現ピクチャの前記RPSのインター予測のために利用される場合にのみ、前記現ピクチャの前記RPSをインター予測するために利用されるべき前記SPS内に含まれるRPSを示す情報を受信する(1104)、
    ことを含む方法。
  9. 復号順で直前のRPSから少なくとも1つのRPSをインター予測することを更に含む、請求項に記載の方法。
  10. 前記SPS内に含まれる各RPSに対してインデックスが割り当てられ、
    前記インデックスは0から前記SPS内に含まれるRPS数−1の範囲を取り、前記現ピクチャの前記RPSをインター予測するために使用されるべきRPSを示す前記情報は、前記現ピクチャの前記RPSのインデックスとインター予測に利用される前記RPSのインデックスとの間の差分を特定する、請求項8又は9に記載の方法。
  11. 明示的RPS送信が利用されるかどうかの前記判定(1103)は、前記現ピクチャの前記RPSのインデックスが、前記SPS内に含まれるRPSの数と等しいかどうかの判定を含む、請求項に記載の方法。
  12. 明示的RPS送信が利用されるかどうかの前記判定(1103)は、前記現ピクチャの前記RPSが、前記現ピクチャのスライスヘッダ内で符号化されているかどうかの判定を含む、請求項8乃至10のいずれか1項に記載の方法。
  13. コンピュータプログラムコードを含むコンピュータプログラム(1213)であって、前記コンピュータプログラムコードは、プロセッサ(1211)上で実行された場合に、請求項8乃至12のいずれか1項に記載の方法を実行するように適合されている、コンピュータプログラム。
  14. 請求項13に記載のコンピュータプログラム(1213)を記憶したコンピュータ可読記憶媒体(1212)。
  15. 参照ピクチャセット(RPS)を含む高効率動画像符号化方式(HEVC)の動画シーケンスを符号化するエンコーダ(1200)であって、プロセッサ(1201)及び前記プロセッサにより実行可能な命令を含むメモリ(1202)とを備え、
    前記RPSを復号順にシーケンス・パラメータ・セット(SPS)内に配列し、
    インター予測を前記SPSに含まれる前記RPSの現RPSのために利用する場合、前記現RPSは復号順で前記現RPSの直前のRPSからインター予測されると推定し、
    インター予測を前記動画シーケンスの現ピクチャのRPSのために利用するかどうかを判定し(1002)、
    前記現ピクチャの前記RPSのために明示的RPS送信が利用されるかどうかを判定し、
    インター予測及び明示的RPS送信が前記現ピクチャの前記RPSのインター予測のために利用される場合にのみ、前記現ピクチャの前記RPSをインター予測するために利用されるべき前記SPS内に含まれるRPSを示す情報(1220)を符号化する
    ように動作可能であるエンコーダ。
  16. 前記SPS内に配列された前記RPSのうちの少なくとも1つのRPSは、復号順で前記少なくとも1つのRPSの直前のRPSからインター予測される、請求項15に記載のエンコーダ。
  17. 前記SPS内に含まれる各RPSに対してインデックスを割り当てるように更に動作可能であって、
    前記インデックスは0から前記SPS内に含まれるRPS数−1の範囲の値を取り、前記現ピクチャの前記RPSをインター予測するために使用されるべきRPSを示す前記情報は、前記現ピクチャの前記RPSのインデックスとインター予測に利用される前記RPSのインデックスとの間の差分を特定する、請求項15又は16に記載のエンコーダ。
  18. 前記現ピクチャの前記RPSのインデックスが、前記SPS内に含まれるRPSの数と等しいかどうかを判定することにより、明示的RPS送信が利用されるかどうかを判定するように更に動作可能である、請求項15に記載のエンコーダ。
  19. 前記現ピクチャの前記RPSが、前記現ピクチャのスライスヘッダ内で符号化されているかどうかを判定することにより明示的RPS送信が利用されるかどうかを判定するように更に動作可能である、請求項15乃至17のいずれか1項に記載のエンコーダ。
  20. 参照ピクチャセット(RPS)を含む高効率動画像符号化方式(HEVC)の動画シーケンスを復号するためのデコーダ(1210)であって、プロセッサ(1211)及び前記プロセッサにより実行可能な命令を含むメモリ(1212)とを備え、
    復号順に配列された前記RPSを含むシーケンス・パラメータ・セット(SPS)を受信し、
    インター予測を前記SPSに含まれる前記RPSの現RPSのために利用する場合、前記現RPSは復号順で前記現RPSの直前のRPSからインター予測されると推定し、
    インター予測を前記動画シーケンスの現ピクチャのRPSのために利用するかどうかを判定し(1002)、
    前記現ピクチャの前記RPSのために明示的RPS送信が利用されるかどうかを判定し、
    インター予測及び明示的RPS送信が前記現ピクチャの前記RPSのインター予測のために利用される場合にのみ、前記現ピクチャの前記RPSをインター予測するために利用されるべき前記SPS内に含まれるRPSを示す情報(1220)を受信する
    ように動作可能であるデコーダ。
  21. 復号順で直前のRPSから少なくとも1つのRPSをインター予測するように更に動作可能である、請求項20に記載のデコーダ。
  22. 前記SPS内に含まれる各RPSに対してインデックスが割り当てられ、
    前記インデックスは0から前記SPS内に含まれるRPS数−1の範囲の値を取り、前記現ピクチャの前記RPSをインター予測するために使用されるべきRPSを示す前記情報は、前記現ピクチャの前記RPSのインデックスとインター予測に利用される前記RPSのインデックスとの間の差分を特定する、請求項20又は21に記載のデコーダ。
  23. 前記現ピクチャの前記RPSのインデックスが、前記SPS内に含まれるRPSの数と等しいかどうかを判定することにより、明示的RPS送信が利用されるかどうかを判定するように更に動作可能である、請求項20に記載のデコーダ。
  24. 前記現ピクチャの前記RPSが、前記現ピクチャのスライスヘッダ内で符号化されているかどうかを判定することにより、明示的RPS送信が利用されるかどうかを判定するように更に動作可能である、請求項20乃至22のいずれか1項に記載のデコーダ。
JP2015520125A 2012-06-29 2013-07-01 参照ピクチャセットを含む動画シーケンスの符号化及び復号 Active JP5872739B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261666235P 2012-06-29 2012-06-29
US61/666,235 2012-06-29
PCT/SE2013/050835 WO2014003682A1 (en) 2012-06-29 2013-07-01 Encoding and decoding video sequences comprising reference picture sets

Publications (2)

Publication Number Publication Date
JP2015526021A JP2015526021A (ja) 2015-09-07
JP5872739B2 true JP5872739B2 (ja) 2016-03-01

Family

ID=48793514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015520125A Active JP5872739B2 (ja) 2012-06-29 2013-07-01 参照ピクチャセットを含む動画シーケンスの符号化及び復号

Country Status (14)

Country Link
US (2) US9438900B2 (ja)
EP (2) EP2868082B1 (ja)
JP (1) JP5872739B2 (ja)
CN (1) CN104396242B (ja)
AU (2) AU2013281243C1 (ja)
BR (1) BR112014032585B1 (ja)
DK (2) DK2868082T3 (ja)
ES (2) ES2650995T3 (ja)
IN (1) IN2014DN10978A (ja)
MA (1) MA37697B1 (ja)
MY (1) MY167687A (ja)
RU (1) RU2602345C2 (ja)
SG (1) SG11201408320WA (ja)
WO (1) WO2014003682A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MA37697B1 (fr) * 2012-06-29 2017-03-31 Ericsson Telefon Ab L M Codage et décodage de séquences vidéo comprenant des ensembles d'images de référence
TWI513199B (zh) * 2012-06-29 2015-12-11 Sony Corp 編碼設備、編碼方法、解碼設備、及解碼方法
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding
WO2019234606A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and atmvp
CN110636297B (zh) 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
EP3840386A4 (en) * 2018-09-04 2021-09-22 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR DETERMINING A REFERENCE FRAME FOR BIDIRECTIONAL INTER-FRAME PREDICTION
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
US11184607B2 (en) * 2019-06-13 2021-11-23 Qualcomm Incorporated Same picture order count (POC) numbering for scalability support
AR121124A1 (es) 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Señalización condicional de elementos de sintaxis en una cabecera de imagen

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067417A (en) * 1992-06-30 2000-05-23 Discovision Associates Picture start token
ES2253383T3 (es) * 2000-05-22 2006-06-01 Monsanto Technology Llc Sistemas de reaccion para fabricar compuestos n-(fosfonometil)glicina.
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
JP4002878B2 (ja) * 2003-01-17 2007-11-07 松下電器産業株式会社 画像符号化方法
JP4570532B2 (ja) 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
CN101036986B (zh) * 2007-03-30 2010-11-10 北京交通大学 一种具有两转动和一移动的三自由度并联机器人机构
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
US8133154B2 (en) * 2008-03-17 2012-03-13 GM Global Technology Operations LLC Control system and method for accelerator pedal based shift point stabilization for an automatic transmission
US8363721B2 (en) 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
CN102435375B (zh) * 2011-09-19 2013-06-05 燕山大学 含弹性整体运动副三腿并联解耦测六维力传感器
US8805098B2 (en) * 2012-01-19 2014-08-12 Sharp Laboratories Of America, Inc. Inter reference picture set signaling and prediction on an electronic device
US8867852B2 (en) * 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
US20130272398A1 (en) * 2012-01-25 2013-10-17 Sharp Laboratories Of America, Inc. Long term picture signaling
CN104205819B (zh) * 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
DK2830313T3 (da) * 2012-04-16 2019-10-28 Samsung Electronics Co Ltd Fremgangsmåde og apparat til at fastslå referencebilledsæt af et billede.
US9532046B2 (en) * 2012-04-16 2016-12-27 Qualcomm Incorporated Reference picture set prediction for video coding
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
TWI513199B (zh) * 2012-06-29 2015-12-11 Sony Corp 編碼設備、編碼方法、解碼設備、及解碼方法
MA37697B1 (fr) * 2012-06-29 2017-03-31 Ericsson Telefon Ab L M Codage et décodage de séquences vidéo comprenant des ensembles d'images de référence

Also Published As

Publication number Publication date
EP3079363A1 (en) 2016-10-12
IN2014DN10978A (ja) 2015-09-18
CN104396242B (zh) 2017-12-19
CN104396242A (zh) 2015-03-04
US20140079115A1 (en) 2014-03-20
ES2650995T3 (es) 2018-01-23
MA37697B1 (fr) 2017-03-31
SG11201408320WA (en) 2015-01-29
DK3079363T3 (en) 2017-12-04
US20160337663A1 (en) 2016-11-17
EP2868082A1 (en) 2015-05-06
BR112014032585B1 (pt) 2022-10-04
AU2015268651A1 (en) 2016-01-07
ES2587744T3 (es) 2016-10-26
AU2013281243A1 (en) 2015-01-22
US9769495B2 (en) 2017-09-19
AU2015268651B2 (en) 2017-03-16
AU2013281243C1 (en) 2016-01-21
RU2602345C2 (ru) 2016-11-20
BR112014032585A2 (pt) 2017-06-27
MY167687A (en) 2018-09-21
MA37697A1 (fr) 2016-06-30
WO2014003682A1 (en) 2014-01-03
EP3079363B1 (en) 2017-09-27
US9438900B2 (en) 2016-09-06
RU2015102756A (ru) 2016-08-20
DK2868082T3 (en) 2016-09-12
EP2868082B1 (en) 2016-06-01
AU2013281243B2 (en) 2015-09-17
JP2015526021A (ja) 2015-09-07

Similar Documents

Publication Publication Date Title
JP5872739B2 (ja) 参照ピクチャセットを含む動画シーケンスの符号化及び復号
KR101639495B1 (ko) 참조영상 마킹
US12075080B2 (en) Decoders and methods thereof for managing pictures in video decoding process
JP5845299B2 (ja) マルチビュービデオ復号方法及びその装置
KR101895176B1 (ko) 독립 랜덤 액세스 포인트 화상
KR20140085456A (ko) 레퍼런스 픽처 리스트 핸들링
JP2022042505A (ja) メディアファイルにおける画像トランジションのためのトランジション期間
EP2839658B1 (en) Arrangements and methods thereof for processing video
US20140233653A1 (en) Decoder and encoder for picture outputting and methods thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150515

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150730

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160113

R150 Certificate of patent or registration of utility model

Ref document number: 5872739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250