JP5897236B1 - 復号器及び符号器、並びに映像シーケンスを符号化する方法 - Google Patents

復号器及び符号器、並びに映像シーケンスを符号化する方法 Download PDF

Info

Publication number
JP5897236B1
JP5897236B1 JP2015552023A JP2015552023A JP5897236B1 JP 5897236 B1 JP5897236 B1 JP 5897236B1 JP 2015552023 A JP2015552023 A JP 2015552023A JP 2015552023 A JP2015552023 A JP 2015552023A JP 5897236 B1 JP5897236 B1 JP 5897236B1
Authority
JP
Japan
Prior art keywords
picture
current
reference picture
pictures
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015552023A
Other languages
English (en)
Other versions
JP2016511952A (ja
Inventor
ヨナタン サムエルション,
ヨナタン サムエルション,
リカード スイェベルイ,
リカード スイェベルイ,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル), テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Application granted granted Critical
Publication of JP5897236B1 publication Critical patent/JP5897236B1/ja
Publication of JP2016511952A publication Critical patent/JP2016511952A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

映像シーケンスを符号化する符号器(80)、復号器(50)及び方法。符号器(80)は、先行参照ピクチャに対する指示を算出する(301)。先行参照ピクチャは、時間識別子が0である。符号器(80)は、先行参照ピクチャ、先行参照ピクチャの第1の参照ピクチャセットに含まれた全ての参照ピクチャ及び復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第1の集合を作成する(302)。長期参照ピクチャが、第1の集合において示された2つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有するピクチャ順序カウントの最下位ビットを有する場合、符号器(80)は、ピクチャ順序カウントサイクルに対するフラグを設定する(303)。復号器(50)は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットを取得する(305)。復号器(50)はフラグを取得する(306)。ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが2つ以上の参照ピクチャと一致する場合、復号器(50)は、不適合のビットストリームであると判断する(307)。対応するコンピュータプログラムコンピュータプログラム製品が更に開示される。

Description

本発明の実施形態は、映像符号化に関する。特に、復号器及び映像シーケンスを取得するためにビットストリームを復号化する復号器における方法、並びに符号器及び映像シーケンスを符号化する符号器における方法が開示される。更に、対応するコンピュータプログラム及びコンピュータプログラム製品が開示される。
映像符号化技術を用いて、映像シーケンスを符号化映像シーケンスに圧縮することが多くの場合望ましい。映像シーケンスは、例えばビデオカメラにより撮影されていてもよい。映像シーケンスを圧縮する目的は、映像シーケンスを例えばビット単位で縮小することである。このように、符号化映像シーケンスは、格納される場合により少ないメモリを必要とし、且つ/あるいは例えばビデオカメラから送信される場合により狭い帯域幅を必要とするだろう。多くの場合、いわゆる符号器は、映像シーケンスの圧縮、即ち符号化を実行するために使用される。従って、ビデオカメラは符号器を備えてもよい。符号化映像シーケンスは、ビデオカメラから例えばテレビジョンセット(TV)等の表示装置に送信されてもよい。TVは、符号化映像シーケンスを伸張、即ち復号化できるように、いわゆる復号器を備えてもよい。これは、復号器が受信した符号化映像シーケンスを復号化するために使用されることを意味する。他の例において、符号器は、セルラ通信システムの無線基地局に備えられてもよく、復号器は、例えば携帯電話等の無線デバイスに備えられてもよく、またその逆でもよい。
既知の映像符号化技術は、高効率映像符号化(HEVC)と呼ばれる。HEVCは、映像符号化共同研究部会(JCT−VC)により現在開発されている新しいビデオ符号化基準である。JCT−VCは、MPEG(Moving Pictures Expert Group)と国際電気通信連合−電気通信標準化部門(ITU−T)との共同プロジェクトである。
HEVCは、インター予測のために多数の参照ピクチャを使用するハイブリッドコーデックである。HEVCは、参照ピクチャが「短期参照のために使用される」、「長期参照のために使用される」及び「参照のために使用されない」ものとしてマーク付けされうるピクチャマーク付け処理を含む。ピクチャが「参照のために使用されない」とマーク付けされた場合、ピクチャをこれ以上インター予測のために使用することはできない。HEVCにおけるマーク付け処理は、参照ピクチャセット(RPS)により制御される。RPSは、参照ピクチャを識別するピクチャ識別子の集合である。集合は各スライスにおいて送出される。参照ピクチャは、RPSにある場合には復号化ピクチャバッファ(DPB)に保持される。スライスは、同一のフレームにおいて他のあらゆる領域から個別に符号化されるフレームの空間的に別個の領域である。スライスセグメントヘッダ構文のRPS部分を表1に示す。
HEVCにおけるピクチャは、最大ピクチャ順序カウント(POC)値としても知られているPOC値により識別される。各スライスは、ピクチャにおける全てのスライスに対して同一のものとするコードワードpic_order_cnt_lsbを含む。pic_order_cnt_lsbは、固定長コードワードであるため最大POCの最下位ビット(lsb)としても知られている。最大POCの最下位ビットのみが信号を伝送される。最大POC値が符号化/復号化される各ピクチャに割り当てられうるように、符号器及び復号器の双方は、POCラップアラウンドを追跡する。
短期ピクチャは、一対の番号、即ち参照ピクチャのPOC及びフラグused_by_curr_pic_lx_flagによりRPSにおいて示される。復号器は、DPBにおける参照ピクチャのPOCを認識し、これらをRPSにおいて受信したPOC値と適合させうる。フラグused_by_curr_pic_lx_flagは、参照ピクチャが現在のピクチャに対して参照のために使用されるか否かを示す。
一般に長期ピクチャは、参照ピクチャのPOC値の最下位ビット(lsb)部分によりRPSにおいて示される。しかし、HEVC基準は、長期ピクチャを参照する別の方法を提供するオプションのコードワードdelta_poc_msb_cycle_lt_minus1を有する。HEVCスライスヘッダ構文の長期ピクチャ部分を表1の末尾に示す。
表1−RPSスライスヘッダ構文
Figure 0005897236
delta_poc_msb_present_flagが0である場合、長期ピクチャは、そのPOCのみのlsb部分により示される。delta_poc_msb_present_flagが1である場合、長期ピクチャは、最大POC、即ちPOCのlsb部分及びPOCのmsb部分を算出するために使用されたPOC msbサイクルにより示される。1であるdelta_poc_msb_present_flagにより、2つの長期ピクチャは同一のPOC lsbを共有できる。HEVC基準は、現在、同一のPOC lsbを含むDPBにおいて少なくとも2つの参照ピクチャがある場合は常にdelta_poc_msb_present_flagが1であるものとすると命令している。これは、草案HEVC仕様書における以下の文により制限される。草案HEVC仕様書において、DeltaPocLtは、RPSにおいて長期ピクチャの全てのPOC lsbを保持するリストである。
PocLsbLt[i]であるピクチャ順序カウントモジュロMaxPicOrderCntLsbを含む復号化ピクチャバッファにおいて2つ以上の参照ピクチャがある場合、delta_poc_msb_present_flg[i]は1であるものとする。
この制限によれば、長期ピクチャがRPSにより示されており、且つその長期ピクチャと同一のPOC lsbを含む復号化ピクチャバッファにおいて2つ以上の参照ピクチャがある場合、長期ピクチャ指示がPOC msbサイクルの信号伝送を含むものとする、即ちdelta_poc_msb_present_flagがRPSにおけるその長期ピクチャ指示に対して1であるものとする。
HEVCビットストリームは、1つ以上のCVS(Coded Video Sequences)から構成される。符号化映像シーケンスは、復号化順序で、CVSにおけるピクチャが参照のために別のCVSにおけるピクチャを使用しないようにDPBにおいて存在する全てのピクチャが「参照のために使用されない」とマーク付けされる予測のために他のあらゆるピクチャを使用しないピクチャの種類を有する第1のピクチャから開始する。CVSは、NALユニットストリームにおいて連続した一連のアクセスユニットから構成され(以下を参照)、1つのシーケンスパラメータセット(SPS)のみを使用する。SPSは、SPS_NUT等の特殊な種類のNALユニットとして規定される。SPSは、符号化映像シーケンス全体に対して有効な情報、例えばピクチャが復号器から出力される場合にそれらに適用されるクロッピングウィンドウパラメータ又はピクチャサイズを含む。
HEVCは時間サブレイヤを規定する。ピクチャ毎に、構文要素nuh_temporal_id_plus1から算出されたNALユニットヘッダにおける可変TemporalIdは、ピクチャがどの時間サブレイヤに属するかを示す。下位時間サブレイヤは上位時間サブレイヤに依存できない。サブビットストリーム抽出処理は、最上位時間サブレイヤの1つ以上がビットストリームから除去される場合に残りのビットストリームが適合するビットストリームとなるものとすることを要求する。一例として、下位時間サブレイヤは、上位時間サブレイヤに対応する表示レート又はビットレートより低い表示レート又はビットレートと関連付けられてもよい。時間サブレイヤは、NALユニットヘッダを見るだけでサブビットストリームを抽出できるようにし、ビットストリームの他の部分を復号化する必要がないことが理解されるものとする。
HEVCにおいて、符号化ピクチャは、アクセスユニットの部分を形成する1つ以上のネットワーク抽象化層(NAL)ユニットにおいてカプセル化される。NALユニットは、符号化ピクチャサンプルを含むか又は他の関連付けられたデータを含むかのそれぞれに従って、上述のSPS等のビデオ符号化層(VCL)ユニット又は非VCL NALユニットとして分類される。HEVC基準において、同一のピクチャの全てのVCL NALユニットは、符号化ピクチャに関する特性を示し且つ復号化処理に影響を及ぼす可能性のある同一のNALユニットの種類を有する必要がある。NALユニットの種類、即ちTRAIL_N、TSA_N、STSA_N、RASL_N及びRADL_Nは、このピクチャが同一の時間サブレイヤのあらゆるピクチャにより参照のために使用されないことを示すために使用される。このテキストにおいて、これらのピクチャをNRTSL(Non−Reference Temporal Sub−Layer)ピクチャと呼ぶ。NALユニットの種類RSV_VCL_N10、RSV_VCL_N12又はRSV_VCL_N14は、HEVC仕様書の将来のバージョンに備えて未使用である。しかし、それらは、ここで既にNRTSLピクチャの特性を有している必要があるため、適合するビットストリームにおいてこれらのNALユニットの種類を使用することがまだ許可されていなくても、NRTSLピクチャであると考えられてもよい。このテキストにおいて、他の全てのピクチャの種類をRTSL(Reference Temporal Sub−Layer)ピクチャと呼ぶ。
NRTSLピクチャXに対して、Xが属する時間サブレイヤが復号化される最上位時間サブレイヤである場合、残りのストリームの復号化可能性に影響を及ぼすことなく、X、即ちピクチャXを搬送する全てのNALユニットをビットストリームから除去することが可能になる。しかし、Xが復号化又は破棄されたかに依存して復号化順序でXに後続するピクチャYが復号化される場合、DPBは種々のピクチャを含んでもよい。ピクチャXが除去される場合、Yが復号化される際に同一のPOC lsbを含むDPBにおいて2つの長期参照ピクチャが含まれるかもしれない。しかし、これは、Xが受信されていなければ当てはまらないだろう。従って、符号器は、Xがビットストリームにおいて存在する場合は問題ないが、Xが除去されていた場合に上述の制約に違反する場合に対して、0であるdelta_poc_msb_present_flagを使用していてもよい。この場合の復号化処理は規定されない。従って、この場合、残りのストリームの復号化可能性に影響を及ぼすことなくビットストリームからXを除去するのは不可能である。
上位時間サブレイヤから個々のピクチャを除去する際、同一の状況が起こりうる。
以下の例を考える。
pic_order_cnt_lsbに対して8ビットが使用される。これは、POC lsb値が0以上255以下であることを意味する。ピクチャXのPOCは257である。POC0及び256を含むピクチャは、双方とも「長期参照のために使用される」ものとしてマーク付けされたDPBにおいて存在する長期ピクチャである。これらの長期参照ピクチャの双方は、0であるPOC lsbを有する。POC0を含むピクチャのみがピクチャXのRPSにおいて存在する、即ちPOC256を含むピクチャがDPBから除去されるものと仮定する。HEVCは制限を含む。
PocLsbLt[i]であるピクチャ順序カウントモジュロMaxPicOrderCntLsbを含む復号化ピクチャバッファにおいて2つ以上の参照ピクチャがある場合、delta_poc_msb_present_flag[i]は1であるものとする。
従って、ピクチャXは、POC0を含むピクチャに対して1であるdelta_poc_msb_present_flagを信号送信する必要がある。
ピクチャXのRPSが復号化されていた場合、0であるPOC lsbを含むDPBにおいて1つのピクチャしかないだろう。
ピクチャYが復号化順序でXに後続し、POC258を有し、且つ0であるPOCを含む長期ピクチャがDPBにおいて参照ピクチャとして保持されるものとすることをRPSにおいて示すと仮定する。Yが復号化される場合、0であるPOC lsbを含むDPBにおいて1つのピクチャしかないだろう。従って、delta_poc_msb_present_flagは、ピクチャYのRPSにおけるそのピクチャに対して1である必要はない。
XがYと同一の時間サブレイヤにおいてNRTSLピクチャであった場合又はXがYより上位の時間サブレイヤにおいて符号化された場合には、Yの復号化可能性に影響を及ぼすことなくXを除去できるべきである。しかし、ピクチャXが除去される場合、0であるPOC lsbを含むDPBにおいて2つの長期参照ピクチャがあるだろう。YのRPSにおいて0であるPOC lsbを含む長期参照ピクチャに対してdelta_poc_msb_present_flagが0であるため、これらのピクチャのうちのどの1つをDPBにおいて参照ピクチャとして保持すべきかは復号化処理において規定されない。従って、残りのビットストリームは復号化不可能であり、NRTSLピクチャの種類及び時間階層化の意図は絶たれる。(Rickard Sjoberg et. al.: “Overview of HEVC High-level syntax and reference picture management(HEVC ハイレベルシンタックス及び参照ピクチャ管理のオーバービュー)”, IEEEトランザクション 映像技術のための回路及びシステム, IEEE サービスセンタ, ピスキャタウェイ, NJ, US, vol. 22, no.12, 2012年12月1日, pages 1858-1870, ISSN:1051-8215, DOI: 10.1109/TCSVT.2012.2223052 は、RPS(参照ピクチャセット)及びDPB(復号化ピクチャバッファ)の動作がどのように実行されるかを一般的に開示する。)
目的は、HEVC対応のビットストリームの符号化を向上させる方法であってもよい。
第1の態様によると、目的は、符号器が実行する映像シーケンスを符号化するための方法により達成される。映像シーケンスの現在のピクチャを符号化する場合、符号器は以下を実行する。符号器は、先行参照ピクチャに対する指示を算出する。先行参照ピクチャは、復号化順序で現在のピクチャの前に位置する。先行参照ピクチャは、現在のピクチャに対して復号化順序で最近接する時間識別子が0の先行参照ピクチャである。符号器は、先行参照ピクチャに対する指標の第1の集合を作成する。第1の集合は、先行参照ピクチャに対する指示と、先行参照ピクチャの第1の参照ピクチャセット(RPS)に含まれた全ての参照ピクチャに対する指標の第2の集合と、復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第3の集合とを含む。現在のピクチャの第2のRPSにおける長期参照ピクチャが、ピクチャ順序カウントの前記最下位ビットを有し、かつ、第1の集合において示された2つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、符号器は、長期参照ピクチャに対するフラグを設定する。フラグは、第2のRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。
第2の態様によると、目的は、映像シーケンスを符号化するように構成された符号器により達成される。符号器は、映像シーケンスの現在のピクチャを符号化するように以下のように構成される。従って、符号器は、先行参照ピクチャに対する指示を算出するように構成される。先行参照ピクチャは、復号化順序で現在のピクチャの前に位置する。先行参照ピクチャは、現在のピクチャに対して復号化順序で最近接する時間識別子が0の先行参照ピクチャである。また、符号器は、先行ピクチャに対する指標の第1の集合を作成するように構成される。第1の集合は、先行参照ピクチャに対する指示と、先行参照ピクチャの第1のRPSに含まれた全ての参照ピクチャに対する指標の第2の集合と、復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第3の集合とを含む。更に、現在のピクチャの第2のRPSにおける長期参照ピクチャが、ピクチャ順序カウントの前記最下位ビットを有し、かつ、第1の集合において示された2つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、符号器は、長期参照ピクチャに対するフラグを設定するように構成される。フラグは、第2のRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。
第3の態様によると、目的は、復号器が実行する、映像シーケンスを取得するためにビットストリームを復号化するための方法により達成される。ビットストリームから現在のピクチャを復号化する際、復号器は以下を実行する。復号器は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得する。復号器は、前記長期参照ピクチャに対するフラグを取得する。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、復号器は、ビットストリームが不適合のビットストリームであると判断する。
第4の態様によると、目的は、映像シーケンスを取得するためにビットストリームを復号化するように構成された復号器により達成される。復号器は、ビットストリームから現在のピクチャを復号化するように以下のように構成される。従って、復号器は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得するように構成される。また、復号器は、前記長期参照ピクチャに対するフラグを取得するように構成される。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。更に、ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、復号器は、ビットストリームが不適合のビットストリームであると判断するように構成される。
第5の態様によると、目的は、符号器が実行する、映像シーケンスを符号化するための方法により達成される。映像シーケンスの現在のピクチャを符号化する場合に、現在のピクチャのRPSにおける長期参照ピクチャ毎に、符号器は以下を実行する。符号器は、前記長期参照ピクチャのそれぞれに対する各ピクチャ順序カウントをピクチャ順序カウントのリストに格納する。リストが各ピクチャ順序カウントとは異なるピクチャ順序カウントを含み、かつ、当該ピクチャ順序カウントが各ピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合に、符号器は、前記各長期参照ピクチャに対するフラグを設定する。フラグは、現在のピクチャのRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。
第6の態様によると、目的は、映像シーケンスを符号化するように構成された符号器により達成される。符号器は、映像シーケンスの現在のピクチャのRPSにおける長期参照ピクチャ毎の現在のピクチャを符号化するように以下のように構成される。従って、符号器は、前記長期参照ピクチャのそれぞれに対する各ピクチャ順序カウントをピクチャ順序カウントのリストに格納するように構成される。また、リストが各ピクチャ順序カウントとは異なるピクチャ順序カウントを含み、かつ、当該ピクチャ順序カウントが各ピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合に、符号器は、前記各長期参照ピクチャに対するフラグを設定するように構成される。フラグは、現在のピクチャのRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。
第7の態様によると、目的は、符号器で実行される場合に本明細書において説明する方法を符号器に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラムにより達成される。
第8の態様によると、目的は、コンピュータ可読媒体と、コンピュータ可読媒体上に格納された先ほど上述したようなコンピュータプログラムとを備えるコンピュータプログラム製品により達成される。
第9の態様によると、目的は、復号器で実行される場合に本明細書において説明する方法を復号器に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラムにより達成される。
第10の態様によると、目的は、コンピュータ可読媒体と、コンピュータ可読媒体上に格納された先ほど上述したようなコンピュータプログラムとを備えるコンピュータプログラム製品により達成される。
それによって、符号器はフラグを設定する時を慎重に確認し、時間層が除去されている場合のHEVCにおける長期ピクチャ指示に関する曖昧さは回避される。従って、除去されるべきであるようにピクチャが種類を有するかあるいは時間サブレイヤに属する場合、本発明の実施形態のうち少なくとも1つは、ストリームの復号化可能性に影響を及ぼすことなくビットストリームからピクチャを除去する機能を提供する。
特定の特徴及び利点を含む本明細書において開示される実施形態の種々の態様は、以下の詳細な説明及び添付の図面から容易に理解されるだろう。
図1は、本発明の実施形態が実現されてもよい例示的なシステムを示す概略図である。 図2は、ピクチャ順序カウントと、復号化順序と、参照ピクチャセットとの関係を示すブロック図である。 図3は、信号方式と、図1に係るシステムにおいて実行される場合の方法の実施形態を示すフローチャートとを組み合わせた概略図である。 図4は、符号器における方法の実施形態を示すフローチャートである。 図5は、符号器における方法の実施形態を示す更なるフローチャートである。 図6は、符号器の実施形態を示すブロック図である。 図7は、符号器の実施形態を示す別のブロック図である。 図8は、符号器の実施形態を示す更なるブロック図である。 図9は、復号器における方法の実施形態を示すフローチャートである。 図10は、復号器の実施形態を示すブロック図である。 図11は、復号器の実施形態を示す別のブロック図である。 図12は、復号器の実施形態を示す更なるブロック図である。
以下の説明において、同様の要素、ユニット、モジュール、回路、ノード、部分、項目又は特徴を示すために、同一の図中符号が適宜使用されている。図中、いくつかの実施形態において現れる特徴は、破線により示されてもよい。
図1は、本発明の実施形態が例示的なシステム100において実現される例を示す。システムは、復号器50と、符号器80とを備える。
復号器50及び/又は符号器80は、例えばテレビセットトップボックス、ビデオカメラ等のビデオプレーヤ/レコーダ、Blu−rayプレーヤ、デジタル汎用ディスク(DVD)−プレーヤ、メディアセンター及びメディアプレーヤに備えられてもよい。
図2は、ピクチャ順序カウント(POC)と、復号化順序と、参照ピクチャセット(RPS)との関係を示す。ピクチャを復号化するために、ある特定のいわゆる参照ピクチャ201〜207が参照ピクチャとして使用される。一例として、POC=1であるピクチャを復号化するために、ピクチャPOC=0 201及びPOC=2 202が参照ピクチャとして使用される。参照ピクチャセット(RPS)は、これらの参照ピクチャのPOC値を含み、例えばRPS=[0,2]である。尚、RPSは、ピクチャPOC=1に対してここで示されたもの以外のピクチャを含んでもよい。
POC値は、符号化映像シーケンスのピクチャが、例えばユーザ、人及び検出者等の閲覧者に対して示される場合に出力、即ち表示される順序を示す。POC値は、現在のピクチャのスライスヘッダにおいて示される。
復号化順序は、符号化映像シーケンスのピクチャが復号化される順序を示す。図2において、ピクチャ「b」は、ピクチャ「b」が復号化されうる前にピクチャ「B」が復号化されることを要求する。
図2を参照すると、1<2であるため、POC=1であるピクチャは、POC又は出力順序に関してPOC=2であるピクチャに先行するピクチャである。しかし、POC=2であるピクチャ「B」は、上述の復号化順序に関してPOC=1であるピクチャ「b」に先行するピクチャである。
参照ピクチャセット(RPS)は、どのピクチャを参照ピクチャとして保持すべきかを示す。これは、現在のピクチャについては、その復号化にDPBにおける全ての参照ピクチャを使用する必要がないこと、例えば、いくつかのピクチャが将来使用するために参照ピクチャとしてマーク付けされてもよいことを意味する。従って、POC=1であるピクチャに対して、POC=1であるピクチャが復号化されうる前にPOC=0及びPOC=2であるピクチャが復号化される必要があることを図2の矢印が示すため、RPSは[0,2]である。実際には、POC=1であるピクチャのRPSは、そのピクチャがPOC=3であるピクチャを復号化する際に使用されるために、POC=4を更に含まなければならない。
更に、時間識別子が0の第1の時間層t0を示す。更に上位の時間層t1、t2を更に示す。時間層の目的は、下位層に属するピクチャの復号化可能性に影響を及ぼすことなく上位時間層がビットストリーム等から除去されてもよいように、ピクチャを層に区分することである。その結果、下位時間層は、参照ピクチャとして上位時間層におけるピクチャを使用できないことが規定される。
図3は、図1に示される復号器50及び符号器80における例示的な方法を示す。従って、符号器80は、映像シーケンスを符号化する方法を実行し、復号器50は、映像シーケンスを取得するためにビットストリーム310を復号化する方法を実行する。映像シーケンスは、例えば符号化映像シーケンスの形式のビットストリーム310に含まれてもよい。ビットストリームは、HEVC対応のビットストリームであってもよい。
動作301〜304は、映像シーケンスの現在のピクチャを符号化する際に実行されてもよい。動作305〜307は、ビットストリームから現在のピクチャを復号化する際に実行されてもよい。
動作301
場合によっては動作302における指示を使用できるように、符号器80は、先行参照ピクチャに対する指示を算出する。先行参照ピクチャは、復号化順序で現在のピクチャより前に配置される。現在のピクチャと比較して、先行参照ピクチャは、復号化順序で最近接する時間識別子が0の先行参照ピクチャである。
いくつかの例において、先行参照ピクチャに対する指示は先行参照ピクチャ自体であってもよく、これは、prevTid0Picで示されることがある。従って、指示は、TemporalIdが0の、復号化順序において先行するピクチャであってもよく、RASLピクチャ、RADLピクチャ又はサブレイヤ非参照ピクチャではない。
先行参照ピクチャの時間識別子は、先行参照ピクチャの先行NALユニットにおいて示されてもよい。
動作302
どのPOC値が使用されたかを追跡するために、符号器80は、先行ピクチャに対する指標の第1の集合を作成する。第1の集合は、
先行参照ピクチャに対する指示と、
先行参照ピクチャの第1のRPSに含まれた全ての参照ピクチャに対する指標の第2の集合と、
復号化順序で指示により示された先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第3の集合とを含む。
「〜に対する指標」という表現は、指標があるピクチャを指し示すことを意味してもよいことが理解されるものとする。
第1の参照ピクチャセットは、先行参照ピクチャの先行スライスヘッダに含まれてもよい。
動作303
現在のピクチャの第2のRPSにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第1の集合において示された2つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、動作303を実行する。従って、この動作が実行される場合、符号器80は、長期参照ピクチャに対するフラグを設定する。これは、例えば符号器80がフラグに1の値を割り当てることを意味する。フラグは、第2のRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。第2のRPSは、長期参照ピクチャ又はそれらに対するポインタを含んでもよい。従って、長期参照ピクチャは、いくつかの例において長期参照ピクチャ指示であってもよい。
フラグをdelta_poc_msb_present_flagと呼ぶことがあってもよい。更に、ピクチャ順序カウントをdelta_poc_msb_cycle_ltと呼んでもよい。
ピクチャ順序カウントは、映像シーケンスのピクチャが例えばTV等の表示装置に出力される順序を示してもよい。
現在のピクチャの第2のRPSにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第1の集合において示されたゼロ又は1つのピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、符号器80は、ゼロの値をフラグに割り当てる等、フラグをクリアする。
動作304
ピクチャ順序カウントサイクルに関して復号器50に通知するために、符号器80は、ピクチャ順序カウントサイクルを現在のピクチャの現在のNALユニットを符号化してもよい。従って、ビットストリーム310は、ピクチャ順序カウントサイクルを含んでもよい。
動作305
動作307を実行できるように、復号器50は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得する。動作305に関連して、RPSにおけるピクチャ順序カウントは、どのピクチャをDPBにおいて参照ピクチャとして保持するかを示すために使用される。ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示す。
最下位ビットは、現在のNALユニットから取得されてもよい。
動作306
また、動作307を実行できるように、復号器50は、前記長期参照ピクチャに対するフラグを取得する。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。フラグは、符号器80によりビットストリームに符号化されていてもよい。
ビットストリームの各ピクチャは、少なくとも1つのNALユニットを含んでもよい。各ピクチャは、前記少なくとも1つのNALユニットに含まれたスライスから復号化されてもよい。スライスはスライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化されてもよい。現在のスライスは、現在のNALユニットから復号化されてもよい。いくつかの例において、前記各ピクチャは複数のNALユニットを含む。従って、前記各ピクチャに対する複数のスライスがあってもよい。
動作307
ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、動作305で取得された最下位ビットが復号器50の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、復号器50は、ビットストリームが不適合のビットストリーム、例えばHEVCに準拠しないと判断する。復号化ピクチャバッファは、復号化順序で現在のピクチャの前に復号化されたピクチャを含んでもよい。
いくつかの第1の実施形態によると、0であるTemporalIdを有する復号化順序で先行RTSLピクチャ、即ち最下位時間サブレイヤをprevTid0Picとする。一例として、prevTid0Picは、0であるTemporalIdを有する復号化順序で先行ピクチャであってもよく、RASLピクチャ、RADLピクチャ又はサブレイヤ非参照ピクチャではない。
これらの第1の実施形態において、ビットストリームに制限が課される。prevTid0Picと、prevTid0PicのRPSにおけるピクチャと、復号化順序でprevTid0Picに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成されるピクチャの集合において同一のPOC lsbを含む少なくとも2つのピクチャがある場合、制限を適用する。更に、制限を適用する場合、最大POC値を算出するために使用されたPOC msbサイクル等の構文要素が、現在のピクチャのRPSに含まれるその同一のPOC lsbを含む長期ピクチャに対して信号送信する必要がある。
制限を表現する別の方法は、prevTid0Picと、prevTid0PicのRPSにおけるピクチャと、復号化順序でprevTid0Picに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成されるピクチャの集合においてZのPOC lsbであるPOC lsbを含む少なくとも2つのピクチャがある場合、長期参照ピクチャZが1であるdelta_poc_msb_present_flagと共に信号送信する必要があるという方法である。
制限を定型化する1つの方法は、以下の通りである。
TRAIL_N、TSA_N、STSA_N、RADL_N及びRASL_Nではないnal_unit_typeを有し、且つ0であるTemporalIdを有する復号化順序で先行ピクチャをprevTid0Picとする。
以下のものから構成される集合をsetOfPreviousPicturesとする。
−prevTid0Pic
−prevTid0PicのRPSにおける全てのピクチャ
−復号化順序でprevTid0Picに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャ
PocLsbLt[i]であるピクチャ順序カウントモジュロMaxPicOrderCntLsbを含むsetOfPreviousPicturesにおいて2つ以上のピクチャがある場合、delta_poc_msb_present_flag[i]は1であるものとする。
別のprevTid0Picは、以下の通り推論される。
0であるTemporalIdを有する復号化順序で先行参照ピクチャをprevTid0Picとする。
別のPrevTidPicは、例えば以下の通り全体的に規定される。
PrevTid0Picは、TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12又はRSV_VCL_N14ではないnal_unit_typeを有し、且つ0であるTemporalIdを有する復号化順序で先行ピクチャに等しく設定される。
その後、制限は以下の通り定型化される。
以下のものから構成される集合をsetOfPreviousPicturesとする。
−prevTid0Pic
−prevTid0PicのRPSにおける全てのピクチャ
−復号化順序でprevTid0Picに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャ
PocLsbLt[i]であるピクチャ順序カウントモジュロMaxPicOrderCntLsbを含むsetOfPreviousPicturesにおいて2つ以上の参照ピクチャがある場合、delta_poc_msb_present_flag[i]は1であるものとする。
符号器は、以下のステップに係る実施形態を使用するように構成されてもよい。
1.符号器は、どのピクチャがPrevTid0Pic、即ちTRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12又はRSV_VCL_N14ではないnal_unit_typeを有し、且つ0であるTemporalIdを有する復号化順序で先行ピクチャであるかに関する情報を格納(又は算出)する。
2.prevTid0Picと、prevTid0PicのRPSにおける全てのピクチャと、復号化順序でprevTid0Picに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成される集合setOfPreviousPicturesが作成される。
3.同一のPOC lsbを含むsetOfPreviousPicturesにおいて2つ以上のピクチャがあるPOC lsbを有するRPSにおける長期参照ピクチャを符号器が信号送信したい場合は常に、delta_poc_msb_presemt_flagは、そのピクチャに対して1に等しく信号送信される。即ち、POC msbサイクルはそのピクチャに対して信号送信される。
別の方法で表現すると、符号器は、以下のステップに係る実施形態を使用するように構成されてもよい。
1.符号器は、どのピクチャがPrevTid0Pic、即ちその時間サブレイヤにおける非参照ピクチャではなく、且つ0であるTemporalIdを有する復号化順序で先行ピクチャであるかに関する情報を格納(又は算出)する。
2.prevTid0Picと、prevTid0PicのRPSにおける全てのピクチャと、復号化順序でprevTid0Picに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャとから構成される集合setOfPreviousPicturesが作成される。
3.同一のPOC lsbを含むsetOfPreviousPicturesにおいて2つ以上のピクチャがあるPOC lsbを有するRPSにおける長期参照ピクチャを符号器が信号送信したい場合は常に、delta_poc_msb_presemt_flagは、そのピクチャに対して1に等しく信号送信される。即ち、POC msbサイクルはそのピクチャに対して信号送信される。
あるいは、PrevTid0Picは以下の通り規定される。
PrevTid0Picは、0であるTemporalIdを有する復号化順序で先行時間サブレイヤ参照ピクチャに等しく設定される。
その後、RTSL(Reference Temporal Sub−Layer)ピクチャは、TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12又はRSV_VCL_N14ではないnal_unit_typeを有するピクチャとして規定される。
復号器は、以下のステップに係る実施形態を使用してもよい。
1.復号器は、スライスを受信し、RPSに関連した構文要素を含むスライスセグメントヘッダにおける構文要素を構文解析する。
2.DPBにおいて同一のPOC lsbを含む2つの参照ピクチャ、例えば1つの短期参照ピクチャ及び1つの長期参照ピクチャ又は2つの長期参照ピクチャ等があり、且つ現在のRPSがそのPOC lsbに等しいPocLsbLt[i]及び0である。delta_poc_msb_present_flagを含むエントリを含む場合、復号器は、ビットストリームがHEVC基準と準拠しないと判断し、それをビットエラー、データの損失又は不適合のビットストリーム、あるいは符号器として解釈してよい。復号器は、エラーを報告するか、誤り補正を実行するか、あるいはビットが対応していないという認識に基づいて他の措置を取ってもよい。復号器は、上位時間層から1つ以上の個々のピクチャを除去すること又は現在のピクチャと同一の時間層からNRTSLピクチャを除去することにより、ビットストリームがHEVC対応のビットストリームから作成されなかったと更に判断する。
いくつかの第2の実施形態において、符号器は、以下のステップを実行するように構成される。
1.符号化される現在のピクチャ毎に、以下のステップが実行される。
a.長期参照ピクチャとして使用される全てのピクチャAに対して、以下のステップが実行される。
i.AのPOC値は、符号器によりリストusedLongTermPocValuesに格納される。
ii.AのPOC値とは異なるが、AのPOC lsbに等しいPOC lsbを含むusedLongTermPocValuesにPOC値がある場合、Aは、POC msbサイクルで信号送信されると判定される。
b.現在のピクチャのRPSは、ステップa.iiで判定されたことに従って設定されたdelta_poc_msb_present_flagと共に信号送信される。
この方法を以下の図5に更に示す。実施形態の1つのバージョンにおいて、符号器が新しいCVSを符号化し始める際、即ち新しいピクチャ毎ではなく、リストusedLongTermPocValuesはリセットされる(空にされる)。
実施形態の別のバージョンにおいて、同一の符号化映像シーケンスにおいて同一のPOC lsbを含む2つの異なるピクチャが長期参照ピクチャとして使用される場合に、POC msbサイクルがこれらのピクチャに対して信号送信する必要があることを要求するビットストリームの制限がある。
現在のHEVCの設計において、同一のPOC lsbを含むDPBにおいて2つの長期ピクチャがあり、現在のRPSがそれらのうちの1つに対する参照しか含まず、且つdelta_poc_msb_present_flagがこの参照に対して0である場合にどちらの長期ピクチャを「参照のために使用されない」ものとしてマーク付けするかが規定されないため、上位時間サブレイヤからのピクチャの除去又は同一の時間サブレイヤからの個々のNRTSL(Non−Reference Temporal Sub−Layer)ピクチャの除去により、復号化可能でないビットストリームを作成できる。
実施形態の基本概念は、時間サブレイヤの非参照ピクチャであるピクチャの除去が残りのストリームの復号化可能性に影響を及ぼさないように制限を実施することである。これは、以下に説明する実施形態に従って実現される。
第1の態様によると、符号器は、時間サブレイヤの非参照ピクチャであるピクチャの除去が残りのストリームの復号化可能性に影響を及ぼさないように制限を実現するように構成される。「復号化可能性」は、復号化する可能性を意味すると理解される。
符号器を備える受信機が更に提供される。
第2の態様によると、時間サブレイヤの非参照ピクチャであるピクチャの除去が残りのストリームの復号化可能性に影響を及ぼさないように制限を実現する符号器における方法。
符号器及び/又は復号器は、ビデオカメラ又はレンダリングデバイス等のデバイスにおいて実現されうる。
また、実施形態の更なる関連する態様は、ピクチャを符号化するためのコンピュータプログラムを規定する。コンピュータプログラムは、プロセッサにより実行される場合にプロセッサに1つ以上の本発明の実施形態を実行させるコード手段、例えばコンピュータプログラムテキスト又はバイナリファイルを含む。
実施形態の別の更なる態様は、コンピュータ可読媒体と、コンピュータ可読媒体上に格納されたコンピュータプログラムとを備えるコンピュータプログラム製品に関する。
更なる態様によると、復号器が提供される。復号器は、制限に関する情報を受信し且つピクチャを復号化する際の制限を使用するように構成される。
実施形態は、復号器、符号器及びビットストリーム上で動作するあらゆる要素、例えばネットワークノード又はメディアアウェアネットワーク要素(MANE)に適用される。
実施形態は、HEVCに限定されず、スケーラブル拡張又はマルチビュー拡張等のHEVCのあらゆる拡張、あるいは異なるビデオ符号化基準に適用されてもよい。
図4において、符号器80における方法の例示的且つ概略的なフローチャートを示す。上述したように、符号器80は、映像シーケンスを符号化する方法を実行する。
上述したように、映像シーケンスは、HEVC対応のビットストリームであってもよいビットストリームに符号化されてもよい。
ビットストリームの各ピクチャは、少なくとも1つのNALユニットを含んでもよい。各ピクチャは、前記少なくとも1つのNALユニットに含まれた少なくとも1つのスライスに符号化されてもよい。少なくとも1つのスライスは、スライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、少なくとも1つの現在のスライスに符号化されてもよい。少なくとも1つの現在のスライスは、現在のNALユニットに符号化される。
映像シーケンスの現在のピクチャを符号化する際、以下の動作は、あらゆる適切な順序で実行されてもよい。
動作401
符号器80は、先行参照ピクチャに対する指示を算出する。上述したように、先行参照ピクチャは、復号化順序で現在のピクチャの前に配置される。現在のピクチャと比較して、先行参照ピクチャは、復号化順序で最近接する時間識別子が0の先行参照ピクチャである。この動作は動作301に類似する。
動作402
符号器80は、先行ピクチャに対する指標の第1の集合を作成する。第1の集合は、
先行参照ピクチャに対する指示と、
先行参照ピクチャの第1の参照ピクチャセット「RPS」に含まれた全ての参照ピクチャに対する指標の第2の集合と、
復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第3の集合とを含む。
第1の参照ピクチャは、先行参照ピクチャの先行スライスヘッダに含まれてもよい。この動作は動作302に類似する。
動作403
符号器80は、長期参照ピクチャに対するフラグを設定する。フラグは、第2のRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。現在のピクチャの第2のRPSにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第1の集合において示された2つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合、動作403を実行する。ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示してもよい。この動作は動作303に類似する。
動作404
符号器80は、ピクチャ順序カウントサイクルを現在のピクチャの現在のNALユニットに符号化してもよい。この動作は動作304に類似する。
図5において、符号器80における第2の実施形態に係る方法の例示的且つ概略的なフローチャートを示す。上述したように、符号器80は、映像シーケンスを符号化する方法を実行する。
以下の動作は、あらゆる適切な順序で実行されてもよい。
動作501
現在のピクチャがCVS等の映像シーケンスの第1のピクチャであってもよい場合、符号器80はリストをリセットしてもよい。
映像シーケンスの現在のピクチャを符号化する際、現在のピクチャの参照ピクチャセット「RPS」における長期参照ピクチャ毎に、以下の動作が実行されてもよい。
動作502
符号器80は、前記各長期参照ピクチャのそれぞれのピクチャ順序カウントをピクチャ順序カウントに対するリストに格納する。この動作は、上記のステップ1.a.iに類似する。
動作503
リストがそれぞれのピクチャ順序カウントとは異なるピクチャ順序カウントを含む場合及び例えばリストにおけるピクチャ順序カウントがそれぞれのピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合、符号器80は、前記各長期参照ピクチャに対するフラグを設定する。フラグは、現在のピクチャのRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。この動作は、上記のステップ1.a.iiに類似する。
図6は、一実施形態に係るピクチャを符号化するように構成された符号器601を示す概略ブロック図である。符号器は、本発明の実施形態のうちのいずれかに係る制限を適用するように構成された制限ユニット602を備える。更に符号器は、ビットストリームを生成及び出力するように構成された出力ユニット603を備える。
次に、図7を参照して、映像シーケンスを符号化するように構成された符号器80を更に詳細に示す。符号器80は、映像シーケンスの現在のピクチャを符号化する際に先行参照ピクチャに対する指示を算出するように構成される。先行参照ピクチャは、復号化順序で現在のピクチャの前に配置される。現在のピクチャと比較して、先行参照ピクチャは、復号化順序で最近接する時間識別子が0の先行参照ピクチャである。
更に符号器80は、映像シーケンスの現在のピクチャを符号化する際に先行ピクチャに対する指標の第1の集合を作成するように構成される。第1の集合は、
先行参照ピクチャに対する指示と、
先行参照ピクチャの第1の参照ピクチャセット「RPS」に含まれた全ての参照ピクチャに対する指標の第2の集合と、
復号化順序で先行参照ピクチャに後続し且つ復号化順序で現在のピクチャに先行する全てのピクチャに対する指標の第3の集合とを含む。
更に符号器80は、映像シーケンスの現在のピクチャを符号化する際、現在のピクチャの第2のRPSにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、第1の集合において示された2つ以上のピクチャが長期参照ピクチャと同一の、ピクチャ順序カウントの最下位ビットの値を共有する場合に、長期参照ピクチャに対するフラグを設定するように構成される。フラグは、第2のRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。
符号器80は、ピクチャ順序カウントサイクルを現在のピクチャの現在のNALユニットに符号化するように更に構成されてもよい。
ビットストリームの各ピクチャは、少なくとも1つのNALユニットを含んでもよい。各ピクチャは、前記少なくとも1つのNALユニットに含まれた少なくとも1つのスライスに符号化されてもよい。少なくとも1つのスライスは、スライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、少なくとも1つの現在のスライスに符号化されてもよい。少なくとも1つの現在のスライスは、現在のNALユニットに符号化されてもよい。
先行参照ピクチャの時間識別子は、先行参照ピクチャの先行NALユニットにおいて示されてもよい。
第1の参照ピクチャセットは、先行参照ピクチャの先行スライスヘッダに含まれてもよい。
ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示してもよい。
ビットストリームは、HEVC対応のビットストリームであってもよい。
また、第2の実施形態によると、符号器80は、映像シーケンスを符号化するように構成される。
符号器80は、映像シーケンスの及び現在のピクチャのRPSにおける長期参照ピクチャ毎の現在のピクチャを符号化する際、前記各長期参照ピクチャのそれぞれのピクチャ順序カウントをピクチャ順序カウントに対するリストに格納するように構成される。
更に符号器80は、映像シーケンスの及び現在のピクチャのRPSにおける長期参照ピクチャ毎の現在のピクチャを符号化する際、リストがそれぞれのピクチャ順序カウントとは異なるピクチャ順序カウントを含む場合及びピクチャ順序カウントがそれぞれのピクチャ順序カウントの最下位ビットに等しい最下位ビットを有する場合、前記各長期参照ピクチャに対するフラグを設定するように構成される。フラグは、現在のピクチャのRPSにおける長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及びピクチャ順序カウントの最下位ビットを使用することを示す。
符号器80は、現在のピクチャが映像シーケンスの第1のピクチャであってもよい場合にリストをリセットするように更に構成されてもよい。
従って、本明細書において説明する符号器80は、例えばプロセッサ82又は処理回路及び適切な記憶装置又はメモリ84を含む適切なソフトウェア、プログラマブルロジックデバイス(PLD)、あるいは図7に示されるような他の電子部品のうちの1つ以上により実現されうる。更に符号器80は、映像ストリームのピクチャを受信するように構成された入力、即ち入力ユニット81を備えることが好ましい。対応する出力、即ち出力ユニット83は、スライスの符号化表現を好ましくはNALユニットの形式で出力するように構成される。
ユニットを含む図7の符号器は、ハードウェアで実現されうる。符号器のユニットの機能を実現するために使用及び組み合わせ可能な回路網要素の多くの変形例がある。そのような変形例は実施形態に含まれる。符号器のハードウェアの実現例の特定の例は、汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術、並びにデジタル信号プロセッサ(DSP)における実現例である。
図7は、符号器80で実行される場合に図3、図4又は図5に係る方法を符号器80に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラム85を更に示す。
最後に、図7は、コンピュータ可読媒体87と、コンピュータ可読媒体87上に格納された先ほど上述したようなコンピュータプログラム85とを備えるコンピュータプログラム製品86を示す。
コンピュータ可読媒体は、メモリ、USB(Universal Serial Bus)メモリ、DVDディスク、Blu−rayディスク、データストリームとして受信されるソフトウェアモジュール、フラッシュメモリ、ハードウェアドライブ等であってもよい。
次に、図8を参照すると、本発明の実施形態に係る符号器62は、例えば移動デバイス等のビデオカメラにおける送信機60に配置されてもよい。送信機60は、符号化される映像ストリームのピクチャを受信するように構成された入力、即ち入力ユニット61を備える。ピクチャは、本明細書において開示されるように符号器62により符号化される。符号化ピクチャは、NALユニット又はそのようなNALユニットを搬送するデータパケット等の符号化ビットストリーム形式で出力、即ち出力ユニット63により送信機60から出力される。
図9において、復号器50により実行される映像シーケンスを取得するためにビットストリームを復号化する方法の例示的且つ概略的なフローチャートを示す。
ビットストリームから現在のピクチャを復号化する際、以下の動作は、あらゆる適切な順序で実行されてもよい。
動作901
復号器50は、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得する。最下位ビットは、NALユニットから取得されてもよい。この動作は動作305に類似する。
動作902
復号器50は、前記長期参照ピクチャに対するフラグを取得する。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。この動作は動作306に類似する。
ビットストリームの各ピクチャは、少なくとも1つのNALユニットを含んでもよい。各ピクチャは、前記少なくとも1つのNALユニットに含まれたスライスから復号化されてもよい。スライスはスライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化されてもよい。現在のスライスは、現在のNALユニットから復号化されてもよい。
動作903
ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器50の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、復号器50は、ビットストリームが不適合のビットストリームであると判断する。復号化ピクチャバッファは、復号化順序で現在のピクチャの前に復号化されたピクチャを含んでもよい。判断することは、HEVCに準拠しないと判断することを含む。この動作は動作307に類似する。
図10は、実施形態に係る復号器1001を示す簡略化された概略ブロック図である。復号器は、上述の実施形態のうちのいずれかに係る制限を有するビットストリームを受信するように構成された入力ユニット1002を備える。復号器は、ピクチャを復号化する際にこの制限を使用するように構成される復号ユニット1003を更に備える。
図11は、映像シーケンスを取得するためにビットストリームを復号化するように構成された復号器50を示すブロック図である。
復号器50は、ビットストリームの現在のピクチャを復号化する際に、現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットをビットストリームから取得するように構成される。
更に復号器50は、ビットストリームから現在のピクチャを復号化する際に前記長期参照ピクチャに対するフラグを取得するように構成される。フラグは、ピクチャ順序カウントサイクルを使用するか否かを示す。
また、ピクチャ順序カウントサイクルが使用されないことをフラグが示し、かつ、最下位ビットが復号器50の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、復号器50は、ビットストリームから現在のピクチャを復号化する際にビットストリームが不適合のビットストリームであると判断するように構成される。
ピクチャ順序カウントは、映像シーケンスのピクチャが出力される順序を示す。
ビットストリームの各ピクチャは、少なくとも1つのNALユニットを含んでもよい。各ピクチャは、前記少なくとも1つのNALユニットに含まれたスライスから復号化されてもよい。スライスはスライスヘッダを含んでもよい。スライスヘッダはフラグを含んでもよい。映像シーケンスの現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化されてもよい。現在のスライスは、現在のNALユニットから復号化されてもよい。
最下位ビットは、現在のNALユニットから取得されてもよい。
復号化ピクチャバッファは、復号化順序で現在のピクチャの前に復号化されたピクチャを含んでもよい。
復号器50は、HEVCに準拠しないと判断するように更に構成されてもよい。
ユニットを含む図11の復号器は、ハードウェアで実現されうる。復号器のユニットの機能を実現するために使用及び組み合わせ可能な回路網要素の多くの変形例がある。そのような変形例は実施形態に含まれる。復号器のハードウェアの実現例の特定の例は、汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術、並びにデジタル信号プロセッサ(DSP)における実現例である。
本明細書において説明する復号器50は、例えばプロセッサ52、処理回路及び適切な記憶装置又はメモリ54を含む適切なソフトウェア、プログラマブルロジックデバイス(PLD)、あるいは図11に示されるような他の電子部品のうちの1つ以上により実現されうる。更に復号器50は、例えばNAL(ネットワーク抽象化層)ユニットの形式のピクチャの符号化表現を受信するように構成された入力、即ち入力ユニット51を備えることが好ましい。対応する出力、即ち出力ユニット53は、復号化ピクチャを出力するように構成される。
一般に、参照ピクチャバッファは復号器50の統合部分である。メモリ54は、参照ピクチャバッファに加えて、復号化に必要なその他のものを含んでもよい。
図11は、復号器50で実行される場合に図3及び図9に示されたような方法を復号器50に実行させるコンピュータ可読コードユニットを備えるコンピュータプログラム55を更に示す。
最後に、図11は、コンピュータ可読媒体57と、コンピュータ可読媒体57上に格納された先ほど上述したようなコンピュータプログラム55とを備えるコンピュータプログラム製品56を示す。
コンピュータ可読媒体は、メモリ、USB(Universal Serial Bus)メモリ、DVDディスク、Blu−rayディスク、データストリームとして受信されるソフトウェアモジュール、フラッシュメモリ、ハードウェアドライブ等であってもよい。
次に、図12を参照すると、本発明の実施形態に係る復号器32は、例えば移動デバイス等のビデオカメラ、セットトップボックス又は表示装置における受信機30に配置されてよい。受信機30は、NALユニットのデータパケット等の符号化ビットストリームを受信するように構成された入力、即ち入力ユニット31を備える。NALユニットの符号化表現は、本明細書において開示されるように復号器32により復号化される。復号器32は、映像ストリームにおける他のピクチャに対する参照ピクチャとして使用される既に復号化されたピクチャを一時的に格納する参照ピクチャバッファ34を含むか又はそれに接続されることが好ましい。参照ピクチャセットにおけるピクチャは、参照ピクチャバッファに格納されてもよい。復号化ピクチャは、出力、即ち出力ユニット33を利用して、受信機30から、例えば参照ピクチャバッファ34から出力される。これらの出力ピクチャは、受信機30の画面又は表示装置、あるいは受信機30に無線接続を含んで接続された画面又は表示装置上でユーザに対して表示されるように送出される。更に出力ピクチャは、表示されることなくディスク上に格納されてもよく、あるいはトランスコードされてもよい。
実施形態は、HEVCに限定されず、スケーラブル拡張又はマルチビュー拡張等のHEVCのあらゆる拡張、あるいは異なるビデオコーデックに適用されてもよい。実施形態は、2D映像及び3D映像に対して適用可能である。
ユニット又はモジュールと対話する選択肢及びユニットの名称は、例示することのみを目的とし、開示された処理動作を実行できるように複数の別の方法で構成されてもよいことが理解されるべきである。
また、本明細書において説明されたユニット又はモジュールは、論理エンティティであると考えられるべきであり、別個の物理エンティティとしての必要性を有さない。本明細書において開示された技術の範囲は当業者に対して明らかとなるだろう他の実施形態を完全に含み、且つ本開示内容の範囲はそれに応じて制限されないことが理解されるだろう。
明示的な指定のない限り、単数形は「1つ及び1つのみ」ではなく、むしろ「1つ以上」を意味することを意図する。当業者には知られている上述の実施形態の要素に対する全ての構造的等価物及び機能的等価物は、参考として本明細書に明示的に取り入れられ、本明細書に含まれることを意図する。また、デバイス又は方法は、本明細書に含まれるように、本明細書において開示された技術により解決しようとする全ての問題に対処する必要はない。
先の説明において、限定する目的ではなく説明する目的で、特定のアーキテクチャ、インタフェース、技術等の具体的な詳細は、開示された技術を完全に理解するために上述された。しかし、開示された技術が、これらの具体的な詳細から逸脱する他の実施形態及び/又は実施形態の組み合わせにおいて実施されてもよいことは、当業者には明らかとなるだろう。即ち、当業者は、本明細書において明示的に説明又は図示されていないが開示された技術の原理を具体化する種々の構成を考案できるだろう。いくつかの例において、周知のデバイス、回路及び方法の詳細な説明は、不要な詳細で開示された技術の説明を不明瞭にしないように省略される。開示された技術の原理、態様及び実施形態を説明する本明細書における全ての言明、並びに具体的な例は、構造的等価物及び機能的等価物の双方を含むことを意図する。更に、そのような等価物は、現在知られている等価物、並びに将来開発される等価物、例えば構造に関係なく同一の機能を実行する開発されるあらゆる要素を含むことが意図される。
従って、例えば、本明細書におけるブロック図は、技術の原理を具体化する例示的な回路網又は他の機能ユニットの概略図を表せることが当業者には理解されるだろう。同様に、あらゆるフローチャート、状態遷移図及び擬似コード等は、コンピュータ可読媒体において実質的に表されてもよいために、そのようなコンピュータ又はプロセッサが明示的に示されているかいないかに関係なくコンピュータ又はプロセッサにより実行されてもよい種々の処理を示すことが理解されるだろう。
機能ブロックを含む種々の要素の機能は、回路ハードウェア等のハードウェア及び/又はコンピュータ可読媒体上に格納された符号化命令の形式でソフトウェアを実行できるハードウェアを使用して提供されてもよい。従って、そのような機能及び例示された機能ブロックは、ハードウェアで実現されるもの及び/又はコンピュータで実現されるもの、そのため機械で実現されるものとして理解されるべきである。
従って、例えば、本明細書におけるブロック図は、技術の原理を具体化する例示的な回路網又は他の機能ユニットの概略図を表せることが当業者には理解されるだろう。同様に、あらゆるフローチャート、状態遷移図及び擬似コード等は、コンピュータ可読媒体において実質的に表されてもよいために、そのようなコンピュータ又はプロセッサが明示的に示されているかいないかに関係なくコンピュータ又はプロセッサにより実行されてもよい種々の処理を示すことが理解されるだろう。
上述の実施形態は、本発明のいくつかの例示的な例として理解されるべきである。本発明の範囲から逸脱せずに、種々の変形、組み合わせ及び変更が本発明に対して行なわれてもよいことが当業者には理解されるだろう。特に、種々の実施形態における種々の部分の解決方法は、技術的に可能な場合には他の構成において組み合わされてもよい。
本明細書において使用されたように、例えばフラグと共に使用された場合の「設定」という用語は、1の値がフラグに割り当てられることを意味してもよい。
本明細書において使用されたように、例えばフラグと共に使用された場合の「クリア」という用語は、ゼロの値がフラグに割り当てられることを意味してもよい。

Claims (26)

  1. 符号器(80)が実行する、映像シーケンスを高効率映像符号化(HEVC)対応のビットストリームに符号化するための方法であって、前記映像シーケンスの現在のピクチャを符号化する場合に、
    先行参照ピクチャを指し示す指標を算出するステップ(301)であって、前記先行参照ピクチャは復号化順序において前記現在のピクチャよりも前に位置し、かつ、前記現在のピクチャに対して復号化順序で最近接する時間識別子が0の先行参照ピクチャである、ステップ(301)と、
    先行参照ピクチャを指し示す指標の第1の集合を作成するステップ(302)であって、前記第1の集合は、
    前記先行参照ピクチャの前記指標と、
    前記先行参照ピクチャの第1の参照ピクチャセット(RPS)に含まれた全ての参照ピクチャを指し示す指標の第2の集合と、
    復号化順序で前記先行参照ピクチャに後続し、且つ、復号化順序で前記現在のピクチャに先行する全てのピクチャを指し示す指標の第3の集合と
    を含むステップ(302)と、
    前記現在のピクチャの第2のRPSにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、前記第1の集合において示された2つ以上のピクチャが前記長期参照ピクチャと同一の、ピクチャ順序カウントの前記最下位ビットの値を共有する場合に、前記長期参照ピクチャに対するフラグを設定するステップ(303)であって、前記フラグは、前記第2のRPSにおける前記長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及び前記ピクチャ順序カウントの最下位ビットを使用することを示すステップ(303)と、
    を有することを特徴とする方法。
  2. 前記ビットストリームの各ピクチャは少なくとも1つのNALユニットを含み、各ピクチャは前記少なくとも1つのNALユニットに含まれた少なくとも1つのスライスに符号化され、前記少なくとも1つのスライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは少なくとも1つの現在のスライスに符号化され、前記少なくとも1つの現在のスライスは現在のNALユニットに符号化されることを特徴とする請求項1記載の方法。
  3. 前記方法は、
    前記ピクチャ順序カウントサイクルを前記現在のピクチャの前記現在のNALユニットに符号化するステップ(304)を更に有することを特徴とする請求項2記載の方法。
  4. 前記先行参照ピクチャの前記時間識別子は、前記先行参照ピクチャNALユニットにおいて示されることを特徴とする請求項2または3に記載の方法。
  5. 前記第1の参照ピクチャセットは、前記先行参照ピクチャスライスヘッダに含まれることを特徴とする請求項2から4のいずれか1項に記載の方法。
  6. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項1から5のいずれか1項に記載の方法。
  7. 高効率映像符号化(HEVC)対応の復号器(50)が実行する、映像シーケンスを取得するためにビットストリームを復号化するための方法であって、前記ビットストリームから現在のピクチャを復号化する場合に、
    前記現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットを前記ビットストリームから取得するステップ(305)と、
    ピクチャ順序カウントサイクルを使用するか否かを示す前記長期参照ピクチャに対するフラグを取得するステップ(306)と、
    前記ピクチャ順序カウントサイクルが使用されないことを前記フラグが示し、かつ、前記最下位ビットが前記復号器(50)の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、前記ビットストリームが高効率映像符号化(HEVC)に準拠していないと判断するステップ(307)と、
    を有することを特徴とする方法。
  8. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項7記載の方法。
  9. 前記ビットストリームの各ピクチャは少なくとも1つのNALユニットを含み、各ピクチャは、前記少なくとも1つのNALユニットに含まれたスライスから復号化され、前記スライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化され、前記現在のスライスは現在のNALユニットから復号化されることを特徴とする請求項7または8に記載の方法。
  10. 前記最下位ビットは、前記現在のNALユニットから取得されることを特徴とする請求項9記載の方法。
  11. 前記復号化ピクチャバッファは、復号化順序で前記現在のピクチャの前に復号化されたピクチャを含むことを特徴とする請求項7から10のいずれか1項に記載の方法。
  12. 映像シーケンスを高効率映像符号化(HEVC)対応のビットストリームに符号化するように構成された符号器(80)であって、前記映像シーケンスの現在のピクチャを符号化する場合に、
    復号化順序において前記現在のピクチャよりも前に位置し、かつ、前記現在のピクチャに対して復号化順序で最近接する時間識別子が0の先行参照ピクチャである先行参照ピクチャを指し示す指標を算出し、
    先行参照ピクチャを指し示す指標の第1の集合であって、
    前記先行参照ピクチャの前記指標と、
    前記先行参照ピクチャの第1の参照ピクチャセット(RPS)に含まれた全ての参照ピクチャを指し示す指標の第2の集合と、
    復号化順序で前記先行参照ピクチャに後続し、且つ、復号化順序で前記現在のピクチャに先行する全てのピクチャを指し示す指標の第3の集合と
    を含む第1の集合を作成し、
    前記現在のピクチャの第2のRPSにおける長期参照ピクチャがピクチャ順序カウントの最下位ビットを有し、かつ、前記第1の集合において示された2つ以上のピクチャが前記長期参照ピクチャと同一の、ピクチャ順序カウントの前記最下位ビットの値を共有する場合に、前記第2のRPSにおける前記長期参照ピクチャを示すために、ピクチャ順序カウントサイクル及び前記ピクチャ順序カウントの最下位ビットを使用することを示す前記長期参照ピクチャに対するフラグを設定する
    ように構成されたことを特徴とする符号器(80)。
  13. 前記ビットストリームの各ピクチャは少なくとも1つのNALユニットを含み、各ピクチャは前記少なくとも1つのNALユニットに含まれた少なくとも1つのスライスに符号化され、前記少なくとも1つのスライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは少なくとも1つの現在のスライスに符号化され、前記少なくとも1つの現在のスライスは現在のNALユニットに符号化されることを特徴とする請求項12記載の符号器(80)。
  14. 符号器(80)は、前記ピクチャ順序カウントサイクルを前記現在のピクチャの前記現在のNALユニットに符号化するように更に構成されたことを特徴とする請求項13記載の符号器(80)。
  15. 前記先行参照ピクチャの前記時間識別子は、前記先行参照ピクチャNALユニットにおいて示されることを特徴とする請求項13または14に記載の符号器(80)。
  16. 前記第1の参照ピクチャセットは、前記先行参照ピクチャスライスヘッダに含まれることを特徴とする請求項13から15のいずれか1項に記載の符号器(80)。
  17. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項12から16のいずれか1項に記載の符号器(80)。
  18. 映像シーケンスを取得するためにビットストリームを復号化するように構成された高効率映像符号化(HEVC)対応の復号器(50)であって、前記ビットストリームから現在のピクチャを復号化する場合に、
    前記現在のピクチャの参照ピクチャセットに含まれた長期参照ピクチャに対するピクチャ順序カウントの最下位ビットを前記ビットストリームから取得し、
    ピクチャ順序カウントサイクルを使用するか否かを示す前記長期参照ピクチャに対するフラグを取得し、
    前記ピクチャ順序カウントサイクルが使用されないことを前記フラグが示し、かつ、前記最下位ビットが前記復号器(50)の復号化ピクチャバッファにおける2つ以上の参照ピクチャと一致する場合、前記ビットストリームが高効率映像符号化(HEVC)に準拠していないと判断するように構成されたことを特徴とする復号器(50)。
  19. 前記ピクチャ順序カウントは、前記映像シーケンスのピクチャが出力される順序を示すことを特徴とする請求項18記載の復号器(50)。
  20. 前記ビットストリームの各ピクチャは少なくとも1つのNALユニットを含み、各ピクチャは、前記少なくとも1つのNALユニットに含まれたスライスから復号化され、前記スライスはスライスヘッダを含み、前記スライスヘッダは前記フラグを含み、前記映像シーケンスの前記現在のピクチャは、現在のスライスヘッダを有する現在のスライスから復号化され、前記現在のスライスは現在のNALユニットから復号化されることを特徴とする請求項18または19に記載の復号器(50)。
  21. 前記最下位ビットは、前記現在のNALユニットから取得されることを特徴とする請求項20記載の復号器(50)。
  22. 前記復号化ピクチャバッファは、復号化順序で前記現在のピクチャの前に復号化されたピクチャを含むことを特徴とする請求項18から21のいずれか1項に記載の復号器(50)。
  23. 符号器(80)で実行される場合に請求項1から6のいずれか1項に記載の方法を符号器(80)に実行させることを特徴とするコンピュータプログラム(85)。
  24. 請求項23記載のコンピュータプログラム(85)が格納されたコンピュータ可読媒体(87)。
  25. 復号器(50)で実行される場合に請求項7から11のいずれか1項に記載の方法を復号器(50)に実行させることを特徴とするコンピュータプログラム(55)。
  26. 請求項25記載のコンピュータプログラム(55)が格納されたコンピュータ可読媒体(57)。
JP2015552023A 2013-01-16 2013-12-18 復号器及び符号器、並びに映像シーケンスを符号化する方法 Active JP5897236B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361753158P 2013-01-16 2013-01-16
US61/753,158 2013-01-16
PCT/EP2013/077229 WO2014111222A1 (en) 2013-01-16 2013-12-18 Decoder and encoder and methods for coding of a video sequence

Publications (2)

Publication Number Publication Date
JP5897236B1 true JP5897236B1 (ja) 2016-03-30
JP2016511952A JP2016511952A (ja) 2016-04-21

Family

ID=51209038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015552023A Active JP5897236B1 (ja) 2013-01-16 2013-12-18 復号器及び符号器、並びに映像シーケンスを符号化する方法

Country Status (13)

Country Link
US (7) US9300965B2 (ja)
EP (3) EP3119089B1 (ja)
JP (1) JP5897236B1 (ja)
CN (1) CN104937942B (ja)
DK (1) DK2946556T3 (ja)
ES (2) ES2687768T3 (ja)
HU (1) HUE040200T2 (ja)
IN (1) IN2015DN04041A (ja)
NZ (1) NZ708943A (ja)
PL (2) PL2946556T3 (ja)
PT (2) PT2946556T (ja)
TR (1) TR201809689T4 (ja)
WO (1) WO2014111222A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013158024A1 (en) * 2012-04-16 2013-10-24 Telefonaktiebolaget L M Ericsson (Publ) Encoder, decoder and methods thereof for video encoding and decoding
US9848199B2 (en) * 2014-03-17 2017-12-19 Qualcomm Incorporated Device and method for scalable coding of video information
WO2020004420A1 (en) * 2018-06-30 2020-01-02 Sharp Kabushiki Kaisha Systems and methods for signaling picture types of pictures included in coded video
JP2021535671A (ja) 2018-08-31 2021-12-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 符号化方法、復号方法、符号化機器、復号機器、およびコンピュータプログラム
WO2020122062A1 (en) * 2018-12-10 2020-06-18 Sharp Kabushiki Kaisha Systems and methods for signaling reference pictures in video coding
US10812818B2 (en) * 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header
CN118714324A (zh) * 2019-01-28 2024-09-27 Op方案有限责任公司 扩展长期参考图片保留的显式信令
US10986353B2 (en) * 2019-03-15 2021-04-20 Tencent America LLC Decoded picture buffer management for video coding
BR112021024418A2 (pt) * 2019-06-21 2022-01-18 Ericsson Telefon Ab L M Métodos para a decodificação de um conjunto de imagens a partir de um fluxo contínuo de bits e para a codificação de uma imagem, decodificador de vídeo, codificador de vídeo, programa de computador, e, portadora
CN114205615B (zh) * 2021-12-03 2024-02-06 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013158024A1 (en) * 2012-04-16 2013-10-24 Telefonaktiebolaget L M Ericsson (Publ) Encoder, decoder and methods thereof for video encoding and decoding
WO2014112354A1 (en) * 2013-01-15 2014-07-24 Sharp Kabushiki Kaisha Video decoder with signaling

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US20060013318A1 (en) * 2004-06-22 2006-01-19 Jennifer Webb Video error detection, recovery, and concealment
CA2666452C (en) * 2006-10-16 2014-12-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
KR101649207B1 (ko) * 2011-08-31 2016-08-19 노키아 테크놀로지스 오와이 멀티뷰 비디오 코딩 및 디코딩을 위한 방법, 장치 및 컴퓨터 프로그램
US9131245B2 (en) * 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US20130114685A1 (en) * 2011-11-07 2013-05-09 Sharp Laboratories Of America, Inc. Video decoder with constrained dynamic range
KR102332492B1 (ko) * 2011-11-11 2021-12-01 엘지전자 주식회사 영상 정보 전송 방법 및 장치와 이를 이용한 복호화 방법 및 장치
US9648321B2 (en) * 2011-12-02 2017-05-09 Qualcomm Incorporated Coding picture order count values identifying long-term reference frames
KR102211673B1 (ko) * 2011-12-16 2021-02-03 벨로스 미디어 인터내셔널 리미티드 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법, 동화상 복호 장치, 및 동화상 부호화 복호장치
US9258559B2 (en) * 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US8693793B2 (en) * 2012-01-19 2014-04-08 Sharp Laboratories Of America, Inc. Reducing reference picture set signal overhead on an electronic device
US20130188709A1 (en) * 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
CN102665078A (zh) * 2012-05-08 2012-09-12 北方工业大学 用于hevc的基于方向矢量的帧内预测模式决策
US9264737B2 (en) * 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013158024A1 (en) * 2012-04-16 2013-10-24 Telefonaktiebolaget L M Ericsson (Publ) Encoder, decoder and methods thereof for video encoding and decoding
WO2014112354A1 (en) * 2013-01-15 2014-07-24 Sharp Kabushiki Kaisha Video decoder with signaling

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JPN6015048632; Hendry, Byeong Moon Jeon: 'AHG9: On RPS derivation and marking process for long-term reference pictures' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-L0254, 20130111, pp.1-7 *
JPN6015048634; Jonatan Samuelsson, Rickard Sjoberg: 'Single inclusion of long-term reference pictures in RPS' Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 1 JCTVC-K0235, 20121016, pp.1-3 *
JPN6015048636; Rickard Sjoberg, Jonatan Samuelsson: 'AHG15: Fix for an unhandled long-term picture case' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-I0234, 20120507, pp.1-4 *
JPN6015048637; Adarsh K. Ramasubramonian, et al.: 'AHG13: On signalling of MSB cycle for long-term reference pictures' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-J0118, 20120714, pp.1-5 *
JPN6015048639; Adarsh K. Ramasubramonian, et al.: 'Signalling of long-term reference pictures in the SPS' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th M JCTVC-I0340, 20120507, pp.1-9 *
JPN6015048641; Rickard Sjoberg, et al.: 'Overview of HEVC High-Level Syntax andReference Picture Management' IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY vol.22, no.12, 201212, pp.1858-1870, IEEE *
JPN6015048642; Hendry, et al.: 'Restriction for handling long-term reference pictures' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCTVC-L0443, 20130120, pp.1-3 *

Also Published As

Publication number Publication date
ES2609527T3 (es) 2017-04-20
PL3119089T3 (pl) 2018-11-30
CN104937942A (zh) 2015-09-23
PT3119089T (pt) 2018-08-03
ES2687768T3 (es) 2018-10-29
US20150208064A1 (en) 2015-07-23
US20220167007A1 (en) 2022-05-26
US12069298B2 (en) 2024-08-20
EP3399746B1 (en) 2019-08-07
CN104937942B (zh) 2016-09-07
EP2946556A1 (en) 2015-11-25
PT2946556T (pt) 2016-12-30
US11284106B2 (en) 2022-03-22
US9300965B2 (en) 2016-03-29
US20180270505A1 (en) 2018-09-20
US20160156927A1 (en) 2016-06-02
US20230421805A1 (en) 2023-12-28
EP3119089B1 (en) 2018-06-27
PL2946556T3 (pl) 2017-04-28
DK2946556T3 (en) 2017-01-23
NZ708943A (en) 2018-12-21
HUE040200T2 (hu) 2019-02-28
EP2946556B1 (en) 2016-10-12
US11818392B2 (en) 2023-11-14
US20200036999A1 (en) 2020-01-30
TR201809689T4 (tr) 2018-07-23
EP3399746A1 (en) 2018-11-07
US20210227255A1 (en) 2021-07-22
JP2016511952A (ja) 2016-04-21
IN2015DN04041A (ja) 2015-10-02
US10999600B2 (en) 2021-05-04
US10477239B2 (en) 2019-11-12
WO2014111222A1 (en) 2014-07-24
US9998758B2 (en) 2018-06-12
EP3119089A1 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
JP5897236B1 (ja) 復号器及び符号器、並びに映像シーケンスを符号化する方法
CN112438047B (zh) 用于点云译码的高级语法设计
US10841619B2 (en) Method for decoding a video bitstream
TWI517692B (zh) 用於視訊寫碼之寫碼參數組及網路抽象層單元標頭
KR102079803B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
KR101751153B1 (ko) 디코딩 장치, 방법 및 비-일시적 컴퓨터 판독가능 기록매체
JP2014510440A (ja) ビデオコーディングにおけるサブスライス
US20120183060A1 (en) Techniques for describing temporal coding structure
US20150139338A1 (en) Identifying Leading Pictures in Video Coding
TW201436529A (zh) 包括第一層和第二層的多層串流之圖像區塊解碼方法和解碼裝置以及編碼方法和編碼裝置
JP6442067B2 (ja) Hevc拡張の搬送のための動作点のシグナリング
CN104320644B (zh) 一种深度信息的编解码方法、系统及装置
CN116508322A (zh) Vvc视频编解码中的解码器配置信息

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160301

R150 Certificate of patent or registration of utility model

Ref document number: 5897236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250