JP6792020B2 - ネッワーク装置およびエラー処理の方法 - Google Patents

ネッワーク装置およびエラー処理の方法 Download PDF

Info

Publication number
JP6792020B2
JP6792020B2 JP2019075436A JP2019075436A JP6792020B2 JP 6792020 B2 JP6792020 B2 JP 6792020B2 JP 2019075436 A JP2019075436 A JP 2019075436A JP 2019075436 A JP2019075436 A JP 2019075436A JP 6792020 B2 JP6792020 B2 JP 6792020B2
Authority
JP
Japan
Prior art keywords
slice
packet
sequence
packets
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019075436A
Other languages
English (en)
Other versions
JP2019165455A (ja
Inventor
カルステン ズューリング
カルステン ズューリング
トーマス シーアル
トーマス シーアル
デトレフ マルペ
デトレフ マルペ
ローベルト スクーピン
ローベルト スクーピン
デ ラ フエンテ ヤーゴ サンチェス
デ ラ フエンテ ヤーゴ サンチェス
ゲルハルト テヒ
ゲルハルト テヒ
Original Assignee
ジーイー ビデオ コンプレッション エルエルシー
ジーイー ビデオ コンプレッション エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー ビデオ コンプレッション エルエルシー, ジーイー ビデオ コンプレッション エルエルシー filed Critical ジーイー ビデオ コンプレッション エルエルシー
Publication of JP2019165455A publication Critical patent/JP2019165455A/ja
Application granted granted Critical
Publication of JP6792020B2 publication Critical patent/JP6792020B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ビデオデータストリームが伝送される一連のパケットのトランスポートストリームに関連するネットワーク装置およびエラー処理の方法に関係している。
用途によっては、トランスポートパケットに基づくビデオデータストリーム伝送は、パケット損失から損害を被る。この種のパケット損失は、例えば、トランスポートストリームの任意に使用される順方向エラー修正のエラー修正能力、受信信号の承認を送るためのいかなるアップリンク接続の不足、またはその両方の組合せを上回る伝送エラーから生じ得る。
レシートアップリンクの承認の有効性にかかわりなく、失われたパケットの非受信のために復号化することができないビデオデータストリームの影響を受けた部分をできるだけ少なくしておくことが望ましい。
B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), "High Efficiency Video Coding (HEVC) text specification draft 10", JCTVC-L1003, Geneva, CH, Jan. 2013 G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), "MV-HEVC Draft Text 3 (ISO/IEC 23008-2 PDAM2)", JCT3V-C1004, Geneva, CH, Jan. 2013 G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), "3D-HEVC Test Model Description, draft specification", JCT3V-C1005, Geneva, CH, Jan. 2013 WILBURN, Bennett, et al. High performance imaging using large camera arrays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776. WILBURN, Bennett S., et al. Light field video camera. In: Electronic Imaging 2002. International Society for Optics and Photonics, 2001. S. 29-36. HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2010. S. 7-10.
しかしながら、トランスポートストリームのパケットは、トランスポートストリームの後続パケットによって運ばれるコンテンツの復号化するための必要な情報をもたらすことができる。
HEVC標準[HEVC(High Efficiency Video Codingの略)/高効率映像符号化国際標準]おいて、例えば、ビデオデータストリームは、独立したスライス部分と従属するスライス部分を含む。従属するスライス部分は、例えば、すぐ前の独立したスライス部分に含まれ、従属するスライス部分を複合化するために継承されるスライスヘッダデータが関係する限り、独立したスライス部分に依存する。
それゆえに、パケット損失がある場合、ビデオデータストリームの影響を受けた復号できない部分の量を低減することができる当面の概念を有することは、有利である。
したがって、ビデオデータストリームが移送される一連のパケットのトランスポートストリームにおいて発生しているエラーを扱うために、この種の概念を提供することは、本出願の目的である。すなわち、その概念は、受信したものの復号することができない、できるだけ低く、失われたパケットの後のパケットに、影響を及ぼすことができる。
この目的は、添付の独立請求項の主題によって達成される。パケット損失に起因してマイナスの影響を受ける(正しく受け取られることにもかかわらず)パケットの数は、パケット配列の1つ以上の失われたパケットの実行の各々のために、パケットのシーケンスのパケット内の誤り耐性および識別することを提供して、それを解析することによって低減され得ることが、本出願の知見である。1つ以上の失われたパケットのそれぞれの実行の後のパケットのシーケンス内のパケットは、ビデオデータストリームのタイルのいずれかの始まりをもたらし、また、並行してスライスをもたらす。そして、パケットのシーケンスのパケットのいずれかに含まれるスライスヘッダは、失われていない。
特に、誤り耐性のデータを送信するためのサイド情報オーバーヘッドは、パケット損失に悪影響を及ぼすパケットの減少に比べて比較的低いものである。
有利な実施態様は、従属請求項の主題であり、本出願の好適な実施例は、以下に記載される図面のいずれかに関連している。
図1は、それによってビデオが符号化され、それによってビデオデータストリームが生成される、エンコーダの概略図を示し、本願の実施例は、図1のエンコーダによってサポートされ得るものである。 図2Aは、デコーダ、それによって、ビデオデータストリームに基づいて再構成されるビデオと、ビデオデータストリームと、一連のパケットを介した移送を示す概略図であり、本願の実施例は、図2のデコーダに適用され得る。 図2Bは、デコーダ、それによって、ビデオデータストリームに基づいて再構成されるビデオと、ビデオデータストリームと、一連のパケットを介した移送を示す概略図であり、本願の実施例は、図2のデコーダに適用され得る。 図3は、第1のオプションに従ってタイルおよびスライス部分に仕切られる画像14を図式的に示す。 図4は、他の分割オプションを使用している画像14の概略図を図式的に示す。 図5は、損失性チャネル上の2つのパケットストリームの実例が本願の実施例が取扱う課題を例示することを示す。 図6は、実施例によるネットワーク装置の概略ブロック図を示し、ネットワーク装置が一部でもよく、または、図2のデコーダの前に接続され得るものであってもよい。 図7は、概略的フロー図の構造を用いて、より詳細に、図6のエラーハンドラーの可能な作動モードを示す。
本願の実施例の以下の説明は、典型的なビデオコーデックまたは典型的なエンコーダ/デコーダの構造の説明から始める。後文に、パケット損失から生じている課題は、述べられる。後文に、本願の実施例は記載されている。そして、これらの実施例は、とりわけ、先に述べたエンコーダ/デコーダの構造に関して適用できる。
図1は、エンコーダの10の出力のデータストリームに、エンコーダの10の入力に到達する画像14のシーケンスからなるビデオ12を符号化するように構成されたエンコーダ10を示す。エンコーダ10は、そうすることができる符号化順序を使用している画像14のシーケンスをコード化するように構成することができる。しかし、これは、必ずしも必要であるというわけではないために、画像14の時間的順序16に追従することがある。より正確には、エンコーダ10は、画像14が区画されているにブロック18のために利用可能な異なる予測モードの中から選択するように構成された複合型ビデオエンコーダであってもよい。
このような予測モードは、例えば、以前に符号化された画像の以前に符号化された部分から同じ画像と時間予測の前に符号化された部分から空間予測を含むことができる。 しかし、追加的または代替的に、他の予測モードは、例えば、そのような低品質の以前に符号化された階層からの階層間予測モードとして、同様にエンコーダ10によってサポートされていてもよい。または、時間的に同じ場面を示している前に符号化された視点からの視点間予測は、ビデオ12の画像14を整列している。
エンコーダ10は、選択された予測モード、その出力でデータストリーム20内の残留予測の符号化に伴って、選択された予測モードに関連した予測パラメータの信号を送る。
例えば、空間的予測は、現在のブロック18に既に符号化されたサンプルがコピーされ、近隣に沿った方向/外挿を示す外挿方向を含むことができ、そして、時間的予測モードは、動き予測パラメータのような動きベクトル伴う予測補償のように、実施することができる。 視点間の予測モードは、動作補償された方法で実施することができるのと同様に、それにより予測パラメータとして視差ベクトルが得られる。
予測を実行する際に、ビデオ12の「前に符号化された部分」は、上述した符号化順序によって定義される。そして、それは、順次、画像14を通過する。各画像14の範囲内で、符号化順序は予め定められた順序のブロック18も通過する。そして、それは、例えば、ラスタスキャン方法では、画像14の左上隅からその底の右手角の方へリードする。
ビデオ12および/またはビデオ12の画像14の選択的な/部分的な復号化の画像14の並列符号化や並列復号化を可能にするために、図1のエンコーダ10は、いわゆるタイル分割をサポートしている。タイルの分割によると、各々の画像14は、たとえば、多数のタイル22の配列に仕切られる。
図1において、1つの画像14は、タイル22の2つ×2つの配列に分割されることが例示的に示されているが、任意のm×nの分割を用いることも可能である(m+n>1であるならば、タイル分割は効果的である)。
タイル22に分割することは、ブロック18を横断しないように、制限することができる。すなわち、境界をブロックするように整列されるように、制限される。タイルは、例えば、ブロック18のp×qの配列でもよい。その結果、タイルの行におけるタイルは、等しいqを有し、そして、タイルの列におけるタイルは、等しいpを有する。
エンコーダ10は、データストリーム20の中の画像14のタイル分割の信号を送り、そして、特に、タイルそれぞれ22を符号化する。つまり、各タイル22までの予測とエントロピー復号化としての例えばデータストリーム20から個別に復号可能であるように、たとえば、空間予測、エントロピー符号化データストリーム20のコンテキスト選択、から生じている相互依存関係は、後者と交差しないようにタイル境界で制限される。
上述した符号化は、以下を分割しているタイルに適している。分割することをタイルに適応させた各画像14の範囲内で、符号化順序は、タイル22の第1の一つの範囲内で最初に画像14を通過する。そして、タイル順序の次のタイルを横断する。タイル順序は、左の最上部のタイルから画像14の最下部の右手のタイルまでリードしているラスタスキャン順序でもよい。
説明の便宜上、図1は、参照符号24を有する1つの典型的な画像14を求める符号化命令を示す。
データストリーム20の伝送を容易にするために、エンコーダ10は、いわゆるスライスを単位にする上述した方法のデータストリーム20に、ビデオ12を符号化する。スライスは、上述した符号化順序に従っているデータストリーム20の部分である。スライスは、どちらか完全に1つのタイル22の範囲内に位置して、すなわち、任意のタイル境界を横断しないように、または完全にタイルのために2以上のタイルで構成されるように制限されている。つまり、それらの全体が2つ以上のタイルをカバーするように、それによって、カバータイルの輪郭と、スライス境界に一致する。
2枚のスライス26aおよび26b、タイル順序において、最初の2枚のタイル22で構成されている符号化順序24でスライス26aに仕切られるように、図1は、図1の画像14を例示的に示している。そして、第2のスライス26bが画像14、すなわち、タイル順序の3および4枚目のタイル22の下半分をカバーする。
ビデオ12をスライス26aと26bの単位にコード化する際に、それぞれ、実際のシンボル統計にエントロピー符号化のために用いられる可能性とコンテキストの可能性が各々のスライス26aと26bの初めに、そして、各々のスライスの範囲内で、各々のタイル境界線でリセットされるか、初期化される画像内容を翻案するように、エンコーダー10はコンテキストのエントロピー可能性の連続適合で、エントロピー符号化と特にコンテキスト適応可能なエントロピー符号化を用いる。
図1は、データストリーム20のスライス26を例示的に示す。スライスは、画像14の最初の2枚のタイル22のデータを含む。さらに、スライス26は、その画像14の対応する部分とスライス26を符号化するために選択された符号化タイプに関するいくつかの高レベルの情報、すなわち、最初の2つのタイル22、例えば、タイル26が、イントラ符号化された部分、p型符号化部分またはb型符号化された部分に関係するかどうかの情報を示すスライスヘッダー30を含む。スライスヘッダ30の情報なしで、スライス26aのタイルは、正しく復号化可能でない。
もう一つのメカニズムは、さらにコード化されたデータストリーム20の伝達を再分割することができるために、さらにスライスを再分割することである。
この原理によれば、各スライス26aおよび26bは、正確に1つの独立したスライスセグメント、実際にはスライス26aを有するケースまたは従属するスライス部分が続く一連の1つの独立スライス部分を構成する。スライス26aは、それ以上分けられない。エンコーダ10は、このように、単に完全にスライス26aを出力するだけのことが可能である。
スライス26bに関して、物事は異なる。スライス部分28aおよび28bとの境界線と一致しているスライス26bの中のタイル22のタイル境界を有する符号化順序、従属するスライス部分28bで、スライス26bは、追従される独立したスライス部分28aで構成される。スライスのセグメント28aと28bは、従って、スライスがそうするように、同様の特性を有し、すなわち、それらは、スライスヘッダを除いて、独立して復号化可能である。従属するスライス部分28bは、スライス26bの前の、すなわちリードしている、独立スライス部分28aから、同じことが帰属するスライスヘッダー30を継承する。
伝送の間、あり得るパケット損失から生じている課題について述べる前に、図1のエンコーダ10に適合しているデコーダ50は、図2に関して述べられる。そして、デコーダ50がこのようにデータストリームの処理のためのネットワーク装置のための実施例を示す。デコーダ50は、データストリーム20を受信して、そこからビデオ14を再建する。デコーダ50は、例えば、スライス26bが続くスライス26aを受信する。
例えば、デコーダ50は、複合型ビデオを復号化しているタイプであり得る。すなわち、複合型ビデオデコーダでもよい。そして、それは、ビデオ12の画像14の部分を再建するために、上記の確認された予測ノードを用いる。そして、スライス26aおよび26bに対応する。
スライス26aを復号化することにおいて、例えば、デコーダ50は、スライス26aのスライスタイプを決定して、スライスタイプに依存している方法のスライス26aから、画像14の第1および第2のタイル22を再建するために、スライスヘッダ30を用いる。例えば、Iスライスのために、PおよびBスライスの有効性が提供されているのに対し、時間的予測モードは利用できない。したがって、スライス26aのペイロードデータの分析は、スライスヘッダ30に依存することができる。
特に、デコーダ50は、例えば、スライス26aの初めのコンテキスト確立の可能性を初期化することにより、それから、予測モードと、スライス26a内の第1および第2のタイル22を予測するために、スライス26aの中でシグナリングされる予測パラメータを用いることにより、上記の概説されたコンテキスト適応可能な方法で、エントロピーがスライス26aを符号化することができる。そして、結果として生じる予測信号と、スライス26aのペイロードデータの範囲内に含まれる予測残差とを組み合わせる。
タイル22を復号化することにおいて、デコーダ50は、上で概説される符号化命令に従う。しかしながら、デコーダ50は、タイル22が関する限り、並行して復号化タスクのいくつかを実施することができる。
これは、例えば、タイルの境界線を横断することがないように、予測が構成されるように、予測にとって真実である。そのため、同じ画像14のタイルの復号化間の相互依存性が回避され、エントロピー復号化はタイル22に関する限り、エントロピー復号化は、並行して実行することができる。
スライス部分26bを復号化する際に、デコーダ50は、スライス26aから独立しているこのスライス26bを復号化することが可能である。
特に、画像14の3枚目のタイル22のデータをもたらしている独立したスライス部分28aが単独でスライスヘッダを含み、デコーダ50は、他のいかなるデータも必要とすることがなく、この3枚目のタイルを再建することが可能である。
しかしながら、従属するスライス部分28bが関係している限り、デコーダ50は、直ちに同じこと、すなわち、同じスライス26bの独立スライス部分28aに先行している独立スライス部分に含まれるスライスヘッダ30からスライスヘッダデータを継承し、したがって、4枚目のタイルを復号化することは、スライス部分28bの存在に加えてスライス部分28aのスライスヘッダについての知識を必要とする。
データストリーム20の伝送に関する限り、ネットワーク抽象化層(NAL)ユニットにおいて、スライスのセグメント26a、28aおよび28bの形態をなすか、またはフレーム化される。
以下の説明では、スライス部分およびスライス部分のNALユニットは、特に識別されない。理由は、スライス部分がスライス部分を担持しているNALユニットとほぼ同様であるということである。小さいNALユニットのヘッダは、単に、スライス部分でありながら、NALユニットの内容を示しているNALユニットタイプが具備されている。
しかしながら、更に、伝送の間、スライス部分が変換パケットのペイロード部分に適合するように、更に断片的である場合があってもよい点に、留意する必要がある。好ましくは、特定のスライス26aの中の新規なタイルの開始または始まりが新しいトランスポートパケットに挿入されるように、これは方法でされる。
更に下で述べられるように、スライスヘッダデータが利用できて、たとえば前のパケットが失われる場合であっても、それの始まりが新規なタイルの符号化の始まりを示す従属するスライス部分28bに関して、同じこの手段は復号化可能であることを意味する。
図2は、ペイロード部32に加えて、トランスポートパケットヘッダ36を含むトランスポートパケット34のペイロードデータセクション32の中に、スライス部分26a、28aおよび28bの分裂を例示している。そこにおいて、図2は、スライス部分の端を含んでいるトランスポートパケットのペイロード部分のトレーリング部が、パケット34の範囲内で単にハッチングを掛けられ、そして、陰影線をつけられたヘッディングビット38を示すスライスセグメントデータを示すことによって、サイズ部分データから区別されるパッディングビット38で満たされ得ることもまた示している。
パケットが、伝送の間、失われるときはいつでも課題が発生する。特に、スライス部分28aは、たとえば、スライス部分28aが失われて断片化されている第2および第3番目のパケットに起因して、全くデコーダ50で受信されていないと想像する。しかしながら、第1のトランスポートパケット34は、スライスヘッダ30を運ぶ。
したがって、デコーダは、従属するスライスセグメント28bで画像14を復号化することを再開することができ、そのデコーダ50は確かに提供することができる。それは失われていたパケットの前に受け取られていた、独立したスライスセグメント28aのスライスヘッダー30は、従属するスライス部分28bに属しているスライスヘッダであると確信する。しかしながら、これは、デコーダ50のためにいずれにせよ保証されない。
例えば、今、6枚のタイルに細分化/分割化された典型的な画像14を示す図3に目を向けると、すなわち、2行のタイル22の3つの列は、前記タイル毎に、1つのスライスのセグメントが存在する。特に、図3の場合、第1のタイルは、独立したスライス部分28aに組み込まれる。その一方で、以下の5つのスライス部分は、従属するスライス部分28bである。
図4は、分割している同じタイルを示す。しかし、タイル22の最初の列の最初の3枚のタイルが最初のタイルをカバーしている最初の独立したスライス部分28aから成る1枚のスライス26aを作ることを示す。
図4の第2および第3のタイル22をカバーしている2つの従属するスライス部分28bによって後に続いている。そして、同様に、第2のスライス26bは、画像14の第4のタイルをカバーしている独立したスライス部分28aのシーケンスを含む。そして、画像14の第5および第6のタイルに関する2つの従属するスライス部分28bが後に続く。
画像14に関するすべてのデータを受信することの場合、符号化側で図4のオプションの図3のオプションを選択したことにかかわりなく、画像14を復号化することは、問題ではない。
しかしながら、例えば、第4のスライス部分がなくなるときに、問題が発生する。図3の場合、最初のスライスセグメントからスライスヘッダデータを継承する同じ画像14の第5および第6のタイルに関連する後続のスライスセグメントの問題は、実際にはない。
しかしながら、図4の場合、それらが失われた第4のパケットのスライスヘッダデータを必要とするにつれて、第5および第6のタイルに関するスライス部分は、もう価値がない。そして、図4の場合、それは独立したスライス部分である。
図3の場合には、デコーダ50が、第5および第6のタイル22に関して、画像14の符号化を再開することを可能にするために、以下に概説する概念を示唆する。誤り耐性データを備えたデータストリームは、従属するスライスセグメントのための独立したスライスセグメントのスライスヘッダーを運ぶパケットの識別を可能にすることを提供する。
図2のスライス26aのような一つの部分スライスに含まれるエントロピーを復号化しているスライスにおいて、デフォルト値まで、それぞれのスライス部分の第2のまたは後に続くタイルの最初の構文要素が発生する、復号化しているときはいつでも、連続的なコンテキストの確率、すなわち、コンテキスト確率の可能性をリセットする、エンコーダおよびデコーダ50が形成される点に、留意されたい。
この理由から、図2の26aのように、例えば1つのスライス部分を備えている場合、スライスヘッダ30を運んでいる最初のトランスポートパケット34が正しく受信されたならば、結果として、スライス26aを運んでいる第2番目にもかかわらず、まだ、復号化可能なスライス部分26aの第2番目のタイルを移送する。
デコーダ50は、第2のタイル22に関するスライス26aのデータを復号化する、エントロピーに対するコンテキスト確率のための復号化する初期化の値のデフォルトを用いるエントロピー復号化を実行することができる。そして、その中において、スライス26aがタイル状に断片化されている、6つのパケットの最初のトランスポートパケット34によって構成されるスライスヘッダデータ30を用いる。すなわち、第2のタイルに関して最初の構文要素によって新しいパケット34を開き、パディングデータを備えた最初のタイルに関する26aのスライスのデータの末尾を含む先行するパケットを充填している。
このように、図3において述べられるケースは、単一の独立したスライス部分が全部の画像14をカバーする場合と非常に類似している。
この独立したスライス部分のエントロピーエヌ/復号化において、コンテキスト確率は、タイル順序の連続的なタイル間のタイル境界が発生するたびに、新たに初期化される。 ― そして、それに応じて、デコーダは、例えば、独立したスライス・セグメントの先頭にスライスヘッダーのヘッダが正しく受信されたことを条件とする第4番目のタイルについて、パケットの損失にもかかわらず、第5番目のタイルの復号化を再開することが可能である。
図3および4に関して概説される課題は、換言すれば、再び以下で概説される。ビデオ伝送シナリオにおいて、損失が発生することがしばしば予想される。この種の損失は、正しくは受け取られるにもかかわらず、依存のため失われたデータに復号可能でないデータに終わる場合がある。
例えば、RTPで、そして、図2にて図示されるように、スライス26a,bは、いくつかのRTPパケット34(通常、分割装置と呼ばれる)を通じて移送することができる。
スライスのそれらのパケット34のうちの1つが失われる場合、多くのデコーダ、例えばデコーダ50は、対応するスライスのすべてのデータを放棄する必要があるか、または、失われた一部のデータを復号化して、そのスライスの残りの受信データを放棄する必要がある。しかしながら、スライス26a,bは、それぞれに復号化することができる独立したパーツを含み得る。これは、HEVC[1]のための単一のスライスに含まれる複数のタイルのための場合である。
複数のタイル22が単一のスライス(例えば図3および4にて図示するように、2以上)に含まれるときに、単一の独立したスライスセグメント(図2のcp.26a)またはタイルにつき1つのスライスセグメント(図26bのcp.26b)において、(独立スライス部分に含まれるスライスおよび従属するスライス部分に含まれるスライスの範囲内の残りのタイルの第1のタイルによって)タイル境界を考慮しているデータの輸送は、望ましい場合がある。
すなわち、RTPパケット34は、タイル境界に合わせることができる。または、換言すれば、各RTPパケットは、いくつかのタイルに対してではなく、1つのタイルのデータだけを含み、そして、データのスマートな断片化が行われる場合であってもよく、例えば、例えば、RTPパケットは、いくつかのタイルを運んでいる1つの独立したスライス部分の場合には、タイル境界に合わせられる。
こうすることによって、いくつかのタイルのデータが失われるか、または、部分的なデータの何らかの選択的な復号化が行われるならば、それらが復号化のための非受信のタイルに依存しないので、他のタイルを復号化することはまだ可能である。
記載されている場合において、複数のタイル(cp.26a)のためのスライス部分の両方ともまたはその場合従属するスライスが使われる(cp.図2および図3および図4の26b)ところでは、すべてのタイルのスライス22が、独立したスライス28aのスライスセグメントヘッダ30の正しい受信を必要とする。
しかしながら、すべてのデータが受信されたわけではないシナリオおよびいくつかのパケット34は、欠落している。最後の独立したスライスセグメントのスライスセグメントヘッダは、損失(そして、例えば独立したタイルを含む)の後に、所定のスライスセグメントと一致しているスライスセグメントヘッダであるかどうかについて、さらに下で概説される概念なしで、知ることができない。または、独立したスライスの必須のスライスセグメントヘッダは、喪失により受信されなかった。実施例は、図5に示される。
図5の最上位の実施例において、必要なスライスセグメントヘッダ情報が、それが前述のように(例えばタイル)、受信された時からデータの独立した部分を含む場合、別々のパケットに図3の各々のスライス部分をパッケージングすることに例示的に対応する第5のパケットは、復号化することができる。その一方で、別々のパケットに図4の各スライス部分をパッケージングすることに例示的に対応する図5の最下位の実施例で、以前のパケットに含まれるヘッダ情報が失われた時から、第5のパケットは復号化することができない。
以下に概説する概念は、他から独立しており、損失の多い環境での誤り耐性のいくつかの種類を提供することに使用することができるいくつかのデータが存在するという事実を利用する。独立したスライスの以前のスライスセグメントヘッダに含まれるこの重要な情報が、以下に概説する概念なしに、受信されたかまたは失ったかどうかを検出することができないことが問題である。
したがって、下記に概説概念に従って、独立したスライスセグメントから以前に受信したスライスヘッダデータが現在受信したデータに適用されるか、または必要なデータがいくつか失われたデータに適用されるかどうかをレシーバーが検出することを許容するいくつかのシグナリングが追加される。
この種のシグナリングの例示は、例えば、RTPペイロードに特有のNALユニットにおいて、若干の補助情報でありえた。そして、例えば、そのことをRTPペイロードのPACSIは、SVC(RFC6190)に対してフォーマットするが、HEVCまたはRTPパケットでデータを復号化するための必要なスライスセグメントヘッダに識別子を含むその拡張のために定めました。
このシグナリングは、例えば、識別子の形でこの種の誤り耐性情報の存在/不在を示す フラグ(例えばTフラグ)を伴う可能性がある。補足情報は、この識別子を特定のスライスセグメントヘッダに割り当てるかまたは所定の識別子を有する独立したスライスセグメントのどのスライスセグメントヘッダは、特定のデータが符号化可能であるために必要かについて示すのに用いられる。
すなわち、この情報が、独立スライスセグメントのスライスセグメントヘッダを有するデータに、直接、先行する場合、識別子は、この独立スライスセグメントのスライスセグメントヘッダに割り当てられる。そして、もしそうでなければ、それはどちらが以下のデータを正しく復号化することに必要なスライスセグメントヘッダの識別子であるかについて示す。
実施例において、最初のデータは、すべてのデータのために一度送信されるだけである特定のヘッダ情報を必要とする独立した復号化可能なデータを含む。このヘッダ情報が正しく受信された場合に必要な重要なヘッダ情報を識別でき、追加の補足情報は、以前に受信したヘッダ情報に一致する場合、いくつかのデータが失われる場合であっても、他の受信された独立した復号可能なデータを復号することができる。
ビデオデータストリームが送信されるパケットの誤り耐性データを提供して、分析するだけで、概説された概念は、以下の図面に関連して、以下でより詳細に説明されている。
特に、図6は、デコーダ50の前で配置されることができたか、それの一部を形成することができたネットワーク装置200を表します。ネットワーク装置は、レシーバー202とエラーハンドラー204とを具備している。
レシーバー202が受信するトランスポートストリームは、206で示される。
それには、一連のパケット208、 図1および2の対応する要素34で形成される。そして、それを介して、ビデオデータストリーム210は移送される。上述したように、パケットは、例えば、RTPパケットであってもよいが、代わりの実施態様では、IPパケット等を用いるようにしてもよい。
ビデオデータストリーム210は、図1と2の要素20と対応しているタイル212を備え、図1と2の要素12と対応して、ビデオ216の図1〜4の要素14と対応して、画像214の図1〜4の要素22に対応して、いくつかの符号化順序218に沿って、そこへ符号化され、図1と2の要素24と対応し、それから、例えば、画像のタイルを通してラスタスキャン順序において、しかしながら、画像214の間でプレゼンテーションタイムの順序と必ずしも一致し得るというわけではない画像符号化順序の次の画像214の方へ歩むように、リードする。
特に、タイル212は、エントロピー符号化および空間予測を用いたデータストリーム210に符号化される。この際、タイル212は、エントロピー符号化のコンテキスト誘導によるデータストリーム210と、図において点線を使用して例示されたタイル212の境界を横断しないように制限された空間予測とに、コード化される。
データストリーム210の典型的な画像214のタイル212によってカバーされる連続的な部分の間の関連は、一方では画像212の同じ波線型を使用して図示され、他方ではデータストリーム210を用いて図示されている。
規制を使用して、タイル212は、エントロピー符号化および空間予測に関する限り、符号化可能で、並行して復号可能である。
ビデオデータストリームは、そこへスライス220を単位にする符号化命令218に沿って符号化されるタイル212を有する。符号化順序218に沿って画像3枚の主要なタイルのデータを含む左側のものに関して完全に図6に図示されるように、図6またはより多くのタイルで例示される右側で2枚のスライスのために手本となっている場合にだけ、各々のスライス220も1枚のタイル212のデータを含む。
各スライスは、図1および2の要素30に対応し、スライスヘッダ222で始まる。手本となって上で議論されるように、例えば、量子化ステップサイズ、デフォルト符号化モード、スライスタイプコードまたはその種の他のもの全体のスライスのために、グローバルに有効な特定のより高水準の構文要素を集める。
これは、次に、複数のタイルをカバーしているスライス220の場合には、最初のもの以外に、そのスライスに含まれるすべてのタイルは、しかし、スライスの先頭に配置されるスライスのスライスヘッダのデータが、その復号に成功するために必要であることを意味している。
前に言及されないにもかかわらず、それはスライスがいわゆる独立スライス部分および従属するスライス部分に、符号化命令に沿って、更に再分割されるということでもよい。
明確にスライスヘッダから成る始めの独立したスライス部分は、少なくとも独立したスライス部分の一部のスライスヘッダを継承して、このように、うまく従属するスライス部分を復号化するために利用できるこの部分を必要とする1つ以上の従属するスライス部分によって後に続く。それぞれがタイルの中で、従属するかまたは独立しているいずれかのスライスセグメントの始まり、と一致してもよいタイルを始める。
ビデオデータストリーム210は、各々のパケットが単に1枚のタイルだけのデータをもたらすように、符号化命令218に沿ったパケット208のシーケンスへのパケット化である。これは、再び、典型的な画像の4枚の異なるタイルと関連した4つの異なる破線タイプを使用している図6において例示される。
レシーバー210がトランスポートストリーム206を受信している間に、エラーハンドラー204は、パケット208、すなわち、時間内に受信されないで、受信されもしないものの間で、失われたパケットを識別するように、構成されている。または同じものにはそれにおけるエラーがあるように、ある意味で受信される。または、同じことは、それにおけるエラーを有するように、例えば、伝送の間、発生した多くのビットエラーが高すぎることによるフォワードエラー訂正ではない。
さらに、エラーハンドラー204は、一連のパケットの1つ以上の失われたパケットの実行の各々のために、1つ以上の失われたパケットのそれぞれの実行のパケットのシーケンスで最初のパケットを識別するように、一連のパケットシーケンスのパケット208内の誤り耐性データを分析し、スライスに含まれている一つまたは複数の失われたパケットのそれぞれのランは、タイルのいずれかの開始でもたらされ、スライスヘッダが失われていない一連のパケットのシーケンスパケットのいずれかに含まれている。
例えば、矢印224を用いて識別されるパケット208が、失われたと想像してみて下さい。通常、同じスライス、すなわち、226と228の断片を作っている以下の2つのパケットは、トランスポート層によって捨てられる。
ここで、エラーハンドラー204は、パケット226が、まさに言及された要件の全てを果たすパケットであることを識別する。
(1)それは、一つ以上の失われたパケット、すなわち、パケット224のそれぞれの実行の後である。
(2)パケット226に含まれるデータが帰属するスライス220のスライスヘッダ222は失われない。
(3)パケット226は、タイル212から開始する。
(4)このパケット226は、上記(1)〜(3)を成し遂げるパケットで初めてのものである。
失われたパケット224および正に言及されたパケット226の間にあるパケット228は、上記要件(2)を満たさない。
したがって、エラーハンドラー204は、パケット226を従属させることができる ― パケットにその内容、すなわちタイル212内容を廃棄するよりは、むしろ、それを復号化されるかもしれない。当然、オンのパケットから、エラーハンドラー204は、1つ以上の失われたパケットの次の実行に遭遇することまで連続した順序でパケットを処理し続ける。
ちょうど言及された誤り耐性データは、トランスポートパケット208のパケットヘッダに含まれることができるか、例えば、ペイロードスライス220との間に散在するデータストリーム210の補足的な強化NALニットに含まれ得る。
エラーハンドラー204の作動モードは、図7に関して更に詳細に以下に記載されている。特に、エラーハンドラーは、1つの方法300において、失われたパケットを識別するために、パケットの帰りのシーケンスを連続的に調査する。識別302は、例えば、各パケット208のために、パケットヘッダ36(図1および2を比較する)、例えばラウンドロビンパケット番号またはその種の他のものの点検を必要とする場合がある。
方法300は、図示するように304において、一連のパケットのシーケンスの中で一つ以上の失われたパケットの実行の検出に結果としてなる。そして、それはシーケンスエラー306より上に配置されている失われたパケットとエラー306の下に示されている正しく受信されているパケットによって、それらの経時的な命令でパケット208のシーケンスを示す。見られることができるように、典型的な1つは実行されて308において見える。エラーハンドラー204によって連続的に実行される他のプロセス310は、一連のパケットのシーケンスのパケットで分析の誤り耐性データに関するものである。
このプロセス310以内で、実行308ごとに、エラーハンドラー204は、それぞれの実行308の後、一連のパケットのシーケンスで最初のパケットを識別しようとする。そして、それはタイルのいずれかの始まりをもたらして、スライスをもたらす。そして、それのスライスヘッダは、失われていない一連のパケットのシーケンスのパケットのいずれかに含まれる。方法310は、受信パケットによって、実行308の後に循環する。
実行308の後の第1の受信パケットは、Aを使用している図7において示される。プロセス310内において、エラーハンドラー204は、それぞれのパケットAがタイルのいずれかの始まりをもたらすかどうかチェックする。
このチェック312の範囲内で、エラーハンドラー204が、このペイロード部32が任意のタイルの符号化の始まりから始めるか、またはこの種の符号化の領域まで少なくとも解析可能かどうか識別するために、例えば、パケットAのペイロードデータセクション32を分析プロセスに従属させる。例えば、ペイロードデータセクション32の始まりは、スライスセグメントのNALユニットの始まりと一致し、そして、エラーハンドラー204は、スライスセグメントが新規なタイルの符号化を始めるかどうか判断するために、スライスセグメントからフィールドエッジを読み込む。
あるいは、箱Aが、たとえば、トランスポートパケットヘッダー36の範囲内で断片化パラメータに基づくNALユニットの最初の断片で、これが本当の場合、箱Aがそのペイロードデータ32で新しいタイルの始まりを有しているとそこから推論するかどうか、エラーハンドラー204は確認のために調べる。
パケットは、ここBにおいて.新規なタイルの始まりと一致しないために、次の受信されたパケットにより方法310に進み、ステップ312において決定される。しかしながら、チェック312のチェックの結果が、肯定、すなわち、タイルのスタートが見つけられたならば、方法310は、現在のパケットAが、それ自体スライスヘッダを含むかどうか調べているエラーハンドラー204に関与するものである。
YESの場合は、全てが良く、そして、パケットAから、復号化手順上の失われたパケット308の実行の後で、ステップ316で示されるように、再び始めることができる。
しかしながら、ステップ314における停止が単独でスライスヘッダを含まないことを明らかにする場合、現在のパケットは、それぞれのパケット、すなわち、従属するスライス部分によって新規なタイルに関して継承されるスライスヘッダまたはスライス、すなわち独立したスライス部分のスライスヘッダによってもたらされるスライスのスライスヘッダを確認するために、エラーハンドラー204は現在のパケットAの範囲内で誤り耐性データを検査する。そして、それにとって、ステップ312において識別される新規なタイルは帰属する。
識別318は、以下の通りに働くことができる。例えば、パケットA自体のトランスパケットヘッダ36は、誤り耐性データを含むことができる、そして、この誤り耐性データは、前のパケットのいくつかへのポインタである場合がある。
このパケットが受信パケット208に帰属する場合、チェックは320において実行され、それから、復号化を再開することは316において実行される。
しかしながら、必要なスライスヘッダが失われたパケットに従属しているならば、すなわち、「従属するタイル」が失われた箱のいずれかに属しているスライスヘッダも必要とするので現在の箱が新しいスライスヘッダを含まないならば、容認されているものに従属していなくて、そして新しいスライスヘッダで、箱のためにステップ322でステップ310の検索を処理しません。それのステップは、ステップ312と314の連結に、しかしステップ312に振り返ることで一致する。
代わりに特定のNALユニットが、誤り耐性データをもたらすために、今までに述べられる実際のスライスセグメントのNALユニットのと間に散在することができると、言わなければならない。
ステップ316を復号化することを再開することにおいて、ビデオデータストリームの復号化は、一つ以上の失われたパケットのそれぞれの進行の後で前方へ誤り耐性データによって識別されるにつれて、受信パケットのいずれかに含まれるスライスヘッダを適用することによって識別されたパケットからタイルを復号化することまで再開することができる。そして、それの始まりは、ステップ312において確認された。
従って、上記の説明は、部分スライスの誤り弾力性のトランスポートを明らかにした。
ほんとに概説された誤り耐性データは、たとえば、必要とされたスライスヘッダが配置されるパケットのパケットナンバーを示すことによって、必要とされたスライスヘッダを示すかもしれません。
これは、絶対値によって、または、相対的な方法、すなわち、誤り耐性データを含んでいる現在のパケットから必要とされたスライスヘッダを含んでいるパケットまで示している相殺された価値を用いてされるかもしれません。
あるいは、必要とされたパケットは、必要とされるスライスヘッダを含んでいる独立したスライスセグメントのスライスアドレスを経由してインデックスを付けられる。
上記のように、すべてのスライスセグメントは、このスライス部分に符号化される最初のブロックが画像14の範囲内でどこに画像14の範囲内に配置されるかについて示しているスライスアドレスを含む。
誤り耐性データを分配して/解析することが、可能でない他の装置を有する下位互換性を維持するために、それぞれのフラグを含む拡張メカニズムは、誤り耐性データを無視して/スキップするために旧式なデコーダを使用可能にして、それに応じて、同じものを廃棄するのに用いることができる。
言うまでもなく、誤り耐性データを使用する、上記の概念は、送信側で対応するネットワーク装置に現れる。この種のネットワーク装置は、図1のエンコーダの範囲内で含まれ得るかまたはその出力に接続され得る。この送信ネットワーク装置は、一連のパケットのトランスポートストリームを経て、ビデオデータストリームを送信するように構成される。
ビデオデータは、画像が分割されるビデオの画像のタイルを有し、そして、そこへ符号化順序を用いているエントロピー符号化および空間予測に沿って、符号化される。そして、タイルは、エントロピー符号化のコンテキスト派生を有するビデオデータストリームに符号化され、そして、空間予測がそのようにタイルの境界を横切らないように制限されている。そこにおいて、ビデオデータストリームは、1つのタイルだけのデータを含んでいるか、または完全に2つ以上のタイルを含んでいる、各スライスを有するスライスを単位にする符号化順序に沿ってコード化されるビデオの画像があるタイルを有する。各スライスは、スライスヘッダから始めている。
各々の箱が単に1枚のタイルだけのデータをもたらすような符号化順序に沿って、パケットのシーケンスにビデオデータストリームをパッケージ化して、それぞれのパケットが部分的にもたらすスライスのスライスヘッダを含んでいない一連のパケットごとに、一連のパケットの先行しているそのパケットを識別するように、誤り耐性データを一連のパケットのシーケンスのパケットに挿入するように、ネットワーク装置が構成される。それはそれぞれのパケットのスライスヘッダを含む。
若干の態様が装置のコンテキストに記載されていたにもかかわらず、これらの態様も対応する方法の説明を意味することは、明らかである。そこで、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップのコンテキストにも記載されて、態様は、対応するブロックまたはアイテムの説明または対応する装置の特徴を意味する。
ステップがそうである場合がある方法の一部もしくは全部は、(または使っている)たとえば、マイクロプロセッサーのようなハードウェア装置で、プログラム可能なコンピュータまたは電子回路を実行することができる。
いくつかの実施形態では、最も重要な方法ステップの若干の1つ以上は、この種の装置によって実行することができる。
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施することができる。
実施はデジタル記憶媒体、たとえばフロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはFLASH記憶を用いて実行されることができます。そして、電子的に読み込み可能な制御信号をその上に格納しておきます。
そして、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協力します(または、協力することができます)。したがって、デジタル記憶媒体は、読み込み可能なコンピュータである場合があります。
ここに記述される方法の1つが実行されるように、本発明に従う若干の具体化は電子的に読み込み可能な制御信号)があるデータ記憶媒体を含み、そして、それはプログラム可能なコンピュータシステムと協力することができる。
通常、本発明の実施例はプログラムコード付きのコンピュータープログラム製品として実行されることができます。そして、コンピュータープログラム製品がコンピュータで動くとき、プログラムコードが方法の1つを実行するために実施されている。プログラムコードは、たとえば機械読み取り可読キャリアに格納することができる。
他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納される方法のうちの1つを実行するためのコンピュータプログラムを含む。
換言すれば、本発明の方法の実施例は、したがって、プログラムコードを有するコンピュータープログラムである。本願明細書において記載されている方法のうちの1つを実行するために、そのとき、コンピュータプログラムはコンピュータで動く。
発明の方法の更なる実施例は、したがって、その上に記録されて、ここに記述される方法の1つを実行するためにコンピュータープログラムから成っているデータ記憶媒体(またはデジタル記憶媒体またはコンピュータで読取り可能な媒体)である。データ記憶媒体、デジタル記憶媒体または記録された媒体は、典型的に具体的でおよび/または、非移行に属する。
発明の方法の更なる実施例は、したがって、ここに記述される方法の1つを実行するためにコンピュータープログラムを意味しているデータストリームまたは一連の信号である。たとえばデータストリームまたは信号のシーケンスは、たとえばインターネットによってデータ通信接続を通して移されるように構成され得る。
更なる実施例は、処理手段、たとえばコンピュータまたはプログラム可能な論理デバイスを含む。または、本願明細書において記載されている方法の1つを実行して適するように構成される。
更なる実施例は、本願明細書において記載されている方法の1つを実行するために、その上にコンピュータープログラムをインストールされているコンピュータを含む。
本発明に従う更なる実施例は、レシーバーに、本願明細書において記載されている方法の1つを実行するためにコンピュータープログラムを移す(たとえば、電子的に、または、光学的に)ように構成される装置またはシステムを含む。
レシーバーは、たとえば、コンピュータ、モバイル機器、メモリデバイスまたはその種の他のものである場合がある。装置またはシステムは、たとえば、コンピュータープログラムをレシーバーに移すために、ファイルサーバを含み得る。
いくつかの実施形態では、プログラム可能な論理デバイス(たとえばフィールド・プログラム可能なゲートアレイ)は、ここに記述されている方法の機能の一部もしくは全部を実行するのに用いられるかもしれません。
いくつかの実施形態では、フフィールドプログラム可能なゲートアレイは、ここに記述される方法の1つを実行するために、マイクロプロセッサーと協力するかもしれません。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。
上記した実施例は、単に本発明の原則のために、単に、実例となるだけである。
準備の修正変更および本願明細書において記載されている詳細が他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許クレームの範囲だけによって、そして、本願明細書において実施例の説明および説明として示される特定の詳細だけでないことによって制限されることは、意図している。
参照
[1]B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, T. Wiegand (Eds.), “Hi gh Efficiency Video Coding (HEVC) text specification draft 10“, JCTVC- L1003, Geneva, CH, Jan. 2013
[2]G. Tech, K. Wegner, Y. Chen, M. Hannuksela, J.Boyce (Eds.), “MV-HEVC Dr aft Text 3 (ISO/IEC 23008-2 PDAM2)“, JCT3V-C1004, Geneva, CH, Jan. 2013
[3]G. Tech, K. Wegner, Y. Chen, S. Yea (Eds.), “3D-HEVC Test Model Descrip tion, draft specification“, JCT3V-C1005, Geneva, CH, Jan. 2013
[4]WILBURN, Bennett, et al. High performance imaging using large camera arr ays. ACM Transactions on Graphics, 2005, 24. Jg., Nr. 3, S. 765-776.
[5]WILBURN, Bennett S., et al. Light field video camera. In: Electronic Ima ging 2002. International Society for Optics and Photonics, 2001. S. 29-3 6.
[6]HORIMAI, Hideyoshi, et al. Full-color 3D display system with 360 degree horizontal viewing angle. In: Proc. Int. Symposium of 3D and Contents. 2 010. S. 7-10.

Claims (14)

  1. ビデオデータストリームが移送されるパケットのシーケンスを受信するように構成されるレシーバーであって、前記ビデオデータストリームビデオの画像のタイルを含み、
    (a)前記画像は前記タイルに分割され、前記タイルはエントロピー符号化および空間予測を用いて、符号化順序に従って前記ビデオデータストリームに符号化され、
    (b)前記エントロピー符号化および前記空間予測のコンテキスト誘導は、前記タイルのタイル境界を横断しないように制限され、
    (c)前記タイルは前記符号化順序に従って前記ビデオデータストリームにスライス単位で符号化され、各スライスは、タイル1つだけのデータ、または2つ以上のタイルを完全に含み、各スライスはスライスヘッダから始まり、
    (d)前記パケットのシーケンスの各パケットは、タイル1つだけのデータを搬送するレシーバーと、
    (i)前記パケットのシーケンス内で失われたパケットを識別し、
    (ii)前記パケットのシーケンスの1つ以上の失われたパケットの各ランについて、前記タイルのうちの1つの開始を搬送し且つスライスの搬送に携わる、前記1つ以上の失われたパケットの各ランの後の前記パケットのシーケンスの最初のパケットを前記パケットのシーケンス内の誤り耐性データに基づいて識別し、
    (iii)前記誤り耐性データに基づいて、前記最初のパケットが搬送する前記スライスの前記スライスヘッダを含む、失われていない前記パケットのシーケンスのパケットを識別するように構成されるエラーハンドラーを含む、ネットワーク装置。
  2. 前記エラーハンドラーは、前記最初のパケットが搬送する前記スライスの前記スライスヘッダを含む前記パケットが、1つ以上の失われたパケットの前記各ランに先行しているかどうかをチェックすることを特徴とする、請求項1に記載のネットワーク装置。
  3. 前記各スライスは、前記スライスの前記スライスヘッダを含んでいる1つの独立したスライスセグメントであるか、または前記スライスの前記スライスヘッダを含んでいる1つの独立したスライスセグメントのシーケンスに再分割されるかであり、前記スライスヘッダが存在しない1つ以上の従属するスライスセグメントが後続し、且つ、タイル境界が、連続する前記1つの独立スライスセグメントと前記1つ以上の従属スライスセグメントのシーケンスの間の境界と一致し、すべての独立および従属スライスセグメントは、前記画像内でその開始を示すアドレスフィールドを含み、
    前記最初のパケットによって搬送される前記スライスの前記スライスヘッダを含む前記パケットは、さらに前記アドレスフィールドに基づいて識別されるように構成されていることを特徴とする、請求項1に記載のネットワーク装置。
  4. 前記誤り耐性データは、前記最初のパケットのトランスポートパケットヘッダの中に存在することを特徴とする、請求項1に記載のネットワーク装置。
  5. 前記ネットワーク装置は、前記パケットのシーケンス内に散在する予め定められたNALユニットから前記誤り耐性データを読み込むように構成されていることを特徴とする、請求項1に記載のネットワーク装置。
  6. 前記ネットワーク装置は、前記パケットのトランスポートパケットヘッダから前記誤り耐性データを読み込むように構成されていることを特徴とする、請求項1に記載のネットワーク装置。
  7. 前記ネットワーク装置は、それぞれのパケットの前記誤り耐性データから、前記各パケットが搬送する前記スライスの前記スライスヘッダを含む前記パケットへのポインタまたはその識別子を取得するように構成されていることを特徴とする、請求項1に記載のネットワーク装置。
  8. 前記ネットワーク装置は、前記誤り耐性データから、前記各パケットが部分的に搬送する前記スライスの前記スライスヘッダを含む前記パケットへのポインタまたはその識別子を取得するように構成されていることを特徴とする、請求項1に記載のネットワーク装置。
  9. 前記ネットワーク装置は、前記スライスヘッダを適用し前記開始が前記最初のパケットに含まれる前記タイルを復号することによって、1つ以上の失われたパケットの前記各ランの後に、前記識別された最初のパケット以降からの前記ビデオデータストリームの復号化を再開するように構成されるデコーダであることを特徴とする、請求項1に記載のネットワーク装置。
  10. パケットのシーケンスを受信するステップであって、ビデオの画像のタイルを含むビデオデータストリームは前記パケットのシーケンスを介して移送され、
    (a)前記画像はタイルに分割され、前記タイルはエントロピー符号化および空間予測を用いて符号化順序に従って前記ビデオデータストリームに符号化され、
    (b)前記エントロピー符号化および前記空間予測のコンテキスト誘導は、前記タイルのタイル境界を横断しないように制限され、
    (c)前記タイルは前記符号化順序に従って前記ビデオデータストリームにスライス単位で符号化され、各スライスはタイル1つだけのデータまたは2つ以上のタイルを完全に含み、各スライスはスライスヘッダから開始し、
    (d)前記パケットのシーケンスの各パケットは、タイル1つだけのデータを搬送する、受信するステップと、
    パケットのシーケンス内で失われたパケットを識別するステップと、
    前記パケットのシーケンスの1つ以上の失われたパケットの各ランについて、前記タイルのうちの1つの開始を搬送し且つスライスの搬送に携わる、前記1つ以上の失われたパケットの各ランの後の前記パケットのシーケンスの最初のパケットを前記パケットのシーケンス内の誤り耐性データに基づいて識別するステップと、
    前記誤り耐性データに基づいて、前記最初のパケットが搬送する前記スライスの前記スライスヘッダを含む、失われていない前記パケットのシーケンスのパケットを識別するステップを含むことを特徴とする、方法。
  11. パケットのシーケンスのトランスポートストリームを介してビデオデータストリームを送信するように構成されているネットワーク装置であって、前記ビデオデータストリームは、ビデオの画像のタイルを含み、
    (a)前記画像はタイルに分割され、前記タイルはエントロピー符号化および空間予測を用いて、符号化順序に従って前記ビデオデータストリームに符号化され、
    (b)前記エントロピー符号化および前記空間予測のコンテキスト誘導は、前記タイルのタイル境界を横断しないように制限され、
    (c)前記タイルは符号化順序に従って、スライス単位で前記ビデオデータストリームに符号化され、各スライスは、タイル1つだけのデータ、または2つ以上のタイルを完全に含み、各スライスはスライスヘッダから開始し、
    前記ネットワーク装置は、前記符号化順序に従って前記ビデオデータストリームを前記パケットのシーケンスにパケット化して各パケットがタイル1つだけのデータを搬送するようにし、且つ誤り耐性データを前記パケットのシーケンスに挿入するように構成され、前記誤り耐性データは、前記各パケットが少なくとも部分的に搬送する前記スライスのスライスヘッダを含んでいない前記パケットのシーケンスのパケットごとに、前記パケットのシーケンス内の各パケットに先行する特別なパケットを識別するために使用され、前記特別なパケットは前各パケットが搬送する前記スライスの前記スライスヘッダを含むことを特徴とする、ネットワーク装置。
  12. パケットのシーケンスのトランスポートストリームを介して、ビデオデータストリームを符号化および送信する方法であって、
    ビデオの画像をタイルに分割するステップと、
    エントロピー符号化および空間予測を用いて、符号化順序に従って前記タイルをビデオデータに符号化するステップであって、前記エントロピー符号化および前記空間予測のコンテキスト誘導は前記タイルのタイル境界を横断しないように制限され、前記タイルは前記符号化順序に従ってスライス単位で符号化され、各スライスは、タイル1つだけのデータまたは2つ以上のタイルを完全に含み、各スライスはスライスヘッダから開始する、符号化するステップと、
    各パケットがタイル1つだけのデータを搬送するように、前記ビデオデータストリームを前記パケットのシーケンスに前記符号化順序に従ってパケット化するステップと、
    誤り耐性データを挿入するステップであって、前記誤り耐性データは、前記各パケットが少なくとも部分的に搬送する前記スライスのスライスヘッダを含んでいない前記パケットシーケンスのパケットごとに、前記パケットのシーケンス内の各パケットに先行する特別なパケットを識別するために使用され、前記特別なパケットは前記各パケットが搬送する前記スライスの前記スライスヘッダを含む、誤り耐性データを挿入するステップを含むことを特徴とする、方法。
  13. コンピュータ上で動作するときに、請求項10に記載の方法を実行するためのプログラムコードを含むことを特徴とする、非一次的デジタル記憶媒体。
  14. コンピュータ上で動作するときに、請求項12に記載の方法を実行するためのプログラムコードを含むことを特徴とする、非一次的デジタル記憶媒体。
JP2019075436A 2013-07-15 2019-04-11 ネッワーク装置およびエラー処理の方法 Active JP6792020B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361846479P 2013-07-15 2013-07-15
US61/846,479 2013-07-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016526591A Division JP6514197B2 (ja) 2013-07-15 2014-07-15 ネットワーク装置およびエラー処理の方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020185152A Division JP2021048591A (ja) 2013-07-15 2020-11-05 ネッワーク装置およびエラー処理の方法

Publications (2)

Publication Number Publication Date
JP2019165455A JP2019165455A (ja) 2019-09-26
JP6792020B2 true JP6792020B2 (ja) 2020-11-25

Family

ID=51177089

Family Applications (23)

Application Number Title Priority Date Filing Date
JP2016526589A Active JP6675979B2 (ja) 2013-07-15 2014-07-15 多層符号化における層特徴の信号
JP2016526591A Active JP6514197B2 (ja) 2013-07-15 2014-07-15 ネットワーク装置およびエラー処理の方法
JP2016526590A Active JP6445552B2 (ja) 2013-07-15 2014-07-15 拡張機構を使用している層idの信号
JP2016526592A Active JP6453874B2 (ja) 2013-07-15 2014-07-15 多層化されたビデオ符号化における低遅延コンセプト
JP2016526588A Pending JP2016527794A (ja) 2013-07-15 2014-07-15 クラスタに基づいた依存信号
JP2018121768A Active JP6749365B2 (ja) 2013-07-15 2018-06-27 多層符号化における層特徴の信号
JP2018121752A Pending JP2018186529A (ja) 2013-07-15 2018-06-27 クラスタに基づいた依存信号
JP2018224107A Active JP6637149B2 (ja) 2013-07-15 2018-11-29 拡張機構を使用している層idの信号
JP2018233051A Active JP6966414B2 (ja) 2013-07-15 2018-12-13 マルチレイヤ・ビデオ符号化における低遅延コンセプト
JP2019075436A Active JP6792020B2 (ja) 2013-07-15 2019-04-11 ネッワーク装置およびエラー処理の方法
JP2019228823A Active JP6951405B2 (ja) 2013-07-15 2019-12-19 拡張機構を使用している層idの信号
JP2020104959A Active JP7229969B2 (ja) 2013-07-15 2020-06-18 マルチレイヤ符号化におけるレイヤ特性の信号
JP2020104939A Active JP7060650B2 (ja) 2013-07-15 2020-06-18 クラスタに基づいた依存信号
JP2020185152A Pending JP2021048591A (ja) 2013-07-15 2020-11-05 ネッワーク装置およびエラー処理の方法
JP2021155011A Active JP7405808B2 (ja) 2013-07-15 2021-09-24 拡張機構を使用している層idの信号
JP2021172080A Pending JP2022023888A (ja) 2013-07-15 2021-10-21 マルチレイヤ・ビデオ符号化における低遅延コンセプト
JP2022067071A Active JP7389168B2 (ja) 2013-07-15 2022-04-14 クラスタに基づいた依存信号
JP2022149313A Active JP7509839B2 (ja) 2013-07-15 2022-09-20 マルチレイヤ符号化におけるレイヤ特性の信号
JP2023053923A Pending JP2023089026A (ja) 2013-07-15 2023-03-29 ネットワーク装置およびエラー処理の方法
JP2023184748A Pending JP2024012407A (ja) 2013-07-15 2023-10-27 マルチレイヤ・ビデオ符号化における低遅延コンセプト
JP2023194808A Active JP7553685B2 (ja) 2013-07-15 2023-11-16 クラスタに基づいた依存信号
JP2023210738A Pending JP2024028978A (ja) 2013-07-15 2023-12-14 拡張機構を使用している層idの信号
JP2024099284A Pending JP2024138290A (ja) 2013-07-15 2024-06-20 マルチレイヤ符号化におけるレイヤ特性の信号

Family Applications Before (9)

Application Number Title Priority Date Filing Date
JP2016526589A Active JP6675979B2 (ja) 2013-07-15 2014-07-15 多層符号化における層特徴の信号
JP2016526591A Active JP6514197B2 (ja) 2013-07-15 2014-07-15 ネットワーク装置およびエラー処理の方法
JP2016526590A Active JP6445552B2 (ja) 2013-07-15 2014-07-15 拡張機構を使用している層idの信号
JP2016526592A Active JP6453874B2 (ja) 2013-07-15 2014-07-15 多層化されたビデオ符号化における低遅延コンセプト
JP2016526588A Pending JP2016527794A (ja) 2013-07-15 2014-07-15 クラスタに基づいた依存信号
JP2018121768A Active JP6749365B2 (ja) 2013-07-15 2018-06-27 多層符号化における層特徴の信号
JP2018121752A Pending JP2018186529A (ja) 2013-07-15 2018-06-27 クラスタに基づいた依存信号
JP2018224107A Active JP6637149B2 (ja) 2013-07-15 2018-11-29 拡張機構を使用している層idの信号
JP2018233051A Active JP6966414B2 (ja) 2013-07-15 2018-12-13 マルチレイヤ・ビデオ符号化における低遅延コンセプト

Family Applications After (13)

Application Number Title Priority Date Filing Date
JP2019228823A Active JP6951405B2 (ja) 2013-07-15 2019-12-19 拡張機構を使用している層idの信号
JP2020104959A Active JP7229969B2 (ja) 2013-07-15 2020-06-18 マルチレイヤ符号化におけるレイヤ特性の信号
JP2020104939A Active JP7060650B2 (ja) 2013-07-15 2020-06-18 クラスタに基づいた依存信号
JP2020185152A Pending JP2021048591A (ja) 2013-07-15 2020-11-05 ネッワーク装置およびエラー処理の方法
JP2021155011A Active JP7405808B2 (ja) 2013-07-15 2021-09-24 拡張機構を使用している層idの信号
JP2021172080A Pending JP2022023888A (ja) 2013-07-15 2021-10-21 マルチレイヤ・ビデオ符号化における低遅延コンセプト
JP2022067071A Active JP7389168B2 (ja) 2013-07-15 2022-04-14 クラスタに基づいた依存信号
JP2022149313A Active JP7509839B2 (ja) 2013-07-15 2022-09-20 マルチレイヤ符号化におけるレイヤ特性の信号
JP2023053923A Pending JP2023089026A (ja) 2013-07-15 2023-03-29 ネットワーク装置およびエラー処理の方法
JP2023184748A Pending JP2024012407A (ja) 2013-07-15 2023-10-27 マルチレイヤ・ビデオ符号化における低遅延コンセプト
JP2023194808A Active JP7553685B2 (ja) 2013-07-15 2023-11-16 クラスタに基づいた依存信号
JP2023210738A Pending JP2024028978A (ja) 2013-07-15 2023-12-14 拡張機構を使用している層idの信号
JP2024099284A Pending JP2024138290A (ja) 2013-07-15 2024-06-20 マルチレイヤ符号化におけるレイヤ特性の信号

Country Status (6)

Country Link
US (23) US10595027B2 (ja)
EP (13) EP3022931B1 (ja)
JP (23) JP6675979B2 (ja)
KR (26) KR102249228B1 (ja)
CN (9) CN110139110B (ja)
WO (5) WO2015007754A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
US20160065980A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof
MX352631B (es) 2013-04-08 2017-12-01 Arris Entpr Llc Señalización para adición o remoción de capas en codificación de video.
WO2015007754A1 (en) 2013-07-15 2015-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low delay concept in multi-layered video coding
US10212437B2 (en) * 2013-07-18 2019-02-19 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015047162A1 (en) * 2013-09-26 2015-04-02 Telefonaktiebolaget L M Ericsson (Publ) Hybrid codec scalable video
US10270590B2 (en) * 2013-12-16 2019-04-23 Mcafee, Llc Process efficient preprocessing for any encryption standard
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
MX364550B (es) 2014-05-21 2019-04-30 Arris Entpr Llc Señalización y selección para la mejora de capas en vídeo escalable.
US10057582B2 (en) * 2014-05-21 2018-08-21 Arris Enterprises Llc Individual buffer management in transport of scalable video
JP6388531B2 (ja) * 2014-06-17 2018-09-12 株式会社ダイセル 油性化粧料
US9930342B2 (en) 2014-06-20 2018-03-27 Qualcomm Incorporated Systems and methods for signaling hypothetical reference decoder parameters in a parameter set
US9807419B2 (en) * 2014-06-25 2017-10-31 Qualcomm Incorporated Recovery point SEI message in multi-layer video codecs
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
JP6555263B2 (ja) * 2014-06-30 2019-08-07 ソニー株式会社 情報処理装置および方法
EP3165544B1 (en) * 2014-07-04 2020-03-18 Zeon Corporation Acrylic rubber, acrylic rubber composition, cross-linked acrylic rubber product, and use of cross-linked acrylic rubber product for seal member
KR20180043786A (ko) * 2015-08-25 2018-04-30 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CA3013111C (en) * 2016-02-02 2022-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scene section and region of interest handling in video streaming
US10230948B2 (en) * 2016-02-03 2019-03-12 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
CN109565611B (zh) 2016-05-26 2021-12-21 弗劳恩霍夫应用研究促进协会 针对交互式客户端的全景视频的广播流
JP6812149B2 (ja) * 2016-06-30 2021-01-13 オリンパス株式会社 走査型顕微鏡、及び、走査型顕微鏡の制御方法
CA3059870A1 (en) * 2017-04-11 2018-10-18 Vid Scale, Inc. 360-degree video coding using face continuities
EP3692722A1 (en) * 2017-10-02 2020-08-12 Fraunhofer Gesellschaft zur Förderung der Angewand Efficient immersive streaming
US10810077B1 (en) * 2018-06-11 2020-10-20 Ambarella International Lp Rapid soft-error detection
JP2020022087A (ja) * 2018-08-01 2020-02-06 日本放送協会 映像/パケット変換装置、パケット/映像変換装置、及びプログラム
JP7346585B2 (ja) * 2019-03-01 2023-09-19 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想参照デコーダ
EP4129183A4 (en) 2020-03-31 2023-09-27 FUJIFILM Corporation INFORMATION PROCESSING APPARATUS, X-RAY IMAGING APPARATUS, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
GB202007000D0 (en) * 2020-05-12 2020-06-24 V Nova Int Ltd Low latency communication system and method of operation
CN111338744B (zh) * 2020-05-22 2020-08-14 北京小米移动软件有限公司 图像显示方法及装置、电子设备、存储介质
CN113158623A (zh) * 2020-12-27 2021-07-23 中国电建集团华东勘测设计研究院有限公司 一种编码管理的方法及系统
GB2613015B (en) * 2021-11-22 2024-10-23 V Nova Int Ltd Decoding a multi-layer video stream using a joint packet stream
GB2628070A (en) * 2021-11-22 2024-09-11 V Nova Int Ltd Processing a multi-layer video stream

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078197A (ja) * 1998-09-03 2000-03-14 Toshiba Corp 通信ノード及びパケット転送方法
US6498865B1 (en) * 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
JP2001203749A (ja) * 2000-01-20 2001-07-27 Mitsubishi Electric Corp 高効率データ送信装置及び高効率データ伝送システム
US7095729B2 (en) 2000-12-22 2006-08-22 Intel Corporation Method for multimedia communication over packet channels
JP4317403B2 (ja) * 2002-08-09 2009-08-19 パナソニック株式会社 ヘッダ圧縮装置及びヘッダ圧縮方法
EP1443774A1 (en) * 2003-01-24 2004-08-04 Alcatel A method of encoding and decoding of data packets
JP4308555B2 (ja) 2003-03-10 2009-08-05 パナソニック株式会社 受信装置および情報閲覧方法
CN101317214A (zh) * 2005-10-05 2008-12-03 Lg电子株式会社 信号处理方法和装置
US9635396B2 (en) * 2005-10-11 2017-04-25 Nokia Technologies Oy System and method for efficient scalable stream adaptation
BRPI0706378A2 (pt) * 2006-01-09 2011-03-22 Lg Eletronics Inc método de predição intercamadas para sinal de vìdeo
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20080036854A1 (en) * 2006-08-08 2008-02-14 Texas Instruments Incorporated Method and system of communicating and rendering stereoscopic and dual-view images
MY162367A (en) * 2007-01-05 2017-06-15 Thomson Licensing Hypothetical reference decoder for scalable video coding
RU2426267C2 (ru) 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
CN101543018B (zh) * 2007-01-12 2012-12-26 庆熙大学校产学协力团 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置
WO2008156548A1 (en) 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
US20090125636A1 (en) * 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
CN101431675B (zh) * 2008-12-09 2010-12-08 青岛海信电子产业控股股份有限公司 一种像素运动估计方法和装置
GB0905184D0 (en) * 2009-03-26 2009-05-06 Univ Bristol Encryption scheme
CN102714725B (zh) * 2010-01-06 2015-04-29 杜比实验室特许公司 用于多层视频编码应用的高性能码率控制
JP5768332B2 (ja) 2010-06-24 2015-08-26 ソニー株式会社 送信機、受信機及び通信システム
CN103168473B (zh) * 2010-10-16 2016-09-28 Lg电子株式会社 数字接收机以及用于处理数字接收机中的3d 内容的方法
US9497458B2 (en) 2010-11-26 2016-11-15 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, program, and integrated ciruit
US9113172B2 (en) 2011-01-14 2015-08-18 Vidyo, Inc. Techniques for describing temporal coding structure
JP5738434B2 (ja) 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたnalユニットヘッダ
KR101912485B1 (ko) * 2011-08-25 2018-10-26 선 페이턴트 트러스트 타일 부호화 스킴을 이용한 영상 부호화, 추출 및 복호화 방법 및 장치
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
SG10201606621XA (en) 2012-01-20 2016-09-29 Ge Video Compression Llc Coding Concept Allowing Parallel Processing, Transport Demultiplexer and Video Bitstream
DK3481068T3 (da) 2012-04-13 2020-11-16 Ge Video Compression Llc Billedkodning med lav forsinkelse
KR102162119B1 (ko) * 2012-06-29 2020-10-06 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
RU2612577C2 (ru) 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
US9479782B2 (en) 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
JP6763664B2 (ja) * 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9621906B2 (en) 2012-12-10 2017-04-11 Lg Electronics Inc. Method for decoding image and apparatus using same
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9807421B2 (en) 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
CN117956141A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
EP3697100A1 (en) * 2013-06-05 2020-08-19 Sun Patent Trust Data decoding method, data decoding apparatus, and data transmitting method
US9578142B2 (en) 2013-07-01 2017-02-21 Cisco Technology, Inc. System and method for improving resilience in transmission of data fragments
WO2015007754A1 (en) 2013-07-15 2015-01-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low delay concept in multi-layered video coding
CN106664424A (zh) 2014-01-03 2017-05-10 诺基亚技术有限公司 参数集编码

Also Published As

Publication number Publication date
JP2020167717A (ja) 2020-10-08
KR20180121677A (ko) 2018-11-07
EP3905683C0 (en) 2023-12-13
KR20160032176A (ko) 2016-03-23
WO2015007751A1 (en) 2015-01-22
CN105637877A (zh) 2016-06-01
WO2015007753A1 (en) 2015-01-22
JP6445552B2 (ja) 2018-12-26
KR20200007088A (ko) 2020-01-21
EP4294018A1 (en) 2023-12-20
JP2022008511A (ja) 2022-01-13
US11006136B2 (en) 2021-05-11
JP2016531475A (ja) 2016-10-06
US20230254495A1 (en) 2023-08-10
CN112104877A (zh) 2020-12-18
KR102067231B1 (ko) 2020-01-17
JP6453874B2 (ja) 2019-01-16
JP7553685B2 (ja) 2024-09-18
CN110225358B (zh) 2021-10-12
US11252422B2 (en) 2022-02-15
JP6951405B2 (ja) 2021-10-20
US11792415B2 (en) 2023-10-17
KR20200116539A (ko) 2020-10-12
EP3022919B1 (en) 2021-05-05
KR20220053045A (ko) 2022-04-28
KR102435018B1 (ko) 2022-08-22
KR20200007086A (ko) 2020-01-21
EP3022920A1 (en) 2016-05-25
US10595027B2 (en) 2020-03-17
CN105532002B (zh) 2020-03-24
JP2021048591A (ja) 2021-03-25
EP3022918A1 (en) 2016-05-25
CN105637876B (zh) 2019-04-02
KR20160032191A (ko) 2016-03-23
KR20240052886A (ko) 2024-04-23
US10523954B2 (en) 2019-12-31
KR101930817B1 (ko) 2018-12-19
US10349066B2 (en) 2019-07-09
CN105637876A (zh) 2016-06-01
JP2018186530A (ja) 2018-11-22
EP3926957C0 (en) 2023-10-18
EP3022918B1 (en) 2019-07-10
EP3022931A1 (en) 2016-05-25
EP4325858A2 (en) 2024-02-21
CN105637867B (zh) 2019-08-30
EP3614671C0 (en) 2023-06-07
KR102223536B1 (ko) 2021-03-08
JP2016528799A (ja) 2016-09-15
JP7389168B2 (ja) 2023-11-29
US20190253725A1 (en) 2019-08-15
US20160156935A1 (en) 2016-06-02
WO2015007750A1 (en) 2015-01-22
KR102657916B1 (ko) 2024-04-15
JP2016527795A (ja) 2016-09-08
US20200145678A1 (en) 2020-05-07
KR102482747B1 (ko) 2022-12-30
US11025929B2 (en) 2021-06-01
US11616964B2 (en) 2023-03-28
JP7060650B2 (ja) 2022-04-26
JP2024028978A (ja) 2024-03-05
KR102388631B1 (ko) 2022-04-20
KR20220098279A (ko) 2022-07-11
KR20180121675A (ko) 2018-11-07
KR102162121B1 (ko) 2020-10-06
EP3614671A1 (en) 2020-02-26
JP7229969B2 (ja) 2023-02-28
KR20210027512A (ko) 2021-03-10
KR20230003460A (ko) 2023-01-05
CN105637877B (zh) 2019-04-05
JP2024012407A (ja) 2024-01-30
KR102416235B1 (ko) 2022-07-05
CN105637867A (zh) 2016-06-01
JP2022106784A (ja) 2022-07-20
US20190238871A1 (en) 2019-08-01
US10616591B2 (en) 2020-04-07
JP2022023888A (ja) 2022-02-08
EP4373092A1 (en) 2024-05-22
KR20180127524A (ko) 2018-11-28
KR102344387B1 (ko) 2021-12-28
EP3614676B1 (en) 2023-11-08
JP2016525312A (ja) 2016-08-22
EP3926957A1 (en) 2021-12-22
JP6966414B2 (ja) 2021-11-17
KR20240046281A (ko) 2024-04-08
KR102652871B1 (ko) 2024-04-01
JP2019075792A (ja) 2019-05-16
CN105532003B (zh) 2020-10-02
US20160156914A1 (en) 2016-06-02
JP2016527794A (ja) 2016-09-08
EP3905683A1 (en) 2021-11-03
JP6514197B2 (ja) 2019-05-15
CN105532003A (zh) 2016-04-27
US20210250593A1 (en) 2021-08-12
KR102656946B1 (ko) 2024-04-16
KR20160032168A (ko) 2016-03-23
US20240129499A1 (en) 2024-04-18
EP3614676A1 (en) 2020-02-26
CN111510725A (zh) 2020-08-07
EP3926957B1 (en) 2023-10-18
EP3022930A1 (en) 2016-05-25
EP4362466A2 (en) 2024-05-01
EP3614676C0 (en) 2023-11-08
KR102495846B1 (ko) 2023-02-06
CN110139110A (zh) 2019-08-16
EP3022930B1 (en) 2021-03-24
KR20160027978A (ko) 2016-03-10
KR20230022261A (ko) 2023-02-14
KR101914659B1 (ko) 2018-11-05
EP4362466A3 (en) 2024-06-26
US20200195941A1 (en) 2020-06-18
WO2015007754A1 (en) 2015-01-22
JP2023089026A (ja) 2023-06-27
US20190082187A1 (en) 2019-03-14
KR20200116541A (ko) 2020-10-12
KR20210054027A (ko) 2021-05-12
EP3022919A1 (en) 2016-05-25
KR102249228B1 (ko) 2021-05-10
US10349065B2 (en) 2019-07-09
JP7509839B2 (ja) 2024-07-02
JP2022184978A (ja) 2022-12-13
KR20180137592A (ko) 2018-12-27
US20190327478A1 (en) 2019-10-24
US10142639B2 (en) 2018-11-27
CN110139110B (zh) 2021-11-05
US20210211687A1 (en) 2021-07-08
JP7405808B2 (ja) 2023-12-26
US20160134896A1 (en) 2016-05-12
US20240114157A1 (en) 2024-04-04
US20230156203A1 (en) 2023-05-18
US10609399B2 (en) 2020-03-31
EP3022931B1 (en) 2019-07-10
KR20240055089A (ko) 2024-04-26
JP6675979B2 (ja) 2020-04-08
EP3905683B1 (en) 2023-12-13
US20220141474A1 (en) 2022-05-05
KR102162124B1 (ko) 2020-10-06
KR101921646B1 (ko) 2018-11-23
KR102067048B1 (ko) 2020-01-17
KR20220119766A (ko) 2022-08-30
US20240007657A1 (en) 2024-01-04
KR102162120B1 (ko) 2020-10-06
JP2018186529A (ja) 2018-11-22
JP2020167718A (ja) 2020-10-08
US20160156936A1 (en) 2016-06-02
JP2019165455A (ja) 2019-09-26
US11647209B2 (en) 2023-05-09
KR20160034336A (ko) 2016-03-29
US10869047B2 (en) 2020-12-15
CN112104877B (zh) 2022-12-20
EP3614671B1 (en) 2023-06-07
JP2020065268A (ja) 2020-04-23
US20200195942A1 (en) 2020-06-18
KR20200116540A (ko) 2020-10-12
KR20180136572A (ko) 2018-12-24
US20210243460A1 (en) 2021-08-05
KR102310866B1 (ko) 2021-10-07
US10425651B2 (en) 2019-09-24
EP4325858A3 (en) 2024-05-15
US11546618B2 (en) 2023-01-03
US20160134895A1 (en) 2016-05-12
JP2019071633A (ja) 2019-05-09
JP2024138290A (ja) 2024-10-08
US20210044814A1 (en) 2021-02-11
CN111510725B (zh) 2022-12-16
WO2015007752A1 (en) 2015-01-22
JP6637149B2 (ja) 2020-01-29
KR20210121317A (ko) 2021-10-07
JP6749365B2 (ja) 2020-09-02
JP2024020424A (ja) 2024-02-14
US11012700B2 (en) 2021-05-18
CN105532002A (zh) 2016-04-27
US20190387236A1 (en) 2019-12-19
CN110225358A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
JP6792020B2 (ja) ネッワーク装置およびエラー処理の方法
JP2021048591A5 (ja)
KR101806216B1 (ko) 효율적인 확장가능한 코딩 개념
KR102655630B1 (ko) 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
KR102562028B1 (ko) 프레임 부분들을 갖는 비디오 데이터를 인코딩 또는 디코딩하기 위한 방법 및 장치
US10666964B2 (en) Video predictive encoding device and system, video predictive decoding device and system
US20240236328A1 (en) Video coding in relation to subpictures
EP3611923B1 (en) Method for processing video with temporal layers

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201105

R150 Certificate of patent or registration of utility model

Ref document number: 6792020

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250