JP6573673B2 - 高フレームレート−低フレームレート伝送技術 - Google Patents
高フレームレート−低フレームレート伝送技術 Download PDFInfo
- Publication number
- JP6573673B2 JP6573673B2 JP2017533410A JP2017533410A JP6573673B2 JP 6573673 B2 JP6573673 B2 JP 6573673B2 JP 2017533410 A JP2017533410 A JP 2017533410A JP 2017533410 A JP2017533410 A JP 2017533410A JP 6573673 B2 JP6573673 B2 JP 6573673B2
- Authority
- JP
- Japan
- Prior art keywords
- hfr
- video content
- lfr
- content segment
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005540 biological transmission Effects 0.000 title description 3
- 238000000034 method Methods 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 4
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、画像詳細を保ちながら高解像コンテンツを送信する技術に関係がある。
これまで、テレビ放送局は、標準画質コンテンツを高精細（ＨＤ；high definition）へ変換していたが、今や、多くは、ＨＤコンテンツを、４Ｋに達する解像度及び２１６０本もの画線を有している超高精細（ＵＨＤ；Ultra High Definition）コンテンツへ変換している。解像度がより高いＵＨＤコンテンツは、静止シーンに関してより高い水準の詳細を提供するが、シーン自体において又はカメラの動きにより動きが存在すると直ぐに、モーションブラー（motion blur）が現れ、動いている物体の詳細の認知を大幅に低下させる。そのような状況下で、コンテンツは、細部描画の観点からもはやその４Ｋ特性を持ち続けない。そのようなモーションブラーを補償するようシャッターが開いている時間の量を減らすことは、誘発されるジャダー（judder）が見るには不快になるので、実行可能な解決法を提供しない。現在、唯一の実行可能な解決法は、適当なシャッター角度（１８０°以上）を保ちながら、シーンのサンプリング周波数を増大させることを必要とする。しかし、高解像度及び高フレームレート（例えば、４Ｋ／１２０ｆｐｓ）で事象を撮影し送信することは、多くの現行の送信デバイスがそのようなフォーマットをサポートしていないので、不可能でないにしても難しくなる。そのようなフォーマットをサポートすることができるデバイスによってさえ、そのようなフォーマットでコンテンツを送信することは、バンド幅に関して非常にコストが高くなる。このような理由により、放送局及びケーブルテレビ事業者は、同じバンド幅を消費するただ１つの４Ｋ／１２０ｆｐｓチャネルを供給することよりむしろ、複数（例えば、４つ）の４Ｋ／３０ｆｐｓチャネルとして固定バンド幅を割り当てることを好む。
よって、動いている物体についてさえ細部描画を保ちながら高品質コンテンツ（４Ｋ）を送信する技術のための必要性が存在する。
本原理の目的は、特に動画について、画像詳細を保ちながら高品質ビデオを送信する技術を提供することである。
本原理の他の目的は、低フレームレートビデオコンテンツ及び高フレームレートビデオコンテンツを交互に送信する技術を提供することである。
簡潔に、本原理の態様に従って、ビデオコンテンツを送信する方法及び装置及びシステムは、コンテンツが高解像度を有する静止シーン又は動きを含むシーンのいずれを含むかを指定する。ビデオコンテンツは、指定に従って符号化を受け、それにより、静止シーンを含むビデオコンテンツは低フレームレート（ＬＦＲ；Low Frame Rate）モードで符号化され、一方、動きを含むビデオコンテンツは高フレームレート（ＨＦＲ；High Frame Rate）で符号化される。その後に、符号化されたビデオコンテンツは、復号器による取り出し及び復号化を可能にするよう、コンテンツ指定とともに送信される。
本原理の態様に従って、複合型のコンテンツ伝送技術は、低フレームレート（ＬＦＲ）モードで高解像度を有するビデオの静止シーンを送信する（すなわち、４Ｋ／３０ｆｐｓ）。反対に、本原理の技術に従って、ビデオコンテンツ内の、動きを含むシーンは、そのようなシーンがＬＦＲ画像ブロックにカプセル化された状態で（すなわち、４Ｋ／３０ｆｐｓ）、高フレームレート（ＨＦＲ）モードでの伝送を受ける（すなわち、ＨＤ／１２０ｆｐｓ）。図１は、本原理の複合伝送技術を実施するシステム１０を表す。システム１０は、テレビカメラ１４及び１６の対を含む複数のビデオソースから夫々ビデオを受信する符号器１２を含む。図１で表されているシステム１０の実例は２つのカメラ１４及び１６を表すが、システム１０は、より台数のカメラに容易に適応し得る。
図１の実例では、カメラ１４及び１６の夫々は、ビデオ信号を生成するだけでなく、通常は、カメラビデオ出力信号が静止シーン又は動きを含むシーンのいずれを有するかを示す“フラグ”の形で、指定も生成する。例えば、スポーツイベントを放送することといった、特定の用途について、例えばカメラ１４のようなカメラは、通常は、比較的静止したシーン、例えば、観衆のシーンしか供給しない。他のカメラ、例えば、カメラ１６は、通常は、動きを含むビデオコンテンツを供給する。例えば、カメラ１６は、試合、例えば、サッカー、野球、フットボール又は同様のもの、に関わるプレイヤーのビデオ出力信号を供給する。
図１で表されるように、カメラ１４及び１６の夫々によって供給される指定は、通常は、ビデオ出力信号から分離した信号（例えば、フラグ）の形をとる。しかし、カメラのビデオ信号は、静止画又は動きを含む画像のいずれか一方であるとしてそのビデオを指定する情報を含み得る。ビデオ信号自体の中にそのような情報を含めることは、このようにして別個の指定信号の必要性を取り除くことになる。
符号器１２は、カメラ１４及び１６の夫々からのビデオ出力信号を、そのカメラのビデオ出力を静止シーン又は動きを含むシーンを有するものとして示す付随する指定信号とともに受信する。符号器１２は、カメラ１４及び１６の夫々のビデオ出力信号を、ビデオ信号が静止画又は動きを含むシーンを有することに関してそのカメラのビデオ出力信号に付随する指定に従って、符号化する。よって、例えば、カメラ１４のビデオ出力信号を受信すると、符号器１２は、ビデオが静止シーンを有していることをそのビデオ信号に付随する指定が示す場合に、低フレームレート（ＬＦＲ）モード（例えば、４Ｋ／３０ｆｐｓ）でそのビデオ信号を符号化する。反対に、カメラ１６からビデオ出力信号を受信すると、符号器１２は、シーンが動きを有していることをそのカメラのビデオ信号に付随する指定が示す場合に、高フレームレート（ＨＦＲ）モード（例えば、４Ｋ／１２０ｆｐｓ）でそのビデオ信号を符号化する。符号器１２は、参照により本願に援用される、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、ビデオ信号のシーンをＬＦＲ画像ブロックにカプセル化することによって、カメラ１６からのビデオ信号を符号化する。
カメラ１４及び１６からのビデオ出力信号に加えて、又はそれらの代わりに、符号器１２はまた、記憶デバイス又はテレビスタジオ放送設備の一部を有し得るオフラインのコンテンツソース１８によって例示されるように、１つ以上のオフラインのコンテンツソースからビデオ信号を受信し符号化することができる。ビデオ出力信号を符号器１２へ供給することに加えて、夫々のオフラインのコンテンツソース１８はまた、オフラインのコンテンツソースからの出力ビデオ信号が静止シーン又は動きを含むシーンのいずれを有するかを示す指定を供給する。カメラ１４及び１６の夫々と同じく、オフラインのコンテンツソース１８の出力ビデオ信号自体が、出力信号が静止シーン又は動きを含むシーンのいずれを有するかを指定する情報を含んでよく、それによって、別個の指定の必要性を取り除く。
上述されたように、カメラ１４及び１６は、通常は、静止シーン及び動きを含むシーンを夫々指定されるので、それらの各自の指定信号は固定され得る。対照的に、オフラインのコンテンツソース１８は、どちらの種類のビデオ出力信号も供給することができる。実際に、オフラインのコンテンツソース１８によって出力されるビデオの性質に応じて、オペレータは、オフラインのソースのビデオ出力信号のオペレータの評価に基づき設定された指定を手動により調整し得る。代替的に、オフラインのコンテンツソース１８は、例えば、動き解析アルゴリズムによるビデオコンテンツのその解析に基づき、その指定を自動的に生成し得る。
符号器１２は、符号化された出力信号と、上述されたように符号器のビデオ出力信号の性質を示す付随する指定とを生成するよう、カメラ１４及び１６並びに／又はオフラインのコンテンツソース１８から受信されたビデオ信号を符号化する。ネットワーク２０は、符号器１２のビデオ出力信号を、その信号の指定とともに、表示デバイス２４での提示のための復号されたビデオ出力信号を生じるよう復号するために復号器２２へ送る。実際に、復号器２２は、表示デバイス２４での表示のためにコンテンツを選択するセットトップボックス又は同様のものの部分を有することができる。いくつかの場合に、復号器２２は、表示デバイス２４の部分を有してよい。
カメラ１４及び１６並びにオフラインのコンテンツソース１８に関連して先に説明されたように、符号器１２は、そのビデオ出力信号において、符号器が低フレームレート（ＬＦＲ）モード又は高フレームレート（ＨＦＲ）モードのいずれでその信号を符号化したかを示す情報を含めることができる。信号がＬＦＲモード又はＨＦＲモードのいずれで符号化されているかを示す情報を符号器のビデオ出力信号内に含めることは、このようにして、別個の指定を生成する必要性を取り除く。
復号器２２は、入来信号がＬＦＲ又はＨＦＲのいずれで符号化されているかを示す付随する指定に従って、符号器から受信されたビデオ信号を復号する。先に説明されたように、図１の復号器２２によって受信される入来ビデオ信号は、それ自体が符号化のタイプ（ＬＦＲ又はＨＦＲ）に関する情報を含んでよく、このようにして、符号化モードを示す別個の指定の必要性を取り除く。符号化指定、又はその指定がない場合には、入来ビデオ信号自体からの符号化情報を用いて、復号器２２は、入来信号がＬＦＲ又はＨＦＲのいずれで符号化されているかに基づき正確に入来ビデオ信号を復号することができる。ＬＦＲにより符号化されたビデオ信号の場合に、夫々の高解像フレームは、それ自体のＬＤＲ画像ブロックに含まれ、夫々が低フレームレートで表示デバイス２４へ供給される。ＨＦＲにより符号化されたビデオ信号の場合には、参照により本願に援用される、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、複数のフレームは各ＬＦＲ画像ブロックにカプセル化される。復号器２２は、高フレームレートでの表示デバイス２４への供給のために高フレームレートで複数のフレームの夫々１つを連続して抽出する。実際に、ディスプレイ２４は、表示デバイスが別々のＬＦＲモードビデオ信号及びＨＦＲモードビデオ信号を受信することを可能にするよう、復号器２２とのデジタルインターフェイス、例えば、高精細マルチメディアインターフェイス（ＨＤＭＩ（登録商標）；High Definition Multimedia Interface）を有している。ディスプレイ２４は、夫々のモードでビデオ信号を適切に表示するよう、ＬＦＲモードとＨＦＲモードとの間をリアルタイムで切り替える能力を有している。いくつかの実施形態において、全てのビデオ信号は、高解像ＬＦＲフレーム、及び複数のＨＦＲ符号化されたフレームを含むＬＦＲ画像ブロックのいずれでも、例えばＨＤＭＩのようなインターフェイスにより、復号器２２及びディスプレイ２４の両方を有するモニタへ転送される。
符号器１２からの全ての出力は、元々が高解像度であるＬＦＲ画像、又は高解像度のＬＦＲブロックに符号化されたＨＦＲ画像としてそもそも供給されようとも、高解像度のＬＦＲストリームとして現れる点に留意されたい。利点は、特に、ＨＦＲ／ＬＦＲモード指定がストリームに埋め込まれる場合に、中間コンポーネント、例えば、通信リンク及びビデオ又はストリーム切り替え要素（図示せず。）を有し得るネットワーク２２が、符号器１２からのストリームの性質に気付いている必要なしに動作することができる点である。復号器２２によって受信されるまでは、一般的な高解像度ＬＦＲストリーム以外の何かとしてストリームを処理するのに必要とされる如何なる要素も必要とされない。
図２は、本原理の態様に従って、例となるフレームレート圧縮プロセス２００を表す。図２で表されるように、図１の高フレームレートカメラ１６と同様の、高フレームレート（ＨＦＲ）カメラ２０５は、被写体２０７の範囲を定める視野２０６を有する。動作中、カメラ２０５は、被写体のＨＦＲ画像のストリームを有するビデオ出力信号２０１を出力する。カメラ２０５によって生成されるＨＦＲ画像ストリームの部分２１０は図２において現れ、個別のシーケンシャルフレーム２１１〜２２６から成る。
図２で表されている例では、被写体２０７は、馬に乗っている人を有する。被写体２０７の画像２１１〜２２６は、明らかに識別できる差を個々の画像が示すように、誇張された時間スケールを有して図２で現れる。描かれている画像は、エドワード・マイブリッジによる１８８７年の作品“Jumping a hurdle, black horse”に由来し、それらが多くの人に知られており、且つ、本原理の理解にとって有用である認識し得るシーケンスを提示することから選択された。
ＨＦＲ画像ストリームの部分２１０の画像２１１〜２２６は、ステップ２０２の間に捕捉される。その時点で、画像は、図２ではカメラから離れて表されているが通常はカメラ２０５の中にある捕捉バッファ２３０において蓄積する。処理の容易さのために、画像２１１〜２２６は、サブシーケンス２３１〜２３４にグループ分けされる。画像のサブシーケンスは、図２で表されている符号化プロセス２０３の間に、図１の符号器１２による符号化を受ける。本原理の態様に従って、符号化プロセス２０３は、参照により本願に援用される、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、高フレームレート（ＨＦＲ）画像をより低いフレームレート（ＬＦＲ）の画像にパックする。例えば、サブシーケンス２３１〜２３４の夫々からの第１画像は、単一のＬＦＲ画像ブロック２４１にまとめられる。同様に、各サブシーケンスからの第２画像はＬＦＲ画像ブロック２４２にまとめられ、各サブシーケンスからの第３画像及び第４画像はＬＦＲ画像ブロック２４３及び２４４に夫々パックされる。ＬＦＲ画像ブロックを生成することに加えて、図２のカメラ２０５はまた、先に説明されたように、指定を生成する。指定は、カメラ出力信号がＨＦＲモードで符号化されていることを示す。
画像圧縮を使用する実施形態では、ＬＦＲ画像ブロック２４１〜２４４は、例えば、よく知られているＪＰＥＧ又はＪＰＥＧ−２０００圧縮方式を用いて、個別的に圧縮（例えば、“符号化”）され得る。動きに基づいた圧縮方式が選択される場合には（例えば、ＭＰＥＧ−２又はＨ．２６４／ＭＰＥＧ−４）、ＬＦＲ画像ブロック２４１〜２４４は、符号化された“グループ・オブ・ピクチャ”（ＧＯＰ；group of pictures）２４０を形成することになる。そのようなフレーム符号化は、モーション符号化ビデオ、すなわち、Ｉフレーム、Ｐフレーム、及びＢフレームにおいて広く使用されている。Ｉフレームは“イントラ符号化”（intra-encoded）され、すなわち、フレームは、他のフレームへの如何なる参照もなしで符号化され、従って、スタンドアローンであることができる。Ｐフレーム、すなわち“予測フレーム”（predicted frames）は、前の１つ以上の参照フレームに対して符号化され、効率的な表現（一般的に、Ｉフレームと比較してより小さい表現）のためにそれらの間の冗長性を利用する。Ｂフレーム、すなわち“双方向予測”（bi-directional predicted）フレームは、前後両方の参照フレームの間の類似性を利用することによって符号化される。Ｐ及びＢフレームのための符号化プロセスのかなりの部分は、圧縮されるフレームにも存在する参照フレーム内の領域を識別し、そのような共通の領域の動きを推定し、それらを動きベクトルとして符号化することである。いくつかの実施形態において、符号器は、参照としてＩフレームだけでなく、他のＰ又はＢフレームも使用することを可能にされる。適切な場合に、現在のフレームの領域についての動きベクトル表現は、領域のピクセルについてのより明示的な表現よりも通常はコンパクトである。
図２に示されるＬＦＲ画像ブロック２１４〜２４４へのＨＦＲ画像２１１〜２２６のタイリングは、サブシーケンス２３１〜２３４の時間順序及び連続性を維持する点に留意されたい。このことは、例えばサブシーケンス２３２における、連続したＨＦＲフレーム間の差が、ＬＦＲフレーム２４１〜２４４への合成の後に保持されるという利点を提供する。然るに、ＨＦＲはＬＦＲよりも高いので、連続したＨＦＲフレーム間の期待される動きベクトルは、一般的に、より低いフレームレートで従来捕捉されていたシーケンス（図示せず。）のそれらよりも小さい。同様に、連続的に捕捉されたフレーム間の対応する類似領域は、一般的に、捕捉フレームレートがより遅い場合よりも類似性を示す。これは、ＨＦＲでは被写体の連続した画像間で過ぎる時間がより少ないからである。然るに、符号化されたＧＯＰ２４０の合成画像における動きを利用する圧縮スキームは特に有効であると期待される。これは、それらの合成画像の各象限内で、連続したＬＦＲ画像ブロック２４１〜２４４の間の明らかな時間増分が、たとえＧＯＰ２４０の画像ブロック２４１〜２４４がＬＦＲで供給されようとも、ＨＦＲに対応するからである。なお、現在の符号化されたＧＯＰ２４０の最後のＬＦＲフレーム２４４と次のＧＯＰ（図示せず。）の最初のＬＦＲフレーム（図示せず。）との間の各象限には時間的な不連続が存在する。図２の例におけるこの時間的な不連続の大きさは、ＬＦＲインターバルの３倍又はＨＦＲインターバルの２２倍である。この時間的な不連続のために、１つのＧＯＰの終わりと次のＧＯＰの最初との間の類似性を利用しようと試みる圧縮スキーム（すなわち、Ｂフレームを使用する。）は、特に上手く働かず、然るに、本実施形態における従来のモーション符号化技術は、望ましくは、Ｉフレーム及びＰフレームに制限される。
図３は、本原理の他の態様に従って、例となる符号化プロセス３００を表す。図３で表されるように、図１のＬＦＲカメラ１４と同様の、低フレームレート（ＬＦＲ）カメラ３０５は、一般的に静止画（実例として、群衆３０７として表される。）を捕捉する。動作中に、カメラ３０５は、群衆３０７のＬＦＲ画像のストリームを有するビデオ出力信号３０１を出力する。カメラ３０５によって生成されるＬＦＲ画像ストリームの部分３１０は、ＬＦＲフレーム３１０〜３１６のシーケンスから成る。本原理の教示に従って、符号化プロセス３００は、低フレームレートにおいて全部のフレームの形で高解像度のＬＦＲ画像を生成し、一方、複数のより低い解像度のＨＦＲ画像は、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、夫々のＬＦＲ画像ブロック２４１〜２４４にカプセル化される。ＬＦＲ画像を生成することに加えて、図３のカメラ３０５は、先に説明されたように、指定を生成する。指定は、カメラ出力信号がＬＦＲモードで符号化されていることを示す。
ＬＦＲ及びＨＦＲの両方のモードで符号化されたビデオ信号を受信する、例えば図１の符号器１２のような、符号器は、実例としてＬＦＲシーケンス４０２１及び４０２２によって表されているＬＦＲ画像の別個のシーケンスと、実例としてＬＦＲ画像ブロック４０４１及び４０４２によって表されている、ＨＦＲ画像シーケンスをカプセル化するＬＦＲ画像ブロックとから成る、図４で表されているマルチフレーム出力ストリームを出力する。集合的に、ＬＦＲ画像及びＬＦＲ画像ブロックはビデオコンテンツセグメントを有する。ＬＦＲフレームシーケンス及びＬＦＲ画像ブロック（すなわち、ビデオコンテンツセグメント）は夫々が、符号化モード（すなわち、ＬＦＲ及びＨＦＲの夫々）を示す、フラグ４０６及び４０８によって夫々表されている、関連する指定を有している。図４は、ＬＦＲ画像ブロック及びＬＦＲ画像シーケンスを交互に示すが、符号器は、任意の数のＬＦＲ画像ブロックが後に続くようＬＦＲ画像シーケンスの任意長さの連続を出力してよく、あるいは、その逆も同様である。図４は、フラグ４０６及び４０８によって夫々表される分離した指定を有するものとしてＬＦＲ画像シーケンス及びＬＦＲ画像ブロックを表すが、ＬＦＲ画像シーケンス及びＬＦＲ画像ブロックは、各自の符号化モードを示す情報を含んでよく、このようにして、画像シーケンス及び画像ブロックから離れた別個の指定を取り除く。
図５は、図４に関連して先に説明されたＬＦＲ画像シーケンス４０２１及び４０２２並びにＬＦＲ画像ブロック４０４１及び４０４２の復号化を表す。例えば図１の復号器２２のような、復号器は、夫々の入来するＬＦＲ画像シーケンス及びＬＦＲ画像ブロックを、その付随する指定に従って（あるいは、そのような指定がない場合には、符号化情報が組み込まれているかどうかについて夫々の画像シーケンス又は画像ブロックを調べることによって）復号する。復号化に続いて、ＬＦＲ画像シーケンス４０２１及び４０２２の夫々は、図５においてスクリーン５０２１（示される４つのうちただ１つの高解像フレーム）及び５０２２（示される４つのうちただ１つの高解像フレーム）で表示される。ＬＦＲ画像ブロック４０４１及び４０４２の夫々は、表示スクリーン５０４１（示される１６個のうちただ１つの低解像フレーム）及び５０４２（示される１６個のうちただ１つの低解像フレーム）で夫々表されるように高フレームレートでＨＦＲ画像を表示するように、各ＬＦＲ画像ブロック内にカプセル化された個々の低解像ＨＦＲ画像を続けざまに取り外すよう復号化を受ける。
上記は、特にどうかについて画像詳細を保ちながら高品質ビデオを維持するよう高フレームレートビデオコンテンツ及び低フレームレートビデオコンテンツを交互に送信する技術について記載する。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
ビデオコンテンツセグメントを送信する方法であって、
静止シーン及び動きを含むシーンを有しているビデオコンテンツセグメントに低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々供与することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って符号化することと、
復号器による取り出し及び復号化を可能にするよう前記符号化されたビデオコンテンツセグメントをその符号化モード指定とともに送信することと
を有する方法。
（付記２）
ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントは、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化される、
付記１に記載の方法。
（付記３）
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう符号化される、
付記１に記載の方法。
（付記４）
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を生成することを含む、
付記１に記載の方法。
（付記５）
前記符号化モード指定は、前記ビデオコンテンツセグメント内に符号化モード指定を含めることを有する、
付記１に記載の方法。
（付記６）
受信されたビデオコンテンツセグメントを処理する方法であって、
夫々の受信されたビデオコンテンツセグメントについて、当該受信されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかを夫々示す当該受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを決定することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って復号することと、
夫々の復号されたビデオコンテンツセグメントを表示デバイスへ供給することと
を有する方法。
（付記７）
ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントは、ＬＦＲ画像ブロックにおけるカプセル化から複数のＨＦＲ画像を取り外すことによって復号される、
付記６に記載の方法。
（付記８）
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう復号される、
付記６に記載の方法。
（付記９）
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信することを含む、
付記６に記載の方法。
（付記１０）
前記符号化モード指定は、組み込まれている符号化モード指定があるかについて前記ビデオコンテンツセグメントを検査することを含む、
付記６に記載の方法。
（付記１１）
（１）静止シーン及び動きを含むシーンを有している受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々受信し、
（２）各ビデオコンテンツセグメントをその符号化モード指定に従って符号化する
よう構成される符号器を有する装置。
（付記１２）
前記符号器は、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって、ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する、
付記１１に記載の装置。
（付記１３）
前記符号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する
付記１１に記載の装置。
（付記１４）
前記符号器は、前記ビデオコンテンツセグメントから分離した前記符号化モード指定を受信する、
付記１１に記載の装置。
（付記１５）
前記符号器は、前記受信されたビデオコンテンツセグメントの部分として前記符号化モード指定を受信する、
付記１１に記載の装置。
（付記１６）
（ａ）夫々の受信された符号化されたビデオコンテンツセグメントについて、当該受信された符号化されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかに応じて低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを夫々定め、
（ｂ）夫々の受信された符号化されたビデオコンテンツセグメントをその符号化モード指定に従って復号する
よう構成される復号器を有する装置。
（付記１７）
前記復号器は、ＬＦＲ画像ブロックにおけるカプセル化から複数のＨＦＲ画像を取り外すことによって、ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
付記１６に記載の装置。
（付記１８）
前記復号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
付記１６に記載の装置。
（付記１９）
前記復号器は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信する、
付記１６に記載の装置。
（付記２０）
前記復号器は、受信されたビデオコンテンツセグメント内で、組み込まれた符号化モード指定を検出することができる、
付記１６に記載の装置。
（付記２１）
付記１乃至１０のうちいずれか一つに記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
（付記２２）
非一時的なコンピュータ可読媒体に記憶されており、付記１乃至１０のうちいずれか一つに記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム製品。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
ビデオコンテンツセグメントを送信する方法であって、
静止シーン及び動きを含むシーンを有しているビデオコンテンツセグメントに低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々供与することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って符号化することと、
復号器による取り出し及び復号化を可能にするよう前記符号化されたビデオコンテンツセグメントをその符号化モード指定とともに送信することと
を有する方法。
（付記２）
ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントは、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化される、
付記１に記載の方法。
（付記３）
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう符号化される、
付記１に記載の方法。
（付記４）
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を生成することを含む、
付記１に記載の方法。
（付記５）
前記符号化モード指定は、前記ビデオコンテンツセグメント内に符号化モード指定を含めることを有する、
付記１に記載の方法。
（付記６）
受信されたビデオコンテンツセグメントを処理する方法であって、
夫々の受信されたビデオコンテンツセグメントについて、当該受信されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかを夫々示す当該受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを決定することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って復号することと、
夫々の復号されたビデオコンテンツセグメントを表示デバイスへ供給することと
を有する方法。
（付記７）
ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントは、ＬＦＲ画像ブロックにおけるカプセル化から複数のＨＦＲ画像を取り外すことによって復号される、
付記６に記載の方法。
（付記８）
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう復号される、
付記６に記載の方法。
（付記９）
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信することを含む、
付記６に記載の方法。
（付記１０）
前記符号化モード指定は、組み込まれている符号化モード指定があるかについて前記ビデオコンテンツセグメントを検査することを含む、
付記６に記載の方法。
（付記１１）
（１）静止シーン及び動きを含むシーンを有している受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々受信し、
（２）各ビデオコンテンツセグメントをその符号化モード指定に従って符号化する
よう構成される符号器を有する装置。
（付記１２）
前記符号器は、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって、ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する、
付記１１に記載の装置。
（付記１３）
前記符号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する
付記１１に記載の装置。
（付記１４）
前記符号器は、前記ビデオコンテンツセグメントから分離した前記符号化モード指定を受信する、
付記１１に記載の装置。
（付記１５）
前記符号器は、前記受信されたビデオコンテンツセグメントの部分として前記符号化モード指定を受信する、
付記１１に記載の装置。
（付記１６）
（ａ）夫々の受信された符号化されたビデオコンテンツセグメントについて、当該受信された符号化されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかに応じて低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを夫々定め、
（ｂ）夫々の受信された符号化されたビデオコンテンツセグメントをその符号化モード指定に従って復号する
よう構成される復号器を有する装置。
（付記１７）
前記復号器は、ＬＦＲ画像ブロックにおけるカプセル化から複数のＨＦＲ画像を取り外すことによって、ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
付記１６に記載の装置。
（付記１８）
前記復号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
付記１６に記載の装置。
（付記１９）
前記復号器は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信する、
付記１６に記載の装置。
（付記２０）
前記復号器は、受信されたビデオコンテンツセグメント内で、組み込まれた符号化モード指定を検出することができる、
付記１６に記載の装置。
（付記２１）
付記１乃至１０のうちいずれか一つに記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
（付記２２）
非一時的なコンピュータ可読媒体に記憶されており、付記１乃至１０のうちいずれか一つに記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム製品。
Claims (16)
- ビデオコンテンツセグメントを送信する方法であって、
静止シーン及び動きを含むシーンを有しているビデオコンテンツセグメントに低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々供与することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って符号化し、ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化されることと、
復号器による取り出し及び復号化を可能にするよう前記符号化されたビデオコンテンツセグメントをその符号化モード指定とともに送信することと
を有する方法。 - ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう符号化される、
請求項１に記載の方法。 - 前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を生成することを含む、
請求項１に記載の方法。 - 前記符号化モード指定は、前記ビデオコンテンツセグメント内に符号化モード指定を含めることを有する、
請求項１に記載の方法。 - 受信されたビデオコンテンツセグメントを処理する方法であって、
夫々の受信されたビデオコンテンツセグメントについて、当該受信されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかを夫々示す当該受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを決定することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って復号し、ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックから得ることによって復号されることと、
夫々の復号されたビデオコンテンツセグメントを表示デバイスへ供給することと
を有する方法。 - ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう復号される、
請求項５に記載の方法。 - 前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信することを含む、
請求項５に記載の方法。 - （１）静止シーン及び動きを含むシーンを有している受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々受信し、
（２）各ビデオコンテンツセグメントをその符号化モード指定に従って符号化する
よう構成され、
ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化される、符号器を有する装置。 - 前記符号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する
請求項８に記載の装置。 - 前記符号器は、前記ビデオコンテンツセグメントとは別個に又は前記受信されたビデオコンテンツセグメントの部分として前記符号化モード指定を受信する、
請求項８に記載の装置。 - （ａ）夫々の受信された符号化されたビデオコンテンツセグメントについて、当該受信された符号化されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかに応じて低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを夫々定め、
（ｂ）夫々の受信された符号化されたビデオコンテンツセグメントをその符号化モード指定に従って復号する
よう構成され、
ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックから得ることによって復号される、復号器を有する装置。 - 前記復号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
請求項１１に記載の装置。 - 前記復号器は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信する、
請求項１１に記載の装置。 - 前記復号器は、受信されたビデオコンテンツセグメント内で、組み込まれた符号化モード指定を検出することができる、
請求項１１に記載の装置。 - 非一時的なコンピュータ可読媒体に記憶されており、請求項１乃至４のうちいずれか一項に記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
- 非一時的なコンピュータ可読媒体に記憶されており、請求項５乃至７のうちいずれか一項に記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14307218.9 | 2014-12-31 | ||
| EP14307218.9A EP3041233A1 (en) | 2014-12-31 | 2014-12-31 | High frame rate-low frame rate transmission technique |
| USPCT/US2015/029149 | 2015-05-05 | ||
| PCT/US2015/029149 WO2015183480A1 (en) | 2014-05-30 | 2015-05-05 | High frame rate tiling compression technique |
| PCT/EP2015/080993 WO2016107792A1 (en) | 2014-12-31 | 2015-12-22 | High frame rate-low frame rate transmission technique |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018510524A JP2018510524A (ja) | 2018-04-12 |
| JP2018510524A5 JP2018510524A5 (ja) | 2018-11-22 |
| JP6573673B2 true JP6573673B2 (ja) | 2019-09-11 |
Family
ID=52444077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017533410A Expired - Fee Related JP6573673B2 (ja) | 2014-12-31 | 2015-12-22 | 高フレームレート−低フレームレート伝送技術 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20180007355A1 (ja) |
| EP (2) | EP3041233A1 (ja) |
| JP (1) | JP6573673B2 (ja) |
| KR (1) | KR20170101227A (ja) |
| CN (1) | CN107113447A (ja) |
| WO (2) | WO2016109201A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107710757B (zh) * | 2015-06-04 | 2021-08-10 | 英特尔公司 | 用于缓慢运动视频记录的自适应批量编码 |
| WO2017143522A1 (en) | 2016-02-23 | 2017-08-31 | Intel Corporation | Graphics processor workload acceleration using a command template for batch usage scenarios |
| US11153585B2 (en) | 2017-02-23 | 2021-10-19 | Netflix, Inc. | Optimizing encoding operations when generating encoded versions of a media title |
| US10742708B2 (en) | 2017-02-23 | 2020-08-11 | Netflix, Inc. | Iterative techniques for generating multiple encoded versions of a media title |
| US10917644B2 (en) | 2017-02-23 | 2021-02-09 | Netflix, Inc. | Iterative techniques for encoding video content |
| US11166034B2 (en) | 2017-02-23 | 2021-11-02 | Netflix, Inc. | Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric |
| US10666992B2 (en) | 2017-07-18 | 2020-05-26 | Netflix, Inc. | Encoding techniques for optimizing distortion and bitrate |
| CN108377400A (zh) * | 2018-03-07 | 2018-08-07 | 广州图普网络科技有限公司 | 一种图像传输优化方法、系统及其装置 |
| FR3084552B1 (fr) | 2018-07-30 | 2020-12-11 | Bcom | Procede de formation d'une sequence d'images de sortie a partir d'une sequence d'images d'entree, procede de reconstruction d'une sequence d'images d'entree a partir d'une sequence d'images de sortie, dispositifs, equipement serveur, equipement client et programmes d'ordinateurs associes |
| US11190826B1 (en) * | 2020-06-25 | 2021-11-30 | Disney Enterprises, Inc. | Segment quality-guided adaptive stream creation |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0205988B1 (pt) * | 2001-09-12 | 2017-01-17 | Matsushita Electric Ind Co Ltd | aparelho de codificação de imagem que codifica imagens que são introduzidas em sequência e aparelho de decodificação de imagem que decodifica imagens que são introduzidas em sequência |
| JP4196726B2 (ja) * | 2003-05-14 | 2008-12-17 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| US20050201469A1 (en) * | 2004-03-11 | 2005-09-15 | John Sievers | Method and apparatus for improving the average image refresh rate in a compressed video bitstream |
| KR100896279B1 (ko) * | 2005-04-15 | 2009-05-07 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
| US20090034857A1 (en) * | 2005-07-22 | 2009-02-05 | Mitsubishi Electric Corporation | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program |
| KR100995226B1 (ko) * | 2005-07-22 | 2010-11-17 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 |
| JP4424522B2 (ja) * | 2006-07-13 | 2010-03-03 | 日本電気株式会社 | 符号化及び復号化装置ならびに符号化方法及び復号方法 |
| US8582663B2 (en) * | 2006-08-08 | 2013-11-12 | Core Wireless Licensing S.A.R.L. | Method, device, and system for multiplexing of video streams |
| US8345083B2 (en) * | 2007-07-31 | 2013-01-01 | Cisco Technology, Inc. | Dynamic management of picture quality in a video conference with diversified constraints |
| US9225961B2 (en) * | 2010-05-13 | 2015-12-29 | Qualcomm Incorporated | Frame packing for asymmetric stereo video |
| JP5950157B2 (ja) * | 2012-05-18 | 2016-07-13 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
| KR102077556B1 (ko) * | 2012-06-28 | 2020-02-14 | 엑시스 에이비 | 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법 |
| EP3579562B1 (en) * | 2012-09-28 | 2021-09-08 | Sony Group Corporation | Image processing device and method |
| CA2894637A1 (en) * | 2012-12-18 | 2014-06-26 | Sony Corporation | Image processing device and image processing method |
| CN105230017B (zh) * | 2013-03-21 | 2019-08-06 | 索尼公司 | 图像编码装置和方法以及图像解码装置和方法 |
| DE102014207607B4 (de) * | 2013-04-25 | 2019-09-19 | Avago Technologies International Sales Pte. Ltd. | System und Verfahren zur Verarbeitung von Videodaten |
| US8982277B2 (en) * | 2013-04-25 | 2015-03-17 | Broadcom Corporation | System and method for processing video data |
| MX348561B (es) * | 2013-07-12 | 2017-06-20 | Sony Corp | Aparato y método para la codificación de imágenes. |
| US20150163486A1 (en) * | 2013-12-09 | 2015-06-11 | Vixs Systems Inc. | Variable bitrate encoding |
| JP6463041B2 (ja) * | 2014-08-28 | 2019-01-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2014
- 2014-12-31 EP EP14307218.9A patent/EP3041233A1/en not_active Withdrawn
-
2015
- 2015-12-16 WO PCT/US2015/066045 patent/WO2016109201A1/en active Application Filing
- 2015-12-22 US US15/541,150 patent/US20180007355A1/en not_active Abandoned
- 2015-12-22 CN CN201580071665.4A patent/CN107113447A/zh active Pending
- 2015-12-22 WO PCT/EP2015/080993 patent/WO2016107792A1/en active Application Filing
- 2015-12-22 EP EP15822935.1A patent/EP3241353A1/en not_active Withdrawn
- 2015-12-22 KR KR1020177018188A patent/KR20170101227A/ko unknown
- 2015-12-22 JP JP2017533410A patent/JP6573673B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20180007355A1 (en) | 2018-01-04 |
| EP3041233A1 (en) | 2016-07-06 |
| KR20170101227A (ko) | 2017-09-05 |
| WO2016107792A1 (en) | 2016-07-07 |
| EP3241353A1 (en) | 2017-11-08 |
| JP2018510524A (ja) | 2018-04-12 |
| CN107113447A (zh) | 2017-08-29 |
| WO2016109201A1 (en) | 2016-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6573673B2 (ja) | 高フレームレート−低フレームレート伝送技術 | |
| US7953315B2 (en) | Adaptive video processing circuitry and player using sub-frame metadata | |
| KR102343700B1 (ko) | 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신 | |
| JP5059766B2 (ja) | 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置 | |
| US20130022116A1 (en) | Camera tap transcoder architecture with feed forward encode data | |
| JP2008228282A (ja) | 画像処理装置 | |
| KR102558495B1 (ko) | Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체 | |
| US11973957B2 (en) | Mixed NAL unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream | |
| US11902556B2 (en) | Mixed NAL unit type-based image encoding/decoding method and device, and method for transmitting bitstream | |
| EP2306730A2 (en) | Method and system for 3D video decoding using a tier system framework | |
| JP2010147508A (ja) | 撮影装置及び再生装置 | |
| US20170105019A1 (en) | High frame rate tiling compression technique | |
| CN113545060A (zh) | 视频编码中的空瓦片编码 | |
| US11818380B2 (en) | Image encoding/decoding method and device based on hybrid NAL unit type, and recording medium for storing bitstream | |
| US20230291933A1 (en) | Method and device for encoding/decoding image by signaling gci, and computer-readable recording medium in which bitstream is stored | |
| KR101609798B1 (ko) | 동영상 판독 장치 | |
| CN114930820A (zh) | 基于图片划分结构的图像/视频编译方法及设备 | |
| CN115606187A (zh) | 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质 | |
| JP2015035785A (ja) | 動画像符号化装置、撮像装置、動画像符号化方法、プログラム、及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181012 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190813 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6573673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |