JP6350717B2 - インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張 - Google Patents

インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張 Download PDF

Info

Publication number
JP6350717B2
JP6350717B2 JP2017099071A JP2017099071A JP6350717B2 JP 6350717 B2 JP6350717 B2 JP 6350717B2 JP 2017099071 A JP2017099071 A JP 2017099071A JP 2017099071 A JP2017099071 A JP 2017099071A JP 6350717 B2 JP6350717 B2 JP 6350717B2
Authority
JP
Japan
Prior art keywords
tile
decoding
region
interest
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017099071A
Other languages
English (en)
Other versions
JP2017184258A (ja
Inventor
チョン オーヤン
チョン オーヤン
ジュン シュ
ジュン シュ
アリ タバタバイ
アリ タバタバイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2017184258A publication Critical patent/JP2017184258A/ja
Application granted granted Critical
Publication of JP6350717B2 publication Critical patent/JP6350717B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Description

〔関連出願との相互参照〕
本出願は、２０１３年７月１５日に出願された「インタラクティビティのための動き制約タイルセットＳＥＩメッセージの拡張（ＥＸＴＥＮＳＩＯＮ ＯＦ ＭＯＴＩＯＮ−ＣＯＮＳＴＲＡＩＮＥＤ ＴＩＬＥ ＳＥＴＳ ＳＥＩ ＭＥＳＳＡＧＥ ＦＯＲ ＩＮＴＥＲＡＣＴＩＶＩＴＹ）」という名称の米国仮特許出願第６１／８４６，５５５号、２０１３年７月２９日に出願された「インタラクティビティのための動き制約タイルセットＳＥＩメッセージの拡張（ＥＸＴＥＮＳＩＯＮ ＯＦ ＭＯＴＩＯＮ−ＣＯＮＳＴＲＡＩＮＥＤ ＴＩＬＥ ＳＥＴＳ ＳＥＩ ＭＥＳＳＡＧＥ ＦＯＲ ＩＮＴＥＲＡＣＴＩＶＩＴＹ）」という名称の米国仮特許出願第６１／８５９，３４７号、２０１４年１月３日に出願された「ＨＬＳ：非表示のための一時的動き制約タイルセットＳＥＩメッセージの拡張（ＨＬＳ： ＥＸＴＥＮＳＩＯＮ ＴＯ ＴＥＭＰＯＲＡＬ ＭＯＴＩＯＮ ＣＯＮＳＴＲＡＩＮＥＤ ＴＩＬＥ ＳＥＴＳ ＳＥＩ ＭＥＳＳＡＧＥ ＦＯＲ ＮＯ ＤＩＳＰＬＡＹ）」とい名称の米国仮特許出願第６１／９２３，３５１号、及び２０１４年１月１６日に出願された「ＨＬＳ：非表示のための一時的動き制約タイルセットＳＥＩメッセージの拡張（ＨＬＳ： ＥＸＴＥＮＳＩＯＮ ＴＯ ＴＥＭＰＯＲＡＬ ＭＯＴＩＯＮ ＣＯＮＳＴＲＡＩＮＥＤ ＴＩＬＥ ＳＥＴＳ ＳＥＩ ＭＥＳＳＡＧＥ ＦＯＲ ＮＯ ＤＩＳＰＬＡＹ）」という名称の米国仮特許出願第６１／９２８，１０７号の合衆国法典第３５編第１１９条（ｅ）に基づく優先権を主張するものであり、これらの仮特許出願の全てはあらゆる目的のためにその全体が引用により本明細書に組み入れられる。
本発明は、イメージングの分野に関する。具体的には、本発明は、ビデオ符号化に関する。
Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓのテキスト仕様における動き制約タイルセット（ｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ ｔｉｌｅ ｓｅｔｓ）の草案３は、全てのタイルが独立して復号可能である旨を伝える機能、及び関心領域（ＲＯＩ）当たり複数のタイルを有することができるＲＯＩを伝える機能を有していない。
動き制約タイルセットＳＥＩメッセージの拡張が、全てのタイルが独立して復号可能である旨を伝える機能、及びＲＯＩ当たり複数のタイルを有することができるＲＯＩを伝える機能を提供する。この拡張により、ＣＶＳ内のあらゆる独立して復号可能な関心領域をユーザインタラクティビティに基づいて符号化ツリーユニットレベルで再定義する機能が可能になる。この拡張は、超高精細インタラクティブテレビ（ＵＨＤＴＶ）、動的高品質ズームインアプリケーション、インタラクティブオンデマンド、ｅラーニング、スマートサーベランス及びその他の多くのアプリケーションなどの様々なアプリケーションで利用されるインタラクティビティをサポートする。また、エンコーダは、タイル化ストリーミングのために一時的ＭＣＴＳ ＳＥＩメッセージを使用して、デコーダがＲＯＩのみを表示すればよい旨をデコーダに明示的に伝えることができる。
１つの態様では、装置の非一時的メモリにプログラムされた方法が、ビデオのビットストリームを受け取るステップと、装置上でビットストリームを復号するステップとを含み、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む。ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である。ビデオの拡張レイヤの全てのタイルは、独立して復号可能である。復号するステップは、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングするステップを含む。復号するステップは、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングするステップを含む。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す。補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す。
別の態様では、システムが、ビデオのビットストリームを受け取り、ビットストリームを復号するように構成されたアプリケーションを記憶するように構成された非一時的メモリと、復号されたビットストリームを表示するように構成されたディスプレイとを備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む。ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である。ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である。復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む。復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す。補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す。
別の態様では、装置が、ビデオのビットストリームを受け取り、ビットストリームを復号するためのアプリケーションを記憶する非一時的メモリと、メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントとを備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む。ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である。ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である。復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む。復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す。補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す。
さらに別の態様では、装置の非一時的メモリにプログラムされた方法が、ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取るステップと、装置上でビットストリームを復号するステップとを含み、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。
別の態様では、システムが、ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、ビットストリームを復号するように構成されたアプリケーションを記憶するように構成された非一時的メモリと、復号されたビットストリームを表示するように構成されたディスプレイとを備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、この補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。
別の態様では、装置が、ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、ビットストリームを復号するように構成されたアプリケーションを記憶するように構成された非一時的メモリと、メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントとを備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、この補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。
いくつかの実施形態による、タイル化ストリーミングの例を示す図である。 いくつかの実施形態による、最小ビットを含むＲＯＩの外側のタイルの再符号化を示す図である。 いくつかの実施形態による、タイル化ストリーミング方法のフローチャートである。 いくつかの実施形態による、タイル化ストリーミング方法のフローチャートである。 いくつかの実施形態による、タイル化ストリーミング方法のフローチャートである。 いくつかの実施形態による、タイル化ストリーミング方法を実施するように構成された例示的なコンピュータ装置のブロック図である。
次世代映像圧縮技術（ＨＥＶＣ）規格のバージョン１では、ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、各ピクチャは、タイルとして知られている矩形領域で構成される。Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓのテキスト仕様：草案３では、これらのタイルを収集して、関心領域（ＲＯＩ）として知られている一群のタイルセットを形成することができる。これらのタイルセットは、動き制約タイルセット補足強化情報（ＳＥＩ）メッセージにより、独立して復号可能なものとして示すことができる。
このようなＨＥＶＣタイル構造は、インタラクティブタイルストリーミングに適用することができる。タイル化ストリーミングの例に、マルチ解像度パノラマビデオを異なるＲＯＩ及び解像度で構成されたビデオに分割できるアプリケーションがある。
動き制約タイルセットＳＥＩメッセージの拡張は、全てのタイルが独立して復号可能であることを伝えるとともに、ＲＯＩ当たり複数のタイルを有することができるＲＯＩを伝える機能を提供する。この拡張により、符号化ビデオストリーム（ＣＶＳ）内のあらゆる独立して復号可能な関心領域をユーザ又はディレクタのインタラクティビティに基づいてタイルレベルで再定義する機能が可能になる。ディレクタとは、コンテンツの制御及び／又はコンテンツの修正を行うことができる人物のことである（例えば、コンテンツは、送信先のユーザグループによって修正される）。この拡張は、超高精細インタラクティブテレビ（ＵＨＤＴＶ）、動的高品質ズームインアプリケーション、インタラクティブオンデマンド、ｅラーニング、スマートサーベランス及びその他の多くのアプリケーションなどの様々なアプリケーションで利用されるインタラクティビティをサポートする。
ＲＯＩは、１又はそれ以上のタイルの結合体として定義される。本明細書で説明する拡張は、単一レイヤのビデオ、又はベースレイヤと少なくとも１つの拡張レイヤとを含むビデオのＲＯＩを、ユーザ又はディレクタのインタラクティビティに基づいて伝えるために使用される。拡張レイヤ内のＲＯＩは、ベースレイヤ内のＲＯＩにマッピングされる。ベースレイヤ内のＲＯＩも、拡張レイヤ内のＲＯＩにマッピングされる。
本明細書で説明する拡張は、以下の場合の空間スケーラビリティ及び／又は信号対雑音比（ＳＮＲ）スケーラビリティを有する複数レイヤビデオの動き制約タイルセットを伝える。本明細書で説明する拡張を伴う動き制約タイルセットは、拡張レイヤに適用される（例えば、拡張レイヤ内の全てのタイルは、拡張レイヤ内の他のタイルと無関係に復号可能である）。ベースレイヤ及び拡張レイヤは、いずれも動き制約タイルセットを有する。ベースレイヤ内の全てのタイルは、独立して復号可能である。拡張レイヤ内の全てのタイルは、拡張レイヤ内の他のタイルと無関係に復号可能である。拡張レイヤ内のタイルは、ベースレイヤ内の１又はそれ以上のタイルに依存することができる。復号処理では、拡張レイヤ内のＲＯＩがベースレイヤ内のＲＯＩにマッピングされる。復号処理では、ベースレイヤ内のＲＯＩが拡張レイヤ内のＲＯＩにマッピングされる。
図１は、いくつかの実施形態によるタイル化ストリーミングの図である。ユーザは、ＲＯＩをインタラクティブに選択することができる。ユーザがＲＯＩを選択した後、選択されたＲＯＩは、装置（例えば、テレビ、スマートフォン、タブレット）上に提示される。異なるユーザは、異なるＲＯＩを望むことができるので、これらのタイルは全て独立して復号可能である。ＣＴＵレベルのトランスコーディングを避けることにより、全てのユーザに役立つように複雑さを低減することが重要である。図１では、パノラマビデオが、独立して復号可能なタイルを用いて、サーバ側の複数の解像度レイヤ内で符号化される。サーバ側の解像度レイヤの１つは８Ｋ×４Ｋである。異なる視聴者は、パノラマビデオの異なる解像度レイヤから異なるＲＯＩを送信するようにサーバに要求することができる。図１では、１つのクライアントが、解像度レイヤの１つからの領域をクライアントのＨＤモバイル装置で見られるように要求する。別のクライアントは、同じ解像度レイヤからの異なる領域をクライアントの４ＫＴＶで見られるように要求する。一般に、クライアントは、あらゆるＲＯＩを複数の空間解像度のうちの１つで選択的に見ることができる。図１には、解像度レイヤの１つにおけるサーバとのユーザインタラクティビティを示している。
タイル化ストリーミングには、複数の特性が存在する。全てのタイルが独立して復号可能である（動き制約タイル）。ＲＯＩは、必ずしもＣＶＳの符号化時間の最初に決定されなくてもよい。ＲＯＩは、ＣＶＳ内で符号化された時点で、ＣＶＳをＣＴＵレベルで再符号化することなく、ユーザインタラクティビティに基づいて修正又は再定義することができる。
動き制約タイルセット（ＭＣＴＳ）ＳＥＩは、独立して復号可能なＲＯＩの位置を伝えるために使用することができる。しかしながら、一般的には、ＭＣＴＳ ＳＥＩは、全てのタイルが独立して復号可能である旨と、ＲＯＩの位置とを同時に伝えることができない。本明細書で説明する拡張では、ＭＣＴＳが、全てのタイルが独立して復号可能であることをサポートできるとともに、ＲＯＩの位置を伝えることができる。
Figure 0006350717
ａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、動き制約タイルセットのｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇの定義に類似するが、全てのタイルに適用される。０に等しいａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、符号化ビデオシーケンス内で、動き制約タイルセットの外側の符号化ツリーブロックが復号されず、動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、動き制約タイルセット内の各サンプルの値が、このピクチャの符号化ツリーブロックが全て復号された時の同じサンプルの値と正確に同じでなくてもよいことを示す。１に等しいａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、符号化ビデオシーケンス内で、動き制約タイルセットに属さない符号化ツリーブロックが復号されず、動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、動き制約タイルセットの各サンプルの値が、符号化ビデオシーケンス内の全てのピクチャの全ての符号化ツリーブロックが復号された時に取得されるサンプルの値と全く同じになることを示す。１に等しいｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、各タイルがタイルセットを形成することを示す。
ＪＣＴＶＣ−Ｎ００８７におけるレイヤ間制約タイルセット（ＩＬＣＴＳ）にも、動き制約タイルセットＳＥＩメッセージの同様の拡張を適用することができる。具体的には、レイヤ間のためのＪＣＴＶＣ−Ｎ００８７の構文は、全てのタイルがタイルセットである場合、ＲＯＩを伝えることができず、表２に示すように拡張される。
Figure 0006350717
 レイヤ間制約タイルセット
レイヤ間制約タイルセットＳＥＩメッセージの範囲は、ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤの完全なＣＬＶＳである。ＣＬＶＳのいずれかの符号化ピクチャにレイヤ間タイルセットＳＥＩメッセージが存在し、復号順におけるＣＬＶＳの第１の符号化ピクチャがＩＲＡＰピクチャである場合、復号順におけるＣＬＶＳの第１の符号化ピクチャにレイヤ間タイルセットＳＥＩメッセージが存在すべきであり、ＣＬＶＳの他の符号化ピクチャにも存在することができる。
ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤでは、このレイヤのいずれかのアクティブなＰＰＳについてｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、レイヤ間制約タイルセットＳＥＩメッセージは存在しない。
ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤのＣＬＶＳのピクチャの全てのアクティブなＰＰＳが、１に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを有するか、或いは１に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇによって示される条件を満たさない限り、ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤには、レイヤ間制約タイルセットＳＥＩメッセージは存在しない。
識別されたタイルセットは、レイヤ間制約タイルセットＳＥＩメッセージに含まれる構文要素の値に基づいて以下で指定されるタイルを含むｎｕｈ＿ｌａｙｅｒ＿ｉｄ ｔａｒｇｅｔＬａｙｅｒＩｄを有するピクチャ内のタイルセットとして定義される。
ｉｌｃｔｓＩｄに等しいｉｌｃｔｓ＿ｉｄ［ｉＰｒｅｄ］を含むｉＰｒｅｄ番目に識別されたタイルセットのための関連する基準タイルセットが存在する場合、この基準タイルセットは、ｉＰｒｅｄ番目に識別されたタイルセットと同じアクセスユニット内に存在する識別されたタイルセットとして定義され、ｉｌｃｔｓＩｄに等しいｉｌｃｔｓ＿ｉｄ［ｉＲｅｆ］、及び全てを含む０〜ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｔａｒｇｅｔＬａｙｅｒＩｄ］−１の範囲内のあらゆるｊの値についてのＲｅｆＬａｙｅｒＩｄ［ｔａｒｇｅｔＬａｙｅｒＩｄ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに関連付けられる。
レイヤ間制約タイルセットＳＥＩメッセージの存在は、各関連する基準タイルセットの外側のサンプル値、及び各関連する基準タイルセットの外側の１又はそれ以上のサンプル値を用いて導出される分数サンプル位置のサンプル値が、識別されたタイルセット内のいずれかのサンプルのレイヤ間予測に使用されないようにレイヤ間予測処理が制約されることを示す。
タイル境界を横切ってループフィルタリング及びリサンプリングフィルタを適用すると、ピクチャ境界ではない関連する基準タイルセット境界から８サンプル以内のサンプルを参照する識別されたタイルセット内のあらゆるサンプルのレイヤ間予測が、ミスマッチエラーを伝播することがある。エンコーダは、このような参照を引き起こす動きベクトルの使用を避けることにより、このような潜在的エラー伝播を回避することができる。
ＣＬＶＳに対して複数のレイヤ間制約タイルセットＳＥＩメッセージが存在する場合、これらは同じコンテンツを含むものとする。
各アクセスユニット内の同じＣＬＶＳに対するレイヤ間制約タイルセットＳＥＩメッセージの数は、５を超えないものとする。
１に等しいｉｌ＿ａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、ＣＬＶＳ内で、このレイヤ間制約タイルセットＳＥＩメッセージで指定されるあらゆる識別されたタイルセット内のいずれかのタイルの外側の符号化ツリーブロックが復号されず、タイルの境界が復号処理の目的でピクチャ境界として処理される場合、タイル内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの符号化ツリーブロックが全て復号された時に取得されるサンプルの値と正確に同じになることを示す。０に等しいｉｌ＿ａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、ＣＬＶＳ内で、このレイヤ間制約タイルセットＳＥＩメッセージで指定されるあらゆる識別されたタイルセット内のいずれかのタイルの外側の符号化ツリーブロックが復号されず、タイルの境界が復号処理の目的でピクチャ境界として処理される場合、タイル内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの符号化ツリーブロックが全て復号された時の同じサンプルの値と正確に同じであっても、又はそうでなくてもよいことを示す。
１に等しいｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、各識別されたタイルセットが１つのタイルを含み、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１が存在しないことを示す。ｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇが１に等しい場合、以下が適用される。
− （ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）は、２５６又はそれ以下とする。
− 全てを含む０〜（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）−１の範囲内のタイルラスタスキャン順のｉ番目のタイルのｉｌｃｔ＿ｉｄ［ｉ］の値は、２５６＋ｉに等しいと推測される。
ｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇが０に等しい場合、識別されたタイルセットが明示的に伝えられる。
ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１＋１は、ＳＥＩメッセージ内のレイヤ間識別タイルセットの数を指定する。ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１の値は、全てを含む０〜２５５の範囲内に存在するものとする。
１に等しいｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＣＬＶＳ内で、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１番目に識別されたタイルセットが、同じメッセージの以前に識別されたいずれのタイルセットにも含まれない残りのタイルを含み、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１番目に識別されたタイルセットの内側の全ての予測ブロックが、ＲｅｆＬａｙｅｒＩｄ［ｔａｒｇｅｔＬａｙｅｒＩｄ］［ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｔａｒｇｅｔＬａｙｅｒＩｄ］−１］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤ間基準ピクチャからレイヤ間予測され、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１番目に識別されたタイルセットのいずれの変換ユニットにもｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ（）構文構造が存在しないことを示す。０に等しいｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＣＬＶＳ内のビットストリーム制約を示さない。存在しない場合、ｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０に等しいと推測される。
ｉｌｃｔｓ＿ｉｄ［ｉ］は、ｉ番目に識別されたタイルセットの目的を識別するために（例えば、特定の目的で符号化ビデオシーケンスから抽出された領域を識別するために）使用できる識別番号を含む。ｉｌｃｔｓ＿ｉｄ［ｉ］の値は、全てを含む０〜２３２−２の範囲内とする。
全てを含む０〜２５５、及び全てを含む５１２〜２３１−１のｉｌｃｔｓ＿ｉｄ［ｉ］の値は、アプリケーションによって決定されたものとして使用することができる。ｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇが１に等しい場合、上記で指定した推測されるｉｌｃｔｓ＿ｉｄ［ｉ］の値に、全てを含む２５６〜５１１のｉｌｃｔｓ＿ｉｄ［ｉ］の値が使用される。そうでない場合、全てを含む２５６〜５１１のｉｌｃｔｓ＿ｉｄ［ｉ］の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによって将来的に使用できるように留保される。全てを含む２３１〜２３２−２のｉｌｓｔｓ＿ｉｄ［ｉ］の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによって将来的に使用できるように留保される。デコーダは、全てを含む２５６〜５１１の範囲、又は全てを含む２３１〜２３２−２の範囲内の指示されたｉｌｃｔｓ＿ｉｄ［ｉ］の値に遭遇すると、これを無視する（ビットストリームから除去して廃棄する）ものとする。
ｉｌ＿ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ［ｉ］＋１は、ｉ番目に識別されたタイルセット内のタイルの矩形領域の数を指定する。ｉｌ＿ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［ｉ］の値は、全てを含む０〜（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）−１の範囲内とする。
ｉｌ＿ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［ｉ］［ｊ］及びｉｌ＿ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［ｉ］［ｊ］は、タイルラスタスキャン順におけるｉ番目に識別されたタイルセットの矩形領域内の左上タイルのタイル位置、及び右下タイルのタイル位置をそれぞれ識別する。
１に等しいｉｌｅ＿ｉｄｃ［ｉ］は、あらゆる関連する基準タイルセットの外側のサンプル、及びあらゆる関連する基準タイルセットの外側の１又はそれ以上のサンプルを用いて導出された分数サンプル位置のサンプルが、内部のあらゆるサンプルのレイヤ間予測に使用されないことを示す。２に等しいｉｌｃ＿ｉｄｃ［ｉ］は、ｉ番目に識別されたタイルセット内の予測ブロックが、レイヤ間基準ピクチャから予測されないことを示す。０に等しいｉｌｃ＿ｉｄｃ［ｉ］は、レイヤ間予測処理を、ｉ番目に識別されたタイルセット内の予測ブロックのために制約しても、又はしなくてもよいことを示す。３に等しいｉｌｃ＿ｉｄｃ［ｉ］の値は留保される。
１に等しいｉｌ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ［ｉ］は、ＣＬＶＳ内で、ｉ番目に識別されたタイルセットに属していない符号化ツリーブロックが復号されず、ｉ番目に識別されたタイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、ｉ番目に識別されたタイルセット内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号された時に取得されるサンプルの値と全く同じになることを示す。０に等しいｉｌ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ［ｉ］は、ＣＬＶＳ内で、ｉ番目に識別されたレイヤ間制約タイルセットの外側の符号化ツリーブロックが復号されず、ｉ番目に識別されたタイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、ｉ番目に識別されたタイルセット内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号された時の同じサンプルの値と正確に同じであっても、又はそうでなくてもよいことを示す。
ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｐｐｓ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ、ｓａｍｐｌｅ＿ａｄａｐｔｉｖｅ＿ｏｆｆｓｅｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｓａｏ＿ｌｕｍａ＿ｆｌａｇ、及びｓｌｉｃｅ＿ｓａｏ＿ｃｈｒｏｍａ＿ｆｌａｇのいくつかの組み合わせを使用する場合には、１に等しいｉｌ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇを使用することが可能である。
１に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃは、ＣＬＶＳ内の各識別されたタイルセットについて、各関連する基準タイルセットの外側のサンプル値、及び各関連する基準タイルセットの外側の１又はそれ以上のサンプルを用いて導出される分数サンプル位置のサンプル値が、識別されたタイルセット内のあらゆるサンプルのレイヤ間予測に使用されないことを示す。２に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃは、ＣＬＶＳ内で、各識別されたタイルセットの予測ブロックが、レイヤ間基準ピクチャから予測されないことを示す。０に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃは、ＣＬＶＳ内で、レイヤ間予測処理を識別されたタイルセットのために制約しても、又はしなくてもよいことを示す。３に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃの値は留保される。ａｌｌ＿ｔｉｌｅｓ＿ｉｌｄ＿ｉｄｃが存在しない場合、０に等しいと推測される。
一時的動き制約タイルセット（一時的ＭＣＴＳ）
ＪＣＴＶＣ−Ｏ１００５における一時的動き制約タイルセット（一時的ＭＣＴＳ）ＳＥＩメッセージは、ＲＯＩの外側の符号化ツリーブロックを表示すべきでない旨を伝えるように拡張することができる。この拡張により、エンコーダは、タイル化ストリーミングのために一時的動き制約タイルセットＳＥＩメッセージを使用して、デコーダがＲＯＩのみを表示すればよい旨をデコーダに明示的に伝えることができる。一時的ＭＣＴＳ ＳＥＩメッセージは、タイル化ストリーミングのために使用することができる。タイル化ストリーミングの例では、独立して復号可能なタイルを用いてパノラマビデオをサーバ側で符号
化し、タイルの一部のみをクライアントデコーダがグレイタイル（又は低ビットレートコンテンツなどの非常に効率良く符号化できるタイル）によるＲＯＩとして要求し、デコーダにグレイタイル（又は効率的に符号化されたタイル）を表示しないように伝える。
デコーダは、ＲＯＩの外側を表示しないように伝える修正済みの一時的ＭＣＴＳ ＳＥＩメッセージを受け取ると、１）ＲＯＩの外側領域を表示しないこと、２）ＲＯＩの外側領域を所定の色に置き換えること、を選択することができる。この色は、彩度キーイングに使用して他のコンテンツと共に表示することができる。
図２に、独立して復号可能なタイルを用いてパノラマビデオをサーバ側で符号化し、タイルの一部のみをクライアントデコーダが表示目的でＲＯＩとして要求することを示す。サーバは、送信帯域幅を低減するために、ＲＯＩの外側のタイルをグレイタイルに置き換え、デコーダにグレイタイルを表示しないように伝えることができる。さらに、異なるクライアントが、サーバから異なるＲＯＩをストリーミングするように要求することができる。
一時的ＭＣＴＳ ＳＥＩメッセージは、複数の方法で修正することができる。本明細書では、複数の考えられる実施形態を説明する。いくつかの実施形態では、ＲＯＩの外側の符号化ツリーブロックを表示すべきかどうかをビットストリームで伝える。
Figure 0006350717
１に等しいＤｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔｓ＿ｏｎｌｙ＿ｆｌａｇは、全てのタイルセット内の符号化ツリーブロックを全て表示すべきであり、いずれのタイルセット内にも存在しない符号化ツリーブロックは全て表示すべきでないことを示す。０に等しいＤｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔｓ＿ｏｎｌｙ＿ｆｌａｇは、このフラグを無視すべきであることを示す。
Figure 0006350717
１に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｏｕｔｓｉｄｅ＿ｔｉｌｅ＿ｓｅｔｓ＿ｆｌａｇは、いずれのタイルセット内にも存在しない符号化ツリーブロックは全て表示すべきでないことを示す。０に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｏｕｔｓｉｄｅ＿ｔｉｌｅ＿ｓｅｔｓ＿ｆｌａｇは、このフラグを無視すべきであることを示す。
いくつかの実施形態では、ｔｅｍｐｏｒａｌ＿ｍｏｔｉｏｎ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ構文と、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ構文とが整列する。具体的には、ｎｏ＿ｄｉｓｐｌａｙ＿ｌａｓｔ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓＳＥＩメッセージ内のｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと並列の役割を有する。
Figure 0006350717
１に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｌａｓｔ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、最後のタイルが、同じメッセージ内のあらゆる以前のタイルセットに含まれていないタイルを含み、この最後のタイルを表示すべきでないことを示す。０に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｌａｓｔ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、最後のタイルセットが、同じメッセージ内の以前のタイルセットに含まれていないタイルを含んでいても、又は含んでいなくてもよいことを示す。
いくつかの実施形態では、１つのタイルセットのみが表示される。
Figure 0006350717
１に等しいｓｉｎｇｌｅ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ＿ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃ構文要素が存在することを示す。０に等しいｓｉｎｇｌｅ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ＿ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃ構文要素が存在しないことを示す。
ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃは、存在する場合、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃ−ｔｈタイルセットのみが表示対象であることを示す。ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃは、０〜ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１の範囲内とする。
Figure 0006350717
１に等しいｌｉｍｉｔｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］構文要素が存在することを指定し、１に等しいｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］を有するいずれのタイルセットにも含まれていないタイルは表示対象でないことを示す。０に等しいｌｉｍｉｔｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］構文要素が存在しないことを指定する。１に等しいｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］は、ｉ番目のタイルセットが表示対象であることを示す。０に等しいｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］は、ｉ番目のタイルセットが表示対象でないことを示す。存在しない場合、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］の値は１に等しいと推測される。
図３は、いくつかの実施形態によるタイル化ストリーミング方法のフローチャートである。ステップ３００において、ある装置（例えば、サーバ）から第２の装置（例えば、テレビ）にビデオビットストリームを送信する。ビデオビットストリームは、本明細書で説明した拡張を含むＳＥＩメッセージを含む。ＳＥＩメッセージは、全てのタイルが他のタイルと無関係に復号可能である旨を伝えることができる。ステップ３０２において、ビデオビットストリームを復号する。ステップ３０４において、復号したビデオを表示する。ステップ３０６において、ユーザが、インタラクティビティ目的でビデオのＲＯＩを選択する。ステップ３０８において、選択されたＲＯＩをユーザに提示する。いくつかの実施形態では、より少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。
図４は、いくつかの実施形態によるタイル化ストリーミング方法のフローチャートである。ステップ４００において、ＭＣＴＳ ＳＥＩメッセージでＲＯＩの位置を伝える。ステップ４０２において、ビデオ復号処理においてベースレイヤ内のＲＯＩを拡張レイヤ内のＲＯＩにマッピングする。ステップ４０４において、拡張レイヤ内の各タイルを、拡張レイヤのＭＣＴＳ内の他のタイルと無関係に復号する。いくつかの実施形態では、より少ない又はさらなるステップが実行される。
図５は、いくつかの実施形態によるタイル化ストリーミング方法のフローチャートである。ステップ５００において、どのＲＯＩを表示すべきでないかをデコーダに伝える。ステップ５０２において、どのＲＯＩを表示すべきか（例えば、ユーザによって選択されたＲＯＩ）をデコーダに伝える。ステップ５０４において、帯域幅を低減するために、表示すべきＲＯＩの外側のタイルをグレイタイルに置き換える。ステップ５０６において、ＳＥＩメッセージを生成して、一時的動き制約タイルセットの外側の符号化ツリーブロックの位置を伝える。いくつかの実施形態では、より少ない又はさらなるステップが実行される。いくつかの実施形態では、図３、図４及び図５のステップをまとめて実行することができる。例えば、図５に示すステップ５００を図３のステップと共に実行することができる。
図６は、いくつかの実施形態によるタイル化ストリーミング方法を実施するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置６００は、画像及びビデオなどの情報を取得し、記憶し、計算し、処理し、通信し、及び／又は表示するために使用することができる。一般に、コンピュータ装置６００を実装するのに適したハードウェア構造は、ネットワークインターフェイス６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏ装置６０８、バス６１０及び記憶装置６１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ６０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置６１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置６００は、１又はそれ以上のネットワークインターフェイス６０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット(登録商標)又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置６０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス、及びその他の装置のうちの１つ又はそれ以上を含むことができる。タイル化ストリーミング方法を実施するために使用される（単複の）タイル化ストリーミングアプリケーション６３０は、記憶装置６１２及びメモリ６０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置６００には、図６に示すものよりも多くの又は少ないコンポーネントを含めることができる。いくつかの実施形態では、タイル化ストリーミングハードウェア６２０が含まれる。図６のコンピュータ装置６００は、タイル化ストリーミング方法のためのアプリケーション６３０及びハードウェア６２０を含むが、タイル化ストリーミング方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、タイル化ストリーミングアプリケーション６３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、タイル化ストリーミングハードウェア６２０が、タイル化ストリーミング方法を実施するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。
いくつかの実施形態では、（単複の）タイル化ストリーミングアプリケーション６３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又はそれ以上のサブモジュールをさらに含む。いくつかの実施形態では、より少ない又はさらなるモジュールを含めることができる。
好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。
タイル化ストリーミング方法を利用するためには、デジタルビデオカメラなどの装置を使用してビデオを取得することができる。タイル化ストリーミング方法は、ビデオの取得中、又はビデオの再生中などのビデオの取得後に自動的に実施される。タイル化ストリーミング方法は、ユーザの関与を伴わずに自動的に実施することができる。
動作時に、タイル化ストリーミング方法は、ユーザが画像／ビデオの一部をインタラクティブに選択できるようにする。この拡張は、超高精細インタラクティブテレビ（ＵＨＤＴＶ）、動的高品質ズームインアプリケーション、インタラクティブオンデマンド、ｅラーニング、スマートサーベランス及びその他の多くのアプリケーションなどの様々なアプリケーションで利用されるインタラクティビティをサポートする。
インタラクティビティのための動き制約タイルセットＳＥＩメッセージの拡張のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
ａ．ビデオのビットストリームを受け取るステップと、
ｂ．装置上でビットストリームを復号するステップと、
を含み、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む、方法。
２．ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である、条項１に記載の方法。
３．ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である、条項１に記載の方法。
４．復号するステップは、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングするステップを含む、条項１に記載の方法。
５．復号するステップは、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングするステップを含む、条項１に記載の方法。
６．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項１に記載の方法。
７．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項１に記載の方法。
８．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項１に記載の方法。
９．ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される、条項１に記載の方法。
１０．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項１に記載の方法。
１１．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項１に記載の方法。
１２．補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す、条項１に記載の方法。
１３．補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す、条項１に記載の方法。
１４．システムであって、
ａ．
ｉ．ビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ように構成されたアプリケーションを記憶するように構成された非一時的メモリと、
ｂ．復号されたビットストリームを表示するように構成されたディスプレイと、
を備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む、システム。
１５．ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である、条項１４に記載のシステム。
１６．ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である、条項１４に記載のシステム。
１７．復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む、条項１４に記載のシステム。
１８．復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む、条項１４に記載のシステム。
１９．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項１４に記載のシステム。
２０．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項１４に記載のシステム。
２１．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項１４に記載のシステム。
２２．ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される、条項１４に記載のシステム。
２３．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項１４に記載のシステム。
２４．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項１４に記載のシステム。
２５．補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す、条項１４に記載のシステム。
２６．補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す、条項１４に記載のシステム。
２７．装置であって、
ａ．
ｉ．ビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ためのアプリケーションを記憶する非一時的メモリと、
ｂ．メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントと、
を備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む、装置。
２８．ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である、条項２７に記載の装置。
２９．ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である、条項２７に記載の装置。
３０．復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む、条項２７に記載の装置。
３１．復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む、条項２７に記載の装置。
３２．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項２７に記載の装置。
３３．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項２７に記載の装置。
３４．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項２７に記載の装置。
３５．ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される、条項２７に記載の装置。
３６．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項２７に記載の装置。
３７．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項２７に記載の装置。
３８．補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す、条項２７に記載の装置。
３９．補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す、条項２７に記載の装置。
４０．装置の非一時的メモリにプログラムされた方法であって、
ａ．ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取るステップと、
ｂ．装置上でビットストリームを復号するステップと、
を含み、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される、方法。
４１．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項４０に記載の方法。
４２．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項４０に記載の方法。
４３．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項４０に記載の方法。
４４．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項４０に記載の方法。
４５．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項４０に記載の方法。
４６．システムであって、
ａ．
ｉ．ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ように構成されたアプリケーションを記憶するように構成された非一時的メモリと、
ｂ．復号されたビットストリームを表示するように構成されたディスプレイと、
を備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される、システム。
４７．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項４６に記載のシステム。
４８．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項４６に記載のシステム。
４９．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項４６に記載のシステム。
５０．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項４６に記載のシステム。
５１．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項４６に記載のシステム。
５２．装置であって、
ａ．
ｉ．ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ように構成されたアプリケーションを記憶するように構成された非一時的メモリと、
ｂ．メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントと、
を備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される、装置。
５３．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項５２に記載のシステム。
５４．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項５２に記載のシステム。
５５．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項５２に記載のシステム。
５６．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項５２に記載のシステム。
５７．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項５２に記載のシステム。
本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の思想及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

Claims (12)

  1. 符号化ビットストリームを復号して、画像を生成する復号部、
    を備え、
    前記復号部は、１つ以上の動き制約タイルセットの各々について、当該動き制約タイルセットの境界がピクチャ境界として扱われる場合に、当該動き制約タイルセット内の各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するか、を示す第１の情報と、前記１つ以上の動き制約タイルセットのいずれにも属さない符号化ツリーブロックが復号されない場合に前記１つ以上の動き制約タイルセット内のタイルの各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するか、を示す第２の情報とに基づいて、前記画像を生成する、
    復号装置。
  2. 前記第１の情報及び前記第２の情報は、前記符号化ビットストリームのＳＥＩメッセージに含まれる、請求項１に記載の復号装置。
  3. 前記ＳＥＩメッセージを含む前記符号化ビットストリームを受け取る受け取り部、をさらに備える、請求項２に記載の復号装置。
  4. 前記復号部は、１つ以上のタイルを含む領域の前記画像を生成する、請求項１に記載の復号装置。
  5. 前記１つ以上のタイルを含む前記領域は、ユーザにより選択される、請求項４に記載の復号装置。
  6. 前記復号部は、符号化ツリーユニットを単位として、前記符号化ビットストリームを復号する、請求項１に記載の復号装置。
  7. 復号装置により実行される復号方法であって、
    符号化ビットストリームを復号して、画像を生成すること、
    を含み、
    前記画像は、１つ以上の動き制約タイルセットの各々について、当該動き制約タイルセットの境界がピクチャ境界として扱われる場合に、当該動き制約タイルセット内の各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するか、を示す第１の情報と、前記１つ以上の動き制約タイルセットのいずれにも属さない符号化ツリーブロックが復号されない場合に前記１つ以上の動き制約タイルセット内のタイルの各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するか、を示す第２の情報とに基づいて生成される、
    復号方法。
  8. 前記第１の情報及び前記第２の情報は、前記符号化ビットストリームのＳＥＩメッセージに含まれる、請求項７に記載の復号方法。
  9. 前記ＳＥＩメッセージを含む前記符号化ビットストリームを受け取ること、をさらに含む、請求項８に記載の復号方法。
  10. 生成される前記画像は、１つ以上のタイルを含む領域の画像である、請求項７に記載の復号方法。
  11. 前記１つ以上のタイルを含む前記領域は、ユーザにより選択される、請求項１０に記載の復号方法。
  12. 前記符号化ビットストリームは、符号化ツリーユニットを単位として復号される、請求項７に記載の復号方法。
JP2017099071A 2013-07-15 2017-05-18 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張 Active JP6350717B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201361846555P 2013-07-15 2013-07-15
US61/846,555 2013-07-15
US201361859347P 2013-07-29 2013-07-29
US61/859,347 2013-07-29
US201461923351P 2014-01-03 2014-01-03
US61/923,351 2014-01-03
US201461928107P 2014-01-16 2014-01-16
US61/928,107 2014-01-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016527023A Division JP6150011B2 (ja) 2013-07-15 2014-07-15 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018093543A Division JP6610705B2 (ja) 2013-07-15 2018-05-15 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張

Publications (2)

Publication Number Publication Date
JP2017184258A JP2017184258A (ja) 2017-10-05
JP6350717B2 true JP6350717B2 (ja) 2018-07-04

Family

ID=52277076

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016527023A Active JP6150011B2 (ja) 2013-07-15 2014-07-15 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP2017099071A Active JP6350717B2 (ja) 2013-07-15 2017-05-18 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP2018093543A Active JP6610705B2 (ja) 2013-07-15 2018-05-15 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP2019193454A Active JP6801764B2 (ja) 2013-07-15 2019-10-24 復号装置および復号方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016527023A Active JP6150011B2 (ja) 2013-07-15 2014-07-15 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018093543A Active JP6610705B2 (ja) 2013-07-15 2018-05-15 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
JP2019193454A Active JP6801764B2 (ja) 2013-07-15 2019-10-24 復号装置および復号方法

Country Status (6)

Country Link
US (3) US10368078B2 (ja)
EP (1) EP3008896B1 (ja)
JP (4) JP6150011B2 (ja)
KR (4) KR102107270B1 (ja)
CN (2) CN105359512B (ja)
WO (1) WO2015009676A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2744202T3 (pl) * 2011-08-11 2020-12-28 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
CN108650514A (zh) * 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
US9992501B2 (en) 2013-09-10 2018-06-05 Kt Corporation Method and apparatus for encoding/decoding scalable video signal
CN105723712B (zh) * 2013-10-14 2019-06-28 韩国电子通信研究院 基于多层的图像编码/解码方法和设备
US20150264368A1 (en) * 2014-03-14 2015-09-17 Sony Corporation Method to bypass re-sampling process in shvc with bit-depth and 1x scalability
US20150373341A1 (en) * 2014-06-23 2015-12-24 Cisco Technology, Inc. Techniques for Interactive Region-Based Scalability
CN107409203A (zh) * 2015-05-27 2017-11-28 谷歌公司 减小用户头戴式耳机的球形视频带宽的方法和设备
JP6642573B2 (ja) 2015-06-24 2020-02-05 ソニー株式会社 符号化装置、復号装置及び伝送制御方法
FI20165114A (fi) 2016-02-17 2017-08-18 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
EP3226561A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10565463B2 (en) * 2016-05-24 2020-02-18 Qualcomm Incorporated Advanced signaling of a most-interested region in an image
US10841566B2 (en) * 2016-05-26 2020-11-17 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
EP4336850A3 (en) * 2016-07-08 2024-04-17 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US10931980B2 (en) * 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
US10771791B2 (en) * 2016-08-08 2020-09-08 Mediatek Inc. View-independent decoding for omnidirectional video
CN107770525B (zh) * 2016-08-15 2020-07-24 华为技术有限公司 一种图像编码的方法及装置
US10917564B2 (en) * 2016-10-12 2021-02-09 Qualcomm Incorporated Systems and methods of generating and processing files for partial decoding and most interested regions
WO2018083378A1 (en) * 2016-11-01 2018-05-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN112738530B (zh) * 2016-11-17 2024-02-23 英特尔公司 全景视频的建议视口指示
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
JP2018107500A (ja) * 2016-12-22 2018-07-05 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP7018447B2 (ja) * 2017-01-05 2022-02-10 シャープ株式会社 仮想現実アプリケーション用の、動き制約タイルセットのシグナリングのためのシステム及び方法
US10944974B2 (en) 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
EP3583780B1 (en) 2017-02-17 2023-04-05 InterDigital Madison Patent Holdings, SAS Systems and methods for selective object-of-interest zooming in streaming video
US10764575B2 (en) 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
US10390030B2 (en) * 2017-03-10 2019-08-20 Raytheon Company Symbology encoding in video data
US11190724B2 (en) * 2017-03-10 2021-11-30 Raytheon Company Adaptive bitrate streaming of UHD image data
US10412395B2 (en) * 2017-03-10 2019-09-10 Raytheon Company Real time frame alignment in video data
CN116074502A (zh) * 2017-03-20 2023-05-05 Ge 视频压缩有限责任公司 生成视频数据流的装置以及生成视频数据流的方法
WO2019009473A1 (ko) * 2017-07-04 2019-01-10 엘지전자 주식회사 360도 비디오의 영역 기반 처리 방법 및 장치
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
US10798455B2 (en) * 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
US11445215B2 (en) 2017-12-28 2022-09-13 Electronics And Telecommunications Research Institute Method and device for image encoding and decoding, and recording medium having bit stream stored therein
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
US10798389B2 (en) * 2018-10-02 2020-10-06 Tencent America LLC Method and apparatus for content-aware point cloud compression using HEVC tiles
US11477445B2 (en) * 2018-12-28 2022-10-18 Hfi Innovation Inc. Methods and apparatuses of video data coding with tile grouping
CN113302930A (zh) 2019-01-09 2021-08-24 华为技术有限公司 视频译码中的时间运动约束子图像指示
WO2020181435A1 (en) * 2019-03-08 2020-09-17 Zte Corporation Null tile coding in video coding
AU2020354926A1 (en) 2019-09-24 2022-04-07 Huawei Technologies Co., Ltd. Decoded picture buffer operation for resolution changes
KR20210100853A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 이미지를 저장하는 전자 장치 및 방법
JPWO2021192764A1 (ja) * 2020-03-25 2021-09-30
CA3177367A1 (en) * 2020-03-27 2021-09-30 Wilus Institute Of Standards And Technology Inc. Method and device for processing video signal by using picture header
US11321878B2 (en) 2020-06-26 2022-05-03 Sony Group Corporation Decoded tile hash SEI message for V3C/V-PCC
US11619935B2 (en) * 2020-07-17 2023-04-04 Blue Ocean Robotics Aps Methods of controlling a mobile robot device from one or more remote user devices
CN113837171B (zh) * 2021-11-26 2022-02-08 成都数之联科技有限公司 候选区域提取方法及系统及装置及介质及目标检测方法
WO2023177098A1 (ko) * 2022-03-14 2023-09-21 현대자동차주식회사 초해상도 인루프 필터를 이용하는 비디오 코딩을 위한 방법 및 장치

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
FI114433B (fi) 2002-01-23 2004-10-15 Nokia Corp Otossiirtymän koodaaminen videokoodauksessa
EP1500002A1 (en) * 2002-04-29 2005-01-26 Sony Electronics Inc. Supporting advanced coding formats in media files
US6764556B2 (en) * 2002-05-17 2004-07-20 Shinya Myojin Copper-nickel-silicon two phase quench substrate
JP2004040351A (ja) 2002-07-02 2004-02-05 Ricoh Co Ltd 画像配信システム及び画像配信再生システム
JP2004112566A (ja) * 2002-09-20 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP2006165809A (ja) * 2004-12-03 2006-06-22 Toshiba Corp 情報処理装置
US8019175B2 (en) 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
CN101313578B (zh) 2005-09-26 2011-10-19 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US8270496B2 (en) 2005-10-12 2012-09-18 Thomson Licensing Region of interest H.264 scalable video coding
CA2633819C (en) * 2005-12-08 2016-12-06 Vidyo, Inc. Systems and methods for error resilience and random access in video communication systems
JP2007174568A (ja) * 2005-12-26 2007-07-05 Sanyo Electric Co Ltd 符号化方法
JP2007180801A (ja) 2005-12-27 2007-07-12 Fujitsu Ltd 画像符号化方法および画像符号化装置
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
JP2007235314A (ja) 2006-02-28 2007-09-13 Sanyo Electric Co Ltd 符号化方法
EP1999960A4 (en) * 2006-03-24 2011-05-18 Korea Electronics Telecomm CODING METHOD FOR REDUCING REDUNDANCY BETWEEN LAYERS USING MITION DATA OF THE FGS LAYER AND ESTABLISHMENT THEREFOR
US8184710B2 (en) * 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec
WO2008143747A2 (en) 2007-05-16 2008-11-27 Thomson Licensing Methods and apparatus for the use of slice groups in decoding multi-view video coding (mvc) information
JP5326234B2 (ja) 2007-07-13 2013-10-30 ソニー株式会社 画像送信装置、画像送信方法および画像送信システム
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
CA2755774C (en) 2009-03-19 2015-01-06 Azuki Systems, Inc. Method for scalable live streaming delivery for mobile audiences
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US20120078885A1 (en) * 2010-09-24 2012-03-29 Rovi Technologies Corporation Browsing hierarchies with editorial recommendations
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
JP5594477B2 (ja) * 2011-01-26 2014-09-24 Ｎｌｔテクノロジー株式会社 画像表示装置、画像表示方法、及びプログラム
GB2492396A (en) 2011-06-30 2013-01-02 Canon Kk Decoding a Scalable Video Bit-Stream
PL2744202T3 (pl) * 2011-08-11 2020-12-28 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
EP2749029A4 (en) * 2011-08-25 2015-01-21 Panasonic Ip Corp America METHOD AND DEVICES FOR CODING, EXTRACTION AND DECODING VIDEO CONTENT BY MEANS OF A TILE CODING SCHEME
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
KR20140092861A (ko) * 2011-10-31 2014-07-24 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
KR102145782B1 (ko) * 2011-10-31 2020-08-19 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 컴퓨터 독취 가능한 기억 매체
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
NZ616358A (en) * 2012-02-03 2015-03-27 Mediatek Inc Method and apparatus for loop filtering cross tile or slice boundaries
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method
AU2013283173B2 (en) * 2012-06-29 2016-03-24 Ge Video Compression, Llc Video data stream concept
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
WO2014047134A1 (en) * 2012-09-18 2014-03-27 Vid Scale, Inc. Region of interest video coding using tiles and tile groups
US20140098851A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated Indication of video properties
US9473779B2 (en) * 2013-03-05 2016-10-18 Qualcomm Incorporated Parallel processing for video coding
US9232225B2 (en) * 2013-03-14 2016-01-05 Chirp Inc. Low complexity and memory efficient image CODEC
CN105284114A (zh) * 2013-07-07 2016-01-27 韦勒斯标准与技术协会公司 视频信号处理方法及装置
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
JP6271888B2 (ja) * 2013-07-12 2018-01-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
SG10201604902PA (en) * 2013-07-12 2016-08-30 Sony Corp Image Decoding Device And Method
US8762555B1 (en) * 2013-07-30 2014-06-24 Google Inc. System and method for providing filtered geospatial assets
EP3138295A4 (en) * 2014-04-28 2017-09-20 ActiveVideo Networks, Inc. Systems and methods for generating a full-motion video mosaic interface for content discovery with user-configurable filters
US20200265278A1 (en) * 2019-02-19 2020-08-20 Toshiba Tec Kabushiki Kaisha Colored region barcode printing

Also Published As

Publication number Publication date
CN109862373B (zh) 2021-10-15
US10841592B2 (en) 2020-11-17
JP2020014252A (ja) 2020-01-23
US20150016504A1 (en) 2015-01-15
CN109862373A (zh) 2019-06-07
JP2016529789A (ja) 2016-09-23
KR102107286B1 (ko) 2020-05-06
JP2017184258A (ja) 2017-10-05
JP6801764B2 (ja) 2020-12-16
US10368078B2 (en) 2019-07-30
US20190246116A1 (en) 2019-08-08
KR20160019091A (ko) 2016-02-18
KR20200045012A (ko) 2020-04-29
KR20170129975A (ko) 2017-11-27
JP6150011B2 (ja) 2017-06-21
US11553190B2 (en) 2023-01-10
EP3008896A1 (en) 2016-04-20
CN105359512B (zh) 2019-05-28
EP3008896B1 (en) 2021-03-31
JP2018152889A (ja) 2018-09-27
CN105359512A (zh) 2016-02-24
US20210021839A1 (en) 2021-01-21
WO2015009676A1 (en) 2015-01-22
KR20200045013A (ko) 2020-04-29
KR102107270B1 (ko) 2020-05-06
EP3008896A4 (en) 2016-11-23
JP6610705B2 (ja) 2019-11-27

Similar Documents

Publication Publication Date Title
JP6610705B2 (ja) インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
US11778171B2 (en) Apparatus, a method and a computer program for video coding and decoding
US10390024B2 (en) Region of interest scalability with SHVC
US20180176468A1 (en) Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US10951874B2 (en) Incremental quality delivery and compositing processing
KR20190008223A (ko) 가상 현실에서의 원형 어안 비디오
US10313728B2 (en) Information processing apparatus and information processing method
JP2023159358A (ja) サブピクチャ、スライス、およびタイルをサポートするビデオ符号化
US20230308674A1 (en) Method and apparatus for encoding/decoding image on basis of cpi sei message, and recording medium having bitstream stored therein
WO2020175908A1 (ko) 시그널링된 정보에 기반한 픽처 파티셔닝 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R151 Written notification of patent or utility model registration

Ref document number: 6350717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151