JP7028398B2 - デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス - Google Patents

デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス Download PDF

Info

Publication number
JP7028398B2
JP7028398B2 JP2017221897A JP2017221897A JP7028398B2 JP 7028398 B2 JP7028398 B2 JP 7028398B2 JP 2017221897 A JP2017221897 A JP 2017221897A JP 2017221897 A JP2017221897 A JP 2017221897A JP 7028398 B2 JP7028398 B2 JP 7028398B2
Authority
JP
Japan
Prior art keywords
regions
video
signaling
video stream
independently decodable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017221897A
Other languages
English (en)
Other versions
JP2018050327A (ja
Inventor
アリーナ、マルコ
バロッカ、ジョヴァーニ
スンナ、パオラ
Original Assignee
ライ ラディオテレヴィズィオーネ イタリアーナ エッセ．ピー．アー．
エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ライ ラディオテレヴィズィオーネ イタリアーナ エッセ．ピー．アー．, エッセ．イ．エスヴィー．エアレ ソシアテ イタリアーナ ピエレ エレオ ヴィルプ デレレトロニカ エッセ．ピー．アー． filed Critical ライ ラディオテレヴィズィオーネ イタリアーナ エッセ．ピー．アー．
Publication of JP2018050327A publication Critical patent/JP2018050327A/ja
Application granted granted Critical
Publication of JP7028398B2 publication Critical patent/JP7028398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、デジタルビデオをコード化およびデコードするための方法に関し、具体的には、ビデオストリームを複数の独立したパーティションにコード化する方法、およびビデオストリームを構成する１または複数のパーティションを独立にデコードするための対応する方法に関する。
また、本発明は、ビデオストリームを複数の独立したパーティションにコード化するためのデバイス、および複数の当該パーティションのうち１または複数を独立にデコードするためのデバイスに関する。
同一のイベント、または複数のマルチメディアサービス（マルチビュービデオ、自由視聴ビデオ）のモザイクの異なる複数のビューを表す複数の独立したビデオストリームをコード化し、配信することは、長らく知られている。通常、そのような複数のマルチビュービデオを複数のユーザに配信することは、生成された複数のビューの数に一致するいくつかの独立したビデオストリームをコード化することを必要とする。
この種のコード化およびデコード方法は、例えば、文献「ＩＳＯ／ＩＥＣ１３８１８―１：２０００（Ｅ）―Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ―Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ：Ｓｙｓｔｅｍｓ」、または文献「ＩＳＯ／ＩＥＣ１４４９６―１０ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ―Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ―ｖｉｓｕａｌ ｏｂｊｅｃｔｓ Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、ならびに以下にＨ．２６４／ＡＶＣ仕様と呼ばれる、対応する文献「ＩＴＵ―Ｔ Ｈ．２６４―Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ」に記載されている。
現在、用いる複数のコード化するための方法は、配信されるビデオコンポーネントの数に等しいいくつかのビデオエンコーダを用いる必要性、配信される複数のビデオストリーム間、ならびに複数のビデオストリームと対応するオーディオストリームとの間の困難な相互同期化、独立した各ストリームをデコードするのに必要とされる類似の複数のシグナリング要素を複製する必要に起因して複数のビデオストリームを移送するのに必要とされる増大した帯域等、いくつかの欠点を有する。
一方、対応する複数のデコード方法は、送信される２またはそれより多いビューをデコードおよび表示するための複数のデコーダを用いることを必要とし、ユーザ端末アーキテクチャのより高まる複雑性およびコストをもたらす。
例えば、いわゆる「モザイク」サービスの場合のように、複数の独立したビューを配信するべく、１つのビデオストリームが用いられ得ることが知られている。１つのフレームは、複数の独立したビデオから抽出され、１つの画像に構成されたｎのフレーム、または１つのフレームに構成された３Ｄの立体的ペアの２つのコンポーネントビデオにより構成される（いわゆる「フレームパッキング構成」または「フレーム互換性フォーマット」）。通常、そのような複数の複合ビデオは、例えば、ＭＰＥＧ‐２、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ等の利用可能な複数の圧縮技術のうちいずれか１つを用いることにより、圧縮される。そのような複数の圧縮技術は、仕様に準拠したデコーダが複数のコンポーネントビデオストリームのうち１または複数を独立にデコードすることを可能にするツールを提供しない。２Ｄデコーダがデコード済みビデオから立体的ペアの２つのコンポーネントビューのうち、１つのみを抽出することを可能にする複数の方法が開発されているが、これらの方法は、コンテナフレーム全体がデコードされると、デコーダが２つのビューのうち１つのみを含むフレーム区域を切断して表示することを可能にする、好適なシグナリングを用いることに依存する。
現在、デコーダが（ユーザ選択により、または限られた計算もしくはストレージリソースに起因して）フレーム全体のうち選択されたサブセットのみをデコードすることを可能にするように、ビデオをコード化することは、不可能である。例えば、立体的ペアを構成する双方の画像に注意を払わない２Ｄデコーダが、２つのビューのうち１つ（例えば、左側）に対応する領域のみをデコードして表示し得るように、上記の複数のフレームパッキング構成のうち１つを含むビデオをコード化することは可能ではない。
これは、計算およびエネルギーリソースを浪費することを暗示する。この問題は、複数の計算リソースの過度な利用がバッテリ寿命を劇的に短くし得るモバイル端末の分野において特に意識されていることに留意されたい。
更に、デコーダは、必ずしも均一な特性を有しない１または複数のディスプレイが接続され得る、セットトップボックスまたはスマートゲートウェイ等のデバイスにおいて用いられることがある。例えば、コード化済みビデオストリームを配信ネットワーク（例えば、ＩＰネットワークまたはブロードキャスティングネットワーク）から受信し、またはストレージデバイスからのストリームを読み取るスマートゲートウェイの場合を検討されたい。当該スマートゲートウェイには、異なる複数の特性を有し得る複数のディスプレイ（例えば、ＨＤディスプレイまたはタブレット）が、複数のケーブルおよび／または無線接続を介して接続され得る。そのような場合、デコーダは、デコード済みビデオをサポートされるディスプレイの複数の特性に適合させることができるべきである。デコード済みビデオよりも低い解像度を有する１つのディスプレイのみがデコーダに接続される場合、後者は、関係する端末に最も妥当なビデオの当該部分のみをデコードすることができるべきである。
更に、現在の複数の技術は、（上記の立体的ペアの例におけるように）複数のコンポーネントビデオストリームのうち１つを自動的に識別することを可能にするのみであり、従って、追加の１または複数のコンポーネントビデオストリームの存在をデコーダに明確に示すことは不可能である。 従って、より少ないリソースを有するデコーダに「既定の」選択肢が強制され、複数の代替的コンテンツの存在を示すことができない。
更に、デコード処理中に複数の計算リソースの利用を調整することを可能にすることに加えて、１つのビデオストリームをコード化する可能性が、異なる複数のサービスモデルに応じて、ストレージおよび複数の計算リソースに関する異なる利用可能性を特徴とする複数の端末をサポートするべく、１つのビデオストリームをコード化することも可能にする。例えば、複数の４ＨＤビデオの構成（１９２０Ｘ１０８０ピクセル）を１つの４ｋ（３８４０Ｘ２１６０ピクセル）のビデオストリームとしてコード化することが考えられる。そのようなビデオについては、限られた計算リソースを有するデコーダは、複数のＨＤコンポーネントのうち１つのみを含むサブセットをデコードし得るであろう。あるいは、より強力なデコーダは、４Ｋビデオ全体をデコードし、例えば、複数のコンテンツのモザイク全体を表示し得るであろう。
本発明の１つの目的は、１または複数の異なるコンポーネントビデオストリームのうち少なくとも１つが他のものとは独立にデコードされ得るように、１または複数の異なるコンポーネントビデオストリームを１つのコンテナビデオストリームにコード化することを可能するコード化するための方法を規定することである。
本発明の別の目的は、１または複数のコンポーネントビデオストリームが１つのデコーダを用いることにより１つのコンテナビデオストリームから独立にデコードされることを可能にするデコード方法を特定することである。
本発明の更なる目的は、１または複数のコンポーネントビデオストリームが独立にデコードされることを可能にするように、複数のコンポーネントビデオストリームからなるコンテナビデオストリームをコード化するエンコーダを提供することである。
本発明のなおも別の目的は、１つのコンテナビデオストリームとしてコード化された複数のコンポーネントビデオストリームのうち少なくとも１つを独立にデコードするデコーダを提供することである。
本発明のこれらおよび更なる態様は、添付の図面を参照して、いくつかの実施形態を図示する以下の説明からより明らかになるであろう。
Ｈ．２６４／ＡＶＣ仕様による、複数のマクロブロック（「スライス」）のグループに符号分割される画像を示す。 ＨＥＶＣ仕様による、「タイル」に符号分割される画像を示す。 ４つの独立した２Ｄビデオストリームを１つのビデオストリームに構成する一例を示す。 複数の２Ｄビデオペアの形態の２つの独立した立体ビデオストリームを１つのビデオストリームに構成することを示す。 １つのビデオストリームとしてコード化された立体的ペアを構成する２つの画像のうち１つを選択的にデコードするための処理を示す。 立体ビデオストリームおよび関連する複数の奥行きマップを１つのコンテナビデオストリームに構成することを示す。 ２Ｄビデオストリームおよび立体ビデオストリームを１つのコンテナビデオストリームに構成することを示す。 ｎの独立したビデオストリームの構成により生成されたビデオストリームを構成およびコード化するための処理のブロック図である。 図８において説明されたコード化装置により生成されたビデオストリームをデコードするための方法の一例を示す。 図８によるコード化装置により生成されたビデオストリームをデコードするための更なる方法を示す。 立体ビデオストリームの２つのビューを１つのコンテナビデオストリームに構成することを示す。 立体ビデオストリームの２つのビューを１つのコンテナビデオストリームに構成することを示す。 コード化済みビデオストリームに入力されるシグナリングの構造を説明する表である。 図１２の構造のパラメータの複数の可能な値を含む表である。 図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。 図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
既存の複数のビデオコード化規格、ならびに現在規定されようとしているものは、コード化およびデコード処理を最適化する目的のために複数のデジタルビデオストリームを構成する、複数の画像を分割する可能性を提供する。図１に示されるように、Ｈ．２６４／ＡＶＣ仕様は、複数のマクロブロックのグループを作成することを可能にし、コード化される複数の画像は、スライスと呼ばれる複数の異なるタイプのグループに細分化され、次にスライスは、互いに独立にコード化される。例えば、「タイプ２」と呼ばれる細分化に関して図１に示されるように、複数のマクロブロックは、コード化済みビデオの質が、任意の「対象の領域」の位置の関数として選択的に変化することを可能にするように、任意の形状を有する複数のスライスにグループ化され得る。
これに代えて、図２は、「タイル」と呼ばれる新しいタイプの画像の細分化を示す。タイルは、新しいＩＴＵ／ＩＳＯ／ＩＥＣ ＨＥＶＣ（高能率ビデオコード化）規格の仕様に導入されている。このタイプの細分化は、ビデオストリームコード化およびデコード処理の並列化を可能とするべく、Ｈ．２６４／ＡＶＣ仕様において既に既存するスライス構造に基づいて導入された。現在では電話およびＰＣタブレット等のモバイル端末上においても利用可能な並列グラフィックプロセッサ（いわゆるＧＰＵ、グラフィック処理ユニット）の更なる普及およびより低コストにより、複数の画像フォーマットが通常は限られた計算リソースを有する端末上でも非常に高い解像度を得ることを可能にする並列化サポートツールの導入を促進した。
ＨＥＶＣ仕様は、ビデオストリームを構成する複数の画像が複数の領域にセグメント化され、相互に独立にデコードすることを可能にするようにタイルを規定している。しかし、デコード処理は、たとえ並列化されても、いまだに専ら画像全体に対して実行され、複数のセグメントは、互いに独立に用いることができない。
上記の段落で前述したように、異なる複数の端末が自動的に、またはユーザから受信した複数の命令により、ビデオのどの部分がデコードされ、視覚化用ディスプレイに送信されるべきかを決定し得るように、ビデオストリームを分割し得ることは、有用であろう。
図３、図４、図６、および図７は、この種の分割が有用であることを示し得る異なる複数の利用シナリオを図示する。
図３は、例えば、４Ｋ（３８４０Ｘ２１６０ピクセル）フォーマットであり、４つの独立したＨＤ（１９２０Ｘ１０８０ピクセル）のビデオを含み得る、コンテナビデオストリームを示す。４Ｋデコーダで装備されるユーザは、ビデオ全体をデコードおよび表示し得るが、あまり強力でないデコーダで装備されるユーザは、一回の１つのＨＤストリームに対するデコードを制限することがある。
図４は、２つの立体ビデオストリーム（２つの独立した左および右のビデオのペアの形態）のうち１つのコンテナビデオストリームが、例えば、同一のイベントの２つの異なる立体ビューを表す場合の移送を示す。同一のイベントの２つの異なる立体ビューから、ユーザは、フレーム全体を必ずしもデコードすることを要することなく（エネルギー消費に関する明らかな暗示）好ましいビューを選択し得る。
図５は、立体ビデオおよび関連する複数の奥行きマップを１つのビデオストリームに構成することを示す。この場合、立体テレビ受像機のデコーダは、画像の上半分に位置する立体的ペアの２つの画像に関する部分のみをデコードし得る。従って下部分は、デコードされない。これに代えて、周知の２Ｄ＋Ｚ技術（１つの画像に関連する奥行きマップを加える、複数の合成ビューの構成）を用いる自動立体テレビ受像機のデコーダは、例えば、画像の左半分のみをデコードし得るが、より高性能の自動立体デコーダのデコーダは、双方のビューおよび双方の奥行きマップを用いて、複数の中間的ビューを合成し得る。
図７は、画像の上半分に位置し、サイドバイサイドフォーマットの対応する立体ビューは、下部領域に位置するデュアル解像度の２Ｄビデオ（例えば、２１：９のフォーマットの表示用）の構成を示す。
ＨＥＶＣ仕様において記載されるタイル構造は、デコーダが、コンテナビデオにより移送されるコンテンツを適切に認識してデコードすることを可能にするには十分でない。この問題は、どのコンテンツが、独立にデコード可能な複数の領域の各々に移送され、それを適切にデコードおよび表示するべく、どのように続行するかを説明するシグナリングの好適なレベルを入力することにより解決され得る。
少なくとも２つの異なるシナリオが、予見され得る。第１のシナリオにおいては、１つのコンテンツと、画像が分解された複数のタイルのうち少なくとも１つとの間の関連性、およびコヒーレントビデオストリームへの可能な再構築を示すことが必要である（例えば、図１１Ａに示されるように、立体ビデオストリームは、２つのタイルに細分化され得るが、２Ｄデコーダは、１つのタイルをデコードする可能性ついて通知されなければならず、他方で３Ｄデコーダは、いずれの特定の戦略も採用せず、ストリーム全体をデコードすることがある）。これに代えて、第２のシナリオにおいては、１つのコンテンツと、画像が分解された複数のタイルの各々との間の関連性、およびコヒーレントビデオストリームへの可能な再構築が示される（例えば、立体ビデオストリームは、２つのタイルに細分化され得るが、２Ｄデコーダは、１つのタイルをデコードする可能性ついて通知されなければならず、他方で３Ｄデコーダは、ストリーム全体をデコードする必要性ついて通知されなければならない）。
提案される解決法は、複数のタイル、１または複数の特定の特性のうち少なくとも１つを示す記述子を入力することを提供する。例えば、コンテンツが２Ｄのものである場合、または立体コンテンツの場合には、そのフレームパッキング構成のタイプをシグナリングすることが可能でなければならない。更に、タイル間のあらゆる「関係」（統合デコードおよび／または表示）、ビュー識別子（例えば、マルチビューコンテンツの場合に用いられる）、および問題のビューが、立体的ペアの右側のビューもしくは左側のビューか、または奥行きマップかを記述するメッセージを示すことが所望である。
例として、解決法は、図１２の表に擬似コードとして図示されている。表は、Ｈ．２６４／ＡＶＣ仕様およびＨＥＶＣ仕様において既に利用されている複数のデータ構造体を用いることにより、コード化済みビデオストリームに入力されるシグナリングの構造を記述する。それにもかかわらず、デコーダが適切にデコードすることを可能にするように、１または複数のタイルのコンテンツが記述されることを可能にする、複数の類似シグナリング構造を採用することは、可能である。
frame_packing_arrangement_typeは、例えば、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、またはＳＭＰＴＥ仕様において一般に用いられる複数の値に対応し得るインデックスであり、そのカタログは、現在、知られており、また複数の立体ビデオフォーマットにおいて用いられている。
Tile_content_relationship_bitmaskは、各タイルについて、コード化済みビデオストリームが細分化された他の複数のタイルとの関連性を一義的に記述するビットマスクである。
content_interpretation_typeは、各タイルのコンテンツを変換するのに必要な情報を提供する。一例が図１３の表に特定されている。
２Ｄデコーダにより１つのビューのみをデコードすることを確実にするべく、立体ビデオが２つのタイルとしてコード化される上記の場合を参照すると、以下の情報は、タイル０に関連するであろう。
frame_packing_arrangement_type[0] = 3
tile_content_relationship_bitmask[0] = 11
view_id[0] = 0
content_interpretation_type[0] = 2
このタイプのシグナリングは、例えば、クロップ矩形等、他の複数のツールと一緒に、またはこれらに代えて用いられ得ることに留意されたい。好適なメタデータによりシグナリングされる矩形内のデコード済みフレームの一部をクロップすることが必須のクロップ矩形技術は、１つのフレームに入力される立体的ペアを必要とする複数のフレームパッキング構成のうちの１つの形態の立体ビデオストリームを「３Ｄ互換性のある」ものにするべく、既に一般に用いられている。図１１Ｂは、例えば、左側のビュー（図の灰色のもの）のみがクロップ矩形に含まれる、いわゆる「サイドバイサイド」のフレームパッキング構成を含むフレームを図示する。タイル分割を用いずに、２Ｄデコーダは、フレーム全体をデコードし、次にクロップを適用し、右側のビュー（図１１Ｂの白いもの）を破棄するはずである。本発明の方法を用いることにより、２つのビューをコード化し、別個のタイルとしてシグナリングすることが可能となり、それにより、２Ｄデコーダがクロップ矩形を含む区域のみをデコードすることを可能にする。
図４に示されるように、例えば、ビデオストリームが４つのタイルに分割されると仮定して、複数のタイル間の関係は、以下の複数の値により記述される。
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 3
frame_packing_arrangement_type[3] = 3
tile_content_relationship_bitmask[0] = 1100
tile_content_relationship_bitmask[1] = 1100
tile_content_relationship_bitmask[2] = 0011
tile_content_relationship_bitmask[3] = 0011
view_id[0] = 0
view_id[1] = 0
view_id[2] = 1
view_id[3] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 2
content_interpretation_type[3] = 1
このシグナリングは、タイル０および１が（frame_packing_arrangement_type = 3）とサイドバイサイドの同一の３Ｄビデオコンテンツ（tile_content_relationship_bitmask = 1100）に属することをデコーダに示す。tile_content_relationship_bitmaskの値は、デコーダが、２つのビュー（双方のタイルについてtile view_id = 0であるので、同一の立体的ペアに属する）が異なる複数のタイルに含まれる（よって、この場合に完全な解像度）ことを知ることを可能にする。content_interpretation_typeは、タイル０が左側のビューに対応するが、タイル１は、右側のビューに対応することを理解することを可能にする。 同一の考慮は、タイル１および２に適用される。
これに代えて、図６の構成は、以下のシグナリングにより記述される。
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 6
frame_packing_arrangement_type[3] = 6
tile_content_relationship_bitmask[0] = 1111
tile_content_relationship_bitmask[1] = 1111
tile_content_relationship_bitmask[2] = 1010
tile_content_relationship_bitmask[3] = 0101
view_id[0] = 1
view_id[1] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 5
content_interpretation_type[3] = 5
図４と異なり、タイル０および１に対するtile_content_relationship_bitmask isは、１１１１である。これは、全てのタイル間に関係が存在することを意味する。具体的には、タイル２および３は、タイル０（tile_content_relationship_bitmask = 1010）およびタイル１（tile_content_relationship_bitmask = 0101）にそれぞれ関連する奥行きマップ（content_interpretation_type = 5）を含む、２Ｄコンテンツ（frame_packing_arrangement_type = 6）である。
ＨＥＶＣ仕様の構文において、このタイプのシグナリングは、ＳＥＩ（補足エンハンスメント情報）メッセージ、すなわち、基本的なコード化およびデコードのメカニズムを変更することなく、デコードのみならず、次の視覚化処理にも関する、追加の複数の関数の構成を可能にするアプリケーション情報として容易にコード化され得る。代替形態として、同一のシグナリングは、フレームに対応するデータセットをデコードするのに必要な情報を含む構文要素である、ピクチャパラメータセット（ＰＰＳ）に入力され得る。図１４Ａ～図１４Ｄの表は、上記のシグナリングを入力するべく、ＨＥＶＣ規格のＰＰＳの構文にする必要がある擬似コードの形態の、太字で強調表示された複数の変更形態を含む。
連続するシーケンスのフレームに対応するデータセットをデコードするのに必要な情報を含む構文要素である、シーケンスパラメータセット（ＳＰＳ）にシグナリングを入力するべく、更なる一般化が提供され得る。
図１５Ａ～図１５Ｆの表は、上記のシグナリングを入力するべく、ＨＥＶＣのＳＰＳの構文にする必要がある擬似コードの形態の、太字で強調表示された複数の変更形態を含み、multiservice_flagは、各タイル内の複数のサービスの存在ついて通知する変数であり、num_tileは、１つのフレーム内のタイルの数である。
図５は、選択的なタイルデコード処理を図示する。ビデオストリームは、１ペアの立体ビューを含み、２つの別個のタイルにコード化される。
後者は、図４のコンテンツを表すべく用いられる、同一のシグナリングにより記述される（しかし、この場合、タイルの総数は２である）。
図８は、本発明のコード化技術を実装し得る、装置または装置のグループのブロック図である。ＮのビデオコンテンツＳ１～ＳＮは、「ソース構成器」に入力される。「ソース構成器」は、別個のコンポーネントであってもよく、または好適なエンコーダの入力ステージとして統合されてもよい。ソース構成器は、Ｎのコンポーネントビデオストリームを移送し、次にそれをエンコーダに対して出力するコンテナビデオストリームを構成する。ソース構成器は、複数のコンポーネントビデオストリームのフォーマットおよびコンテナビデオストリーム内でのその位置をエンコーダに記述するのに必要とされるシグナリングを任意選択で追加してもよい。
エンコーダは、コンテナビデオストリームを受信し、１つのコンポーネントビデオストリームの構造上にマッピングするように複数のタイルを構築し、複数のタイル、複数のコンポーネントビデオストリームの構造、およびその関係を記述するシグナリングを生成し、コンテナビデオストリームを圧縮する。「ソース構成器」が複数のコンポーネントビデオストリームを記述するシグナリングを自動的に生成しない場合、エンコーダは、オペレータにより手動でプログラミングされ得る。次に、エンコーダにより出力される圧縮済みビデオストリームは、異なるやり方、すなわち、デコーダおよび／もしくはそれが接続されるディスプレイの複数の機能特性、および／または計算リソースに応じて、複数の独立した部分を選択することによりデコードされ得る。各コンポーネントビデオストリームのオーディオは、移送のために採用されたシステム層部分の仕様に従って移送され得る。
２Ｄデコーダは、ビットストリームを解析し、２つのビューを含む２つのタイルのシグナリングを発見し、１つのタイルをデコードすることを決定し、２Ｄディスプレイと互換性のある１つの画像のみを表示する。これに代えて、３Ｄデコーダは、双方のタイルをデコードし、３Ｄディスプレイ上で立体視覚化を続行する。
同様に、図９は、ディスプレイに接続されると、表示されるビデオの複数の特性（例えば、解像度）についてネゴシエートし、それに応じて、ビデオストリームのどの部分がデコードされるべきかを自主的に決定する、デコーダを示す。この決定は、ユーザが手動で介在することによっても指示され得る。例えば、送信されるビデオが２つのタイルにコード化された立体ビデオであり、たとえ３Ｄテレビ受像機で装備されていても、ユーザがやはり当該コンテンツを２Ｄフォーマットで見ることを希望すると仮定する場合（そのような決定は、特定のリモートコントロールキーを押すことにより明らかになり得る）、デコーダは、自動的に採用したものとは異なるデコード戦略を採用し、一方でテレビ受像機と最良のディスプレイフォーマットについてネゴシエートし得る。
これに代えて、図１０は、デコーダがコード化されたストリームを受信するゲートウェイ内に位置し、異種の複数の端末をサポートしなければならず、ビデオコンテンツの異なる複数のフォーマットをサポートする可能性を特徴とする場合を示す（例えば、いくつかのデバイスは、複数の立体コンテンツを表示する能力を有し得るが、同時に、他のデバイスは、２Ｄディスプレイのみを有することがある）。ゲートウェイは、各デバイスと自動的にネゴシエートし、または各デバイスから複数の構成命令を受信し、次に、要求している各デバイスの複数の特性に適合させるように、入力コンテンツの１または複数の部分をデコードする。
従って、本発明は、２Ｄビデオフレームおよび／または３Ｄビデオフレームの複数のシーケンスから開始することによりビデオストリームを生成するための方法に関し、ビデオストリームジェネレータが、Ｎの異なるソースＳ１、Ｓ２、Ｓ３、ＳＮに由来する複数のビデオフレームを１つのコンテナビデオフレームに構成する。次に、エンコーダが、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングに入力することにより、複数のコンテナビデオフレームの単一の出力ビデオストリームをコード化する。
また、本発明は、各々が、Ｎの異なるソースＳ１、Ｓ２、Ｓ３、ＳＮに由来する複数の２Ｄビデオフレームおよび／または３Ｄビデオフレームを含む、複数のコンテナフレームのシーケンスを有するビデオストリームを再生するための方法に関する。デコーダは、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングを読み取り、複数のビデオフレームのうち少なくとも１つまたは複数のビデオフレームのサブセットを抽出し、表示用に選択された複数のビデオストリームの２Ｄビデオフレームおよび／または３Ｄビデオフレームのうち当該複数のビデオフレームを含む複数のコンテナビデオフレームのうち当該複数の部分のみをデコードすることにより、複数のビデオストリームを再生する。
［項目１］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをコード化するための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを入力する段階を備え、
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを入力する段階を更に備える、コード化するための方法。
［項目２］
上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子を入力する段階を更に備える、項目１に記載のコード化するための方法。
［項目３］
上記１または複数の独立にデコード可能な領域の各々は、タイルとしてコード化される、項目１または２に記載のコード化するための方法。
［項目４］
利用されるコード化技術は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣである、項目１または２に記載のコード化するための方法。
［項目５］
上記１または複数の独立したコンポーネント領域と上記１または複数の独立にデコード可能な領域との間の上記関連性と、上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子とを示す上記シグナリングは、ＳＥＩメッセージである、項目１から４のいずれか１項に記載のコード化するための方法。
［項目６］
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の上記関連性を示す上記シグナリング、および上記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子は、ＳＰＳシグナリングまたはＰＰＳシグナリングに入力される、項目１から３のいずれか１項に記載のコード化するための方法。
［項目７］
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の上記関連性を示す上記シグナリングは、ビットマスクからなる、項目１から６のいずれか１項に記載のコード化するための方法。
［項目８］
上記デジタルビデオストリームの上記１または複数の独立したコンポーネント領域は、１または複数の独立したビデオストリームを表す、項目１から７のいずれか１項に記載のコード化するための方法。
［項目９］
上記１または複数の独立したビデオストリームは、
１または複数の立体ビデオのペア、
複数のビデオストリームおよび複数の奥行きマップ、
フレームパッキング構成フォーマットの１または複数のビデオストリームと、
独立した複数のビデオのモザイクのフォーマットのうち１または複数とを含む、項目８に記載のコード化するための方法。
［項目１０］
上記記述子は、
フレームパッキング構成と、
コンテンツの変換タイプと、
ビューＩＤとを記述する１または複数のメタデータを含む、項目２に記載のコード化するための方法。
［項目１１］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをデコードするための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを読み取る段階を備え、
上記１または複数の独立したコンポーネント領域と、上記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを読み取る段階と、
上記１または複数の独立にデコード可能な領域の各々のコンテンツのタイプを示す記述子を読み取る段階とのうち少なくとも１つの段階を更に備え、
上記シグナリングまたは上記記述子により示された上記１または複数の独立にデコード可能な領域をデコードすることを選択する段階を更に備える、方法。
［項目１２］
デコーダは、独自の複数の計算リソースの評価に基づいて上記１または複数の独立にデコード可能な領域を選択する、項目１１に記載のデコードするための方法。
［項目１３］
デコードされる上記１または複数の独立にデコード可能な領域は、１つのディスプレイ上における表示のために利用可能にされる、項目１１に記載のデコードするための方法。
［項目１４］
デコードされる上記１または複数の独立にデコード可能な領域は、複数の異種デバイス上における表示のために利用可能にされる、項目１１に記載のデコードするための方法。
［項目１５］
デコードされる上記１または複数の独立にデコード可能な領域を選択する上記段階は、外部制御信号により決定される、項目１１から１４のいずれか１項に記載のデコードするための方法。
［項目１６］
上記制御信号は、１または複数のディスプレイとディスプレイフォーマットについてネゴシエートする処理の結果として自動的に生成される、項目１５に記載のデコードするための方法。
［項目１７］
上記制御信号は、ユーザによりディスプレイフォーマットを手動で選択する処理の結果として生成される、項目１５に記載のデコードするための方法。
［項目１８］
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームを生成するためのデバイスであって、
複数のコンポーネントビデオストリームを１つのビデオストリームに構成するためのソース構成器と、
項目１から１０のいずれか１項に記載のコード化するための方法を実装するビデオエンコーダとを備える、デバイス。
［項目１９］
上記ソース構成器および上記ビデオエンコーダのうち少なくとも１つは、複数のプログラミングコンポーネントとして実装される、項目１８に記載の生成デバイス。
［項目２０］
項目１１から１４のいずれか１項に記載のデコードするための方法を実行する読み取り手段および選択手段を備える、デコードデバイス。
［項目２１］
項目２０に記載のデコードデバイスを備え、
デコードされた上記１または複数の独立にデコード可能な領域を表示するべく、自動的に、または手動で選択する手段を更に備える、ビデオストリーム処理デバイス。
［項目２２］
項目２１に記載のビデオストリーム処理デバイスを備え、
好適なネゴシエーション処理により、デコードされた上記１または複数の独立にデコード可能な領域のディスプレイフォーマットを選択する手段を更に備える、スマートゲートウェイ。

Claims (23)

  1. ビデオストリーム受信機ユニットおよびビデオエンコーダを備えるビデオストリームジェネレータにおいてデジタルビデオストリームを生成するための方法であって、前記ビデオストリームジェネレータは、複数の独立したエンコードされた領域を含むコンテナビデオストリームを生成し、前記方法は、
    前記ビデオストリーム受信機ユニットにより、３またはそれより多いコンポーネントビデオストリームを複数のビデオソースから受信する段階と、
    前記３またはそれより多いコンポーネントビデオストリームを、前記コンテナビデオストリームの３またはそれより多い独立にデコード可能な領域にマッピングする段階と、
    前記ビデオエンコーダにより、前記３またはそれより多いコンポーネントビデオストリームの各々と、前記３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示すシグナリングを入力する段階であって、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多いコンポーネントビデオストリームのそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多いコンポーネントビデオストリームのいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかと関連付けられ得る、段階と、
    前記シグナリングを有するデジタルビデオストリームを出力する段階と
    を備える方法。
  2. 前記３またはそれより多いコンポーネントビデオストリームのコンテンツのタイプを示す記述子を、前記ビデオエンコーダにより前記デジタルビデオストリームに入力する段階を更に備える、請求項１に記載の方法。
  3. 前記３またはそれより多い独立にデコード可能な領域の各々は、前記ビデオエンコーダにより、タイルとしてコード化される、請求項１または２に記載の方法。
  4. 前記ビデオエンコーダにより利用されるコード化技術は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣである、請求項１または２に記載の方法。
  5. 前記３またはそれより多いコンポーネントビデオストリームと前記３またはそれより多い独立にデコード可能な領域との間の前記関連性と、前記３またはそれより多いコンポーネントビデオストリームのコンテンツのタイプを示す前記記述子とを示す、前記ビデオエンコーダにより前記デジタルビデオストリームに入力された前記シグナリングは、補足エンハンスメント情報（ＳＥＩ）メッセージである、請求項２に記載の方法。
  6. 前記３またはそれより多いコンポーネントビデオストリームと前記３またはそれより多い独立にデコード可能な領域との間の前記関連性と、前記３またはそれより多いコンポーネントビデオストリームのコンテンツのタイプを示す前記記述子とを示す前記シグナリングは、前記ビデオエンコーダにより、シーケンスパラメータセット（ＳＰＳ）シグナリングまたはピクチャパラメータセット（ＰＰＳ）シグナリングに入力される、請求項２に記載の方法。
  7. 前記３またはそれより多いコンポーネントビデオストリームと、前記３またはそれより多い独立にデコード可能な領域との間の前記関連性を示す、前記ビデオエンコーダにより前記デジタルビデオストリームに入力された前記シグナリングは、ビットマスクを含む、請求項１から６のいずれか一項に記載の方法。
  8. 前記３またはそれより多いコンポーネントビデオストリームは、
    １または複数の立体ビデオのペア、
    複数のビデオストリームおよび複数の奥行きマップ、
    フレームパッキング構成フォーマットの１または複数のビデオストリーム、
    独立した複数のビデオのモザイク
    のフォーマットのうちの１または複数とを含む、請求項１から７のいずれか一項に記載の方法。
  9. 前記記述子は、
    フレームパッキング構成と、
    コンテンツの変換タイプと、
    ビューＩＤと
    を記述する１または複数のメタデータを含む、請求項２、５および６のいずれか一項に記載の方法。
  10. 請求項１から９のいずれか一項に記載の方法を実行するビデオストリームジェネレータ。
  11. シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにより、コンテナビデオストリームに含まれる３またはそれより多いコンポーネントビデオストリームを含むエンコードされたデジタルビデオストリームをデコードするための方法であって、
    前記シグナリングデコーダが、前記３またはそれより多いコンポーネントビデオストリームの各々と、前記コンテナビデオストリームの３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多いコンポーネントビデオストリームは複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多いコンポーネントビデオストリームのそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多いコンポーネントビデオストリームのいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかに関連付けられ得る、段階と、
    前記シグナリングデコーダが、前記コンテナビデオストリームの前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
    前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
    前記ビデオデコーダにより、前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
    を備える、方法。
  12. シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにおいて、３またはそれより多い独立したコンポーネント領域を含むエンコードされたデジタルビデオストリームをデコードするための方法であって、
    前記シグナリングデコーダが、前記３またはそれより多い独立したコンポーネント領域の各々と、３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多い独立したコンポーネント領域のいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかに関連付けられ得る、段階と、
    前記シグナリングデコーダが、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
    前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
    前記ビデオデコーダにより前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
    を備え、
    前記３またはそれより多い独立したコンポーネント領域と前記３またはそれより多い独立にデコード可能な領域との間の関連性と、前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子とを示す前記シグナリングは、補足エンハンスメント情報（ＳＥＩ）メッセージから読み取られる、方法。
  13. シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにおいて、３またはそれより多い独立したコンポーネント領域を含むエンコードされたデジタルビデオストリームをデコードするための方法であって、
    前記シグナリングデコーダが、前記３またはそれより多い独立したコンポーネント領域の各々と、３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記３またはそれより多い独立にデコード可能な領域は、エンコードされたデジタルビデオストリームを前記３またはそれより多い独立したコンポーネント領域に分割し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含む、段階と、
    前記シグナリングデコーダが、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
    前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
    前記ビデオデコーダにより前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
    を備える、方法。
  14. 前記ビデオデコーダは、独自の複数の計算リソースの評価に基づいて、前記３またはそれより多い独立にデコード可能な領域のうちの１または複数を選択する、請求項１１から１３のいずれか一項に記載の方法。
  15. 前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、１つのディスプレイ上の表示のために利用可能にされる、請求項１１から１４のいずれか一項に記載の方法。
  16. 前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、複数の異種デバイス上の表示のために利用可能にされる、請求項１１から１５のいずれか１項に記載の方法。
  17. デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記ビデオデコーダに関連し、前記ビデオデコーダによりデコードされたビデオデータを表示するように構成されるディスプレイデバイスとの自動的なネゴシエーションに基づいて決定される、請求項１１から１６のいずれか１項に記載の方法。
  18. デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記ビデオデコーダに関連するまたはディスプレイデバイスに関連するリモートコントロールデバイスを用いて実行されるユーザによる、前記ビデオデコーダに関連する前記ディスプレイデバイス上のディスプレイフォーマットの手動選択に基づいて決定される、請求項１１から１６のいずれか１項に記載の方法。
  19. コンテナビデオストリームに含まれる３またはそれより多いコンポーネントビデオストリームを含むデジタルビデオストリームをデコードするデコードデバイスであって、
    前記３またはそれより多いコンポーネントビデオストリームと、前記コンテナビデオストリームの３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多いコンポーネントビデオストリームは複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多いコンポーネントビデオストリームのそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多いコンポーネントビデオストリームのいずれかは、一義的な記述により前記コンテナビデオストリームの前記３またはそれより多い独立にデコード可能な領域のうちのいずれかと関連付けられ得る、シグナリングデコーダと、
    デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
    前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードすることを選択するように構成される選択ユニットと、
    と備え、
    前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力する、デコードデバイス。
  20. ３またはそれより多い独立したコンポーネント領域を含むデジタルビデオストリームをデコードするデコードデバイスであって、
    前記３またはそれより多い独立したコンポーネント領域と、３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含み、前記３またはそれより多い独立したコンポーネント領域のいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のうちのいずれかと関連付けられ得る、シグナリングデコーダと、
    デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
    前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードするために選択するように構成される選択ユニットと、
    と備え、
    前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力し、
    前記３またはそれより多い独立したコンポーネント領域と前記３またはそれより多い独立にデコード可能な領域との間の関連性と、前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子とを示す前記シグナリングは、補足エンハンスメント情報（ＳＥＩ）メッセージから読み取られる、デコードデバイス。
  21. ３またはそれより多い独立したコンポーネント領域を含むデジタルビデオストリームをデコードするデコードデバイスであって、
    前記３またはそれより多い独立したコンポーネント領域と、３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記３またはそれより多い独立にデコード可能な領域は、エンコードされたデジタルビデオストリームを前記３またはそれより多い独立したコンポーネント領域に分割し、前記シグナリングは、前記３またはそれより多い独立にデコード可能な領域のそれぞれについて、前記３またはそれより多い独立したコンポーネント領域のそれぞれに関する他の独立にデコード可能な領域との関連性が存在するか否かを示す一義的な記述を含む、シグナリングデコーダと、
    デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
    前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードするために選択するように構成される選択ユニットと、
    と備え、
    前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力する、デコードデバイス。
  22. 前記選択ユニットは、前記デコードデバイスによりデコードされた前記独立にデコード可能な領域の前記セットを、前記デコードデバイスに関連するディスプレイデバイス上の表示のために自動的に又は手動で選択するように更に構成される、請求項１９から２１のいずれか一項に記載のデコードデバイス。
  23. 前記選択ユニットは、前記デコードデバイスによりデコードされた前記独立にデコード可能な領域のセットを含むディスプレイフォーマットを、前記デコードデバイスに関連するディスプレイデバイスとのネゴシエーション処理を用いて選択するように更に構成される、請求項１９から２１のいずれか一項に記載のデコードデバイス。
JP2017221897A 2012-10-15 2017-11-17 デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス Active JP7028398B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IT000901A ITTO20120901A1 (it) 2012-10-15 2012-10-15 Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
ITTO2012A000901 2012-10-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015536276A Division JP2015535148A (ja) 2012-10-15 2013-10-14 デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス

Publications (2)

Publication Number Publication Date
JP2018050327A JP2018050327A (ja) 2018-03-29
JP7028398B2 true JP7028398B2 (ja) 2022-03-02

Family

ID=47471945

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015536276A Pending JP2015535148A (ja) 2012-10-15 2013-10-14 デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
JP2017221897A Active JP7028398B2 (ja) 2012-10-15 2017-11-17 デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015536276A Pending JP2015535148A (ja) 2012-10-15 2013-10-14 デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス

Country Status (14)

Country Link
US (2) USRE49786E1 (ja)
EP (1) EP2907306B1 (ja)
JP (2) JP2015535148A (ja)
KR (1) KR102126813B1 (ja)
CN (1) CN104813657B (ja)
AR (1) AR093026A1 (ja)
DK (1) DK2907306T3 (ja)
ES (1) ES2856077T3 (ja)
HU (1) HUE052945T2 (ja)
IT (1) ITTO20120901A1 (ja)
PL (1) PL2907306T3 (ja)
SI (1) SI2907306T1 (ja)
TW (1) TWI555383B (ja)
WO (1) WO2014060937A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887663B1 (en) 2012-09-29 2017-02-22 Huawei Technologies Co., Ltd. Method, apparatus and system for encoding and decoding video
US10567765B2 (en) * 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
WO2017135672A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN107770601B (zh) * 2016-08-16 2021-04-02 上海交通大学 一种面向多媒体内容组件个性化呈现的方法及系统
US10623635B2 (en) * 2016-09-23 2020-04-14 Mediatek Inc. System and method for specifying, signaling and using coding-independent code points in processing media contents from multiple media sources
CN111459441B (zh) * 2020-04-25 2020-11-10 薪得付信息技术(山东)有限公司 一种信息显示方法、装置及电子设备
EP4017001A1 (en) * 2020-12-17 2022-06-22 Axis AB Method and digital video camera for forming a combined image frame of a combined video stream
CN115706808B (zh) * 2021-08-06 2024-06-11 北京猿力未来科技有限公司 视频处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124200A (ja) 2003-10-16 2005-05-12 Sharp Corp 三次元ビデオ符号化に関するシステム及び方法
JP2010527217A (ja) 2007-05-16 2010-08-05 トムソン ライセンシング マルチビュー・ビデオ符号化（ｍｖｃ）情報の復号化においてスライス群を使用する方法及び装置
JP2011109397A (ja) 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11346370A (ja) 1998-06-02 1999-12-14 Matsushita Electric Ind Co Ltd 符号化方法、符合化装置、復号方法、復号装置、及び記録媒体
JP2004007266A (ja) 2002-05-31 2004-01-08 Sony Corp 画像符号化装置及び方法、画像復号装置及び方法、並びにプログラム及び記録媒体
WO2008054100A1 (en) * 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
US20100027618A1 (en) * 2006-12-11 2010-02-04 Kazunori Ozawa Media transmitting/receiving method, media transmitting method, media receiving method, media transmitting/receiving apparatus, media transmitting apparatus, media receiving apparatus, gateway apparatus, and media server
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
JP2009100071A (ja) * 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
WO2009136681A1 (en) * 2008-05-08 2009-11-12 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for displaying image
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
CN101404765B (zh) * 2008-10-24 2010-12-08 宁波大学 一种交互式多视点视频编码方法
IT1397591B1 (it) * 2009-12-21 2013-01-16 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
US8908774B2 (en) * 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
IT1401731B1 (it) * 2010-06-28 2013-08-02 Sisvel Technology Srl Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
MX2013004068A (es) 2010-10-25 2013-05-22 Panasonic Corp Metodo de codificacion, dispositivo de visualizacion, metodo de codificacion.
IT1402995B1 (it) * 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124200A (ja) 2003-10-16 2005-05-12 Sharp Corp 三次元ビデオ符号化に関するシステム及び方法
JP2010527217A (ja) 2007-05-16 2010-08-05 トムソン ライセンシング マルチビュー・ビデオ符号化（ｍｖｃ）情報の復号化においてスライス群を使用する方法及び装置
JP2011109397A (ja) 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ ＩＴＵ－Ｔ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮ ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ ＳＥＴＣＯＲ ＯＦ ＩＴＵ Ｈ．２６４（０１／２０１２） ＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ － Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６４，２０１２年１月，ｐｐ．３６５－３７４
Ｘｉａｏｆｅｎｇ Ｙａｎｇ， ｅｔ ａｌ．，２Ｄ ｃｏｍｐａｔｉｂｌｅ ｆｒａｍｅ ｐａｃｋｉｎｇ ｓｔｅｒｅｏ ３Ｄ ｖｉｄｅｏ，Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ－ＶＣ） ｏｆ ＩＴＵ－Ｔ ＳＧ １６ ＷＰ ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１ １１ｔｈ Ｍｅｅｔｉｇ：Ｓｈａｎｇｈａｉ，ＣＮ，１０－１９ Ｏｃｔ．２０１２ Ｄｏｃｕｍｅｎｔ：ＪＣＴＶＣ－Ｋ０１１６，２０１２年 ９月２９日，ＵＲＬ，ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴＶＣ－Ｋ０１１６－ｖ１．ｚｉｐ

Also Published As

Publication number Publication date
EP2907306A1 (en) 2015-08-19
CN104813657A (zh) 2015-07-29
KR20150074040A (ko) 2015-07-01
WO2014060937A1 (en) 2014-04-24
US9961324B2 (en) 2018-05-01
DK2907306T3 (da) 2021-03-01
CN104813657B (zh) 2018-12-21
HUE052945T2 (hu) 2021-05-28
JP2018050327A (ja) 2018-03-29
JP2015535148A (ja) 2015-12-07
USRE49786E1 (en) 2024-01-02
SI2907306T1 (sl) 2021-04-30
ITTO20120901A1 (it) 2014-04-16
EP2907306B1 (en) 2020-12-02
KR102126813B1 (ko) 2020-06-26
ES2856077T3 (es) 2021-09-27
US20150281669A1 (en) 2015-10-01
AR093026A1 (es) 2015-05-13
PL2907306T3 (pl) 2021-06-14
TW201419874A (zh) 2014-05-16
TWI555383B (zh) 2016-10-21

Similar Documents

Publication Publication Date Title
JP7028398B2 (ja) デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
JP6587025B2 (ja) 情報処理装置および方法
TWI520575B (zh) 用於視訊寫碼之訊框封裝立體三維（３ｄ）視訊資料之指示
TWI552574B (zh) 用於高效率視訊寫碼（ｈｅｖｃ）及延伸之視訊參數集合
JP6040932B2 (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
US20230043987A1 (en) Image processing apparatus and method
KR101265990B1 (ko) 비디오 파일 처리 시스템 및 방법
EP3888375A1 (en) Method, device, and computer program for encapsulating media data into a media file
JP2021536163A (ja) サブピクチャ時限メタデータ情報をシグナリングするシステム及び方法
KR20120127605A (ko) 디지털 비디오 스트림 내부의 정보 및/또는 애플리케이션 데이터를 전달하기 위한 방법, 및 이러한 비디오 스트림을 생성하고 재생하기 위한 관련 디바이스들
CN116601963A (zh) 生成/接收包括nal单元阵列信息的媒体文件的方法和装置及发送媒体文件的方法
JP2021521676A (ja) 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181010

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200324

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201012

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201023

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201027

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201228

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210105

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210907

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211019

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20211213

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211214

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220118

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220203

R150 Certificate of patent or registration of utility model

Ref document number: 7028398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150