JP7348962B2 - メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム - Google Patents

メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP7348962B2
JP7348962B2 JP2021568664A JP2021568664A JP7348962B2 JP 7348962 B2 JP7348962 B2 JP 7348962B2 JP 2021568664 A JP2021568664 A JP 2021568664A JP 2021568664 A JP2021568664 A JP 2021568664A JP 7348962 B2 JP7348962 B2 JP 7348962B2
Authority
JP
Japan
Prior art keywords
track
extractor
media
constructor
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021568664A
Other languages
English (en)
Other versions
JP2022546894A (ja
Inventor
フレデリック マゼ，
フランク ドゥヌアル，
ナエル ウエドラオゴ，
フェーブル， ジャン ル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2022546894A publication Critical patent/JP2022546894A/ja
Application granted granted Critical
Publication of JP7348962B2 publication Critical patent/JP7348962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はメディアデータをカプセル化し、伝送するための方法および装置に関する。
国際標準化機構ベースメディアファイルフォーマット(ISO BMFF、ＩＳＯ／ＩＥＣ １４４９６－１２）は、ローカル記憶のため、またはネットワークを介するか、または別のビットストリーム配信機構を介する送信のために、符号化されたタイムド（timed）またはノンタイムド（non-timed)メディアデータをカプセル化、及び、記述する周知の柔軟かつ拡張可能なファイルフォーマットである。拡張の一例は、様々なＮＡＬ(Network Abstraction Layer:ネットワーク抽象化レイヤ）ユニットベースのビデオ符号化フォーマットのためのカプセル化ツールを記述するＩＳＯ／ＩＥＣ １４４９６－１５である。このような符号化フォーマットの例は、AVC(Advanced Video Coding)、SVC(Scalable Video Coding)、HEVC(High Efficiency Video Coding)、およびL-HEVC(Layered HEVC)である。ファイルフォーマット拡張の別の例は、HEVC Still Imageのような静止画像または静止画像のシーケンスのためのカプセル化ツールを記述するＩＳＯ／ＩＥＣ ２３００８－１２である。ファイルフォーマット拡張の別の例は、全方向メディアアプリケーションフォーマット（ＯＭＡＦ）を定義するＩＳＯ／ＩＥＣ ２３０９０－２である。ISO Base Mediaファイルフォーマットはオブジェクト指向である。これは、ボックスと呼ばれる構成要素（または固有のタイプ識別子（通常は４文字のコードで、ＦｏｕｒＣＣまたは４ＣＣと記されている）によって特徴付けられるデータ構造）で構成される。フルボックス（Full boxes）は、ｖｅｒｓｉｏｎ 属性とフラグ値属性に加えて構成されるボックスに似たデータ構造である。以下では、ボックスという用語がフルボックスまたはボックスの両方を指定することができる。これらのボックスまたはフルボックスは、ＩＳＯＢＭＦＦファイルの中で階層的にまたは順番に編成され、符号化されたタイミングまたは非タイミングのメディアデータ、その構造およびタイミング（もしあれば）を記述するパラメータを定義する。カプセル化されたメディアファイル内のすべてのデータ（メディアデータと、メディアデータを記述するメタデータ）は、ボックスに含まれている。ファイル内に他のデータがない。ファイルレベルのボックスは、他のボックスに含まれていないボックスである。
ファイルフォーマットでは、メディア全体のプレゼンテーションはムービーと呼ばれる。ムービーは、ファイルの最上位にムービーボックス（４文字のコード“moov”）で記述される。このムービーボックスは、メディアプレゼンテーションを記述する様々なボックスの集合を含む初期化情報コンテナを表す。論理的には、それはトラックボックスで表されるトラックに分割される（４文字のコード“trak”）。各トラック（トラック識別子（ｔｒａｃｋ_ID）によって一意に識別される）は、プレゼンテーションに属するメディアデータのタイムドシーケンス(timed sequence)（ビデオサンプルまたはオーディオサンプルのフレームなど）を表す。各トラック内で、データのタイムド単位はサンプルと呼ばれる。これは、ビデオ、オーディオ、またはタイムドメタデータのフレームの場合がある。サンプルは、復号順序シーケンスにおいて暗黙的に番号付けされる。各トラックボックスは、トラックのサンプルを記述するボックスの階層を含む。たとえば、サンプルテーブルボックス（“ｓｔｂｌ”）は、トラック内のメディアサンプルのすべての時間とデータのインデックスを含む。実際のサンプルデータは、ムービーボックスと同じレベルで、メディアデータボックス(Media Data Boxes)(４文字コード“mdat”）または識別メディアデータボックス(Identfied Media Data Boxes)（メディアデータボックスと同様であるが、追加の識別子を含む４文字コード“imda”）と呼ばれるボックスに保存される。ムービーは全体のプレゼンテーションのための情報を含むムービーボックスとして結合編成することができ、その後にメディアフラグメントのリスト、すなわち、いくつかのムービーフラグメントおよびメディアデータボックス（「ｍｄａｔ」または「ｉｍｄａ」）のリストが続く。ムービーフラグメント（４ 文字コード“ｍｏｏｆ”のボックス） 内には、メディアフラグメント内のトラック（ムービーフラグメントあたり０ 個以上） を記述する一連のトラックフラグメント（４ 文字コード“ｔｒａｆ” のボックス） がある。トラック・フラグメントは次に、０個以上のトラックランボックス(track run boxes)（“ｔｒｕｎ”）を含み、各トラックランボックスは、そのトラックフラグメントに対するサンプルの連続したランを文書化する。
ＩＳＯＢＭＦＦファイルは、複数のトラックを形成する符号化タイムドメディアデータまたは符号化タイムドメディアデータのサブパートを含むことがある。サブパートが、或る時間にわたって撮られたビデオソースの１つまたは連続する空間パートに対応する場合（例えば、ある時間にわたって撮られた「タイル」または「サブピクチャ」と呼ばれることもある少なくとも１つの矩形領域）、対応する複数のトラックは、タイルトラックまたはサブピクチャトラックと呼ばれることがある。ＩＳＯＢＭＦＦおよびその拡張は、トラック、静的アイテム、またはサンプルを一緒にグループ化するためのいくつかのグループ化機構を含む。グループは、通常、共通の意味および／または特性を共有する。
本発明者らは特に１つのトラックが別のトラックを参照しているときの複数のトラックについて、送信すべきメディアデータに関する情報を記述し、シグナリングするときの、いくつかの問題に気付いた。
一例は、特に、シグナリングがトラック全体にわたってほとんど反復された値を含む場合に、別のトラックで参照されるデータエンティティのシグナリングのコストを低減することを含む。
別の例は、抽出器（extractor)を介して取得されるデータエンティティのＮＡＬユニット長のシグナリングを最適化することに関する。
既存のソリューションは、複雑であるか、または明確に定義されていない。
本発明は、前述の問題のうちの１以上に対処するように考案されている。
この文脈では、例えば、ｈｔｔｐプロトコルを使用するインターネットのようなＩＰネットワーク上で、メディアコンテンツ（例えば、全方向メディアコンテンツ）をストリーミングするための解決策が提供されている。
本発明の第１の態様によれば、メディアデータをメディアファイルにカプセル化する方法が提案される。そして、この方法は、
前記メディアファイルに、メディアサンプルを有する第１のトラックを含めることと、
前記メディアファイルに、エクストラクタを有する第２のトラックを含めることと、
ここで前記エクストラクタは、前記第１のトラックに含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも第１のコンストラクタを有する、
前記方法は、更に、
デフォルトコンストラクタを前記第２のトラックに含めることを有し、
前記コンストラクタは、前記デフォルトコンストラクタを参照する参照コンストラクタである。
実施形態においては、前記デフォルトコンストラクタは前記第２のトラックのメタデータ部に含まれる。
実施形態においては、前記第２のトラック内の前記デフォルトコンストラクタは、デフォルトコンストラクタのリストとして含まれており、前記参照コンストラクタは前記リストのインデックスを有する。
実施形態においては、前記デフォルトコンストラクタは、前記第２のトラックの前記メタデータ部のサンプルエントリに含まれる。
実施形態においては、前記デフォルトコンストラクタは、前記第２のトラックのサンプルグループを記述するサンプルグループエントリ内に含まれ、前記エクストラクタは前記サンプルグループのサンプル内に含まれる。
本発明の他の態様によれば、メディアデータをメディアファイルにカプセル化する方法が提案される。そして、この方法は、
前記メディアファイルに、メディアサンプルを有する第１のトラックを含めることと、
前記メディアファイルに、エクストラクタを有する第２のトラックを含めることと、
ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、
前記方法は、更に、
デフォルトエクストラクタを前記第２のトラックに含めることを有し、
前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタを参照する参照エクストラクタである。
本発明の他の態様によれば、メディアデータをメディアファイルにカプセル化する方法が提案される。そして、この方法は、
前記メディアファイルに、メディアサンプルを有する第１のトラックを含めることと、
ここで、各メディアサンプルは１以上のＮＡＬユニットのセットを含む；
前記メディアファイルに、エクストラクタを有する第２のトラックを含めること、
ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも１つのコンストラクタを有する；
前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドも有さないことを示す情報とを有する。
本発明の他の態様によれば、メディアファイル内へのメディアデータを構文解析する方法が提案される。そして、この方法は、
前記メディアファイル内の、メディアサンプルを有する第１のトラックを得ることと、
前記メディアファイル内の、エクストラクタを有する第２のトラックを得ることと、
ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくも１つのコンストラクタを有する、
前記方法は、更に、
前記第２のトラック内のデフォルトコンストラクタを得ること、
前記コンストラクタは、前記デフォルトコンストラクタを参照する参照コンストラクタであり、
前記デフォルトコンストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得ることを有する。
本発明の他の態様によれば、メディアファイル内へのメディアデータを構文解析する方法が提案される。そして、この方法は、
前記メディアファイル内の、メディアサンプルを有する第１のトラックを得ることと、
前記メディアファイル内の、エクストラクタを有する第２のトラックを得ることと、
ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、
前記方法は、更に、
前記第２のトラック内のデフォルトエクストラクタを得ること、
前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタコを参照する参照エクストラクタであり、
前記デフォルトエクストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得ることを有する。
本発明の他の態様によれば、メディアファイル内へのメディアデータを構文解析する方法が提案される。そして、この方法は、
前記メディアファイル内の、メディアサンプルを有する第１のトラックを得ることと、
ここで各メディアサンプルは、１以上のＮＡＬユニットのセットを含む；
前記メディアファイル内の、エクストラクタを有する第２のトラックを得ることと、
ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくとも１つのコンストラクタを有する；
前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドをも有さないことを示す情報とを有する。
本発明の他の態様によれば、プログラマブル装置用のコンピュータプログラム製品が提案される。このコンピュータプログラム製品は、
前記プログラマブル装置によってロードされ実行されたときに、本発明に従った方法を実行するための命令シーケンスを有する。
本発明の他の態様によれば、本発明に従った方法を実行させるためのコンピュータプログラムの命令を記憶する、コンピュータ可読記憶媒体が提案される。
本発明の他の態様によれば、本発明に従った方法を実行させるためのコンピュータプログラムが提案される。
本発明の他の態様によれば、メディアデータをメディアファイルにカプセル化するデバイスが提案される。そして、前記デバイスはプロセッサを有し、当該プロセッサは、
前記メディアファイルに、メディアサンプルを有する第１のトラックを含め、
前記メディアファイルに、エクストラクタを有する第２のトラックを含め、
ここで前記エクストラクタは、前記第１のトラックに含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも第１のコンストラクタを有する、
前記方法は、更に、
デフォルトコンストラクタを前記第２のトラックに含め、
前記デフォルトコンストラクタを参照する参照コンストラクタを、前記エクストラクタに含める。
本発明の他の態様によれば、メディアデータをメディアファイルにカプセル化するデバイスが提案される。そして、前記デバイスはプロセッサを有し、当該プロセッサは、
前記メディアファイルに、メディアサンプルを有する第１のトラックを含め、
前記メディアファイルに、エクストラクタを有する第２のトラックを含め、
ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、
前記方法は、更に、
デフォルトエクストラクタを前記第２のトラックに含め、
前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタを参照する参照エクストラクタである。
本発明の他の態様によれば、メディアデータをメディアファイルにカプセル化するデバイスが提案される。そして、前記デバイスはプロセッサを有し、当該プロセッサは、
前記メディアファイルに、メディアサンプルを有する第１のトラックを含め、
ここで、各メディアサンプルは１以上のＮＡＬユニットのセットを含む；
前記メディアファイルに、エクストラクタを有する第２のトラックを含め、
ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも１つのコンストラクタを有する；
前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドも有さないことを示す情報とを有する。
本発明の他の態様によれば、メディアファイル内へのメディアデータを構文解析するデバイスが提供される。そして、このデバイスは、プロセッサを有し、当該プロセッサは、
前記メディアファイル内の、メディアサンプルを有する第１のトラックを得て、
前記メディアファイル内の、エクストラクタを有する第２のトラックを得て、
ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくも１つのコンストラクタを有する、
前記方法は、更に、
前記第２のトラック内のデフォルトコンストラクタを得て、
前記エクストラクタ内の、前記デフォルトコンストラクタを参照する参照コンストラクタを得て、
前記デフォルトコンストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得る。
本発明の他の態様によれば、メディアファイル内へのメディアデータを構文解析するデバイスが提供される。そして、このデバイスは、プロセッサを有し、当該プロセッサは、 前記メディアファイル内の、メディアサンプルを有する第１のトラックを得て、
ここで、各メディアサンプルは１以上のＮＡＬユニットのセットを含む；
前記メディアファイル内の、エクストラクタを有する第２のトラックを得て、
ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体である；
前記方法は、更に、
前記第２のトラック内のメタデータ部内のデフォルトエクストラクタを得て、
前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタコを参照する参照エクストラクタであり、
前記デフォルトエクストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得る。
本発明の他の態様によれば、メディアファイル内へのメディアデータを構文解析するデバイスが提供される。そして、このデバイスは、プロセッサを有し、当該プロセッサは、
前記メディアファイル内の、メディアサンプルを有する第１のトラックを得て、
ここで各メディアサンプルは、１以上のＮＡＬユニットのセットを含む；
前記メディアファイル内の、エクストラクタを有する第２のトラックを得て、
ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくとも１つのコンストラクタを有する；
前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドをも有さないことを示す情報とを有する。
本発明の他の対応は、メディアデータをカプセル化する、及び、メディアファイルを構文解析するコンピューティングデバイス、及び、対応するコンピュータプログラムに関する。
本発明のさらなる利点は図面および詳細な説明を検討することにより、当業者に明らかになるのであろう。任意の追加の利点が本明細書に組み込まれることが意図される。
本発明の実施形態は、単なる例として、以下の図面を参照して以下に記載される。
図１は、本発明の実施形態を具体化するように適合されたカプセル化／カプセル化解除モジュールを含む例示的なシステムを示す； 図２は、ＮＡＬ(Network Abstraction Layer)ユニットの構成例を示す図である； 図３ａは、ＩＳＯベースメディアファイルフォーマットに従ったビデオメディアサンプルの構造例を示す； 図３ｂは、ＩＳＯベースメディアファイルフォーマットに従ったビデオメディアサンプルの別の構造例を示す； 図４は、ＩＳＯ／ＩＥＣ １４４９６－１５に準拠したＥｘｔｒａｃｔｏｒおよびＡｇｇｒｅｇａｔｏｒ構造の例を示している； 図５ａは、本発明の実施形態によるカプセル化およびカプセル化解除プロセスを示す； 図５ｂは、本発明の実施形態によるカプセル化およびカプセル化解除プロセスを示す； 図６は、本発明の実施形態によるカプセル化ファイルフォーマットを示す。 図７は、本発明の１つまたは複数の実施形態を実施するためのコンピューティングデバイスの概略ブロック図である。
図１は、本発明の実施形態を具体化するように適合された例示的なシステム１９１および１９５を示す。システム１９１は、通信ネットワーク１９９に接続されたカプセル化モジュール(encapsulation module)１５０を備える。システム１９５は、通信ネットワーク１９９に接続されたカプセル化解除モジュール（de-encapsulation module）１００を備える。
一実施形態によれば、システム１９１は、ストリーミングまたは記憶のために、コンテンツ、例えば、ビデオ、静止画像、および／またはオーディオコンテンツを処理するためのものである。システム１９１は、オリジナルのノンタイムドセットまたはタイムドシーケンスの画像１５１を含むコンテンツを取得／受信し、メディアエンコーダ（例えば、画像またはビデオのエンコーダ）を使用して、ノンタイムドセットの画像またはタイムドシーケンスの画像を符号化メディアデータに符号化し、カプセル化モジュール１５０を使用して、符号化メディアデータをメディアファイル１０１にカプセル化する。カプセル化モジュール１５０は、符号化されたメディアデータをカプセル化するためのライタまたはパッケージャのうちの少なくとも１つを備える。メディアエンコーダは、受信されたコンテンツを符号化するためにカプセル化モジュール１５０内に実装されてもよく、またはカプセル化モジュール１５０とは別個であってもよい。したがって、カプセル化モジュール１５０は、既に符号化されたコンテンツ（符号化されたメディアデータ）をカプセル化するためだけに専用にすることができる。符号化ステップは任意であり、符号化されたメディアデータは生のメディアデータに対応しても良い。
一実施形態によれば、システム１９５は、ユーザに表示／出力するためのカプセル化符号化メディアデータを処理するためのものである。システム１９５は通信ネットワーク１９９を介して、または記憶手段を読み取ることによって、メディアファイル１０１を取得／受信し、カプセル化解除モジュール１００を使用して、メディアファイル１０１のカプセル化解除し、メディアデコーダを使用して、エンコードされたメディアデータをオーディオおよび／またはビデオコンテンツ（信号）にデコードする。カプセル化解除モジュール１００は、パーサ(parser)またはプレイヤー(player)のうちの少なくとも１つを備える。メディアデコーダは、カプセル化解除モジュール１００内に実装して符号化メディアデータを復号してもよいし、カプセル化解除モジュール１００とは別となっても良い。
メディアファイル１０１は、多数の方法で、モジュール１００のパーサまたはプレイヤーに通信される。例えば、カプセル化モジュール１５０のライタまたはパッケージャによって事前に生成され、ユーザが記憶装置からエンコードされたコンテンツを要求するまで、通信ネットワーク１９９内の記憶装置（例えば、サーバまたはクラウドストレージ上）にデータとして記憶される。コンテンツを要求すると、データは、ストレージ装置からカプセル化解除モジュール１００に通信／ストリーミングされる。
システム１９１はまた、記憶装置に記憶されたコンテンツのためのコンテンツ情報をユーザに提供／ストリーミングするためのコンテンツ提供装置を備えてもよい（例えば、コンテンツ情報は、コンテンツのタイトルと、コンテンツを識別、選択および要求するための他の記述的メタデータおよび記憶位置データを含むマニフェストファイルを介して記述されてもよい）。また、コンテンツ提供装置は、ストレージ装置からユーザ端末に配信／ストリーミングされるコンテンツに対するユーザ要求を受信し、処理するように構成されてもよい。
あるいは、カプセル化モジュール１５０は、メディアファイル１０１を生成し、ユーザがコンテンツを要求したときと同様に、それをカプセル化解除モジュール１００に直接通信／ストリーミングすることができる。次いで、カプセル化解除モジュール１００は、メディアファイル１０１を受信し、ビデオ信号１０９および／またはオーディオ信号を取得／生成するために、本発明の実施形態によるメディアデータのカプセル化解除および復号化を実行し、次いで、ユーザ端末によって要求されたコンテンツをユーザに提供するために使用される。
ユーザは、モジュール１００を含むユーザ端末、またはモジュール１００と通信する手段を有するユーザ端末のユーザインターフェースを介して、オーディオ／ビデオコンテンツ（シグナル）にアクセスすることができる。このようなユーザ端末は、コンピュータ、携帯電話、タブレット、またはユーザにコンテンツを提供／表示することができる他の任意のタイプの装置であってもよい。
一実施形態によれば、メディアファイル１０１は、ＩＳＯベースメディアファイルフォーマット（ＩＳＯＢＭＦＦ、ＩＳＯ／ＩＥＣ １４４９６－１２およびＩＳＯ／ＩＥＣ １４４９６－１５規格）に従って、符号化されたメディアデータ（例えば、符号化されたオーディオまたはビデオ）をボックスにカプセル化する。メディアファイル１０１は、一つのメディアファイル（先頭にＦｉｌｅＴｙｐｅＢｏｘ“ftyp”が付く）、又は一つのメディアファイル（先頭にＦｉｌｅＴｙｐｅＢｏｘ“ftyp”が付く）に続く一つ以上のセグメントファイル（先頭にＳｅｇｍｅｎｔＴｙｐｅＢｏｘ“ftyp”が付く）に対応することができる。ＩＳＯＢＭＦＦによれば、メディアファイル１０１は、メディアデータを含む“メディアデータ”ボックス（“ｍｄａｔ”または“ｉｍｄａ”）と、メディアデータの配置およびタイミングを定義するメタデータを含む“メタデータボックス”（“ｍｏｏｖ”または“ｍｏｏｆ”または“ｍｅｔａ”ボックス階層）の２種類のボックスを含むことができる。
画像またはビデオのエンコーダは、画像またはビデオ規格を使用して、画像またはビデオコンテンツを符号化し、符号化されたメディアデータを生成する。例えば、画像又はビデオ符号化／復号（コーデック）規格は、ＩＴＵ－Ｔ Ｈ.２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ.２６２（ＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ）、ＩＴＵ－Ｔ Ｈ.２６３（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ）、ＩＴＵ－Ｔ Ｈ.２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣ）、そのスケーラブルビデオ符号化（ＳＶＣ）及びマルチビュービデオ符号化（ＭＶＣ）拡張を含む、ＩＴＵ－Ｔ Ｈ.２６５（ＨＥＶＣ）、そのスケーラブル（ＳＨＶＣ）及びマルチビュー（ＭＶ－ＨＥＶＣ）拡張を含む）を含む。
本明細書で説明される多くの実施形態は、ＨＥＶＣ規格またはその拡張を使用する例を説明する。しかしながら、本明細書に記載される技術およびシステムは、ＡＶＣのような既に利用可能な他の符号化標準にも適用可能であり、または、仕様の下にあるＩＴＵ－Ｔ Ｈ．ＶＶＣ（ＩＳＯ／ＩＥＣ ＭＰＥＧ－Ｉ ＶＶＣ)(Versatile Video Coding)のような、まだ利用可能または開発されていない他の符号化標準にも適用可能であり得る。
図２は、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ／Ｈ．２６５、もしくは、ＶＶＣなどのビデオコーデックで使用されるＮＡＬ(Network Abstraction Layer)ユニット２００の構造例(structure example)を示す。
ＮＡＬユニットは、ＮＡＬユニットヘッダ２０１およびＮＡＬユニットペイロード２０２を含む。ＮＡＬユニットヘッダ２０１は固定長であり、ＮＡＬユニットに関する一般的な情報を提供する。例えば、ＨＥＶＣの場合、ＮＡＬユニットヘッダ２０１は、ＮＡＬユニットごとに、タイプ、レイヤの識別子、およびテンポラルサブレイヤの識別子を示す。ＮＡＬユニット２００には、ビデオ符号化レイヤ(Video Coding Layer)ＮＡＬユニット（ＶＣＬ－ＮＡＬ）と、非ＶＣＬ ＮＡＬユニットの２つの主要なタイプがある。ＶＣＬ ＮＡＬユニットは、典型的にはそのペイロード内に符号化スライスセグメント２０５を含む。非ＶＣＬ ＮＡＬユニットには、通常、パラメータセット（設定情報など）または補足拡張情報メッセージ(Supplemental information message)が含まれる。
符号化されたスライスセグメント２０５は、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ又は“slice header”２０６に続くｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｄａｔａ又は“slice data”２０７としてＨＥＶＣビットストリーム（符号化されたメディアデータ）内に符号化され、バイトアライメントを確実にするためにｒｂｓｐ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ又は“slice trailing bits”(スライス後端ビット）２０８が続く。スライスセグメントは、整数個の連続する（ラスタ走査順序での）符号化ツリーユニット(Coding Tree Units)（すなわち、ピクチャ内のブロック）を含む。スライスは、必ずしも長方形である必要はない（したがって、空間サブパート表現のためのタイルよりも適切ではない）。ビデオ圧縮フォーマットは、符号化されたピクチャに対応する、復号順序が連続するＮＡＬユニットのセットとしてアクセスユニットを定義する。
図３ａは、ＩＳＯベース・メディア・ファイル・フォーマットに従ったメディア（ビデオ）サンプル３００の構造例を示す。
メディアサンプルは、単一の時間（オーディオサンプルやビデオフレームなど）を持つオーディオ／ビデオデータユニットである。ＩＳＯ／ＩＥＣ １４４９６－１５によれば、サンプルは、アクセスユニットまたはアクセスユニットの一部に対応する１以上のＮＡＬユニット３０２（図２に示されるＮＡＬユニット２００に類似）のセットである。各ＮＡＬユニット３０２には、ＮＡＬユニット３０２のバイト単位の長さを提供するＮＡＬユニット長フィールド３０１が先行する。例えば、単一レイヤビデオの場合、サンプルは符号化ピクチャに対応する。階層化ビデオの場合、サンプルはアクセスユニットの一部、例えば、ベースレイヤのＮＡＬユニットに対応することができる。
サンプルサイズは、バイト単位で、サンプル・サイズ・ボックス“ｓｔｓｚ” または“ｓｔｓｚ２” に記述されている。サンプルサイズおよびＮＡＬユニット長が与えられると、ＩＳＯＢＭＦＦパーサ（例えば、モジュール１００）は、サンプル中のＮＡＬユニットの個数を決定することができる。ＩＳＯ／ＩＥＣ １４４９６－１５は、メディアデータ（“ｍｄａｔ”ボックス）内に埋め込まれた特定のＩＳＯＢＭＦＦ構造である特定のＮＡＬユニット、エクストラクタ（Extractors）、およびアグリゲータ(Aggregators)を定義する。これらは“インストリーム構造体(in-stream structure)”とも呼ばれる。エクストラクタは、他のトラックからデータを抽出するためにＮＡＬユニットヘッダを使用するインストリーム構造体である。エクストラクタは、他のトラックからデータをどのように抽出するかに関する命令を含む。論理的には、エクストラクタは、データへのポインタと見なすことができる。エクストラクタを含むトラックを読み込んでいるときに、エクストラクタはそれが指しているデータに置き換えられる。また、エクストラクタは、エクストラクタを置き換える際に使用されるデータ（インラインデータ）を直接含んでもよい。アグリゲータは、同じサンプルに属するＮＡＬユニットをグループ化するためにＮＡＬユニットヘッダを使用するインストリーム構造体である。
図３ｂは、ＩＳＯベースメディアファイルフォーマットに従ったメディア（ビデオ）サンプル３１０の別の構造体例を示す。
ＩＳＯ／ＩＥＣ １４４９６－１５によれば、タイプ“ｈｖｔ２”のトラックのサンプルフォーマットは、独立したスライスセグメントのＨＥＶＣシンタックス要素ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｄａｔａ（）３１１及びｒｂｓｐ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｔｒａｉｌｉｎｇ＿ｂｉｔｓ（）３１２のうちの１つのみのインスタンスから成ることができる。他のデータはサンプル中に存在しない。通常、この特定の種類のサンプル形式には、ＮＡＬ ユニットヘッダやｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ（） など、これらの構文要素を書き換える必要があるアプリケーション用のＨＥＶＣ 構文要素が意図的に含まれていない。これは、異なるトラックのサンプルにＮＡＬ ユニットが含まれていて、これを合成してマージして、デコードするエンコードされたメディアデータの単一ビットストリームを取得できる場合に発生する。例えば、異なるトラックが、ビデオコンテンツの異なる空間サブパートに対応するＮＡＬユニットを含む場合である。このような場合、ＮＡＬ ユニットヘッダーとｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ（） は、マージ操作中に再書き込みを行って、エンコードされたメディアデータの適合ビットストリームを取得する必要がある。たとえば、スライスアドレスを再計算し、結果のビットストリームで変更する必要がある。このような書き換えを避けるために、これらのヘッダは通常通りｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｄａｔａ（） を含むトラック内にカプセル化されないが、むしろ１つの別々のトラック（マージされるすべてのトラックに共通）にカプセル化される。このトラックは、エクストラクタおよびスライスセグメントヘッダをネイティブに含む。エクストラクタは、別の参照されたトラックのサンプルからデータを参照および抽出することを可能にする特定の構造体である。復号対象のビットストリームのサンプル（ＮＡＬユニット長フィールド、ＮＡＬユニットヘッダ、スライスヘッダ、スライスデータ、およびスライストレーリングビットを含む）は、図４に示すようにエクストラクタを分解することによって得られる
図４は、ＩＳＯ／ＩＥＣ １４４９６－１５に準拠したＥｘｔｒａｃｔｏｒの構造体例を示している。
符号化されたメディアデータ（例えば、符号化されたビデオビットストリーム）に対応する第１（メディア）トラック４００は、メディア（例えば、ビデオ）サンプル４０１を含み、各メディアサンプルは図３ａに示されるように、１つ以上のＮＡＬユニットのセット（それらの各々にＮＡＬユニット長フィールドが先行する）を含む。サンプル中のＮＡＬユニットの個数は、互いに異なっていてもよい。例えば、再構成、合成、基準または抽出トラックと呼ばれる第２のトラック４２０は、別のトラック、ここでは矢印４１０で示す第１のトラック４００からのデータを参照するために、ＮＡＬユニット４２３および抽出ＮＡＬユニット４２２を混合するサンプル４２１を備える。次に、トラック４００からデータを抽出し、それを現在のトラック４２０からのデータ４２３と連結することによって、現在のトラック４２０からのサンプル４２１を再構成することができる。
再構成トラック４２０のいくつかのサンプル４２１はエクストラクタのみ、またはデータのみを含むことができることに留意されたい。エクストラクタまたはＮＡＬユニットの個数は、サンプル４２１ごとに異なってもよい。エクストラクタはＮＡＬユニットであり、他のＮＡＬユニットとしてＮＡＬユニット長フィールドが先行する。エクストラクタ４２２は、エクストラクタを含むトラック以外のトラックからのＮＡＬユニットの効率的な抽出を可能にする構造体である。エクストラクタＮＡＬユニットは特定のＮＡＬユニットタイプ値によって識別される（特定の値がＶＬＣおよび非ＶＬＣ ＮＡＬユニットに割り当てられたコーデック固有のタイプ値と競合しないように、使用中のコーデックに依存し得る）。
ＩＳＯ／ＩＥＣ １４４９６－１５ は、ＳＶＣ、ＭＶＣ、ＨＥＶＣ...ＨＥＶＣ の異なる圧縮形式のエクストラクタを定義する。ＨＥＶＣの場合、エクストラクタは次のようなコンストラクタ(constructors)のセットとして定義される：
--------------------------------------------------------------------------
class aligned(8) Extractor () {
NALUnitHeader();
do {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if( constructor_type == 3 )
SampleConstructorFromTrackGroup();
} while( !EndOfNALUnit() )
--------------------------------------------------------------------------
エクストラクタはまず１つのＮＡＬＵｎｉｔＨｅａｄｅｒ（） と、それに続く１つ以上のコンストラクタで構成される。これらのコンストラクタは、このカレントトラック、またはエクストラクタが存在するトラックにリンクされている別のトラックから、“ｓｃａｌ”タイプのトラックリファレンスの手段によってデータを抽出する。
複数タイプのコンストラクタが特定される：
- サンプルコンストラクタ(constructor_type = ０）は、基準により、別のトラックのサンプルからＮＡＬユニットデータを抽出する。
- インラインコンストラクタ(constructor_type = １） は、ＮＡＬユニットデータを含む。
- トラックグループからのサンプルコンストラクタ(constructor_type = ２）は、基準により、トラックグループ内の別のトラックまたはトラックのサンプルからＮＡＬユニットデータ（コピーモードに従って、ＮＡＬユニット全体またはＮＡＬユニットペイロードのいずれか）を抽出する。
ＨＥＶＣの場合、ＮＡＬＵｎｉｔＨｅａｄｅｒ（）は、ＩＳＯ／ＩＥＣ ２３００８－２ ＮＡＬユニットの最初の２バイトに対応し、特定のＮＡＬユニットタイプ値（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）は、エクストラクタ(＝４９）の予約値に等しい。
ＥｎｄＯｆＮＡＬＵｎｉｔ（） は、このエクストラクタの後にさらにデータが続く場合は０ （ｆａｌｓｅ） を、それ以外の場合は１ （ｔｒｕｅ） を返す関数である。
各コンストラクタは、抽出対象のデータを特徴付けるために複数の属性を含むことができる。
エクストラクタは、別のトラック又はトラックグループのサンプルからのＮＡＬユニットデータ又はＮＡＬユニットデータの一部を参照するエクストラクタトラックの各サンプルにおいて宣言される。サブピクチャ／スライス／タイル抽出での典型的な使用では、エクストラクタがほとんど繰り返される構造体であり、それらのコンストラクタの属性の大部分は単に、１つのエクストラクタから別のエクストラクタへ繰り返される。例えば、サンプルコンストラクタ及びトラックグループからのサンプルコンストラクタは、データを抽出するトラックの検索に使用するｓｃａｌ タイプのトラック参照のインデックスを特定するためのｔｒａｃｋ＿ｒｅｆ＿ｉｎｄｅｘ 属性を有する。典型的には、この属性の値が、あるサンプルから別のサンプルに非常に頻繁に変化することはない。別の例として、データの抽出が他のトラックの時間整列サンプルのみを参照する場合、属性ｓａｍｐｌｅ＿ｏｆｆｓｅｔは、通常、すべてのエクストラクタにおいて０である。
本発明の一態様によれば、デフォルトコンストラクタを宣言し、これらのデフォルトコンストラクタを参照する新しいコンストラクタを定義することによって、エクストラクタのシグナリングコストを最適化する機構が提案される。１つの利点は、デフォルトコンストラクタを参照するエクストラクタを宣言することにより、コンストラクタの属性がトラック全体にわたってほとんど繰り返される値である場合に、エクストラクタトラックの各サンプル内の各エクストラクタの記述サイズを低減することができることである。デフォルトコンストラクタのリストは、エクストラクタトラックのメタデータ部分で定義できる。メディアデータ部におけるサンプルでは、デフォルトコンストラクタのリストでデフォルトコンストラクタを参照する新しいタイプのコンストラクタ、参照コンストラクタが提案されている。例えば、参照コンストラクタは、デフォルトコンストラクタのリストにインデックスを含む場合がある。したがって、エクストラクタトラックで数回使用されるコンストラクタは、デフォルトコンストラクタのリストで一度送信されてもよい。
エクストラクタがコンストラクタに基づいていない場合、同じメカニズムがエクストラクタレベルで適用することができる。デフォルトのエクストラクタのリストは、エクストラクタトラックのメタデータ分で定義できる。新しいタイプのエクストラクタ、すなわち、参照エクストラクタ(reference extractor)は、デフォルトエクストラクタを参照するために定義されてもよい。参照エクストラクタは、エクストラクタトラックのメディア部分において、サンプルにおいて、デフォルトエクストラクタのリストにおけるデフォルトエクストラクタを参照するために使用されてもよい。
本発明の別の態様によれば、新しいタイプのインラインコンストラクタ(inline constructor)が提案される。インラインコンストラクタを使用して、新しいＮＡＬユニットヘッダを提供することができる。インラインコンストラクタがＮＡＬユニット長フィールドを含み、このフィールドがＮＡＬユニットのペイロードを提供するために使用される他のコンストラクタに従って書き換えられ得ることが起こる。ＮＡＬユニット長フィールドがインラインコンストラクタによって提供されていて、書き換えが必要な場合、インラインコンストラクタでの送信は役に立たない。提案された新しいタイプのインラインコンストラクタは、いかなるＮＡＬユニット長フィールドも明示的に含まず、したがって、エクストラクタトラックの構文解析中（parsing）に生成され得るときに、その伝送を節約する。
図５ａは、本発明の一実施形態によるカプセル化プロセスを示す。一実施形態では、このプロセスは、メディアデータをカプセル化するために、図１に示すカプセル化モジュール１５０のライタ(writer)またはパッケージャによって実行される。
ステップ５００にて、カプセル化モジュールは、エンコードされたメディアデータのビットストリームを適切に読み出せるように初期化される。初期化は、ユーザインタフェースを介したユーザにより、またはアプリケーションによって、ユーザによって実行されてもよい。初期化は、汎用性のためにデータエンティティと呼ばれるビットストリームの構文構造の識別、およびカプセル化パラメータの設定に関係する場合がある。カプセル化の構成は例えば、メディアファイル１０１を１つのメディアファイルとして生成するか、または１つ以上のメディアフラグメントから構成されるメディアセグメントを構成する複数のメディアファイルを生成するか、ビデオストリームのためにメディアファイルに１つのトラックまたは複数のトラックを含めるか、ビデオトラックをパーツ、ビュー、またはレイヤに分割するかなどを決定することで構成してもよい。
複数のトラックが含まれる場合、カプセル化モジュールは、ステップ５００中に、トラック間の参照を設定するか、またはトラックのグループを定義することができる。したがって、１つまたは複数の他のトラックを参照することによって構築されるトラックは、これらの１つまたは複数のトラックに対するトラック参照を含む。トラック参照は参照元トラックと参照先トラックとの間の関係や依存関係の種類を記述するために、異なるタイプにすることができる。トラック参照タイプは、４ 文字のコードを使用してエンコードできる。例えば、ＩＳＯ／ＩＥＣ １４４９６－１５によれば、タイプコード“ｓｃａｌ”は、データが抽出される別のトラックを参照する少なくとも１つのエクストラクタを含むトラックを指定する。
Ｈ．２６４／ＡＶＣとＨＥＶＣに対するＩＳＯ／ＩＥＣ １４４９６‐１５に規定されているエクストラクタは、参照によりＮＡＬユニットデータを抽出するトラックのコンパクトな形成を可能にする。エクストラクタは、ＮＡＬユニット似(NAL-unit-Like)の構造体である。ＮＡＬユニット似の構造体は、任意のＮＡＬユニットのようなＮＡＬユニットヘッダおよびＮＡＬユニットペイロードを備えるように特定されてもよいが、開始コードエミュレーション防止（ＮＡＬユニットに必要とされる）は、ＮＡＬユニット似の構造体では追従されなくてもよい。ＨＥＶＣの場合、エクストラクタは、１以上のコンストラクタを含む。サンプルコンストラクタは、参照により、別のトラックのサンプルからＮＡＬユニットデータを抽出する。インラインコンストラクタは、ＮＡＬユニットデータを含む。それを必要とするファイルリーダによってエクストラクタが処理されるとき、エクストラクタは、それらの出現順序で含まれるコンストラクタを分解するときに得られるバイトに論理的に置き換えられる。入れ子抽出は許可されないことがあり、例えば、サンプルコンストラクタによって参照されるバイトはエクストラクタを含まない；エクストラクタが直接的または間接的に、別のエクストラクタを参照しない。エクストラクタは、現トラックから、もしくは、タイプ“ｓｃａｌ”のトラック参照の手段によって、エクストラクタが存在するトラックにリンクされた別のトラックから、データを抽出するための１以上のコンストラクタを含むことができる。分解済みのエクストラクタのバイトは、１以上のＮＡＬユニット全体を表すことができる。分解済みのエクストラクタは、有効な長さフィールドとＮＡＬヘッダーから始まる。サンプルコンストラクタのバイトは、“ｓｃａｌ”を示したトラックリファレンスを介して、参照されるトラック内の識別された単一のサンプルからのみコピーされる。アラインメントは復号時間、すなわち、時間－サンプルテーブルのみを使用し、その後にサンプル数のカウントされたオフセットが続く時間－サンプルテーブルのみを使用する。エクストラクタトラックは、１以上のエクストラクタを含むトラックとして定義することができる。
カプセル化モジュールが初期化されると、ビットストリームは、ステップ５０１で、ＮＡＬユニットごとに読み出される。パラメータセットに対応する第１のＮＡＬユニットは、ステップ５００における初期化（帯域内または帯域外パラメータセット）に応じて、ＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄ構造体に埋め込まれてもよい。これらのパラメータセットは、ライター(writer)またはパッケージャーによって検査され、ビットストリームパーティションの詳細を把握し、作成する個別のトラックの個数を決定することができる。パーティションごとに１つのトラックに加えて、１つ以上の抽出トラックが、パーティションを含む１つ以上のトラックタイプ“ｓｃａｌ”のトラック参照で参照される。したがって、各エクストラクタトラックは、区分されたトラックのすべてまたはサブセットの可能な組合せを表す。たとえば、タイル化されたＨＥＶＣ ビットストリームであるかどうかの判定を、たとえば、時間モーション制約付きタイルセット(Temporal Motion-Constrained Tile Set)またはピクチャパラメータセット(Picture Parameter Set）内に存在するタイルのSEI(Supplemental Enhancement Information)メッセージをチェックすることでできる。それは、各ＨＥＶＣタイルに対するトラックと、全てのＨＥＶＣタイルの構成を記述する１つのエクストラクタトラックとを定義することができる。ステップ５０１にて、ＮＡＬユニットが読み出されると、ライタは、ステップ５０２にて、それが新しいサンプルに対応するかどうかをチェックする。これは、例えば、ピクチャ順序カウントを復号することによって、またはＮＡＬユニットに対応するスライスがピクチャ内の最初のスライスであるかどうかをチェックすることによって行うことができる。「はい」の場合、前のサンプルは、ステップ５０３で、サンプル記述のパラメータ（サイズ、メディアデータ内の位置、一部のサンプルグループ内のプロパティ）を設定することによって、最終決定される。具体的には、サンプルサイズを０にリセットし、ＮＡＬユニットカウントを０にリセットする。次に、ステップ５０４にて、現在のＮＡＬユニットがエクストラクタトラックのメディア部分に含まれるべきかどうか、またはそれが区分されたトラックのメディア部分に含まれ、エクストラクタトラックから参照されるべきかどうか、または部分的に区分されたトラックのメディア部分に含まれ、エクストラクタトラックによって部分的に修正され、参照されるべきかどうかをチェックする。これは、初期化ステップ５００の間にセットアップされたトラック依存性または関係から決定される。ＮＡＬユニットが参照されない場合、ＮＡＬユニットの長さは、最初にエクストラクタトラックのメディアデータボックスに挿入され、続いてＮＡＬユニットヘッダおよびＮＡＬユニットペイロードが挿入される（ステップ５０５）。次に、現在のサンプルのサイズは、これら３つの構造体のバイト数でインクリメントされ、ライタまたはパッケージャは、ステップ５０６で、符号化されたメディアデータのビットストリームから次のＮＡＬユニットをチェックする。これが最後のＮＡＬユニットでない場合、プロセスは、すべてのＮＡＬユニットが処理されるまで、ステップ５０１に繰り返される。
ＮＡＬユニットが、参照によって、エクストラクタトラックに部分的にまたは完全に含まれる場合（テスト５０４が真の場合）、ライタまたはパッケージャは、ステップ５０７にて、（ＮＡＬユニットデータが完全なＮＡＬユニットである場合、先行するＮＡＬユニット長フィールドを有する）区分トラックのメディアデータボックス内で参照されるＮＡＬユニットデータと、本発明の実施形態によるエクストラクタトラック内の１以上のコンストラクタおよび関連する属性を有するエクストラクタとを含める。具体的には、プロセスは、エクストラクタトラックのメディアデータボックス内に、エクストラクタ構造体のサイズをバイト単位で有するＮＡＬユニット長フィールドを追加し、エクストラクタＮＡＬユニットを作成する。エクストラクタがサンプルに沿って繰り返される構造体に対応するコンストラクタを含むとき、デフォルトコンストラクタは既に存在していなければ、エクストラクタトラックのサンプルエントリ内のデフォルトコンストラクタのリストに挿入されてもよい。作成されたエクストラクタＮＡＬユニットは、デフォルトコンストラクタのリストから使用されるデフォルトコンストラクタのインデックスを提供する参照コンストラクタを含む。
エクストラクタがメディアデータボックスに書き込まれると、サンプル記述が更新される（サンプルサイズ、サンプル内の現在のＮＡＬＵインデックスなど）。次に、ライタまたはパッケージャは、ステップ５０６において、次のＮＡＬユニットをチェックする。最後のＮＡＬユニットに達すると、ライタは、例えば、メディア上の最後のサンプル、インデックステーブル、ユーザデータ、または任意のメタデータのサイズを書き込むことによって、ステップ５０８でメディアファイルを終了する。
初期化ステップ５００が、セグメントへのカプセル化を示すとき、セグメント持続時間に到達したか否かをチェックするために新しいサンプルを開始する前に、追加のテストが実行される（図示せず）ことに留意されたい。セグメント持続時間に達すると、セグメントは確定され、プレイヤーによって使用されるか、または配信ネットワークを介して送信される準備が整う。セグメント持続時間に達しない場合、ライタまたはパッケージャは、サンプルおよびＮＡＬ単位で反復する。
図５ｂは、本発明の一実施形態によるカプセル化解除処理を示す。一実施形態では、このプロセスがメディアデータをカプセル化解除するために、図１に示すカプセル化解除モジュール１００のパーサまたはプレイヤーによって実装される。
ステップ５１０にて、プレイヤーは、まずメディアファイル１０１を（１つのファイルとして、または連続したセグメントとして）受信する。ファイルは、パーサまたはプレイヤーのメモリに格納されてもよく、ネットワークソケットから読み取られてもよい。
最初に、初期化データ、典型的には“ｍｏｏｖ”ボックスおよびそのサブボックスは、ステップ５１１で解析されて、メディアファイルのパラメータ／設定、すなわちトラック数、トラック関係および依存性、サンプルのタイプ、持続時間、位置およびサイズなどを知る。
ステップ５１１で決定されたトラックのセットから、プレイヤーまたはパーサは、ステップ５１２にて、レンダリング対象の１つのエクストラクタトラックを選択する。次に、再構成は、サンプルごとに、メディアデータボックスサンプルを解析することによって開始される。
パーサまたはプレイヤーは、ファイルの終わりに達する（テスト５１３で否定され）まで、サンプルを繰り返す。セグメントの場合、１つのセグメントが完全に読み取られると、パーサは次のセグメントを、サンプルごとに読み取る。
所与のサンプルについて、プロセスは、チャンクオフセットボックスに、このチャンクについて構文解析された以前のサンプルの累積サイズを加えた位置からデータを読み取る。この位置から、パーサはＮＡＬユニット長フィールドを見つける。次に、パーサはＮＡＬ ユニット長フィールドによって指定されたバイト数を読み取り、完了ＮＡＬユニットを取得する。ＮＡＬユニットがエクストラクタ(テスト５１５）に対応する場合、パーサは、ステップ５１６において、エクストラクタ内の次のコンストラクタのコンストラクタタイプ属性を読み出す。コンストラクタが本発明の一態様による参照コンストラクタである場合、パーサは、ステップ５１７で、参照コンストラクタから、ステップ５１８でコンストラクタを分解（resolve）するために使用されるデフォルトコンストラクタのインデックスを取り出す。デフォルトコンストラクタは、サンプルエントリで定義されているか、サンプルグループ化機構を介して現在のサンプルに関連付けられているサンプルグループ記述のいずれかで、デフォルトコンストラクタのリスト（リスト内の位置を表すインデックス値） から取得される。デフォルトコンストラクタは、別の参照コンストラクタを除き、任意の種類のコンストラクタ（例: インライン、サンプル…） にすることができる。コンストラクタ(エクストラクタＮＡＬＵで直接検索されるか、参照コンストラクタを介して参照されるかのいずれか）は、ステップ５１８にて、それらのタイプに関連するセマンティックに従って分解される。エクストラクタＮＡＬユニットのすべてのコンストラクタを分解することによって得られたデータ（テスト５１９）は、ステップ５２０において、符号化されたメディアデータの再構成されたビットストリームに付加される。
ステップ５１５において、ＮＡＬユニットがエクストラクタでない場合、パーサは、ステップ５２０において、ＮＡＬユニットヘッダおよびＮＡＬユニットペイロード（ＮＡＬユニット長は除外）に対応するバイトを、復号化のためにメディアデコーダに提供されることになる符号化メディアデータの再構成ビットストリームに付加する。ステップ５２０の後、プロセスは、現在のサンプルのサイズに達するまで、次のＮＡＬユニットのために反復する（ステップ５１４に進む）。
以下では、本発明の実施形態に従って提案されるエクストラクタ用のコンストラクタおよびエクストラクタコンストラクタ用のデフォルト値を示すための例を提供する。新しいコンストラクタは、図５ａおよび５ｂのカプセル化／カプセル化解除プロセスのステップ５０７および５１６で上述したように、参照インデックス属性を実施する。
デフォルトコンストラクタまたはデフォルトエクストラクタを指定するための参照インデックスの実装は、ＳＶＣ、ＭＶＣエクストラクタなどのコンストラクタを持たないエクストラクタ、およびＨＥＶＣまたはＬ－ＨＥＶＣエクストラクタなどのコンストラクタを持つエクストラクタの両方に適用可能である。コンストラクタを持つエクストラクタの場合、新しい種類のコンストラクタが以下のように定義できる（“Constructor_type”で識別）：
--------------------------------------------------------------------------
class aligned(8) Extractor () {
NALUnitHeader();
do {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if ( constructor_type == 3 )
SampleConstructorFromTrackGroup();
else if ( constructor_type == 4 )
ReferenceConstructor()
} while( !EndOfNALUnit() )
}
--------------------------------------------------------------------------
ここで、ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ は、後続のコンストラクタを特定する。ＳａｍｐｌｅＣｏｎｓｔｒｕｃｔｏｒ、ＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒ、ＳａｍｐｌｅＣｏｎｓｔｒｕｃｔｏｒＦｒｏｍＴｒａｃｋＧｒｏｕｐ、及び、ＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒ は、それぞれ０、２、３、４ に等しいｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ に対応する。ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ の他の値は予約済みである。
新しいコンストラクタ“参照コンストラクタ(ReferenceConstructor)”の名前は、例として提供される。さらに、予約済みの“ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ”値“４”が例として提供されている。（“ＳａｍｐｌｅＣｏｎｓｔｒｕｃｔｏｒ”） を指定したり（“ＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒ”）バイト範囲を指定したりする代わりに、新しいコンストラクタは、エクストラクタトラックのメタデータ部分で宣言されたデフォルトコンストラクタを参照でき、通常、サンプルエントリのリストやサンプルグループの説明ボックスにある。“ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ” には予約された名前や予約された値を使用することができる。通常、この新しいｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ値は、タイプ「ｈｖｃ３」または「ｈｅｖ３」のサンプルエントリを有するＨＥＶＣまたはＬ－ＨＥＶＣトラック、または後に定義される任意の他のタイプのトラックのサンプル中に存在し、使用され得る。新しいコンストラクタは、例えば、以下に示すように定義することができる：
--------------------------------------------------------------------------
class aligned(8) ReferenceConstructor () {
unsigned int(8) ref_index;
}
--------------------------------------------------------------------------
ここで、新しいコンストラクタのパラメータ、フィールド、または属性は、以下のセマンティクスを持つ：
- ｒｅｆ_ｉｎｄｅｘ は、データを抽出するトラックのサンプルエントリのＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘ のコンストラクタのリストで使用するコンストラクタのインデックスを特定する。０の値は、最初のエントリを示す。
図６のエクストラクタトラックのカプセル化ファイルの例に示すように、エクストラクタコンストラクタのデフォルト値は、エクストラクタ・トラック６００のサンプルエントリ６０２に宣言される。エクストラクタトラックは、トラックの識別子ｔｒａｃｋ＿ＩＤ（例えば６０３および６０４）またはトラックグループのｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄ（不図示）を参照する“ｓｃａｌ”に等しいｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅをもつＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘを含むトラック参照ボックス（“ｔｒｅｆ”）６０１をもつトラックであり、そこからデータを抽出することができる。サンプルエントリーでエクストラクタコンストラクターのデフォルト値を宣言すると、エクストラクタトラック内のすべてのサンプルで宣言を共有できるようになる。
ＨＥＶＣまたはＬ－ＨＥＶＣエクストラクタの一実施形態では、新しいボックスＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘ６０５がサンプルエントリ６０２内で以下のように定義される（ＡＶＣ、ＳＶＣ、ＭＶＣ、ＶＶＣなど、ＨＥＶＣ以外の他のビデオフォーマットのエクストラクタについても同様の実施形態を容易に導出することができる）：
--------------------------------------------------------------------------
Box Type: 'dhec'
Container: HEVCSampleEntry
Mandatory: No
Quantity: Zero or one for sample entry types 'hvc3' and 'hev3'.
Zero for other sample entry types specified in ISO/IEC 14496-15.

aligned(8) class DefaultHevcExtractorConstructorBox extends Box('dhec'){
unsigned int(32) num_entries;
for (i=1; i<= num_entries; i++) {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if( constructor_type == 3 )
SampleConstructorFromTrackGroup();
}
}
--------------------------------------------------------------------------
ｎｕｍ＿ｅｎｔｒｉｅｓ は、このボックスで定義されたデフォルトコンストラクタの個数を示す。
ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ は、このエントリのコンストラクタのタイプを指定する。値４（すなわち、ＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒ）は存在しないものとする。
ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘは、サンプル中に存在するＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒの代わりに使用されるコンストラクタのリストを提供する。このボックスに示されるコンストラクタは、サンプル中のＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒコンストラクタの置き換えとしてのみ分解されるものとする。ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘ には、同じｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ を持つ複数のコンストラクタを含めることができる。同じｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ で複数のコンストラクタを宣言できる利点の１つは、Ｅｘｔｒａｃｔｏｒ の定義をわずかに変更する必要があるピクチャパラメータセット（ＰＰＳ） のバリエーションなどにより、Ｅｘｔｒａｃｔｏｒ トラックで時間とともに適用するデフォルト値を変更できることである。そのような場合、エクストラクタは、ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘ内の異なるデフォルトコンストラクタを参照するために、異なるｒｅｆ＿ｉｎｄｅｘ値を持つＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒを単に含むことができ、したがって、図６に示すように、同じタイプのコンストラクタに対して異なるデフォルト属性値を使用する。エクストラクタトラック６００の２つのサンプル６０６および６０７は、エクストラクタ６０８および６０９を含み、それらの各々は、デフォルトコンストラクタの異なる代替を参照するｒｅｆ＿ｉｎｄｅｘ属性を持つＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒ６１０および６１１をそれぞれ含む。
明細書のより良好な維持のために、エクストラクタおよびＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘは、また、上記と同じ意味で、以下のように再定義され得る：
--------------------------------------------------------------------------
class aligned(8) ExtractorConstructor () {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if( constructor_type == 3 )
SampleConstructorFromTrackGroup();
else if( constructor_type == 4 )
ReferenceConstructor ();
}

class aligned(8) Extractor () {
NALUnitHeader();
do {
ExtractorConstructor constructor;
} while( !EndOfNALUnit() )
}

aligned(8) class DefaultHevcExtractorConstructorBox extends Box('dhec'){
unsigned int(32) num_entries;
for (i=1; i<= num_entries; i++) {
ExtractorConstructor constructor;
}
}
--------------------------------------------------------------------------
上記の実施形態において、ＳａｍｐｌｅＣｏｂｓｔｒｕｃｔｏｒ ＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒおよびＳａｍｐｌｅＣｏｎｓｔｒｕｃｔｏｒＦｒｏｍＴｒａｃｋＧｒｏｕｐは、ＩＳＯ／ＩＥＣ １４４９６－１５ ５th版およびその修正に指定されているように定義される。
上記の実施形態では、サンプルエントリ内に配置されたＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘ内のデフォルトコンストラクタを定義するデザインは、ｍｏｏｖが一旦生成されるとデフォルトコンストラクタのリストを更新することを可能にせず、品質を切り替えるときにｍｏｏｖを強制的に再ロードする可能性がある。しかしながら、例えば品質を切り替えた後にもはや適用されない場合、もはやデフォルトコンストラクタを使用しないことによって、上記の実施形態に準拠する符号化されたメディアデータのビットストリームを構築することが依然として可能である。
ｍｏｏｖが生成されると、デフォルトコンストラクタのリストを更新できることが望ましい場合、代替実施形態は、サンプルエントリ内のＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘの宣言を、サンプルグループ化機構および新しいサンプルグループ定義の使用で置き換えることである。この代替実施例は、二重参照を必要とするのであろう。第１に、エクストラクトトラックの各サンプルを、サンプルグループ記述ボックス（“ｓｇｐｄ”）で定義された視覚的なサンプルグループエントリと、与えられたｇｒｏｕｐｉｎｇ_ｔｙｐｅ(同じｇｒｏｕｐｉｎｇ＿ｔｙｐｅを持つＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘのｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘを介して行われる関連）と関連付ける。第２には、ＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒからのｒｅｆ＿ｉｎｄｅｘが、サンプルに関連する視覚的なサンプルグループエントリ内のコンストラクタのリスト内のエントリを参照する必要がある。
この実施形態によれば、新しいｇｒｏｕｐｉｎｇ＿ｔｙｐｅ、例えば“ｄｈｅｃ”が定義され、新しいＶｉｓｕａｌＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙが次のように定義される：
--------------------------------------------------------------------------
aligned(8) class DefaultHevcExtractorConstructorSampleGroupEntry()
extend VisualSampleGroupEntry ('dhec') {
unsigned int(32) num_entries;
for (i=1; i<= num_entries; i++) {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if( constructor_type == 3 )
SampleConstructorFromTrackGroup();
}
}
--------------------------------------------------------------------------
新しいビジュアルサンプルグループエントリ“ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ”の名前は、例として提供される。さらに、予約された４ＣＣ値“ｄｈｅｃ”が例として提供される。この新しいクラスのすべての属性は、ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘと同じセマンティクスを持つ。
ＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒ のｒｅｆ＿ｉｎｄｅｘ のセマンティックは、次のように定義される：
ｒｅｆ＿ｉｎｄｅｘ は、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ が“ｄｈｅｃ” のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ（“ｓｂｇｐ”） のｇｒｏｕｐ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｉｎｄｅｘ を介してサンプルに関連付けられたＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ のコンストラクタのリストで使用するためコンストラクタのインデックスを指定する。０の値は、最初のエントリを示す。
このような実施形態では、同じｇｒｏｕｐｉｎｇ＿ｔｙｐｅを有するＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘを定義することなく、ＩＳＯ／ＩＥＣ １４４９６－１２で定義されたデフォルトのサンプルグループ機構を使用して、デフォルトのビジュアルサンプルグループエントリ“ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ”をサンプルに関連付けることが可能である。これにより、デフォルトコンストラクタのリストが時間の経過とともに変化しない場合に、いくつかのバイト（ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ の定義に対応）を保存できる。
このような実施形態では、新しいＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙが新しいＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（“ｓｇｐｄ”）内に定義され、ムービーフラグメントボックス（“ｍｏｏｆ”）内のエクストラクトトラックに対応するトラックフラグメント（“ｔｒａｆ”）内のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ“ｄｈｅｃ”を持つ、新しいＩＳＯＢＭＦＦムービーフラグメント（“ｍｏｏｆ”と“ｍｄａｔ”の一対のボックス）を作成することによって、デフォルトコンストラクタのリストを更新することも可能である。さらに、同じｇｒｏｕｐｉｎｇ＿ｔｙｐｅ“ｄｈｅｃ”を有する新たなＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘも、新たなＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙをムービーフラグメントのＥｘｔｒａｃｔｏｒトラックのサンプルに関連付けるために、ムービーフラグメント内で定義され得る。
変形例では、新しいビジュアルサンプルグループエントリＤｅｆａｕｌｔＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ（）は、以下のように一意の識別子ｇｒｏｕｐＩＤ を含めることもできる：
--------------------------------------------------------------------------
aligned(8) class DefaultExtractorConstructorSampleGroupEntry() extend
VisualSampleGroupEntry ('dhec') {
unsigned int(32) groupID;
unsigned int(32) num_entries;
for (i=1; i<= num_entries; i++) {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if( constructor_type == 3 )
SampleConstructorFromTrackGroup();
}
}
--------------------------------------------------------------------------
ここで、ｇｒｏｕｐＩＤ は、このサンプル・グループ項目によって記述されるデフォルトの抽出コンストラクター・グループの固有ＩＤである。デフォルトの抽出コンストラクタグループエントリのｇｒｏｕｐＩＤ の値は０より大きい必要がある。値０は、特別な使用のために予約される。
タイプ“ｎａｌｍ”のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘと“ｄｈｅｃ”に等しいｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒがあるとき、タイプ“ｄｈｅｃ”のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが存在し、以下が適用される：
- デフォルトエクストラクタコンストラクタグループエントリのｇｒｏｕｐＩＤの値は、ＮＡＬＵＭａｐＥｎｔｒｙのエントリの１つのｇｒｏｕｐＩＤと等しい。
- ＮＡＬＵＭａｐＥｎｔｒｙによってグループＩＤ０にマッピングされるＮＡＬユニットは、ＮＡＬユニットがエクストラクタではないこと、またはＮＡＬユニットがデフォルトコンストラクタを参照しないことを意味する。
この新しいクラスの他のすべての属性は、ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＢｏｘと同じセマンティクスを持つ。
このような変形例では、ＩＳＯ／ＩＥＣ １４４９６－１５で定義されたＮＡＬユニットマッピングメカニズムを使用して、（サンプル内のすべてのＮＡＬユニットについてデフォルトコンストラクタの１つの単一リストを関連付けるのではなく）サンプル内の各ＮＡＬユニットについてデフォルトコンストラクタの異なるリストを関連付けることが可能である。このような場合、ＮＡＬＵＭａｐＥｎｔｒｙを使用して、サンプル内の各ＮＡＬユニットにｇｒｏｕｐＩＤと呼ばれる識別子を割り当てることができる。ＮＡＬＵＭａｐＥｎｔｒｙ は、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ が“ｎａｌｍ” に等しく、以下のように定義されたビジュアルサンプルグループエントリである：
--------------------------------------------------------------------------
class NALUMapEntry() extends VisualSampleGroupEntry ('nalm') {
bit(6) reserved = 0;
unsigned int(1) large_size;
unsigned int(1) rle;
if (large_size) {
unsigned int(16) entry_count;
} else {
unsigned int(8) entry_count;
}
for (i=1; i<= entry_count; i++) {
if (rle) {
if (large_size) {
unsigned int(16) NALU_start_number;
} else {
unsigned int(8) NALU_start_number;
}
}
unsigned int(16) groupID;
}
}
--------------------------------------------------------------------------
ここで、ｌａｒｇｅ＿ｓｉｚｅ は、トラックサンプル内のＮＡＬ ユニットエントリの個数が８または１６ ビットで表されるかどうかを示す。
ｒｌｅは、グループＩＤをＮＡＬユニットに割り当てるためにランレングス符号化が使用される（１）、もしくは、私用されていない（０）を示す。
ｅｎｔｒｙ＿ｃｏｕｎｔは、マップ内のエントリ数を特定する。ｒｌｅ が１の場合、ｅｎｔｒｙ＿ｃｏｕｎｔ は、連続するＮＡＬユニットが同じグループに関連付けられているｒｕｎの数に対応することに注意されたい。ｒｌｅ が０ の場合、ｅｎｔｒｙ＿ｃｏｕｎｔはＮＡＬ ユニットの合計数を表す。
ＮＡＬＵ＿ｓｔａｒｔ＿ｎｕｍｂｅｒ は、ｇｒｏｕｐＩＤ に関連付けられた現在のランの最初のＮＡＬユニットのサンプルの１から始まるＮＡＬユニットインデックス（1-based NAL Uniy index）である。
ｇｒｏｕｐＩＤ グループの一意の識別子を特定する。グループの詳細は、ｇｒｏｕｐＩＤ とｇｒｏｕｐｉｎｇ＿ｔｙｐｅ がタイプ“ｎａｌｍ” のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ と等しいｇｒｏｕｐｉｎｇ＿ｔｙｐｅと共に、サンプル・グループ記述項目によって提供される。
ＮＡＬＵＭａｐＥｎｔｒｙは、存在する場合、そのグループＩＤの意味を提供するサンプルグループ記述にリンクされる。このリンクは、タイプ“ｎａｌｍ” のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘ のｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒ を、関連するサンプルグループ化タイプの４ 文字コードに設定することによって提供される。
この変形によれば、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅが“ｎａｌｍ”に等しく、ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ＿ｐａｒａｍｅｔｅｒが“ｄｈｅｃ”に等しいＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘは、エクストラクトトラックの各サンプルをＮＡＬＵＭａｐＥｎｔｒｙに関連付けるように定義され、各ＮＡＬＵＭａｐＥｎｔｒｙはｇｒｏｕｐｉｎｇ＿ｔｙｐｅが“ｎａｌｍ”に等しいＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（“ｓｇｐｄ”）で定義され、グループＩＤとサンプル内の各ＮＡＬユニットとの関連付けを記述する。ｇｒｏｕｐｉｎｇ＿ｔｙｐｅ が“ｄｈｅｃ” の別のＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘ（“ｓｇｐｄ”） は、ＤｅｆａｕｌｔＥｘｔｒａｃｔｏｒＣｏｎｓｔｒｕｃｔｏｒＳａｍｐｌｅＧｒｏｕｐＥｎｔｒｙ のセットで定義され、各エントリは、ＮＡＬユニットに関連付けられたｇｒｏｕｐＩＤ に対応するデフォルトコンストラクタのリストを提供する。最後に、ＮＡＬユニットに含まれるＲｅｆｅｒｅｎｃｅＣｏｎｓｔｒｕｃｔｏｒのｒｅｆ＿ｉｎｄｅｘは、デフォルトコンストラクタのリストで使用するコンストラクタのインデックスを提供する。
サンプルの各ＮＡＬユニットに（コンストラクタではなく）デフォルトエクストラクタの異なるリストを関連付けるために、同様の実施形態を容易に導出することができる。
代替実施形態では、コンストラクタと共にＥｘｔｒａｃｔｏｒを使用せず、単純なＥｘｔｒａｃｔｏｒのみを使用するビデオフォーマットの場合、サンプルエントリまたはサンプルグループ記述ボックスで定義されたデフォルトのＥｘｔｒａｃｔｏｒを参照する新しいＥｘｔｒａｃｔｏｒを既存のバイトベースのＥｘｔｒａｃｔｏｒと区別するために、予約されたＮＡＬユニットタイプを用いて新しいＥｘｔｒａｃｔｏｒを定義することができる。“ＲｅｆｅｒｅｎｃｅＥｘｔｒａｃｔｏｒ” などと呼ばれる新しいエクストラクタ は、次のように定義される：
--------------------------------------------------------------------------
class aligned(8) ReferenceExtractor () {
NALUnitHeader();
unsigned int(8) ref_index;
}
--------------------------------------------------------------------------
ここで、ｒｅｆ＿ｉｎｄｅｘ は、データを抽出するトラックのサンプルエントリのＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＢｏｘ のエクストラクタのリストで使用するエクストラクタのインデックスを特定する。０の値は、最初のエントリを示す。
主な違いは、ここに特定の“ＮＡＬＵｎｉｔＨｅａｄｅｒ”があることである。“ＮＡＬＵｎｉｔＨｅａｄｅｒ”は、使用中のビデオコーディング形式に対応するＮＡＬ Ｕｎｉｔヘッダーであるが、使用中のビデオコーディング形式のＶＣＬ、非ＶＣＬ ＮＡＬユニット、または既存のエクストラクタまたはＡｇｇｒｅｇａｔｏｒ 用にまだ予約されていない予約値がある。
この実施形態では、デフォルトエクストラクタは、以下のように、ＤｅｆａｕｌｔＨｅｖｃＥｘｔｒａｃｔｏｒＢｏｘ内のサンプルエントリにおいて定義される：
--------------------------------------------------------------------------
Box Type: 'dhec'
Container: HEVCSampleEntry
Mandatory: No
Quantity: Zero or one for sample entry types 'hvc3' and 'hev3'.
Zero for other sample entry types specified in ISO/IEC 14496-15.

aligned(8) class DefaultHevcExtractorBox extends Box('dhec'){
unsigned int(32) num_entries;
for (i=1; i<= num_entries; i++) {
unsigned int(16) nalUnitLength;
bit(8*nalUnitLength) nalUnitExtractor;
}
}
--------------------------------------------------------------------------
ここで、ｎｕｍ＿ｅｎｔｒｉｅｓ は、このボックスで定義されているデフォルトエクストラクタの個数を示す。
ｎａｌＵｎｉｔＬｅｎｇｔｈ は、ｎａｌＵｎｉｔＥｘｔｒａｃｔｏｒ のバイト単位の長さを特定する。
ｎａｌＵｎｉｔＥｘｔｒａｃｔｏｒは、このエントリに対して定義されたデフォルトのエクストラクタである。ｎａｌＵｎｉｔＥｘｔｒａｃｔｏｒのｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、有効なエクストラクタとし、ＲｅｆｅｒｅｎｃｅＥｘｔｒａｃｔｏｒは存在しないものとする。
本発明の別の態様によれば、エクストラクタは元々、ＡＶＣ／ＳＶＣ／ＭＶＣにおいて、ＮＡＬユニットの完全なセット（１つ以上）を抽出するように設計されており、各データ参照（抽出されたバイト範囲）は１～４バイトを使用してＮＡＬユニット長フィールドで始まり、（関連するデコーダ構成レコード内のＬｅｎｇｔｈＳｉｚｅＭｉｎｕｓＯｎｅ属性の値に応じて）以下のＮＡＬユニットの長さを提供する。ｈｖｔ１ またはｈｖｔ２ サンプルデータと組み合わせたＨＥＶＣでのインラインコンストラクタの導入（スライスヘッダの書き換えなど） により、コンストラクタ（ＳａｍｐｌｅＣｏｎｓｔｒｕｃｔｏｒ又はＳａｍｐｌｅＣｏｎｓｔｒｕｃｔｏｒＦｒｏｍＴｒａｃｋＧｒｏｕｐなど）は、非ＮＡＬユニットの長さフィールドオフセットから開始するサンプルデータを抽出するために使用でき、非インラインコンストラクタは、ＮＡＬユニットの先頭を書き換えるために使用される。実際、たとえば、ｈｖｔ２サンプルデータは、ＮＡＬユニットのサブセットのみが含まれ、通常、ＮＡＬユニットヘッダーがなく、スライスヘッダーがないスライスデータとスライス末尾ビットのみが含まれる。このような場合、特に、エクストラクタ（複数のコンストラクタから構成される）が複数のＮＡＬユニットに分解されたときに、サンプルデータの範囲の抽出後に、ＮＡＬユニット長がどこでどのように定義されるかは明らかではない。さらに、サンプルコンストラクタを処理するとき、レーダ(reader)は、抽出されたサンプル内のデータオフセットがＮＡＬユニット長フィールドの最初のバイトに対応するか否かを容易に知ることができず、これを見つけるために、抽出されたサンプルから以前のすべてのＮＡＬユニットを解析しなければならない。インラインコンストラクタがＮＡＬユニット長フィールドを含むかどうかも明確ではないが、ＮＡＬユニット長フィールドを含む場合、このものは次のコンストラクタから抽出されたバイトと一致するように書き換える必要があるかもしれない。インラインコンストラクタでＮＡＬＵ長フィールドを定義すると、特に書き換えが必要な場合に、インラインコンストラクタで最大４バイトが浪費される可能性があることがわかった。
リーダのサイズと複雑さの両方を最適化するために、新しい明示的ＮＡＬ開始インラインコンストラクタは、ファイルリーダが“これらの抽出されたバイトはＮＡＬＵ長フィールドの書き換えを必要とするか、このフィールドを書き換える場所がない／必要がある”という状態を維持しないように定義される。
明示的にＮＡＬＵを開始するが、ＮＡＬＵ長フィールドが埋め込まれていないインラインコンストラクタを有するエクストラクタは以下のように定義される：
--------------------------------------------------------------------------
class aligned(8) Extractor () {
NALUnitHeader();
do {
unsigned int(8) constructor_type;
if( constructor_type == 0 )
SampleConstructor();
else if( constructor_type == 2 )
InlineConstructor();
else if( constructor_type == 3 )
SampleConstructorFromTrackGroup();
else if( constructor_type == 4 )
ReferenceConstructor ();
else if( constructor_type == 5 )
NALUStartInlineConstructor ()
} while( !EndOfNALUnit() )
}
--------------------------------------------------------------------------
新しいコンストラクタ“ＮＡＬＵＳｔａｒｔＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒ”の名前が例として提供されている。さらに、予約済みの“ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ”値の“５”が例として提供されている。
ＮＡＬＵＳｔａｒｔＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒは、ＮＡＬ ユニットがこのコンストラクタで開始し、直後のコンストラクタ（存在する場合） に展開されることを示すために使用される。ｉｎｌｉｎｅ＿ｄａｔａ には、ＮＡＬユニットの先頭(ＮＡＬユニットヘッダ、ＮＡＬユニットヘッダーの一部、ＮＡＬユニットペイロード、またはＮＡＬユニットペイロードの一部など） が含まれるが、ＮＡＬユニット長フィールドは含まれない。このフィールドは、ＬｅｎｇｈｔｈＳｉｚｅＭｉｎｕｓＯｎｅフィールドに従ってファイルリーダによって挿入され、このコンストラクタと直後のコンストラクタ（もしあれば）を処理した後、完全なＮＡＬユニットサイズに設定される。
ＮＡＬＵＳｔａｒｔＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒは次のように定義される：
--------------------------------------------------------------------------
class aligned(8) NALUStartInlineConstructor () {
unsigned int(8) length;
unsigned int(8) inline_data[length];
}
--------------------------------------------------------------------------
ここで、ｌｅｎｇｔｈ（長さ）： は、このフィールドの後に続くＮＡＬＵＳｔａｒｔＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒ に属するバイト数である。ｌｅｎｇｈｔｈの値は、０よりも大きくなければならない。０に等しい長さの値が予約される。
ｉｎｌｉｎｅ＿ｄａｔａ:は、インラインコンストラクターを分解(resolving)するときに返されるデータバイトである。これらのバイトは、エクストラクタ内の最後のコンストラクタである場合が正確に１つの完了ＮＡＬユニット、またはＮＡＬユニットの先頭のいずれかを含むものとする
さらに、既存のインラインコンストラクタ(ｃｏｎｓｔｒｕｃｔｏｒ＿ｔｙｐｅ＝２の場合）は以下のように変更される：
--------------------------------------------------------------------------
class aligned(8) InlineConstructor () {
unsigned int(8) length;
unsigned int(8) inline_data[length];
}
--------------------------------------------------------------------------
ここで、ｌｅｎｇｔｈ： は、このフィールドの後に続くＩｎｌｉｎｅＣｏｎｓｔｒｕｃｔｏｒ に属するバイト数である。ｌｅｎｇｔｈの値は、０よりも大きくなければならない。０に等しい長さの値が予約される。
ｉｎｌｉｎｅ＿ｄａｔａ:は、インラインコンストラクターを分解するときに返されるデータバイトである。エクストラクタの再構成されたＮＡＬユニットのＮＡＬユニット長フィールドに対応するバイトは、これらのバイトには存在しない。
図７は、本発明の１つまたは複数の実施形態を実施するためのコンピューティングデバイス７００の概略ブロック図である。コンピューティングデバイス７００は、マイクロコンピュータ、ワークステーション、またはライトポータブルデバイスなどのデバイスとすることができる。コンピューティングデバイス７００は、以下の物に接続された通信バスを備える：
- マイクロプロセッサのような中央処理装置（ＣＰＵ）７０１；
- 本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ（ＲＡＭ）７０２、ならびにマニフェストの読取りおよび書込み、ならびに／またはビデオの符号化、および／または所与のファイルフォーマットの下でのデータの読取りまたは生成のための方法を実施するために必要な変数およびパラメータを記録するように適合された登録はたとえば、拡張ポートに接続された任意選択のＲＡＭによって、そのメモリ容量を拡張することができる；
- 本発明の実施形態を実現するためのコンピュータプログラムを記憶するための読み出し専用メモリ（ＲＯＭ）７０３；
- ネットワークインターフェース７０４、すなわち、典型的には、処理されるデジタルデータが送受信される通信ネットワークに接続される。ネットワークインターフェース７０４は単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェースのセット（例えば、有線および無線インターフェース、または異なる種類の有線または無線インターフェース）から構成されてもよい。データは、送信のためにネットワークインターフェースに書き込まれるか、またはＣＰＵ ７０１内で実行されているソフトウェアアプリケーションの制御の下で受信のためにネットワークインターフェースから読み出される；
- ユーザからの入力を受け取るため、またはユーザに情報を表示するためのユーザインターフェース（ＵＩ）７０５；
- ハードディスク（ＨＤ）７０６；
- ビデオソースやディスプレイなどの外部デバイスとの間でデータを送受信するためのＩ／Ｏモジュール７０７
実行可能コードは、読み出し専用メモリ７０３、ハードディスク７０６、または例えばディスクのようなリムーバブルデジタルメディアのいずれかに格納することができる。変形例によれば、プログラムの実行可能コードはハードディスク７０６などの通信装置７００の記憶手段の１つに記憶されてから実行されるように、ネットワークインターフェース７０４を介して、通信ネットワークの手段によって受信することができる。
中央演算処理装置７０１は、本発明の実施形態によるプログラムの命令またはソフトウェアコードの一部の実行を制御し、指示するように適合され、命令は、前述の記憶手段のうちの１つに記憶される。電源投入後、ＣＰＵ ７０１は例えば、プログラムＲＯＭ ７０３またはハードディスク（ＨＤ）７０６からそれらの命令がロードされた後に、ソフトウェアアプリケーションに関するメインＲＡＭメモリ７０２からの命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ ７０１によって実行されると、前の図に示したフローチャートのステップが実行される。
この実施形態では、装置が本発明を実施するためにソフトウェアを使用するプログラマブル装置である。しかしながら、代替的に、本発明はハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）の形態）で実施されてもよい。
以上、特定の実施形態を参照して本発明を説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある修正は当業者には明らかであろう。
例えば、本発明はカメラ、スマートフォン、ヘッドマウントディスプレイ、または例えば関心のある特定の領域にズームインするためのＴＶまたはマルチメディアディスプレイのためのリモートコントローラとして機能するタブレットのようなデバイスに組み込まれてもよい。また、同じデバイスから使用して、特定の関心領域を選択することによって、マルチメディアプレゼンテーションのパーソナライズされたブラウジングエクスペリエンスを持つこともできる。ユーザによるこれらの装置および方法からの別の使用は、他の接続された装置と、ユーザの好ましいビデオのいくつかの選択されたサブパートを共有することである。また、監視カメラが本発明によるデータを提供する方法をサポートする場合には、監視下に置かれた建物の特定の領域で何が起こるかを監視するために、スマートフォンまたはタブレットと共に使用することもできる。
多くのさらなる修正および変形は単に例として与えられ、本発明の範囲を限定することを意図されておらず、その範囲は添付の特許請求の範囲によってのみ決定される、前述の例示的な実施形態を参照することにより、当業者に示唆されるのであろう。特に、様々な実施形態からの異なる特徴は、適宜、交換されてもよい。

Claims (17)

  1. メディアデータをメディアファイルにカプセル化する方法であって、
    前記メディアファイルに、メディアサンプルを有する第１のトラックを含めることと、
    前記メディアファイルに、エクストラクタを有する第２のトラックを含めることと、
    ここで前記エクストラクタは、前記第１のトラックに含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも第１のコンストラクタを有する、
    前記方法は、更に、
    デフォルトコンストラクタを前記第２のトラックに含めることを有し、
    前記第１のコンストラクタは、前記デフォルトコンストラクタを参照する参照コンストラクタであり、
    前記デフォルトコンストラクタは前記第２のトラックのメタデータ部に含まれ、
    前記第２のトラック内の前記デフォルトコンストラクタは、デフォルトコンストラクタのリストとして含まれており、前記参照コンストラクタは前記リストのインデックスを有する
    ことを特徴とする方法。
  2. 前記デフォルトコンストラクタは、前記第２のトラックの前記メタデータ部のサンプルエントリに含まれる、ことを特徴とする請求項１に記載の方法。
  3. 前記デフォルトコンストラクタは、前記第２のトラックのサンプルグループを記述するサンプルグループエントリ内に含まれ、前記エクストラクタは前記サンプルグループのサンプル内に含まれる、ことを特徴とする請求項１に記載の方法。
  4. メディアデータをメディアファイルにカプセル化する方法であって、
    前記メディアファイルに、メディアサンプルを有する第１のトラックを含めることと、
    前記メディアファイルに、エクストラクタを有する第２のトラックを含めることと、
    ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、
    前記方法は、更に、
    デフォルトエクストラクタを前記第２のトラックに含めることを有し、
    前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタを参照する参照エクストラクタである
    ことを特徴とする方法。
  5. メディアデータをメディアファイルにカプセル化する方法であって、
    前記メディアファイルに、メディアサンプルを有する第１のトラックを含めることと、
    ここで、各メディアサンプルは１以上のＮＡＬユニットのセットを含む；
    前記メディアファイルに、エクストラクタを有する第２のトラックを含めることと、
    ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも１つのコンストラクタを有する；
    前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドも有さないことを示す情報とを有する
    ことを特徴とする方法。
  6. メディアファイル内へのメディアデータを構文解析する方法であって、
    前記メディアファイル内の、メディアサンプルを有する第１のトラックを得ることと、
    前記メディアファイル内の、エクストラクタを有する第２のトラックを得ることと、
    ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくも１つのコンストラクタを有する、
    前記方法は、更に、
    前記第２のトラック内のデフォルトコンストラクタを得ること、
    前記コンストラクタは、前記デフォルトコンストラクタを参照する参照コンストラクタであり、
    前記デフォルトコンストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得ることを有する
    ことを特徴とする方法。
  7. メディアファイル内へのメディアデータを構文解析する方法であって、
    前記メディアファイル内の、メディアサンプルを有する第１のトラックを得ることと、
    前記メディアファイル内の、エクストラクタを有する第２のトラックを得ることと、
    ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、
    前記方法は、更に、
    前記第２のトラック内のデフォルトエクストラクタを得ること、
    前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタを参照する参照エクストラクタであり、
    前記デフォルトエクストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得ることを有する
    ことを特徴とする方法。
  8. メディアファイル内へのメディアデータを構文解析する方法であって、
    前記メディアファイル内の、メディアサンプルを有する第１のトラックを得ることと、
    ここで各メディアサンプルは、１以上のＮＡＬユニットのセットを含む；
    前記メディアファイル内の、エクストラクタを有する第２のトラックを得ること、
    ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくとも１つのコンストラクタを有する；
    前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドも有さないことを示す情報とを有する
    ことを特徴とする方法。
  9. 請求項１乃至８のいずれか１つの方法を実行するためのコンピュータプログラムが読み込まれたシステム。
  10. 請求項１乃至８のいずれか１項に記載の方法を実行させるためのコンピュータプログラムの命令を記憶する、コンピュータ可読記憶媒体。
  11. 請求項１乃至８のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。
  12. メディアデータをメディアファイルにカプセル化するデバイスであって、
    前記デバイスはプロセッサを有し、当該プロセッサは、
    前記メディアファイルに、メディアサンプルを有する第１のトラックを含め、
    前記メディアファイルに、エクストラクタを有する第２のトラックを含め、
    ここで前記エクストラクタは、前記第１のトラックに含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも第１のコンストラクタを有する、
    前記デバイスは、更に、
    デフォルトコンストラクタを前記第２のトラックに含め、
    前記デフォルトコンストラクタを参照する参照コンストラクタを、前記エクストラクタに含め、
    前記デフォルトコンストラクタは前記第２のトラックのメタデータ部に含まれ、
    前記第２のトラック内の前記デフォルトコンストラクタは、デフォルトコンストラクタのリストとして含まれており、前記参照コンストラクタは前記リストのインデックスを有する
    ことを特徴とするデバイス。
  13. メディアデータをメディアファイルにカプセル化するデバイスであって、
    前記デバイスはプロセッサを有し、当該プロセッサは、
    前記メディアファイルに、メディアサンプルを有する第１のトラックを含め、
    前記メディアファイルに、エクストラクタを有する第２のトラックを含め、
    ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、
    前記デバイスは、更に、
    デフォルトエクストラクタを前記第２のトラックに含め、
    前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタを参照する参照エクストラクタである
    ことを特徴とするデバイス。
  14. メディアデータをメディアファイルにカプセル化するデバイスであって、
    前記デバイスはプロセッサを有し、当該プロセッサは、
    前記メディアファイルに、メディアサンプルを有する第１のトラックを含め、
    ここで、各メディアサンプルは１以上のＮＡＬユニットのセットを含む；
    前記メディアファイルに、エクストラクタを有する第２のトラックを含め、
    ここで、前記エクストラクタは、前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であり、前記エクストラクタは少なくとも１つのコンストラクタを有する；
    前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドも有さないことを示す情報とを有する
    ことを特徴とするデバイス。
  15. メディアファイル内へのメディアデータを構文解析するデバイスであって、
    前記デバイスはプロセッサを有し、当該プロセッサは、
    前記メディアファイル内の、メディアサンプルを有する第１のトラックを得て、
    前記メディアファイル内の、エクストラクタを有する第２のトラックを得て、
    ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくも１つのコンストラクタを有する、
    前記デバイスは、更に、
    前記第２のトラック内のデフォルトコンストラクタを得て、
    前記コンストラクタ内の、前記デフォルトコンストラクタを参照する参照コンストラクタを得て、
    前記デフォルトコンストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得る
    ことを特徴とするデバイス。
  16. メディアファイル内へのメディアデータを構文解析するデバイスであって、
    前記デバイスはプロセッサを有し、当該プロセッサは、
    前記メディアファイル内の、メディアサンプルを有する第１のトラックを得て、
    ここで、各メディアサンプルは１以上のＮＡＬユニットのセットを含む；
    前記メディアファイル内の、エクストラクタを有する第２のトラックを得て、
    ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体である；
    前記デバイスは、更に、
    前記第２のトラック内のメタデータ部内のデフォルトエクストラクタを得て、
    前記第２のトラックに含まれる前記エクストラクタは、前記デフォルトエクストラクタを参照する参照エクストラクタであり、
    前記デフォルトエクストラクタに基づき前記エクストラクタで参照されるデータを、前記第１のトラックから得る
    ことを特徴とするデバイス。
  17. メディアファイル内へのメディアデータを構文解析するデバイスであって、
    前記デバイスはプロセッサを有し、当該プロセッサは、
    前記メディアファイル内の、メディアサンプルを有する第１のトラックを得て、
    ここで各メディアサンプルは、１以上のＮＡＬユニットのセットを含む；
    前記メディアファイル内の、エクストラクタを有する第２のトラックを得て、
    ここで、前記エクストラクタは前記第１のトラック内に含まれるメディアサンプル内のデータを参照する構造体であって、前記エクストラクタは少なくとも１つのコンストラクタを有する；
    前記コンストラクタは、インラインデータと、当該インラインデータが如何なるＮＡＬユニット長さフィールドも有さないことを示す情報とを有する
    ことを特徴とするデバイス。
JP2021568664A 2019-09-24 2020-09-22 メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム Active JP7348962B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1913766.0 2019-09-24
GB1913766.0A GB2587364B (en) 2019-09-24 2019-09-24 Method, device, and computer program for encapsulating media data into a media file
PCT/EP2020/076443 WO2021058488A1 (en) 2019-09-24 2020-09-22 Method, device, and computer program for encapsulating media data into a media file

Publications (2)

Publication Number Publication Date
JP2022546894A JP2022546894A (ja) 2022-11-10
JP7348962B2 true JP7348962B2 (ja) 2023-09-21

Family

ID=68425434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021568664A Active JP7348962B2 (ja) 2019-09-24 2020-09-22 メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム

Country Status (7)

Country Link
US (1) US20220360831A1 (ja)
EP (1) EP4035412A1 (ja)
JP (1) JP7348962B2 (ja)
KR (1) KR20220069970A (ja)
CN (1) CN114503601A (ja)
GB (1) GB2587364B (ja)
WO (1) WO2021058488A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505646A (ja) 2009-09-22 2013-02-14 クゥアルコム・インコーポレイテッド ファイルフォーマットトラック選択のためのメディアエクストラクタトラック
JP2019507980A (ja) 2016-02-02 2019-03-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオストリーミングにおけるシーンセクションと関心領域の処理
WO2020008115A1 (en) 2018-07-06 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
CA2730543C (en) * 2008-07-16 2014-04-22 Nokia Corporation Method and apparatus for track and track subset grouping
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
RU2616185C2 (ru) * 2013-01-18 2017-04-13 Кэнон Кабусики Кайся Способ, устройство и компьютерная программа для инкапсуляции сегментированных синхронизированных мультимедийных данных
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
EP3646593A4 (en) * 2017-06-26 2021-03-31 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
EP3850863A4 (en) * 2018-09-12 2022-06-08 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013505646A (ja) 2009-09-22 2013-02-14 クゥアルコム・インコーポレイテッド ファイルフォーマットトラック選択のためのメディアエクストラクタトラック
JP2019507980A (ja) 2016-02-02 2019-03-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオストリーミングにおけるシーンセクションと関心領域の処理
WO2020008115A1 (en) 2018-07-06 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Also Published As

Publication number Publication date
GB2587364A (en) 2021-03-31
GB2587364B (en) 2023-11-15
KR20220069970A (ko) 2022-05-27
GB201913766D0 (en) 2019-11-06
WO2021058488A1 (en) 2021-04-01
CN114503601A (zh) 2022-05-13
EP4035412A1 (en) 2022-08-03
US20220360831A1 (en) 2022-11-10
JP2022546894A (ja) 2022-11-10

Similar Documents

Publication Publication Date Title
JP7444872B2 (ja) メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム
JP7154314B2 (ja) メディアコンテンツを送信する方法、装置及びコンピュータプログラム
KR102037009B1 (ko) 동작 포인트 디스크립터가 동적으로 설정될 수 있는 캡슐화된 비트-스트림으로부터 미디어 데이터 및 메타데이터를 획득하는 방법, 디바이스, 및 컴퓨터 프로그램
JP6572222B2 (ja) メディアファイルの生成方法、生成装置、及びプログラム
US20230025332A1 (en) Method, device, and computer program for improving encapsulation of media content
JP7249413B2 (ja) カプセル化メディアコンテンツの部分の送信を最適化する方法、装置及びコンピュータプログラム
US11985339B2 (en) Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
JP2022017182A (ja) メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム
US20220337846A1 (en) Method and apparatus for encapsulating encoded media data in a media file
JP7348962B2 (ja) メディアデータをメディアファイルにカプセル化するための方法、装置、およびコンピュータプログラム
US20220166997A1 (en) Method and apparatus for encapsulating video data into a file
GB2575288A (en) Method and apparatus for encapsulating images or sequences of images with proprietary information in a file
GB2608399A (en) Method, device, and computer program for dynamically encapsulating media content data
US20240314408A1 (en) Method, device, and computer program for dynamically encapsulating media content data
WO2024012915A1 (en) Method, device, and computer program for optimizing dynamic encapsulation and parsing of content data
CN117581551A (zh) 动态封装媒体内容数据的方法、装置及计算机程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230908

R151 Written notification of patent or utility model registration

Ref document number: 7348962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151