JP4417244B2 - 符号化装置及びコンピュータ処理方法 - Google Patents

符号化装置及びコンピュータ処理方法 Download PDF

Info

Publication number
JP4417244B2
JP4417244B2 JP2004502085A JP2004502085A JP4417244B2 JP 4417244 B2 JP4417244 B2 JP 4417244B2 JP 2004502085 A JP2004502085 A JP 2004502085A JP 2004502085 A JP2004502085 A JP 2004502085A JP 4417244 B2 JP4417244 B2 JP 4417244B2
Authority
JP
Japan
Prior art keywords
units
nal
gal
multimedia data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004502085A
Other languages
English (en)
Other versions
JP2005524313A (ja
Inventor
ヴィシャラム、モハメド、ズバイル
タバタバイ、アリ
ウォーカー、トビー
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2005524313A publication Critical patent/JP2005524313A/ja
Application granted granted Critical
Publication of JP4417244B2 publication Critical patent/JP4417244B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、一般的には、マルチメディアデータの符号化に関し、特に符号化マルチメディアデータの汎用適応層の提供に関する。
関連出願
この願は、２００２年４月２９日に出願された米国仮特許出願番号６０／３７６，４７３号に関連し、これに対する優先権を主張する。この米国仮特許出願は、引用により本願に援用される。
著作権表示／許諾
この明細書の開示内容の一部は、著作権保護の対象となるものを含む。著作権者は、いずれの者によっても、特許商標庁の特許ファイル又は記録にあるような特許文書又は特許開示内容をファクシミリにより複写することについて異議を唱えないが、それ以外の場合は、全ての著作権を主張する。以下の注意書きは、後述する説明及び図面に示すソフトウェア及びデータに適用される：著作権２００１年、全ての著作権は、ソニーエレクトロニクスインク社に帰属する。
ネットワーク、マルチメディア、データベース、他のデジタル処理能力に対する需要が急速に高まり、それに伴って数多くのマルチメディア符号化方式が開発されている。近年、国際電気通信連合（International Telecommunication Union：以下、ＩＴＵという。）のムービングピクチャエキスパーツグループ（Moving Picture Experts Group：以下、ＭＰＥＧという。）とビデオコーディングエキスパーツグループ（Video Coding Experts Group：以下、ＶＣＥＧという。）は、ジョイントビデオチーム（Joint Video Team：以下、ＪＶＴという。）として共同作業を開始し、ＩＴＵ勧告Ｈ．２６４、ＭＰＥＧ−４パート１０、アドバンストビデオコーデック（Advanced Video Codec：以下、ＡＶＣという。）又はＪＶＴコーデックと呼ばれる新たなビデオ符号化／復号（コーデックという。）規格を策定している。
ＪＶＴコーデックの設計では、２つの異なる概念上の層であるビデオ符号化層（Video Coding Layer：以下、ＶＣＬという。）とネットワーク抽象化層（Network Abstraction Layer：以下、ＮＡＬという。）とを区別している。ＶＣＬには、動き補償、係数の変換符号化、エントロピー符号化等、コーデックの符号化に関連した部分が含まれている。ＶＣＬの出力はスライスであり、各スライスには、一連のマクロブロックと、付随のヘッダ情報とが含まれている。ＮＡＬは、システム層上に転送するためにＶＣＬデータをパッケージ化する。各システム層は、固有の構文を必要とする。例えば、リアルタイム転送プロトコル（Real-Time Transport Protocol：以下、ＲＴＰという。）のシステムでは、パケット向きの構文（syntax）が必要とされ、ＭＰＥＧ−２のシステムでは、バイトストリーム構文が必要とされ、特別なファイルフォーマット（例えば、ＭＰ４ファイルフォーマット）を用いた転送装置では、ＶＣＬデータをこれらのファイルフォーマットに従って構成する必要がある。したがって、ＮＡＬは、特定の転送装置に固有であるか、あるいは、ＶＣＬデータを種々のフォーマットにパッケージ化することができるように情報を大量に記憶しなければならない。前者のアプローチは、非常に最適化を行うことができるが、相互運用性を妨げてしまう。一方、後者のアプローチは、動作性能に影響があり、ＮＡＬの動作を既存の転送装置に限定してしまう。
符号化装置は、マルチメディアデータを符号化するときにスライスを生成するビデオ符号化層（video coding layer：以下、ＶＣＬという。）と、スライスから、種々の転送装置に対して汎用的なフォーマットを有するＧＡＬユニットのセットを生成する汎用適応層（generic adaptation layer：以下、ＧＡＬという。）と、特定の転送装置に関連し、ＧＡＬユニットのセットを特定の転送装置のフォーマットにマッピングするネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）とを備える。
以下、図面を参照して、本発明の実施例を詳細に説明する。図面において、類似する構成要素には、同じ指示符号を付している。実施例は、本発明を実施できるように説明する。
これらの実施例については、当業者が本発明を実施できるように十分詳細に説明するが、他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。したがって、以下の詳細な説明は、限定的な意味で解釈されるものではなく、本発明の範囲は、特許請求の範囲によってのみ定義される。
図１は、本発明を適用した符号化装置の一実施例を示すブロック図であり、先ず、この動作を説明する。符号化装置１００は、概念的に３つの層、すなわちビデオ符号化層（video coding layer：以下、ＶＣＬという。）１０２と、汎用適応層（generic adaptation layer：以下、ＧＡＬという。）１０５と、ネットワーク抽象化層（Network Abstraction Layer：以下、ＮＡＬという。）１０７とを備える。
ビデオ符号化層１０２のＶＣＬエンコーダ１０４には、ビデオデータ（例えば、自然ソースビデオシーンから作成されたビデオオブジェクトや他の外部ビデオオブジェクト）、オーディオデータ（例えば、自然ソースオーディオシーンから作成されたオーディオオブジェクトや他のオーディオオブジェクト）、合成オブジェクト、あるいはこれらの組合せからなるメディアデータが供給される。メディアエンコーダであるＶＣＬエンコーダ１０４は、種々のメディアデータを処理するための多数のエンコーダ又はサブエンコーダから構成することができる。ＶＣＬエンコーダ１０４は、メディアデータを符号化して、一連のマクロブロックと、付随のヘッダ情報とを含むスライスを多数生成する。
汎用適応層１０５のＧＡＬインタフェース１０６は、ＶＣＬエンコーダ１０４からスライスが供給され、ＮＡＬに依存しないフォーマットを有するＧＡＬユニットのセットを生成する。すなわち、ＧＡＬユニットには、あらゆる種類の転送装置のＮＡＬが、対応する転送装置で必要とされる構文に基づいてデータをパッケージ化できるように十分な情報が含まれている。以下、より詳細に説明するように、ＧＡＬユニットには、メディアデータの構造に関する情報を提供する構造ユニットと、ＶＣＬエンコーダ１０４により符号化されたメディアデータを含むメディアデータユニットと、メディアデータに関連するパラメータセットを含むパラメータセットユニットとを含むことができる。パラメータセットは、ＶＣＬデータの復号を制御する一群のパラメータの値を定義している。一実施例において、ＧＡＬユニットには、また、メディアデータに関連する補足的な拡張情報（supplemental enhanced information：以下、ＳＥＩという。）メッセージを含むＳＥＩユニットを含めてもよい。ＳＥＩメッセージには、メディアデータに関する補助情報が含まれる。
ＧＡＬインタフェース１０６は、ソフトウェア、ハードウェア、あるいはこれらの組合せにより構成することができる。一実施例においては、ＧＡＬインタフェース１０６は、ＶＣＬエンコーダ１０４の一部である。また、ＧＡＬインタフェース１０６は、ＶＣＬエンコーダ１０４と直接、あるいは公衆ネットワーク（例えばインターネット）又は構内ネットワーク（例えばＬＡＮ）を介して通信を行う独立したモジュールである。
ネットワーク抽象化層１０７において、特定の種類の転送装置のＮＡＬインタフェース１０８は、ＧＡＬインタフェース１０６からＧＡＬユニットが供給され、これらの種類の転送装置の構文に基づいてＧＡＬユニットをパッケージ化する。各ＮＡＬインタフェース１０８は、ＧＡＬインタフェース１０６と直接、あるいは構内又は公衆ネットワークを介して通信を行うことができる。ＮＡＬインタフェース１０８は、ソフトウェア、ハードウェア、あるいはこれらの組合せにより構成することができる。転送装置の種類の具体例としては、パケット向きの構文を必要とするインターネットプロトコル（Internet Protocol：以下、ＩＰという。）転送装置１１０（例えば、ＩＰ上のリアルタイム転送プロトコル（Real-Time Transport Protocol over IP（RTP/IP））装置）、ビットストリーム構文を必要とするＭＰＥＧ−２装置１１２、特別なファイルフォーマット（例えばＭＰ４ファイルフォーマット）を必要とするファイル記憶装置１１４等がある。
一実施例において、ＮＡＬインタフェース１０８は、コンテンツを搬送するために多数のチャンネルを使用する。例えば、ＮＡＬインタフェース１０８は、第１のストリームによってメディアデータを搬送し、第２のストリームによって、このメディアデータに関連するパラメータセットを搬送し、第３のストリームによって、このメディアデータに関連するＳＥＩメッセージを搬送する。他の実施例では、ＮＡＬインタフェースは、単一チャンネル内でコンテンツを搬送する。一実施例において、各種類のＮＡＬインタフェース１０８は、この種類のＮＡＬインタフェースにより使用される１つ以上のチャンネルを指定するとともに各チャンネルの特性を特定する所定の仕様（ここではＮＡＬ記述子という。）に関連している。
図２は、復号装置２００の一実施例を示すブロック図である。復号装置２００は、符号化装置１００とは逆の順序で動作する概念的な３つの層、すなわちネットワーク抽象化層２０１と、汎用適応層２０３と、ビデオ符号化層２０５とを備える。
ネットワーク抽象化層２０１のＮＡＬインタフェース２０２は、ＩＰ装置、ＭＰＥＧ−２装置、ファイル記憶装置（例えば、ＭＰ４装置）等の様々な転送装置からデータを受信し、ＧＡＬユニットに変換する。一実施例において、この変換は、特定のＮＡＬインタフェース２０２の記述子により指定される逆マッピングに基づいて行われる。
更に、汎用適応層２０３のＧＡＬインタフェース２０４は、ＧＡＬユニットからスライスを抽出して、これらのスライスをビデオ符号化層２０５のＶＣＬデコーダ２０６に供給し、ビデオ符号化層２０５は、コンテンツを復号する。
図３は、ゲートウェイシステム３００の一実施例を示すブロック図である。ゲートウェイシステム３００は、異なる種類の２つのネットワーク３０４、３０６を接続するゲートウェイ３０２を備える。例えば、ネットワーク３０６は、ＩＰベースのネットワークであり、ネットワーク３０４は、ＭＰＥＧ−４ベースのネットワークである。ゲートウェイ３０２は、変換装置３０８を備え、変換装置３０８は、概念的にネットワーク抽象化層３１０、３１２と、汎用適応層３１４とから構成される。
ネットワーク抽象化層３１０のＮＡＬインタフェース３１６は、第１のネットワーク３０４（例えばＭＰＥＧ−４ベースのネットワーク）からデータを受信し、上述のようなＧＡＬユニットに再パッケージ化する。汎用適応層３１４のＧＡＬインタフェース３１８は、ＮＡＬインタフェース３１６からＧＡＬユニットが供給され、それらをＮＡＬインタフェース３２０に供給する。ネットワーク抽象化層３１２のＮＡＬインタフェース３２０は、ＧＡＬユニットを、第２のネットワーク３０６（例えばＲＴＰ／ＩＰベースのネットワーク）の転送媒体で必要とされる構文にマッピングし、得られたコンテンツを第２のネットワーク３０６に送信する。
同様に、第２のネットワーク３０６から受信されるデータは、ＮＡＬインタフェース３２０によってＧＡＬユニットに再パッケージ化されてＧＡＬインタフェース３１８に供給され、ＮＡＬインタフェース３１６によって第１のネットワークの構文にマッピングされる。
図４は、本発明を実施するのに適したコンピュータハードウェア及び他の動作構成要素の概要を示すブロック図であるが、これは、本発明の適用可能な環境を限定するものではない。図４は、図１のＧＡＬインタフェース１０６及び／又はＮＡＬインタフェース１０８、図２のＧＡＬインタフェース２０４及び／又はＮＡＬインタフェース２０２、あるいは図３のＧＡＬインタフェース３１８及び／又はＮＡＬインタフェース３１６、３２０として使用するのに適したコンピュータシステムの一実施例を示すブロック図である。
コンピュータシステム４４０は、プロセッサ４５０と、メモリ４５５と、入出力部４６０とを備え、これらはシステムバス４６５に接続されている。メモリ４５５には、インストラクションが記憶されており、これらのインストラクションは、プロセッサ４５０によって実行され、以下に説明する方法を実現する。入出力部４６０は、プロセッサ４５０によってアクセス可能なあらゆる種類の記憶装置を含む、コンピュータにより読取り可能な種々の媒体を含んでいる。当業者にとっては、「コンピュータにより読取り可能な媒体」という用語には、データ信号によって符号化された搬送波が更に含まれることは、明らかである。また、コンピュータシステム４４０は、メモリ４５５内のオペレーティングシステムソフトウェアを実行することによって、制御される。入出力部４６０及び関連した媒体には、オペレーティングシステム及び本発明の方法に関するコンピュータで実行可能なインストラクションを格納している。図１及び図２に示すＶＣＬエンコーダ１０４と、ＧＡＬインタフェース１０６、２０４と、ＮＡＬインタフェース１０８、２０２と、ＶＣＬデコーダ２０６とは、それぞれプロセッサ４５０に接続された別々の構成要素とすることができるが、プロセッサ４５０によって実行されるコンピュータで実行可能なインストラクションに組み込むことができる。一実施例において、コンピュータシステム４４０は、インターネットサービスプロバイダ（Internet Service Provider：以下、ＩＳＰ）の一部を構成し、あるいはＩＳＰに接続され、入出力部４６０を介してインターネット上でメディアデータを送受信することができる。本発明が、インターネットのアクセスやインターネットのウェブベースのサイトに限定されないことは言うまでもない。すなわち、直接接続されたネットワークや構内ネットワークも考えられる。
また、コンピュータシステム４４０は、様々なアーキテクチャを有する数多くの可能なコンピュータシステムの一具体例であることは言うまでもない。一般的なコンピュータシステムは、通常、少なくともプロセッサと、メモリと、メモリをプロセッサに接続するバスとを備える。当業者にとっては、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ等、他のコンピュータシステム構成を用いても本発明を実施することができることは明らかである。また、本発明は、通信ネットワークを介して接続された遠隔処理装置によってタスクを実行する分散コンピュータ環境においても実施することができる。
次に、汎用適応層の動作について詳細に説明する。具体的には、ＧＡＬインタフェースは、ＶＣＬから供給されるスライスを用いて、ＧＡＬユニットのセットを生成する。ＧＡＬユニットには、ＶＣＬからの符号化メディアデータを含むメディアデータユニットと、メディアデータの構造を定義する構造ユニットとが含まれる。一実施例において、ＧＡＬユニットには、また、マルチメディアデータに関連するパラメータセットを含むパラメータセットユニットが含まれる。一実施例において、更に、ＧＡＬユニットには、メディアデータに関連するＳＥＩメッセージを含むＳＥＩメッセージユニットが含まれる。
図５は、汎用適応層のＧＡＬユニットを生成する処理の一実施例を示す図である。
図５は、ＶＣＬにより符号化されたメディアデータの具体的なモデル５００を示す図である。モデル５００の最下位レベルは、ＶＣＬデータを含むスライスである。モデル５００の第２レベルは、画像データを表すピクチャである。各ピクチャは一連のスライスとして符号化されている。モデル５００の第３レベルは、グループオブピクチャ（group of pictures：以下、ＧＯＰ）である。各ＧＯＰは、独立して復号可能な一連のピクチャを組み合わせたものである。モデル５００の最上位レベルは、ＧＯＰのシーケンスを含むシーケンスである。
汎用適応層は、メディアデータの上述の構造を定義する構造ユニットを生成する。具体的には、構造ユニットは、モデル５００の各層の開始点と終了点を特定する。例えば、ＧＡＬユニットのセット５０２は、それぞれの構造ユニットを有する。すなわち、シーケンスの構造ユニットは、このシーケンスで発生する全てのデータを含んでいるシーケンス層の開始を示すシーケンス開始ユニット５０と、対応するシーケンス終了ユニット５１８とを有する。また、ＧＯＰの構造ユニットは、このＧＯＰで発生する全てのデータを含んでいるグループオブピクチャの開始を示すＧＯＰ開始ユニット５０６と、対応するＧＯＰ終了ユニット５１６とを有する。また、ピクチャの構造ユニットは、このピクチャで発生する全てのデータを含んでいるピクチャの開始を示すピクチャ開始ユニット５０８と、対応するピクチャ終了ユニット５１４とを有する。一実施例において、１つの層の終了は別の層の開始から推測することができるので（シーケンスの開始及び終了を除く）、層の終了ユニット５１４〜５１８は任意である。
ＧＡＬインタフェースがＶＣＬエンコーダの一部である実施例においては、ＧＡＬインタフェースは、ＶＣＬからメディアデータの各層の開始及び終了を示す信号が供給される。ＧＡＬインタフェースが独立したモジュールである他の実施例においては、ＧＡＬインタフェースは、ＶＣＬエンコーダから供給されるスライスのヘッダから、メディアデータの構造に関する情報（例えば、メディアデータの各層の開始及び終了に関する情報）を抽出する。
また、ＧＡＬユニットのセット５０２は、スライス５１２を含むメディアデータユニットを有する。メディアデータユニットには２つの種類、すなわちスライスユニットとパーティションスライスユニット（partitioned slice unit）がある。一実施例において、スライスユニットは、スライスヘッダとビデオデータから構成されるスライスを有する。ビデオデータは、マクロブロックのセットのＶＣＬデータを含んでいる。ＶＣＬデータは、スライス内のマクロブロックに対するＶＣＬによって定義された構文要素（syntax element）を表すビットのシーケンスである。
パーティションスライスユニットは、スライスの一部からなる。すなわち、スライスのデータは、分割することができるヘッダデータとペイロードデータの両方を含んでいる。パーティションに分割すると、ビデオデータとヘッダデータ内のシンボルのセットの符号化は、別々に行うことができる。スライス内の各パーティションのデータは、ヘッダ又はビデオ構文によって定義示される順序でそのパーティション内に存在するシンボルの全てのビットから構成されている。例えば、データパーティションがヘッダとビデオデータの両方を含む場合、順序は、ヘッダビットが先で、その後にビデオデータのビットが続く。一実施例において、ヘッダ情報（スライスヘッダを含む）、イントラ係数、インター係数をそれぞれ含む異なる３つのパーティションがある。パーティションスライスユニットは、パーティションに分割されたスライスデータに対して定義され、各パーティションスライスユニットは、それぞれパーティション識別子を有し、その後にパーティション内のデータが続く。
一実施例（図示せず）において、ＧＡＬユニットのセット５０２も、パラメータセットユニットとＳＥＩメッセージユニットとを含んでいる。パラメータセットの要素は、ＶＣＬデータの復号を制御するパラメータの値のセットを定義する。一実施例において、パラメータは、それらが変えることができる最下位レベルに応じたメディアデータ構造におけるレベルに関係している。例えば、ピクチャサイズ等のＧＯＰパラメータの値は、ＧＯＰ間で変えることができるが、それより下位のレベルでは変えることができない。したがって、一実施例において、１つのＧＯＰ内のピクチャ及びスライスは、全て同じＧＯＰパラメータの値を用いるが、スライスパラメータはスライス毎に変えることができる。一実施例において、各パラメータのセットには固有の識別子が割り当てられ、この識別子は、ビデオシーケンスを通して一定であり、各スライスユニットは、対応するパラメータセットの識別子を参照する。
ＳＥＩメッセージには、ビデオモデルの４つの層、すなわちシーケンス、ＧＯＰ、ピクチャ、スライスのいずれかに関する情報が含まれる。一実施例において、あらゆるレベルのＳＥＩメッセージは、メッセージタイプの識別子と、そのメッセージタイプで定義されるフォーマットを有するメッセージデータとから構成される。
図６は、汎用適応層によって実行される、ＮＡＬに対してＧＡＬユニットを供給する処理の一実施例を示すフローチャートである。この処理は、ハードウェア（例えば回路、専用の論理回路等）、ソフトウェア（汎用コンピュータシステム又は専用の計算機等で実行される）、あるいはこれらの組合せからなる処理ロジックによって実行することができる。ソフトウェアによる処理の場合、フローチャートの説明から、当業者にとって、適切に構成されたコンピュータ（メモリを含むコンピュータにより読取り可能な媒体からのインストラクションを実行するコンピュータのプロセッサ）上で処理を実行するためのインストラクションを含むプログラムを開発できることは明らかである。コンピュータで実行可能なインストラクションは、コンピュータプログラミング言語で書くことも、ファームウェア論理回路に組み込むこともできる。公認の規格に準拠したプログラミング言語で書く場合、このようなインストラクションは、様々なハードウェアプラットフォーム上で実行することができ、また、様々なオペレーティングシステムにインタフェースすることができる。また、本発明の実施例は、特定のプログラミング言語を参照して説明するものではない。様々なプログラミング言語を使用して、ここで説明する教示内容を実現することができることは言うまでもない。更に、当該技術分野においては、動作を行う、あるいは結果を生じるものとして、何らかの形態（例えばプログラム、手順、処理、アプリケーション、モジュール、論理等）でソフトウェアについて言及することが一般的である。このような表現は、コンピュータがソフトウェアを実行することにより、コンピュータのプロセッサが動作を行う、あるいは結果を生じるということを表す、単なる省略表現である。なお、本発明の範囲から逸脱することなく、図６に示す処理に対して動作を削除又は追加することができ、また、図示及び説明するブロックの配置は特定の順序を示すものではないことは言うまでもない。
図６に示すように、処理ロジックは、ＶＣＬからスライスが供給されることにより開始する（処理ブロック６０２）。次に、処理ロジックは、スライスに含まれるマルチメディアデータの構造を識別する（処理ブロック６０４）。マルチメディアデータの構造は、シーケンス、ＧＯＰ、ピクチャ、スライス等のマルチメディアデータ内の複数の階層的層によって定義される。一実施例において、処理ロジックは、ＶＣＬから供給される各層の開始及び終了を示す信号に基づいて、マルチメディアデータの構造を識別する。他の実施例において、処理ロジックは、ＶＣＬエンコーダから供給されるスライスのヘッダから抽出した情報を用いて、マルチメディアデータの構造を識別する。
更に、処理ロジックは、ＶＣＬから供給されるスライスと、マルチメディアデータの構造に関する情報とを用いて、ＧＡＬユニットのセットを生成する（処理ブロック６０６）。ＧＡＬユニットのフォーマットは、様々なＮＡＬ種類（例えばＩＰ ＮＡＬ、ＭＰＥＧ−２ＮＡＬ、メディアファイルフォーマットＮＡＬ等）に対して汎用的である。一実施例において、ＧＡＬユニットのセットは、マルチメディアデータの構造を定義する構造ユニットと、符号化マルチメディアデータ含むメディアデータユニットと、マルチメディアデータに関連するパラメータセットを含むパラメータセットユニットと、マルチメディアデータに関連するＳＥＩメッセージからなるＳＥＩメッセージユニットとを含んでいる。
その後、処理ロジックは、特定の種類のＮＡＬにＧＡＬユニットのセットを送信する（処理ブロック６０８）。一実施例において、処理ロジックは、以下に詳細に説明するように、ＧＡＬユニットのセットをＮＡＬに送信する前に、所定の要件に応じてＧＡＬユニットを順序付ける。
一実施例において、ＧＡＬユニット（搬送ユニット（carriage unit）とも呼ぶ）は、チャンネルを介して送信されるが、チャンネルは、あらゆる基本的な転送又は記憶機構とすることができる。チャンネルは、ゲートウェイにおいて、ＮＡＬからＶＣＬデコーダへのチャンネル、ＶＣＬエンコーダからＮＡＬへのチャンネル、あるいはＮＡＬからＮＡＬへのチャンネルとすることができる。ＧＡＬユニットは、メディアデータストリームとともに帯域内で送ることもでき、又は帯域外で送ることもでき（パラメータセットＧＡＬユニットを伝送するとき）、あるいは情報が予めわかっている場合（例えば、ビデオを符号化する際に、物理的に組み込まれたパラメータセットを用いた場合）には、ＧＡＬユニットを全く送らなくてもよい。
一実施例において、各ＧＡＬユニットの構文には、共通ヘッダがあり、その後にペイロードが続く。一実施例において、構文は、汎用要素毎の１つのクラスにより、構文上の記述言語を用いて定義される。構文は、ＧＡＬユニットに追加の情報を含ませることができようにすることにより、拡張性が得られる。拡張構文を理解できないデコーダは、追加の情報を無視するように設定される。
一実施例において、ＧＡＬユニットのヘッダは、８ビット型の識別子を有する。ＧＡＬユニットの異なる種類の識別子を定めるタグのリストを表１に示す。
Figure 0004417244
一実施例において、各ＧＡＬユニットの本体の構文は、２段階で定義される。すなわち、先ず、パディング、開始エミュレーション、バイト配列とは無関係に、ビット向きの構文として定義され、その後、開始コード拡張文字を有するバイト向きの構文として定義される。更に、メッセージは、メッセージヘッダ及びメッセージ本体におけるビットの連結として定義される。一実施例において、全てのＧＡＬユニットの長さは、ＧＡＬユニットの構文において符号化されない。その代わりに、ＧＡＬユニットの長さは、開始コード、長さフィールド、あるいは他の適切なフィールドを用いる下位レベルのフレームプロトコルによって定義される。
一実施例において、ＮＡＬに転送されたＧＡＬユニットのセットは、アクセスユニットを表している。アクセスユニットは、そのＭＰＥＧ−４定義に基づいて、タイミング情報を付けることができる最小のデータエンティティであるストリーム内で個々にアクセス可能なデータの部分である。一実施例において、ＧＡＬアクセスユニットは、同じタイミング情報を共有するＧＡＬユニットの連結シーケンスを含んでいる。ＧＡＬアクセスユニットは、各ＧＡＬユニットのサイズとともに、そのＧＡＬアクセスユニットに含まれるＧＡＬユニットの数を指定するヘッダを含んでいる。具体的なＧＡＬアクセスユニットを表２に示す。
Figure 0004417244
一実施例において、ＮＡＬに送られるＧＡＬユニットは、シーケンス内に順序付けられる。この順序は、様々なＧＡＬユニット内の情報間の従属関係（dependency）に基づいた情報の論理的な順序とすることができる。一実施例において、ＧＡＬユニットの順序は、ＮＡＬに対する特定の供給スケジュールを示すものではない。形式上、順序付けの制約は、ＧＡＬユニット上の全体の順序付けではなく、部分的な順序付けを要する。ＮＡＬは、得られる論理的情報がＧＡＬユニットのシーケンスの部分的な順序付けを満足するように再構築されたＧＡＬユニットを供給する必要がある。例えば、これは、パラメータセットを参照するいずれのスライスよりも前にパラメータセットが利用可能であることをＮＡＬが保証しなければならないことを意味するが、ＮＡＬは、パラメータセットを２回以上送ることができる。
一実施例において、ＧＡＬユニットの順序は、以下の制約条件を満足する。すなわち、（１）パラメータセットは、参照される前に発生しなければならない。（２）ＳＥＩメッセージは、それらが関係するアイテムの開始前に発生しなければならない。（３）ビデオメッセージは、復号する順序で搬送される。（４）１つのピクチャ内のスライスは、あらゆる順序で送信することができる（例えば、スライスを「スキャンの順序」で送る必要はない）。（５）１つのスライス内のデータパーティションは、あらゆる順序で送信することができる。
図７は、ビデオのＧＡＬユニットの階層的な構造を示す図である。上述のように、ＧＡＬユニットは、ＧＡＬ搬送ユニット（GAL carriage unit：以下、ＧＡＬＣＵという。）とも呼ばれ、ヘッダ７２２と、ペイロード７２０とを有する。一実施例において、ＧＡＬＣＵペイロード７２０は、開始コードエミュレーションの保護（start code emulation protection）を有するバイトベースとなっている。ビデオのＧＡＬＣＵ７１８は、異なる種類の搬送ユニット（ＣＵ）の組合せからなる。具体的には、ＧＡＬビデオ構造ＣＵ７０８は、複数の構造ユニット７０２からなり、ＧＡＬビデオデータＣＵ７１０は、複数のメディアデータユニット、例えばＧＡＬスライスユニット７０６、パーティションデータユニット７０４等からなる。次に、ＧＡＬビデオ構造ＣＵ７０８とＧＡＬビデオデータＣＵ７１０を組み合わせて、ＧＡＬビデオＣＵ７１２とする。更に、ＧＡＬビデオＣＵ７１２を、ＧＡＬパラメータセットＣＵ７１４及びＧＡＬＳＥＩＣＵ７１６と組み合わせて、このビデオに関連する最終的なＧＡＬＣＵ７１８とする。
以下、ネットワーク抽象化層（ＮＡＬ）の動作について、より詳細に説明する。各ＮＡＬは、特定の転送装置（例えば、ＲＴＰ／ＩＰ装置、ＭＰＥＧ−２装置、ＭＰ４ファイルフォーマット装置等）と関連しており、転送装置に応じて、ＮＡＬは、パケット向きのネットワーク適応層（network adaptation layer）、ビットストリームネットワーク適応層、ファイル内のビデオコンテンツを記憶するための記憶適応層等となる。
図８は、ＮＡＬによって実行されるＧＡＬユニットのマッピング処理の一実施例を示すフローチャートである。この処理は、ハードウェア（例えば回路、専用の論理回路等）、ソフトウェア（汎用コンピュータシステム又は専用の計算機等で実行される）、あるいはこれらの組合せからなる処理ロジックによって実行することができる。なお、本発明の範囲から逸脱することなく、図８に示す処理に対して動作を削除又は追加することができ、また、図示及び説明するブロックの配置は特定の順序を示すものではないことは言うまでもない。
図８に示すように、処理ロジックは、ＧＡＬからＧＡＬユニットのセットが供給されることにより開始する（処理ブロック８０２）。次に、処理ロジックは、ＧＡＬユニットのセットを特定の転送装置に関連したＮＡＬのフォーマットにマッピングし（処理ブロック８０４）、マッピングしたコンテンツをその特定の転送装置に送信する（処理ブロック８０６）。一実施例において、処理ロジックは、このＮＡＬで使用される論理チャンネルを識別し、どの種類のＧＡＬユニットが各チャンネルで搬送されるのかを判定し、各チャンネルの構文を判定し、ＧＡＬユニットを対応するチャンネルの構文にマッピングすることによって、マッピングを行う。
上述のように、各ＮＡＬは、１つ以上の論理チャンネルを介してコンテンツを搬送することができる。例えば、あるチャンネルは、システムレベルストリーム又は帯域外信号プロトコルである場合がある。別の具体例において、ある論理チャンネルは、メディアデータに関する情報の従来の交換（例えば、交換するデータがない場合は、物理的に組み込まれたパラメータセット）を反映する。ファイルフォーマットＮＡＬの場合、「チャンネル」は、メディアデータ（例えばＶＣＬデータ）とメタデータ（例えば非ＶＣＬデータ）の両方を含む、ファイルに記憶された情報である。一実施例において、各ＮＡＬ種類は、このＮＡＬ種類で使用されるチャンネルの数、各チャンネルの特性、各チャンネルで搬送されるＧＡＬユニットの種類、ＧＡＬユニットの汎用的な構文から各チャンネルの構文へのマッピングを指定するＮＡＬ記述子によって定められる。具体的なＮＡＬ記述子のフィールドを表３に示す。
Figure 0004417244
表３の論理チャンネル記述子の具体的なフィールドを表４に示す。
Figure 0004417244
以下、異なる種類のＮＡＬによるＧＡＬユニットのマッピングの具体例について、より詳細に説明する。
先ず、ＲＴＰ／ＩＰ ＮＡＬの一実施例において、全ての情報を、ＲＴＰパケット内にカプセル化される異なる種類のパケットとして、単一の帯域内チャンネルで搬送することができる。情報は、メディアデータ、パラメータセットデータ、ＳＥＩメッセージを含むことができる。ＲＴＰ／ＩＰ ＮＡＬの適応層記述子の一実施例を表５に示す。
Figure 0004417244
図９は、ＧＡＬ構文からＲＴＰパケット構文への構文上のマッピングの一実施例を示す。ＧＡＬ９０２の構文からＲＴＰ／ＩＰ ＮＡＬ９０４の構文への構文上のマッピングでは、ビデオデータユニット又はパラメータセットユニットをそのままカプセル化し、各ユニットの前にＲＴＰヘッダを添付する。ＲＴＰ／ＩＰ ＮＡＬは、開始コードの付加や開始コードエミュレーションの防止（start code emulation prevention）を行う必要がない。
他の実施例において、ＲＴＰ／ＩＰ ＮＡＬは、セッション記述プロトコルを用いて、帯域外でパラメータセットの値を送信する。他の実施例に基づくＲＴＰ／ＩＰ ＮＡＬの適応層記述子を表６に示す。
Figure 0004417244
ＭＰＥＧ−２装置のＮＡＬに関する一実施例において、ビデオデータをビデオデータストリーム内で搬送するために、ＭＰＥＧ−２アクセスユニットが用いられる。また、ビデオストリームは、アクセスユニットとヘッダとの境界を画定するヘッダ（ピクチャヘッダ等）を有する。ＳＥＩメッセージとパラメータセットは、プログラム記述子内に別々に配置される。一実施例に基づくＭＰＥＧ−２ＮＡＬの適用層記述子を表７に示す。
Figure 0004417244
図１０Ａは、ＧＡＬ１００２からＭＰＥＧ−２ＮＡＬ１００４へのマッピングの一実施例を示す。このマッピングは、複数のプログラムの基本ストリーム（program elementary stream：以下、ＰＥＳという。）内で行われ、第１のＰＥＳは、メディアデータ情報を有し、第２のＰＥＳは、ＳＥＩメッセージを有し、第３のＰＥＳはパラメータセットを有している。
他の実施例において、パラメータセット及びメッセージを含む全てのデータを、ビデオストリームチャンネルにおいて帯域内で搬送する。ＡＶＣパケットを呼ばれる単一パケットフォーマットが定義されており、これは汎用アクセスユニットに等しい。ＡＶＣパケットは、ＭＰＥＧ−２プログラム又は転送ストリームにより搬送することができる。第２の実施例に基づくＭＰＥＧ−２ＮＡＬの適応層記述子を表８に示す。
Figure 0004417244
更に、他の実施例において、ＭＰＥＧ−２ＮＡＬは、スライスを有するＪＶＴビデオ（シーケンスヘッダ、ＧＯＰヘッダ等）のＭＰＥＧ−２ビデオ構文を用いる。これは、ＭＰＥＧ−２開始コードを用いてビットストリーム内の境界を定める。第３の実施例に基づくＭＰＥＧ−２ＮＡＬの適応層記述子を表９に示す。
Figure 0004417244
図１０Ｂは、ＧＡＬ１０１０からＭＰＥＧ−２ＮＡＬ１０１２へのマッピングの他の実施例を示す。このマッピングは、１つのプログラムの基本ストリーム（program elementary stream：以下、ＰＥＳという。）内で行われる。ＳＥＩメッセージのマッピングにはＭＰＥＧ−２ユーザデータが用いられる。
ＭＰ４ファイルフォーマットのＮＡＬの場合、一実施例において、ビデオデータは、ＭＰＥ４トラックのサンプル構造内にファイルフォーマットのメディアデータとして記憶され、パラメータセットは、別々のメタデータ構造内にメタデータとして記憶され、ＳＥＩメッセージは、ビデオデータからの別トラックに記憶されるか、同じストリーム内にインターリーブされてもよい。一実施例に基づくＭＰ４ファイルフォーマットのＮＡＬの適応層記述子を表１０に示す。
Figure 0004417244
図１１は、ＧＡＬ１１０２からＭＰ４ファイルフォーマットのＮＡＬ１１０４へのマッピングの一実施例を示す。
以上、汎用適応層及びネットワーク抽象化層の動作を説明した。ここでは具体的な実施例を図示して説明したが、同じ目的を達成するように考慮された構成であればいずれのものであっても、上述の図示した具体的な実施例に代えて用いることができることは、当業者には明らかである。本願は、本発明のいかなる変更や修正をもの含むものである。
符号化装置の一実施例の構成を示すブロック図である。 復号装置の一実施例の構成を示すブロック図である。 ゲートウェイシステムの一実施例の構成を示すブロック図である。 本発明を実施するのに適したコンピュータ環境の構成を示すブロック図である。 汎用適応層のＧＡＬユニットを生成する処理の一実施例を示す図である。 汎用適応層によって実行される、ＮＡＬに対してＧＡＬユニットを供給する処理の一実施例を示すフローチャートである。 ビデオのＧＡＬユニットの階層的な構造を示す図である。 ＮＡＬによって実行されるＧＡＬユニットのマッピング処理の一実施例を示すフローチャートである。 ＧＡＬ構文からＲＴＰパケット構文への構文上のマッピングの一実施例を示す図である。 ＧＡＬ構文からＭＰＥＧ−２ＮＡＬ構文へのマッピングの他の実施例を示す図である。 ＧＡＬ構文からＭＰＥＧ−２ＮＡＬ構文へのマッピングの他の実施例を示す図である。 ＧＡＬ構文からＭＰ４ファイルフォーマットへのマッピングの一実施例を示す図である。

Claims (35)

  1. マルチメディアデータを符号化するときに複数のスライスを生成するビデオ符号化層（video coding layer：以下、ＶＣＬという。）と、
    上記複数のスライスを用いて、複数の転送装置に対して汎用的なフォーマットを有するＧＡＬユニットのセットを生成する汎用適応層（generic adaptation layer：以下、ＧＡＬという。）と、
    上記複数の転送装置の１つに関連し、上記ＧＡＬユニットのセットを、上記複数の転送装置の１つのフォーマットにマッピングするネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）とを備える符号化装置。
  2. 上記ＧＡＬは、更に、上記マルチメディアデータの構造を識別することを特徴とする請求項１に記載の符号化装置。
  3. 上記ＧＡＬユニットのセットは、上記マルチメディアデータの構造に関する情報を提供する複数の構造ユニットと、上記マルチメディアデータを含む１つ以上のマルチメディアデータユニットと、上記マルチメディアデータに関連するパラメータセットを含む１つ以上のパラメータセットユニットとから構成されることを特徴とする請求項２に記載の符号化装置。
  4. 上記ＧＡＬユニットのセットは、更に、上記マルチメディアデータに関連する補足的な拡張情報（supplemental enhancement information：以下、ＳＥＩという。）メッセージからなる１つ以上のＳＥＩメッセージユニットを有することを特徴とする請求項３に記載の符号化装置。
  5. 上記ＧＡＬは、上記マルチメディアデータの構造に関するＶＣＬ信号に基づいて、上記マルチメディアデータの構造を識別することを特徴とする請求項２に記載の符号化装置。
  6. 上記ＧＡＬは、上記複数のスライスのヘッダからデータを抽出することによって、上記マルチメディアデータの構造を識別することを特徴とする請求項２に記載の符号化装置。
  7. 上記ＧＡＬユニットのセットは、同じタイミング情報を共有する連結されたユニットのシーケンスを含むことを特徴とする請求項１に記載の符号化装置。
  8. 上記ＧＡＬは、更に、上記ＧＡＬユニットのセット内のユニットを順序付けることを特徴とする請求項１に記載の符号化装置。
  9. 上記複数の転送装置の１つのフォーマットは、上記特定の転送装置に関連するＮＡＬの記述子によって特定されることを特徴とする請求項１に記載の符号化装置。
  10. 上記記述子は、上記ＧＡＬユニットのセットを搬送するのに使用されるＮＡＬチャンネルの数を特定するとともに、上記ＮＡＬチャンネルのそれぞれの特性を特定することを特徴とする請求項９に記載の符号化装置。
  11. 上記ＮＡＬは、上記ＧＡＬユニットのセット内の各ＧＡＬユニットについて、該各ＧＡＬユニットのユニット種類に基づいて、上記チャンネルのうちのどれが該各ＧＡＬユニットを搬送するために指定されているかを判定するとともに、対応するチャンネルの所定のシンタックスに従って該ＧＡＬユニットのセットをフォーマットすることによって、該ＧＡＬユニットのセットをマッピングすることを特徴とする請求項１０に記載の符号化装置。
  12. 上記複数の転送装置の１つに関連するＮＡＬは、ＩＰ ＮＡＬ、ＭＰＥＧ−２ＮＡＬ、メディアファイルフォーマットＮＡＬのいずれかであることを特徴とする請求項１に記載の符号化装置。
  13. ビデオ符号化層（video coding layer：以下、ＶＣＬという。）からマルチメディアデータに関連する複数のスライスが供給され、
    上記複数のスライスから、複数のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類に対して汎用的なフォーマットを有するユニットのセットを生成し、
    上記ユニットのセットを、上記複数のＮＡＬ種類の１つのＮＡＬに送信するコンピュータ処理方法。
  14. 更に、上記複数のスライスに含まれるマルチメディアデータの構造を識別する請求項１３に記載のコンピュータ処理方法。
  15. 上記ユニットのセットは、上記マルチメディアデータの構造に関する情報を提供する複数の構造ユニットと、上記マルチメディアデータを含む１つ以上のマルチメディアデータユニットと、上記マルチメディアデータに関連するパラメータセットとを含む１つ以上のパラメータセットユニットとから構成されることを特徴とする請求項１４に記載のコンピュータ処理方法。
  16. 上記ユニットのセットは、更に、上記マルチメディアデータに関連する補足的な拡張情報（supplemental enhancement information：以下、ＳＥＩという。）メッセージからなる１つ以上のＳＥＩメッセージユニットを有することを特徴とする請求項１５に記載のコンピュータ処理方法。
  17. 上記複数の構造ユニットは、シーケンス開始ユニット、シーケンス終了ユニット、グループオブピクチャ（group of pictures：以下、ＧＯＰという。）開始ユニット、ＧＯＰ終了ユニット、ピクチャ開始ユニット、ピクチャ終了ユニット、スライス開始ユニット、スライス終了ユニットからなるグループから選択されることを特徴とする請求項１５に記載のコンピュータ処理方法。
  18. 上記１つ以上のマルチメディアデータユニットは、スライスユニット、パーティションスライスユニットからなるグループから選択されることを特徴とする請求項１５に記載のコンピュータ処理方法。
  19. 上記マルチメディアデータの構造の識別では、上記ＶＣＬから上記マルチメディアデータの構造に関する信号が供給されることを特徴とする請求項１４に記載のコンピュータ処理方法。
  20. 上記マルチメディアデータの構造の識別では、上記複数のスライスのヘッダからデータを抽出することを特徴とする請求項１４に記載のコンピュータ処理方法。
  21. 上記ユニットのセットは、同じタイミング情報を共有する連結されたユニットのシーケンスを含むことを特徴とする請求項１３に記載のコンピュータ処理方法。
  22. 更に、１つ以上の所定の条件に従って上記セット内のユニットを順序付けることを特徴とする請求項１３に記載のコンピュータ処理方法。
  23. 汎用適応層（generic adaptation layer：以下、ＧＡＬという。）からユニットのセットが供給され、
    上記ユニットのセットを特定のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）のフォーマットにマッピングすることを特徴とするマッピング方法。
  24. 上記ユニットのセットは、複数の構造ユニット、１つ以上のマルチメディアデータユニット、１つ以上のパラメータセットユニット、１つ以上の補足的な拡張情報（supplemental enhancement information：以下、ＳＥＩという。）メッセージユニットからなるグループから選択されることを特徴とする請求項２３に記載のマッピング方法。
  25. 上記複数の構造ユニットは、マルチメディアデータの構造に関する情報を提供することを特徴とする請求項２４に記載のマッピング方法。
  26. 特定の転送装置のフォーマットは、ネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の記述子によって特定されることを特徴とする請求項２３に記載のマッピング方法。
  27. 上記記述子は、上記ユニットのセットを搬送するのに使用されるチャンネルの数を特定するとともに、上記チャンネルのそれぞれの特性を特定することを特徴とする請求項２６に記載のマッピング方法。
  28. 上記ユニットのセットのマッピングでは、
    上記ユニットのセット内の各ユニットについて、該各ユニットのユニット種類に基づいて、上記チャンネルのうちのどれが該各ＧＡＬユニットを搬送するために指定されているかを判定し、
    対応するチャンネルの所定の構文に従って該ユニットのセットをフォーマットすることを特徴とする請求項２７に記載のマッピング方法。
  29. 特定のＮＡＬ種類は、ＩＰ ＮＡＬ、ＭＰＥＧ−２ＮＡＬ、メディアファイルフォーマットＮＡＬのいずれかであることを特徴とする請求項２７に記載のマッピング方法。
  30. ビデオ符号化層（video coding layer：以下、ＶＣＬという。）からマルチメディアデータに関連する複数のスライスを受信する手段と、
    上記複数のスライスを用いて、複数のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類に対して汎用的なフォーマットを有するユニットのセットを生成する手段と、
    上記ユニットのセットを、上記複数のＮＡＬ種類の１つのＮＡＬに送信する手段とを備える装置。
  31. 汎用適応層（generic adaptation layer：以下、ＧＡＬという。）からユニットのセットを受信する手段と、
    上記ユニットのセットを特定のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類のフォーマットにマッピングする手段とを備える装置。
  32. メモリと、
    上記メモリに接続された少なくとも１台のプロセッサとを備え、
    上記少なくとも１台のプロセッサは、
    ビデオ符号化層（video coding layer：以下、ＶＣＬという。）からマルチメディアデータに関連する複数のスライスを受信し、
    上記複数のスライスを用いて、複数のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類に対して汎用的なフォーマットを有するユニットのセットを生成し、
    上記ユニットのセットを上記複数のＮＡＬ種類の１つのＮＡＬに送信するインストラクションのセットを実行することを特徴とするシステム。
  33. メモリと、
    上記メモリに接続された少なくとも１台のプロセッサとを備え、
    上記少なくとも１台のプロセッサは、
    汎用適応層（generic adaptation layer：以下、ＧＡＬという。）からユニットのセットを受信し、
    上記ユニットのセットを特定のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類のフォーマットにマッピングするインストラクションのセットを実行することを特徴とするシステム
  34. プロセッサ上で実行されると、
    ビデオ符号化層（video coding layer：以下、ＶＣＬという。）からマルチメディアデータに関連する複数のスライスを受信し、
    上記複数のスライスを用いて、複数のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類に対して汎用的なフォーマットを有するユニットのセットを生成し、
    上記ユニットのセットを上記複数のＮＡＬ種類の１つのＮＡＬに送信する方法を上記プロセッサに実行させるインストラクションが記録されたコンピュータにより読取り可能な記録媒体。
  35. プロセッサ上で実行されると、
    汎用適応層（generic adaptation layer：以下、ＧＡＬという。）からユニットのセットを受信し、
    上記ユニットのセットを特定のネットワーク抽象化層（network abstraction layer：以下、ＮＡＬという。）の種類のフォーマットにマッピングする方法を上記プロセッサに実行させるインストラクションが記録されたコンピュータにより読取り可能な記録媒体。
JP2004502085A 2002-04-29 2003-04-29 符号化装置及びコンピュータ処理方法 Expired - Fee Related JP4417244B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37647302P 2002-04-29 2002-04-29
US10/425,291 US7831990B2 (en) 2002-04-29 2003-04-28 Generic adaptation layer for JVT video
PCT/US2003/013160 WO2003093928A2 (en) 2002-04-29 2003-04-29 Generic adaptation layer for jvt video

Publications (2)

Publication Number Publication Date
JP2005524313A JP2005524313A (ja) 2005-08-11
JP4417244B2 true JP4417244B2 (ja) 2010-02-17

Family

ID=29406756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004502085A Expired - Fee Related JP4417244B2 (ja) 2002-04-29 2003-04-29 符号化装置及びコンピュータ処理方法

Country Status (9)

Country Link
US (1) US7831990B2 (ja)
EP (1) EP1499938A4 (ja)
JP (1) JP4417244B2 (ja)
KR (1) KR20040106413A (ja)
CN (1) CN100399824C (ja)
AU (1) AU2003228734B2 (ja)
DE (1) DE10392586T5 (ja)
GB (1) GB2403620B (ja)
WO (1) WO2003093928A2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7305036B2 (en) * 2002-05-14 2007-12-04 Broadcom Corporation System and method for entropy code preprocessing
CN1751518B (zh) * 2003-02-18 2010-12-01 诺基亚有限公司 图像编码方法
JP2006518127A (ja) * 2003-02-18 2006-08-03 ノキア コーポレイション ピクチャ復号化方法
US7724818B2 (en) * 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8351514B2 (en) * 2004-01-16 2013-01-08 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
EP1521475A1 (fr) * 2004-01-20 2005-04-06 France Telecom Procédé et dispositif de traitement de flux de données codées
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US7296205B2 (en) * 2004-02-18 2007-11-13 Nokia Corporation Data repair
JP5280051B2 (ja) * 2004-07-02 2013-09-04 ディスカス デンタル，エルエルシー 改良ヒートシンクを有する歯科用ライト装置
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
US9124907B2 (en) * 2004-10-04 2015-09-01 Nokia Technologies Oy Picture buffering method
JP4693427B2 (ja) * 2005-01-27 2011-06-01 京セラ株式会社 ディジタル放送受信装置
NZ561149A (en) * 2005-02-22 2010-07-30 Connectif Solutions Inc Distributed asset management system and method
KR100934674B1 (ko) 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
EP1845685B1 (fr) 2006-04-11 2012-06-27 Alcatel Lucent Transmission perfectionnée de paquets IP de contenus, par adjonction à ces paquets IP de données d'information relatives aux contenus
WO2007148906A1 (en) 2006-06-19 2007-12-27 Lg Electronics, Inc. Method and apparatus for processing a vedeo signal
US8532178B2 (en) 2006-08-25 2013-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction
CN101193321B (zh) * 2006-11-27 2012-02-22 汤姆森许可贸易公司 编码设备、解码设备、记录设备、音频/视频数据传送系统
KR101305514B1 (ko) * 2007-04-17 2013-09-06 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US20090003429A1 (en) * 2007-06-27 2009-01-01 Mediatek Inc. Apparatus And Method For Processing A Bitstream
US8767832B2 (en) * 2009-03-10 2014-07-01 Mediatek Inc. Method and apparatus for processing a multimedia bitstream
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
CN102833508B (zh) * 2012-08-09 2015-08-12 中兴通讯股份有限公司 一种带有解码自适应性视频录制方法及系统
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
KR101979634B1 (ko) 2012-12-13 2019-05-20 삼성전자주식회사 화질 개선을 위한 영상 처리 장치 및 그 방법
KR101792518B1 (ko) 2013-12-16 2017-11-02 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
US10944572B2 (en) * 2017-01-02 2021-03-09 Western Digital Technologies, Inc. Decryption and variant processing

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5406557A (en) * 1993-02-01 1995-04-11 National Semiconductor Corporation Interenterprise electronic mail hub
US6327304B1 (en) * 1993-05-12 2001-12-04 The Duck Corporation Apparatus and method to digitally compress video signals
US6181822B1 (en) * 1993-05-12 2001-01-30 The Duck Corporation Data compression apparatus and method
US5619501A (en) * 1994-04-22 1997-04-08 Thomson Consumer Electronics, Inc. Conditional access filter as for a packet video signal inverse transport system
US5706493A (en) * 1995-04-19 1998-01-06 Sheppard, Ii; Charles Bradford Enhanced electronic encyclopedia
US5754700A (en) * 1995-06-09 1998-05-19 Intel Corporation Method and apparatus for improving the quality of images for non-real time sensitive applications
US5659539A (en) * 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6353703B1 (en) * 1996-10-15 2002-03-05 Matsushita Electric Industrial Co., Ltd. Video and audio coding method, coding apparatus, and coding program recording medium
US6038256A (en) * 1996-12-31 2000-03-14 C-Cube Microsystems Inc. Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
US6092107A (en) * 1997-04-07 2000-07-18 At&T Corp System and method for interfacing MPEG-coded audiovisual objects permitting adaptive control
JP4832619B2 (ja) * 1997-04-07 2011-12-07 エイ・ティ・アンド・ティ・コーポレーション 対象物をベースとするオーディオ・ビジュアル情報を処理するためのシステムおよび方法
DE69837833T2 (de) * 1997-04-07 2008-01-31 At&T Corp. System und verfahren zur erzeugung und schnittstellenbildung von mpeg-kodierte audiovisuelle gegenstände darstellenden bitströmen
WO1999019864A2 (en) * 1997-10-15 1999-04-22 At & T Corp. Improved system and method for processing object-based audiovisual information
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6426778B1 (en) * 1998-04-03 2002-07-30 Avid Technology, Inc. System and method for providing interactive components in motion video
US6370116B1 (en) * 1998-05-26 2002-04-09 Alcatel Canada Inc. Tolerant CIR monitoring and policing
JP3382159B2 (ja) * 1998-08-05 2003-03-04 株式会社東芝 情報記録媒体とその再生方法及び記録方法
US6317462B1 (en) 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
GB2362078B (en) * 1999-01-22 2003-01-22 Kent Ridge Digital Labs Method and apparatus for indexing and retrieving images using visual keywords
GB9909605D0 (en) * 1999-04-26 1999-06-23 Telemedia Systems Ltd Networked delivery of media files to clients
AUPQ867700A0 (en) * 2000-07-10 2000-08-03 Canon Kabushiki Kaisha Delivering multimedia descriptions
GB2369973B (en) * 2000-12-06 2002-12-04 Open Business Exchange Ltd Communication Router
US6937770B1 (en) * 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US6920175B2 (en) * 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
WO2002063901A1 (en) * 2001-02-06 2002-08-15 Nokia Corporation Access system for a cellular network
EP1258837A1 (en) * 2001-05-14 2002-11-20 Thomson Licensing S.A. Method to generate mutual photometric effects
US20040006745A1 (en) * 2001-08-31 2004-01-08 Van Helden Wico Methods, apparatuses, system, and articles for associating metadata with datastream
US20040123327A1 (en) * 2002-12-19 2004-06-24 Tsang Fai Ma Method and system for managing multimedia settings
US8978090B2 (en) * 2003-03-12 2015-03-10 Qualcomm Incorporated Multimedia transcoding proxy server for wireless telecommunication system
TWI229562B (en) * 2003-04-17 2005-03-11 Mediatek Inc Apparatus and method for signal processing of format conversion and combination of video signals
US7724818B2 (en) * 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8908699B2 (en) * 2004-04-16 2014-12-09 Broadcom Corporation Providing automatic format conversion via an access gateway in a home
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL

Also Published As

Publication number Publication date
DE10392586T5 (de) 2005-06-30
EP1499938A4 (en) 2009-06-10
GB2403620A (en) 2005-01-05
US7831990B2 (en) 2010-11-09
AU2003228734A1 (en) 2003-11-17
CN1666526A (zh) 2005-09-07
EP1499938A2 (en) 2005-01-26
WO2003093928A3 (en) 2004-02-19
CN100399824C (zh) 2008-07-02
GB2403620B (en) 2005-08-24
US20040010802A1 (en) 2004-01-15
KR20040106413A (ko) 2004-12-17
AU2003228734B2 (en) 2008-05-08
JP2005524313A (ja) 2005-08-11
WO2003093928A2 (en) 2003-11-13
GB0424071D0 (en) 2004-12-01

Similar Documents

Publication Publication Date Title
JP4417244B2 (ja) 符号化装置及びコンピュータ処理方法
JP6345827B2 (ja) ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
US11924526B2 (en) Segment types as delimiters and addressable resource identifiers
CN107431810B (zh) 用于图像编码和解码的装置、方法和计算机程序
JP2022507673A (ja) ビデオシーケンスを復号するための方法、装置、コンピュータプログラム、およびビデオ符号化方法
US7613727B2 (en) Method and apparatus for supporting advanced coding formats in media files
US20040167925A1 (en) Method and apparatus for supporting advanced coding formats in media files
KR20040106414A (ko) 미디어 파일에서 진보된 코딩 포맷의 지원
JP2007166625A (ja) ビデオデータ符号化装置、ビデオデータ符号化方法、ビデオデータ復号化装置およびビデオデータ復号化方法
JP2010141900A (ja) Ｍｐ４においてａｖｃをサポートするための方法及び装置
AU2003213555B2 (en) Method and apparatus for supporting AVC in MP4
JP2022507669A (ja) ランダムアクセスポイントおよびピクチャタイプの識別方法
US20070098083A1 (en) Supporting fidelity range extensions in advanced video codec file format
JP2008518516A (ja) 先進のビデオコーデックファイルフォーマットにおけるＦＲＥｘｔ（ＦＩＤＥＬＩＴＹＲＡＮＧＥＥＸＴＥＮＳＩＯＮＳ）のサポート
JP2010124479A (ja) Ｍｐ４においてａｖｃをサポートするための方法及び装置
TWI777601B (zh) 靜止圖像設定檔之偵測
JP6614281B2 (ja) 受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN117296326A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
JP2024106213A (ja) 送信装置及び受信装置
KR20130119888A (ko) 상호 의존관계를 가지는 비디오 데이터를 처리하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060407

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080529

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080529

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091125

R150 Certificate of patent or registration of utility model

Ref document number: 4417244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees