JP6126583B2 - 符号化装置、復号装置及びこれらのプログラム - Google Patents

符号化装置、復号装置及びこれらのプログラム Download PDF

Info

Publication number
JP6126583B2
JP6126583B2 JP2014507816A JP2014507816A JP6126583B2 JP 6126583 B2 JP6126583 B2 JP 6126583B2 JP 2014507816 A JP2014507816 A JP 2014507816A JP 2014507816 A JP2014507816 A JP 2014507816A JP 6126583 B2 JP6126583 B2 JP 6126583B2
Authority
JP
Japan
Prior art keywords
unit
cts
dts
access
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507816A
Other languages
English (en)
Other versions
JPWO2013146571A1 (ja
Inventor
秀一 青木
秀一 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Publication of JPWO2013146571A1 publication Critical patent/JPWO2013146571A1/ja
Application granted granted Critical
Publication of JP6126583B2 publication Critical patent/JP6126583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28Timers or timing mechanisms used in protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、1個以上のアクセスユニットをメディアユニットにカプセル化する符号化装置、復号装置及びこれらのプログラムに関する。
従来の符号化装置において、タイムスタンプが対応付けられたアクセスユニットのフォーマットとして、MPEG(Moving Picture Experts Group)−2 Systemで規定されたPES(Packetized Elementary Stream)が知られている(非特許文献1)。
図19(a)に示すように、このPES90には、PESパケット長を示すフィールド(PES_packet_length)と、DTS(Decoding Time Stamp)を示すフィールドと、PTS(Presentation Time Stamp)を示すフィールドとが含まれている。さらに、このPES90には、1個のアクセスユニット(AU:Access Unit)をカプセル化(格納)できる。
なお、図19(a)、(b)では、一部フィールドの図示を省略した。
また、従来の符号化装置において、IETF(Internet Engineering Task Force)で規定されたRTP(Real-time Transport Protocol)ペイロードのフォーマットも知られている(非特許文献2)。
図19(b)に示すように、このRTPペイロード91には、基準となるタイムスタンプ(Base_Timestamp)を示すフィールドが含まれている。また、このRTPペイロード91では、アクセスユニットより細かい単位であるNAL(Network Adaptation Layer)ユニットを複数カプセル化できる。このとき、RTPペイロード91には、NALユニット毎に、このNALユニットのサイズ(NALu1_length,NALu2_length)を示すフィールドと、タイムスタンプからのオフセット値(NALu1_TS_offset,NALu2_TS_offset)を示すフィールドとが含まれる。
なお、RTPペイロード91では、復号時刻という概念がなく、タイムスタンプが提示時刻を示している。
ITU-T Rec.H.222.0|ISO/IEC 13818-1 IETF RFC 3984 "RTP Payload Format for H.264 Video"
しかし、従来のPES90では、図19(a)に示すように、複数のアクセスユニットをカプセル化することができない。また、従来のPES90では、アクセスユニットの大きさが数百バイトしかない音声信号において、PESパケット長を示すフィールドが16ビットの固定値のため、このフィールドが冗長となり、オーバーヘッドの原因となる。その一方、従来のPESでは、高解像度の映像信号において、このパケット長を示すフィールドのビット数が不足することがある。
また、従来のRTPペイロード91では、デコードのタイミングを示すフィールドが含まれていない。さらに、従来のRTPペイロード91では、1個のNALユニットをカプセル化する場合でも、各NALユニットのサイズ情報を示すフィールドが必要なため、このフィールドが冗長となり、オーバーヘッドの原因となる。
以上のように、非特許文献1,2に記載の技術では、音声信号や映像信号をカプセル化する際に生じるオーバーヘッドやフィールド不足が問題となる。このため、最適なフォーマットでカプセル化を行いたいという強い要望がある。
そこで、本発明は、前記した問題を解決し、最適なフォーマットでカプセル化を可能とする符号化装置、復号装置及びこれらのプログラムを提供することを課題とする。
前記した課題に鑑みて、本願第1発明に係る符号化装置は、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、差分値算出手段と、オフセット値算出手段と、カプセル化判定手段と、カプセル化手段とを備えることを特徴とする。
かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコードすることで、CTS及びDTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、差分値算出手段によって、アクセスユニットのDTSと、アクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分値を算出する。そして、符号化装置は、オフセット値算出手段によって、アクセスユニットのDTSとCTSとの差であるオフセット値を算出する。
また、符号化装置は、カプセル化判定手段によって、予め設定された判定時間内で差分値が同一となり、かつ、オフセット値が同一となる1個以上のアクセスユニットをカプセル化単位として判定する。そして、符号化装置は、カプセル化手段によって、カプセル化単位に含まれる1個以上のアクセスユニットをメディアユニットにカプセル化し、同一の差分値及び同一のオフセット値をメディアユニットに付加する。
ここで、カプセル化手段は、1個のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれないことを示す値をメディアユニットに付加する。一方、カプセル化手段は、複数のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれることを示す値をメディアユニットに付加し、サイズ情報をメディアユニットに付加する。
このカプセル化手段でカプセル化されたメディアユニットは、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すフィールド(差分値及びオフセット値)が1個ずつしか含まれない。さらに、このメディアユニットには、1個のアクセスユニットがカプセル化された場合、サイズ情報を示すフィールドが含まれない。このように、メディアユニットに冗長なフィールドが含まれないため、オーバーヘッドを削減することができる。
メディアユニットとは、アクセスユニットをパケット化するときのパケット形式(フォーマット)であり、このアクセスユニットをデコードする際の有用な情報(例えば、デコードのタイミングを示すタイムスタンプ)が格納される。
カプセル化判定情報とは、カプセル化されたアクセスユニットの数を判定するための情報である。言い換えるなら、カプセル化判定情報は、複数のアクセスユニットがカプセル化されているか否かを判定するための情報である。
サイズ情報とは、各アクセスユニットのサイズ(データ長)を示す情報である。
また、前記した課題に鑑みて、本願第2発明に係る符号化装置は、提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、差分値算出手段と、カプセル化判定手段と、カプセル化手段とを備えることを特徴とする。
かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコードすることで、CTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、差分値算出手段によって、アクセスユニットのCTSと、当該アクセスユニットの直前にエンコードされた他のアクセスユニットのCTSとの差分値を算出する。
また、符号化装置は、カプセル化判定手段によって、予め設定された判定時間内で差分値が同一となる1個以上のアクセスユニットをカプセル化単位として判定する。そして、符号化装置は、カプセル化手段によって、カプセル化単位に含まれる1個以上のアクセスユニットをメディアユニットにカプセル化し、同一の差分値をメディアユニットに付加する。
ここで、カプセル化手段は、1個のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれないことを示す値をメディアユニットに付加し、複数のアクセスユニットをカプセル化する場合、カプセル化判定情報として、アクセスユニット毎のサイズ情報が含まれることを示す値をメディアユニットに付加し、サイズ情報をメディアユニットに付加する。
このカプセル化手段でカプセル化されたメディアユニットは、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すフィールド(差分値)が1個しか含まれない。さらに、このメディアユニットには、1個のアクセスユニットがカプセル化された場合、サイズ情報を示すフィールドが含まれない。このように、メディアユニットに冗長なフィールドが含まれないため、オーバーヘッドを削減することができる。
また、本願第3発明に係る符号化装置は、カプセル化手段が、複数のアクセスユニットをカプセル化する場合、カプセル化判定情報として、予め設定されたアクセスユニットのサイズ範囲毎に異なる値をメディアユニットに付加すると共に、サイズ情報を、カプセル化判定情報の値に応じて予め設定されたビット数でメディアユニットに付加することを特徴とする。
かかる構成によれば、符号化装置は、各アクセスユニットのサイズに応じて、メディアユニットに付加するサイズ情報を可変長とする。これによって、符号化装置は、アクセスユニットが様々なサイズ(例えば、数百バイトから数ギガバイトまで)となる場合でも、サイズ情報を示すフィールドが冗長となる事態と、このサイズ情報を示すフィールドのビット数が不足する事態とを防止することができる。
また、前記した課題に鑑みて、本願第4発明に係る復号装置は、本願第1発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、複数カプセル判定手段と、メディアユニット抽出手段と、DTS逆算手段と、CTS逆算手段と、デコーダとを備えることを特徴とする。
かかる構成によれば、復号装置は、複数カプセル判定手段によって、入力されたメディアユニットに付加されたカプセル化判定情報に基づいて、メディアユニットに複数のアクセスユニットがカプセル化されているか否かを判定する。また、復号装置は、メディアユニット抽出手段によって、複数カプセル判定手段で複数のアクセスユニットがカプセル化されていると判定されたとき、メディアユニットから複数のアクセスユニットを抽出し、複数のアクセスユニットがカプセル化されていないと判定されたとき、メディアユニットから1個のアクセスユニットを抽出する。
ここで、復号装置に入力されたメディアユニットには、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すタイムスタンプ(差分値及びオフセット値)が1個ずつしか含まれない。一方、映像のアクセスユニットをデコードするには、アクセスユニット毎にCTS及びDTSが必要となる。
このため、復号装置は、DTS逆算手段によって、メディアユニットに付加された差分値と、メディアユニットから抽出したアクセスユニットの直前に位置する他のアクセスユニットのDTSとを加えた値を、アクセスユニットのDTSとして逆算する。また、復号装置は、CTS逆算手段によって、メディアユニットに付加されたオフセット値と、DTS逆算手段が逆算したアクセスユニットのDTSとを加えた値を、当該メディアユニットから抽出したアクセスユニットのCTSとして逆算する。そして、復号装置は、デコーダによって、DTS及びCTSが逆算されたアクセスユニットをデコードする。
また、前記した課題に鑑みて、本願第5発明に係る復号装置は、本願第2発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、複数カプセル判定手段と、メディアユニット抽出手段と、CTS逆算手段と、デコーダとを備えることを特徴とする。
かかる構成によれば、復号装置は、複数カプセル判定手段によって、入力されたメディアユニットに付加されたカプセル化判定情報に基づいて、メディアユニットに複数のアクセスユニットがカプセル化されているか否かを判定する。また、復号装置は、メディアユニット抽出手段によって、複数カプセル判定手段で複数のアクセスユニットがカプセル化されていると判定されたとき、メディアユニットから複数のアクセスユニットを抽出し、複数のアクセスユニットがカプセル化されていないと判定されたとき、メディアユニットから1個のアクセスユニットを抽出する。
ここで、復号装置に入力されたメディアユニットは、複数のアクセスユニットがカプセル化された場合でも、デコードのタイミングを示すタイムスタンプ(差分値)が1個しか含まれない。一方、音声のアクセスユニットをデコードするには、アクセスユニット毎にCTSが必要となる。
このため、復号装置は、CTS逆算手段によって、メディアユニットに付加された差分値と、メディアユニットから抽出したアクセスユニットの直前に位置する他のメディアユニットのCTSとを加えた値を、アクセスユニットのCTSとして逆算する。また、復号装置は、デコーダによって、CTSが逆算されたアクセスユニットをデコードする。
また、本願第6発明に係る復号装置は、メディアユニット抽出手段が、複数カプセル判定手段で複数のアクセスユニットがカプセル化されていると判定されたとき、メディアユニットに付加されたアクセスユニット毎のサイズ情報に基づいて、メディアユニットから複数のアクセスユニットを抽出する。
かかる構成によれば、復号装置は、サイズ情報を参照することで、各アクセスユニットがカプセル化されているメディアユニットのデータ領域を正確に特定することができる。
また、前記した課題に鑑みて、本願第7発明に係る符号化装置は、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、カプセル化判定手段と、DTS相対値算出手段と、CTS相対値算出手段と、カプセル化手段と、送信手段と、を備えることを特徴とする。
かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコード方式によってエンコードすることで、CTS及びDTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、カプセル化判定手段によって、予め設定されたカプセル化条件で1個以上のアクセスユニットをカプセル化単位として判定する。
このカプセル化条件とは、例えば、予め設定された個数のアクセスユニットをカプセル化単位とする、又は、予め設定された時間内にエンコードされたアクセスユニットをカプセル化単位とするというように、任意に設定できる条件のことである。
また、符号化装置は、DTS相対値算出手段によって、最初にエンコードされたアクセスユニットのDTS相対値としてゼロを算出し、2番目以降にエンコードされたアクセスユニットのDTS相対値として、アクセスユニットのDTSと、アクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分を算出する。
また、符号化装置は、CTS相対値算出手段によって、アクセスユニットのCTS相対値として、アクセスユニットのCTSと、アクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出する。
また、符号化装置は、カプセル化手段によって、カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、アクセスユニット毎にDTS相対値及びCTS相対値を付加する。そして、符号化装置は、送信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを送信する。
このように、符号化装置では、DTS及びCTSの基準となる絶対時刻が制御信号に付加され、DTS相対値及びCTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
また、前記した課題に鑑みて、本願第8発明に係る符号化装置は、提示又は再生する時刻を示すCTSが用いられるエンコード方式によって、入力信号を符号化する符号化装置であって、エンコーダと、カプセル化判定手段と、CTS相対値算出手段と、カプセル化手段と、送信手段と、を備えることを特徴とする。
かかる構成によれば、符号化装置は、エンコーダによって、入力信号をエンコード方式によってエンコードすることで、CTSが対応付けられたアクセスユニットを生成する。また、符号化装置は、カプセル化判定手段によって、予め設定されたカプセル化条件で1個以上のアクセスユニットをカプセル化単位として判定する。
また、符号化装置は、CTS相対値算出手段によって、アクセスユニットのCTS相対値として、アクセスユニットのCTSと、アクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出する。そして、符号化装置は、カプセル化手段によって、カプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化し、アクセスユニット毎にCTS相対値を付加する。さらに、符号化装置は、送信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを対応付けて送信する。
このように、符号化装置では、CTSの基準となる絶対時刻が制御信号に付加され、CTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
また、本願第9発明に係る符号化装置は、送信手段が、所定のメディアユニットで共通する識別子と、メディアユニットで固有のシーケンス番号とを、メディアユニットと、メディアユニットに対応する制御信号とに付加する。
かかる構成によれば、符号化装置は、メディアユニットと、制御信号とを正確に対応づけることができる。
また、前記した課題に鑑みて、本願第10発明に係る復号装置は、本願第7発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSと、復号する時刻を示すDTSとが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、受信手段と、メディアユニット抽出手段と、DTS逆算手段と、CTS逆算手段と、デコーダと、を備えることを特徴とする。
かかる構成によれば、復号装置は、受信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを受信する。また、復号装置は、メディアユニット抽出手段によって、メディアユニットから1個以上のアクセスユニットを抽出する。
また、復号装置は、DTS逆算手段によって、先頭に位置するアクセスユニットのDTSとして、メディアユニットに対応する制御信号の絶対時刻を逆算し、2番目以降に位置するアクセスユニットのDTSとして、アクセスユニットのDTS相対値と、アクセスユニットの直前に位置する他のアクセスユニットのDTSとを加えた値を逆算する。
また、復号装置は、CTS逆算手段によって、メディアユニットに対応する制御信号の絶対時刻と、先頭に位置するアクセスユニットからアクセスユニットまでのCTS相対値の総和とを加えた値を、アクセスユニットの直後に位置する他のアクセスユニットのCTSとして逆算する。そして、復号装置は、デコーダによって、DTS及びCTSが逆算されたアクセスユニットを、デコード方式によってデコードする。
このように、復号装置では、DTS及びCTSの基準となる絶対時刻が制御信号に付加され、DTS相対値及びCTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
また、前記した課題に鑑みて、本願第11発明に係る復号装置は、本願第8発明に係る符号化装置から、1個以上のアクセスユニットをカプセル化したメディアユニットが入力され、提示又は再生する時刻を示すCTSが用いられるデコード方式によって、アクセスユニットをデコードする復号装置であって、受信手段と、メディアユニット抽出手段と、CTS逆算手段と、デコーダと、を備えることを特徴とする。
かかる構成によれば、復号装置は、受信手段によって、メディアユニットと、メディアユニットの先頭を示す絶対時刻が含まれる制御信号とを受信する。また、復号装置は、メディアユニット抽出手段によって、メディアユニットから1個以上のアクセスユニットを抽出する。
また、復号装置は、CTS逆算手段によって、メディアユニットに対応する制御信号の絶対時刻と、先頭に位置するアクセスユニットからアクセスユニットまでのCTS相対値の総和とを加えた値を、アクセスユニットの直後に位置する他のアクセスユニットのCTSとして逆算する。そして、復号装置は、デコーダによって、CTSが逆算されたアクセスユニットを、デコード方式によってデコードする。
このように、復号装置では、CTSの基準となる絶対時刻が制御信号に付加され、CTS相対値がアクセスユニットに付加されるフォーマットが採用されている。
また、本願第12発明に係る復号装置は、受信手段が、所定のメディアユニットで共通する識別子と、メディアユニットで固有のシーケンス番号とが、受信したメディアユニットと、当該メディアユニットに対応する制御信号とに付加されていることを特徴とする。
かかる構成によれば、復号装置は、メディアユニットと、制御信号とを正確に対応づけることができる。
なお、本願第1,2,7,8発明に係る符号化装置は、コンピュータが備えるCPU(Central Processing Unit)、メモリ、HDD(Hard Disk Drive)などのハードウェア資源を、前記した各手段として協調動作させるための符号化プログラムで実現することもできる。この符号化プログラムは、通信回線を介して配布してもよく、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
なお、本願第4,5,10,11発明に係る復号装置は、コンピュータが備えるCPU、メモリ、HDDなどのハードウェア資源を、前記した各手段として協調動作させるための復号プログラムで実現することもできる。この復号プログラムは、通信回線を介して配布してもよく、CD−ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
本発明によれば、以下のような優れた効果を奏する。
本願第1,4発明によれば、複数のアクセスユニットをカプセル化した場合でも、メディアユニットに、デコードのタイミングを示すフィールド(差分値及びオフセット値)が1個ずつしか含まれない。さらに、本願第1,4発明によれば、1個のアクセスユニットをカプセル化した場合、メディアユニットに、アクセスユニットのサイズ情報を示すフィールドが含まれない。従って、本願第1,4発明によれば、メディアユニットに冗長なフィールドが含まれないため、このメディアユニットのオーバーヘッドを削減し、最適なフォーマットでのカプセル化を可能とする。
本願第2,5発明によれば、複数のアクセスユニットをカプセル化した場合でも、メディアユニットに、デコードのタイミングを示すフィールド(差分値)が1個しか含まれない。さらに、本願第2,5発明によれば、1個のアクセスユニットをカプセル化した場合、メディアユニットに、アクセスユニットのサイズ情報を示すフィールドが含まれない。従って、本願第2,5発明によれば、メディアユニットに冗長なフィールドが含まれないため、このメディアユニットのオーバーヘッドを削減し、最適なフォーマットでのカプセル化を可能とする。
本願第3発明によれば、サイズ情報を示すフィールドが冗長となる事態と、このサイズ情報を示すフィールドのビット数が不足する事態とを防止することができる。
本願第6発明によれば、複数のアクセスユニットがカプセル化されているメディアユニットのデータ領域を正確に特定できるため、アクセスユニットを抽出する際にデータの欠落を防止することができる。
本願第7,10発明によれば、DTS及びCTSの基準となる絶対時刻が制御信号に付加され、DTS相対値及びCTS相対値がアクセスユニットに付加されるフォーマットが採用されている。このため、本願第7,10発明によれば、アクセスユニットが復号される時刻の変更と、アクセスユニットが提示又は再生される時刻の変更と、メディアユニットの共通化と、伝送路の切り替えとを容易に実現できる、最適なフォーマットでのカプセル化を可能とする。
本願第8,11発明によれば、CTSの基準となる絶対時刻が制御信号に付加され、CTS相対値がアクセスユニットに付加されるフォーマットが採用されている。このため、本願第8,11発明によれば、アクセスユニットが提示又は再生される時刻の変更と、メディアユニットの共通化と、伝送路の切り替えとを容易に実現できる、最適なフォーマットでのカプセル化を可能とする。
本願第9,12発明によれば、メディアユニットと、制御信号とを正確に対応づけることができるため、正しいDTSやCTSを逆算することができる。
本発明の第1実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 本発明の第1実施形態において、(a)は1個のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図であり、(b)は複数のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図である。 本発明の第1実施形態において、差分値及びオフセット値を説明する図である。 図1の符号化装置の動作を示すフローチャートである。 図1の復号装置の動作を示すフローチャートである。 本発明の第2実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 本発明の第2実施形態において、(a)は1個のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図であり、(b)は複数のアクセスユニットがカプセル化されたメディアユニットのフォーマットを説明する図である。 本発明の第2実施形態において、差分値を説明する図である。 本発明の第3実施形態において、メディアユニットの共通化及び伝送路の切り替えを説明する説明図である。 本発明の第3実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 本発明の第3実施形態において、複数のアクセスユニットがカプセル化されたメディアユニットと、制御信号とのフォーマットを説明する図である。 本発明の第3実施形態において、絶対時刻とCTS相対値との関係を説明する説明図である。 図10の符号化装置の動作を示すフローチャートである。 図10の復号装置の動作を示すフローチャートである。 本発明の第4実施形態に係る符号化装置及び復号装置の構成を示すブロック図である。 図15の符号化装置の動作を示すフローチャートである。 図15の復号装置の動作を示すフローチャートである。 本発明の第4実施形態において、複数のアクセスユニットがカプセル化されたメディアユニットと、制御信号とのフォーマットを説明する図である。 (a)は従来のPESを説明する図であり、(b)は従来のRTPペイロードを説明する図である。
(第1実施形態)
[コンテンツ提供システムの概略]
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。
なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
図1に示すように、本発明の実施形態に係るコンテンツ提供システム1000は、コンテンツ(映像)を提供するものであり、符号化装置1と、復号装置2とを備える。
このコンテンツ提供システム1000は、ネットワークNを介して、符号化装置1及び復号装置2が接続されている。このネットワークNは、例えば、インターネット、イントラネット等のIPパケットの伝送路である。
本実施形態では、コンテンツ提供システム1000が、符号化装置1及び復号装置2を1台ずつ備えることとする。
[符号化装置の構成]
以下、符号化装置1の構成について説明する。
符号化装置1は、入力信号としての映像信号をエンコードして、復号装置2に提供するものである。このため、符号化装置1は、エンコーダ11と、タイムスタンプ算出手段12と、カプセル化判定手段15と、カプセル化手段16とを備える。
エンコーダ11は、CTS及びDTSを用いるエンコード方式によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられた(付加された)アクセスユニットを生成するものである。
ここで、エンコーダ11は、MPEG(Moving Picture Experts Group)−2 Video、又は、MPEG−4 AVC(Advanced Video Coding)等の映像エンコード方式を用いて、入力された映像信号をエンコードし、映像のアクセスユニットを生成する。ここで、映像信号のようにアクセスユニットの復号順序と提示順序が異なる場合、アクセスユニット毎にCTSとDTSが対応付けられる。そして、エンコーダ11は、CTS及びDTSが対応付けられたアクセスユニットを、順次、タイムスタンプ算出手段12に出力する。
CTS(Composition Time Stamp)は、提示又は再生する時刻を示す情報であり、PTSと同義で用いられることもある。
DTSは、復号する時刻を示す情報である。
アクセスユニットは、DTSが同一となる符号(入力信号)の集合である。
入力信号は、映像信号や音声信号など、エンコード及びデコードの対象となる信号である。
タイムスタンプ算出手段12は、メディアユニットに付加するタイムスタンプ(DTSの差分値及びオフセット値)を算出するものであり、差分値算出手段13と、オフセット値算出手段14とを備える。
差分値算出手段13は、エンコーダ11から入力されたアクセスユニットのDTSと、このアクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分値を算出するものである。
ここで、差分値算出手段13は、アクセスユニットが先頭の場合、直前のアクセスユニットが存在しないため、差分値を‘0’として算出する。このとき、差分値算出手段13は、時間方向に連続したアクセスユニットに対して順次処理を行うため、図示を省略したメモリに、差分値を算出したアクセスユニットのDTSを、他のアクセスユニットのDTSとして一時記憶する。
また、差分値算出手段13は、アクセスユニットが2番目以降の場合、入力されたアクセスユニットのDTSと、一時記憶した他のアクセスユニットのDTSとの差分値を算出する。
オフセット値算出手段14は、エンコーダ11から入力されたアクセスユニットのDTSとCTSとの差であるオフセット値を算出するものである。つまり、オフセット値算出手段14は、同一のアクセスユニットに対応付けられたDTSとCTSとの差を、オフセット値として算出する。
その後、タイムスタンプ算出手段12は、エンコーダ11から入力されたアクセスユニットと、差分値算出手段13が算出した差分値と、オフセット値算出手段14が算出したオフセット値とを、順次、カプセル化判定手段15に出力する。
カプセル化判定手段15は、タイムスタンプ算出手段12から入力されるアクセスユニットのうち、予め設定された判定時間内で、後記する判定条件を満たす1個以上のアクセスユニットをカプセル化単位として判定するものである。
この判定条件とは、差分値が同一となり、かつ、オフセット値が同一となる条件のことである。
また、カプセル化単位は、同一のメディアユニットにカプセル化できるアクセスユニットを示すものである。
つまり、カプセル化判定手段15は、タイマーをカウントしながら、順次入力されるアクセスユニットが、判定条件を満たすか否かを判定する。そして、カプセル化判定手段15は、タイマーが判定時間を経過した時点で、判定条件を満たしている1個以上のアクセスユニットをカプセル化単位として判定する
例えば、判定時間内に入力された2個のアクセスユニットが判定条件を満たす場合、カプセル化判定手段15は、2個のアクセスユニットを同一のカプセル化単位として判定する。
一方、判定時間内に入力された2個のアクセスユニットが判定条件を満たさない場合、カプセル化判定手段15は、2個のアクセスユニットを別々のカプセル化単位として判定する。
その後、カプセル化判定手段15は、カプセル化単位毎に、差分値と、オフセット値と、カプセル化単位に含まれるアクセスユニットとを出力する。
カプセル化手段16は、カプセル化判定手段15でカプセル化単位として判定された1個以上のアクセスユニットをメディアユニットにカプセル化(格納)し、同一の差分値及び同一のオフセット値をメディアユニットに記述(付加)するものである。
<メディアユニットのフォーマット>
図2(a)を参照し、1個のアクセスユニット200をカプセル化したメディアユニット100について、説明する。
カプセル化手段16は、DTSフィールド101に、入力された差分値を記述する。また、カプセル化手段16は、CTSフィールド102に、入力されたオフセット値を記述する。そして、カプセル化手段16は、カプセル化判定情報フィールド(Length_flag)103に、カプセル化判定情報として、サイズ情報が含まれないことを示す値(例えば、‘0’)を記述する。このカプセル化判定情報フィールド103は、例えば、2ビット幅で確保される。さらに、カプセル化手段16は、1個のアクセスユニット200をメディアユニット100にカプセル化する(図2(a)のAU)。
なお、メディアユニット100は、タイムスタンプフラグ、拡張ヘッダフラグ、ランダムアクセスポイントフラグ等のフィールドを備えるが、本発明に直接関係しないため、説明及び図示を省略する。
また、メディアユニット100の詳細は、例えば、参考文献「ハイブリッド型放送におけるメディアのトランスポート方式、情報処理学会研究報告、Vol.2011-AVN-72 No.1 2011/3/11」に記載されている。
次に、図2(b)に示すように、2個のアクセスユニット200をカプセル化したメディアユニット100について、説明する。
この場合、カプセル化手段16は、DTSフィールド101に、入力された差分値を記述する。また、カプセル化手段16は、CTSフィールド102に、入力されたオフセット値を記述する。
また、カプセル化手段16は、カプセル化判定情報フィールド103に、カプセル化判定情報として、サイズ情報が含まれることを示す値(例えば、‘0’以外)を記述する。このとき、カプセル化手段16は、同一のメディアユニット100に含まれる1個以上のアクセスユニット200のうち、最大サイズを表現できるように、メディアユニット100毎に異なる値を、カプセル化判定情報フィールド103に記述してもよい。
例えば、アクセスユニット200のサイズが0バイトを超え64キロバイト以下の場合(16ビットの表現範囲)、カプセル化手段16は、カプセル化判定情報フィールド103に‘1’を記述する。このとき、カプセル化手段16は、サイズ情報フィールド(AU1_length,AU2_length)104を16ビット幅で確保する。
また、例えば、アクセスユニット200のサイズが64キロバイトを越え、16メガバイト以下の場合(24ビットの表現範囲)、カプセル化手段16は、カプセル化判定情報フィールド103に‘2’を記述する。また、カプセル化手段16は、サイズ情報フィールド104を24ビット幅で確保する。
また、例えば、アクセスユニット200のサイズが16メガバイトを越え、4ギガバイト以下の場合(32ビットの表現範囲)、カプセル化手段16は、カプセル化判定情報フィールド103に‘3’を記述する。また、カプセル化手段16は、サイズ情報フィールド104を32ビット幅で確保する。
そして、カプセル化手段16は、所定のビット幅で確保されたサイズ情報フィールド104に、各アクセスユニット200のサイズ情報を記述する。さらに、カプセル化手段16は、複数のアクセスユニット200をメディアユニット100にカプセル化する(図2(b)のAU1,AU2)。
<メディアユニットの差分値及びオフセット値>
続いて、図3を参照し、メディアユニット100に記述された差分値及びオフセット値について、説明する(適宜図1参照)。
この図3では、連続して6個のアクセスユニット200〜200が生成されたこととする(図3のAU1〜AU6)。
また、1個目のメディアユニット100にアクセスユニット200がカプセル化され、2個目のメディアユニット100にアクセスユニット200,200がカプセル化されたこととする。また、3個目のメディアユニット100にアクセスユニット200,200がカプセル化され、4個目のメディアユニット100にアクセスユニット200がカプセル化されたこととする。
メディアユニット100では、アクセスユニット200の直前に他のアクセスユニットが存在しないため、DTSフィールド101に差分値‘0’が記述される。また、メディアユニット100では、アクセスユニット200のDTSとCTSとの差を示すオフセット値が、CTSフィールド102に記述される。
メディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述される。また、メディアユニット100では、アクセスユニット200のDTSとCTSとのオフセット値が、CTSフィールド102に記述される。
ここで、アクセスユニット200のDTSとアクセスユニット200のDTSの差分値が、アクセスユニット200のDTSとアクセスユニット200のDTSとの差分値と同一であった。また、アクセスユニット200のDTSとCTSとのオフセット値が、アクセスユニット200のオフセット値と同一であった。このため、メディアユニット100では、DTSフィールド101及びCTSフィールド102を、アクセスユニット200,200で共有できることになる。言い換えるなら、メディアユニット100は、DTSフィールド101及びCTSフィールド102を共有するため、差分値及びオフセット値が異なるアクセスユニット200をカプセル化することができない。
メディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述される(図3のα)。
メディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述される(図3のβ)。
この他、メディアユニット100,100は、メディアユニット100,100と同様のため、説明を省略する。
また、図3では、メディアユニット100の一部フィールドが本発明に直接関係しないため、図示を省略した。
その後、符号化装置1は、送信手段(不図示)によって、カプセル化手段16で生成されたメディアユニット100を、ネットワークNを介して、復号装置2に送信する。例えば、送信手段は、メディアユニット100をIPパケット化し、ネットワークNに応じた伝送路符号化処理及び変調処理を行って、生成したIPパケットを送信する。
[復号装置の構成]
図1に戻り、復号装置2の構成について、説明する(適宜図2,図3参照)。
復号装置2は、符号化装置1が送信したメディアユニット100から、1個又は複数のアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。このため、復号装置2は、複数カプセル判定手段21と、逆カプセル化手段(メディアユニット抽出手段)22と、タイムスタンプ逆算手段23と、デコーダ26とを備える。
ここで、復号装置2は、受信手段(不図示)によって、ネットワークNを介して、符号化装置1からメディアユニット100を受信する。例えば、受信手段は、ネットワークNに応じた復調処理及び伝送路復号処理を行ってIPパケットを受信する。そして、受信手段は、受信したIPパケットからメディアユニット100を抽出し、順次、複数カプセル判定手段21に出力する。
複数カプセル判定手段21は、入力されたメディアユニット100のカプセル化判定情報フィールド103に基づいて、メディアユニット100に複数のアクセスユニット200がカプセル化されているか否かを判定するものである。
ここで、カプセル化判定情報フィールド103の値が‘0’以外の場合(例えば、‘1’〜‘3’)、複数カプセル判定手段21は、メディアユニット100に複数のアクセスユニット200がカプセル化されていると判定する。
一方、カプセル化判定情報フィールド103の値が‘0’の場合、複数カプセル判定手段21は、メディアユニット100に複数のアクセスユニット200がカプセル化されていないと判定する。
そして、複数カプセル判定手段21は、複数のアクセスユニット200がカプセル化されているか否かを示す判定結果と、メディアユニット100とを、順次、逆カプセル化手段22に出力する。
逆カプセル化手段22は、複数カプセル判定手段21の判定結果が複数のアクセスユニット200がカプセル化されていないことを示すとき、入力されたメディアユニット100から1個のアクセスユニット200を抽出(逆カプセル化)するものである。この場合、逆カプセル化手段22は、メディアユニット100の全体を読み出せば、1個のアクセスユニット200を抽出できるため、サイズ情報フィールド104を参照する必要がない。
なお、メディアユニット100の全体サイズは、前記した受信手段によって、例えば、IPパケットのUDPヘッダが持つ長さ情報フィールドから特定できる。
また、逆カプセル化手段22は、複数カプセル判定手段21の判定結果が複数のアクセスユニット200がカプセル化されていることを示すとき、入力されたメディアユニット100から複数のアクセスユニット200を抽出する。この場合、逆カプセル化手段22は、サイズ情報フィールド104を参照して、各アクセスユニット200がカプセル化されているメディアユニット100のデータ領域を特定する必要がある。
そして、逆カプセル化手段22は、メディアユニット100から、DTSフィールド101に記述された差分値と、CTSフィールド102に記述されたオフセット値と抽出する。その後、逆カプセル化手段22は、メディアユニット100から抽出したアクセスユニット200と、差分値と、オフセット値とを、順次、タイムスタンプ逆算手段23に出力する。
タイムスタンプ逆算手段23は、タイムスタンプ(差分値及びオフセット値)から、アクセスユニット200のDTS及びCTSを逆算するものであり、DTS逆算手段24と、CTS逆算手段25とを備える。
DTS逆算手段24は、差分値算出手段13の逆演算を行うものである。
CTS逆算手段25は、オフセット値算出手段14の逆演算を行うものである。
<DTS及びCTSの逆算>
図3に戻り、DTS逆算手段24によるDTSの逆算、及び、CTS逆算手段25によるCTSの逆算について、説明する(適宜図1参照)。
1個目のメディアユニット100では、アクセスユニット200の直前に他のアクセスユニットが存在せず、DTSフィールド101に差分値として‘0’が記述されている。このため、DTS逆算手段24は、アクセスユニット200のDTSの絶対値を‘0’として逆算する。このとき、DTS逆算手段24は、時間方向に連続したアクセスユニット200に対して処理を行うため、図示を省略したメモリに、逆算したDTSの値を、最新のアクセスユニット(他のアクセスユニット)200のDTSとして一時記憶する。さらに、CTS逆算手段25は、アクセスユニット200で逆算したDTSの値に、CTSフィールド102に記述されたオフセット値をそのまま加算し、アクセスユニット200のCTSとして逆算する。
2個目のメディアユニット100では、アクセスユニット200のDTSと、アクセスユニット200のDTSとの差分値が、DTSフィールド101に記述されている。このため、DTS逆算手段24は、メモリに一時記憶されたアクセスユニット200のDTSと、DTSフィールド101に記述された差分値とを加えた値を、アクセスユニット200のDTSとして逆算する。そして、DTS逆算手段24は、前記したメモリに、逆算したアクセスユニット200のDTSの値を一時記憶して、メモリ内容を更新する。つまり、このメモリは、メディアユニット100に含まれる最新のアクセスユニット200のDTSが逆算される都度、一時記憶したDTSが更新される。
さらに、CTS逆算手段25は、CTSフィールド102に記述されたオフセット値と、DTS逆算手段24が逆算したアクセスユニット200のDTSとを加えた値を、アクセスユニット200のCTSとして逆算する。
ここで、2個目のメディアユニット100は、アクセスユニット200もさらに含んでいる。このため、DTS逆算手段24及びCTS逆算手段25は、アクセスユニット200のDTSとCTSとをそれぞれ逆算する。つまり、DTS逆算手段24は、メモリに一時記憶されたDTSの値(すなわち、アクセスユニット200のDTSの値)に、DTSフィールド101に記述された差分値を加えて、アクセスユニット200のDTSを逆算する。また、CTS逆算手段25は、DTS逆算手段24で逆算されたDTSの値と、CTSフィールド102に記述されたオフセット値とを加算して、アクセスユニット200のCTSを逆算する。
なお、メディアユニット100,100での処理は、メディアユニット100,100と同様のため、説明を省略する。
その後、タイムスタンプ逆算手段23は、DTS逆算手段24で逆算されたDTS及びCTS逆算手段25で逆算されたCTSをアクセスユニット200に対応付けて、デコーダ26に出力する。
図1に戻り、復号装置2の構成について、説明を続ける。
デコーダ26は、タイムスタンプ逆算手段23から入力されたアクセスユニット200を、エンコーダ11に対応した映像デコード方式(例えば、MPEG−2 Video又はMPEG−4 AVC)によって、デコードするものである。このアクセスユニット200は、CTSとDTSの両方が対応付けられているため、前記した映像デコード方式でデコードを行うことができる。
[符号化装置の動作]
図4を参照し、符号化装置1の動作について、説明する(適宜図1〜図3参照)。
符号化装置1は、エンコーダ11によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられたアクセスユニット200を生成する(ステップS11)。
符号化装置1は、差分値算出手段13によって、アクセスユニット200毎にDTSの差分値を算出する。また、符号化装置1は、オフセット値算出手段14によって、アクセスユニット200毎に、DTSとCTSとのオフセット値を算出する(ステップS12)。
符号化装置1は、カプセル化判定手段15によって、判定時間内で複数のアクセスユニット200が判定条件を満たすか否かを判定する(ステップS13)。
ここで、複数のアクセスユニット200が判定条件を満たす場合(ステップS13でYes)、符号化装置1は、この複数のアクセスユニット200をカプセル化単位として判定し、ステップS14の処理に進む。
符号化装置1は、カプセル化手段16によって、差分値及びオフセット値をメディアユニット100に記述する。また、符号化装置1は、カプセル化手段16によって、カプセル化単位に含まれる複数のアクセスユニット200をメディアユニット100にカプセル化する。さらに、符号化装置1は、カプセル化手段16によって、カプセル化判定情報(例えば、‘1’〜‘3’の何れか)と、サイズ情報とをメディアユニット100に記述する(ステップS14)。
一方、1個のアクセスユニット200が判定条件を満たす場合(ステップS13でNo)、符号化装置1は、この1個のアクセスユニット200をカプセル化単位として判定し、ステップS15の処理に進む。
符号化装置1は、カプセル化手段16によって、差分値及びオフセット値をメディアユニット100に記述する。また、符号化装置1は、カプセル化手段16によって、カプセル化単位に含まれる1個のアクセスユニット200をメディアユニット100にカプセル化する。さらに、符号化装置1は、カプセル化手段16によって、カプセル化判定情報(例えば、‘0’)をメディアユニット100に記述する(ステップS15)。
[復号装置の動作]
図5を参照し、復号装置2の動作について、説明する(適宜図1〜図3参照)。
復号装置2は、複数カプセル判定手段21によって、符号化装置1から入力されたメディアユニット100に記述されたカプセル化判定情報に基づいて、メディアユニット100に複数のアクセスユニット200がカプセル化されているか否かを判定する(ステップS21)。
ここで、複数のアクセスユニット200がカプセル化されている場合(ステップS21でYes)、復号装置2は、ステップS22の処理に進む。
復号装置2は、逆カプセル化手段22によって、サイズ情報に基づいて、入力されたメディアユニット100から複数のアクセスユニット200を抽出する(ステップS22)。
一方、複数のアクセスユニット200がカプセル化されていない場合(ステップS21でNo)、復号装置2は、ステップS23の処理に進む。
復号装置2は、逆カプセル化手段22によって、入力されたメディアユニット100から1個のアクセスユニット200を抽出する(ステップS23)。
復号装置2は、DTS逆算手段24によって、アクセスユニット200のDTSを逆算する。また、復号装置2は、CTS逆算手段25によって、アクセスユニット200のCTSを逆算する(ステップS24)。
復号装置2は、デコーダ26によって、DTS及びCTSが逆算されたアクセスユニット200をデコードする(ステップS25)。
以上のように、本発明の第1実施形態に係る符号化装置1及び復号装置2は、複数のアクセスユニット200をカプセル化した場合でも、メディアユニット100に、デコードのタイミングを示すフィールド(DTSの差分値及びオフセット値)が1個ずつしか含まれない(図2(b))。さらに、符号化装置1及び復号装置2は、1個のアクセスユニット200をカプセル化した場合、メディアユニットに、サイズ情報フィールドが含まれない(図2(a))。このように、符号化装置1及び復号装置2は、メディアユニット100に冗長なフィールドが含まれないため、このメディアユニット100のオーバーヘッドを削減でき、最適なフォーマットでのカプセル化を可能とする。特に、符号化装置1及び復号装置2は、アクセスユニット200毎にDTS及びCTSのフィールドを単純に付加した場合に比べ、メディアユニット100のオーバーヘッドを大幅に削減できることになる。
さらに、符号化装置1は、アクセスユニット200のサイズに応じたビット数でサイズ情報フィールド104を確保する。このため、符号化装置1は、このサイズ情報フィールド104が冗長となる事態、及び、サイズ情報フィールド104のビット数が不足する事態を防止することができる。
さらに、復号装置2は、複数のアクセスユニット200がカプセル化されている場合でも、サイズ情報フィールド104を参照することで、メディアユニット100にカプセル化されている各アクセスユニット200のデータ領域を正確に特定できる。このため、復号装置2は、アクセスユニット200を抽出する際、データの欠落を防止することができる。
(第2実施形態)
図6を参照し、本発明の第2実施形態に係るコンテンツ提供システム1000Aについて、第1実施形態と異なる点を説明する。
コンテンツ提供システム1000Aは、コンテンツ(音声)を提供するものであり、符号化装置1Aと、復号装置2Aとを備える。
[符号化装置の構成]
符号化装置1Aは、入力信号としての音声信号をエンコードして、復号装置2Aに提供するものである。このため、符号化装置1Aは、エンコーダ11Aと、タイムスタンプ算出手段12Aと、カプセル化判定手段15Aと、カプセル化手段16Aとを備える。
エンコーダ11Aは、CTSを用いるエンコード方式によって、外部から入力された音声信号をエンコードすることで、CTSが対応付けられたアクセスユニットを生成するものである。
ここで、エンコーダ11Aは、MPEG−2 AAC(Advanced Audio Coding)等の音声エンコード方式を用いて、入力された音声信号をエンコードし、音声のアクセスユニットを生成する。ここで、音声信号のようにアクセスユニットの復号順序と提示順序が同じ場合、アクセスユニット毎にCTSだけが対応付けられる。そして、エンコーダ11Aは、CTSが対応付けられたアクセスユニットをタイムスタンプ算出手段12Aに出力する。
タイムスタンプ算出手段12Aは、メディアユニットに付加するタイムスタンプ(CTSの差分値)を算出するものであり、差分値算出手段13Aを備える。
差分値算出手段13Aは、アクセスユニット毎に、アクセスユニットのCTSと、直前のメディアユニットにカプセル化された他のアクセスユニットのCTSとの差分値を算出するものである。
なお、差分値算出手段13Aは、DTSの代わりにCTSを用いる以外、図1の差分値算出手段13と同様のため、詳細な説明を省略する。
カプセル化判定手段15Aは、タイムスタンプ算出手段12Aから入力されたアクセスユニットのうち、判定時間内で、後記する判定条件を満たす1個以上のアクセスユニットをカプセル化単位として判定するものである。
なお、カプセル化判定手段15Aは、差分値が同一となる判定条件を用いる以外、図1のカプセル化判定手段15と同様のため、詳細な説明を省略する。
カプセル化手段16Aは、カプセル化判定手段15Aで判定されたカプセル化単位に含まれる1個以上のアクセスユニットをメディアユニットにカプセル化(格納)し、同一の差分値をメディアユニットに付加するものである。
本実施形態では、音声信号をエンコードしているので、アクセスユニット200にDTSが対応付けられず、CTSだけが対応付けられる。従って、図7に示すように、カプセル化手段16Aが出力するメディアユニット100Aには、DTSフィールドが存在せず、CTSフィールド102だけが存在することになる。そして、図8に示すように、このメディアユニット100AのCTSフィールド102には、差分値算出手段13Aで算出されたCTSの差分値が記述される。
この他、カプセル化手段16Aは、図1のカプセル化手段16と同様のため、詳細な説明を省略する。
[復号装置の構成]
以下、復号装置2Aの構成について、説明する。
復号装置2Aは、符号化装置1Aが送信したメディアユニット100Aから、1個又は複数のアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。このため、復号装置2Aは、複数カプセル判定手段21と、逆カプセル化手段(メディアユニット抽出手段)22と、タイムスタンプ逆算手段23Aと、デコーダ26Aとを備える。
タイムスタンプ逆算手段23Aは、タイムスタンプ(CTSの差分値)から、アクセスユニット200に対応するCTSを逆算するものであり、CTS逆算手段25Aを備える。
CTS逆算手段25Aは、メディアユニット100Aに付加された差分値と、アクセスユニット200の直前に位置する他のアクセスユニットのCTSとを加えた値を、このアクセスユニット200のCTSとして逆算するものである。
なお、CTS逆算手段25Aは、DTSの代わりにCTSを用いる以外、図1のDTS逆算手段24と同様のため、詳細な説明を省略する。
デコーダ26Aは、タイムスタンプ逆算手段23Aから入力されたアクセスユニット200を、エンコーダ11Aに対応した音声デコード方式(例えば、MPEG−2 AAC)によって、デコードするものである。このアクセスユニット200には、CTSが対応付けられているため、前記した音声デコード方式でデコードを行うことができる。
なお、デコーダ26Aでは、DTSが対応付けられていないため、DTSとCTSが同一であるとみなしてデコードを行う。
以上のように、本発明の第2実施形態に係る符号化装置1A及び復号装置2Aでは、音声コンテンツでも第1実施形態と同様の効果を奏する。
(第3実施形態)
[メディアユニットの共通化、伝送路の切り替え]
図9を参照し、メディアユニット100Bの共通化、及び、伝送路の切り替えについて説明する。
図9に示すように、コンテンツ提供システム1000Bは、コンテンツ(映像)を提供するものであり、地上配信局(符号化装置)1Bと、2台の受信機(復号装置)2B,2Bと、放送衛星92とを備える。
地上配信局1Bは、ネットワークNを介して、コンテンツが格納されたメディアユニット100Bを受信機2B,2Bに送信するものである。
受信機2B,2Bは、ネットワークNを介して、地上配信局1Bからメディアユニット100Bを受信して、コンテンツを再生するものである。また、受信機2B,2Bは、放送波Wを介して、放送衛星92からメディアユニット100Bを受信して、コンテンツを再生する。
放送衛星92は、図示を省略したアップリンク局から、メディアユニット100Bを受信(アップリンク)するものである。そして、放送衛星92は、放送波Wを介して、受信したメディアユニット100を、受信機2B,2Bに送信(ダウンリンク)する。
このように、地上配信局1Bと受信機2B,2Bとの間には、それぞれ、ネットワークNによる伝送路が構築される。また、放送衛星92と受信機2B,2Bとの間には、それぞれ、放送波Wによる伝送路が構築される。
まず、メディアユニット100Bの共通化について、説明する。
従来方式において、地上配信局1Bから受信機2B,2Bに同一のコンテンツを提供する場合を考える。従来方式では、各メディアユニットにDTSやCTSが絶対時刻の形式で含まれている。このため、従来方式では、受信機2B,2Bのそれぞれに応じたメディアユニットを準備する必要があり、処理負担が重くなるという問題があった。
次に、伝送路の切り替えについて、説明する。
例えば、放送衛星92が受信機2Bにメディアユニットを送信している際、降雨減衰のため、放送波WからネットワークNに伝送路を切り替えて、地上配信局1Bからメディアユニット100Bを送信する場合を考える。従来方式では、メディアユニットにDTSやCTSが絶対時刻の形式で含まれている。このため、従来方式では、放送波WやネットワークNといった伝送路毎にメディアユニットを準備する必要があり、処理負担が重くなるという問題があった。
そこで、本願発明は、前記した問題を解決し、最適なフォーマットでカプセル化を可能とする地上配信局(符号化装置)、受信機(復号装置)及びこれらのプログラムを提供することを課題とする。
前記した課題に鑑みて、コンテンツ提供システム1000Bでは、DTS及びCTSの基準となる絶対時刻を制御信号(不図示)に付加し、DTS相対値及びCTS相対値をアクセスユニット(不図示)に付加するフォーマットを採用した。
これにより、コンテンツ提供システム1000Bでは、受信機2B,2Bそれぞれに応じた制御信号を準備すれば、同じメディアユニット100Bを受信機2B,2Bで共通化することができる。すなわち、メディアユニット100Bが、映像・音声メディアの最小利用単位として利用可能になる。
さらに、コンテンツ提供システム1000Bでは、前記したフォーマットが採用されているため、伝送路毎に制御信号を準備すれば、同じメディアユニット100Bを、伝送路を切り替えて受信機2Bに送信することができる。
[符号化装置の構成]
図10を参照し、符号化装置1Bの構成について、説明する。
符号化装置1Bは、入力信号としての映像信号をエンコードして、復号装置2Bに提供するものである。このため、符号化装置1Bは、エンコーダ11と、タイムスタンプ算出手段12Bと、カプセル化判定手段15Bと、カプセル化手段16Bと、送信手段19とを備える。
この図10では、伝送路としてのネットワークNを図示したが、放送波Wであってもよい。
エンコーダ11は、CTS及びDTSを用いるエンコード方式によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられた(付加された)アクセスユニットを生成するものである。そして、エンコーダ11は、CTS及びDTSが対応付けられたアクセスユニットを、順次、カプセル化判定手段15Bに出力する。
カプセル化判定手段15Bは、予め設定されたカプセル化条件で、エンコーダ11から入力された1個以上のアクセスユニットをカプセル化単位として判定するものである。そして、カプセル化判定手段15Bは、カプセル化単位毎にエンコードされた順番で、アクセスユニットをタイムスタンプ算出手段12Bに出力する。
このカプセル化条件とは、例えば、予め設定された個数のアクセスユニットをカプセル化単位とする、又は、予め設定された時間内にエンコードされたアクセスユニットをカプセル化単位とするというように、任意に設定できる条件のことである。
例えば、カプセル化条件は、遅延を抑えたい場合、1個のアクセスユニットをカプセル化単位とする条件で予め設定される。また、カプセル化条件は、映像信号であれば、GOP(Group of Picture)分のアクセスユニット(例えば、15個)をカプセル化単位とする条件で予め設定されてもよい。
タイムスタンプ算出手段12Bは、アクセスユニット毎のタイムスタンプ(DTS相対値及びCTS相対値)を算出するものであり、DTS相対値算出手段17と、CTS相対値算出手段18とを備える。
DTS相対値算出手段17は、最初にエンコードされたアクセスユニットのDTS相対値として、‘0’を算出するものである。
また、DTS相対値算出手段17は、2番目以降にエンコードされたアクセスユニットのDTS相対値として、このアクセスユニットのDTSと、このアクセスユニットの直前にエンコードされた他のアクセスユニットのDTSとの差分を算出する。
CTS相対値算出手段18は、アクセスユニットのCTS相対値として、このアクセスユニットのCTSと、このアクセスユニットの直後にエンコードされた他のアクセスユニットのCTSとの差分を算出するものである。
なお、DTS相対値算出手段17及びCTS相対値算出手段18の詳細は、後記する。
その後、タイムスタンプ算出手段12Bは、カプセル化単位毎にエンコードされた順番で、カプセル化判定手段15Bから入力されたアクセスユニットと、DTS相対値算出手段17が算出したDTS相対値と、CTS相対値算出手段18が算出したCTS相対値とを、カプセル化手段16Bに出力する。
カプセル化手段16Bは、タイムスタンプ算出手段12Bから入力されたアクセスユニットを、カプセル化単位毎にエンコードされた順番で、メディアユニット100Bにカプセル化するものである。そして、カプセル化手段16Bは、アクセスユニット毎にDTS相対値及びCTS相対値を付加し、カプセル化されたメディアユニット100Bを送信手段19に出力する。
送信手段19は、カプセル化手段16Bから入力されたメディアユニット100Bと、制御信号300とを、ネットワークNを介して、復号装置2Bに送信するものである。
制御信号300は、メディアユニット100Bの先頭を示す絶対時刻が含まれている。例えば、制御信号300は、コンテンツの構成や必要なコンポーネントの取得先を示す情報や絶対時刻が記述されたスタートアップコントロールメタデータである(参考文献参照)。
絶対時刻は、例えば、UTC(Coordinated Universal Time)の時刻、又は、コンテンツの先頭を基準とした経過時刻が、予め設定される。
参考文献:青木他、「ハイブリッド型放送におけるメディアのトランスポート方式」、情報処理学会研究報告、2011年
ここで、送信手段19は、ID(識別子)及びシーケンス番号を、メディアユニット100Bと、メディアユニット100Bに対応する制御信号300とに付加することが好ましい。
つまり、送信手段19は、伝送路毎にIDが予め設定され、メディアユニット100Bが送信される伝送路に応じたIDを、メディアユニット100B及び制御信号300に付加する。
また、送信手段19は、メディアユニット100Bに既に付加されたシーケンス番号を管理する管理テーブル(不図示)を備える。そして、送信手段19は、この管理テーブルのシーケンス番号をインクリメントし、新たなメディアユニット100Bのシーケンス番号として付加する。
IDは、所定のメディアユニット100Bで共通する識別情報である。例えば、IDは、同一伝送路のメディアユニット100Bに同一の値が付されるように、他の配信環境と重複がなく、配信環境によらずユニークな値である。
シーケンス番号は、各メディアユニット100Bで固有の識別情報である。
すなわち、各メディアユニット100Bは、ID及びシーケンス番号の組で一意に識別することができる。
<カプセル化の具体例>
図11を参照し、符号化装置1Bによるカプセル化の具体例を説明する。
図11では、CTSフィールド102を「AUの表示期間」と図示し、シーケンス番号フィールド106を「Seq_No」と図示した。
この図11では、連続して6個のアクセスユニット200〜200が生成されたこととする(図11のAU1〜AU6)。
また、図11では、カプセル化条件が、3個のアクセスユニット200をカプセル化単位とする条件で設定されたこととする。従って、カプセル化判定手段15Bは、1個目のメディアユニット100Bのカプセル化単位が、アクセスユニット200〜200であると判定し、2個目のメディアユニット100Bのカプセル化単位が、アクセスユニット200〜200であると判定する。
また、図11では、メディアユニット100B,100Bと、これらメディアユニット100B,100Bに対応する制御信号300,300とが、同一の伝送路で送信されることとする。
DTS相対値算出手段17は、先頭のアクセスユニット200のDTS相対値として、‘0’を算出し、DTSフィールド101に記述する。また、DTS相対値算出手段17は、2番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、先頭のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。また、DTS相対値算出手段17は、3番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、2番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。
ここで、DTS相対値算出手段17は、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でDTS相対値を算出する。すなわち、DTS相対値算出手段17は、4番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、3番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。
また、DTS相対値算出手段17は、5番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、4番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。また、DTS相対値算出手段17は、6番目のアクセスユニット200のDTS相対値として、このアクセスユニット200のDTSと、5番目のアクセスユニット200のDTSとの差分を算出し、DTSフィールド101に記述する。
つまり、DTS相対値算出手段17は、下記式(1)〜式(6)に示すように、DTS相対値を算出し、DTSフィールド101に記述する。
AU1_DTS相対値=0 …式(1)
AU2_DTS相対値=AU2_DTS−AU1_DTS …式(2)
AU3_DTS相対値=AU3_DTS−AU2_DTS …式(3)
AU4_DTS相対値=AU4_DTS−AU3_DTS …式(4)
AU5_DTS相対値=AU5_DTS−AU4_DTS …式(5)
AU6_DTS相対値=AU6_DTS−AU5_DTS …式(6)
CTS相対値算出手段18は、先頭のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、2番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。また、CTS相対値算出手段18は、2番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、3番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。
ここで、CTS相対値算出手段18は、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でCTS相対値を算出する。すなわち、CTS相対値算出手段18は、3番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、4番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。
また、CTS相対値算出手段18は、4番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、5番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。また、CTS相対値算出手段18は、5番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、6番目のアクセスユニット200のCTSとの差分を算出し、CTSフィールド102に記述する。
また、CTS相対値算出手段18は、6番目のアクセスユニット200のCTS相対値として、このアクセスユニット200のCTSと、7番目のアクセスユニット200(不図示)のCTSとの差分を算出し、CTSフィールド102に記述する。
なお、CTS相対値算出手段18は、6番目のアクセスユニット200が末尾の場合、入力信号が途切れた時刻、エンコーダ11が動作を停止した時刻、又は、タイムアウトした時刻の何れかを、7番目のアクセスユニット200のCTSとみなし、CTS相対値を算出すればよい。
つまり、CTS相対値算出手段18は、下記式(7)〜式(12)に示すように、CTS相対値を算出し、CTSフィールド102に記述する。
AU1_CTS相対値=AU2_CTS−AU1_CTS …式(7)
AU2_CTS相対値=AU3_CTS−AU2_CTS …式(8)
AU3_CTS相対値=AU4_CTS−AU3_CTS …式(9)
AU4_CTS相対値=AU5_CTS−AU4_CTS …式(10)
AU5_CTS相対値=AU6_CTS−AU5_CTS …式(11)
AU6_CTS相対値=AU7_CTS−AU6_CTS …式(12)
送信手段19は、メディアユニット100B,100Bと、制御信号300,300とに共通するID(例えば、‘1’)を、メディアユニット100B,100BのIDフィールド105,105と、制御信号300,301のIDフィールド301,301とに記述する。
また、送信手段19は、メディアユニット100Bのシーケンス番号(例えば、‘1’)を、メディアユニット100Bのシーケンス番号フィールド106と、メディアユニット100Bに対応する制御信号300のシーケンス番号フィールド302とに記述する。
また、送信手段19は、メディアユニット100Bの先頭を表す絶対時刻(MU1の先頭を表示する絶対時刻(T_mu1))を、制御信号300の絶対時刻フィールド303に記述する。
また、送信手段19は、メディアユニット100Bのシーケンス番号(例えば、‘2’)を、メディアユニット100Bのシーケンス番号フィールド106と、メディアユニット100Bに対応する制御信号300のシーケンス番号フィールド302とに記述する。
また、送信手段19は、メディアユニット100Bの先頭を表す絶対時刻(MU2の先頭を表示する絶対時刻(T_mu2))を、制御信号300の絶対時刻フィールド303に記述する。
なお、図11では省略したが、メディアユニット100B,100Bは、第1実施形態と同様、カプセル化判定情報フィールド103及びサイズ情報フィールド104(図2)を備えてもよい。この場合、カプセル化手段16Bは、カプセル化判定情報フィールド103に、カプセル化判定情報として、サイズ情報が含まれることを示す値(例えば、‘0’以外)を記述する。また、カプセル化手段16Bは、サイズ情報フィールド104に、各アクセスユニット200のサイズ情報を記述する。
<絶対時刻とCTS相対値との関係>
図12を参照し、絶対時刻「T_mu」とCTS相対値との関係について、説明を補足する。(適宜図10,図11参照)。
先頭のアクセスユニット200のCTSは、絶対時刻に等しくなる。言い換えるなら、先頭のアクセスユニット200は、CTS及びDTSが等しくなる。
2番目のアクセスユニット200のCTSは、先頭のアクセスユニット200のCTSにΔT_au1を加えた値となる。言い換えるなら、ΔT_au1が、2番目のアクセスユニット200と先頭のアクセスユニット200とのCTSの差分を示す。従って、このΔT_au1が、先頭のアクセスユニット200のCTS相対値として、CTSフィールド102に記述される。
3番目のアクセスユニット200のCTSは、2番目のアクセスユニット200のCTSにΔT_au2を加えた値となる。言い換えるなら、ΔT_au2が、3番目のアクセスユニット200と2番目のアクセスユニット200とのCTSの差分を示す。従って、このΔT_au2が、2番目のアクセスユニット200のCTS相対値として、CTSフィールド102に記述される。
なお、4番目のアクセスユニット200以降も同様のため、説明を省略する。
[復号装置の構成]
図10に戻り、復号装置2Bの構成について、説明する。
復号装置2Bは、符号化装置1Bが送信したメディアユニット100Bから、1個以上のアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。このため、復号装置2Bは、逆カプセル化手段(メディアユニット抽出手段)22と、タイムスタンプ逆算手段23Bと、デコーダ26と、受信手段27とを備える。
受信手段27は、ネットワークN又は放送波Wを介して、符号化装置1からメディアユニット100Bと、制御信号300とを受信するものである。そして、受信手段27は、受信したメディアユニット100Bと、制御信号300とを、順次、逆カプセル化手段22Bに出力する。
逆カプセル化手段22Bは、受信手段27より入力されたメディアユニット100Bから、1個以上のアクセスユニット200を抽出(逆カプセル化)するものである。ここで、逆カプセル化手段22は、サイズ情報フィールド104を参照して、各アクセスユニット200がカプセル化されているメディアユニット100Bのデータ領域を特定する。そして、逆カプセル化手段22Bは、メディアユニット100Bから抽出した順番でアクセスユニット200をタイムスタンプ逆算手段23Bに出力する。さらに、逆カプセル化手段22Bは、受信手段27から入力された制御信号300をタイムスタンプ逆算手段23Bに出力する。
タイムスタンプ逆算手段23Bは、タイムスタンプ(DTS相対値及びCTS相対値)から、アクセスユニット200のDTS及びCTSを逆算するものであり、DTS逆算手段24Bと、CTS逆算手段25Bとを備える。
DTS逆算手段24Bは、先頭に位置するアクセスユニット200のDTSとして、メディアユニット100Bに対応する制御信号300の絶対時刻を逆算するものである。
また、DTS逆算手段24Bは、2番目以降に位置するアクセスユニット200のDTSとして、アクセスユニット200のDTS相対値と、アクセスユニット200の直前に位置する他のアクセスユニットのDTSとを加えた値を逆算する。
CTS逆算手段25Bは、メディアユニット100Bに対応する制御信号300の絶対時刻と、先頭に位置するアクセスユニット200からこのアクセスユニット200までのCTS相対値の総和とを加えた値を、アクセスユニット200の直後に位置する他のアクセスユニットのCTSとして逆算するものである。
<逆カプセル化の具体例>
図11を参照し、復号装置2Bによる逆カプセル化の具体例を説明する(適宜図10参照)。
DTS逆算手段24Bは、ID及びシーケンス番号を参照し、メディアユニット100Bと制御信号300との対応関係を求める。図11の例では、DTS逆算手段24Bは、ID=‘1’で、かつ、シーケンス番号=‘1’のメディアユニット100Bと、制御信号300とを対応付ける。またDTS逆算手段24Bは、ID=‘1’で、かつ、シーケンス番号=‘2’のメディアユニット100Bと、制御信号300とを対応付ける。
また、DTS逆算手段24Bは、先頭のアクセスユニット200のDTSとして、制御信号300の絶対時刻フィールド303に記述された絶対時刻を逆算する。また、DTS逆算手段24Bは、2番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた先頭のアクセスユニット200のDTSとを加えた値を逆算する。また、DTS逆算手段24Bは、3番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた2番目のアクセスユニット200のDTSとを加えた値を逆算する。
ここで、DTS逆算手段24Bは、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でDTSを逆算する。すなわち、DTS逆算手段24Bは、4番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた3番目のアクセスユニット200のDTSとを加えた値を逆算する。
また、DTS逆算手段24Bは、5番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた4番目のアクセスユニット200のDTSとを加えた値を逆算する。また、DTS逆算手段24Bは、6番目のアクセスユニット200のDTSとして、このアクセスユニット200のDTSフィールド101に記述されたDTS相対値と、既に求められた5番目のアクセスユニット200のDTSとを加えた値を逆算する。
つまり、DTS逆算手段24Bは、下記式(13)〜式(17)に示すように、DTSを逆算する。
AU1_DTS=制御信号300の絶対時刻
AU2_DTS=AU2_DTS相対値+AU1_DTS …式(13)
AU3_DTS=AU3_DTS相対値+AU2_DTS …式(14)
AU4_DTS=AU4_DTS相対値+AU3_DTS …式(15)
AU5_DTS=AU5_DTS相対値+AU4_DTS …式(16)
AU6_DTS=AU6_DTS相対値+AU5_DTS …式(17)
CTS逆算手段25Bは、DTS逆算手段24Bと同様、ID及びシーケンス番号を参照し、メディアユニット100Bと制御信号300との対応関係を求める。
また、CTS逆算手段25Bは、先頭のアクセスユニット200のCTSとして、制御信号300の絶対時刻フィールド303に記述された絶対時刻を逆算する。
また、CTS逆算手段25Bは、2番目のアクセスユニット200のCTSとして、制御信号300の絶対時刻と、先頭のアクセスユニット200のCTS相対値とを加えた値を逆算する。
また、CTS逆算手段25Bは、アクセスユニット200,200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、3番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
ここで、CTS逆算手段25Bは、IDが同一であれば、異なるメディアユニット100B,100Bにカプセル化されたアクセスユニット200,200の間でCTSを逆算する。すなわち、CTS逆算手段25Bは、アクセスユニット200〜200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、4番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
また、CTS逆算手段25Bは、アクセスユニット200〜200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、5番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
また、CTS逆算手段25Bは、アクセスユニット200〜200のCTS相対値の総和を算出する。そして、CTS逆算手段25Bは、6番目のアクセスユニット200のCTSとして、この総和に絶対時刻を加えた値を逆算する。
ここで、制御信号300の絶対時刻「T_mu2」について、説明を補足する。
放送波Wを用いた場合、コンテンツ提供システム1000Bには、様々なタイミングで受信を開始する復号装置2Bが存在することになる。ここで、ある復号装置2Bが、制御信号300を受信できなかった場合を考える。この場合、復号装置2Bは、次の制御信号300を受信して、この制御信号300の絶対時刻「T_mu2」を用いて、メディアユニット100Bにカプセル化されたアクセスユニット200〜200のDTS及びCTSを逆算する。このようにして、復号装置2Bは、受信できた制御信号300に対応するメディアユニット100Bから、コンテンツの再生を開始する。すなわち、コンテンツ提供システム1000Bでは、復号装置2Bが任意のタイミングで受信を開始するために、絶対時刻が付加された制御信号300を周期的に復号装置2Bに送信することが好ましい。
また、復号装置2Bは、メディアユニット100Bを継続して受信する場合、3番目のアクセスユニット200の後に、4番目のアクセスユニット200を直ちに表示するのであれば、制御信号300の絶対時刻が必須でない。しかし、コンテンツ提供システム1000Bでは、符号化装置1Bのクロック周波数と、復号装置2Bのクロック周波数とが正確に一致するとは限らない。従って、コンテンツ提供システム1000Bでは、各アクセスユニット200のCTS相対値を積み重ねていくと、絶対時刻に対して誤差が発生する可能性がある(クロックドリフト)。このため、コンテンツ提供システム1000Bでは、ある程度短い間隔で絶対時刻へのマッピングを行って、大きな誤差を防止する。すなわち、コンテンツ提供システム1000Bでは、アクセスユニット200でCTSの誤差を抑えるために、絶対時刻が付加された制御信号300を周期的に復号装置2Bに送信することが好ましい。
その後、タイムスタンプ逆算手段23Bは、DTS及びCTSが逆算されたアクセスユニット200を、順次、デコーダ26に出力する。
図10に戻り、復号装置2Bの構成について、説明を続ける。
デコーダ26は、タイムスタンプ逆算手段23Bから入力されたアクセスユニット200を、エンコーダ11に対応した映像デコード方式によって、デコードするものである。このアクセスユニット200は、CTSとDTSの両方が対応付けられているため、前記した映像デコード方式でデコードを行うことができる。
[符号化装置の動作]
図13を参照し、符号化装置1Bの動作について、説明する(適宜図10〜図12参照)。
符号化装置1Bは、エンコーダ11によって、外部から入力された映像信号をエンコードすることで、CTS及びDTSが対応付けられたアクセスユニット200を生成する(ステップS31)。
符号化装置1Bは、カプセル化判定手段15Bによって、予め設定されたカプセル化条件で、1個以上のアクセスユニットをカプセル化単位として判定する(ステップS32)。
符号化装置1Bは、DTS相対値算出手段17によって、DTS相対値を算出する(ステップS33)。
符号化装置1Bは、CTS相対値算出手段18によって、CTS相対値を算出する(ステップS34)。
符号化装置1Bは、カプセル化手段16Bによって、アクセスユニット200をメディアユニット100Bにカプセル化し、アクセスユニット200毎にDTS相対値及びCTS相対値を付加する(ステップS35)。
符号化装置1Bは、送信手段19によって、カプセル化されたメディアユニット100Bと、このメディアユニット100Bに対応する制御信号300とを、ネットワークNを介して、復号装置2Bに送信する(ステップS36)。
[復号装置の動作]
図14を参照し、復号装置2Bの動作について、説明する(適宜図10〜図12参照)。
復号装置2Bは、受信手段27によって、ネットワークN又は放送波Wを介して、符号化装置1からメディアユニット100Bと、制御信号300とを受信する(ステップS41)。
復号装置2Bは、逆カプセル化手段22Bによって、メディアユニット100Bから、1個以上のアクセスユニット200を抽出する(ステップS42)。
復号装置2Bは、DTS逆算手段24Bによって、DTSを逆算する(ステップS43)。
復号装置2Bは、CTS逆算手段25Bによって、CTSを逆算する(ステップS44)。
復号装置2Bは、デコーダ26によって、DTS及びCTSが逆算されたアクセスユニット200をデコードする(ステップS45)。
以上のように、本発明の第3実施形態に係る符号化装置1B及び復号装置2Bは、DTS及びCTSの基準となる絶対時刻が制御信号300に付加され、DTS相対値及びCTS相対値がアクセスユニット200に付加されるフォーマットが採用されている。このため、符号化装置1B及び復号装置2Bは、制御信号300の絶対時刻を書き換えるだけで、アクセスユニット200が復号される時刻と、アクセスユニット200が提示又は再生される時刻とを容易に変更することができる。さらに、符号化装置1B及び復号装置2Bは、メディアユニット100Bの共通化と、伝送路の切り替えとを容易に実現できる。
(第4実施形態)
図15〜図18を参照し、本発明の第4実施形態に係るコンテンツ提供システム1000Cについて、第3実施形態と異なる点を説明する。
コンテンツ提供システム1000Cは、コンテンツ(音声)を提供するものであり、符号化装置1Cと、復号装置2Cとを備える。
[符号化装置の構成及び動作]
符号化装置1Cは、入力信号としての音声信号をエンコードして、復号装置2Cに提供するものである。
図15に示すように、符号化装置1Cは、エンコーダ11の代わりにエンコーダ11Aを備え、DTS相対値算出手段17を備えない以外、図10の符号化装置1Bと同様の構成ため、詳細な説明を省略する。
また、図16に示すように、符号化装置1Cは、ステップS33を実行しない以外、図13と同様の動作ため、詳細な説明を省略する。
[復号装置の構成及び動作]
復号装置2Cは、符号化装置1Cが送信したメディアユニット100Cからアクセスユニット200を抽出し、抽出されたアクセスユニット200をデコードするものである。
図15に示すように、復号装置2Cは、デコーダ26の代わりにデコーダ26Aを備え、DTS逆算手段24Bを備えない以外、図10の復号装置2Bと同様の構成ため、詳細な説明を省略する。
また、図17に示すように、復号装置2Cは、ステップS43を実行しない以外、図14と同様の動作ため、詳細な説明を省略する。
[メディアユニット及び制御信号のフォーマット]
図18に示すように、メディアユニット100C及び制御信号300は、メディアユニット100CにDTSフィールド101が含まれない以外、図11と同様のため、詳細な説明を省略する。
以上のように、本発明の第4実施形態に係る符号化装置1C及び復号装置2Cでは、音声コンテンツでも第3実施形態と同様の効果を奏する。
なお、各実施形態に係る符号化装置及び復号装置の機能は、コンピュータで実現するようにしてもよい。この場合、本発明は、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。
また、前記したプログラムは、前記した機能の一部を実現するためのものであってもよく、さらに、前記した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
(変形例)
以上、本発明の各実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。
コンテンツ提供システム1000で映像を扱い、コンテンツ提供システム1000Aで音声を扱うこととして説明したが、本発明は、映像と音声の両方を扱うこともできる。
この場合、コンテンツ提供側では、図1の符号化装置1で映像のメディアユニットを生成し、図6の符号化装置1Aで音声のメディアユニットを生成する。そして、コンテンツ提供側では、映像及び音声のメディアユニットを多重化して、コンテンツ受信側に送信する。
また、コンテンツ受信側では、多重化されたメディアユニットを、映像及び音声のメディアユニットに分離する。そして、コンテンツ受信側では、映像のメディアユニットを図1の復号装置2でデコードし、音声のメディアユニットを図6の復号装置2Aでデコードする。
また、コンテンツ提供システム1000,100Aは、符号化装置1,1A及び復号装置2,2Aを2台以上備えてもよい。
また、コンテンツ提供システム1000,100Aでは、符号化装置1,1Aが生成したメディアユニットを光磁気記録媒体に記録し、郵送等のオフラインで復号装置2,2Aに提供してもよい。
また、コンテンツ提供システム1000,100Aでは、同一装置内に符号化装置1,1A及び復号装置2,2Aが備えられ、符号化装置1,1Aが生成したメディアユニットを蓄積し、蓄積したメディアユニットを復号装置2,2Aに提供してもよい。
1,1A,1B,1C 符号化装置
11,11A エンコーダ
12,12A,12B,12C タイムスタンプ算出手段
13,13A 差分値算出手段
14 オフセット値算出手段
15,15A,15B カプセル化判定手段
16,16A,16B カプセル化手段
17 DTS相対値算出手段
18 CTS相対値算出手段
19 送信手段
2,2A,2B,2C 復号装置
21 複数カプセル判定手段
22,22B 逆カプセル化手段(メディアユニット抽出手段)
23,23A,23B,23C タイムスタンプ逆算手段
24,24B DTS逆算手段
25,25A,25B CTS逆算手段
26,26A デコーダ
27 受信手段
1000,1000A,1000B,1000C コンテンツ提供システム

Claims (4)

  1. 提示又は再生する時刻を示すCTSが用いられるエンコード方式によって符号化を行う符号化装置であって、
    前記エンコード方式によって符号化された1個以上のアクセスユニットがカプセル化されたメディアユニットを生成するカプセル化手段と、
    前記メディアユニットに加えて、前記メディアユニットの先頭に含まれるアクセスユニットの絶対時刻を示す情報を送信する送信手段とを備え、
    前記送信手段は、前記メディアユニットに含まれるn番目のアクセスユニットについて、n番目のアクセスユニットのCTSとn+1番目のアクセスユニットのCTSとの差分であるCTS相対値を送信することを特徴とする符号化装置。
  2. 前記送信手段は、前記メディアユニットとは異なる信号として、前記絶対時刻を示す情報を含む制御信号を送信することを特徴とする請求項1に記載の符号化装置。
  3. 提示又は再生する時刻を示すCTSが用いられるエンコード方式によって符号化を行う符号化方法であって、
    前記エンコード方式によって符号化された1個以上のアクセスユニットがカプセル化されたメディアユニットを生成するステップAと、
    前記メディアユニットに加えて、前記メディアユニットの先頭に含まれるアクセスユニットの絶対時刻を示す情報を送信するステップBとを備え、
    前記ステップは、前記メディアユニットに含まれるn番目のアクセスユニットについて、n番目のアクセスユニットのCTSとn+1番目のアクセスユニットのCTSとの差分であるCTS相対値を送信するステップを含むことを特徴とする符号化方法。
  4. 提示又は再生する時刻を示すCTSが用いられるエンコード方式によって符号化を行うプログラムであって、コンピュータに、
    前記エンコード方式によって符号化された1個以上のアクセスユニットがカプセル化されたメディアユニットを生成するステップAと、
    前記メディアユニットに加えて、前記メディアユニットの先頭に含まれるアクセスユニットの絶対時刻を示す情報を送信するステップBとを実行させ、
    前記ステップは、前記メディアユニットに含まれるn番目のアクセスユニットについて、n番目のアクセスユニットのCTSとn+1番目のアクセスユニットのCTSとの差分であるCTS相対値を送信するステップを含むことを特徴とするプログラム。
JP2014507816A 2012-03-28 2013-03-22 符号化装置、復号装置及びこれらのプログラム Active JP6126583B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012073062 2012-03-28
JP2012073062 2012-03-28
PCT/JP2013/058247 WO2013146571A1 (ja) 2012-03-28 2013-03-22 符号化装置、復号装置及びこれらのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017076713A Division JP6208391B2 (ja) 2012-03-28 2017-04-07 符号化装置、復号装置及びこれらのプログラム

Publications (2)

Publication Number Publication Date
JPWO2013146571A1 JPWO2013146571A1 (ja) 2015-12-14
JP6126583B2 true JP6126583B2 (ja) 2017-05-10

Family

ID=49259826

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014507816A Active JP6126583B2 (ja) 2012-03-28 2013-03-22 符号化装置、復号装置及びこれらのプログラム
JP2017076713A Active JP6208391B2 (ja) 2012-03-28 2017-04-07 符号化装置、復号装置及びこれらのプログラム
JP2017171009A Active JP6235753B1 (ja) 2012-03-28 2017-09-06 符号化装置、復号装置並びにこれらの方法及びプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017076713A Active JP6208391B2 (ja) 2012-03-28 2017-04-07 符号化装置、復号装置及びこれらのプログラム
JP2017171009A Active JP6235753B1 (ja) 2012-03-28 2017-09-06 符号化装置、復号装置並びにこれらの方法及びプログラム

Country Status (5)

Country Link
US (2) US9628590B2 (ja)
EP (1) EP2833630B1 (ja)
JP (3) JP6126583B2 (ja)
KR (1) KR101620776B1 (ja)
WO (1) WO2013146571A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
JP2015226305A (ja) * 2014-05-30 2015-12-14 三菱電機株式会社 符号化装置
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
US20180094309A1 (en) * 2015-04-03 2018-04-05 President And Fellows Of Harvard College Nucleic acid retro-activated primers
US10165310B2 (en) * 2016-06-10 2018-12-25 Affirmed Networks, Inc. Transcoding using time stamps
CN112996135B (zh) * 2019-12-13 2022-12-06 上海朗帛通信技术有限公司 一种被用于无线通信的节点中的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148853A (ja) * 1999-03-12 2001-05-29 Toshiba Corp 動画像符号化装置および復号化装置
JP2002094995A (ja) 2000-09-19 2002-03-29 Canon Inc データ処理方法、データ処理装置及びデータ処理システム
KR100441589B1 (ko) 2002-04-01 2004-07-23 삼성전자주식회사 Rtp패킷 생성/복원 장치 및 방법
KR101029808B1 (ko) * 2004-01-27 2011-04-20 엘지전자 주식회사 싱크 레이어 패킷의 패킷화 방법
US20080256431A1 (en) * 2007-04-13 2008-10-16 Arno Hornberger Apparatus and Method for Generating a Data File or for Reading a Data File
JP5632711B2 (ja) * 2010-10-29 2014-11-26 日本放送協会 送信装置、受信装置及び伝送システム
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US20130094594A1 (en) * 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting m-unit

Also Published As

Publication number Publication date
KR101620776B1 (ko) 2016-05-12
JP2018023127A (ja) 2018-02-08
EP2833630A4 (en) 2015-08-12
US9628590B2 (en) 2017-04-18
EP2833630B1 (en) 2017-08-16
US20150010020A1 (en) 2015-01-08
JPWO2013146571A1 (ja) 2015-12-14
JP6235753B1 (ja) 2017-11-22
US20170171365A1 (en) 2017-06-15
JP2017153122A (ja) 2017-08-31
KR20140140078A (ko) 2014-12-08
EP2833630A1 (en) 2015-02-04
US9942364B2 (en) 2018-04-10
WO2013146571A1 (ja) 2013-10-03
JP6208391B2 (ja) 2017-10-04

Similar Documents

Publication Publication Date Title
JP6235753B1 (ja) 符号化装置、復号装置並びにこれらの方法及びプログラム
JP5334335B2 (ja) メディアデータコンテナおよびメタデータコンテナを有するファイルを記憶および読み出すための装置および方法
JP5708877B1 (ja) 送信装置、送信方法、受信装置および受信方法
JP6935552B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP6957186B2 (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
US11445000B2 (en) Multicast to unicast conversion
JP2021192528A (ja) 送信方法、受信方法、送信装置および受信装置
JP7034926B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20120058373A (ko) Svc 서버를 이용한 http 스트리밍 수신 비디오 전송 및 단말 재생 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170407

R150 Certificate of patent or registration of utility model

Ref document number: 6126583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250