WO2015012063A1 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- WO2015012063A1 WO2015012063A1 PCT/JP2014/067370 JP2014067370W WO2015012063A1 WO 2015012063 A1 WO2015012063 A1 WO 2015012063A1 JP 2014067370 W JP2014067370 W JP 2014067370W WO 2015012063 A1 WO2015012063 A1 WO 2015012063A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- multiplexed
- stream
- mmt
- multiplexed stream
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 85
- 238000000926 separation method Methods 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 44
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
- H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
Definitions
- FIG. 2 is a diagram illustrating an example of a protocol stack indicating protocols used in the information processing apparatus 1. Note that descriptions of parts that are not related to the present invention are omitted.
- the TS demax unit 11 separates TS packets according to the media type (S8). Specifically, in the case of an audio stream, the audio stream separated from the TS packet is output to the audio decoder 40. Similarly, in the case of a video stream, the video stream separated from the TS packet is output to the video decoder 50.
- FIG. 10 is a diagram for explaining an example of referring to a hint using descriptor ().
- the MMT_descriptor () described in (a) of the figure includes information (signaling_message_hint_present_flag) indicating the presence / absence of a hint related to transmission of control information (signaling message).
- signaling_message_hint_present_flag When the value of signaling_message_hint_present_flag is “1”, the data structure signaling_message_hint () shown in FIG.
- FIG. 11 is a block diagram illustrating a main configuration of the information processing apparatus 300. Since the configuration other than the demax unit 310 is the same as that of the information processing apparatus 1, illustrations other than the demax unit 310 and the surrounding configuration are omitted.
- the Service B is composed of control information b1 and package b2.
- the package b2 includes an MMT stream b21 including an asset b211, an asset b212, and control information b213, and the MMT stream a22.
- the MMT stream a22 is an MMT stream that is referenced from both the package a2 and the package b2.
- information (session information) necessary for receiving the MMT stream b21 and the MMT stream a22 is described in a predetermined format.
- the control information b213 describes the above-described MPT (MMT Package Table).
- the MPT describes the package identifier of the package.
- Session identifier b21 Main sub flag: 1 Number of referenced packages: 1 Package identifier: b2 Session description: SDP description in FIG. 19A (however, the multicast group address or port is different from the description in FIG. 19A) Session identifier: a22 Main sub flag: 0 Number of referenced packages: 2 Package identifier: b2 Package identifier: a2 Session description: Description by SDP in FIG.
- the user selects (switches) a service (S20).
- the session is terminated (S21).
- the additional stream is acquired from the acquisition destination indicated by the acquisition destination information in the network different from the multiplexed stream separated by the first separation means.
- the additional stream and the second multiplexed stream separated by the first separation means are reproduced so that the additional stream is reproduced instead of the second multiplexed stream separated by the first separation means or together with the second multiplexed stream. Perform separation. Therefore, streams acquired from different networks can be combined and reproduced.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
This information processing device (1) is provided with a controller (12) that acquires control information (signaling message) to be input to a transport stream (TS) demux unit (11) from a program map table (PMT) that contains the control information, and outputs the information to a multi multiplexer-demultiplexer (MMT) demux unit (13).
Description
本発明は、多重化ストリームの分離を行う装置等に関する。
The present invention relates to an apparatus for separating a multiplexed stream.
近年、広く一般に利用されているデジタル放送システムでは、MPEG-2 TSをベースとしたコンテンツの送信が行われている。より具体的には、上記デジタル放送システムでは、コンテンツを構成するビデオストリームやオーディオストリームといったメディアを分割してパケット化し、多重化(マルチプレクス)した多重化ストリームとして送信している。そして、このような多重化ストリームを受信したテレビ等の受信装置では、多重化ストリームを分離(デマルチプレクス)して上記メディアを取得し、再生している。
In recent years, digital broadcasting systems that are widely used are transmitting content based on MPEG-2 TS. More specifically, in the digital broadcasting system, media such as a video stream and an audio stream constituting the content are divided and packetized and transmitted as a multiplexed stream. Then, in a receiving apparatus such as a television set that has received such a multiplexed stream, the multiplexed stream is separated (demultiplexed) to acquire and reproduce the media.
これについて、図14に基づいて説明する。図14は、MPEG-2 TSにおける多重化ストリームの分離を説明する図である。従来の受信装置は、同図に示すように、TSデマックス部、ビデオデコーダ、およびオーディオデコーダを備えている。TSデマックス部は、MPEG-2 TSで多重化されたパケットであるTSパケットを分離するものであり、ビデオデコーダはビデオストリームをデコードするものであり、オーディオデコーダはオーディオストリームをデコードするものである。
This will be described with reference to FIG. FIG. 14 is a diagram for explaining separation of multiplexed streams in MPEG-2 TS. As shown in FIG. 1, the conventional receiving apparatus includes a TS demax unit, a video decoder, and an audio decoder. The TS demux unit separates TS packets, which are packets multiplexed by MPEG-2 TS, the video decoder decodes the video stream, and the audio decoder decodes the audio stream.
図示のように、受信した多重化ストリームはTSデマックス部に送られる。ここで、この多重化ストリームには、同図の下側に示すように、(1)PAT(Program Association Table)として機能するTSパケット、(2)PMT(Program Map Table)として機能するTSパケット、(3)ビデオストリームを構成するTSパケット、および(4)オーディオストリームを構成するTSパケットが含まれている。
As shown in the figure, the received multiplexed stream is sent to the TS demux unit. In this multiplexed stream, as shown in the lower side of the figure, (1) TS packets functioning as PAT (Program Association Table), (2) TS packets functioning as PMT (Program Map Table), (3) TS packets constituting a video stream and (4) TS packets constituting an audio stream are included.
そして、各TSパケットには、そのTSパケットに含まれるデータ(メディア)の種別を示すパケット識別子(PID)が付加されている。これにより、PATを含むTSパケットからPMTを含むTSパケットを特定し、PMTを含むTSパケットからビデオストリームを構成するTSパケットとオーディオストリームを構成するTSパケットとをそれぞれ特定することができる。よって、TSデマックス部は、多重化ストリームから分離したビデオストリーム(Video ES)をビデオデコーダに出力し、多重化ストリームから分離したオーディオストリーム(Audio ES)をオーディオデコーダに出力することができる。
Each TS packet has a packet identifier (PID) indicating the type of data (media) included in the TS packet. Thereby, TS packets including PMT can be identified from TS packets including PAT, and TS packets configuring a video stream and TS packets configuring an audio stream can be respectively identified from TS packets including PMT. Therefore, the TS demux unit can output the video stream (Video ES) separated from the multiplexed stream to the video decoder, and can output the audio stream (Audio ES) separated from the multiplexed stream to the audio decoder.
また、近年では、放送と通信を用いたハイブリッド伝送サービスの実現を容易にするため、MPEGでは、IP(Internet Protocol)を共通インターフェースとすることを想定した次世代の伝送フォーマットであるMMT(ISO/IEC 23008-1: MPEG Media Transport)プロトコルの標準化が進められている。なお、ハイブリッド伝送については、下記の特許文献1にも記載されている。
In recent years, in order to facilitate the realization of a hybrid transmission service using broadcasting and communication, MPEG uses MMT (ISO / ISO), which is a next-generation transmission format that assumes IP (Internet Protocol) as a common interface. The standardization of the IEC (23008-1: MPEG Media Transport) protocol is underway. The hybrid transmission is also described in Patent Document 1 below.
ここで、MMTでは、伝送するデータとしてMPU(Media Processing Unit)および、メディアの種別や取得先等を示す制御情報(signaling message)等を規定している。そして、このようなデータをパケット化した複数のMMT Payloadを多重化してMMTPパケット列として伝送する。このMMTPパケットは、TSパケットとは多重化方式が異なっているため、図14のようなTSデマックス部では分離することができない。よって、MMTプロトコルに準拠した受信装置は、TSデマックス部に加えて、MMTPパケットを分離するためのMMTデマックス部を備えている必要がある。また、上記のように、メディアの種別や取得先は制御情報に記述されているから、MMTPパケットの分離の際には制御情報がMMTデマックス部に受信されている必要がある。
Here, the MMT defines MPU (Media Processing Unit) as data to be transmitted and control information (signaling message) indicating a media type, an acquisition destination, and the like. Then, a plurality of MMT payloads obtained by packetizing such data are multiplexed and transmitted as an MMTP packet sequence. Since this MMTP packet has a multiplexing method different from that of the TS packet, it cannot be separated by the TS demux unit as shown in FIG. Therefore, a receiving apparatus that complies with the MMT protocol needs to include an MMT demax unit for separating MMTP packets in addition to the TS demax unit. Further, as described above, since the media type and the acquisition destination are described in the control information, the control information needs to be received by the MMT demux unit when the MMTP packet is separated.
しかしながら、従来は、制御情報を確実に取得するための仕組みがないという問題があった。これについて、図15に基づいて説明する。図15は、TSデマックス部とMMTデマックス部とを備えた受信装置において生じる問題点を説明する図である。
However, conventionally, there has been a problem that there is no mechanism for reliably acquiring control information. This will be described with reference to FIG. FIG. 15 is a diagram for explaining a problem that occurs in a receiving apparatus including a TS demax unit and an MMT demax unit.
同図の下側に示すように、TSデマックス部が受信する多重化ストリームには、PATのTSパケットとPMTのTSパケットが含まれていると共に、MMTストリームのTSパケットが3つ含まれている。MMTストリームのTSパケットには、そのTSパケットにMMTストリームが含まれていることを示すパケット識別子が付加されているので、TSデマックス部は、TSパケットから分離したMMTストリームをMMTデマックス部に出力する。なお、MMTストリームは、MMTPパケットとして多重化されている。
As shown in the lower part of the figure, the multiplexed stream received by the TS demax part includes a PAT TS packet and a PMT TS packet, and includes three MMT stream TS packets. . Since the TS packet of the MMT stream is added with a packet identifier indicating that the MMT stream is included in the TS packet, the TS demax unit outputs the MMT stream separated from the TS packet to the MMT demax unit. . Note that the MMT stream is multiplexed as an MMTP packet.
ここで、MMTストリームのパケット識別子は、上記のように何れも同じ値であるから、MMTデマックス部は、出力されたメディアがオーディオストリームであるか、ビデオストリームであるかは判断することができない。このため、MMTストリームから分離したメディアを何れのデコーダに出力すればよいかを判断することができない。また、MMTでは、インターネット等の通信ネットワーク経由で取得したMMTストリームを放送経路から取得したストリームと共に再生することが可能になっているが、制御情報がなければ共に再生するストリームの取得先を特定することはできない。なお、このような問題点は、MMTに限られず、ある多重化方式で多重化された後、さらに別の多重化方式で多重化された多重化ストリームを受信した際に共通して生じ得る問題点である。
Here, since the packet identifier of the MMT stream has the same value as described above, the MMT demux unit cannot determine whether the output medium is an audio stream or a video stream. For this reason, it is impossible to determine to which decoder the media separated from the MMT stream should be output. In addition, in MMT, it is possible to reproduce an MMT stream acquired via a communication network such as the Internet together with a stream acquired from a broadcast path. However, if there is no control information, the acquisition destination of the stream to be reproduced together is specified. It is not possible. Such a problem is not limited to the MMT, and may be caused in common when a multiplexed stream is multiplexed by another multiplexing scheme and then multiplexed by another multiplexing scheme. Is a point.
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ある多重化方式で多重化された後、別の多重化方式でさらに多重化された多重化ストリームについて、該多重化ストリームの処理に必要な情報を確実に取得することを可能にする情報処理装置等を提供することにある。
The present invention has been made in view of the above problems, and an object of the present invention is to multiplex a multiplexed stream that has been multiplexed by a certain multiplexing method and then further multiplexed by another multiplexing method. It is to provide an information processing apparatus or the like that makes it possible to reliably acquire information necessary for processing a stream.
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段と、上記第2多重化ストリームからメディアデータを分離する第2分離手段と、上記属性情報に含まれる制御情報を取得して、該制御情報が上記第2分離手段による上記第2多重化ストリームの分離に利用されるように制御する制御手段と、を備えていることを特徴としている。
In order to solve the above-described problem, an information processing apparatus according to an aspect of the present invention uses a first multiplexing scheme in accordance with attribute information received together with a multiplexed stream. First separation means for separating a second multiplexed stream multiplexed by a second multiplexing scheme different from the first multiplexing scheme from the multiplexed first multiplexed stream; and the second multiplexing Second separation means for separating the media data from the stream, and control information included in the attribute information is acquired, and the control information is used for separation of the second multiplexed stream by the second separation means. And a control means for controlling.
また、上記課題を解決するために、本発明の一態様に係る情報処理装置は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段と、多重化ストリームの上記ネットワークとは異なるネットワークからの取得先を示す取得先情報を上記属性情報から取得する制御手段と、上記第1分離手段が分離した上記第2多重化ストリームと、上記取得先情報が示す取得先から取得した第2多重化ストリームとを、当該第2多重化ストリームのそれぞれに含まれるメディアデータが1つのコンテンツとして再生されるように分離する第2分離手段と、を備えていることを特徴としている。
In order to solve the above problem, an information processing apparatus according to an aspect of the present invention provides a first multiplexing scheme according to attribute information received together with a multiplexed stream from a multiplexed stream received via a network. A first separation means for separating a second multiplexed stream multiplexed by a second multiplexing scheme different from the first multiplexing scheme, from the first multiplexed stream multiplexed by the first multiplexing stream; and the multiplexed stream Control means for acquiring acquisition destination information indicating an acquisition destination from a different network from the attribute information, the second multiplexed stream separated by the first separation means, and acquisition indicated by the acquisition destination information The media data contained in each of the second multiplexed streams acquired from the first multiplexed stream is reproduced as one content. It is characterized in that it comprises a second separating means for releasing, the.
また、上記課題を解決するために、本発明の一態様に係る情報処理装置は、ネットワークを介して複数のパッケージを受信し、上記パッケージに含まれる多重化ストリームの受信に必要な制御情報を取得し、上記多重化ストリームの受信開始及び終了を制御するセッション制御手段と、上記多重化ストリームからメディアデータを分離する分離手段と、を備え、上記制御情報は、上記多重化ストリームが複数のパッケージから参照されているか否かを示す被参照情報を含むことを特徴としている。
In order to solve the above problem, an information processing apparatus according to an aspect of the present invention receives a plurality of packages via a network and acquires control information necessary for receiving a multiplexed stream included in the package. And a session control means for controlling the start and end of reception of the multiplexed stream, and a separating means for separating media data from the multiplexed stream, wherein the control information includes the multiplexed stream from a plurality of packages. It is characterized in that it includes reference information indicating whether or not it is referenced.
本発明の一態様によれば、多重化ストリームの処理に必要な制御情報または多重化ストリームの処理に必要な取得先情報を確実に取得できるようにすることができるという効果を奏する。
According to one aspect of the present invention, there is an effect that it is possible to reliably acquire control information necessary for processing a multiplexed stream or acquisition destination information necessary for processing a multiplexed stream.
〔実施形態1〕
以下、本発明の実施の形態について詳細に説明する。まず、本実施形態にかかる情報処理装置1の構成を図1に基づいて説明する。図1は、情報処理装置1の要部構成を示すブロック図である。情報処理装置1は、多重化ストリームを受信して再生する装置であり、図示のように放送受信部20、デマックス部10、通信部30、オーディオデコーダ40、スピーカ60、ビデオデコーダ50、および表示部70を備えている。Embodiment 1
Hereinafter, embodiments of the present invention will be described in detail. First, the configuration of theinformation processing apparatus 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram illustrating a main configuration of the information processing apparatus 1. The information processing apparatus 1 is an apparatus that receives and reproduces a multiplexed stream, and as illustrated, a broadcast receiving unit 20, a demax unit 10, a communication unit 30, an audio decoder 40, a speaker 60, a video decoder 50, and a display unit. 70.
以下、本発明の実施の形態について詳細に説明する。まず、本実施形態にかかる情報処理装置1の構成を図1に基づいて説明する。図1は、情報処理装置1の要部構成を示すブロック図である。情報処理装置1は、多重化ストリームを受信して再生する装置であり、図示のように放送受信部20、デマックス部10、通信部30、オーディオデコーダ40、スピーカ60、ビデオデコーダ50、および表示部70を備えている。
Hereinafter, embodiments of the present invention will be described in detail. First, the configuration of the
放送受信部20は、放送経路で送信される情報を受信する。例えば、放送コンテンツ等が放送受信部20を介して受信される。放送コンテンツは多重化ストリームとして送信されるため、放送受信部20はこの多重化ストリームをデマックス部10に出力して分離させる。
The broadcast receiving unit 20 receives information transmitted through a broadcast route. For example, broadcast content or the like is received via the broadcast receiving unit 20. Since the broadcast content is transmitted as a multiplexed stream, the broadcast receiving unit 20 outputs the multiplexed stream to the demux unit 10 for separation.
デマックス部10は、所定の多重化方式で多重化(マルチプレクス)された多重化ストリームを分離(デマルチプレクス)する。より詳細には、デマックス部10には、TSデマックス部(第1分離手段)11、MMTデマックス部(第2分離手段)13、およびコントローラ(制御手段)12が含まれており、これらの構成によって複数の異なる多重化方式で多重化された多重化ストリームを分離することができるようになっている。
The demultiplexing unit 10 separates (demultiplexes) the multiplexed streams multiplexed (multiplexed) by a predetermined multiplexing method. More specifically, the demax unit 10 includes a TS demax unit (first separation unit) 11, an MMT demax unit (second separation unit) 13, and a controller (control unit) 12. Multiplexed streams multiplexed by a plurality of different multiplexing schemes can be separated.
TSデマックス部11は、多重化ストリームと共に受信したPMT(Program Map Table:属性情報)に従って、MPEG-2 TS(第1の多重化方式)で多重化されたTSパケット(第1多重化ストリーム)から、MMTP(MPEG Media Transport Protocol:第2の多重化方式)で多重化されたMMTPパケット(第2多重化ストリーム)を分離する。また、TSデマックス部11は、TSパケットから上記PMTに従ってビデオストリームまたはオーディオストリームのパケット(A/V Elementary Stream:メディアデータ)を分離し、分離されたメディアの種別に応じてオーディオデコーダ40またはビデオデコーダ50に出力する。なお、TSデマックス部11ではMMTPパケットからメディア(Media Processing Unit:MPU:メディアデータ)を分離する(MMTPパケットをデマルチプレクスする)ことはできないため、MMTPパケットはMMTデマックス部13に出力する。また、TSデマックス部11は、PMTをコントローラ12に出力する。詳細は後述するが、これらの分離は、受信した多重化ストリームを構成する各パケットのパケット識別子(PID)を参照することで行われる。
The TS demux unit 11 uses a TS packet (first multiplexed stream) multiplexed by MPEG-2 TS (first multiplexing method) according to a PMT (Program Map Table: attribute information) received together with the multiplexed stream. The MMTP packet (second multiplexed stream) multiplexed by MMTP (MPEG Media Transport Protocol: second multiplexing method) is separated. Also, the TS demax unit 11 separates a video stream or audio stream packet (A / V Elementary Stream) from the TS packet according to the PMT, and the audio decoder 40 or the video decoder according to the type of the separated media. Output to 50. Since the TS demax unit 11 cannot separate media (Media Processing Unit: MPU: media data) from the MMTP packet (demultiplex the MMTP packet), the MMTP packet is output to the MMT demax unit 13. Further, the TS demax unit 11 outputs the PMT to the controller 12. Although details will be described later, the separation is performed by referring to the packet identifier (PID) of each packet constituting the received multiplexed stream.
コントローラ12は、PMTに含まれる制御情報(signaling message)を取得してMMTデマックス部13に出力する。詳細は後述するが、制御情報は、MMTPパケットの分離に必要な情報であり、この制御情報をMMTデマックス部13に出力することにより、MMTデマックス部13に確実に制御情報に基づいた分離処理を行わせることが可能になる。
The controller 12 acquires the control information (signaling message) included in the PMT and outputs it to the MMT demax unit 13. Although details will be described later, the control information is information necessary for separation of the MMTP packet, and by outputting this control information to the MMT demax unit 13, the MMT demax unit 13 is surely subjected to the separation process based on the control information. It becomes possible to do.
MMTデマックス部13は、MMTPパケットからメディアを分離し、分離されたメディアの種別に応じてオーディオデコーダ40またはビデオデコーダ50に出力する。また、MMTデマックス部13は、通信部30を介してMMTPパケットを取得することもできる。これにより、放送受信部20を介して受信した放送コンテンツと、通信部30を介して受信した通信コンテンツを組み合わせて再生することも可能になる。
The MMT demax unit 13 separates the media from the MMTP packet, and outputs the media to the audio decoder 40 or the video decoder 50 according to the type of the separated media. Further, the MMT demux unit 13 can also obtain an MMTP packet via the communication unit 30. Thereby, the broadcast content received via the broadcast receiving unit 20 and the communication content received via the communication unit 30 can be combined and reproduced.
通信部30は、情報処理装置1が外部の装置と通信ネットワークを介して通信するためのものであり、通信経路でのコンテンツ(多重化ストリーム)の取得に用いられる。
The communication unit 30 is for the information processing device 1 to communicate with an external device via a communication network, and is used for acquiring content (multiplexed stream) on a communication path.
オーディオデコーダ40は、TSデマックス部11またはMMTデマックス部13から出力された音声のメディアをデコードし、音声を出力する装置であるスピーカ60に出力する。これにより、スピーカ60から上記メディアに対応する音声が出力される。
The audio decoder 40 decodes the audio media output from the TS demax unit 11 or the MMT demax unit 13 and outputs the decoded media to the speaker 60 which is a device that outputs audio. Thereby, the sound corresponding to the media is output from the speaker 60.
ビデオデコーダ50は、TSデマックス部11またはMMTデマックス部13から出力された画像のメディアをデコードし、画像を表示する装置である表示部70に出力する。これにより、表示部70から上記メディアに対応する画像が表示される。なお、スピーカ60および表示部70は情報処理装置1に外付けされた外部の装置であってもよい。
The video decoder 50 decodes the media of the image output from the TS demax unit 11 or the MMT demax unit 13 and outputs it to the display unit 70 which is a device for displaying an image. As a result, an image corresponding to the medium is displayed from the display unit 70. Note that the speaker 60 and the display unit 70 may be external devices attached to the information processing apparatus 1.
〔プロトコルスタック〕
ここで、本実施形態において想定しているプロトコルスタックについて図2に基づいて説明する。図2は、情報処理装置1で使用されるプロトコルを示すプロトコルスタックの一例を示す図である。なお、本発明と関連性の低い部分の説明は省略する。 〔Protocol stack〕
Here, the protocol stack assumed in this embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a protocol stack indicating protocols used in theinformation processing apparatus 1. Note that descriptions of parts that are not related to the present invention are omitted.
ここで、本実施形態において想定しているプロトコルスタックについて図2に基づいて説明する。図2は、情報処理装置1で使用されるプロトコルを示すプロトコルスタックの一例を示す図である。なお、本発明と関連性の低い部分の説明は省略する。 〔Protocol stack〕
Here, the protocol stack assumed in this embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating an example of a protocol stack indicating protocols used in the
図示のように、最下層である物理層(PHY)は、放送と通信の2つに分かれている。そして、放送のベースとなる層はTS(MPEG-2 TS)であり、通信のベースとなる層はIPである。放送では、従来のMPEG-2 TSと同様にPSI(Program Specific Information)/SI(Service Information)と、オーディオ/ビデオのES(Elementary Stream)とが送信されると共に、MMTに関するデータも送信される。なお、MMTに関するデータのみを送信してもよい。
As shown in the figure, the lowermost physical layer (PHY) is divided into two parts, broadcasting and communication. A layer serving as a base for broadcasting is TS (MPEG-2 TS), and a layer serving as a base for communication is IP. In broadcasting, PSI (Program Specific Information) / SI (Service Information) and audio / video ES (Elementary Stream) are transmitted as well as conventional MPEG-2 TS, and data related to MMT is also transmitted. Only data related to MMT may be transmitted.
同図では、MMTで規定される部分を破線で囲んでいる。図示のように、MMTは、放送および通信の双方で利用できる。また、MMTでは、制御情報(signaling message)およびメディア(MPU)は、MMTペイロード(MMT Payload)にカプセル化され、さらに複数のMMTペイロードを多重化してMMTPパケット列を構成する。
In the figure, the part specified by MMT is surrounded by a broken line. As shown, the MMT can be used for both broadcasting and communication. In MMT, control information (signaling message) and media (MPU) are encapsulated in an MMT payload (MMT Payload), and a plurality of MMT payloads are multiplexed to form an MMTP packet sequence.
〔動作例〕
ここで、再度図1を参照して、情報処理装置1の動作例を説明する。まず、放送受信部20がTSパケットを受信して、TSデマックス部11に出力する。ここでは、PAT(Program Association Table)、PMT、MMTストリーム(ビデオを含む)、およびMMTストリーム(オーディオを含む)のTSパケットをこの順序で受信したとする。PMTには制御情報(signaling message)が含まれており、この制御情報を同図では「S」の文字で示している。 [Operation example]
Here, with reference to FIG. 1 again, an operation example of theinformation processing apparatus 1 will be described. First, the broadcast receiving unit 20 receives a TS packet and outputs it to the TS demax unit 11. Here, it is assumed that TS packets of PAT (Program Association Table), PMT, MMT stream (including video), and MMT stream (including audio) are received in this order. The PMT includes control information (signaling message), which is indicated by the letter “S” in the figure.
ここで、再度図1を参照して、情報処理装置1の動作例を説明する。まず、放送受信部20がTSパケットを受信して、TSデマックス部11に出力する。ここでは、PAT(Program Association Table)、PMT、MMTストリーム(ビデオを含む)、およびMMTストリーム(オーディオを含む)のTSパケットをこの順序で受信したとする。PMTには制御情報(signaling message)が含まれており、この制御情報を同図では「S」の文字で示している。 [Operation example]
Here, with reference to FIG. 1 again, an operation example of the
次に、TSデマックス部11は、受信したTSパケットに含まれるPATならびにPMT、および各TSパケットのパケット識別子を参照して、TSパケットを分離する。具体的には、PMTには、パケット識別子(PID)とパケットに含まれるデータの属性との対応関係が記述されているので、これに従って分離を行う。本例では、受信したTSパケットから分離したPMTをコントローラ12に出力し、2つのMMTストリームをMMTデマックス部13に出力する。なお、MMTで多重化されていない(従来と同様の)ビデオストリームまたはオーディオストリームのTSパケットを受信した場合には、該TSパケットからメディア(オーディオストリームまたはビデオストリーム)を分離して、メディアの種別に応じてオーディオデコーダ40またはビデオデコーダ50に出力する。
Next, the TS demax unit 11 refers to the PAT and PMT included in the received TS packet, and the packet identifier of each TS packet, and separates the TS packet. Specifically, the correspondence between the packet identifier (PID) and the attribute of the data included in the packet is described in the PMT, and separation is performed according to this. In this example, the PMT separated from the received TS packet is output to the controller 12, and two MMT streams are output to the MMT demax unit 13. When a TS packet of a video stream or an audio stream that is not multiplexed by MMT (similar to the prior art) is received, the media (audio stream or video stream) is separated from the TS packet, and the media type is separated. In response to this, the data is output to the audio decoder 40 or the video decoder 50.
なお、コントローラ12に送信する情報は、コントローラ12が制御情報(signaling message)を取得できるような情報であればよく、PMTに限られない。例えば、PMT自体を送信する代わりに、PMT内のMMTストリームに関連付けられたdescriptor()を通知してもよい。また、descriptor()には、制御情報が直接含まれていてもよいし、制御情報の取得先を示す情報(location)が含まれていてもよい。取得先を示す情報が含まれている場合、コントローラ12は、この情報を用いて制御情報を取得する。
In addition, the information transmitted to the controller 12 may be information that allows the controller 12 to acquire control information (signaling message), and is not limited to the PMT. For example, instead of transmitting the PMT itself, the descriptor () associated with the MMT stream in the PMT may be notified. Further, descriptor () may include control information directly, or may include information (location) indicating an acquisition destination of control information. When the information indicating the acquisition destination is included, the controller 12 acquires control information using this information.
そして、コントローラ12は、PMTまたはdescriptor()から抽出した制御情報、あるいはdescriptor()に含まれるlocationに基づき外部から取得した制御情報を任意のフォーマットでMMTデマックス部13に出力する。この制御情報が入力されることにより、MMTデマックス部13は、TSデマックス部11から受信したMMTストリームのパケット(MMTPパケット)を分離することが可能になる。例えば、制御情報からビデオストリームのMMTPパケットであることが判明したMMTPパケットから分離したメディアはビデオデコーダ50に送信し、オーディオストリームのパケットであることが判明したパケットから分離したメディアはオーディオデコーダ40に送信することを決定することができる。
Then, the controller 12 outputs the control information extracted from the PMT or descriptor () or the control information acquired from the outside based on the location included in the descriptor () to the MMT demax unit 13 in an arbitrary format. By inputting this control information, the MMT demax unit 13 can separate the MMT stream packet (MMTP packet) received from the TS demax unit 11. For example, the media separated from the MMTP packet that is found to be a video stream MMTP packet from the control information is transmitted to the video decoder 50, and the media separated from the packet that is found to be an audio stream packet is sent to the audio decoder 40. You can decide to send.
以上のように、情報処理装置1では、PMTに基づいてTSデマックス部11がTSパケットの分離を行い、さらにPMTから取得した制御情報に基づいてMMTデマックス部13がMMTPパケットの分離を行う。このように、情報処理装置1は、制御情報を含むあるいは制御情報を取得するための情報を含むPMTを用い、制御情報をMMTデマックス部13に入力するので、MMTPパケット群に含まれる各メディアを適切に分離することができる。
As described above, in the information processing apparatus 1, the TS demax unit 11 separates TS packets based on the PMT, and the MMT demax unit 13 separates MMTP packets based on the control information acquired from the PMT. As described above, the information processing apparatus 1 uses the PMT including the control information or the information for acquiring the control information, and inputs the control information to the MMT demux unit 13, so that each medium included in the MMTP packet group is stored. It can be properly separated.
〔descriptor()の例〕
続いて、上述のdescriptor()の例を図3に基づいて説明する。図3は、descriptor()のデータ構造の一例を示す図である。図示のMMT_descriptor()には、descriptorの種別(MMT_descriptor()であること)を示す情報(descriptor_tag)、descriptorの長さの情報(descriptor_length)、およびMPT(MMT Package Table)の存否を示す情報(mpt_present_flag)が含まれている。なお、MPTに上述の制御情報(signaling message)が含まれている。 [Example of descriptor ()]
Next, an example of the above-described descriptor () will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of the data structure of descriptor (). In the illustrated MMT_descriptor (), information (descriptor_tag) indicating the type of descriptor (MMT_descriptor ()), information on the length of the descriptor (descriptor_length), and information indicating whether or not an MPT (MMT Package Table) exists (mpt_present_flag) )It is included. The MPT includes the control information (signaling message) described above.
続いて、上述のdescriptor()の例を図3に基づいて説明する。図3は、descriptor()のデータ構造の一例を示す図である。図示のMMT_descriptor()には、descriptorの種別(MMT_descriptor()であること)を示す情報(descriptor_tag)、descriptorの長さの情報(descriptor_length)、およびMPT(MMT Package Table)の存否を示す情報(mpt_present_flag)が含まれている。なお、MPTに上述の制御情報(signaling message)が含まれている。 [Example of descriptor ()]
Next, an example of the above-described descriptor () will be described with reference to FIG. FIG. 3 is a diagram illustrating an example of the data structure of descriptor (). In the illustrated MMT_descriptor (), information (descriptor_tag) indicating the type of descriptor (MMT_descriptor ()), information on the length of the descriptor (descriptor_length), and information indicating whether or not an MPT (MMT Package Table) exists (mpt_present_flag) )It is included. The MPT includes the control information (signaling message) described above.
また、図示のMMT_descriptor()には、mpt_present_flagの値が‘1’の場合には、図4に示すデータ構造MPT()が続き、‘0’の場合には、図5に示すデータ構造MMT_general_location_info()(ただし、location_typeは0x05とする)が続く。MMT_general_location_info()には、制御情報の取得先を示すURLが記述されている。
4 is followed by the data structure MPT () shown in FIG. 4 when the value of mpt_present_flag is “1”, and the data structure MMT_general_location_info () shown in FIG. 5 when it is “0”. ) (Where location_type is 0x05). MMT_general_location_info () describes a URL indicating the acquisition destination of control information.
〔MPTの例〕
次に、MPTの例を図4に基づいて説明する。図4は、MPTのデータ構造の一例を示す図である。図示のように、MPTには、メディア種別(type)を示す情報である“mime_type”が含まれていると共に、メディアの取得先(location)を特定するための“MMT_general_location_info()”が含まれている。なお、“MMT_general_location_info()”は、例えば放送経路を介した取得先と通信経路を介した取得先のように、1つのメディアに対して複数の取得先を対応付けるものであってもよい。 [MPT example]
Next, an example of MPT will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of the data structure of MPT. As shown in the figure, the MPT includes “mime_type” that is information indicating the media type (type), and includes “MMT_general_location_info ()” for specifying the acquisition destination (location) of the media. Yes. Note that “MMT_general_location_info ()” may associate a plurality of acquisition destinations with one medium, such as an acquisition destination via a broadcast path and an acquisition destination via a communication path.
次に、MPTの例を図4に基づいて説明する。図4は、MPTのデータ構造の一例を示す図である。図示のように、MPTには、メディア種別(type)を示す情報である“mime_type”が含まれていると共に、メディアの取得先(location)を特定するための“MMT_general_location_info()”が含まれている。なお、“MMT_general_location_info()”は、例えば放送経路を介した取得先と通信経路を介した取得先のように、1つのメディアに対して複数の取得先を対応付けるものであってもよい。 [MPT example]
Next, an example of MPT will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of the data structure of MPT. As shown in the figure, the MPT includes “mime_type” that is information indicating the media type (type), and includes “MMT_general_location_info ()” for specifying the acquisition destination (location) of the media. Yes. Note that “MMT_general_location_info ()” may associate a plurality of acquisition destinations with one medium, such as an acquisition destination via a broadcast path and an acquisition destination via a communication path.
〔MMT_general_location_info()の例〕
続いて、MMT_general_location_info()の例を図5に基づいて説明する。図5は、MMT_general_location_info()のデータ構造の一例を示す図である。図示のように、MMT_general_location_info()では、複数のプロトコルに対応した取得先が記述できるようになっている。具体的には、MMTストリームのパケットIDで示される取得先(location_type==0x00)の他、UDP/IPによる通信ネットワークを介した取得先(location_type==0x01)、MPEG-2 TSベースの放送ネットワークを介した取得先(location_type==0x03)、およびHHTP等による通信ネットワークを介した取得先(location_type==0x05)を記述することができる。 [Example of MMT_general_location_info ()]
Next, an example of MMT_general_location_info () will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of a data structure of MMT_general_location_info (). As shown in the drawing, MMT_general_location_info () can describe acquisition sources corresponding to a plurality of protocols. Specifically, in addition to the acquisition destination (location_type == 0x00) indicated by the packet ID of the MMT stream, the acquisition destination (location_type == 0x01) via a UDP / IP communication network, an MPEG-2 TS-based broadcast network And the acquisition destination (location_type == 0x05) via a communication network such as HHTP can be described.
続いて、MMT_general_location_info()の例を図5に基づいて説明する。図5は、MMT_general_location_info()のデータ構造の一例を示す図である。図示のように、MMT_general_location_info()では、複数のプロトコルに対応した取得先が記述できるようになっている。具体的には、MMTストリームのパケットIDで示される取得先(location_type==0x00)の他、UDP/IPによる通信ネットワークを介した取得先(location_type==0x01)、MPEG-2 TSベースの放送ネットワークを介した取得先(location_type==0x03)、およびHHTP等による通信ネットワークを介した取得先(location_type==0x05)を記述することができる。 [Example of MMT_general_location_info ()]
Next, an example of MMT_general_location_info () will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of a data structure of MMT_general_location_info (). As shown in the drawing, MMT_general_location_info () can describe acquisition sources corresponding to a plurality of protocols. Specifically, in addition to the acquisition destination (location_type == 0x00) indicated by the packet ID of the MMT stream, the acquisition destination (location_type == 0x01) via a UDP / IP communication network, an MPEG-2 TS-based broadcast network And the acquisition destination (location_type == 0x05) via a communication network such as HHTP can be described.
〔パケットIDで取得先を特定する例〕
パケットIDで取得先を特定する例を図6に基づいて説明する。図6は、MMTPパケットと、該MMTPパケットのメディア種別を示すMPTの一例を示す図である。同図の(a)に示すように、各MMTPパケットには、パケットIDが付与されており、このパケットIDはそのメディア種別に応じた値となっている。つまり、同じIDのパケットには、同じ種別のメディアが含まれている。 [Example of specifying acquisition destination by packet ID]
An example of specifying the acquisition source by the packet ID will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of an MMTP packet and an MPT indicating a media type of the MMTP packet. As shown in FIG. 5A, each MMTP packet is assigned a packet ID, and this packet ID is a value corresponding to the media type. That is, the same type of media is included in packets having the same ID.
パケットIDで取得先を特定する例を図6に基づいて説明する。図6は、MMTPパケットと、該MMTPパケットのメディア種別を示すMPTの一例を示す図である。同図の(a)に示すように、各MMTPパケットには、パケットIDが付与されており、このパケットIDはそのメディア種別に応じた値となっている。つまり、同じIDのパケットには、同じ種別のメディアが含まれている。 [Example of specifying acquisition destination by packet ID]
An example of specifying the acquisition source by the packet ID will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of an MMTP packet and an MPT indicating a media type of the MMTP packet. As shown in FIG. 5A, each MMTP packet is assigned a packet ID, and this packet ID is a value corresponding to the media type. That is, the same type of media is included in packets having the same ID.
そして、同図の(b)に示すように、MPTでは、パッケージを構成する複数のアセットのIDが設定されており、各アセットのメディア種別(type)と、その取得先(location)が記述されている。具体的には、アセット(asset)♯1では、メディア種別“avc1”(ビデオストリーム)の取得先が“packet_id=1”であることが記述されている。この記述によって、“avc1”(ビデオストリーム)を取得する場合には、同図(a)のMMTPパケットのうち、パケットIDが1のパケットをデマルチプレクスすればよいことが特定できる。アセット♯2についても同様に、メディア種別“mp4a”(オーディオストリーム)の取得先が“packet_id=2”、つまりパケットIDが2のMMTPパケットであると特定できる。
As shown in (b) of the figure, in the MPT, IDs of a plurality of assets constituting the package are set, and the media type (type) of each asset and the acquisition destination (location) are described. ing. Specifically, asset (asset) # 1 describes that the acquisition destination of media type “avc1” (video stream) is “packet_id = 1”. According to this description, it is possible to specify that when acquiring “avc1” (video stream), it is only necessary to demultiplex a packet having a packet ID of 1 among the MMTP packets in FIG. Similarly, for asset # 2, it can be specified that the acquisition destination of the media type “mp4a” (audio stream) is “packet_id = 2”, that is, an MMTP packet with a packet ID of 2.
なお、この例のようにlocationとしてパケットIDを用いるのは、MMT_general_location_info()のlocation_typeの値が0x00の場合であり、MPTに記述されるlocationは、location_typeの値に応じたものとなる。例えば、location_typeの値が0x05の場合には、“http://www.example.com/audio.mp4”等、その種別のメディアを取得するためのURLがlocationとして記述される。
Note that the packet ID is used as the location as in this example when the value of location_type of MMT_general_location_info () is 0x00, and the location described in the MPT corresponds to the value of location_type. For example, when the value of location_type is 0x05, a URL for acquiring the type of media such as “http://www.example.com/audio.mp4” is described as location.
このように、MPTを参照することによって、MMTPパケットのメディア種別を特定することができる。よって、MMTデマックス部13にMPTを含む制御情報を入力することによって、MMTPパケットを適切に分離することができる。すなわち、オーディオストリームのMMTPパケットはオーディオデコーダ40に出力し、ビデオストリームのMMTPパケットはビデオデコーダ50に出力することができる。
Thus, the media type of the MMTP packet can be specified by referring to the MPT. Therefore, the MMTP packet can be appropriately separated by inputting control information including MPT to the MMT demux unit 13. That is, the MMTP packet of the audio stream can be output to the audio decoder 40, and the MMTP packet of the video stream can be output to the video decoder 50.
〔分離処理の流れ〕
最後に、情報処理装置1が実行する分離処理(情報処理装置の制御方法)の流れを図7に基づいて説明する。図7は、分離処理の一例を示すフローチャートである。まず、TSデマックス部11は、受信した複数のTSパケットのうちPID=0のTSパケットからPATを抽出し、PATに定義されているPMTのPID値に基づきPMTを抽出する(S1)。次に、TSデマックス部11は、抽出したPMTをコントローラ12に出力する(S2)。続いて、TSデマックス部11は、抽出したPMTで定義されているメディア種別ごとのPIDと、各TSパケットのPIDとを比較して、TSパケットがMMTストリーム(MMTPパケットを含むTSパケット)か否かを判定する(S3、第1分離ステップ)。 [Flow of separation process]
Finally, the flow of separation processing (information processing apparatus control method) executed by theinformation processing apparatus 1 will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of the separation process. First, the TS demax unit 11 extracts a PAT from a TS packet with PID = 0 among a plurality of received TS packets, and extracts a PMT based on the PID value of the PMT defined in the PAT (S1). Next, the TS demax unit 11 outputs the extracted PMT to the controller 12 (S2). Subsequently, the TS demux unit 11 compares the PID for each media type defined in the extracted PMT with the PID of each TS packet, and determines whether or not the TS packet is an MMT stream (TS packet including an MMTP packet). (S3, first separation step).
最後に、情報処理装置1が実行する分離処理(情報処理装置の制御方法)の流れを図7に基づいて説明する。図7は、分離処理の一例を示すフローチャートである。まず、TSデマックス部11は、受信した複数のTSパケットのうちPID=0のTSパケットからPATを抽出し、PATに定義されているPMTのPID値に基づきPMTを抽出する(S1)。次に、TSデマックス部11は、抽出したPMTをコントローラ12に出力する(S2)。続いて、TSデマックス部11は、抽出したPMTで定義されているメディア種別ごとのPIDと、各TSパケットのPIDとを比較して、TSパケットがMMTストリーム(MMTPパケットを含むTSパケット)か否かを判定する(S3、第1分離ステップ)。 [Flow of separation process]
Finally, the flow of separation processing (information processing apparatus control method) executed by the
MMTストリームの場合(S3でYES)、TSデマックス部11は、当該TSパケットから分離したMMTPパケットをMMTデマックス部13に出力する(S4)。
In the case of the MMT stream (YES in S3), the TS demax unit 11 outputs the MMTP packet separated from the TS packet to the MMT demax unit 13 (S4).
次に、コントローラ12は、出力されたPMTから制御情報(signaling message)を取得してMMTデマックス部13に出力する(S5、制御ステップ)。上述のように、制御情報は、PMTに含まれていてもよいし、PMTに記述された取得先から取得してもよい。そして、制御情報を受信したMMTデマックス部13は、この制御情報に基づいてS4で出力されたMMTPパケットを分離する(S6、第2分離ステップ)。
Next, the controller 12 acquires control information (signaling message) from the output PMT and outputs it to the MMT demax unit 13 (S5, control step). As described above, the control information may be included in the PMT, or may be acquired from an acquisition destination described in the PMT. Then, the MMT demax unit 13 that has received the control information separates the MMTP packet output in S4 based on this control information (S6, second separation step).
そして、引き続きTSパケットを受信する場合(S7でYES)はS3の処理に戻り、そうでない場合(S7でNO)は分離処理を終了する。
If the TS packet is continuously received (YES in S7), the process returns to S3. If not (NO in S7), the separation process is terminated.
また、S3においてMMTストリームでない場合(S3でNO)、TSデマックス部11は、TSパケットをメディア種別に応じて分離する(S8)。具体的には、オーディオストリームの場合、当該TSパケットから分離したオーディオストリームをオーディオデコーダ40に出力し、同様にビデオストリームの場合、当該TSパケットから分離したビデオストリームをビデオデコーダ50に出力する。
If it is not an MMT stream in S3 (NO in S3), the TS demax unit 11 separates TS packets according to the media type (S8). Specifically, in the case of an audio stream, the audio stream separated from the TS packet is output to the audio decoder 40. Similarly, in the case of a video stream, the video stream separated from the TS packet is output to the video decoder 50.
〔実施形態2〕
本発明の他の実施形態について、図8に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 2]
The following will describe another embodiment of the present invention with reference to FIG. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本発明の他の実施形態について、図8に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 2]
The following will describe another embodiment of the present invention with reference to FIG. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
まず、本実施形態の情報処理装置100の構成を図8に基づいて説明する。図8は、情報処理装置100の要部構成を示すブロック図である。なお、デマックス部110以外の構成は情報処理装置1と同様であるから、デマックス部110およびその周囲の構成以外の図示は省略している。
First, the configuration of the information processing apparatus 100 according to the present embodiment will be described with reference to FIG. FIG. 8 is a block diagram illustrating a main configuration of the information processing apparatus 100. Since the configuration other than the demax unit 110 is the same as that of the information processing apparatus 1, illustrations other than the demax unit 110 and the surrounding configuration are omitted.
図示のように、情報処理装置100のデマックス部110には、TSデマックス部(第1分離手段)111と、コントローラ(制御手段)112と、リマックス部(再多重化手段)114と、MMTデマックス部(第2分離手段)113とが含まれる。
As illustrated, the demax unit 110 of the information processing apparatus 100 includes a TS demax unit (first separation unit) 111, a controller (control unit) 112, a remax unit (remultiplexing unit) 114, and an MMT demax unit. (Second separation means) 113.
TSデマックス部111は、上記実施形態のTSデマックス部11と同様に、受信したTSパケットの分離を行う。具体的には、PMTから特定されたメディア種別がオーディオストリームであるTSパケットから分離したオーディオストリームをオーディオデコーダ40に出力する。メディア種別がビデオストリームであるTSパケットも同様に処理する。また、メディア種別がMMTストリームであるTSパケットからMMTストリームを含むMMTPパケットを分離してリマックス部114に出力する。さらに、TSデマックス部111は、PMTをコントローラ112に出力する。
The TS demax unit 111 separates the received TS packets in the same manner as the TS demax unit 11 of the above embodiment. Specifically, the audio stream separated from the TS packet whose media type specified from the PMT is an audio stream is output to the audio decoder 40. TS packets whose media type is a video stream are processed in the same way. Further, the MMTP packet including the MMT stream is separated from the TS packet whose media type is the MMT stream, and is output to the remax unit 114. Further, the TS demax unit 111 outputs the PMT to the controller 112.
コントローラ112は、PMTから取得した制御情報(signaling message)をMMTPパケットとしてリマックス部114に出力する。つまり、コントローラ112は、出力するデータの形式がMMTPパケットである点、および出力先がリマックス部114である点で上記実施形態のコントローラ12と相違している。なお、制御情報をMMTPパケット化するために必要なパケット化情報は、制御情報と同じくPMT内に記述してもよいし、パケット化情報の取得先をPMT内に記述してもよい。また、PMTに制御情報の取得先が記述されている場合、該取得先から取得した制御情報をMMTPパケット化してリマックス部114に出力する。
The controller 112 outputs the control information (signaling message) acquired from the PMT to the remax unit 114 as an MMTP packet. That is, the controller 112 is different from the controller 12 of the above-described embodiment in that the data format to be output is an MMTP packet and the output destination is the remax unit 114. Note that the packetization information necessary for converting the control information into an MMTP packet may be described in the PMT as in the control information, or the acquisition destination of the packetization information may be described in the PMT. If the acquisition destination of the control information is described in the PMT, the control information acquired from the acquisition destination is converted into an MMTP packet and output to the remax unit 114.
リマックス部114は、コントローラ112から出力される、制御情報を含むMMTPパケットと、TSデマックス部111から出力されるMMTPパケットとを多重化してMMTデマックス部113に出力する。なお、多重化は、制御情報を含むMMTPパケットが、この制御情報を用いて解析するMMTPパケット(TSデマックス部111から受信したMMTPパケット)よりも先にMMTデマックス部113に受信される順序となるように行うことが望ましい。
The remax unit 114 multiplexes the MMTP packet including the control information output from the controller 112 and the MMTP packet output from the TS demax unit 111, and outputs the multiplexed result to the MMT demax unit 113. Multiplexing is in the order in which the MMTP packet including the control information is received by the MMT demax unit 113 prior to the MMTP packet (MMTP packet received from the TS demax unit 111) analyzed using this control information. It is desirable to do so.
MMTデマックス部113は、多重化されたMMTPパケットから制御情報を取得し、この制御情報を用いて各MMTPパケットを分離する。なお、MMTデマックス部113には、リマックス部114以外からMMTPパケットを入力してもよい。例えば、図示しない通信部30を介して通信経路で取得したMMTPパケットを入力し、リマックス部114から入力されたMMTPパケットのストリームと共に、あるいは該ストリームの代わりにビデオデコーダ50またはオーディオデコーダ40に出力して再生してもよい。
The MMT demax unit 113 acquires control information from the multiplexed MMTP packet, and separates each MMTP packet using this control information. Note that the MMTP packet may be input to the MMT demax unit 113 from other than the remax unit 114. For example, an MMTP packet acquired through a communication path via a communication unit 30 (not shown) is input, and output to the video decoder 50 or the audio decoder 40 together with or instead of the stream of the MMTP packet input from the remax unit 114. May be played.
以上のように、制御情報をMMTPパケットとし、他のMMTPパケットと多重化した状態でMMTデマックス部113に供給する構成としても、上記実施形態と同様に、制御情報に基づいて各MMTPパケットをスムーズに分離することができる。
As described above, even when the control information is an MMTP packet and is supplied to the MMT demux unit 113 while being multiplexed with other MMTP packets, each MMTP packet is smoothly transmitted based on the control information as in the above embodiment. Can be separated.
〔実施形態3〕
本発明のさらに他の実施形態について、図9および図10に基づいて説明すれば以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 3]
The following will describe still another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本発明のさらに他の実施形態について、図9および図10に基づいて説明すれば以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 3]
The following will describe still another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
まず、本実施形態の情報処理装置200の構成を図9に基づいて説明する。図9は、情報処理装置200の要部構成を示すブロック図である。なお、デマックス部210以外の構成は情報処理装置1と同様であるから、デマックス部210およびその周囲の構成以外の図示は省略している。
First, the configuration of the information processing apparatus 200 of this embodiment will be described with reference to FIG. FIG. 9 is a block diagram illustrating a main configuration of the information processing apparatus 200. Since the configuration other than the demax unit 210 is the same as that of the information processing apparatus 1, illustrations other than the demax unit 210 and the surrounding configuration are omitted.
図示のように、情報処理装置200のデマックス部210には、TSデマックス部(第1分離手段)111と、コントローラ(制御手段)212と、リマックス部(配列手段)214と、MMTデマックス部(第2分離手段)113とが含まれる。
As illustrated, the demax unit 210 of the information processing apparatus 200 includes a TS demax unit (first separation unit) 111, a controller (control unit) 212, a remax unit (arrangement unit) 214, and an MMT demax unit (first unit). 2 separation means) 113.
また、TSデマックス部111が受信するパケットには、制御情報(分離情報)を含むMMTPパケット(図中「S」が記載されたパケット)が含まれている。このパケットはMMTPパケットであるから、他のMMTPパケット共にリマックス部214に出力される。この制御情報を含むTSパケットは、所定周期毎に挿入されており、オーディオストリーム等のようなメディアのパケットとは異なるパケット識別子が割り当てられている。なお、制御情報を含むTSパケットのパケット識別子は、ビデオやオーディオを含むMMTストリームのTSパケットのパケット識別子と同じであってもよいし、異なっていてもよい。
Also, the packet received by the TS demax unit 111 includes an MMTP packet (packet with “S” in the figure) including control information (separation information). Since this packet is an MMTP packet, it is output to the remax unit 214 together with other MMTP packets. TS packets including this control information are inserted at predetermined intervals, and assigned packet identifiers different from media packets such as audio streams. Note that the packet identifier of the TS packet including the control information may be the same as or different from the packet identifier of the TS packet of the MMT stream including video and audio.
そして、TSデマックス部111がコントローラ212に出力するパケットには、制御情報(signaling message)の伝送に関わるヒント(図中「H」で示す情報)が含まれている。具体的には、上記のヒントは、制御情報を含むTSパケットの挿入間隔を例えばmsec単位等で示す情報である。なお、ヒントはPMTに記述されていてもよいし、descriptor()によって外部からの取得先が記述されてもよい。このようなヒントも、MMTPパケットの分離に関して有用な情報であり、制御情報の一種であると言える。
The packet output from the TS demax unit 111 to the controller 212 includes a hint (information indicated by “H” in the figure) related to transmission of control information (signaling message). Specifically, the hint is information indicating an insertion interval of TS packets including control information in units of msec, for example. The hint may be described in the PMT, or the acquisition source from the outside may be described by descriptor (). Such a hint is also useful information regarding separation of MMTP packets, and can be said to be a kind of control information.
コントローラ212は、PMTから取得したヒントが示す最大挿入間隔から、パケットの並べ替え処理に必要なバッファ量を算出してリマックス部214に通知する。なお、パケットの並べ替え処理とは、TSデマックス部111から受信したMMTPパケットのうち、制御情報を参照した上で分離するものよりも、制御情報を含むものの方が先にMMTデマックス部113に受信されるように、MMTPパケットの順序を変更する処理である。
The controller 212 calculates a buffer amount necessary for packet rearrangement processing from the maximum insertion interval indicated by the hint acquired from the PMT, and notifies the remax unit 214 of the buffer amount. Note that the packet rearrangement process means that, among the MMTP packets received from the TS demax unit 111, those that contain control information are received by the MMT demax unit 113 earlier than those that are separated after referring to the control information. As described above, this is a process of changing the order of MMTP packets.
リマックス部214は、コントローラ212から通知された量のバッファにTSデマックス部111から受信したMMTPパケットを格納し、上記の並べ替え処理を行った上で再度多重化し、MMTデマックス部113に出力する。これにより、MMTデマックス部113は、先に受信したMMTPパケットに含まれる制御情報を参照した上で、後続のMMTPパケットの分離を行うことができる。したがって、制御情報が受信されていない状態でビデオやオーディオを含むMMTPパケットを受信することによって該MMTPパケットを破棄するといった事象の発生を防ぐことができる。そして、上記のヒントは多重化ストリームの処理に必要な情報であると言える。
The remax unit 214 stores the MMTP packet received from the TS demax unit 111 in the buffer of the amount notified from the controller 212, performs the above reordering process, multiplexes again, and outputs it to the MMT demax unit 113. Thereby, the MMT demax unit 113 can separate subsequent MMTP packets after referring to the control information included in the previously received MMTP packet. Therefore, it is possible to prevent the occurrence of an event such as discarding the MMTP packet by receiving the MMTP packet including video and audio in a state where the control information is not received. The above hint can be said to be information necessary for processing a multiplexed stream.
〔descriptor()を用いたヒントの参照〕
続いて、descriptor()を用いてヒントを参照する例を図10に基づいて説明する。図10は、descriptor()を用いてヒントを参照する例を説明する図である。同図の(a)に記載のMMT_descriptor()には、制御情報(signaling message)の伝送に関わるヒントの存否を示す情報(signaling_message_hint_present_flag)が含まれている。また、signaling_message_hint_present_flagの値が‘1’の場合には、同図(b)に示すデータ構造signaling_message_hint()が続く。 [Refer to hint using descriptor ()]
Next, an example of referring to a hint using descriptor () will be described with reference to FIG. FIG. 10 is a diagram for explaining an example of referring to a hint using descriptor (). The MMT_descriptor () described in (a) of the figure includes information (signaling_message_hint_present_flag) indicating the presence / absence of a hint related to transmission of control information (signaling message). When the value of signaling_message_hint_present_flag is “1”, the data structure signaling_message_hint () shown in FIG.
続いて、descriptor()を用いてヒントを参照する例を図10に基づいて説明する。図10は、descriptor()を用いてヒントを参照する例を説明する図である。同図の(a)に記載のMMT_descriptor()には、制御情報(signaling message)の伝送に関わるヒントの存否を示す情報(signaling_message_hint_present_flag)が含まれている。また、signaling_message_hint_present_flagの値が‘1’の場合には、同図(b)に示すデータ構造signaling_message_hint()が続く。 [Refer to hint using descriptor ()]
Next, an example of referring to a hint using descriptor () will be described with reference to FIG. FIG. 10 is a diagram for explaining an example of referring to a hint using descriptor (). The MMT_descriptor () described in (a) of the figure includes information (signaling_message_hint_present_flag) indicating the presence / absence of a hint related to transmission of control information (signaling message). When the value of signaling_message_hint_present_flag is “1”, the data structure signaling_message_hint () shown in FIG.
そして、同図の(b)には、signaling_message_hint()のデータ構造の一例が示されている。このsignaling_message_hint()には、制御情報の最大間隔を示す情報であるmax_signaling_message_intervalと、MPTの最大間隔を示す情報であるmax_mpt_intervalとが含まれている。したがって、同図の(a)のdescriptor()を参照して、同図の(b)のsignaling_message_hint()を参照することにより、制御情報を含むMMTPパケットの最大挿入間隔を知得することができる。
And, (b) in the figure shows an example of the data structure of signaling_message_hint (). This signaling_message_hint () includes max_signaling_message_interval that is information indicating the maximum interval of control information, and max_mpt_interval that is information indicating the maximum interval of MPT. Therefore, the maximum insertion interval of the MMTP packet including the control information can be obtained by referring to the descriptor () in (a) of the figure and referring to signaling_message_hint () in (b) of the figure.
〔実施形態4〕
本発明のさらに他の実施形態について、図11および図12に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 4]
The following will describe still another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本発明のさらに他の実施形態について、図11および図12に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 4]
The following will describe still another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
まず、本実施形態の情報処理装置300の構成を図11に基づいて説明する。図11は、情報処理装置300の要部構成を示すブロック図である。なお、デマックス部310以外の構成は情報処理装置1と同様であるから、デマックス部310およびその周囲の構成以外の図示は省略している。
First, the configuration of the information processing apparatus 300 according to the present embodiment will be described with reference to FIG. FIG. 11 is a block diagram illustrating a main configuration of the information processing apparatus 300. Since the configuration other than the demax unit 310 is the same as that of the information processing apparatus 1, illustrations other than the demax unit 310 and the surrounding configuration are omitted.
図示のように、情報処理装置300のデマックス部310には、TSデマックス部(第1分離手段)11と、コントローラ(制御手段)12と、MMTデマックス部(第2分離手段)313とが含まれる。本実施形態の制御情報(signaling message)は、TSデマックス部11が受信したコンテンツを構成するメディアの一部を他のネットワークから取得するための取得先情報を含んでいる。なお、ここではTSデマックス部11が放送ネットワークを介して放送コンテンツを受信することを想定しているため、上記他のネットワークは例えばインターネット等の通信ネットワークであってもよい。そして、MMTデマックス部313は、この取得先情報を参照して他のネットワークからメディア(追加ストリーム)を取得し、TSデマックス部11が受信したメディアの一部と差し替えてデコードする。これにより、複数のネットワークから取得したメディアを組み合わせたコンテンツをユーザに提示することができる。
As illustrated, the demax unit 310 of the information processing apparatus 300 includes a TS demax unit (first separation unit) 11, a controller (control unit) 12, and an MMT demax unit (second separation unit) 313. . The control information (signaling message) of the present embodiment includes acquisition destination information for acquiring a part of media constituting the content received by the TS demax unit 11 from another network. Here, since it is assumed that the TS demax unit 11 receives broadcast content via the broadcast network, the other network may be a communication network such as the Internet. Then, the MMT demax unit 313 acquires media (additional stream) from another network with reference to this acquisition destination information, and replaces and decodes a part of the media received by the TS demax unit 11. Thereby, the content which combined the media acquired from the some network can be shown to a user.
例えば、図示の例では、TSデマックス部11からMMTデマックス部313にMMTPパケットであるMaとMvとが出力されている。例えば、Mvは映画のビデオストリームであり、Maはその映画の英語音声のオーディオストリームである。また、コントローラ12からMMTデマックス部313に制御情報(signaling message)が出力されている。この制御情報には、メディアの取得先を示す取得先情報が記述されており、MMTデマックス部313は、この情報を参照して例えばインターネット等のネットワークからMMTPパケットであるMa’を取得する。Ma’は例えば上記の映画の日本語音声のオーディオストリームである。そして、MMTデマックス部313が、Maの代わりにMa’をオーディオデコーダ40に出力する。これにより、MvとMa’が同時に再生され、上記の映画を日本語音声で視聴させることができる。取得先情報は、例えば図5のようなMMT_general_location_info()として記述してもよい。
For example, in the illustrated example, Ma and Mv, which are MMTP packets, are output from the TS demax unit 11 to the MMT demax unit 313. For example, Mv is a video stream of a movie, and Ma is an audio stream of English sound of the movie. Further, control information (signaling) message) is output from the controller 12 to the MMT demax unit 313. In this control information, acquisition destination information indicating the acquisition destination of the media is described, and the MMT demux unit 313 refers to this information to acquire Ma ′ that is an MMTP packet from a network such as the Internet. Ma ′ is, for example, an audio stream of Japanese audio of the above movie. Then, the MMT demax unit 313 outputs Ma ′ instead of Ma to the audio decoder 40. Thereby, Mv and Ma ′ are reproduced at the same time, and the above-mentioned movie can be viewed with Japanese voice. The acquisition destination information may be described as MMT_general_location_info () as shown in FIG. 5, for example.
なお、他のネットワークからメディアを取得するか否かは、制御情報に基づいて取得可能なメディアが存在することを検知したときにユーザに問合せを行い、ユーザの選択に応じて決定してもよい。また、MMTデマックス部313が他のネットワークからメディアを取得する構成は、TSデマックス部とMMTデマックス部とを含む任意の構成に適用することができる。例えば、図8の例において、コントローラ112からMMTデマックス部113に取得先情報を通知し、MMTデマックス部113がこの取得先情報の示す取得先からメディアを取得してデコーダに送ってもよい。同様に図9の例において、コントローラ212からMMTデマックス部113に取得先情報を通知し、MMTデマックス部113がこの取得先情報が示す取得先からメディアを取得してデコーダに送ってもよい。
Whether or not to acquire media from another network may be determined according to the user's selection by making an inquiry to the user when detecting that there is media that can be acquired based on the control information. . Further, the configuration in which the MMT demax unit 313 acquires media from another network can be applied to any configuration including a TS demax unit and an MMT demax unit. For example, in the example of FIG. 8, the acquisition destination information may be notified from the controller 112 to the MMT demax unit 113, and the MMT demax unit 113 may acquire the media from the acquisition destination indicated by the acquisition destination information and send it to the decoder. Similarly, in the example of FIG. 9, the acquisition destination information may be notified from the controller 212 to the MMT demax unit 113, and the MMT demax unit 113 may acquire media from the acquisition destination indicated by the acquisition destination information and send it to the decoder.
〔再生処理の流れ〕
続いて、情報処理装置300が実行する再生処理の流れを図12に基づいて説明する。図12は、再生処理の一例を示すフローチャートである。なお、分離処理については、図7の処理が行われる。 [Flow of playback processing]
Next, the flow of reproduction processing executed by theinformation processing apparatus 300 will be described with reference to FIG. FIG. 12 is a flowchart illustrating an example of the reproduction process. As for the separation process, the process of FIG. 7 is performed.
続いて、情報処理装置300が実行する再生処理の流れを図12に基づいて説明する。図12は、再生処理の一例を示すフローチャートである。なお、分離処理については、図7の処理が行われる。 [Flow of playback processing]
Next, the flow of reproduction processing executed by the
コントローラ12は、PMTから制御情報を取得してMMTデマックス313部に出力する(S10)。上述のように、制御情報(signaling message)は、PMTに含まれていてもよいし、PMTに記述された取得先から取得してもよい。
The controller 12 acquires control information from the PMT and outputs it to the MMT demax 313 unit (S10). As described above, the control information (signaling message) may be included in the PMT, or may be acquired from an acquisition destination described in the PMT.
そして、制御情報を受信したMMTデマックス部313は、この制御情報に基づいて、外部(放送以外のネットワーク)からメディアを取得するか否かを判断する(S11)。ここでは、放送以外のネットワークから取得可能なメディアが存在すれば、メディアを取得すると判断してもよいし、取得の可否をユーザに選択させてもよい。
Then, the MMT demux unit 313 that has received the control information determines whether to acquire media from the outside (network other than broadcasting) based on the control information (S11). Here, if there is a medium that can be acquired from a network other than the broadcast, it may be determined that the medium is acquired, or the user may be allowed to select whether or not acquisition is possible.
ここで、メディアを取得しないと判断した場合(S11でNO)にはS14の処理に進み、取得すると判断した場合(S11でYES)にはS12の処理に進む。S12では、MMTデマックス部313は、取得することを決めたメディアを受信し、受信したメディアの再生態様を決定する(S13)。例えば、TSデマックス部11から受信しているメディアの代替となるメディアを受信した場合、TSデマックス部11から受信しているメディアと差し替える再生態様とすることを決定する。
If it is determined that the medium is not acquired (NO in S11), the process proceeds to S14. If it is determined that the medium is acquired (YES in S11), the process proceeds to S12. In S12, the MMT demax unit 313 receives the medium that has been determined to be acquired, and determines the playback mode of the received medium (S13). For example, when a medium that is an alternative to the medium received from the TS demax unit 11 is received, the playback mode is determined to be replaced with the medium received from the TS demax unit 11.
そして、MMTデマックス部313は、MMTPパケットのそれぞれをその種別に応じて分離する(S14)。具体的には、再生対象とするMMTPパケットをデマルチプレクスし、これにより得た各メディアをその種別に応じてオーディオデコーダ40またはビデオデコーダ50に出力する。これにより、S13で決定した再生態様で再生が行われ(S15)、その後、再生処理は終了する。
Then, the MMT demax unit 313 separates each MMTP packet according to its type (S14). Specifically, the MMTP packet to be reproduced is demultiplexed, and each medium obtained thereby is output to the audio decoder 40 or the video decoder 50 according to the type. Thereby, playback is performed in the playback mode determined in S13 (S15), and then the playback process ends.
〔実施形態5〕
本発明のさらに他の実施形態について、図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 5]
The following will describe still another embodiment of the present invention with reference to FIG. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本発明のさらに他の実施形態について、図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 5]
The following will describe still another embodiment of the present invention with reference to FIG. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本実施形態の情報処理装置400の構成を図13に基づいて説明する。図13は、情報処理装置400の要部構成を示すブロック図である。なお、デマックス部410以外の構成は情報処理装置1と同様であるから、デマックス部410およびその周囲の構成以外の図示は省略している。
The configuration of the information processing apparatus 400 of this embodiment will be described with reference to FIG. FIG. 13 is a block diagram illustrating a main configuration of the information processing apparatus 400. Since the configuration other than the demax unit 410 is the same as that of the information processing apparatus 1, illustrations other than the demax unit 410 and the surrounding configuration are omitted.
図示のように、情報処理装置400のデマックス部410には、TSデマックス部(第1分離手段)11と、コントローラ(制御手段)12と、MMTデマックス部(第2分離手段)413とが含まれる。コントローラ12からMMTデマックス部413に出力される制御情報(signaling message)には、情報処理装置300と同様に取得先情報が含まれている。そして、MMTデマックス部413は、この取得先情報を参照してメディア(追加ストリーム)を取得し、TSデマックス部11が受信したメディアと共にデコードさせる。これにより、複数のネットワークから取得したメディアを組み合わせたコンテンツをユーザに提供することができる。
As illustrated, the demax unit 410 of the information processing apparatus 400 includes a TS demax unit (first separation unit) 11, a controller (control unit) 12, and an MMT demax unit (second separation unit) 413. . The control information (signaling 取得 message) output from the controller 12 to the MMT demax unit 413 includes acquisition destination information as in the information processing apparatus 300. Then, the MMT demax unit 413 acquires media (additional stream) with reference to the acquisition destination information, and decodes it together with the media received by the TS demax unit 11. Thereby, the content which combined the media acquired from the some network can be provided to a user.
例えば、図示の例では、TSデマックス部11からMMTデマックス部313にMMTPパケットであるMaとMvとが出力されている。例えば、Mvは映画のビデオストリームであり、Maはその映画のオーディオストリームである。また、コントローラ12からMMTデマックス部413に制御情報(signaling message)が出力されている。この制御情報には、取得先情報が記述されており、MMTデマックス部413は、この取得先情報を参照して例えばインターネット等のネットワークからMMTPパケットであるMv’を取得する。Mv’は例えば上記の映画の拡張レイヤ映像であるビデオストリームである。そして、MMTデマックス部413が、MvおよびMv’の両方をビデオデコーダ50に出力する。これにより、MvとMv’が組み合わされた高フレームレート/高解像度な映像が再生される。
For example, in the illustrated example, Ma and Mv, which are MMTP packets, are output from the TS demax unit 11 to the MMT demax unit 313. For example, Mv is a video stream of a movie and Ma is an audio stream of the movie. Further, control information (signaling) message) is output from the controller 12 to the MMT demax unit 413. In this control information, acquisition destination information is described, and the MMT demax unit 413 acquires Mv ′ that is an MMTP packet from a network such as the Internet with reference to the acquisition destination information. Mv ′ is, for example, a video stream that is an enhancement layer image of the movie. Then, the MMT demax unit 413 outputs both Mv and Mv ′ to the video decoder 50. As a result, a high frame rate / high resolution video in which Mv and Mv ′ are combined is reproduced.
なお、情報処理装置400における再生処理は、図12の例と同様である。すなわち、情報処理装置400では、図12のS13で2つのメディアを共に再生する再生態様を決定し、S14で共に再生する2つのメディアをデマルチプレクスし、S15でこれらのメディアを共に再生する。
Note that the reproduction processing in the information processing apparatus 400 is the same as the example in FIG. That is, the information processing apparatus 400 determines a playback mode in which the two media are played back together in S13 of FIG. 12, demultiplexes the two media played back together in S14, and plays back these media together in S15.
また、情報処理装置400における再生処理は、TSデマックス部とMMTデマックス部とを含む任意の構成に適用することができる。例えば、図8の例において、コントローラ112からMMTデマックス部113に取得先情報を通知し、MMTデマックス部113がこの取得先情報の示す取得先からメディアを取得してデコーダに送ってもよい。同様に図9の例において、コントローラ212からMMTデマックス部113に取得先情報を通知し、MMTデマックス部113がこの取得先情報が示す取得先からメディアを取得してデコーダに送ってもよい。
Further, the reproduction processing in the information processing apparatus 400 can be applied to any configuration including a TS demax unit and an MMT demax unit. For example, in the example of FIG. 8, the acquisition destination information may be notified from the controller 112 to the MMT demax unit 113, and the MMT demax unit 113 may acquire the media from the acquisition destination indicated by the acquisition destination information and send it to the decoder. Similarly, in the example of FIG. 9, the acquisition destination information may be notified from the controller 212 to the MMT demax unit 113, and the MMT demax unit 113 may acquire media from the acquisition destination indicated by the acquisition destination information and send it to the decoder.
〔変形例〕
上記各実施形態では第1の多重化方式がMPEG-2 TS、第2の多重化方式がMMTである場合の情報処理装置を例に説明を行ったがこれらの例に限られず、異なる多重化方式で多重化された多重化ストリームを受信する情報処理装置であれば、本発明を適用し得る。 [Modification]
In each of the above embodiments, the information processing apparatus in the case where the first multiplexing method is MPEG-2 TS and the second multiplexing method is MMT has been described as an example. However, the present invention is not limited to these examples, and different multiplexing methods are used. The present invention can be applied to any information processing apparatus that receives a multiplexed stream multiplexed by a method.
上記各実施形態では第1の多重化方式がMPEG-2 TS、第2の多重化方式がMMTである場合の情報処理装置を例に説明を行ったがこれらの例に限られず、異なる多重化方式で多重化された多重化ストリームを受信する情報処理装置であれば、本発明を適用し得る。 [Modification]
In each of the above embodiments, the information processing apparatus in the case where the first multiplexing method is MPEG-2 TS and the second multiplexing method is MMT has been described as an example. However, the present invention is not limited to these examples, and different multiplexing methods are used. The present invention can be applied to any information processing apparatus that receives a multiplexed stream multiplexed by a method.
また、第1の多重化方式がMMT、第2の多重化方式がMPEG-2 TSの場合、PSI/SIに関するデータは、MMTの制御情報(signaling message)に格納してもよいし、TSパケット化したものをMMTペイロードに格納してもよい。ビデオストリームやオーディオストリームは、TSパケット化したものをMMTペイロードに格納してもよい。
In addition, when the first multiplexing method is MMT and the second multiplexing method is MPEG-2 TS, data related to PSI / SI may be stored in MMT control information (signaling message), or TS packet The converted version may be stored in the MMT payload. Video streams and audio streams may be TS packets that are stored in the MMT payload.
〔実施形態6〕
本発明のさらに他の実施形態について、図16から図22に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 6]
The following will describe still another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本発明のさらに他の実施形態について、図16から図22に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。 [Embodiment 6]
The following will describe still another embodiment of the present invention with reference to FIGS. For convenience of explanation, members having the same functions as those described in the embodiment are given the same reference numerals, and descriptions thereof are omitted.
本実施形態の情報処理装置500の構成を図16に基づいて説明する。図16は、情報処理装置500の要部構成を示すブロック図である。
The configuration of the information processing apparatus 500 of this embodiment will be described with reference to FIG. FIG. 16 is a block diagram illustrating a main configuration of the information processing apparatus 500.
図示のように、情報処理装置500には、セッション制御部80が含まれる。セッション制御部80は、放送受信部20または通信部30より、サービスを構成するMMTストリームを受信するために必要な制御情報(セッション情報)を取得し、セッションの開始/終了等の制御を行う。
As illustrated, the information processing apparatus 500 includes a session control unit 80. The session control unit 80 acquires control information (session information) necessary for receiving the MMT stream constituting the service from the broadcast receiving unit 20 or the communication unit 30, and controls the start / end of the session and the like.
情報処理装置500が受信するサービスの構成について、図17に基づいて説明する。図17は、情報処理装置500が受信するサービス、及び各サービスを構成する制御情報(セッション情報)、パッケージ、MMTストリーム、アセット、制御情報(MPT)等の関係の一例を示す図である。
The configuration of the service received by the information processing apparatus 500 will be described with reference to FIG. FIG. 17 is a diagram illustrating an example of the relationship between services received by the information processing apparatus 500 and control information (session information), packages, MMT streams, assets, control information (MPT), and the like that configure each service.
サービスAは、制御情報a1、及びパッケージa2から構成される。パッケージa2は、アセットa211、アセットa212、制御情報a213からなるMMTストリームa21、及びアセットa221からなるMMTストリームa22から構成される。制御情報a1には、MMTストリームa21、及びMMTストリームa22を受信するために必要な情報(セッション情報)が所定のフォーマットで記述されている。制御情報a213には、前述のMPT(MMT Package Table)が記述されている。なお、MPTには、当該パッケージのパッケージ識別子が記述されている。
Service A is composed of control information a1 and package a2. The package a2 includes an MMT stream a21 including an asset a211, an asset a212, and control information a213, and an MMT stream a22 including an asset a221. In the control information a1, information (session information) necessary for receiving the MMT stream a21 and the MMT stream a22 is described in a predetermined format. The control information a213 describes the above-described MPT (MMT Package Table). The MPT describes the package identifier of the package.
サービスBは、制御情報b1、及びパッケージb2から構成される。パッケージb2は、アセットb211、アセットb212、制御情報b213からなるMMTストリームb21、及び上記MMTストリームa22から構成される。なお、MMTストリームa22は、パッケージa2とパッケージb2の両方から参照されるMMTストリームである。制御情報b1には、MMTストリームb21、及びMMTストリームa22を受信するために必要な情報(セッション情報)が所定のフォーマットで記述されている。制御情報b213には、前述のMPT(MMT Package Table)が記述されている。なお、MPTには、当該パッケージのパッケージ識別子が記述されている。
Service B is composed of control information b1 and package b2. The package b2 includes an MMT stream b21 including an asset b211, an asset b212, and control information b213, and the MMT stream a22. The MMT stream a22 is an MMT stream that is referenced from both the package a2 and the package b2. In the control information b1, information (session information) necessary for receiving the MMT stream b21 and the MMT stream a22 is described in a predetermined format. The control information b213 describes the above-described MPT (MMT Package Table). The MPT describes the package identifier of the package.
同様に、サービスCは、制御情報c1、及びパッケージc2から構成される。
Similarly, the service C includes control information c1 and a package c2.
次に、セッション情報のデータ構造について、図18及び図19に基づいて説明する。
Next, the data structure of the session information will be described with reference to FIGS.
図18は、セッション情報のデータ構造の一例を示す図である。図18(a)に示すように、セッション情報は、セッション数、セッション識別子、メインサブフラグ、被参照パッケージ数、パッケージ識別子、セッション記述を含んでいる。各データの意味は、図18(b)に示す通りである。
FIG. 18 is a diagram illustrating an example of a data structure of session information. As shown in FIG. 18A, the session information includes the number of sessions, a session identifier, a main subflag, the number of referenced packages, a package identifier, and a session description. The meaning of each data is as shown in FIG.
図19は、SDP(Session Description Protocol)を用いたセッション記述の一例を示す図である。図19(a)は、マルチキャストセッションの記述例であり、ユニキャストアドレス192.16.24.202からマルチキャストグループアドレス224.2.0.1のポート3456へ、MMTプロトコルによりMMTストリームがマルチキャスト配信されることを示している。一方、図19(b)は、ユニキャストセッションの記述例であり、ユニキャストアドレス192.16.24.202からMMTプロトコルによりMMTストリームがユニキャスト配信されることを示している。
FIG. 19 is a diagram showing an example of a session description using SDP (Session Description Protocol). FIG. 19A is a description example of a multicast session, and shows that an MMT stream is multicast distributed from the unicast address 192.16.24.202 to the port 3456 of the multicast group address 224.2.0.1 by the MMT protocol. On the other hand, FIG. 19B is a description example of a unicast session, and shows that an MMT stream is unicasted from the unicast address 192.16.24.202 by the MMT protocol.
例えば、サービスAの制御情報a1は、以下のように記述される。
For example, the control information a1 of service A is described as follows.
セッション数:2
セッション識別子:a21
メインサブフラグ:1
被参照パッケージ数:1
パッケージ識別子:a2
セッション記述:図19(a)のSDPによる記述
セッション識別子:a22
メインサブフラグ:0
被参照パッケージ数:2
パッケージ識別子:a2
パッケージ識別子:b2
セッション記述:図19(b)のSDPによる記述 Number of sessions: 2
Session identifier: a21
Main sub flag: 1
Number of referenced packages: 1
Package identifier: a2
Session description: Description by SDP in FIG. 19A Session identifier: a22
Main sub flag: 0
Number of referenced packages: 2
Package identifier: a2
Package identifier: b2
Session description: Description by SDP in FIG.
セッション識別子:a21
メインサブフラグ:1
被参照パッケージ数:1
パッケージ識別子:a2
セッション記述:図19(a)のSDPによる記述
セッション識別子:a22
メインサブフラグ:0
被参照パッケージ数:2
パッケージ識別子:a2
パッケージ識別子:b2
セッション記述:図19(b)のSDPによる記述 Number of sessions: 2
Session identifier: a21
Main sub flag: 1
Number of referenced packages: 1
Package identifier: a2
Session description: Description by SDP in FIG. 19A Session identifier: a22
Main sub flag: 0
Number of referenced packages: 2
Package identifier: a2
Package identifier: b2
Session description: Description by SDP in FIG.
また、サービスBの制御情報b1は、以下のように記述される。
Further, the control information b1 of the service B is described as follows.
セッション数:2
セッション識別子:b21
メインサブフラグ:1
被参照パッケージ数:1
パッケージ識別子:b2
セッション記述:図19(a)のSDPによる記述(ただし、マルチキャストグループアドレスまたはポートは図19(a)の記述と異なる)
セッション識別子:a22
メインサブフラグ:0
被参照パッケージ数:2
パッケージ識別子:b2
パッケージ識別子:a2
セッション記述:図19(b)のSDPによる記述 Number of sessions: 2
Session identifier: b21
Main sub flag: 1
Number of referenced packages: 1
Package identifier: b2
Session description: SDP description in FIG. 19A (however, the multicast group address or port is different from the description in FIG. 19A)
Session identifier: a22
Main sub flag: 0
Number of referenced packages: 2
Package identifier: b2
Package identifier: a2
Session description: Description by SDP in FIG.
セッション識別子:b21
メインサブフラグ:1
被参照パッケージ数:1
パッケージ識別子:b2
セッション記述:図19(a)のSDPによる記述(ただし、マルチキャストグループアドレスまたはポートは図19(a)の記述と異なる)
セッション識別子:a22
メインサブフラグ:0
被参照パッケージ数:2
パッケージ識別子:b2
パッケージ識別子:a2
セッション記述:図19(b)のSDPによる記述 Number of sessions: 2
Session identifier: b21
Main sub flag: 1
Number of referenced packages: 1
Package identifier: b2
Session description: SDP description in FIG. 19A (however, the multicast group address or port is different from the description in FIG. 19A)
Session identifier: a22
Main sub flag: 0
Number of referenced packages: 2
Package identifier: b2
Package identifier: a2
Session description: Description by SDP in FIG.
次に、サービス切り替え時のセッション制御シーケンスについて、図20及び図21に基づいて説明する。なお、各サービスのメインのMMTストリーム(メインIPデータフロー)はマルチキャスト配信され、サブのMMTストリーム(サブIPデータフロー)はユニキャスト配信されるものとして説明する。
Next, a session control sequence at the time of service switching will be described based on FIG. 20 and FIG. In the following description, it is assumed that the main MMT stream (main IP data flow) of each service is distributed by multicast and the sub MMT stream (sub IP data flow) is unicast.
図20は、サービスAからサービスBに切り替える際のセッション制御シーケンスの一例を示す図である。
FIG. 20 is a diagram illustrating an example of a session control sequence when switching from the service A to the service B.
サービスAが選択されると、セッション制御部80は、サービスAのセッション情報(図17の制御情報a1)を放送受信部20または通信部30より取得する(1)。通信部30よりセッション情報を取得する場合、所定のマルチキャストグループより取得する構成としてもよいし、所定のHTTP-URLにアクセスすることで取得する構成としてもよい。
When the service A is selected, the session control unit 80 acquires the session information of the service A (control information a1 in FIG. 17) from the broadcast receiving unit 20 or the communication unit 30 (1). When the session information is acquired from the communication unit 30, it may be configured to acquire from a predetermined multicast group, or may be acquired by accessing a predetermined HTTP-URL.
続いて、セッション制御部80は、セッション情報(制御情報a1)に基づきメインのMMTストリームのセッションを開始する(2)。具体的には、対応するセッション記述を参照し、IGMP(Internet Group Management Protocol)を用いてマルチキャストグループに参加(図19(a)のマルチキャストグループアドレス224.2.0.1をパラメータに含むMembership Queryパケットを送信)することで、MMTストリームa21を受信することができる。なお、メインのMMTストリームか否かは、セッション情報に含まれるメインサブフラグの値により判断することができる。あるいは、メインサブフラグを用いず、セッション情報の最初のセッションをメインのMMTストリームと判定するような構成としてもよい。
Subsequently, the session control unit 80 starts a main MMT stream session based on the session information (control information a1) (2). Specifically, refer to the corresponding session description, and join the multicast group using IGMP (Internet Group Management Protocol) (Send the Membership Query packet that includes the multicast group address 224.2.0.1 in Fig. 19 (a) as a parameter) By doing so, the MMT stream a21 can be received. It can be determined whether the main MMT stream is based on the value of the main sub flag included in the session information. Or it is good also as a structure which determines the 1st session of session information as a main MMT stream, without using a main subflag.
次に、サービスAのサブのMMTストリームが選択されると、セッション制御部80は、セッション情報(制御情報a1)に基づきサブのMMTストリームのセッションを開始する(3)。具体的には、対応するセッション記述を参照し、RTSP(Real Time Streaming Protocol)を用いてサーバに対してSETUPリクエストやPLAYリクエストを発行することでMMTストリームa22を受信することができる。
Next, when a sub MMT stream of service A is selected, the session control unit 80 starts a sub MMT stream session based on the session information (control information a1) (3). Specifically, the MMT stream a22 can be received by referring to the corresponding session description and issuing a SETUP request or a PLAY request to the server using RTSP (Real Time StreamingRTProtocol).
これにより、情報処理装置500は、MMTストリームa21に含まれるアセットとMMTストリームa22に含まれるアセットを組み合わせて再生したり、MMTストリームa21に含まれるアセットの一部をMMTストリームa22に含まれるアセットに置き換えて再生したりすることができる。
As a result, the information processing apparatus 500 plays a combination of the asset included in the MMT stream a21 and the asset included in the MMT stream a22, or converts a part of the asset included in the MMT stream a21 into an asset included in the MMT stream a22. It can be replaced and played.
次に、サービスBへの切り替えが行われると、セッション制御部80は、サービスAのメインのMMTストリームのセッションを終了する(4)。具体的には、対応するセッション記述を参照し、IGMPを用いてマルチキャストグループから離脱(マルチキャストグループアドレス224.2.0.1をパラメータに含むLeave Groupパケットを送信)することで、MMTストリームa21の受信を終了させることができる。なお、サービスAのサブのMMTストリームa22は、他のサービス(パッケージb2)からも参照されているため、この時点ではセッション終了処理は行わない。
Next, when switching to the service B is performed, the session control unit 80 ends the session of the main MMT stream of the service A (4). Specifically, the reception of the MMT stream a21 is terminated by referring to the corresponding session description and leaving the multicast group (transmitting a Leave Group packet including the multicast group address 224.2.0.1 as a parameter) using IGMP. be able to. Note that the sub MMT stream a22 of the service A is also referred to by another service (package b2), and thus the session termination process is not performed at this point.
続いて、セッション制御部80は、サービスBのセッション情報(図17の制御情報b1)を放送受信部20または通信部30より取得し(5)、セッション情報(制御情報b1)に基づきメインのMMTストリームのセッションを開始する(6)。
Subsequently, the session control unit 80 acquires the session information of the service B (control information b1 in FIG. 17) from the broadcast reception unit 20 or the communication unit 30 (5), and based on the session information (control information b1), the main MMT A stream session is started (6).
ここで、サービスBのサブのMMTストリームa22は、サービスAの選択時にすでにセッションを開始しているため、サービスBのサブのMMTストリームが選択されると、セッション開始処理を行うことなく再生することができる。
Here, since the sub MMT stream a22 of service B has already started a session when service A is selected, when the sub MMT stream of service B is selected, playback is performed without performing session start processing. Can do.
図21は、サービスAからサービスCに切り替える際のセッション制御シーケンスの一例を示す図である。
FIG. 21 is a diagram showing an example of a session control sequence when switching from service A to service C.
処理(1)~処理(6)は、図20と同様のため説明は省略する。処理(6)の後、サービスAのMMTストリームa22はサービスC(パッケージc2)から参照されていないことが分かるため、該セッションを終了する(7)。具体的には、対応するセッション記述を参照し、RTSPを用いてサーバに対してTEARDOWNリクエストを発行することでMMTストリームa22の受信を終了させることができる。
Processing (1) to processing (6) are the same as in FIG. After the process (6), since it is understood that the MMT stream a22 of the service A is not referred to from the service C (package c2), the session is ended (7). Specifically, the reception of the MMT stream a22 can be terminated by referring to the corresponding session description and issuing a TEARDOWN request to the server using RTSP.
次に、サービスCのサブのMMTストリームが選択されると、セッション制御部80は、セッション情報(制御情報c1)に基づきサブのMMTストリームのセッションを開始する(8)。
Next, when a sub MMT stream of service C is selected, the session control unit 80 starts a sub MMT stream session based on the session information (control information c1) (8).
ここで、情報処理装置500が実行するセッション制御処理(情報処理装置の制御方法)の流れを図22に基づいて説明する。図22は、セッション制御処理の一例を示すフローチャートである。
Here, the flow of session control processing (information processing apparatus control method) executed by the information processing apparatus 500 will be described with reference to FIG. FIG. 22 is a flowchart illustrating an example of the session control process.
まず、ユーザによりサービスの選択(切替)が行われる(S20)。次に、セッション確立中のメインMMTストリームがあればセッションを終了させる(S21)。次に、セッション確立中のサブMMTストリームがあるか否かを判定する(S22)。S22でNoの場合、S20で選択したサービスのセッション情報を取得し解析する(S24)。S22でYesの場合、セッション情報に記述された被参照パッケージ数などを参照し、上記サブMMTストリームが他のサービスから参照されているか否か判定する(S23)。S23でNoの場合、上記サブMMTストリームのセッションを終了する(S231)。S23でYesの場合、S24に進む。
First, the user selects (switches) a service (S20). Next, if there is a main MMT stream for which a session is being established, the session is terminated (S21). Next, it is determined whether there is a sub-MMT stream for which a session is being established (S22). If No in S22, the session information of the service selected in S20 is acquired and analyzed (S24). In the case of Yes in S22, it is determined whether or not the sub MMT stream is referenced from another service by referring to the number of referenced packages described in the session information (S23). In the case of No in S23, the sub MMT stream session is terminated (S231). If Yes in S23, the process proceeds to S24.
続いて、S20で選択したサービスのメインMMTストリームのセッションを開始する(S25)。上記サブMMTストリームが、セッション確立中の場合、セッション情報に記述されたパッケージ識別子などを参照し、S20で選択したサービスから参照されているか否かを判定する(S26)。S26でNoの場合、上記サブMMTストリームのセッションを終了する(S261)。S26でYesの場合、セッション確立中のMMTストリームが帯域制約条件を満たしているか否か判定する(S27)。S27でNoの場合、セッション確立中のサブMMTストリームのうち、被参照パッケージ数の値の小さいものからセッションを終了する(S271)。
Subsequently, a session of the main MMT stream of the service selected in S20 is started (S25). When the sub MMT stream is in session establishment, it is determined whether or not the sub MMT stream is referenced from the service selected in S20 with reference to the package identifier described in the session information (S26). If No in S26, the sub MMT stream session is terminated (S261). In the case of Yes in S26, it is determined whether or not the MMT stream in session establishment satisfies the bandwidth constraint condition (S27). In the case of No in S27, the session is terminated from the sub MMT stream in which the session is being established, starting from the one with the smaller number of referenced packages (S271).
上述したように、サービス切り替えにおいて、複数のサービスから参照されているMMTストリームのセッション終了処理を遅延させることによって、セッション再確立に伴う再生遅延を抑えることができる。さらに、セッション確立中のMMTストリームが複数存在する場合、被参照情報を参照して効率的にセッションを終了させることができる。
As described above, by switching the session termination processing of MMT streams referenced from a plurality of services in service switching, it is possible to suppress a playback delay associated with session re-establishment. Furthermore, when there are a plurality of MMT streams for which a session is being established, the session can be efficiently terminated with reference to the referenced information.
〔集積回路・ソフトウェアによる実現例〕
情報処理装置1、100、200、300、400、500の制御ブロック(特にデマックス部を構成する各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。 [Examples of implementation using integrated circuits and software]
The control blocks (especially each part constituting the demax unit) of the information processing apparatuses 1, 100, 200, 300, 400, and 500 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. Alternatively, it may be realized by software using a CPU (Central Processing Unit).
情報処理装置1、100、200、300、400、500の制御ブロック(特にデマックス部を構成する各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。 [Examples of implementation using integrated circuits and software]
The control blocks (especially each part constituting the demax unit) of the
後者の場合、情報処理装置1、100、200、300、400、500は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the information processing apparatuses 1, 100, 200, 300, 400, and 500 can read a program instruction that is software that realizes each function, and the above-described program and various data can be read by a computer (or CPU). A ROM (Read Only Memory) or a storage device (referred to as “recording medium”), a RAM (Random Access Memory) for expanding the program, and the like. And the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it. As the recording medium, a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. The program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
〔まとめ〕
本発明の態様1に係る情報処理装置(1、100、200、300、400)は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報(PMT)に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段(TSデマックス部11、111)と、上記第2多重化ストリームからメディアデータを分離する第2分離手段(MMTデマックス部13、113、313、413)と、上記属性情報に含まれる制御情報(signaling message)を取得して、該制御情報が上記第2分離手段による上記第2多重化ストリームの分離に利用されるように制御する制御手段(コントローラ12、112、212)と、を備えている。 [Summary]
The information processing apparatus (1, 100, 200, 300, 400) according toaspect 1 of the present invention receives the multiplexed stream received via the network according to the attribute information (PMT) received together with the multiplexed stream. First separation means for separating a second multiplexed stream multiplexed by a second multiplexing scheme different from the first multiplexing scheme from the first multiplexed stream multiplexed by the multiplexing scheme of (2) TS demax sections 11 and 111), second demultiplexing means ( MMT demax sections 13, 113, 313, and 413) for separating media data from the second multiplexed stream, and control information (signaling message) included in the attribute information. ) And control means (controller 12) for controlling the control information to be used for separation of the second multiplexed stream by the second separation means. And 112 and 212), and a.
本発明の態様1に係る情報処理装置(1、100、200、300、400)は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報(PMT)に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段(TSデマックス部11、111)と、上記第2多重化ストリームからメディアデータを分離する第2分離手段(MMTデマックス部13、113、313、413)と、上記属性情報に含まれる制御情報(signaling message)を取得して、該制御情報が上記第2分離手段による上記第2多重化ストリームの分離に利用されるように制御する制御手段(コントローラ12、112、212)と、を備えている。 [Summary]
The information processing apparatus (1, 100, 200, 300, 400) according to
上記の構成によれば、属性情報に含まれる制御情報を取得して、該制御情報が第2分離手段による第2多重化ストリームの分離に利用されるように制御するので、制御情報を確実に利用できるようにすることができる。
According to the above configuration, the control information included in the attribute information is acquired, and control is performed so that the control information is used for separation of the second multiplexed stream by the second separation unit. Can be made available.
また、本発明の態様2に係る情報処理装置(100、200)は、上記態様1において、上記第2の多重化方式による多重化を行う再多重化手段(リマックス部114、214)を備え、上記制御手段は、上記制御情報を上記再多重化手段に出力し、上記再多重化手段は、上記制御手段が出力する上記制御情報を上記第2の多重化方式で多重化して、上記第1分離手段が分離した第2多重化ストリームと共に上記第2分離手段に出力する構成であってもよい。
Further, the information processing apparatus (100, 200) according to aspect 2 of the present invention includes remultiplexing means (remax units 114, 214) that performs multiplexing according to the second multiplexing method in aspect 1, The control means outputs the control information to the remultiplexing means, and the remultiplexing means multiplexes the control information output by the control means by the second multiplexing method, and A configuration in which the second multiplexed stream separated by the separation means is output to the second separation means may be employed.
上記の構成によれば、制御情報を第2の多重化方式で多重化して、第1分離手段が分離した第2多重化ストリームと共に第2分離手段に出力する。このため、第2分離手段は出力されたデータから制御情報を取得し、取得した制御情報を用いて第2多重化ストリームを分離することができる。そして、第2分離手段が処理するデータを第2の多重化方式で多重化されたデータに統一することができる。
According to the above configuration, the control information is multiplexed by the second multiplexing method and output to the second demultiplexing means together with the second multiplexed stream separated by the first demultiplexing means. For this reason, the second demultiplexing unit can acquire control information from the output data, and demultiplex the second multiplexed stream using the acquired control information. The data processed by the second separation means can be unified with the data multiplexed by the second multiplexing method.
また、本発明の態様3に係る情報処理装置(200)は、上記態様1または2において、上記第1分離手段が受信する多重化ストリームには、上記第2多重化ストリームを分離するための分離情報が上記第2の多重化方式で多重化された状態で所定の間隔ごとに挿入されており、上記制御情報は、上記第1分離手段が受信する多重化ストリームにおける上記分離情報の挿入間隔を示す情報を含み、多重化された上記分離情報の後に、上記第1分離手段が分離した第2多重化ストリームが続くように、多重化された分離情報と当該第2多重化ストリームとを上記制御情報を用いて配列する配列手段(リマックス部214)を備え、上記制御手段は、上記制御情報を上記配列手段に出力する構成であってもよい。
The information processing apparatus (200) according to aspect 3 of the present invention is the information processing apparatus (200) according to aspect 1 or 2, wherein the multiplexed stream received by the first separation unit is separated for separating the second multiplexed stream. Information is inserted at predetermined intervals in a state of being multiplexed by the second multiplexing method, and the control information indicates the insertion interval of the separation information in the multiplexed stream received by the first separation means. The multiplexed separation information and the second multiplexed stream are controlled so that the second multiplexed stream separated by the first separation means follows the multiplexed separation information including Arrangement means (remax unit 214) arranged using information may be provided, and the control means may output the control information to the arrangement means.
上記の構成によれば、多重化された分離情報の後に、第1分離手段が分離した第2多重化ストリームが続くように、多重化された分離情報と当該第2の多重化ストリームとを制御情報を用いて配列する。よって、第2分離手段は、制御情報を取得し、取得した制御情報を用いて第2多重化ストリームを分離することができる。
According to the above configuration, the multiplexed separated information and the second multiplexed stream are controlled so that the multiplexed multiplexed information is followed by the second multiplexed stream separated by the first separating means. Arrange using information. Therefore, the second demultiplexing unit can acquire the control information and demultiplex the second multiplexed stream using the acquired control information.
また、本発明の態様4に係る情報処理装置(1、100、200、300、400)は、上記態様1から3の何れかにおいて、上記制御情報は、上記第1分離手段が分離した第2多重化ストリームの代わりにまたは該第2多重化ストリームと共に再生する、上記第2の多重化方式で多重化された追加ストリームの、上記ネットワークとは異なるネットワークからの取得先を示す取得先情報を含み、上記制御手段は、上記制御情報を上記第2分離手段に出力し、上記第2分離手段は、上記取得先情報が示す取得先から上記追加ストリームを取得し、上記第1分離手段が分離した第2多重化ストリームの代わりにまたは該第2多重化ストリームと共に上記追加ストリームが再生されるように、上記追加ストリームおよび上記第1分離手段が分離した第2多重化ストリームの分離を行う構成であってもよい。
Further, the information processing apparatus (1, 100, 200, 300, 400) according to aspect 4 of the present invention is the information processing apparatus according to any one of the aspects 1 to 3, wherein the control information is the second separated by the first separation unit. Including acquisition destination information indicating an acquisition destination from a network different from the network of the additional stream multiplexed by the second multiplexing method, which is reproduced instead of the multiplexed stream or together with the second multiplexed stream. The control means outputs the control information to the second separation means, the second separation means obtains the additional stream from the acquisition destination indicated by the acquisition destination information, and the first separation means separates the information. The additional stream and the first separation means are separated so that the additional stream is reproduced instead of or together with the second multiplexed stream. The second may be configured to perform the separation of the multiplexed streams.
上記の構成によれば、第1分離手段が分離した多重化ストリームとは異なるネットワークにおける取得先情報が示す取得先から追加ストリームを取得する。そして、第1分離手段が分離した第2多重化ストリームの代わりにまたは該第2多重化ストリームと共に追加ストリームが再生されるように、追加ストリームおよび第1分離手段が分離した第2多重化ストリームの分離を行う。よって、異なるネットワークから取得したストリームを組み合わせて再生することができる。
According to the above configuration, the additional stream is acquired from the acquisition destination indicated by the acquisition destination information in the network different from the multiplexed stream separated by the first separation means. The additional stream and the second multiplexed stream separated by the first separation means are reproduced so that the additional stream is reproduced instead of the second multiplexed stream separated by the first separation means or together with the second multiplexed stream. Perform separation. Therefore, streams acquired from different networks can be combined and reproduced.
また、本発明の態様5に係る情報処理装置(1、100、200、300、400)は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段を備えた情報処理装置であって、多重化ストリームの上記ネットワークとは異なるネットワークからの取得先を示す取得先情報を上記属性情報から取得する制御手段と、上記第1分離手段が分離した上記第2多重化ストリームと、上記取得先情報が示す取得先から取得した第2多重化ストリームとを、当該第2多重化ストリームのそれぞれに含まれるメディアデータが1つのコンテンツとして再生されるように分離する第2分離手段と、を備えている。
Further, the information processing apparatus (1, 100, 200, 300, 400) according to the aspect 5 of the present invention receives the multiplexed stream received via the network according to the attribute information received together with the multiplexed stream. First separation means for separating a second multiplexed stream multiplexed by a second multiplexing scheme different from the first multiplexing scheme from a first multiplexed stream multiplexed by the multiplexing scheme And a second multiplex separated by the first separation means and a control means for obtaining from the attribute information acquisition source information indicating an acquisition destination of a multiplexed stream from a network different from the network. And the second multiplexed stream acquired from the acquisition destination indicated by the acquisition destination information, and the media data included in each of the second multiplexed streams is And a, a second separating means for separating to be reproduced as One of the content.
上記の構成によれば、属性情報に含まれる取得先情報を取得して、該取得先情報が示す取得先から第2多重化ストリームを取得する。そして、取得した第2多重化ストリームと、第1分離手段が分離した第2多重化ストリームのそれぞれに含まれるメディアデータが1つのコンテンツとして再生されるように分離する。よって、取得先情報を確実に利用できるようにすることができると共に、異なるネットワークから取得したストリームを組み合わせて再生することができる。
According to the above configuration, the acquisition destination information included in the attribute information is acquired, and the second multiplexed stream is acquired from the acquisition destination indicated by the acquisition destination information. Then, the media data included in each of the acquired second multiplexed stream and the second multiplexed stream separated by the first separation unit is separated so as to be reproduced as one content. Therefore, the acquisition destination information can be used reliably, and streams acquired from different networks can be combined and reproduced.
また、本発明の態様6に係る情報処理装置の制御方法は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離ステップと、上記属性情報に含まれる制御情報を取得して、該制御情報が上記第2多重化ストリームからのメディアデータの分離に利用されるように制御する制御ステップと、上記第2多重化ストリームからメディアデータを分離する第2分離ステップと、を含むことを特徴としている。この構成によれば、上記態様1の情報処理装置と同様の作用効果を奏する。
In addition, the control method of the information processing device according to aspect 6 of the present invention includes multiplexing the multiplexed stream received via the network using the first multiplexing method according to the attribute information received together with the multiplexed stream. A first separation step of separating a second multiplexed stream multiplexed by a second multiplexing scheme different from the first multiplexing scheme from the first multiplexed stream; and control information included in the attribute information And a control step for controlling the control information to be used for separation of media data from the second multiplexed stream; a second separation step for separating media data from the second multiplexed stream; It is characterized by including. According to this structure, there exists an effect similar to the information processing apparatus of the said aspect 1.
そして、本発明の態様7に係る情報処理装置の制御方法は、ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離ステップと、多重化ストリームの上記ネットワークとは異なるネットワークからの取得先を示す取得先情報を上記属性情報から取得する制御ステップと、上記第1分離ステップにて分離した上記第2多重化ストリームと、上記取得先情報が示す取得先から取得した第2多重化ストリームとを、当該第2多重化ストリームのそれぞれに含まれるメディアデータが1つのコンテンツとして再生されるように分離する第2分離ステップと、を含むことを特徴としている。この構成によれば、上記態様5の情報処理装置と同様の作用効果を奏する。
And the control method of the information processing apparatus concerning aspect 7 of this invention multiplexed the multiplexed stream received via the network with the 1st multiplexing system according to the attribute information received with this multiplexed stream. The first separation step of separating the second multiplexed stream multiplexed by the second multiplexing scheme different from the first multiplexing scheme from the first multiplexed stream, and the network of the multiplexed stream Acquired from the acquisition step indicated by the acquisition destination information, the control step of acquiring acquisition destination information indicating acquisition destinations from different networks from the attribute information, the second multiplexed stream separated in the first separation step, and the acquisition destination information The second multiplexed stream so that the media data included in each of the second multiplexed streams is reproduced as one content. It is characterized in that it comprises a second separation step of releasing, the. According to this structure, there exists an effect similar to the information processing apparatus of the said aspect 5.
また、本発明の態様8に係る情報処理装置(500)は、ネットワークを介して複数のパッケージ(サービス)を受信し再生する情報処理装置において、上記パッケージに含まれる多重化ストリーム(MMTストリーム)の受信に必要な制御情報(セッション情報)を取得し上記多重化ストリームの受信開始及び終了を制御するセッション制御手段と、上記多重化ストリームからメディアデータを分離する分離手段と、を備え、上記制御情報は、上記多重化ストリームが複数のパッケージから参照されているか否かを示す被参照情報を含むことを特徴とする。
The information processing apparatus (500) according to the eighth aspect of the present invention is an information processing apparatus that receives and reproduces a plurality of packages (services) via a network, and that includes a multiplexed stream (MMT stream) included in the package. Session control means for obtaining control information (session information) necessary for reception and controlling reception start and end of the multiplexed stream, and separation means for separating media data from the multiplexed stream, the control information Includes reference information indicating whether or not the multiplexed stream is referenced from a plurality of packages.
上記構成によれば、サービス切り替えにおいて、複数のサービスから参照されているMMTストリームのセッション終了処理を遅延させることによって、セッション再確立に伴う再生遅延を抑えることができる。さらに、セッション確立中のMMTストリームが複数存在する場合、被参照情報を参照して効率的にセッションを終了させることができる。
According to the above configuration, in the service switching, it is possible to suppress the reproduction delay associated with the session re-establishment by delaying the session termination process of the MMT stream referred to by a plurality of services. Furthermore, when there are a plurality of MMT streams for which a session is being established, the session can be efficiently terminated with reference to the referenced information.
また、本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報処理装置が備える各手段として動作させることにより上記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
Further, the information processing apparatus according to each aspect of the present invention may be realized by a computer. In this case, the information processing apparatus is operated by the computer by causing the computer to operate as each unit included in the information processing apparatus. A control program for the information processing apparatus to be realized and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Furthermore, a new technical feature can be formed by combining the technical means disclosed in each embodiment.
本発明は、多重化ストリームを受信する装置に利用することができる。
The present invention can be used for an apparatus that receives a multiplexed stream.
1、100、200、300、400、500 情報処理装置
11、111 TSデマックス部(第1分離手段)
12、112、212 コントローラ(制御手段)
13、113、313、413 MMTデマックス部(第2分離手段)
114 リマックス部(再多重化手段)
214 リマックス部(配列手段)
80 セッション制御部(セッション制御手段) 1, 100, 200, 300, 400, 500 Information processing device 11, 111 TS demax unit (first separation means)
12, 112, 212 Controller (control means)
13, 113, 313, 413 MMT demax section (second separating means)
114 Remax part (remultiplexing means)
214 Remax part (arrangement means)
80 Session control unit (session control means)
11、111 TSデマックス部(第1分離手段)
12、112、212 コントローラ(制御手段)
13、113、313、413 MMTデマックス部(第2分離手段)
114 リマックス部(再多重化手段)
214 リマックス部(配列手段)
80 セッション制御部(セッション制御手段) 1, 100, 200, 300, 400, 500
12, 112, 212 Controller (control means)
13, 113, 313, 413 MMT demax section (second separating means)
114 Remax part (remultiplexing means)
214 Remax part (arrangement means)
80 Session control unit (session control means)
Claims (6)
- ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段と、
上記第2多重化ストリームからメディアデータを分離する第2分離手段と、
上記属性情報に含まれる制御情報を取得して、該制御情報が上記第2分離手段による上記第2多重化ストリームの分離に利用されるように制御する制御手段と、を備えていることを特徴とする情報処理装置。 A multiplexed stream received via the network is different from the first multiplexed system from the first multiplexed stream multiplexed by the first multiplexing system according to the attribute information received together with the multiplexed stream. First separation means for separating a second multiplexed stream multiplexed by the second multiplexing method;
Second separation means for separating media data from the second multiplexed stream;
And control means for acquiring control information included in the attribute information and controlling the control information so as to be used for separation of the second multiplexed stream by the second separation means. Information processing apparatus. - 上記第2の多重化方式による多重化を行う再多重化手段を備え、
上記制御手段は、上記制御情報を上記再多重化手段に出力し、
上記再多重化手段は、上記制御手段が出力する上記制御情報を上記第2の多重化方式で多重化して、上記第1分離手段が分離した第2多重化ストリームと共に上記第2分離手段に出力することを特徴とする請求項1に記載の情報処理装置。 Re-multiplexing means for performing multiplexing by the second multiplexing method;
The control means outputs the control information to the remultiplexing means,
The re-multiplexing means multiplexes the control information output from the control means by the second multiplexing method, and outputs the multiplexed information to the second demultiplexing means together with the second multiplexed stream separated by the first demultiplexing means. The information processing apparatus according to claim 1, wherein: - 上記第1分離手段が受信する多重化ストリームには、上記第2多重化ストリームを分離するための分離情報が上記第2の多重化方式で多重化された状態で所定の間隔ごとに挿入されており、
上記制御情報は、上記第1分離手段が受信する多重化ストリームにおける上記分離情報の挿入間隔を示す情報を含み、
多重化された上記分離情報の後に、上記第1分離手段が分離した第2多重化ストリームが続くように、多重化された分離情報と当該第2多重化ストリームとを上記制御情報を用いて配列する配列手段を備え、
上記制御手段は、上記制御情報を上記配列手段に出力することを特徴とする請求項1または2に記載の情報処理装置。 In the multiplexed stream received by the first demultiplexing means, demultiplexing information for demultiplexing the second multiplexed stream is inserted at predetermined intervals in a state of being multiplexed by the second multiplexing method. And
The control information includes information indicating an insertion interval of the separation information in the multiplexed stream received by the first separation means,
The multiplexed separation information and the second multiplexed stream are arranged using the control information so that the second multiplexed stream separated by the first separation means follows the multiplexed separation information. Arranging means for
The information processing apparatus according to claim 1, wherein the control unit outputs the control information to the arrangement unit. - 上記制御情報は、上記第1分離手段が分離した第2多重化ストリームの代わりにまたは該第2多重化ストリームと共に再生する、上記第2の多重化方式で多重化された追加ストリームの、上記ネットワークとは異なるネットワークからの取得先を示す取得先情報を含み、
上記制御手段は、上記制御情報を上記第2分離手段に出力し、
上記第2分離手段は、上記取得先情報が示す取得先から上記追加ストリームを取得し、上記第1分離手段が分離した第2多重化ストリームの代わりにまたは該第2多重化ストリームと共に上記追加ストリームが再生されるように、上記追加ストリームおよび上記第1分離手段が分離した第2多重化ストリームの分離を行うことを特徴とする請求項1から3の何れか1項に記載の情報処理装置。 The control information is the network of the additional stream multiplexed by the second multiplexing method that is reproduced instead of or together with the second multiplexed stream separated by the first separation means. Includes acquisition source information that indicates the acquisition source from a different network,
The control means outputs the control information to the second separation means,
The second demultiplexing unit acquires the additional stream from the acquisition destination indicated by the acquisition destination information, and the additional stream instead of or together with the second multiplexed stream separated by the first demultiplexing unit. 4. The information processing apparatus according to claim 1, wherein the additional stream and the second multiplexed stream separated by the first separation unit are separated such that the additional stream is reproduced. - ネットワークを介して受信した多重化ストリームを、該多重化ストリームと共に受信した属性情報に従って、第1の多重化方式で多重化された第1多重化ストリームから、該第1の多重化方式とは異なる第2の多重化方式で多重化された第2多重化ストリームを分離する第1分離手段と、
多重化ストリームの上記ネットワークとは異なるネットワークからの取得先を示す取得先情報を上記属性情報から取得する制御手段と、
上記第1分離手段が分離した上記第2多重化ストリームと、上記取得先情報が示す取得先から取得した第2多重化ストリームとを、当該第2多重化ストリームのそれぞれに含まれるメディアデータが1つのコンテンツとして再生されるように分離する第2分離手段と、を備えていることを特徴とする情報処理装置。 A multiplexed stream received via the network is different from the first multiplexed system from the first multiplexed stream multiplexed by the first multiplexing system according to the attribute information received together with the multiplexed stream. First separation means for separating a second multiplexed stream multiplexed by the second multiplexing method;
Control means for acquiring acquisition source information indicating an acquisition source from a network different from the network of the multiplexed stream from the attribute information;
The second multiplexed stream separated by the first separation means and the second multiplexed stream acquired from the acquisition destination indicated by the acquisition destination information are media data included in each of the second multiplexed streams. An information processing apparatus comprising: a second separation unit that separates the content so as to be reproduced as one content. - ネットワークを介して複数のパッケージを受信し再生する情報処理装置において、
上記パッケージに含まれる多重化ストリームの受信に必要な制御情報を取得し上記多重化ストリームの受信開始及び終了を制御するセッション制御手段と、
上記多重化ストリームからメディアデータを分離する分離手段と、を備え、
上記制御情報は、上記多重化ストリームが複数のパッケージから参照されているか否かを示す被参照情報を含むことを特徴とする情報処理装置。 In an information processing apparatus that receives and reproduces a plurality of packages via a network,
Session control means for acquiring control information necessary for reception of the multiplexed stream included in the package and controlling reception start and end of the multiplexed stream;
Separating means for separating media data from the multiplexed stream,
The information processing apparatus, wherein the control information includes reference information indicating whether or not the multiplexed stream is referenced from a plurality of packages.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013152117 | 2013-07-22 | ||
JP2013-152117 | 2013-07-22 | ||
JP2013235553A JP2016171358A (en) | 2013-07-22 | 2013-11-14 | Information processing device |
JP2013-235553 | 2013-11-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015012063A1 true WO2015012063A1 (en) | 2015-01-29 |
Family
ID=52393114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/067370 WO2015012063A1 (en) | 2013-07-22 | 2014-06-30 | Information processing device |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2015012063A1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016129953A1 (en) * | 2015-02-13 | 2016-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for converting mmtp stream to mpeg-2ts |
JP2017118576A (en) * | 2017-02-09 | 2017-06-29 | シャープ株式会社 | Receiving device, receiving method, program, and storage medium |
JPWO2018180572A1 (en) * | 2017-03-31 | 2020-02-06 | ソニー株式会社 | Information processing apparatus, receiving apparatus, and information processing method |
JP2020058070A (en) * | 2019-12-26 | 2020-04-09 | マクセル株式会社 | Broadcast receiver and content output method |
JP2020061769A (en) * | 2019-12-26 | 2020-04-16 | マクセル株式会社 | Broadcast receiving device and content output method |
JP2021101585A (en) * | 2019-10-10 | 2021-07-08 | マクセル株式会社 | Broadcast receiver |
US11729455B2 (en) | 2015-07-24 | 2023-08-15 | Maxell, Ltd. | Broadcast receiving apparatus for receiving program contents based on location information |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012173389A2 (en) * | 2011-06-14 | 2012-12-20 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting/receiving media contents in multimedia system |
-
2014
- 2014-06-30 WO PCT/JP2014/067370 patent/WO2015012063A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012173389A2 (en) * | 2011-06-14 | 2012-12-20 | Samsung Electronics Co., Ltd. | Method and apparatus for transmitting/receiving media contents in multimedia system |
Non-Patent Citations (4)
Title |
---|
S. AOKI ET AL.: "A New Transport Scheme for Hybrid Delivery of Content over Broadcast and Broadband", 2011 IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING (BMSB),, 8 June 2011 (2011-06-08), pages 1 - 6, XP031894607, DOI: doi:10.1109/BMSB.2011.5954888 * |
SHUICHI AOKI ET AL.: "A Study on Media Transport Methods for Next-Generation Broadcasting Systems", ITE TECHNICAL REPORT, vol. 37, no. 9, 13 February 2013 (2013-02-13), pages 57 - 60, XP008179274 * |
SHUICHI AOKI: "Media Transport Technologies for Next Generation Broadcasting Systems", NHK SCIENCE AND TECHNICAL RESEARCH LABORATORIES R&D REPORT, vol. 140, 15 July 2013 (2013-07-15), pages 22 - 31, XP008180293 * |
TAKAYUKI NAKACHI ET AL.: "A Study on Using MPEG Media Transport for Network Supported Collaborative Work", IEICE TECHNICAL REPORT, vol. 113, no. 114, 27 June 2013 (2013-06-27), pages 15 - 20 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016129953A1 (en) * | 2015-02-13 | 2016-08-18 | Samsung Electronics Co., Ltd. | Method and apparatus for converting mmtp stream to mpeg-2ts |
KR20170116008A (en) * | 2015-02-13 | 2017-10-18 | 삼성전자주식회사 | Method and apparatus for converting mmtp stream to mpeg-2ts |
US10085051B2 (en) | 2015-02-13 | 2018-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for converting MMTP stream to MPEG-2TS |
KR102471088B1 (en) | 2015-02-13 | 2022-11-25 | 삼성전자주식회사 | Method and apparatus for converting mmtp stream to mpeg-2 ts |
US11729455B2 (en) | 2015-07-24 | 2023-08-15 | Maxell, Ltd. | Broadcast receiving apparatus for receiving program contents based on location information |
JP2017118576A (en) * | 2017-02-09 | 2017-06-29 | シャープ株式会社 | Receiving device, receiving method, program, and storage medium |
JPWO2018180572A1 (en) * | 2017-03-31 | 2020-02-06 | ソニー株式会社 | Information processing apparatus, receiving apparatus, and information processing method |
JP7160030B2 (en) | 2017-03-31 | 2022-10-25 | ソニーグループ株式会社 | Information processing device, receiving device, and information processing method |
JP2021101585A (en) * | 2019-10-10 | 2021-07-08 | マクセル株式会社 | Broadcast receiver |
JP7319319B2 (en) | 2019-10-10 | 2023-08-01 | マクセル株式会社 | Broadcast receiver |
JP2020058070A (en) * | 2019-12-26 | 2020-04-09 | マクセル株式会社 | Broadcast receiver and content output method |
JP2020061769A (en) * | 2019-12-26 | 2020-04-16 | マクセル株式会社 | Broadcast receiving device and content output method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015012063A1 (en) | Information processing device | |
JP6743704B2 (en) | Transmission device, transmission method, reception device, and reception method | |
US9479841B2 (en) | Method for transmitting/receiving internet-based content and transmitter/receiver using same | |
KR101356502B1 (en) | Method for transmitting a broadcasting signal, method for receiveing a broadcasting signal and apparatus for the same | |
KR101789633B1 (en) | Apparatus and method for transmitting and receiving contents based on internet | |
KR20130014428A (en) | Transmission apparatus and method, and reception apparatus and method for providing 3d service using the content and additional image seperately transmitted with the reference image transmitted in real time | |
US9819977B2 (en) | Method for transmitting/receiving internet-based content and transmitter/receiver using same | |
JP6078046B2 (en) | Generating device, reproducing device, generating method and reproducing method | |
CN101232613B (en) | Method of transmitting/receiving digital contents and apparatus for receiving digital contents | |
US9479559B2 (en) | Method for transmission/reception of internet-based content and transmitter/receiver using same | |
US20150373076A1 (en) | Method for transmitting/receiving internet-based content and transmitter/receiver using same | |
WO2016006659A1 (en) | Transmission device, transmission method, receiving device, and receiving method | |
JP2016171358A (en) | Information processing device | |
KR102391586B1 (en) | Method for encapsulating audiovisual content streams in mpeg2 private sections, device for encapsulating audiovisual content in mpeg2 private sections to be multiplexed in a mpeg2 transport stream; interactive application for digital tv; user device; method for transmission of audiovisual content and/or data and communication protocol for data networks | |
KR101414638B1 (en) | IPTV receiver and method of changing channel | |
WO2016208417A1 (en) | Data processing device, data processing method and program | |
JP5174380B2 (en) | Content receiving apparatus, content reproducing apparatus, content receiving / reproducing apparatus, content receiving method, content reproducing method, content receiving / reproducing method, content reproducing system, program, and computer-readable recording medium recording the program | |
KR20140004045A (en) | Transmission apparatus and method, and reception apparatus and method for providing 3d service using the content and additional image seperately transmitted with the reference image transmitted in real time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14829596 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14829596 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |