WO2016002573A1 - データ処理装置、受信装置、データ処理方法、およびプログラム - Google Patents

データ処理装置、受信装置、データ処理方法、およびプログラム Download PDF

Info

Publication number
WO2016002573A1
WO2016002573A1 PCT/JP2015/067978 JP2015067978W WO2016002573A1 WO 2016002573 A1 WO2016002573 A1 WO 2016002573A1 JP 2015067978 W JP2015067978 W JP 2015067978W WO 2016002573 A1 WO2016002573 A1 WO 2016002573A1
Authority
WO
WIPO (PCT)
Prior art keywords
time information
stream
packet
streams
multiplexed
Prior art date
Application number
PCT/JP2015/067978
Other languages
English (en)
French (fr)
Inventor
道人 石井
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2016531282A priority Critical patent/JP6518247B2/ja
Priority to US15/321,058 priority patent/US10178040B2/en
Priority to EP15815716.4A priority patent/EP3166322B1/en
Publication of WO2016002573A1 publication Critical patent/WO2016002573A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/23Bit dropping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/28Flow control; Congestion control in relation to timing considerations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/32Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/56Queue scheduling implementing delay-aware scheduling
    • H04L47/562Attaching a time tag to queues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/1059End-user terminal functionalities specially adapted for real-time communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W74/00Wireless channel access
    • H04W74/08Non-scheduled access, e.g. ALOHA
    • H04W74/0833Random access procedures, e.g. with 4-step access
    • H04W74/0841Random access procedures, e.g. with 4-step access with collision treatment
    • H04W74/085Random access procedures, e.g. with 4-step access with collision treatment collision avoidance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/62Queue scheduling characterised by scheduling criteria
    • H04L47/6245Modifications to standard FIFO or LIFO

Definitions

  • the present disclosure relates to a data processing device, a receiving device, a data processing method, and a program, and in particular, a data processing device, a receiving device, a data processing method, and a data processing device capable of suppressing deterioration in quality when data is reproduced. And program.
  • CI Common Interface
  • CAS Consumer Access System
  • Patent Document 1 discloses a digital broadcast receiving system that enables a plurality of streams to be converted into a single combined stream and satisfactorily transmitted to and received from an external device.
  • a receiving apparatus that receives a plurality of streams includes a FIFO (First In In First Out) section in order to avoid a collision when a plurality of TSs are multiplexed into one multiplexed TS. Then, in order to suppress the bit rate of the multiplexed TS, the receiving apparatus converts an unnecessary packet included in the multiplexed TS into a null packet (null packet), and places the null packet at another TS. Performs processing to replace the included valid packet.
  • FIFO First In In First Out
  • the STC System Clock Reference
  • (Time Clock) is generated and video and audio are decoded based on the STC, decoding is performed with the time axis broken. For this reason, conventionally, for example, when video or audio is reproduced, if skipping or repeating is performed, the quality may be deteriorated.
  • the present disclosure has been made in view of such a situation, and is intended to suppress deterioration in quality when data is reproduced.
  • a data processing apparatus selects a packet that forms each service stream from a multiplexed stream obtained by multiplexing a plurality of service streams, and generates a single service stream And a predetermined number of null packets with time information with predetermined time information added to the payload in an area vacated when a single service stream is generated by the predetermined number of packet selection units.
  • the demultiplexing unit for demultiplexing and the timing for outputting the null packet with time information are defined as the null packet with time information.
  • an output timing adjusting unit that adjusts by referring to the time information attached to the bets.
  • a receiving apparatus includes: a demodulator that performs decoding on a broadcast wave to obtain a multiplexed stream; and the multiplexed stream in which a plurality of service streams are multiplexed, and configures each service stream A predetermined number of packet selection units that generate one service stream, and a predetermined time information in an area that is vacant when a predetermined number of packet selection units generate one service stream.
  • a demultiplexing unit that demultiplexes the stream multiplexed by the unit into a predetermined number of streams, and the null packet with time information.
  • Output timing adjustment unit that adjusts the output timing with reference to time information given to the null packet with time information, and decodes video and audio included in the stream output from the output timing adjustment unit A decoding unit.
  • a data processing method or program generates a single service stream by selecting a packet constituting each service stream from a multiplexed stream obtained by multiplexing a plurality of service streams. Insert null packets with time information with predetermined time information added to the payload into an area vacated when generating a stream of one service, and a predetermined number of streams into which the null packets with time information are inserted. The step of multiplexing, demultiplexing the multiplexed streams into a predetermined number of streams, and adjusting the timing of outputting the null packet with time information with reference to the time information attached to the null packet with time information including.
  • one service stream is generated by selecting a packet constituting each service stream from a multiplexed stream obtained by multiplexing a plurality of service streams.
  • a null packet with time information with predetermined time information added to the payload is inserted into an area that is freed when generating a stream, and a predetermined number of streams into which the null packets with time information are inserted are multiplexed and multiplexed.
  • the divided streams are demultiplexed into a predetermined number of streams, and the timing of outputting the null packet with time information is adjusted with reference to the time information attached to the null packet with time information.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of a conventional receiving apparatus that receives one stream.
  • the receiving device 11 is connected with a display 12 and a speaker 13 and an antenna (not shown). And the receiver 11 displays an image
  • the receiving device 11 includes a demodulation LSI 21, a decode LSI 22, a CI module 23, and a memory 24.
  • the demodulation LSI 21 includes a tuner 31 and a demodulation unit 32, and is obtained by frequency-converting an RF (Radio Frequency) signal supplied by the antenna by receiving a broadcast wave and demodulating by the demodulation unit 32. This TS is supplied to the decode LSI 22.
  • RF Radio Frequency
  • the decode LSI 22 includes a demultiplexer 41, a video decoder 42, an audio decoder 43, and a CPU 44.
  • the demultiplexer 41, the video decoder 42, and the audio decoder 43 perform processing according to control by the CPU 44. For example, after the demultiplexer 41 supplies the TS from the demodulation LSI 21 to the CI module 23, the demultiplexer 41 separates the TS returned from the CI module 23 into video ES (Elementary Stream) and audio ES according to PID (packet ID). To the video decoder 42 and the audio decoder 43, respectively.
  • the video decoder 42 decodes the video ES into baseband and outputs it to the display 12, and the audio decoder 43 decodes the audio ES into baseband and outputs it to the speaker 13.
  • the CI module 23 performs processing for descrambling the TS and returning it to the demultiplexer 41 after exchanging the key for the scrambled TS supplied from the demultiplexer 41.
  • the memory 24 appropriately stores data necessary for the decoding LSI 22 to perform processing.
  • the receiving device 11 configured as described above can receive one stream, display a video included in the stream, and output audio.
  • FIG. 2 is a block diagram showing a configuration example of a conventional receiving apparatus that receives a plurality of streams.
  • the receiving device 51 is configured to be able to receive four streams including three RF signals and one IP signal.
  • the receiving device 51 is supplied with three RF signals received by an antenna (not shown) and one IP (Internet Protocol) signal distributed via a network such as the Internet.
  • the receiving device 51 displays an image on a display (not shown) and outputs sound from a speaker (not shown).
  • the reception device 51 includes a front end unit 52, a multi-stream processor 53, a CI module 54, and a decoding unit 55.
  • the front end unit 52 includes three tuners 61-1 to 61-3, three demodulation units 62-1 to 62-3, and an IP network interface 63.
  • the tuners 61-1 to 61-3 supply the IF signals obtained by performing frequency conversion on the supplied RF signals to the demodulation units 62-1 to 62-3.
  • the demodulating units 62-1 to 62-3 demodulate the supplied IF signals to acquire TS, and supply the TS to the decoding unit 55.
  • the IP network interface 63 is connected to a network such as the Internet, acquires a TS from an IP signal distributed via the network, and supplies the TS to the decoding unit 55.
  • the multi-stream processor 53 includes three PID selection units 71-1 to 71-3, an IP transmission processing unit 72, a TS multiplexer 73, and a TS demultiplexer 74.
  • the PID selection units 71-1 to 71-3 select only the packets constituting each corresponding stream (service) according to the PID included in the TS supplied from the demodulation units 62-1 to 62-3, and are unnecessary. An empty area is provided by converting the packet into a null packet. As a result, the PID selection units 71-1 to 71-3 each generate a partial TS, which is a partial TS reconstructed by only the packets constituting the desired stream, and supply the partial TS to the TS multiplexer 73.
  • the IP transmission processing unit 72 generates a partial TS from the TS supplied from the IP network interface 63 and supplies it to the TS multiplexer 73 in the same manner as the PID selection units 71-1 to 71-3.
  • the TS has a maximum bit rate of 96 Mbps, and the CI module 54 can only accept processing up to 96 Mbps. Therefore, it is necessary to reduce the bit rate when multiplexing four streams, and the PID selection units 71-1 to 71-3 and the IP transmission processing unit 72 select a partial TS that selects only necessary packets. By generating the bit rate, the bit rate can be reduced. In the partial TS, only some main sections and packets including video ES and audio ES are selected, and the others are replaced with null packets.
  • the TS multiplexer 73 multiplexes the four partial TSs supplied from the PID selection units 71-1 to 71-3 and the IP transmission processing unit 72 to generate one multiplexed TS, and sends it to the CI module 54. Supply.
  • the TS multiplexer 73 performs multiplexing by extracting and arranging all TSs with the same priority, such as round robin, for four TSs.
  • the TS demultiplexer 74 demultiplexes the multiplexed TS, which is scrambled by the CI module 54 and further subjected to local encryption, into the original four partial TSs, and supplies the demultiplexed TS to the decoding unit 55.
  • the CI module 54 includes a descrambling unit 81 and an encryption unit 82.
  • the descrambling unit 81 descrambles the scrambled multiplexed TS supplied from the TS multiplexer 73 and supplies the descrambled TS to the encryption unit 82.
  • the encryption unit 82 performs local encryption on the multiplexed TS supplied from the descrambling unit 81 (for example, by applying Content control Encryption) and returns the multiplexed TS to the TS demultiplexer 74. .
  • the decoding unit 55 includes four demultiplexers 91-1 to 91-4, a video decoder 92, an audio decoder 93, and three storages 94-1 to 94-3.
  • the four partial TSs demultiplexed by the TS demultiplexer 74 are supplied to the demultiplexers 91-1 to 91-4, respectively. Then, the demultiplexers 91-1 to 91-4 separate and output the video ES, audio ES, and the like from each partial TS. For example, the partial TS to be reproduced is supplied to the demultiplexer 91-1, and the demultiplexer 91-1 supplies the video ES separated from the partial TS to the video decoder 92 and the audio ES to the audio decoder. 93.
  • the video decoder 92 decodes the video ES supplied from the demultiplexer 91-1, supplies it to a display (not shown), and displays the video.
  • the audio decoder 93 decodes the audio ES supplied from the demultiplexer 91-1, supplies it to a speaker (not shown), and outputs the audio.
  • the storages 94-1 to 94-3 are supplied with video ES and audio ES for each partial TS separated by the demultiplexers 91-2 to 91-4, and are stored in the storages 94-1 to 94-3.
  • the reception device 51 configured as described above receives a plurality of streams, displays the video included in the stream to be reproduced, outputs the audio, and stores the video and audio included in the other streams. can do.
  • FIG. 3 shows one TS supplied to one PID selection unit 71, showing the time direction in which packets are input or output from the right side to the left side, and from the upper side to the lower side.
  • the TS obtained by performing each process in turn is shown.
  • a packet V including a video ES, a packet A including an audio ES, and a section S including various metadata are arranged in a predetermined arrangement. ing.
  • the PID selection unit 71 selects only the packet V and the packet A, for example, and replaces an unnecessary PID packet with a null packet N, thereby generating a partial TS.
  • (1) and (6) shown below the two packets V indicate PCR.
  • the packet O constituting another stream is inserted at the position where the null packet N of the partial TS output from the PID selection unit 71 is arranged, and multiplexed. TS is generated. Thereafter, the multiplexed TS is demultiplexed by the TS demultiplexer 74, and the output TS is output from the multi-stream processor 53.
  • the interval between the packet V with PCR (1) and the packet V with PCR (6) is shown in the figure. However, the time axis will be broken. If the output TS is decoded in such a state, the quality of the video deteriorates.
  • the output TS has no null packet that existed in the partial TS before multiplexing, and the time information is advanced, so when the output TS is reproduced in this state, Playback with a fast clock will be performed. Therefore, the buffer model breaks down, and decoding occurs in time and skipping occurs or repeats occur due to error concealment appear in the video. In addition, silence is frequently generated in the voice.
  • FIG. 4 is a block diagram illustrating a configuration example of the first embodiment of the reception device 101 to which the present technology is applied.
  • the same reference numerals are given to components common to the receiving apparatus 51 in FIG. 2, and detailed description thereof is omitted. That is, the receiving apparatus 101 is configured in common with the receiving apparatus 51 of FIG. 2 in that the receiving apparatus 101 includes a front end unit 52, a CI module 54, and a decoding unit 55. However, the receiving apparatus 101 is configured differently from the receiving apparatus 51 of FIG. 2 in that the receiving apparatus 101 includes a multi-stream processor 121 having a configuration different from that of the multi-stream processor 53 of the receiving apparatus 51 of FIG.
  • the multi-stream processor 121 includes three PID selection units 71-1 to 71-3, an IP transmission processing unit 72, a TS multiplexer 73, and a TS demultiplexer 74, similarly to the multi-stream processor 53 of the receiving device 51 of FIG. In addition to having four insertion units 122-1 to 122-4, four FIFOs 123-1 to 123-4, four packet shift units 124-1 to 124-4, and a clock generation unit 125 Is done.
  • Inserting sections 122-1 to 122-4 add null packets added with time information according to the clock generated by clock generating section 125 (hereinafter referred to as null packets with time information) to PID selecting sections 71-1 to 71-1. 71-3 and the partial TS supplied from the IP sending processing unit 72.
  • the insertion units 122-1 to 122-4 detect a packet having PCR included in the partial TS, and add time information to the payload portion of the nearest null packet by going back the time axis from the detected packet.
  • the null packet is replaced with a null packet with time information.
  • the FIFOs 123-1 to 123-4 are the packets selected as necessary packets by the PID selection units 71-1 to 71-3 and the IP transmission processing unit 72, and the times inserted by the insertion units 122-1 to 122-4. Temporarily holds null packets with information.
  • the packets held in the FIFOs 123-1 to 123-4 are sequentially read out to the TS multiplexer 73 for each TS series.
  • the packet shift units 124-1 to 124-4 are arranged after the TS demultiplexer 74 and supplied with partial TSs demultiplexed by the TS demultiplexer 74. Further, the time information generated by the clock generation unit 125 is supplied to the packet shift units 124-1 to 124-4 with an offset.
  • the packet shift units 124-1 to 124-4 compare the time information from the clock generation unit 125 with the null packet with time information included in the partial TS, and output the null packet with time information. Adjust. For example, the packet shift units 124-1 to 124-4 output null packets with time information to the decoding unit 55 at the same timing as the time information from the clock generation unit 125 or after the time information.
  • the clock generation unit 125 generates time information with a constant clock and supplies the time information to the insertion units 122-1 to 122-4 and the packet shift units 124-1 to 124-4.
  • the receiving apparatus 101 configured as described above inserts a null packet with time information according to the clock generated by the clock generation unit 125, and then adjusts the output timing based on the null packet with time information.
  • the arrival time of the packet can be correctly reproduced.
  • FIG. 5 as in FIG. 3, a video packet V, an audio packet A, a section S, and a null packet N are illustrated, and a null packet with time information inserted by the insertion units 122-1 to 122-4. T is illustrated.
  • the insertion unit 122 generates a TS with time information by inserting a null packet with time information into an area vacated by replacing the null packet N when generating a partial TS.
  • the insertion unit 122 inserts the null packet T with time information by adding the time information of the time stamp # 0 to the payload portion of the null packet N immediately before the packet V with the PCR of (1).
  • the inserting unit 122 inserts the null packet T with time information by adding the time information of the time stamp # 5 to the payload portion of the null packet N immediately before the packet V with the PCR of (6).
  • the TS with time information is multiplexed in the TS multiplexer 73, so that the packet O constituting another stream is inserted and a multiplexed TS is generated. Thereafter, the demultiplexed TS obtained by demultiplexing the multiplexed TS by the TS demultiplexer 74 is supplied to the packet shift unit 124.
  • the packet shift units 124-1 to 124-4 adjust the timing of outputting the null packet T with time information of time stamp # 5 according to the time information generated by the clock generation unit 125, and insert the null packet N To delay.
  • the arrival time before multiplexing can be guaranteed.
  • the packet following the null packet T with time information of time stamp # 5 is not missing, arrival time information is guaranteed.
  • the arrival time information of the packet having the PCR is correct, and the STC generated by the clock recovery based on the PCR can restore the time information on the transmission side.
  • the reception apparatus 101 starts a process of receiving a multiplexed stream and a packet constituting the TS demodulated by the front end unit 52 is supplied to the multi-stream processor 121, the process is started.
  • step S11 the PID selection units 71-1 to 71-3 and the IP transmission processing unit 72 select and reconfigure only the packets constituting the TS of the corresponding service according to the PIDs included in the supplied packets.
  • the generated partial TS is generated and supplied to the insertion units 122-1 to 122-4.
  • packets constituting the TS other than the services to which the PID selection units 71-1 to 71-3 and the IP transmission processing unit 72 respectively correspond are replaced with null packets.
  • step S12 the insertion units 122-1 to 122-4 insert null packets with time information into the supplied partial TSs according to the clock generated by the clock generation unit 125, and the FIFOs 123-1 to 123-4. To hold each.
  • step S13 the TS multiplexer 73 appropriately reads out the packets held in the FIFOs 123-1 to 123-4, multiplexes four streams, and supplies them to the CI module 54.
  • step S14 the TS demultiplexer 74 demultiplexes the multiplexed stream supplied from the CI module 54 into four partial TSs, and supplies them to the packet shift units 124-1 to 124-4, respectively.
  • step S15 the packet shift units 124-1 to 124-4 adjust the timing of outputting the null packet with time information according to the time information supplied from the clock generation unit 125.
  • the receiving apparatus 101 can correctly reproduce the arrival time of the packet by using the null packet with time information. As a result, it is possible to prevent quality degradation when performing an operation of skipping or repeating video and audio. In addition, the receiving apparatus 101 can check whether time information is added by probing the interface with the CI module 54.
  • FIG. 7 is a block diagram illustrating a configuration example of a second embodiment of a receiving device to which the present technology is applied.
  • the same reference numerals are given to components common to the receiving apparatus 101 in FIG. 4, and detailed description thereof is omitted. That is, the receiving apparatus 101A is configured in common with the receiving apparatus 101 in FIG. 4 in that the receiving apparatus 101A includes a front end unit 52, a CI module 54, and a decoding unit 55. However, the receiving apparatus 101A has a multi-stream processor 121A configured differently from the multi-stream processor 121 of the receiving apparatus 101 in FIG.
  • the multi-stream processor 121A includes PID selection units 71-1 to 71-3, an IP transmission processing unit 72, a TS multiplexer 73, a TS demultiplexer 74, insertion units 122-1 to 122-4, FIFOs 123-1 to 123-4,
  • the configuration is the same as that of the multi-stream processor 121 of FIG.
  • the multi-stream processor 121A is configured differently from the multi-stream processor 121 of FIG. 4 in that it includes a FIFO 131 and a packet shift unit 132.
  • the multi-stream processor 121A supplies the multiplexed TS in which the TS with time information into which the null packet with time information is inserted by the insertion units 122-1 to 122-4 is multiplexed in the TS multiplexer 73 to the CI module 54. .
  • the multi-stream processor 121A is configured such that the multiplexed TS returned from the CI module 54 is temporarily held in the FIFO 131 and then supplied to the packet shift unit 132.
  • the packet shift unit 132 reads the multiplexed TS from the FIFO 131 and supplies it to the TS demultiplexer 74. At this time, the packet shift unit 132 adjusts the timing for outputting the null packet with time information according to the time information supplied from the clock generation unit 125, similarly to the packet shift units 124-1 to 124-4 in FIG. .
  • the receiving apparatus 101A configured as described above can guarantee the arrival time at the stage of input to the TS demultiplexer 74 by disposing only one packet shift unit 132 before the TS demultiplexer 74.
  • the receiving apparatus 101A can avoid the possibility that the arrival time will pass if the arrangement is unchanged in a multiplexed TS in which a plurality of TSs are multiplexed.
  • the packet shift unit 132 can adjust the delay of reading from the FIFO 131 or the immediate reading so that the packet output to the TS demultiplexer 74 can be set at a constant interval.
  • the receiving apparatus 101 may replace, for example, a null packet with a null packet with time information, or may replace a PID packet that is not used with a null packet with time information.
  • the null packet with time information has a life span before the demultiplexer 91, and thus does not affect the PID filter as a system.
  • PIDs that are not used can be changed dynamically.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • the input / output interface 205 includes an input unit 206 composed of a keyboard, mouse, microphone, etc., an output unit 207 composed of a display, a speaker, etc., a storage unit 208 composed of a hard disk or nonvolatile memory, and a communication unit 209 composed of a network interface.
  • a drive 210 for driving a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 201 loads, for example, the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. Is performed.
  • Programs executed by the computer (CPU 201) are, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor.
  • the program is recorded on a removable medium 211 that is a package medium composed of a memory or the like, or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • this technique can also take the following structures.
  • a predetermined number of packet selectors that select packets constituting each service stream from a multiplexed stream in which a plurality of service streams are multiplexed, and generate one service stream;
  • a predetermined number of insertion units for inserting null packets with time information in which predetermined time information is added to a payload in an area vacated when a predetermined number of the packet selection units generate a stream of one service;
  • a multiplexing unit that multiplexes a predetermined number of streams into which the null packets with time information are inserted by a predetermined number of the insertion units;
  • a demultiplexing unit that demultiplexes the streams multiplexed by the multiplexing unit into a predetermined number of streams;
  • a data processing apparatus comprising: an output timing adjustment unit that adjusts a timing at which the null packet with time information is output with reference to time information attached to the null packet with time information.
  • the data processing device further including a clock generation unit that supplies time information generated with a constant clock to the insertion unit and the output timing adjustment unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 本開示は、データを再生する際の品質の劣化を抑制することができるようにするデータ処理装置、受信装置、データ処理方法、およびプログラムに関する。 パケット選択部は、複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成し、挿入部は、所定数のパケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する。そして、多重化された後に多重分離されたストリームにおいて、時刻情報付きヌルパケットを出力するタイミングが、時刻情報付きヌルパケットに付与されている時刻情報を参照して調整される。本技術は、例えば、複数のストリームを受信することができる受信装置に適用できる。

Description

データ処理装置、受信装置、データ処理方法、およびプログラム
 本開示は、データ処理装置、受信装置、データ処理方法、およびプログラムに関し、特に、データを再生する際の品質の劣化を抑制することができるようにしたデータ処理装置、受信装置、データ処理方法、およびプログラムに関する。
 従来、ヨーロッパにおけるデジタルテレビ放送では、暗号化された放送を限定的に受信するシステム(CAS: Conditional Access System)を実現するために、コモンインタフェース(CI: Common Interface)が用いられている。コモンインタフェース(version 1.4)では、複数本のストリームを取り扱うことができるようになり、複数本のTS(Transport Stream)が多重化(Multiplex)された1本の多重化TSが、CIモジュールに供給される。
 例えば、特許文献1には、複数本のストリームを1本の合成ストリームにして外部機器との間で良好に送受信可能とするデジタル放送受信システムが開示されている。
 ところで、複数本のストリームを受信する受信装置は、複数本のTSを1本の多重化TSに多重化する際の衝突を避けるため、FIFO(First In First Out)部を備えることになる。そして、受信装置は、多重化されたTSのビットレートを抑制するために、多重化されるTSに含まれる不要なパケットをヌルパケット(null packet)化し、そのヌルパケットの位置に他のTSに含まれる有効パケットを置き換える処理を行う。
 このとき、多重化TSの総ビットレートを抑制するために、通常のヌルパケットは破棄される。従って、元々のヌルパケットの数が保障されないことより、後段の復号部にパケットが到着する到着時間が、前倒しされたり、存在していたヌルパケットよりも多くの他のTSのパケットが挿入されることによって後ろ伸ばしされたりすることがあった。
特開2014-7476号公報
 上述したように、後段の復号部に到着するパケットの到着時間が保障されなくなると、パケットの到着時間間隔が一定であるという前提の上に成り立つPCR(Program Clock Reference)値を用いてSTC(System Time Clock)を生成し、そのSTCをベースに映像および音声を復号する際に、時間軸が破綻した状態で復号が行われることになる。このため、従来、例えば、映像および音声を再生する際に、スキップまたはリピートなどを行うと、品質が劣化することがあった。
 本開示は、このような状況に鑑みてなされたものであり、データを再生する際の品質の劣化を抑制することができるようにするものである。
 本開示の一側面のデータ処理装置は、複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成する所定数のパケット選択部と、所定数の前記パケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する所定数の挿入部と、所定数の前記挿入部により前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化する多重化部と、前記多重化部により多重化されたストリームを所定数のストリームに多重分離する多重分離部と、前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する出力タイミング調整部とを備える。
 本開示の一側面の受信装置は、放送波に対する復号を行って多重化ストリームを取得する復調部と、複数のサービスのストリームが多重化された前記多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択し、1つのサービスのストリームを生成する所定数のパケット選択部と、所定数の前記パケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する所定数の挿入部と、所定数の前記挿入部により前記時刻情報付きヌルパケットが挿入されたストリームを多重化する多重化部と、前記多重化部により多重化されたストリームを所定数のストリームに多重分離する多重分離部と、前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する出力タイミング調整部と、前記出力タイミング調整部から出力される前記ストリームに含まれる映像および音声を復号する復号部とを備える。
 本開示の一側面のデータ処理方法またはプログラムは、複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成し、1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入し、前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化し、多重化されたストリームを所定数のストリームに多重分離し、前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整するステップを含む。
 本開示の一側面においては、複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームが生成され、1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットが挿入され、前記時刻情報付きヌルパケットが挿入された所定数のストリームが多重化され、多重化されたストリームが所定数のストリームに多重分離され、前記時刻情報付きヌルパケットを出力するタイミングが、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整される。
 本開示の一側面によれば、データを再生する際の品質の劣化を抑制することができる。
1本のストリームを受信する従来の受信装置の構成例を示すブロック図である。 複数本のストリームを受信する従来の受信装置の構成例を示すブロック図である。 従来の処理におけるパケットの並びについて説明する図である。 本技術を適用した受信装置の第1の実施の形態の構成例を示すブロック図である。 受信装置により処理されるパケットの並びについて説明する図である。 マルチストリームプロセッサにおいて行われるデータ処理を説明するフローチャートである。 受信装置の第2の実施の形態の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
 以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
 まず、図1乃至図3を参照して、従来の受信装置について説明する。
 図1は、1本のストリームを受信する従来の受信装置の構成例を示すブロック図である。
 受信装置11には、ディスプレイ12およびスピーカ13が接続されるとともに、図示しないアンテナが接続されている。そして、受信装置11は、アンテナにより受信される放送波に基づいて、ディスプレイ12に映像を表示するとともに、スピーカ13から音声を出力する。
 図1に示すように、受信装置11は、復調LSI21、デコードLSI22、CIモジュール23、およびメモリ24を備えて構成される。
 復調LSI21は、チューナ31および復調部32を有しており、アンテナが放送波を受信して供給するRF(Radio Frequency)信号をチューナ31により周波数変換し、復調部32により復調することにより取得されるTSを、デコードLSI22に供給する。
 デコードLSI22は、デマルチプレクサ41、ビデオデコーダ42、オーディオデコーダ43、およびCPU44を有しており、デマルチプレクサ41、ビデオデコーダ42、およびオーディオデコーダ43は、CPU44による制御に従って処理を行う。例えば、デマルチプレクサ41は、復調LSI21からのTSをCIモジュール23に供給した後、CIモジュール23から戻されたTSを、PID(パケットID)に従って映像ES(Elementary Stream)および音声ESに分離して、ビデオデコーダ42およびオーディオデコーダ43にそれぞれ供給する。そして、ビデオデコーダ42は、映像ESをベースバンドにデコードしてディスプレイ12に出力し、オーディオデコーダ43は、音声ESをベースバンドにデコードしてスピーカ13に出力する。
 CIモジュール23は、デマルチプレクサ41から供給されるスクランブルされているTSに対して鍵の交換などを行った後、TSをデスクランブルしてデマルチプレクサ41に戻す処理を行う。
 メモリ24は、デコードLSI22が処理を行うのに必要なデータを適宜記憶する。
 このように構成される受信装置11では、1本のストリームを受信して、そのストリームに含まれる映像を表示し、音声を出力することができる。
 図2は、複数本のストリームを受信する従来の受信装置の構成例を示すブロック図である。
 図2の構成例では、受信装置51は、3本のRF信号と1本のIP信号とを含む4本のストリームを受信可能に構成されている。例えば、受信装置51には、図示しないアンテナが受信した3本のRF信号が供給されるとともに、インターネットなどのネットワークを介して配信される1本のIP(Internet Protocol)信号が供給される。そして、受信装置51は、図示しないディスプレイに映像を表示するとともに、図示しないスピーカから音声を出力する。
 図2に示すように、受信装置51は、フロントエンド部52、マルチストリームプロセッサ53、CIモジュール54、およびデコード部55を備えて構成される。
 フロントエンド部52は、3つのチューナ61-1乃至61-3、3つの復調部62-1乃至62-3、および、IPネットワークインタフェース63を有して構成される。
 チューナ61-1乃至61-3は、それぞれ供給されるRF信号に対して周波数変換を施すことにより得られたIF信号を、復調部62-1乃至62-3に供給する。
 復調部62-1乃至62-3は、それぞれ供給されるIF信号を復調してTSを取得し、デコード部55に供給する。
 IPネットワークインタフェース63は、インターネットなどのネットワークに接続されており、ネットワークを介して配信されるIP信号からTSを取得し、デコード部55に供給する。
 マルチストリームプロセッサ53は、3つのPID選択部71-1乃至71-3、IP送付処理部72、TSマルチプレクサ73、およびTSデマルチプレクサ74を有して構成される。
 PID選択部71-1乃至71-3は、復調部62-1乃至62-3から供給されるTSに含まれるPIDに従って、それぞれ対応するストリーム(サービス)を構成するパケットだけを選択し、不要なパケットをヌルパケット化することで、空いた領域を設ける。これにより、PID選択部71-1乃至71-3は、それぞれ所望のストリームを構成するパケットだけにより再構築された部分的なTSであるパーシャルTSを生成し、TSマルチプレクサ73に供給する。
 IP送付処理部72は、PID選択部71-1乃至71-3と同様に、IPネットワークインタフェース63から供給されるTSからパーシャルTSを生成し、TSマルチプレクサ73に供給する。
 ここで、TSは最大で96Mbpsのビットレートを有し、さらに、CIモジュール54も最大で96Mbpsまでしか処理を受け付けることができない。従って、4本分のストリームを多重化する際にビットレートを低減する必要があり、PID選択部71-1乃至71-3およびIP送付処理部72が、必要なパケットだけを選択したパーシャルTSを生成することで、ビットレートの低減が図られる。パーシャルTSでは、いくつかの主要なセクションと、映像ESおよび音声ESを含むパケットだけが選択され、それ以外はヌルパケットに置き換えられる。
 TSマルチプレクサ73は、PID選択部71-1乃至71-3およびIP送付処理部72から供給される4本のパーシャルTSを多重化して、1本の多重化TSを生成して、CIモジュール54に供給する。例えば、TSマルチプレクサ73は、4本のTSに対しラウンドロビン(round robin)のように、全てのTSを同一の優先度で取り出して並べることで、多重化を行う。
 TSデマルチプレクサ74は、CIモジュール54においてスクランブルされ、さらにローカル暗号化が施された多重化TSを、元の4本のパーシャルTSに多重分離して、デコード部55に供給する。
 CIモジュール54は、デスクランブル部81および暗号化部82を有して構成される。
 デスクランブル部81は、TSマルチプレクサ73から供給されるスクランブルされている多重化TSを、デスクランブルして暗号化部82に供給する。
 暗号化部82は、デスクランブル部81から供給される多重化TSに対してローカル暗号化を施して(例えば、Content control Encryptionをかけるなどして)、その多重化TSをTSデマルチプレクサ74に戻す。
 デコード部55は、4つのデマルチプレクサ91-1乃至91-4、ビデオデコーダ92、オーディオデコーダ93、および3つのストレージ94-1乃至94-3を有して構成される。
 デマルチプレクサ91-1乃至91-4には、TSデマルチプレクサ74において多重分離された4本のパーシャルTSがそれぞれ供給される。そして、デマルチプレクサ91-1乃至91-4は、それぞれのパーシャルTSから映像ESや音声ESなどを分離して出力する。例えば、デマルチプレクサ91-1には、再生対象となっているパーシャルTSが供給され、デマルチプレクサ91-1は、そのパーシャルTSから分離した映像ESをビデオデコーダ92に供給し、音声ESをオーディオデコーダ93に供給する。
 ビデオデコーダ92は、デマルチプレクサ91-1から供給される映像ESを復号して、図示しないディスプレイに供給して、映像を表示させる。
 オーディオデコーダ93は、デマルチプレクサ91-1から供給される音声ESを復号して、図示しないスピーカに供給して、音声を出力させる。
 ストレージ94-1乃至94-3には、デマルチプレクサ91-2乃至91-4により分離されたパーシャルTSごとの映像ESおよび音声ESが供給され、ストレージ94-1乃至94-3に保管される。
 このように構成される受信装置51では、複数本のストリームを受信して、再生対象のストリームに含まれる映像を表示し、音声を出力するとともに、それ以外のストリームに含まれる映像および音声を保管することができる。
 図3を参照して、受信装置51により処理されるパケットの並びについて説明する。
 図3には、1つのPID選択部71に供給される1本のTSが示されており、右側から左側に向かって、パケットが入力または出力される時間方向を示し、上側から下側に向かって、各処理が順番に行われることにより得られるTSを示している。
 例えば、PID選択部71に入力される入力TSでは、映像ESが含まれるパケットV、音声ESが含まれるパケットA、および、各種のメタデータなどが含まれるセクションSが、所定の並びで配置されている。この入力TSに対して、PID選択部71が、例えば、パケットVおよびパケットAだけ選択して、不要なPIDのパケットをヌルパケットNで置き換えることにより、パーシャルTSが生成される。ここで、2つのパケットVの下方に示されている(1)および(6)はPCRを示している。
 そして、TSマルチプレクサ73において多重化されることにより、このPID選択部71から出力されるパーシャルTSのヌルパケットNが配置されていた位置に、他のストリームを構成するパケットOが挿入され、多重化TSが生成される。その後、TSデマルチプレクサ74により多重化TSが多重分離され、マルチストリームプロセッサ53から出力TSが出力される。
 このとき、出力TSでは、パーシャルTSに含まれていたヌルパケットNが破棄されているため、図示するように、PCRが(1)のパケットVと、PCRが(6)のパケットVとの間隔が異なり、時間軸が破綻することになる。このような状態で出力TSの復号が行われると、映像の品質が劣化することになる。
 即ち、図3の例では、出力TSは、多重化前のパーシャルTSでは存在していたヌルパケットがなくなり、時間情報が前倒しされた状態になっているため、この状態で出力TSを再生すると、時計が早く進んだ再生が行われることになる。従って、バッファモデルが破綻し、復号が間に合わずにスキップが発生したり、エラーコンシールのためにリピートが発生したりすることが、映像に現れることになる。また、音声では無音が多発することになる。
 そこで、このような時間軸の破綻を回避して、映像および音声を再生する際の品質の劣化を抑制することが必要となる。
 次に、図4は、本技術を適用した受信装置101の第1の実施の形態の構成例を示すブロック図である。
 図4に示す受信装置101において、図2の受信装置51と共通する構成については同一の符号を付し、その詳細な説明は省略する。即ち、受信装置101は、フロントエンド部52、CIモジュール54、およびデコード部55を備える点で、図2の受信装置51と共通する構成とされる。但し、受信装置101は、図2の受信装置51のマルチストリームプロセッサ53とは異なる構成のマルチストリームプロセッサ121を備える点で、図2の受信装置51と異なる構成とされる。
 マルチストリームプロセッサ121は、図2の受信装置51のマルチストリームプロセッサ53と同様に、3つのPID選択部71-1乃至71-3、IP送付処理部72、TSマルチプレクサ73、およびTSデマルチプレクサ74を備えるのに加えて、4つの挿入部122-1乃至122-4、4つのFIFO123-1乃至123-4、4つのパケットシフト部124-1乃至124-4、およびクロック生成部125を備えて構成される。
 挿入部122-1乃至122-4は、クロック生成部125により生成されるクロックに従った時刻情報を付加したヌルパケット(以下、時刻情報付きヌルパケットと称する)を、PID選択部71-1乃至71-3およびIP送付処理部72から供給されるパーシャルTSに挿入する。例えば、挿入部122-1乃至122-4は、パーシャルTSに含まれるPCRを有するパケットを検出し、検出されたパケットから時間軸をさかのぼり最近傍のヌルパケットのペイロード部に時間情報を付与することで、そのヌルパケットを時刻情報付きヌルパケットに置き換える。
 FIFO123-1乃至123-4は、PID選択部71-1乃至71-3およびIP送付処理部72により必要なパケットとして選択されたパケットと、挿入部122-1乃至122-4により挿入された時刻情報付きヌルパケットとを一時的に保持する。そして、TSの系列ごとに、FIFO123-1乃至123-4に保持されているパケットが順次、TSマルチプレクサ73に読み出される。
 パケットシフト部124-1乃至124-4は、TSデマルチプレクサ74の後段に配置され、TSデマルチプレクサ74により多重分離されたパーシャルTSがそれぞれ供給される。また、パケットシフト部124-1乃至124-4には、クロック生成部125において生成された時間情報がオフセットを掛けて供給される。そして、パケットシフト部124-1乃至124-4は、クロック生成部125からの時間情報と、パーシャルTSに含まれている時刻情報付きヌルパケットとを比較し、時刻情報付きヌルパケットを出力するタイミングを調整する。例えば、パケットシフト部124-1乃至124-4は、クロック生成部125からの時間情報と同じ、または時間情報以降となったタイミングで、時刻情報付きヌルパケットをデコード部55へ出力する。
 クロック生成部125は、一定のクロックで時刻情報を生成して、挿入部122-1乃至122-4およびパケットシフト部124-1乃至124-4に供給する。
 以上のように構成されている受信装置101は、クロック生成部125により生成されるクロックに従って、時刻情報付きヌルパケットを挿入した後、その時刻情報付きヌルパケットに基づいて出力するタイミングを調整することにより、パケットの到着時刻を正しく再現することができる。これにより、映像および音声を再生する際に、正しい時刻で再生することができ、その品質が劣化することを抑制することができる。
 図5を参照して、受信装置101により処理されるパケットの並びについて説明する。
 図5では、図3と同様に、映像パケットV、音声パケットA,セクションS、ヌルパケットNが図示されており、さらに、挿入部122-1乃至122-4により挿入される時刻情報付きヌルパケットTが図示されている。
 図3と同様の入力TSがPID選択部71に入力され、PID選択部71により生成されるパーシャルTSが挿入部122に供給される。そして、挿入部122は、パーシャルTSを生成する際にヌルパケットNが置き換えられることで空いた領域に、時刻情報付きヌルパケットを挿入して時刻情報付きTSを生成する。このとき、挿入部122は、PCRが(1)のパケットVの直前のヌルパケットNのペイロード部に、タイムスタンプ#0の時刻情報を付与することで、時刻情報付きヌルパケットTを挿入する。また、挿入部122は、PCRが(6)のパケットVの直前のヌルパケットNのペイロード部に、タイムスタンプ#5の時刻情報を付与することで、時刻情報付きヌルパケットTを挿入する。
 そして、時刻情報付きTSがTSマルチプレクサ73において多重化されることで、他のストリームを構成するパケットOが挿入され、多重化TSが生成される。その後、TSデマルチプレクサ74により多重化TSが多重分離された多重分離TSが、パケットシフト部124に供給される。
 パケットシフト部124-1乃至124-4は、例えば、タイムスタンプ#5の時刻情報付きヌルパケットTを出力するタイミングを、クロック生成部125において生成された時間情報に従って調整し、ヌルパケットNを挿入することで遅らせる。これにより、タイムスタンプ#5の時刻情報付きヌルパケットTを出力する時点で、多重化する前の到着時間を保証することができる。さらに、タイムスタンプ#5の時刻情報付きヌルパケットTに続くパケットは、欠落がないため、到着時間情報が保証されている。
 従って、PCRを有するパケットの到着時間情報は正しく、PCRに基づいたクロック再生(clock recovery)によって生成されるSTCは送出側の時間情報を復元することができる。
 次に、図6に示すフローチャートを参照し、マルチストリームプロセッサ121において行われるデータ処理について説明する。
 例えば、受信装置101が多重化ストリームを受信する処理を開始し、フロントエンド部52において復調されたTSを構成するパケットがマルチストリームプロセッサ121に供給されると処理が開始される。
 ステップS11において、PID選択部71-1乃至71-3およびIP送付処理部72は、供給されたパケットに含まれるPIDに従って、それぞれが対応するサービスのTSを構成するパケットのみを選択して再構成したパーシャルTSを生成し、挿入部122-1乃至122-4にそれぞれ供給する。また、パーシャルTSでは、PID選択部71-1乃至71-3およびIP送付処理部72それぞれが対応するサービス以外のTSを構成するパケットは、ヌルパケットに置き換えられる。
 ステップS12において、挿入部122-1乃至122-4は、それぞれ供給されるパーシャルTSに、クロック生成部125により生成されるクロックに従って、時刻情報付きヌルパケットを挿入し、FIFO123-1乃至123-4にそれぞれ保持させる。
 ステップS13において、TSマルチプレクサ73は、FIFO123-1乃至123-4に保持されているパケットを適宜読み出して、4本のストリームを多重化してCIモジュール54に供給する。
 ステップS14において、TSデマルチプレクサ74は、CIモジュール54から供給される多重化ストリームを4本のパーシャルTSに多重分離し、パケットシフト部124-1乃至124-4にそれぞれ供給する。
 ステップS15において、パケットシフト部124-1乃至124-4は、クロック生成部125から供給される時間情報に従って、時刻情報付きヌルパケットを出力するタイミングを調整する。
 以上のように、受信装置101では、時刻情報付きヌルパケットを利用することで、パケットの到着時刻を正しく再現することができる。これにより、映像および音声をスキップしたりリピートしたりする操作を行う際の品質劣化を防止することができる。また、受信装置101では、CIモジュール54との間のインタフェースをプローブすることによって、時刻情報が付加されているかを確認することができる。
 次に、図7は、本技術を適用した受信装置の第2の実施の形態の構成例を示すブロック図である。
 図7に示す受信装置101Aにおいて、図4の受信装置101と共通する構成については、同一の符号を付し、その詳細な説明は省略する。即ち、受信装置101Aは、フロントエンド部52、CIモジュール54、およびデコード部55を備える点で、図4の受信装置101と共通する構成とされる。但し、受信装置101Aは、マルチストリームプロセッサ121Aの構成が、図4の受信装置101のマルチストリームプロセッサ121と異なる構成とされている。
 マルチストリームプロセッサ121Aは、PID選択部71-1乃至71-3、IP送付処理部72、TSマルチプレクサ73、TSデマルチプレクサ74、挿入部122-1乃至122-4、FIFO123-1乃至123-4、およびクロック生成部125を備える点で、図4のマルチストリームプロセッサ121と共通する構成とされる。但し、マルチストリームプロセッサ121Aは、FIFO131およびパケットシフト部132を備える点で、図4のマルチストリームプロセッサ121と異なる構成とされている。
 即ち、マルチストリームプロセッサ121Aは、挿入部122-1乃至122-4により時刻情報付きヌルパケットが挿入された時刻情報付きTSがTSマルチプレクサ73において多重化された多重化TSをCIモジュール54に供給する。そして、マルチストリームプロセッサ121Aは、CIモジュール54から戻される多重化TSが、FIFO131において一時的に保持された後、パケットシフト部132に供給されるように構成されている。
 パケットシフト部132は、FIFO131から多重化TSを読み出してTSデマルチプレクサ74に供給する。このとき、パケットシフト部132は、図4のパケットシフト部124-1乃至124-4と同様に、クロック生成部125から供給される時間情報に従って、時刻情報付きヌルパケットを出力するタイミングを調整する。
 このように構成される受信装置101Aは、TSデマルチプレクサ74の前段にパケットシフト部132を1つだけ配置することで、TSデマルチプレクサ74に入力する段階で、到着時刻を保証することができる。また、受信装置101Aは、FIFO131を設けることで、複数のTSが多重化された多重化TSにおいて、そのままの配列では到着時間が過ぎてしまう可能性を回避することができる。つまり、パケットシフト部132がFIFO131からの読み出しを遅らせたり、すぐに読み出したりする調整を行うことで、TSデマルチプレクサ74へのパケットの出力が一定間隔になるようにすることができる。
 なお、受信装置101は、例えば、ヌルパケットを時刻情報付きヌルパケットに置き換える他、使用していないPIDのパケットを時刻情報付きヌルパケットに置き換えてもよい。このように、時刻情報付きヌルパケットを挿入しても、時刻情報付きヌルパケットは、デマルチプレクサ91の前までが生存期間であるため、システムとしてのPIDフィルタに影響を与えることはない。また、使用していないPIDは、動的に変更することが可能である。
 なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
 また、上述した一連の処理(情報処理方法)は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
 図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
 バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207、ハードディスクや不揮発性のメモリなどよりなる記憶部208、ネットワークインタフェースなどよりなる通信部209、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
 以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU201)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
 そして、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成する所定数のパケット選択部と、
 所定数の前記パケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する所定数の挿入部と、
 所定数の前記挿入部により前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化する多重化部と、
 前記多重化部により多重化されたストリームを所定数のストリームに多重分離する多重分離部と、
 前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する出力タイミング調整部と
 を備えるデータ処理装置。
(2)
 前記出力タイミング調整部は、前記多重分離部の後段に、所定数に応じて設けられている
 上記(1)に記載のデータ処理装置。
(3)
 前記出力タイミング調整部は、前記多重分離部の前段に、1つだけ設けられている
 上記(1)に記載のデータ処理装置。
(4)
 前記挿入部は、元々のストリームに含まれている再生するタイミングを示す情報を有するパケットを検出し、検出したパケットから時間軸をさかのぼり最近傍の前記空いた領域に、前記時刻情報付きヌルパケットを挿入する
 上記(1)から(3)までのいずれかに記載のデータ処理装置。
(5)
 前記挿入部および前記出力タイミング調整部に対し、一定のクロックで生成した時刻情報を供給するクロック生成部
 をさらに備える上記(1)から(4)までのいずれかに記載のデータ処理装置。
(6)
 放送波に対する復号を行って多重化ストリームを取得する復調部と、
 複数のサービスのストリームが多重化された前記多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択し、1つのサービスのストリームを生成する所定数のパケット選択部と、
 所定数の前記パケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する所定数の挿入部と、
 所定数の前記挿入部により前記時刻情報付きヌルパケットが挿入されたストリームを多重化する多重化部と、
 前記多重化部により多重化されたストリームを所定数のストリームに多重分離する多重分離部と、
 前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する出力タイミング調整部と、
 前記出力タイミング調整部から出力される前記ストリームに含まれる映像および音声を復号する復号部と
 を備える受信装置。
(7)
 複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成し、
 1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入し、
 前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化し、
 多重化されたストリームを所定数のストリームに多重分離し、
 前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する
 ステップを含むデータ処理方法。
(8)
 複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成し、
 1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入し、
 前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化し、
 多重化されたストリームを所定数のストリームに多重分離し、
 前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する
 ステップを含むデータ処理をコンピュータに実行させるプログラム。
 なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
 52 フロントエンド部, 54 CIモジュール, 55 デコード部, 61 チューナ, 62 復調部, 63 IPネットワークインタフェース, 71 PID選択部, 72 IP送付処理部, 73 TSマルチプレクサ, 74 TSデマルチプレクサ, 81 デスクランブル部, 82 暗号化部, 91 デマルチプレクサ, 92 ビデオデコーダ, 93 オーディオデコーダ, 94 ストレージ, 101 受信装置, 121 マルチストリームプロセッサ 122 挿入部, 123 FIFO, 124 パケットシフト部, 125 クロック生成部, 131 FIFO, 132 パケットシフト部

Claims (8)

  1.  複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成する所定数のパケット選択部と、
     所定数の前記パケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する所定数の挿入部と、
     所定数の前記挿入部により前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化する多重化部と、
     前記多重化部により多重化されたストリームを所定数のストリームに多重分離する多重分離部と、
     前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する出力タイミング調整部と
     を備えるデータ処理装置。
  2.  前記出力タイミング調整部は、前記多重分離部の後段に、所定数に応じて設けられている
     請求項1に記載のデータ処理装置。
  3.  前記出力タイミング調整部は、前記多重分離部の前段に、1つだけ設けられている
     請求項1に記載のデータ処理装置。
  4.  前記挿入部は、元々のストリームに含まれている再生するタイミングを示す情報を有するパケットを検出し、検出したパケットから時間軸をさかのぼり最近傍の前記空いた領域に、前記時刻情報付きヌルパケットを挿入する
     請求項1に記載のデータ処理装置。
  5.  前記挿入部および前記出力タイミング調整部に対し、一定のクロックで生成した時刻情報を供給するクロック生成部
     をさらに備える請求項1に記載のデータ処理装置。
  6.  放送波に対する復号を行って多重化ストリームを取得する復調部と、
     複数のサービスのストリームが多重化された前記多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択し、1つのサービスのストリームを生成する所定数のパケット選択部と、
     所定数の前記パケット選択部により1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入する所定数の挿入部と、
     所定数の前記挿入部により前記時刻情報付きヌルパケットが挿入されたストリームを多重化する多重化部と、
     前記多重化部により多重化されたストリームを所定数のストリームに多重分離する多重分離部と、
     前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する出力タイミング調整部と、
     前記出力タイミング調整部から出力される前記ストリームに含まれる映像および音声を復号する復号部と
     を備える受信装置。
  7.  複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成し、
     1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入し、
     前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化し、
     多重化されたストリームを所定数のストリームに多重分離し、
     前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する
     ステップを含むデータ処理方法。
  8.  複数のサービスのストリームが多重化された多重化ストリームから、それぞれのサービスのストリームを構成するパケットを選択して、1つのサービスのストリームを生成し、
     1つのサービスのストリームを生成する際に空いた領域に、所定の時刻情報がペイロードに付与された時刻情報付きヌルパケットを挿入し、
     前記時刻情報付きヌルパケットが挿入された所定数のストリームを多重化し、
     多重化されたストリームを所定数のストリームに多重分離し、
     前記時刻情報付きヌルパケットを出力するタイミングを、前記時刻情報付きヌルパケットに付与されている時刻情報を参照して調整する
     ステップを含むデータ処理をコンピュータに実行させるプログラム。
PCT/JP2015/067978 2014-07-03 2015-06-23 データ処理装置、受信装置、データ処理方法、およびプログラム WO2016002573A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016531282A JP6518247B2 (ja) 2014-07-03 2015-06-23 データ処理装置、受信装置、データ処理方法、およびプログラム
US15/321,058 US10178040B2 (en) 2014-07-03 2015-06-23 Data processing device, receiving device, data processing method, and program
EP15815716.4A EP3166322B1 (en) 2014-07-03 2015-06-23 Data processing apparatus, reception apparatus, data processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-137435 2014-07-03
JP2014137435 2014-07-03

Publications (1)

Publication Number Publication Date
WO2016002573A1 true WO2016002573A1 (ja) 2016-01-07

Family

ID=55019117

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067978 WO2016002573A1 (ja) 2014-07-03 2015-06-23 データ処理装置、受信装置、データ処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10178040B2 (ja)
EP (1) EP3166322B1 (ja)
JP (1) JP6518247B2 (ja)
WO (1) WO2016002573A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011024437A1 (ja) * 2009-08-25 2011-03-03 パナソニック株式会社 記録装置及び再生装置
JP2012060311A (ja) * 2010-09-07 2012-03-22 Nippon Hoso Kyokai <Nhk> ストリーム分割装置及び受信装置
JP2012249086A (ja) * 2011-05-27 2012-12-13 Sumitomo Electric Ind Ltd 映像受信装置
JP2013098721A (ja) * 2011-10-31 2013-05-20 Toshiba Corp トランスポートストリーム記録装置及びトランスポートストリーム記録方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100205368B1 (ko) * 1995-10-16 1999-07-01 구자홍 디지탈 자기기록 매체의 전송 비트스트림의 기록/재생장치 및 그 제어방법
CN1270459C (zh) * 1997-08-28 2006-08-16 索尼公司 多通道数字数据传输装置和方法
US7593433B1 (en) * 1999-03-02 2009-09-22 Cisco Technology, Inc. System and method for multiple channel statistical re-multiplexing
US6879768B1 (en) * 1999-03-05 2005-04-12 Canon Kabushiki Kaisha Information processing apparatus, method therefor and memory medium storing information processing program
US7489685B2 (en) * 2000-02-21 2009-02-10 Panasonic Corporation Digital broadcast receiving apparatus
DE10035707A1 (de) * 2000-07-21 2002-01-31 Scm Microsystems Gmbh Digitales Aufnahme-und Weidergabeverfahren
US8081865B2 (en) * 2001-03-29 2011-12-20 Panasonic Corporation AV data recording apparatus and method, recording media recorded by the same, AV data reproducing apparatus and method, and AV data recording and reproducing apparatus and method
US7486680B1 (en) * 2002-03-21 2009-02-03 Ji Zhang Packet schedule timestamp for a compressed bitstream
KR100547889B1 (ko) * 2003-08-25 2006-01-31 삼성전자주식회사 Mpeg-2 전송을 위한 널 패킷 필터링 장치
KR100688089B1 (ko) * 2005-09-27 2007-03-02 한국전자통신연구원 케이블 방송 수신기의 다중화/역다중화 장치
US9942606B2 (en) * 2010-01-05 2018-04-10 Qualcomm Incorporated Application layer modification to enable transmission gaps
WO2011099749A2 (ko) * 2010-02-12 2011-08-18 엘지전자 주식회사 방송 신호 송/수신기 및 방송 신호 송/수신 방법
JP5949204B2 (ja) * 2012-06-21 2016-07-06 ソニー株式会社 電子機器、電子機器におけるストリーム送受信方法、プログラム、ホストデバイスおよびホストデバイスにおけるストリーム送受信方法
JP6402926B2 (ja) * 2012-12-07 2018-10-10 サン パテント トラスト 送信装置、送信方法、受信装置、受信方法、集積回路、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011024437A1 (ja) * 2009-08-25 2011-03-03 パナソニック株式会社 記録装置及び再生装置
JP2012060311A (ja) * 2010-09-07 2012-03-22 Nippon Hoso Kyokai <Nhk> ストリーム分割装置及び受信装置
JP2012249086A (ja) * 2011-05-27 2012-12-13 Sumitomo Electric Ind Ltd 映像受信装置
JP2013098721A (ja) * 2011-10-31 2013-05-20 Toshiba Corp トランスポートストリーム記録装置及びトランスポートストリーム記録方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3166322A4 *

Also Published As

Publication number Publication date
EP3166322A1 (en) 2017-05-10
US20170201463A1 (en) 2017-07-13
EP3166322A4 (en) 2017-12-06
JPWO2016002573A1 (ja) 2017-04-27
JP6518247B2 (ja) 2019-05-22
EP3166322B1 (en) 2019-02-27
US10178040B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
JP3895741B2 (ja) デジタルマルチメディアデータ再生可能なデジタルマルチメディア放送受信装置及び方法
TWI486059B (zh) 接收設備及方法,程式,以及接收系統
US10194196B2 (en) Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein
JP5271544B2 (ja) デジタル放送受信装置、および、デジタル放送受信方法
US20090144766A1 (en) Method and apparatus for multi-stream processing of set top box in downloadable conditional access system
JP4731784B2 (ja) 少なくとも2つのトランスポートストリーム及び対応するデジタルストリームのための逆多重化装置及び方法
US8892888B2 (en) Multiple stream decrypting and decoding systems and related methods thereof
WO2016002573A1 (ja) データ処理装置、受信装置、データ処理方法、およびプログラム
WO2016006473A1 (ja) データ処理装置、受信装置、データ処理方法、およびプログラム
US20090213924A1 (en) Method and Related Device for Converting Transport Stream into File
KR20160106069A (ko) 멀티미디어 데이터 재생 방법 및 장치
JP2007288357A (ja) 映像再生装置
JP3769477B2 (ja) 多重分離回路
KR100329830B1 (ko) 디지털 텔레비젼 시스템의 ac-3 오디오 수신 장치 및그 처리 방법
JP2005080142A (ja) スクランブル解除装置
WO2021171687A1 (ja) 映像信号処理装置、映像信号処理方法、プログラムおよび信号処理回路
JP5574814B2 (ja) 放送装置、放送受信装置、放送方法、放送受信方法
WO2017033764A1 (ja) 記録装置、および記録方法、並びにプログラム
WO2023234281A1 (ja) 送信装置、送信方法、受信装置、及び受信方法
JP2014060529A (ja) マルチフォーマット出力装置、マルチフォーマット出力装置の制御方法
JP4965591B2 (ja) Ts分離/セクション編集装置、ts分離/セクション編集方法およびts分離/セクション編集プログラム
JP2009212588A (ja) スクランブル解除装置
JP2008098970A (ja) デジタル放送受信システム
JP2010154133A (ja) デジタル放送受信装置
JP7046809B2 (ja) 受信装置および受信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15815716

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016531282

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15321058

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015815716

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015815716

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE