WO2013190787A1 - 受信装置およびその同期処理方法 - Google Patents

受信装置およびその同期処理方法 Download PDF

Info

Publication number
WO2013190787A1
WO2013190787A1 PCT/JP2013/003521 JP2013003521W WO2013190787A1 WO 2013190787 A1 WO2013190787 A1 WO 2013190787A1 JP 2013003521 W JP2013003521 W JP 2013003521W WO 2013190787 A1 WO2013190787 A1 WO 2013190787A1
Authority
WO
WIPO (PCT)
Prior art keywords
stream
broadcast
communication
video
time
Prior art date
Application number
PCT/JP2013/003521
Other languages
English (en)
French (fr)
Inventor
北里　直久
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014520904A priority Critical patent/JP6333173B2/ja
Priority to US14/399,306 priority patent/US20150101004A1/en
Priority to RU2014150793A priority patent/RU2627040C2/ru
Priority to EP13807805.0A priority patent/EP2866458B1/en
Publication of WO2013190787A1 publication Critical patent/WO2013190787A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation

Definitions

  • the present technology relates to a receiving apparatus capable of receiving one of a plurality of videos to be reproduced in synchronization with each other by broadcast, receiving the other through a network, and reproducing each of them in synchronization with each other, and a synchronization processing method thereof.
  • the main broadcast audio data is transmitted as a broadcast wave, and multi-view video data and multi-audio data are transmitted via a network.
  • a technique for receiving and presenting multi-view video data and multi-point audio data is disclosed.
  • a receiving device configured with a broadcast reception capable of receiving one of a plurality of videos to be reproduced in synchronization with each other as a broadcast stream through broadcasting, with a time reference value added thereto A timing for presenting the plurality of videos based on the time reference value included in the broadcast stream, a communication reception unit capable of receiving the other of the plurality of videos as a communication stream through a network, and the time reference value included in the broadcast stream A reference time generation unit that generates a reference time for the communication stream, and an adjustment unit that adjusts the reference time based on a delay amount of the time reference value of the communication stream with respect to the reference time.
  • the adjustment unit adjusts the reference time set based on the time reference value included in the broadcast stream by the delay amount of the time reference value of the communication stream with respect to the reference time.
  • the adjusting unit may adjust the reference time by the delay amount of the time reference value of the communication stream first received by the communication receiving unit.
  • Presentation time information for each predetermined unit is added to the broadcast stream and the communication stream, and the receiving device adds the broadcast stream received by the broadcast receiving unit to the presentation time information added to the broadcast stream.
  • a video decoder for broadcast reception for decoding so that the one video is presented at a timing that matches the reference time, and the communication stream received by the communication receiver is added to the communication stream
  • a broadcast receiving video decoder for decoding the other video so that the presentation time information and the reference time coincide with each other, and the broadcast receiving video decoder and the communication receiving video decoder;
  • a video merger that merges a plurality of decoded videos. Good me.
  • the adjusting unit adjusts the reference time by a value obtained by adding a predetermined margin to an average value of the delay amount of the time reference value of the communication stream within a certain period received by the communication receiving unit. It's okay.
  • Presentation time information for each predetermined unit is added only to the broadcast stream out of the broadcast stream and the communication stream, and the receiving device adds the broadcast stream received by the broadcast receiving unit to the broadcast stream.
  • a broadcast-decoding video decoder that decodes the video so that the one video is presented at a timing when the presentation time information matches the reference time, and a broadcast that decodes the communication stream received by the communication receiver.
  • a video decoder for reception, and a video merger that merges a plurality of videos respectively decoded by the video decoder for broadcast reception and the video decoder for communication reception may be further provided.
  • This receiving apparatus assumes a case where presentation time information for each predetermined unit is added only to a broadcast stream among broadcast streams and communication streams, and no presentation time information is added to a communication stream.
  • the adjustment unit may adjust the reference time with a value obtained by adding a predetermined margin to the average value of the delay amount of the time reference value of the communication stream within a certain period received by the communication reception unit.
  • a communication stream having no presentation time information is reproduced by repeatedly receiving and decoding one after another by the receiving device. For this reason, it is better to use the average value of the delay amount obtained in a certain time width for the adjustment of the reference time, instead of the delay amount obtained locally.
  • the delay of the communication stream with respect to the broadcast stream is fatal in the synchronous reproduction, it is effective to adjust the reference time with a value obtained by adding a margin to the average value.
  • a time reference value is added, and one of a plurality of videos to be reproduced in synchronization with each other is received as a broadcast stream through broadcasting.
  • the other is received as a communication stream through the network, and a reference time generation unit generates a reference time for generating a timing for presenting the plurality of videos based on the time reference value included in the broadcast stream,
  • the adjustment unit adjusts the reference time by a delay amount of the time reference value of the communication stream with respect to the reference time.
  • FIG. 6 is a time chart of an operation of synchronizing a broadcast stream and a communication stream by adjusting STC in the receiving apparatus according to the first embodiment of the present technology. It is a block diagram which shows the structure of the receiver of 1st Embodiment. 4 is a time chart from broadcast selection to synchronization processing between a broadcast stream and a communication stream, and further to the end of the synchronization processing.
  • a stream including video transmitted by broadcasting (hereinafter referred to as “broadcast stream”) and a stream including video transmitted via the Internet (hereinafter referred to as “communication stream”) are received, and these are received.
  • the present invention relates to a receiving apparatus that plays back in synchronization with each other and a synchronization processing method thereof.
  • FIG. 1 is a diagram showing a configuration of a 3D program transmission system.
  • One viewpoint video among a plurality of viewpoint videos constituting the 3D program is transmitted by broadcasting, and another one viewpoint video is transmitted by communication.
  • the receiver receives these two images transmitted by broadcasting and communication, reproduces them in synchronization with each other, merges them, and presents a 3D image.
  • Multi-view program Video of one view obtained by simultaneously photographing a subject with a plurality of cameras is transmitted as a main view by broadcasting, and video of one or more other views are transmitted by communication as sub-views.
  • the receiver receives the video of the plurality of views, displays the video of the main view on the main screen, and displays the video of one or more subviews on the sub screen. Alternatively, the receiver switches the video to be displayed on the main screen between the main view and the sub view.
  • High-resolution programs For example, some of the 4 HD video (1920 ⁇ 1080 pixels) video that is obtained by dividing the video taken by a 4K (3840 ⁇ 2160) high-resolution camera into 4 broadcasts. The rest is transmitted by communication.
  • the receiver receives HD video of each system, reproduces them in synchronization with each other, and combines them to present a high resolution video of 4K size.
  • the video taken by the high-resolution camera is frequency-resolved by wavelet transform or the like, the HD video having a low resolution component is transmitted by broadcasting, and the video of the remaining high-frequency component is transmitted by communication.
  • the receiver frequency-synthesizes the received four HD size images by inverse wavelet transform or the like, and restores and presents them as one high-resolution image.
  • Audio dubbing service In the audio dubbing service, video and Japanese audio are transmitted by broadcasting, and multilingual dubbed audio for the video is transmitted by communication.
  • the receiver receives video and Japanese audio from the broadcast, while receiving multilingual dubbed audio for the video from communication, and synchronizes the broadcast video and dubbed audio to each other in response to a request from the user. Take it back and present it.
  • FIG. 1 is a diagram showing a configuration of a synchronous transmission system for the broadcast stream and communication stream.
  • the program material is a 3D program, a multi-view program, a high-resolution program, an audio dubbing service program, or the like.
  • the program material is divided into a broadcast signal and a communication signal.
  • Each of the broadcast signal and the communication signal is encoded into a stream such as MPEG2_TS by an encoder, one stream is transmitted by broadcasting, and the other stream is distributed by communication through the Internet by a distribution server.
  • PCR Program Clock Reference
  • PCR packets including PCR are added at regular intervals.
  • the typical receiving apparatus 200 receives a broadcast stream and a communication stream related to one program.
  • the typical receiving apparatus 200 extracts PCR from the received broadcast stream and communication stream, and sets or calibrates the STC (System Time Clock) that is the reference time of the receiving apparatus 200 using the PCR.
  • Video presentation timing is generated from PTS (Presentation Time Stamp) that is presentation time information included in the video TS packet.
  • the timing at which the communication stream is received by the receiving apparatus 200 due to fluctuations in the network traffic is delayed with respect to the broadcast stream to be reproduced in synchronization therewith.
  • the communication stream is delayed with respect to the broadcast stream, it is necessary to delay the reproduction of the broadcast stream by storing the received broadcast stream in a buffer.
  • the presentation timing of the video stream may be uniquely determined from the STC generated based on the PCR and the PTS that is the time management information at the time of playback included in the video TS packet. It is assumed. Therefore, it is actually difficult to realize the synchronized reproduction of the broadcast stream and the communication stream only by storing the received broadcast stream in the buffer.
  • FIG. 2 is a time chart of an operation of synchronizing the broadcast stream and the communication stream by adjusting the STC in the receiving apparatus 300 according to the first embodiment of the present technology.
  • the receiving apparatus 300 receives the instruction of synchronous playback of the broadcast stream and the communication stream, and the PCR0 that is the PCR value acquired from the TS packet of the first video of the received communication stream and the current STC of the receiving apparatus 300 It is compared with the value STC0 to determine whether the condition of STC0> PCR0 is satisfied.
  • receiving apparatus 300 calculates offset ⁇ between STC0 and PCR0 by the following equation.
  • STC0 ⁇ PCR0 ⁇ (1)
  • the receiving apparatus 300 adjusts the STC by the following equation with this offset ⁇ .
  • STC ⁇ STC ′ (2)
  • the receiving apparatus 300 refers to the PTS and STC ′ included in the TS packet of each video of the broadcast stream and the communication stream, and controls the timing of presentation of each video. Specifically, both the broadcast stream and the communication stream are controlled so that the video is presented when the PTS included in the video TS packet matches the STC ′.
  • the broadcast stream and the communication stream can be reproduced in synchronization.
  • FIG. 3 is a block diagram illustrating a configuration of the receiving apparatus 300 according to the present embodiment.
  • the receiving apparatus 300 includes a tuner 301 (broadcast receiving unit), a broadcast receiving DeMUX 302, a broadcast receiving video buffer 303, a broadcast receiving video decoder 304, an STC generating unit 305 (reference time generating unit), and a network I / F 307.
  • (Communication reception unit) HTML browser 308, VOD player 309, communication reception streaming buffer 310, communication reception DeMUX 311, communication reception video buffer 312, STC adjustment unit 313 (adjustment unit), communication reception video A decoder 314 and a video merger 315 are provided.
  • the tuner 301 receives the broadcast stream of the channel selected by the user, generates a transport stream (TS: Transport Stream), and sends it to the DeMUX 302 for broadcast reception.
  • TS Transport Stream
  • the broadcast receiving DeMUX 302 performs DeMUX processing of the transport stream, separates video TS packets and supplies them as video streams to the broadcast receiving video buffer 303, and extracts the PCR from each TS packet to generate an STC. Supplied to the unit 305.
  • the broadcast reception video buffer 303 buffers the video stream supplied to the broadcast reception video decoder 304.
  • the broadcast video decoder 304 decodes the video stream read from the broadcast video buffer 303 and outputs the decoded video stream to the video merger 315 as a broadcast video signal.
  • the STC generation unit 305 generates an STC of 27 MHz based on the PCR extracted from the broadcast stream, and supplies the STC to the video decoder 304 for broadcast reception, the video decoder 314 for communication reception, and the like.
  • the network I / F 307 is given from the VOD player 309 when an instruction to obtain a communication stream from the broadcast-linked application operating on the HTML (HyperText Markup Language) browser 308 to the VOD (Video On Demand) player 309 is issued.
  • the request is transmitted to the distribution server of the broadcasting / communication facility 100 through the Internet, and a communication stream to be reproduced in synchronization with the broadcast stream is received as a response from the distribution server.
  • the streaming buffer 310 for receiving communication buffers the received communication stream.
  • the video TS packet that is the received communication stream is a TTS (Timestamped TS) packet having PTS
  • the streaming buffer 310 for communication reception allows the held communication stream to be accepted using the PTS.
  • TS packets are continuously extracted so as to be TS packets at the original rate and supplied to the DeMUX 311 for receiving communication.
  • the DeMUX 311 for communication reception separates the video TS packet from the communication stream extracted from the streaming buffer 310 and supplies it as a video stream to the video buffer 312 for communication reception. Further, the DeMUX 311 for communication reception starts from the first TS packet of the received video stream. PCR is extracted and supplied to the STC adjustment unit 313.
  • the video buffer 312 for communication reception buffers the video stream supplied to the video decoder 314 for communication reception.
  • the video decoder 314 for communication reception decodes the video stream read from the video buffer 312 for communication reception, and outputs it to the video merger 315 as a video signal for communication.
  • the video merger 315 merges the broadcast video signal and the communication video signal to generate a video signal for presentation, and outputs it to a display (not shown).
  • the merging is performed by a method corresponding to a method for separating the program material into broadcasting and communication, such as a 3D program, a multi-view program, a high-resolution program, and an audio dubbing service program.
  • the STC adjustment unit 313 generates STC adjustment data (offset ⁇ ) by comparing the STC of the STC generation unit 305 with the PCR supplied from the DeMUX 311 for communication reception, and outputs the STC adjustment data to the STC generation unit 305.
  • the STC generation unit 305 adjusts the STC using the adjustment data (offset ⁇ ) from the STC adjustment unit 313.
  • the host controller 316 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. A program and data to be executed by the CPU are fixedly stored in the ROM.
  • the RAM stores a program stored in the ROM, and the CPU executes the loaded program.
  • the program loaded in the RAM causes the host controller 316 to operate as, for example, the STC generation unit 305, the HTML browser 308, the VOD player 309, and the STC adjustment unit 313.
  • the STC generation unit 305 and the STC adjustment unit 313 are not necessarily provided by software, and may be configured by hardware.
  • the host controller 316 can receive various instructions and data input from a user using a remote controller (not shown).
  • the user of the receiving apparatus 300 selects a broadcast channel using a remote controller (not shown).
  • the channel selection information from the user received by the remote controller or the like is processed by the host controller 316.
  • the host controller 316 controls the tuner 301 based on channel selection information from the user.
  • the broadcast stream of the channel received by the tuner 301 is sent to the broadcast receiving DeMUX 302.
  • the DeMUX 302 separates other TS packets such as video TS packets, audio TS packets, and SI (Service Information) from the broadcast stream.
  • the video TS packet separated by the broadcast receiving DeMUX 302 is supplied to the broadcast receiving video buffer 303 as a video stream, and is temporarily held here.
  • the broadcast receiving DeMUX 302 regularly extracts the PCR from the video TS packet and supplies it to the STC generator 305.
  • the STC generator 305 generates a 27 MHz STC (System Time Clock) based on this PCR.
  • the broadcast video decoder 304 decodes the video stream read from the broadcast video buffer 303. At this time, the video decoder 304 for broadcast reception sets the decoding timing of the video stream so that the video is presented in a timing in which the PTS included in the video TS packet matches the STC provided from the STC generation unit 305. Control.
  • the broadcast video signal output from the broadcast video decoder 304 is output to the video merger 315.
  • the receiving device 300 acquires and executes an application (broadcast-linked application) associated with this channel or program by broadcasting or communication.
  • This broadcast-linked application prompts the user to view, for example, a 3D program, a multi-view program, a high-resolution program, a voice-dubbing service program, and the like by synchronous playback of the broadcast stream and the communication stream, and gives a viewing instruction from the user.
  • the reception apparatus 300 is caused to function so as to supply the VOD player 309 with a communication stream acquisition instruction.
  • this broadcast-linked application includes, for example, HTML (Hyper Text Markup Language) documents, BML documents (Broadcast Markup Language), MHEG documents (Multimedia and Hypermedia information coding), Java (registered trademark) scripts, still image files, and video files.
  • HTML Hyper Text Markup Language
  • BML documents Broadcast Markup Language
  • MHEG documents Multimedia and Hypermedia information coding
  • Java registered trademark
  • the VOD player 309 Upon receiving an instruction to acquire a communication stream, the VOD player 309 controls the network I / F 307 to transmit to the distribution server via the Internet a communication stream associated with the currently selected channel or program (played in synchronization with the broadcast stream). The communication stream to be transmitted) is requested, and an STC adjustment instruction is given to the STC adjustment unit 313.
  • the STC adjustment unit 313 receives an STC adjustment instruction, the STC adjustment unit 313 enters a standby state for PCR supply from the DeMUX 311 for communication reception.
  • the communication stream transmitted from the distribution server in response to the request is accumulated in the streaming buffer 310 for communication reception via the network I / F 307.
  • the communication reception streaming buffer 310 holds the TS packet of the first video of the communication stream and immediately reads it and supplies it to the communication reception DeMUX 311.
  • the communication stream is stored in bursts in the streaming buffer 310 for communication reception, but when the video TS packet transmitted from the distribution server is a TTS packet having a PTS, the streaming buffer 310 holds the communication stream. Using PTS, the stream is continuously extracted so as to become TS packets at the original rate as much as possible, and supplied to the DeMUX 311 for communication reception.
  • the DeMUX 311 for communication reception separates the video TS packet from the communication stream read from the streaming buffer 310 and supplies it to the video buffer 312 for communication reception, and also extracts the PCR from the video TS packet acquired first. And supplied to the STC adjustment unit 313.
  • the PCR value extracted from the TS packet of the video acquired first is defined as PCR0.
  • the STC adjustment unit 313 compares this PCR0 with the STC value (STC0) given from the STC generation unit 305, and determines whether STC0> PCR0 is satisfied.
  • STC0> PCR0 is established means that a communication stream to be reproduced in synchronization with the broadcast stream is received with a time delay.
  • the STC adjustment unit 313 calculates an offset ⁇ between STC0 and PCR0 by the following equation.
  • STC0 ⁇ PCR0 ⁇ (1)
  • the value of the offset ⁇ is supplied to the STC generation unit 305.
  • the STC generation unit 305 adjusts the STC by the following equation.
  • STC ⁇ STC ′ (2)
  • the STC is adjusted to the STC ′ shifted by the delay amount of the communication stream with respect to the broadcast stream. Thereafter, the broadcast reception video decoder 304 and the communication reception video decoder 314 control the timing of presentation of each video stream based on the STC ′. Thereby, the synchronous reproduction of the broadcast stream and the communication stream is achieved.
  • the video merger 315 is supplied with a broadcast-type video signal and a communication-type video signal synchronized with each other, so that the original 3D program, multi-view program, high-resolution program, voice-dubbing service program, etc. are correctly restored. Is done.
  • the STC ′ is returned to the original STC at the same time as the broadcast program decoded by the STC ′ is completed.
  • FIG. 4 is a time chart from the selection of the broadcast described above to the synchronization process between the broadcast stream and the communication stream, and further to the end of the synchronization process.
  • the decoding start time of the video stream is shifted backward from T1 to T1 ′.
  • the video is displayed in a frozen state from T1 to T1 ′.
  • decoding of the video streams for broadcasting and communication is restarted at the same time from T1 ′.
  • decoding is performed based on STC ′ until the program ends.
  • STC ′ is returned to the STC, and the PTS jumps to the access unit that matches the STC to perform decoding.
  • the video TS packet of the communication stream is a TTS packet.
  • the video TS packet of the communication stream may be a TS packet having no PTS.
  • the operation from the reception to the decoding of the communication stream is continuously repeated regardless of the STC.
  • the broadcast stream and the communication stream may not be properly synchronized only by adjusting the STC based on the difference between the PCR0 and the STC0 extracted from the TS packet of the video received first. is assumed.
  • the offset ⁇ must be obtained as an average delay amount of the communication stream with respect to the broadcast stream. For example, according to the following equation, a difference is calculated for each PCR for a certain period from the start of communication stream reception, and an average value of the differences is obtained.
  • the STC generation unit 305 supplies the result obtained by subtracting the offset ⁇ from the STC as the adjusted STC ′ to the video decoder 304 for broadcast reception and the like.
  • the transmission / reception video decoder 304 controls the presentation timing of the video stream based on the STC ′.
  • the STC may be adjusted by an offset ⁇ that is obtained as an average delay amount of a communication stream with respect to a broadcast stream.
  • this technique can also take the following structures.
  • a broadcast receiving unit capable of receiving a broadcast stream as one of a plurality of videos to which time reference values are respectively added and to be reproduced in synchronization with each other;
  • a communication receiver capable of receiving the other of the plurality of videos as a communication stream through a network;
  • a reference time generation unit that generates a reference time for generating a timing for presenting the plurality of videos based on the time reference value included in the broadcast stream;
  • a receiving device comprising: an adjustment unit that adjusts the reference time by a delay amount of the time reference value of the communication stream with respect to the reference time.
  • the receiving device adjusts the reference time by the delay amount of the time reference value of the communication stream first received by the communication receiver.
  • the receiving apparatus according to any one of (1) to (2), Presentation time information for each predetermined unit is added to the broadcast stream and the communication stream,
  • the receiving device is: For broadcast reception, the broadcast stream received by the broadcast receiving unit is decoded so that the one video is presented at a timing in which the presentation time information added to the broadcast stream matches the reference time.
  • a receiving apparatus further comprising: a video decoder for merging a plurality of videos respectively decoded by the video decoder for broadcast reception and the video decoder for communication reception.

Abstract

【課題】互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合のそれぞれの同期再生を良好に行う。 【解決手段】それぞれ時刻参照値が付加され、互いに同期して再生されるべき複数の映像のうち一方を放送ストリームとして放送を通じて受信可能な放送受信部と、複数の映像のうち他方を通信ストリームとしてネットワークを通じて受信可能な通信受信部と、放送ストリームに含まれる時刻参照値をもとに、複数の映像を提示するタイミングを生成するための基準時刻を生成する基準時刻生成部と、基準時刻に対する通信ストリームの時刻参照値の遅れ量で基準時刻を調整する調整部とを具備する。

Description

受信装置およびその同期処理方法
　本技術は、互いに同期して再生されるべき複数の映像のうち一方を放送で受信し、他方をネットワークを通じて受信し、それぞれを互いに同期再生することが可能な受信装置とその同期処理方法に関する。
　近年、携帯電話等の通信用途の帯域拡大の要求に押され、放送用途に割有られる帯域の拡大は将来的に期待できない。一方、例えば３Ｄ番組、高解像度映像など、コンテンツの伝送に必要とされる帯域は拡大傾向にあり、放送の帯域だけでは不足することが予想される。そこで、放送とインターネットの統合的に利用して、３Ｄ番組、高解像度映像など、広帯域を要する番組を伝送するサービスの実現が検討されている。
　例えば、特許文献１には、メインの放送音声データを放送波として伝送するとともに、多視点映像データおよび多聴点音声データをネットワークを介して伝送し、受信装置にてこれらメインの放送音声データ、多視点映像データおよび多聴点音声データを受信し、提示する技術が開示されている。
特開２００５－１５９５９２号公報
　互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合、それぞれの伝送方式の特性の違いによる２つの映像ストリームの受信タイミングがずれが発生した場合、特にインターネット経由のストリームが放送経由のストリームに対して遅れ、その遅れの量が放送受信側のバッファで吸収できない程度である場合には、同期再生が困難になることが想定される。
　以上のような事情に鑑み、本技術の目的は、互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合のそれぞれの同期再生を良好に行うことのできる受信装置およびその同期処理方法を提供することにある。
　上記の課題を解決するために、本技術に係る受信装置は、それぞれ時刻参照値が付加され、互いに同期して再生されるべき複数の映像のうち一方を放送ストリームとして放送を通じて受信可能な放送受信部と、前記複数の映像のうち他方を通信ストリームとしてネットワークを通じて受信可能な通信受信部と、前記放送ストリームに含まれる前記時刻参照値をもとに、前記複数の映像を提示するタイミングを生成するための基準時刻を生成する基準時刻生成部と、前記基準時刻に対する前記通信ストリームの前記時刻参照値の遅れ量で前記基準時刻を調整する調整部とを具備する。
　この受信装置では、調整部が、放送ストリームに含まれる時刻参照値をもとに設定される基準時刻を、この基準時刻に対する通信ストリームの時刻参照値の遅れ量で調整する。これにより、通信ストリームが放送ストリームに対して遅れて受信された場合でも、各ストリームを同期再生することができる。
　前記調整部は、前記通信受信部によって最初に受信された前記通信ストリームの前記時刻参照値の前記遅れ量で前記基準時刻を調整するものであってよい。
　前記放送ストリームおよび前記通信ストリームには所定の単位毎の提示時刻情報が付加され、前記受信装置は、前記放送受信部により受信された前記放送ストリームを、当該放送ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記一方の映像が提示されるようにデコードする放送受信用の映像デコーダと、前記通信受信部により受信された前記通信ストリームを、当該通信ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記他方の映像が提示されるようにデコードする放送受信用の映像デコーダと、前記放送受信用の映像デコーダおよび前記通信受信用の映像デコーダによりそれぞれデコードされた複数の映像をマージする映像マージャとをさらに具備するものであってよい。
　前記調整部は、前記通信受信部によって受信された一定期間内の前記通信ストリームの前記時刻参照値の前記遅れ量の平均値に所定のマージンを付加した値で前記基準時刻を調整するものであってよい。
　前記放送ストリームおよび前記通信ストリームのうち前記放送ストリームにのみ所定の単位毎の提示時刻情報が付加され、前記受信装置は、前記放送受信部により受信された前記放送ストリームを、当該放送ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記一方の映像が提示されるようにデコードする放送受信用の映像デコーダと、前記通信受信部により受信された前記通信ストリームをデコードする放送受信用の映像デコーダと、前記放送受信用の映像デコーダおよび前記通信受信用の映像デコーダによりそれぞれデコードされた複数の映像をマージする映像マージャと、をさらに具備するように構成されてもよい。
　この受信装置は、放送ストリームおよび通信ストリームのうち放送ストリームにのみ所定の単位毎の提示時刻情報が付加され、通信ストリームに提示時刻情報が付加されていない場合を想定している。このような想定において、調整部は、通信受信部によって受信された一定期間内の通信ストリームの時刻参照値の遅れ量の平均値に所定のマージンを付加した値で基準時刻を調整すればよい。すなわち、提示時刻情報をもたない通信ストリームは受信装置に受信されてはデコードされることを次々に繰り返して再生される。このため、局所的に得られた遅れ量ではなく、一定の時間幅において得られた遅れ量の平均値を基準時刻の調整に用いる方がよい。さらに、通信ストリームの放送ストリームに対する遅れは同期再生において致命的であることから、平均値にマージンを加えた値で基準時刻の調整を行うようにすることは有効である。
　本技術の別の側面に係る同期処理方法は、それぞれ時刻参照値が付加され、互いに同期して再生されるべき複数の映像のうち一方を放送ストリームとして放送を通じて受信し、前記複数の映像のうち他方を通信ストリームとしてネットワークを通じて受信し、基準時刻生成部が、前記放送ストリームに含まれる前記時刻参照値をもとに、前記複数の映像を提示するタイミングを生成するための基準時刻を生成し、調整部が、前記基準時刻に対する前記通信ストリームの前記時刻参照値の遅れ量で前記基準時刻を調整することを特徴とする。
　以上のように、本技術によれば、互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合のそれぞれの同期再生を良好に行うことができる。
放送ストリームと通信ストリームの同期伝送システムの構成を示す図である。 本技術に係る第１の実施形態の受信装置において、ＳＴＣの調整により放送ストリームと通信ストリームとを同期させる動作のタイムチャートである。 第１の実施形態の受信装置の構成を示すブロック図である。 放送の選局から放送ストリームと通信ストリームとの同期処理、さらには同期処理の終了までのタイムチャートである。
　以下、本技術に係る実施の形態を説明する。
　＜第１の実施形態＞
　本実施形態は、放送により伝送される映像を含むストリーム（以下「放送ストリーム」と呼ぶ。）とインターネットにより伝送される映像を含むストリーム（以下「通信ストリーム」と呼ぶ。）を受信し、これらを互いに同期させて再生する受信装置とその同期処理方法に関するものである。
　このような放送ストリームと通信ストリームの同期伝送システムの例として次のようなものが挙げられる。
　１．３Ｄ番組
　図１は３Ｄ番組伝送システムの構成を示す図である。
　３Ｄ番組を構成する複数の視点の映像のうち１視点の映像が放送で伝送され、他の１視点の映像が通信で伝送される。受信機はこれら放送と通信で伝送される２つの映像を受信し、互いに同期をとって再生してマージし、３Ｄ映像を提示する。
　２．マルチビュー番組
　１つの被写体が複数のカメラで同時に撮影されることによって得られる一つのビューの映像がメインビューとして放送で伝送され、その他の１以上のビューの映像がサブビューとして通信で伝送される。受信機はこれら複数のビューの映像を受信し、メインビューの映像を親画面に表示させるとともに、１以上のサブビューの映像を子画面で表示させる。あるいは、受信機は、メイン画面に表示させる映像をメインビューとサブビューとの間で切り替える。
　３．高解像度番組
　例えば４Ｋの（画素数3840×2160）の高解像度カメラで撮影された映像が４分割されて得られる４系統のＨＤサイズ（画素数1920×1080）の映像のうち、一部が放送で伝送され、残りが通信で伝送される。受信機は各系統のＨＤサイズの映像を受信し、互いに同期をとって再生し、結合して４Ｋサイズの高解像度映像を提示する。あるいは、高解像度カメラで撮影された映像がウェーブレット変換などにより周波数分解され、低解像度成分のＨＤサイズの映像が放送で伝送され、残りの高周波成分の映像が通信で伝送される。受信機は、受信した４つのＨＤサイズの映像をウェーブレット逆変換などにより周波数合成して一つの高解像度映像として復元して提示する。
　４．音声吹き替えサービス
　音声吹き替えサービスでは、映像と日本語音声が放送で伝送され、映像に対する多言語の吹き替え版の音声が通信で伝送される。受信機は、映像と日本語音声を放送から受信する一方で、映像に対する多言語の吹き替え版の音声を通信から受信し、ユーザからの要求に応じて、放送の映像と吹き替え音声を互いに同期をとって再生して提示する。
　図１は上記の放送ストリームと通信ストリームの同期伝送システムの構成を示す図である。
　ここで、番組素材とは、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などである。放送・通信設備１００において、番組素材は放送用の信号と通信用の信号とに分けられる。放送用の信号と通信用の信号はそれぞれ、エンコーダによってＭＰＥＧ２＿ＴＳなどのストリームに符号化され、一方のストリームは放送で送出され、他方のストリームは配信サーバによってインターネットを通じて通信で配信される。符号化の際、ビデオのＴＳパケットに一定周期で時刻参照値であるＰＣＲ(Program Clock Reference)が挿入される。あるいは、ＰＣＲを含むＰＣＲパケットが一定周期で付加される。
　典型的な受信装置２００では、一つの番組に関連する放送ストリームおよび通信ストリームを受信する。典型的な受信装置２００では、受信した放送ストリームおよび通信ストリームからそれぞれＰＣＲを抽出し、このＰＣＲを用いて受信装置２００の基準時刻であるＳＴＣ（System Time Clock）を設定あるいは校正し、このＳＴＣと映像のＴＳパケットに含まれる提示時刻情報であるＰＴＳ（Presentation Time Stamp）とから映像の提示のタイミングが生成される。
　その際、ネットワークのトラフィック変動によって受信装置２００に通信ストリームが受信されるタイミングが、これと同期がとられて再生されるべき放送ストリームに対して遅れる可能性がある。通信ストリームが放送ストリームに対して遅れている場合には受信した放送ストリームをバッファに蓄えて放送ストリームの再生を遅らせる必要がある。しかし、典型的な受信装置２００では、ＰＣＲをもとに生成されるＳＴＣと、映像のＴＳパケットに含まれる再生時の時刻管理情報であるＰＴＳから映像ストリームの提示タイミングが一意に決められることが前提とされている。したがって、受信した放送ストリームをバッファに蓄えるだけでは、放送ストリームと通信ストリームとの同期再生を実現することは実際には困難である。
　そこで本実施形態では、受信装置のＳＴＣが、受信した通信ストリームの最初の映像のＴＳパケットに挿入されたＰＣＲよりも大きい場合に、その差分だけＳＴＣの値を減算することによる調整を行う仕組みが採用されている。
　図２は本技術に係る第１の実施形態の受信装置３００において、ＳＴＣの調整により放送ストリームと通信ストリームとを同期させる動作のタイムチャートである。
　１．受信装置３００は、放送ストリームと通信ストリームの同期再生の指示が発生してから、受信した通信ストリームの最初の映像のＴＳパケットから取得したＰＣＲの値であるＰＣＲ０と受信装置３００のＳＴＣの現在の値であるＳＴＣ０とを比較し、ＳＴＣ０＞ＰＣＲ０の条件が成立するかどうかを判定する。
　２．受信装置３００は、上記の条件が成立する場合、ＳＴＣ０とＰＣＲ０とのオフセットΔを次式により算出する。
　ＳＴＣ０－ＰＣＲ０＝Δ　　　・・・（１）
　３．受信装置３００は、このオフセットΔでＳＴＣを次式により調整する。
　ＳＴＣ－Δ＝ＳＴＣ´　　　・・・（２）
　４．受信装置３００は、放送ストリームおよび通信ストリームのそれぞれの映像のＴＳパケットに含まれるＰＴＳとＳＴＣ´を参照して、それぞれの映像の提示のタイミングを制御する。具体的には、放送ストリームおよび通信ストリームともに、映像のＴＳパケットに含まれるＰＴＳと、ＳＴＣ´とが一致したとき映像が提示されるように制御される。
　以上の処理により、放送ストリームと通信ストリームとを同期して再生することができる。
　［受信装置の構成］
　図３は、本実施形態の受信装置３００の構成を示すブロック図である。
　受信装置３００は、チューナ３０１（放送受信部）、放送受信用のＤｅＭＵＸ３０２、放送受信用の映像バッファ３０３、放送受信用の映像デコーダ３０４、ＳＴＣ生成部３０５（基準時刻生成部）、ネットワークＩ／Ｆ３０７（通信受信部）、ＨＴＭＬブラウザ３０８、ＶＯＤプレーヤ３０９、通信受信用のストリーミングバッファ３１０、通信受信用のＤｅＭＵＸ３１１、通信受信用の映像バッファ３１２、ＳＴＣ調整部３１３（調整部）、通信受信用の映像デコーダ３１４および映像マージャ３１５を備える。
　チューナ３０１は、ユーザにより選択されたチャンネルの放送ストリームを受信し、トランスポートストリーム（ＴＳ：Transport Stream）を生成して放送受信用のＤｅＭＵＸ３０２に送出する。
　放送受信用のＤｅＭＵＸ３０２は、トランスポートストリームのＤｅＭＵＸ処理を行い、映像のＴＳパケットを分離して映像ストリームとして放送受信用の映像バッファ３０３に供給するとともに、各ＴＳパケットからＰＣＲを抽出してＳＴＣ生成部３０５に供給する。
　放送受信用の映像バッファ３０３は、放送受信用の映像デコーダ３０４に供給する映像ストリームをバッファリングする。
　放送受信用の映像デコーダ３０４は、放送受信用の映像バッファ３０３から読み出された映像ストリームをデコードして放送系の映像信号として映像マージャ３１５に出力する。
　ＳＴＣ生成部３０５は、放送ストリームから抽出されたＰＣＲを基準に２７メガヘルツのＳＴＣを生成し、放送受信用の映像デコーダ３０４および通信受信用の映像デコーダ３１４などに供給する。
　ネットワークＩ／Ｆ３０７は、ＨＴＭＬ（HyperText Markup Language）ブラウザ３０８上で動作する放送連動型アプリケーションからＶＯＤ（Video On Demand）プレーヤ３０９への通信ストリームの取得指示が出されることによってＶＯＤプレーヤ３０９から与えられたリクエストをインターネットを通じて放送・通信設備１００の配信サーバに送信し、配信サーバからの応答として、放送ストリームと同期して再生されるべき通信ストリームを受信する。
　通信受信用のストリーミングバッファ３１０は、受信した通信ストリームをバッファリングする。ここで、受信した通信ストリームである映像のＴＳパケットが、ＰＴＳを有するＴＴＳ（Timestamped TS）パケットである場合、通信受信用のストリーミングバッファ３１０は、保持された通信ストリームを、ＰＴＳを用いて、可及的に本来のレートのＴＳパケットとなるように連続的に取り出して通信受信用のＤｅＭＵＸ３１１に供給する。
　通信受信用のＤｅＭＵＸ３１１は、ストリーミングバッファ３１０から取り出された通信ストリームから映像のＴＳパケットを分離して映像ストリームとして通信受信用の映像バッファ３１２に供給し、さらに受信した映像ストリームの先頭のＴＳパケットからＰＣＲを抽出してＳＴＣ調整部３１３に供給する。
　通信受信用の映像バッファ３１２は、通信受信用の映像デコーダ３１４に供給する映像ストリームをバッファリングする。
　通信受信用の映像デコーダ３１４は、通信受信用の映像バッファ３１２から読み出された映像ストリームをデコードして通信系の映像信号として映像マージャ３１５に出力する。
　映像マージャ３１５は、放送系の映像信号と通信系の映像信号とをマージして提示用の映像信号を生成し、図示しないディスプレイに出力する。ここで、マージは、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組など、番組素材の放送と通信への分離方法に対応した方法で行われる。
　ＳＴＣ調整部３１３は、ＳＴＣ生成部３０５のＳＴＣと、通信受信用のＤｅＭＵＸ３１１より供給されたＰＣＲとを比較してＳＴＣの調整データ（オフセットΔ）を生成し、ＳＴＣ生成部３０５に出力する。
　ＳＴＣ生成部３０５は、ＳＴＣ調整部３１３からの調整データ（オフセットΔ）を用いてＳＴＣを調整する。
　ホストコントローラ３１６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。ＲＯＭにはＣＰＵに実行させるプログラムやデータが固定的に記憶される。ＲＡＭにはＲＯＭに格納されたプログラムがロードされ、ＣＰＵはそのロードされたプログラムを実行する。
　ＲＡＭにロードされたプログラムは、ホストコントローラ３１６を、例えば、ＳＴＣ生成部３０５、ＨＴＭＬブラウザ３０８、ＶＯＤプレーヤ３０９、ＳＴＣ調整部３１３として動作させる。但し、ＳＴＣ生成部３０５およびＳＴＣ調整部３１３は必ずしもソフトウェアで提供されるとは限らず、ハードウェアで構成してもよい。ホストコントローラ３１６は、例えば、図示しないリモートコントローラを用いてユーザからの各種指示やデータの入力を受け付けることが可能である。
　［放送ストリームと通信ストリームの同期処理］
　次に、受信装置３００において、放送の選局から放送ストリームと通信ストリームとの同期再生までの動作を説明する。
　まず、受信装置３００のユーザは、図示しないリモートコントローラなどを用いて放送チャンネルの選局を行う。リモートコントローラなどによって受け付けられたユーザからの選局情報はホストコントローラ３１６にて処理される。ホストコントローラ３１６は、ユーザからの選局情報に基づいてチューナ３０１を制御する。
　チューナ３０１にて受信されたチャンネルの放送ストリームは放送受信用のＤｅＭＵＸ３０２に送出される。ＤｅＭＵＸ３０２は、放送ストリームから映像のＴＳパケット、音声のＴＳパケット、ＳＩ（Service Information：番組配列情報）などのその他のＴＳパケットを分離する。放送受信用のＤｅＭＵＸ３０２にて分離された映像のＴＳパケットは映像ストリームとして放送受信用の映像バッファ３０３に供給され、ここで一旦保持される。
　また、放送受信用のＤｅＭＵＸ３０２は、定常的に、映像のＴＳパケットからＰＣＲを抽出してＳＴＣ生成部３０５に供給する。ＳＴＣ生成部３０５にて、このＰＣＲを基準に２７メガヘルツのＳＴＣ（System Time Clock）が生成される。
　放送受信用の映像デコーダ３０４は、放送受信用の映像バッファ３０３から読み出された映像ストリームをデコードする。この際、放送受信用の映像デコーダ３０４は、映像のＴＳパケットがもつＰＴＳとＳＴＣ生成部３０５から与えられるＳＴＣとが一致したタイミンクで映像が提示されるように、当該映像ストリームのデコードのタイミングを制御する。
　放送受信用の映像デコーダ３０４から出力された放送系の映像信号は映像マージャ３１５に出力される。
　本動作の一例として、チャンセルが選局された後、このチャンネルもしくは番組に関連付けられたアプリケーション（放送連動型アプリケーション）を受信装置３００が放送または通信により取得し、実行する場合を想定する。この放送連動型アプリケーションは、放送ストリームと通信ストリームとの同期再生による、例えば、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などの視聴をユーザに促し、ユーザからの視聴の指示を受けると、ＶＯＤプレーヤ３０９に通信ストリームの取得指示を供給するように受信装置３００を機能させる。
　なお、この放送連動型アプリケーションは、例えばＨＴＭＬ（Hyper Text Markup Language）文書、ＢＭＬ文書（Broadcast Markup Language）、ＭＨＥＧ文書（Multimedia and Hypermedia information coding）、Ｊａｖａ（登録商標）スクリプト、静止画ファイル、動画ファイルなどで構成される。
　ＶＯＤプレーヤ３０９は、通信ストリームの取得指示を受けると、ネットワークＩ／Ｆ３０７を制御して、配信サーバにインターネットを通じて、選局中のチャンネルもしくは番組に関連付けられた通信ストリーム（放送ストリームと同期して再生されるべき通信ストリーム）の伝送をリクエストするとともに、ＳＴＣ調整部３１３にＳＴＣの調整指示を与える。ＳＴＣ調整部３１３は、ＳＴＣの調整指示を受けると、通信受信用のＤｅＭＵＸ３１１からのＰＣＲの供給の待機状態になる。
　一方、リクエストに対して配信サーバから伝送された通信ストリームは、ネットワークＩ／Ｆ３０７を介して通信受信用のストリーミングバッファ３１０に蓄積される。ここで、通信受信用のストリーミングバッファ３１０は、通信ストリームの先頭の映像のＴＳパケットを保持後直ちに読み出して通信受信用のＤｅＭＵＸ３１１に供給する。
　なお、通信受信用のストリーミングバッファ３１０にはバースト的に通信ストリームが蓄えられるが、配信サーバから伝送される映像のＴＳパケットが、ＰＴＳを有するＴＴＳパケットである場合、ストリーミングバッファ３１０は保持された通信ストリームを、ＰＴＳを用いて、可及的に本来のレートのＴＳパケットとなるように連続的に取り出して通信受信用のＤｅＭＵＸ３１１に供給する。
　通信受信用のＤｅＭＵＸ３１１は、ストリーミングバッファ３１０より読み出された通信ストリームから映像のＴＳパケットを分離して通信受信用の映像バッファ３１２に供給するとともに、最初に取得した映像のＴＳパケットからＰＣＲを抽出してＳＴＣ調整部３１３に供給する。
　ここで、最初に取得した映像のＴＳパケットから抽出されたＰＣＲの値をＰＣＲ０とする。ＳＴＣ調整部３１３は、ＰＣＲ０を取得すると、このＰＣＲ０と、ＳＴＣ生成部３０５より与えられたＳＴＣの値（ＳＴＣ０）とを比較し、ＳＴＣ０＞ＰＣＲ０の条件が成立するかどうかを判定する。ＳＴＣ０＞ＰＣＲ０が成立する場合とは、放送ストリームに対して、これに同期して再生されるべき通信ストリームが時間的に遅れて受信されていることを意味する。
　ＳＴＣ調整部３１３は、ＳＴＣ０＞ＰＣＲ０の条件が成立した場合、次式によりＳＴＣ０とＰＣＲ０とのオフセットΔを算出する。
　ＳＴＣ０－ＰＣＲ０＝Δ　　　・・・（１）
　このオフセットΔの値はＳＴＣ生成部３０５に供給される。
　ＳＴＣ生成部３０５は、オフセットΔの値を受け取ると、ＳＴＣを次式により調整する。
　ＳＴＣ－Δ＝ＳＴＣ´　　　・・・（２）
　以上のようにしてＳＴＣは、放送ストリームに対する通信ストリームの遅れ量だけずらしたＳＴＣ´に調整される。以降、放送受信用の映像デコーダ３０４および通信受信用の映像デコーダ３１４は、ＳＴＣ´をベースにそれぞれの映像ストリームの提示のタイミングを制御する。これにより、放送ストリームと通信ストリームとの同期再生が達成される。
　映像マージャ３１５には、互いに同期した放送系の映像信号と通信系の映像信号が供給されることで、元の３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などの番組が正しく復元される。
　なお、ＳＴＣ０＞ＰＣＲ０の条件が成立した場合にはＳＴＣを調整することとしたが、逆にＳＴＣ０＜ＰＣＲ０またはＳＴＣ０＝ＰＣＲ０が成立した場合にはＳＴＣの調整は不要である。
　また、ＳＴＣ´は、このＳＴＣ´でデコードが行われた放送番組の終了と同時にもとのＳＴＣに戻される。
　図４は以上説明した放送の選局から放送ストリームと通信ストリームとの同期処理、さらには同期処理の終了までのタイムチャートである。
　受信装置３００において、ＳＴＣがＳＴＣ´に更新されることによって映像ストリームのデコードの開始時刻がＴ１からＴ１´に後方へとずらされる。Ｔ１からＴ１´までの間、映像はフリーズ状態で表示される。そしてＴ１´の時刻から放送と通信それぞれの映像ストリームのデコードが同時に再開される。その後、番組が終了するまで、ＳＴＣ´を基準にデコードが行われる。番組が終了すると、ＳＴＣ´がＳＴＣに戻され、ＰＴＳがＳＴＣに一致するアクセスユニットにジャンプしてデコードが行われる。
　＜第２の実施形態＞
　上記の第１の実施形態では、通信ストリームの映像のＴＳパケットがＴＴＳパケットである場合を想定したが、通信ストリームの映像のＴＳパケットがＰＴＳをもたないＴＳパケットである場合も考えられる。
　この場合、ストリーミングバッファ３１０から映像デコーダ３１４までの系では、ＳＴＣとは無関係に、通信ストリームの受信からデコードまでの動作を連続して繰り返す。このことから、最初に受信された映像のＴＳパケットから抽出されるＰＣＲ０とＳＴＣ０との差分をもとにＳＴＣを調整するだけでは、適正に放送ストリームと通信ストリームとを同期させることができない場合が想定される。
　このような想定において、オフセットΔは、放送ストリームに対する通信ストリームの平均的な遅れ量として求めなければならない。
　例えば、次式により、通信ストリームの受信開始から一定期間のＰＣＲに関してそれぞれ差分を算出し、各差分の平均値を求める。
Figure JPOXMLDOC01-appb-M000001
　Ａの値が正である場合、このＡにマージンｍを加えた値をオフセットΔとする。
　ＳＴＣ生成部３０５は、このオフセットΔをＳＴＣから減算した結果を調整後のＳＴＣ´として放送受信用の映像デコーダ３０４などに供給する。そして送受信用の映像デコーダ３０４はＳＴＣ´をベースに映像ストリームの提示のタイミングを制御する。
　もともと、ＰＴＳをもたないＴＳパケットは厳密な同期を必要としないメディアの伝送に用いられるため、放送ストリームに対する通信ストリームの平均的な遅れ量として求められるオフセットΔでＳＴＣを調整する程度でよい。
　本技術は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　なお、本技術は以下のような構成も採ることができる。
（１）　それぞれ時刻参照値が付加され、互いに同期して再生されるべき複数の映像のうち一方を放送ストリームとして放送を通じて受信可能な放送受信部と、
　前記複数の映像のうち他方を通信ストリームとしてネットワークを通じて受信可能な通信受信部と、
　前記放送ストリームに含まれる前記時刻参照値をもとに、前記複数の映像を提示するタイミングを生成するための基準時刻を生成する基準時刻生成部と、
　前記基準時刻に対する前記通信ストリームの前記時刻参照値の遅れ量で前記基準時刻を調整する調整部と
　を具備する受信装置。
（２）前記（１）に記載の受信装置であって、
　請求項１に記載の受信装置であって、
　前記調整部は、前記通信受信部によって最初に受信された前記通信ストリームの前記時刻参照値の前記遅れ量で前記基準時刻を調整する
　受信装置。
（３）前記（１）から（２）に記載のいずれかの受信装置であって、
　前記放送ストリームおよび前記通信ストリームには所定の単位毎の提示時刻情報が付加され、
　前記受信装置は、
　前記放送受信部により受信された前記放送ストリームを、当該放送ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記一方の映像が提示されるようにデコードする放送受信用の映像デコーダと、
　前記通信受信部により受信された前記通信ストリームを、当該通信ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記他方の映像が提示されるようにデコードする放送受信用の映像デコーダと、
　前記放送受信用の映像デコーダおよび前記通信受信用の映像デコーダによりそれぞれデコードされた複数の映像をマージする映像マージャと
　をさらに具備する受信装置。
　１００…放送・通信設備
　３００…受信装置
　３０１…チューナ
　３０２…放送受信用のＤｅＭＵＸ
　３０３…放送受信用の映像バッファ
　３０４…放送受信用の映像デコーダ
　３０５…ＳＴＣ生成部
　３０７…ネットワークＩ／Ｆ
　３０８…ＨＴＭＬブラウザ
　３０９…ＶＯＤプレーヤ
　３１０…ストリーミングバッファ
　３１１…通信受信用のＤｅＭＵＸ
　３１２…通信受信用の映像バッファ
　３１３…ＳＴＣ調整部
　３１４…通信受信用の映像デコーダ
　３１５…映像マージャ
　３１６…ホストコントローラ

Claims (6)

  1. 　それぞれ時刻参照値が付加され、互いに同期して再生されるべき複数の映像のうち一方を放送ストリームとして放送を通じて受信可能な放送受信部と、
    　前記複数の映像のうち他方を通信ストリームとしてネットワークを通じて受信可能な通信受信部と、
    　前記放送ストリームに含まれる前記時刻参照値をもとに、前記複数の映像を提示するタイミングを生成するための基準時刻を生成する基準時刻生成部と、
    　前記基準時刻に対する前記通信ストリームの前記時刻参照値の遅れ分で前記基準時刻を調整する調整部と
    　を具備する受信装置。
  2. 　請求項１に記載の受信装置であって、
    　前記調整部は、前記通信受信部によって最初に受信された前記通信ストリームの前記時刻参照値の前記遅れ分で前記基準時刻を調整する
    　受信装置。
  3. 　請求項２に記載の受信装置であって、
    　前記放送ストリームおよび前記通信ストリームには所定の単位毎の提示時刻情報が付加され、
    　前記受信装置は、
    　前記放送受信部により受信された前記放送ストリームを、当該放送ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記一方の映像が提示されるようにデコードする放送受信用の映像デコーダと、
    　前記通信受信部により受信された前記通信ストリームを、当該通信ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記他方の映像が提示されるようにデコードする放送受信用の映像デコーダと、
    　前記放送受信用の映像デコーダおよび前記通信受信用の映像デコーダによりそれぞれデコードされた複数の映像をマージする映像マージャと
    　をさらに具備する受信装置。
  4. 　請求項１に記載の受信装置であって、
    　前記調整部は、前記通信受信部によって受信された一定期間内の前記通信ストリームの前記時刻参照値の前記遅れ分の平均値に所定のマージンを付加した値で前記基準時刻を調整する
    　受信装置。
  5. 　請求項４に記載の受信装置であって、
    　前記放送ストリームおよび前記通信ストリームのうち前記放送ストリームにのみ所定の単位毎の提示時刻情報が付加され、
    　前記受信装置は、
    　前記放送受信部により受信された前記放送ストリームを、当該放送ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミンクで前記一方の映像が提示されるようにデコードする放送受信用の映像デコーダと、
    　前記通信受信部により受信された前記通信ストリームをデコードする放送受信用の映像デコーダと、
    　前記放送受信用の映像デコーダおよび前記通信受信用の映像デコーダによりそれぞれデコードされた複数の映像をマージする映像マージャと
    　をさらに具備する受信装置。
  6. 　それぞれ時刻参照値が付加され、互いに同期して再生されるべき複数の映像のうち一方を放送ストリームとして放送を通じて受信し、
    　前記複数の映像のうち他方を通信ストリームとしてネットワークを通じて受信し、
    　基準時刻生成部が、前記放送ストリームに含まれる前記時刻参照値をもとに、前記複数の映像を提示するタイミングを生成するための基準時刻を生成し、
    　調整部が、前記基準時刻に対する前記通信ストリームの前記時刻参照値の遅れ分で前記基準時刻を調整する
    　を具備する同期処理方法。
PCT/JP2013/003521 2012-06-22 2013-06-05 受信装置およびその同期処理方法 WO2013190787A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014520904A JP6333173B2 (ja) 2012-06-22 2013-06-05 受信装置および受信方法
US14/399,306 US20150101004A1 (en) 2012-06-22 2013-06-05 Receiver apparatus and synchronization processing method thereof
RU2014150793A RU2627040C2 (ru) 2012-06-22 2013-06-05 Приемное устройство и способ синхронизационной обработки изображений в этом устройстве
EP13807805.0A EP2866458B1 (en) 2012-06-22 2013-06-05 Reception device, and synchronous processing method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012141034 2012-06-22
JP2012-141034 2012-06-22

Publications (1)

Publication Number Publication Date
WO2013190787A1 true WO2013190787A1 (ja) 2013-12-27

Family

ID=49768402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003521 WO2013190787A1 (ja) 2012-06-22 2013-06-05 受信装置およびその同期処理方法

Country Status (5)

Country Link
US (1) US20150101004A1 (ja)
EP (1) EP2866458B1 (ja)
JP (1) JP6333173B2 (ja)
RU (1) RU2627040C2 (ja)
WO (1) WO2013190787A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016116065A (ja) * 2014-12-15 2016-06-23 日本放送協会 受信機、送信機、及びコンテンツの受信方法
WO2017022281A1 (ja) * 2015-08-06 2017-02-09 日立マクセル株式会社 放送受信装置、出力映像情報生成方法、放送受信方法及び録画方法
JP2017512001A (ja) * 2014-04-18 2017-04-27 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
JP2020145682A (ja) * 2020-04-15 2020-09-10 松野 桂子 信号処理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072231A (ko) * 2013-12-19 2015-06-29 한국전자통신연구원 멀티 앵글 뷰 서비스 제공 장치 및 방법
JP6801668B2 (ja) * 2015-11-05 2020-12-16 ソニー株式会社 コンテンツ再生装置、およびコンテンツ再生方法
BR112020000807A2 (pt) 2017-07-21 2020-07-14 Sony Corporation unidades de recepção e de transmissão, métodos de recepção e de transmissão, e, programa .
CN109587543B (zh) * 2018-12-27 2021-04-02 秒针信息技术有限公司 音频同步方法和装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151434A (ja) * 2003-11-19 2005-06-09 Sony Corp 受信装置および方法、記録媒体、並びにプログラム
JP2005159592A (ja) 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
JP2006014089A (ja) * 2004-06-28 2006-01-12 Sony Corp 受信装置、通信システム、受信方法及び受信プログラム
JP2008252831A (ja) * 2007-03-30 2008-10-16 Sharp Corp 放送受信装置、放送再送信装置、放送再送信方法、放送受信システム、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012010009A (ja) * 2010-06-23 2012-01-12 Nippon Hoso Kyokai <Nhk> 送信装置、サーバ装置、および受信装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1032815A (ja) * 1996-07-16 1998-02-03 Toshiba Corp 画面合成装置
US6587505B1 (en) * 1998-08-31 2003-07-01 Canon Kabushiki Kaisha Image processing apparatus and method
US6512552B1 (en) * 1999-03-29 2003-01-28 Sony Corporation Subpicture stream change control
JP2002262246A (ja) * 2001-03-05 2002-09-13 Mitsubishi Electric Corp 出力情報制御装置及び出力情報制御方法
CA2439737A1 (en) * 2002-10-07 2004-04-07 Microsoft Corporation Extented time-code for multimedia presentations
KR100526189B1 (ko) * 2004-02-14 2005-11-03 삼성전자주식회사 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법
JP4438878B2 (ja) * 2008-03-17 2010-03-24 ソニー株式会社 受信装置、クロック同期方法およびコンピュータプログラム
WO2009157078A1 (ja) * 2008-06-26 2009-12-30 富士通マイクロエレクトロニクス株式会社 映像音声データ出力装置および映像音声データ出力方法
JP4409611B2 (ja) * 2008-08-04 2010-02-03 シャープ株式会社 放送受信装置、放送受信方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5815408B2 (ja) * 2008-09-16 2015-11-17 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケーラブルビデオコーディングを利用したリニアなデジタルｔｖ番組の伝送方法
KR101164857B1 (ko) * 2008-12-19 2012-07-11 한국전자통신연구원 비실시간으로 3차원 입체 방송을 제공하기 위한 방송 송수신 시스템 및 방법
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151434A (ja) * 2003-11-19 2005-06-09 Sony Corp 受信装置および方法、記録媒体、並びにプログラム
JP2005159592A (ja) 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
JP2006014089A (ja) * 2004-06-28 2006-01-12 Sony Corp 受信装置、通信システム、受信方法及び受信プログラム
JP2008252831A (ja) * 2007-03-30 2008-10-16 Sharp Corp 放送受信装置、放送再送信装置、放送再送信方法、放送受信システム、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012010009A (ja) * 2010-06-23 2012-01-12 Nippon Hoso Kyokai <Nhk> 送信装置、サーバ装置、および受信装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KINJI MATSUMURA ET AL.: "Hybridcast no Gaiyo to Gijutsu", NHK SCIENCE AND TECHNICAL RESEARCH LABORATORIES R&D REPORT, 15 November 2010 (2010-11-15), pages 10 - 17, XP008175577 *
KINJI MATSUMURA ET AL.: "Implementation Study of An Extra Content Service for Broadcast Programs using Synchronized IP Streaming", 2010 NEN THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS NENJI TAIKAI KOEN YOKOSHU, THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS, 2 August 2010 (2010-08-02), pages 5 - 10, XP008175583 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017512001A (ja) * 2014-04-18 2017-04-27 エルジー エレクトロニクス インコーポレイティド 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
US10897636B2 (en) 2014-04-18 2021-01-19 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
US11272231B2 (en) 2014-04-18 2022-03-08 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
US11706467B2 (en) 2014-04-18 2023-07-18 Lg Electronics Inc. Broadcast signal transmitting apparatus and broadcast signal transmitting method
JP2016116065A (ja) * 2014-12-15 2016-06-23 日本放送協会 受信機、送信機、及びコンテンツの受信方法
WO2017022281A1 (ja) * 2015-08-06 2017-02-09 日立マクセル株式会社 放送受信装置、出力映像情報生成方法、放送受信方法及び録画方法
US11272241B2 (en) 2015-08-06 2022-03-08 Maxell, Ltd. Broadcast receiving apparatus, output video information generating method, broadcast receiving method, and video recording method
US11575960B2 (en) 2015-08-06 2023-02-07 Maxell, Ltd. Broadcast receiving apparatus, output video information generating method, broadcast receiving method, and video recording method
JP2020145682A (ja) * 2020-04-15 2020-09-10 松野 桂子 信号処理装置

Also Published As

Publication number Publication date
EP2866458B1 (en) 2019-07-31
JP6333173B2 (ja) 2018-05-30
EP2866458A4 (en) 2015-11-04
JPWO2013190787A1 (ja) 2016-02-08
EP2866458A1 (en) 2015-04-29
RU2627040C2 (ru) 2017-08-03
US20150101004A1 (en) 2015-04-09
RU2014150793A (ru) 2016-07-10

Similar Documents

Publication Publication Date Title
JP6313704B2 (ja) 受信装置およびその同期処理方法
JP6333173B2 (ja) 受信装置および受信方法
US10911805B2 (en) Reception method, transmission method, reception device, and transmission device
KR101480969B1 (ko) 디지털 비디오에 관한 빠른 채널 변경을 위한 방법 및 장치
JP5903924B2 (ja) 受信装置および字幕処理方法
JP6610555B2 (ja) 受信装置、送信装置、およびデータ処理方法
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
CN101809965B (zh) 将接收的流与发送至另外装置的流同步的通信技术
EP2485501B1 (en) Fast channel change companion stream solution with bandwidth optimization
US20150109411A1 (en) Image playback apparatus for 3dtv and method performed by the apparatus
JP2004297628A (ja) ストリーム切替装置およびその装置にコンテンツを提供する装置
EP2814256B1 (en) Method and apparatus for modifying a stream of digital content
JP4987034B2 (ja) 映像表示装置
KR101371016B1 (ko) 보조 채널을 이용한 방송 송수신 방법 및 장치
JP2012169993A (ja) コンテンツ同期装置、コンテンツ同期方法及びコンテンツ同期プログラム
EP2479984A1 (en) Device and method for synchronizing content received from different sources
WO2011155099A1 (ja) 映像表示装置
JP5466633B2 (ja) ストリーム切替方法およびデジタル放送送出システム
JP2016048846A (ja) 情報表示装置、情報表示方法、情報表示プログラム、関連情報形成装置、及び配信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13807805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014520904

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14399306

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013807805

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014150793

Country of ref document: RU

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE