WO2014162748A1 - 受信装置、及び受信方法 - Google Patents

受信装置、及び受信方法 Download PDF

Info

Publication number
WO2014162748A1
WO2014162748A1 PCT/JP2014/001963 JP2014001963W WO2014162748A1 WO 2014162748 A1 WO2014162748 A1 WO 2014162748A1 JP 2014001963 W JP2014001963 W JP 2014001963W WO 2014162748 A1 WO2014162748 A1 WO 2014162748A1
Authority
WO
WIPO (PCT)
Prior art keywords
buffer
content
communication
presentation
control
Prior art date
Application number
PCT/JP2014/001963
Other languages
English (en)
French (fr)
Inventor
賀敬 井口
西　孝啓
健輔 佐藤
加藤　久也
遠間　正真
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2015509924A priority Critical patent/JPWO2014162748A1/ja
Publication of WO2014162748A1 publication Critical patent/WO2014162748A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Definitions

  • the present invention relates to a service providing technique based on signals transmitted using different transmission paths.
  • the receiving device receives broadcast content from a digital broadcast signal, receives communication content linked to the broadcast content from the communication network, and presents the broadcast content and communication content in synchronization.
  • an object of the present invention is to provide a receiving apparatus that can improve the quality of a cooperative service using different transmission paths.
  • a receiving apparatus includes a first buffer that accumulates and outputs a first signal received through a first transmission path that does not need to compensate for jitter, and a second transmission that needs to compensate for jitter.
  • a control management unit for determining a control method for the first buffer and the second buffer based on a surplus buffer size of the first buffer and a surplus buffer size of the second buffer, and the control management unit A control unit that controls the first buffer and the second buffer based on a control method of the first buffer and the second buffer.
  • FIG. 1 is a block diagram showing a configuration of a receiving device 1 according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a configuration example of a buffer 13 and a buffer 22 in FIG. 1.
  • the figure which shows an example of the state transition of the content presentation in the receiver 1 of FIG. The figure which shows the signal image for demonstrating an example of the synchronous presentation method of the broadcast content and communication content in the receiver 1 of FIG.
  • the flowchart which shows an example of the processing operation of the synchronous presentation method of the broadcast content and communication content by the receiver 1 of FIG.
  • FIG. 7 is a block diagram showing a configuration of a receiving apparatus 1A according to a modification of the first embodiment.
  • FIG. 10 is a block diagram showing a configuration of a receiving apparatus 1B according to another modification of the first embodiment.
  • FIG. 15 is a block diagram illustrating a configuration example of a control management unit 141 in FIG. 14.
  • FIG. 15 is a flowchart showing an example of initial operations of a delay buffer and a de-jitter buffer after the start of reception of broadcast communication in the receiving apparatus 100 of FIG.
  • the flowchart which shows an example of the control method determination operation
  • FIG. 10 is a block diagram showing a configuration of receiving apparatus 100A according to a modification of the second embodiment.
  • the receiving device described in Patent Literature 1 receives broadcast content from a digital broadcast signal, and receives communication content linked to the broadcast content from a communication network.
  • the receiving device temporarily stores the received broadcast content in the first synchronization buffer, and temporarily stores the received communication content in the second synchronization buffer.
  • the receiving device controls the output time of the content output from either the first synchronization buffer or the second synchronization buffer according to the time specified by the command execution unit, and the broadcast device or the communication content Delay the presentation of either one. Thereby, it is possible to present broadcast content and communication content having different reception times in synchronization.
  • the receiving device described in Patent Document 2 synchronizes the presentation of the broadcast content and the communication content by delaying the presentation of the broadcast content.
  • a delay in which the communication content is acquired in response to an external operation or an external control signal and is presented with a delay from the presentation time when the broadcast content is normally presented after completion of the acquisition of the communication content. Start presenting. This makes it possible to normally present broadcast content even during acquisition of communication content.
  • the same problem occurs when the broadcast content reception time is delayed with respect to the communication content reception time. That is, when the communication content is played back and the broadcast content is not played back and the state is changed to a state in which both the communication content and the broadcast content are played back, the delay time of the broadcast content reception time with respect to the communication content reception time is set. Accordingly, it is necessary to delay the presentation of the communication content. Thereby, the communication content presented to the viewer is temporarily interrupted. As the delay time of the broadcast content reception time with respect to the communication content reception time is larger, this greatly affects the viewer.
  • the inventors give the viewer, for example, by notifying the viewer about the synchronization between broadcasting and communication before and after delaying the presentation of broadcast content or before and after delaying the presentation of communication content. We obtained knowledge that the impact could be reduced.
  • FIG. 1 is a block diagram showing a configuration of a receiving apparatus 1 that is a broadcast communication cooperative receiving apparatus according to Embodiment 1 of the present invention.
  • the receiving apparatus 1 includes a digital broadcast receiving unit 11, a separating unit 12, a buffer 13, a decoding unit 14, a communication transmitting / receiving unit 21, a buffer 22, a decoding unit 23, a content generating unit 31, a communication transmitting / receiving unit 41, an operation input unit 42, and A control unit 51 is provided.
  • the receiving device 1 is a device such as a television receiver, a portable television, a recorder, a set top box, a smartphone, or a tablet.
  • the digital broadcast receiver 11 receives a digital broadcast signal received by the external broadcast antenna 3 as an input. Then, the digital broadcast receiving unit 11 selects a desired channel from the digital broadcast signal, performs demodulation processing and error correction processing on the selected digital broadcast signal of the desired channel, and generates a transport stream. To the separation unit 12. Note that the receiving apparatus 1 may include the broadcast antenna 3 therein.
  • the digital broadcasting is, for example, terrestrial digital broadcasting, BS (Broadcasting Satellite) digital broadcasting, CS (Communications Satellite) digital broadcasting, broadcasting using an IP (Internet Protocol) network such as cable television and optical fiber.
  • BS Broadcasting Satellite
  • CS Communication Satellite
  • IP Internet Protocol
  • the separating unit 12 separates the transport stream generated by the digital broadcast receiving unit 11 into video data, audio data, data broadcasting, and the like. Also, the separation unit 12 acquires various control information included in the transport stream.
  • the control information included in the transport stream includes, for example, PSI (Program Specific Information) that is system information, SI (Service Information Information), PCR (Program Clock Reference) that is synchronization information, and an application data table that is information about the application ( Application Information Table (AIT).
  • PSI Program Specific Information
  • SI Service Information Information
  • PCR Program Clock Reference
  • AIT Application Information Table
  • an application ID for identifying an application a control code capable of controlling a life cycle such as activation and termination of the application, and application location information are described.
  • video data, audio data, and the like output from the separation unit 12 are configured as PES (Packetized Elementary Stream) packets.
  • the PES header included in each PES packet stores PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) as presentation time information for synchronization. Note that one or both of PTS and DTS may not be included in the PES header.
  • the separated video data, audio data, and the like are output from the separation unit 12 to the buffer 13, and PCR, AIT, and the like are output from the separation unit 12 to the control unit 51.
  • the buffer 13 stores video data, audio data, and the like output from the separation unit 12. Then, the buffer 13 outputs content data for each component such as video and audio to one or both of the decoding unit 14 and the communication transmitting / receiving unit 41 in units of PES packets at a timing instructed by the control unit 51.
  • the buffer 13 will be described later with reference to FIG.
  • the decoding unit 14 converts the PES packet for each component such as video and audio output from the buffer 13 into an elementary stream (ES), and extracts the PTS and DTS from the PES header of the PES packet. In addition, the decoding unit 14 outputs the extracted PTS and DTS to the control unit 51. Then, the decoding unit 14 decodes the elementary stream for each component and outputs the decoded elementary stream to the content generation unit 31. However, when the order of the picture frames before decoding of the video content is different from the order of the picture frames after decoding, the decoding unit 14 uses the internal buffer to change the order and then outputs to the content generation unit 31. To do.
  • ES elementary stream
  • the communication transmitting / receiving unit 21 acquires an application and AV content from a content server provided by an operator related to the broadcaster or another operator via the communication network.
  • the communication transceiver 21 may acquire control information such as AIT via a communication network.
  • AV content provided by a communication carrier includes file data, video data, audio data, and the like.
  • the communication transmitting / receiving unit 21 outputs the acquired application and control information to the control unit 51.
  • the communication transmitting / receiving unit 21 outputs the acquired AV content to the buffer 22.
  • the communication transmitter / receiver 21 and the communication transmitter / receiver 41 to be described later include, for example, a wireless LAN (Local Area Network), Bluetooth (registered trademark), Ethernet (registered trademark), USB (Universal Serial Bus), PLC (Power Line Communication), and Communication is performed using a communication method conforming to a communication standard such as HDMI (registered trademark) (High-Definition Multimedia Interface).
  • a wireless LAN Local Area Network
  • Bluetooth registered trademark
  • Ethernet registered trademark
  • USB Universal Serial Bus
  • PLC Power Line Communication
  • Communication is performed using a communication method conforming to a communication standard such as HDMI (registered trademark) (High-Definition Multimedia Interface).
  • HDMI registered trademark
  • the communication transmission / reception unit 21 and the communication transmission / reception unit 41 may have the same configuration or different configurations.
  • the buffer 22 stores content data of AV content output from the communication transmitting / receiving unit 21. Then, the buffer 22 outputs content data for each component such as video and audio to one or both of the decoding unit 23 and the communication transmitting / receiving unit 41 in units of PES packets at a timing instructed by the control unit 51.
  • the buffer 22 will be described later with reference to FIG.
  • the decoding unit 23 converts the PES packet for each component such as video and audio output from the buffer 22 into an elementary stream (ES), and extracts the PTS and DTS from the PES header of the PES packet. In addition, the decoding unit 23 outputs the extracted PTS and DTS to the control unit 51. Then, the decrypting unit 23 decrypts the elementary stream for each component and outputs the decrypted elementary stream to the content generating unit 31. However, if the order of the picture frames before decoding the video content is different from the order of the decoded picture frames, the decoding unit 23 uses the internal buffer to change the order and then outputs the content to the content generation unit 31. To do.
  • ES elementary stream
  • the content generation unit 31 receives the content data of each component (video, audio, subtitles, etc.) output from the decoding unit 14 and the content data of each component (video, audio, subtitles, etc.) output from the decoding unit 23.
  • the service presentation content is generated according to the instruction of the control unit 51.
  • the presentation content generated by the content generation unit 51 is output to the external presentation unit 5 and presented by the presentation unit 5.
  • the receiving device 1 may include the presentation unit 5 inside.
  • the communication transmission / reception unit 41 performs communication between a content presentation device different from the presentation unit 5 and an input interface operated by the viewer.
  • the content presentation device include a television receiver, a portable television, a smartphone, and a tablet.
  • the communication transmitting / receiving unit 41 transmits the PES packet output from the buffers 13 and 22 to the content presentation device. Further, the communication transmitting / receiving unit 41 transmits the data received from the control unit 51 to the content presentation device.
  • Examples of the input interface include a remote controller, a tablet terminal, a smartphone, a keyboard of a personal computer, a mouse, a camera, and a microphone. Further, the communication transmitting / receiving unit 41 outputs the input content received from the input interface to the operation input unit 42 or the control unit 51.
  • the content presentation device and the input interface may be the same device or different devices.
  • the operation input unit 42 acquires a control signal corresponding to an operation using an input interface by a viewer from an external input interface or a built-in input interface, and transmits control information corresponding to the acquired control signal to the control unit Tell 51.
  • the input interface include a remote controller, a tablet terminal, a smartphone, a keyboard of a personal computer, a mouse, a camera, and a microphone.
  • the operation using the input interface by the viewer includes, for example, pressing a button physically or virtually arranged on the screen, a gesture, an operation by sound, and a combination thereof.
  • a control signal from the input interface may be input to the operation input unit 42 via the communication transmission / reception unit 41 or may be directly input to the control unit 51 via the communication transmission / reception unit 41.
  • the receiving device 1 may not include the operation input unit 42.
  • the control unit 51 generates a reference clock signal using the PCR output from the separation unit 12.
  • the generated reference clock signal is used for controlling the output timing of the buffers 13 and 22.
  • the control unit 51 uses the PTS output from the decoding unit 14 to generate control information for matching the output timing between each content (video content, audio content, etc.) transmitted by broadcast, To the PES buffer 71 described later. Further, the control unit 51 uses the PTS output from the decoding unit 23 to generate control information for matching the output timing between each content (video content, audio content, etc.) sent by communication, 22 to a PES buffer 71 described later.
  • control unit 51 calculates the delay time between the broadcast content and the communication content using the PTS output from the decoding unit 14 and the PTS output from the decoding unit 23. Then, control information for matching the output timings of the broadcast content and the communication content is generated based on the calculated delay time, and is sent to a later-described synchronization buffer 72 in the buffer 13 and a later-described synchronization buffer 72 in the buffer 22. Output. In addition, the control unit 51 instructs the content generation unit 31 to notify the viewer about the synchronization of the broadcast content and the communication content (synchronization presentation notification).
  • the synchronous presentation notification is, for example, notification to the viewer of the occurrence of discontinuous video presentation when switching from normal presentation of broadcast content described later to delayed presentation described later, notification to the viewer of occurrence of duplicate video presentation, and the like. It is. This synchronous presentation notification will be described later including a specific example.
  • FIG. 2 is a block diagram showing a configuration example of the buffer 13 and the buffer 22 in FIG.
  • the buffers 13 and 22 include a PES buffer 71 and a synchronization buffer 72.
  • the PES buffer 71 is a buffer for aligning output timings between contents such as video contents and audio contents.
  • the PES buffer 71 converts each content such as video content and audio content into a PES packet, and outputs content data in units of PES at the output timing instructed by the control information by the control unit 51.
  • the synchronization buffer 72 is a buffer for aligning the output timing between the broadcast content and the communication content.
  • the synchronization buffer 72 outputs content data in units of PES at the timing instructed by the control information by the control unit 51.
  • the PES buffer 71 and the synchronization buffer 72 can output content data in units of PES with an arbitrary delay time and an arbitrary output timing, and the delay time and the output timing all follow the instructions of the control unit 51.
  • the broadcast communication cooperation service includes a method for controlling cooperation between broadcast and communication by an application such as HTML5, and a method for controlling cooperation between broadcast and communication without using an application.
  • an application such as HTML5
  • the application may be an HTML5 application or a resident application of a receiver.
  • a part of the functions of the resident application and the receiver may be provided as an API and controlled by another application such as HTML5.
  • Broadcast / communication cooperation services include a subordinate service in which an application is linked to AV content, and a stand-alone service in which an application is not linked to AV content. There are various communication contents.
  • the communication content is assumed to be a multicast distribution of real-time live video in which packets cannot be acquired in advance in time.
  • FIG. 3 shows an example of state transition of content presentation in the receiving apparatus 1 used for explaining a specific example of a method for synchronously presenting broadcast content and communication content.
  • the receiving device 1 starts from a power-off state (broadcast OFF / communication OFF state). Then, by turning on broadcast content presentation, the receiving apparatus 1 transitions from a broadcast OFF / communication OFF state to a state in which only broadcast content is presented (broadcast ON / communication OFF state). Furthermore, the receiving device 1 transitions from a broadcast ON / communication OFF state to a state in which both broadcast content and communication content are being presented (broadcast ON / communication ON state) by turning ON communication content presentation. To do.
  • “broadcast ON / communication OFF state” is defined as “state A”
  • “broadcast ON / communication ON state” is defined as “state B”.
  • a period from when it is determined to transition from “state A” to “state B” until the transition is completed is defined as “transition period”.
  • the application In order to provide a broadcasting / communication cooperation service, it is assumed that the application is running. Therefore, if the application is not activated when providing the broadcasting / communication cooperation service, the application needs to be activated. In order to provide only the broadcast service, the application does not necessarily have to be activated.
  • the application in the case of transition from state A to state B, if the application is not activated in state A, the application needs to be activated. At this time, the application is activated based on the AIT included in the broadcast signal.
  • reception of communication content has a larger delay than reception of broadcast content
  • communication content is received with a delay with respect to the broadcast content on the receiving side.
  • FIG. 4 is a diagram showing a signal image for explaining an example of a method for synchronously presenting broadcast content and communication content in the state transition of content presentation shown in FIG.
  • FIG. 4A shows a time signal of broadcast content without delay. A case where broadcast presentation is performed using this signal is defined as “normal presentation”.
  • FIG. 4B shows a time signal of the delayed broadcast content.
  • the case where broadcast presentation is performed using this signal is defined as “delayed presentation”.
  • D in the figure is a delay time of the reception time of the communication content with respect to the reception time of the broadcast content.
  • FIG. 4C shows a time signal of communication content.
  • FIG. 4D shows the time signal of the broadcast content that is actually presented.
  • FIG. 4 (e) shows the time signal of the communication content that is actually presented.
  • the receiving device 1 completes the transition from the state A to the state B, that is, the period from the time T1 to the time T2 when the preparation of the communication content is completed from the time T1 when the communication content acquisition is started. Until then, broadcast content is usually presented.
  • the receiving device 1 presents the broadcast content and the communication content in a delayed manner after the period after time T2 when the preparation of the presentation of the communication content is completed, that is, after the transition from the state A to the state B is completed.
  • the presentation of the broadcast content is switched from the normal presentation to the delayed presentation. For this reason, at the timing when the transition from the state A to the state B is completed, the broadcast content is presented as a discontinuous video or the like.
  • the presentation of the broadcast content is a duplicate presentation of the same video or the like as the video or the like presented once in the normal presentation. Presentation of discontinuous video or the like, or overlapping presentation of video or the like may give a viewer a sense of incongruity and sometimes cause discomfort.
  • the receiving device 1 performs notification (synchronization presentation notification) related to synchronization between the broadcast content and the communication content for the viewer (for example, “synchronization of the broadcast content and the communication content is performed) during the broadcast content overlap presentation period. Therefore, a message stating that “the broadcast content is being presented in duplicate” is presented to the presentation unit 5).
  • notification synchronization presentation notification
  • FIG. 5 is a flowchart showing an example of the processing operation of the method for synchronously presenting broadcast content and communication content by the receiving device 1 in the state transition of content presentation shown in FIG. However, at the start of the flowchart of FIG. 5, the receiving device 1 is in a power OFF state (broadcast OFF / communication OFF state).
  • the receiving device 1 transitions from the power OFF state (broadcast OFF / communication OFF state) to the broadcast ON / communication OFF state (state A) by turning on the broadcast content presentation (step S11).
  • the receiving device 1 starts acquisition of broadcast content and starts normal presentation of broadcast content (step S12).
  • the receiving device 1 starts acquiring communication content in response to acquisition of an application (step S13).
  • the receiving device 1 determines whether or not preparation for presentation of communication content is completed (step S14). Until it is determined that preparation for presentation of communication content is completed (S14: No), the process of step S14 is performed. And when it determines with the preparation of presentation of communication content having been completed (S14: Yes), the process of step S15 is performed.
  • the determination as to whether or not preparation for acquiring communication content has been completed is made when it is determined that preparation for acquisition of communication content has been completed, for example, when a predetermined amount of content data of communication content has been accumulated in the buffer 202. .
  • the receiving apparatus 1 compares the PTS of the broadcast content after decryption with the PTS of the communication content in the control unit 51, and calculates the delay time of the communication content with respect to the broadcast content (step S15).
  • the control unit 51 generates control information for matching the output timings of the broadcast content and the communication content based on the delay time calculated in step S15, and the synchronization buffer 72 in the buffer 13 and the synchronization buffer in the buffer 22 72.
  • the synchronization buffer 72 in the buffer 13 delays the buffer output based on the delay time calculated in step S15 according to the control information, and the synchronization buffer 72 in the buffer 22 performs buffer output according to the control information.
  • the receiving apparatus 1 switches the presentation of the broadcast content from the normal presentation to the delayed presentation, starts the delayed presentation, and simultaneously starts the presentation of the communication content.
  • control unit 51 presents a message for synchronous presentation notification (for example, a message indicating that “broadcast content is presented in duplicate to synchronize broadcast content and communication content”) to the content generation unit 31.
  • a message for synchronous presentation notification for example, a message indicating that “broadcast content is presented in duplicate to synchronize broadcast content and communication content”
  • the content generation unit 31 starts presenting the synchronous presentation notification message to the presentation unit 5 (step S16).
  • the control unit 51 determines whether or not the duplicate presentation of broadcast content has ended based on the delay time calculated in step S15 (step S17). The process of step S17 is performed until it is determined that the duplicate presentation of broadcast content has been completed (S17: No). When it is determined that the broadcast content overlap presentation has ended (S17: Yes), the control unit 51 instructs the content generation unit 31 to end the presentation of the synchronous presentation notification message, and the content generation unit 31 Based on this instruction, the presentation of the synchronization notification message to the presentation unit 5 is terminated (step S18).
  • Embodiment 1 The method for synchronously presenting broadcast content and communication content described in Embodiment 1 is an example, and the present invention is not limited to this.
  • the synchronous presentation method shown in FIG. 6 may be used.
  • the time signals in FIGS. 6A to 6E are of the same type as the time signals in FIGS. 4A to 4E, respectively.
  • broadcast content is normally presented during a state transition period, that is, during a period from the start of communication content acquisition until preparation for presentation of communication content is completed.
  • the broadcast content presentation is interrupted during the state transition period, that is, the period from the start of the acquisition of the communication content until the preparation for the presentation of the communication content is completed.
  • the screen of the presentation unit 5 is blacked out.
  • the receiving device 1 presents a message to the presentation unit 5 indicating that it is on standby for synchronizing the broadcast content and the communication content, for example, in order to notify the viewer of the synchronization presentation.
  • FIGS. 7A to 7E are of the same type as the time signals in FIGS. 4A to 4E, respectively.
  • the receiving device 1 starts slow reproduction of broadcast content in response to acquisition of communication content, and compares the completion of preparation for presentation of communication content with the reproduction time of broadcast content, The state transits to a state in which broadcast content is delayed and communication content is presented. At the same time, the receiving device 1 presents a message to the presentation unit 5 indicating that the broadcast content and the communication content are being slowly reproduced for synchronization presentation notification to the viewer, for example. Note that slow playback can be realized by widening the output time interval of the buffer.
  • the broadcast content is gradually adjusted by slow reproduction, the delay adjustment is completed, and the broadcast content and the communication content are presented in synchronization at the time when the broadcast content presentation time and the communication content presentation time coincide. In this case, the communication presentation preparation completion time does not match the synchronous presentation presentation timing.
  • the control unit 51 controls the reproduction timing and clock control. Further, the control unit 51 outputs appropriate presentation and presentation timing to the content generation unit 31 according to the synchronous presentation method.
  • the presentation can be made smoother.
  • the presentation of the broadcast content is switched from the normal presentation to the delayed presentation when the preparation of the communication content is completed.
  • the present invention is not limited to this.
  • the broadcast content may be presented in advance in advance, and an example of this will be described with reference to the flowchart of FIG.
  • the receiving apparatus 1 is in a power-off state (broadcast OFF / communication OFF state).
  • the receiving device 1 transitions from the power OFF state (broadcast OFF / communication OFF state) to the broadcast ON / communication OFF state by turning on broadcast content presentation (step S51).
  • the receiving device 1 starts to acquire broadcast content and starts normal presentation of the broadcast content (step S52).
  • the receiving apparatus 1 activates an application (hereinafter referred to as “delayed presentation application”) that delays presentation of broadcast content as a first application during normal presentation of broadcast content (step S53).
  • an application hereinafter referred to as “delayed presentation application”
  • the broadcast delay presentation timing for example, the timing specified by the viewer, the timing specified by the broadcaster or other operators in the AIT of communication or broadcast, the timing specified by the application acquired based on the AIT, etc. Can be mentioned.
  • the receiving apparatus 1 acquires communication content in the control unit 51, compares the PTS of the broadcast content after decryption with the PTS of the communication content, and sets the delay time of the communication content with respect to the broadcast content. Calculate (step S54).
  • the control unit 51 controls the output delay of the synchronization buffer 72 in the buffer 13 based on the delay time calculated in step S54, whereby the receiving device 1 switches the presentation of the broadcast content from the normal presentation to the delayed presentation. Start delayed presentation. Further, the control unit 51 presents a message for synchronous presentation notification (for example, a message indicating that “broadcast content is presented in duplicate to synchronize broadcast content and communication content”) to the content generation unit 31. Based on this instruction, the content generation unit 31 starts presenting the synchronous presentation notification message to the presentation unit 5 (step S55).
  • a message for synchronous presentation notification for example, a message indicating that “broadcast content is presented in duplicate to synchronize broadcast content and communication content
  • the control unit 51 determines whether or not the duplicate presentation of the broadcast content has ended based on the delay time calculated in Step S54 (Step S56). The process of step S56 is performed until it is determined that the duplicate presentation of the broadcast content has been completed (S56: No). If it is determined that the duplicate presentation of the broadcast content has ended (S56: Yes), the control unit 51 instructs the content generation unit 31 to end the presentation of the synchronous presentation notification message, and the content generation unit 31 Based on this instruction, the presentation of the synchronous presentation notification message to the presentation unit 5 is terminated (step S57).
  • the receiving device 1 activates the second application, thereby starting the acquisition of the communication content (step S58).
  • the receiving device 1 determines whether or not preparation for presentation of communication content is completed (step S59). Until it is determined that preparation for presentation of communication content is completed (S59: No), the process of step S59 is performed. When it is determined that preparation for presenting communication content is completed (S59: Yes), the receiving apparatus 1 starts presenting communication content (step S60).
  • the synchronous presentation notification message may not be presented depending on the timing at which the delayed presentation of broadcast content is disclosed (for example, at the start of broadcast reception or at the time of channel selection).
  • the content and period of the notification (synchronous presentation notification) related to the synchronous presentation of the broadcast content and the communication content to the viewer in the synchronous presentation method described in the first embodiment is an example, and the present invention is not limited to this. Absent.
  • Examples of the contents of the synchronous presentation notification include presentation of a message related to synchronous presentation of broadcast content and communication content, and presentation of animation of discontinuous video.
  • timing or period of synchronous presentation notification for example, a period in which duplicate presentation of broadcast content is performed, a period from the start of acquisition of communication content to the end of duplicate presentation of broadcast content, application activation timing, communication
  • a timing and a period according to an event of the receiving apparatus 1 such as a timing when the preparation of content is completed.
  • timings due to viewer interface operations There are also timings due to viewer interface operations. Note that the synchronous presentation notification may be performed only while the viewer permits the synchronous presentation notification.
  • the control unit 51 determines the content, timing, or period of the synchronous presentation notification according to, for example, the synchronous presentation method specified by the application, the predetermined rule, the setting of the receiving device, or the like, and the content generation unit 31 To instruct.
  • the content generation unit 31 performs synchronous presentation notification of the content determined at the timing or period determined according to the instruction of the control unit 51.
  • the setting of the receiving device may or may not be performed by the viewer.
  • a broadcaster a broadcaster or an operator related to the broadcaster or another operator, such as embedding a control signal indicating the content, timing, or period of synchronous presentation notification in broadcasting or communication,
  • the time period may be specified according to the content.
  • the communication content acquisition timing is described as being the same as the application acquisition timing, but the present invention is not limited to this, and may be another timing. Note that the communication content acquisition timing follows an instruction from the application, for example.
  • the state transition of the receiving device 1 has been described as the state transition shown in FIG. 3 as an example.
  • the present invention is not limited to this. Good.
  • the receiving device 1 starts an application that is linked to broadcasting from a state in which an independent communication application that is not normally linked to the content and an independent communication application that is not linked to the content is being activated (broadcast ON / communication independent application ON / linked application OFF state). Even in the state transition to the state (broadcast ON / communication independent application ON / linked application ON state), it is necessary to delay the broadcast content. Even in this case, it is possible to apply substantially the same contents as the synchronous presentation notification in the synchronous presentation method and the synchronous presentation method described in the supplements of the first embodiment and the first embodiment.
  • the calculation is performed using the PTS output after decoding in order to calculate the delay time between the broadcast content and the communication content.
  • the present invention is not limited to this, and may be calculated using DTS, or may be calculated using two pieces of information of PTS and DTS. Further, it may be calculated using PTS or DTS before decoding.
  • the calculation may be performed using PCR, a clock (STC) generated based on PCR, PTS, or DTS.
  • STC clock
  • the reference clock is NTP
  • the calculation may be performed using NTP.
  • timeline auxiliary information indicating the correspondence between the respective reference clocks You may calculate using.
  • the buffer control timing is calculated in consideration of the location where the PTS and DTS are calculated and the position of the buffer.
  • the following configuration can be used as an example in which the location where the PTS or DTS is calculated or the position of the buffer is different.
  • the PTS and DTS are extracted by the decoding unit 14, but the conversion from the PES packet to the ES and the extraction of the PTS and DTS are performed not by the decoding unit 14 but by the PES buffer 71 in the buffer 13. Also good. In this case, it is desirable that the positions of the PES buffer 71 and the synchronization buffer 72 in the buffer 13 are reversed.
  • the PES buffer 71 outputs the extracted PTS and DTS to the control unit 51.
  • the PES buffer 71 outputs content data for each component such as video and audio to one or both of the decoding unit 14 and the communication transmitting / receiving unit 41 at a timing instructed by the control unit 51.
  • the conversion from the PES packet to the ES and the extraction of the PTS and DTS may be processed not by the decoding unit 23 but by the PES buffer 71 in the buffer 22. In this case, it is desirable that the positions of the PES buffer 71 and the synchronization buffer 72 in the buffer 22 are reversed.
  • the PES buffer 71 outputs the extracted PTS and DTS to the control unit 51.
  • the PES buffer 71 should output content data for each component such as video and audio to one or both of the decoding unit 23 and the communication transmitting / receiving unit 41 at a timing instructed by the control unit 51.
  • the above configuration is the same as the configuration described in the second embodiment described later, and the PES buffer 71 in FIG. 2 corresponds to the separation buffer 114 in FIGS. 14 and 18.
  • content data for each component such as video and audio is output to the communication transmitting / receiving unit 41 in units of PES packets at the timing instructed by the control unit 51.
  • the data received from the control unit 51 is transmitted to the content presentation device. More specifically, the communication transmitting / receiving unit 41 receives an access unit or a PES packet for each component such as video and audio, and the control unit 51.
  • the input control information and clock information are remultiplexed using a specific multiplexing method, and then transmitted to the cooperation terminal. Multiplexing methods include MP4, MPEG2-TS, MPEG-DASH, and MMT.
  • the communication content is delayed by a certain time with respect to the broadcast content, but there may be a case where the broadcast content is delayed with respect to the communication content.
  • the presentation of broadcast content is one pattern of normal presentation
  • the presentation of communication content is two patterns of normal presentation and delayed presentation. Except for this point, it is possible to apply substantially the same contents as the synchronous presentation notification in the synchronous presentation method and the synchronous presentation method described in the supplements of the first embodiment and the first embodiment.
  • the communication content is delayed with respect to the broadcast content by a certain time.
  • the delay time of the communication content with respect to the broadcast content is not constant due to the transmission jitter in the communication transmission path.
  • the broadcast content and the communication content are synchronously presented by appropriately controlling the buffer.
  • the receiving apparatus 1 may perform a synchronized presentation notification that includes the occurrence of discontinuous presentation of broadcast content, the occurrence of a part of the broadcast content presentation, and the like to the viewer.
  • the control unit 51 determines the content, timing, or period of the synchronous presentation notification and instructs the content generation unit 31. And the content production
  • the configuration of the receiving apparatus can be configured as shown in FIG. 9 in which, for example, content received from two transmission paths is synchronized and decoded by one decoding unit.
  • FIG. 9 the same reference numerals are given to the constituent units that perform substantially the same processing as the constituent units of FIG.
  • the decryption unit 14A receives the outputs of the buffer 13 and the buffer 22 as input, decrypts the input data from each, and outputs the decrypted data to the content generation unit 31A.
  • the content generation unit 31A receives the output of the decryption unit 14A as input, and generates service presentation content according to the instruction of the control unit 51 using the input data.
  • the configuration of the receiving device is, for example, the main video is decoded by one decoding unit, and the main video and the extended video are decoded by another decoding unit.
  • the configuration shown in FIG. 10 can be used. However, in FIG. 10, the same reference numerals are given to the constituent units that perform substantially the same processing as the constituent units of FIG.
  • the decryption unit 14B receives the output of the buffer 13 as input, decrypts the input data, and outputs the decrypted data to the content generation unit 31B.
  • the content generation unit 31B receives the output of the decryption unit 14B as input, generates presentation content such as a non-expanded video in accordance with instructions from the control unit 51 using the input data, and outputs the presentation content to the presentation unit 5.
  • the decryption unit 23B receives the outputs of the buffer 13 and the buffer 22, decodes the input data, and outputs the decrypted data to the content generation unit 32B.
  • the content generation unit 32B receives the output of the decryption unit 14B and the output of the decryption unit 23B as input, generates presentation content such as extended video according to the instructions of the control unit 51 using the input data from each, and supplies the presentation unit 5B with the presentation content. Output.
  • control unit 51 may determine whether or not to perform synchronization control between broadcasting and communication.
  • the need for synchronization may be determined by the receiving device, the delay tolerance is specified for each content, and the broadcaster or the broadcaster or other broadcaster or other broadcaster uses broadcast or communication. You may tell to a receiver.
  • the delay tolerance includes a method of sending by AIT or the like, a method of sending within an application that can be specified by AIT, control information (SI) of broadcast signals, and the like.
  • the buffer configuration in the receiving apparatus 1 described with reference to FIGS. 1 and 2 in the first embodiment is an example, and the buffer configuration is not limited to this configuration as long as the buffer has a function equivalent to that in the first embodiment.
  • a buffer is provided for each function such as a PES buffer, a synchronization buffer, and a reorder buffer.
  • a single buffer has a plurality of functions. It may be.
  • the memory allocation that the buffer allocates to each function may be dynamic, or a plurality of functions may be realized by sharing the memory.
  • the synchronization control of broadcasting and communication has been described.
  • the system that cooperates is not limited to the cooperation between broadcasting and communication, but may be the cooperation between broadcasting and broadcasting, or between communication and communication. Coordination may be used, or signal cooperation based on three or more transmission paths may be used.
  • the multiplexing method is not particularly limited. Examples of multiplexing methods include MP4, RTP, MMT, etc. widely used for streaming.
  • a service is also proposed in which a receiving device cooperates with a content presentation device that is a communication terminal such as a smartphone or a tablet.
  • An example of such a service is one in which broadcast content is presented by a receiving device and communication content is presented by a content presentation device.
  • the service in which the receiving device and the content presentation device cooperate is not limited to this.
  • A a service in which communication content is presented by a receiving device and broadcast content is presented by a content presentation device
  • B a broadcast content and part of the communication content are presented by the receiving device, and part of the communication content.
  • C a service in which a part of the broadcast content is presented by the receiving device, a part of the broadcast content and the communication content are presented by the content presentation device
  • control information such as AIT related to synchronization, delay time between PTS or DTS or broadcasting and communication, synchronization It is necessary to notify the other party of the presentation method and the synchronous presentation notification as necessary.
  • the reception device calculates a delay time that occurs in communication between the reception device and the content presentation device, the delay time of the communication content reception time with respect to the broadcast content reception time, the reception device and the content presentation device,
  • the output timing of the PES packets from the PES buffer 71 in the buffer 13 and the PES buffer 71 in the buffer 22 may be controlled in consideration of both delay times generated in communication between the PES buffer 71 and the buffer 22.
  • control unit 51 determines the content and timing or period of the synchronous presentation method and the synchronous presentation notification, instructs the content generation unit, and simultaneously transmits the determined content to the cooperation terminal via the communication transmission / reception unit 41. Notice.
  • the control unit 51 has a function capable of providing a plurality of synchronous presentation methods and a function capable of controlling a presentation method related to synchronous presentation according to the synchronous presentation method, and a plurality of synchronous presentation methods that can be selected according to an application or content To the viewer.
  • the viewer selects from a plurality of selectable synchronous presentation methods by an operation using the input interface. Then, the selection contents are input to the control unit 51 and set. A series of operations related to the setting is performed in conjunction with the control unit 51, the operation input unit 42, the content generation unit 31, and the presentation unit 5.
  • Fig. 11 shows an example of the setting menu.
  • animation setting and synchronous presentation method setting can be performed as a broadcast communication cooperation menu.
  • FIG. 12 shows an example of a setting screen for the synchronous presentation method.
  • the synchronous presentation method setting for example, the receiver automatic mode, the broadcast station automatic mode, manual mode, OFF (no synchronous presentation is performed), and viewing from among the synchronous presentation methods (Type1, Type2) that can be presented to the viewer Can be selected.
  • control unit 51 executes the synchronous presentation method described in the AIT only when the synchronous presentation method is set in the AIT.
  • control unit 51 selects the synchronous presentation method that can be presented to the viewer or the synchronous presentation method described in the AIT, and executes the selected synchronous presentation method. . Note that the selection of the synchronous presentation method may be performed dynamically.
  • the synchronous presentation method includes a designation method in an application that can be specified by the AIT, and a designation method using broadcast signal control information (SI or the like).
  • SI broadcast signal control information
  • a manual setting screen shown as an example in FIG. 13 is launched.
  • the viewer can set a delay time between ⁇ MAX seconds and + MAX seconds of ⁇ 10 seconds to +10 seconds.
  • the MAX value of the delay time is determined by the control unit 51 based on the size of the content data, the size of the buffer, and the like.
  • the synchronization delay time calculated from the PTS is displayed as a recommended value.
  • the viewer can change the setting of the delay time by moving the position of the black arrow in the drawing.
  • the viewer can return the delay time to the recommended value determined by the control unit 51 by pressing the recommended value button. Further, the viewer can set the delay time to zero by pressing the reset button (can switch to normal presentation without delay).
  • a control signal indicating the delay time is output to the control unit 51.
  • the control unit 51 controls the buffer based on the control signal to adjust the delay.
  • control unit 51 may be implemented as software or an application.
  • a part of the functions can also be packaged as an API (Application Programming Interface).
  • the receiving device described in Patent Literature 3 receives broadcast content from a digital broadcast signal, and receives communication content linked to the broadcast content from a communication network.
  • the receiving apparatus delays the presentation of the broadcast content based on the difference between the PTS of the broadcast content and the PTS of the communication content.
  • a receiving apparatus as a broadcasting / communication cooperation receiving apparatus that links broadcasting and communication includes a de-jitter buffer for communication, and further a delay buffer for realizing a buffer delay corresponding to the buffer delay of the de-jitter buffer for broadcasting It is necessary to match the playback time of communication and broadcasting.
  • the receiving device described in Patent Document 3 synchronizes the broadcast content and the communication content based on the difference between the PTS of the broadcast content and the PTS of the communication content. If a large-capacity buffer is used for synchronization, jitter can be compensated without underflow or overflow.
  • FIG. 14 is a block diagram showing a configuration of receiving apparatus 100 that is a broadcast communication cooperative receiving apparatus according to Embodiment 2 of the present invention.
  • the receiving apparatus 100 includes a digital broadcast receiving unit 111, a separating unit 112, a delay buffer 113, a separating buffer 114, a decoding unit 115, a communication transmitting / receiving unit 121, a separating unit 122, a de-jitter buffer 123, a separation buffer 124, a decoding unit 125, a content A generation unit 131, a control management unit 141, and a control unit 151 are provided.
  • the digital broadcast receiving unit 111 receives a digital broadcast signal received by the external broadcast antenna 3 as an input. Then, the digital broadcast receiving unit 111 selects a desired channel from the digital broadcast signal, performs demodulation processing and error correction processing on the selected digital broadcast signal of the desired channel, and generates a transport stream. To the separation unit 112.
  • the separating unit 112 separates the transport stream generated by the digital broadcast receiving unit 111 into video data, audio data, subtitle data, and the like, and outputs them to the delay buffer 113. Further, the separation unit 112 acquires various control information included in the transport stream, outputs the PCR to the control unit 151, and outputs control information including information related to the type of content and control to the control management unit 141.
  • the delay buffer 113 is a buffer for realizing a buffer delay corresponding to the buffer delay of the de-jitter buffer 123.
  • the delay buffer 113 adjusts the delay of content data for each component such as video data and audio data output from the separation unit 112 according to the input / output timing instructed from the control unit 151, and outputs the content data to the separation buffer 114.
  • the separation buffer 114 stores video data, audio data, and the like output from the delay buffer 113, and based on time stamp information such as DTS acquired from the PES header of the PES packet, an elementary for each component such as video and audio.
  • the stream (ES) is output to the decoding unit 115 in units of access units with their output timings aligned. Further, the separation buffer 114 outputs time stamp information such as DTS acquired from the PES header to the control unit 151.
  • the separation buffers 114 and 124 have the same functions as the Elementary Stream Buffer in the MPEG2 system.
  • the decoding unit 115 decodes the access unit for each component such as video and audio output from the separation buffer 114 and outputs the decoded access unit to the content generation unit 131.
  • the communication transmitting / receiving unit 121 acquires AV content from a content server provided by an operator related to the broadcaster or another operator via the communication network, and outputs the acquired AV content to the separating unit 122.
  • AV content provided by a communication carrier includes file data, video data, audio data, and the like.
  • the separating unit 122 separates the AV content input from the communication transmitting / receiving unit 121 into video data, audio data, and the like, and outputs them to the de-jitter buffer 123. Further, the separation unit 122 outputs control information including information related to the type and control of the content included in the AV content to the control management unit 141.
  • the de-jitter buffer 123 is a buffer for absorbing jitter due to the transmission path.
  • the de-jitter buffer 123 adjusts the delay of content data for each component such as video data and audio data output from the separation unit 122 at the input / output timing instructed by the control unit 151, and outputs it to the separation buffer 124.
  • the separation buffer 124 stores video data, audio data, and the like output from the de-jitter buffer 123, and based on time stamp information such as DTS acquired from the PES header of the PES packet, an element for each component such as video and audio.
  • the mental stream is output to the decoding unit 115 in units of access units with their output timings aligned. Further, the separation buffer 124 outputs time stamp information such as DTS acquired from the PES header to the control unit 151.
  • the decoding unit 125 decodes the access unit for each component such as video and audio output from the separation buffer 124 and outputs the decoded access unit to the content generation unit 131.
  • the content generation unit 131 uses the content data of each component (video, audio, subtitles, etc.) output from the decoding unit 115 and the content data of each component (video, audio, subtitles, etc.) output from the decoding unit 125. To generate presentation content.
  • the presentation content generated by the content generation unit 131 is output to the external presentation unit 5 and presented by the presentation unit 5.
  • the control management unit 141 uses a control method for the delay buffer 113 and the de-jitter buffer 123 based on information related to the type and control of the content included in the control information and the state of the delay buffer 113 and the state of the de-jitter buffer 123
  • the control unit 151 is instructed to determine the control method.
  • the control management unit 141 will be further described later with reference to FIG.
  • the control unit 151 generates a reference clock signal using the PCR output from the separation unit 112.
  • the generated reference clock signal is used for controlling the output timing of each buffer.
  • the control unit 151 includes time delay information such as DTS output from the separation buffer 114, time stamp information such as DTS output from the separation buffer 124, and the delay buffer 113 and the delay buffer 113 based on the control method determined by the control management unit 141.
  • the delay of the de-jitter buffer 123 is controlled.
  • control management unit 141 an exemplary configuration of the control management unit 141 will be described with reference to FIG.
  • FIG. 15 is a block diagram illustrating a configuration example of the control management unit 141 in FIG.
  • the control management unit 141 includes a control information extraction unit 171, a buffer management unit 172, a monitoring unit 173, and a control method determination unit 174.
  • the control information extraction unit 171 extracts content type and control information from the input control information, and outputs the extracted content type and control information to the control method determination unit 174.
  • information related to content type and control includes, for example, information related to accuracy required for content synchronization, information related to end-to-end delay time allowed for broadcast content, and the like.
  • control information such as content type and control information is multiplexed and transmitted on the transmission side, for example.
  • the control information is a PSI, SI, section, or the like composed of descriptors, tables, and the like.
  • the buffer management unit 172 manages the buffer size, the buffer occupation amount, and the delay time (the time from the input to the buffer to the output) for each of the delay buffer 113 and the de-jitter buffer 123, and based on these Calculate the available extra buffer size.
  • the buffer management unit 172 can always monitor the input clock and the output clock, and can calculate the delay time and the buffer occupancy in the de-jitter buffer 123 and the delay buffer 113, respectively.
  • the buffer management unit 172 can calculate the buffer occupancy in each of the de-jitter buffer 123 and the delay buffer 113 by multiplying the average bit rate by the delay time in the buffer.
  • the buffer management unit 172 may determine the buffer size dynamically including the usable memory in the buffer memory that is shared and managed in addition to the delay buffer 113 and the de-jitter buffer 123. Good.
  • the monitoring unit 173 constantly monitors the possibility of underflow and the possibility of overflow in the de-jitter buffer 123, and notifies the control method determination unit 174 of the monitoring result.
  • the monitoring unit 173 monitors the buffer occupation amount of the de-jitter buffer 123.
  • the monitoring unit 173 sets the underflow flag to ON because there is a possibility of underflow when the buffer occupation amount of the de-jitter buffer 123 is less than the predetermined first threshold.
  • the monitoring unit 173 sets the underflow flag to OFF because there is no possibility of occurrence of underflow when the buffer occupation amount of the de-jitter buffer 123 is equal to or greater than a predetermined first threshold.
  • the monitoring unit 173 sets the overflow flag to ON because there is a possibility of overflow when the buffer occupation amount of the de-jitter buffer 123 exceeds a predetermined second threshold.
  • the monitoring unit 173 sets the overflow flag to OFF because there is no possibility of overflow.
  • the monitoring unit 173 always performs the above operation.
  • control method determination unit 174 determines the delay based on the surplus buffer size, the end-to-end delay, the content type, information on control, etc. The control method of the buffer 113 and the de-jitter buffer 123 is determined, and the determined control method is notified to the control unit 151. The operation of the control method determination unit 174 will be described later with reference to FIG.
  • FIG. 16 is a flowchart showing an example of initial operations of the delay buffer 113 and the de-jitter buffer 123 after the broadcast communication reception start of the receiving apparatus 100 of FIG. However, in the flowchart of FIG. 16, it is assumed that neither an underflow nor an overflow occurs in the delay buffer 113 and the de-jitter buffer 123. In FIG. 16, processing related to communication is shown on the left side of the figure, and processing related to broadcasting is shown on the right side of the figure.
  • the receiving apparatus 100 starts receiving broadcasts (step S101) and starts receiving communications (step S102).
  • the de-jitter buffer 123 starts communication data buffering under the control of the control unit 151 (step S103).
  • the control unit 151 controls the start of buffering of the delay buffer 113 in accordance with the start of buffering of the de-jitter buffer 123, and the delay buffer 113 starts buffering broadcast data under the control of the control unit 151 (step S104).
  • the control unit 151 determines whether or not the buffering amount of the dejitter buffer 123 has reached the initial buffering amount, that is, whether or not the initial buffering of the dejitter buffer 123 has been completed (step S105). Until it is determined that the initial buffering of the de-jitter buffer 123 is completed (S105: No), the de-jitter buffer 123 and the delay buffer 113 are initially buffered, and the process of step S105 is performed.
  • the control unit 151 controls the start of delayed output of data from the de-jitter buffer 123 and the delay buffer 113.
  • the de-jitter buffer 123 starts delay output of communication data under the control of the control unit 151 (step S106), and the delay buffer 103 starts delay output of broadcast data under the control of the control unit 151 (step S107). .
  • the delay buffer 113 is operated in accordance with the operation of the de-jitter buffer 123, and the initial operation is completed.
  • the initial buffering amount of the de-jitter buffer 123 is, for example, a value obtained by multiplying the estimated jitter time to be compensated by the average bit rate.
  • the normal broadcast data output before starting the delayed output may be started after the completion of the initial buffering of the de-jitter buffer 123, or without waiting for the completion of the initial buffering of the de-jitter buffer 123. Output may be started.
  • the communication data that matches the time with respect to the broadcast data is output.
  • the delay buffer 113 has been described as having a sufficient size for delaying the broadcast. However, if the delay buffer 113 is likely to overflow before the delay output of the broadcast data is started, at that point in time. It needs to be handled appropriately.
  • FIG. 17 is a flowchart showing an example of a control method determination operation by the control method determination unit 174 of FIG. However, it is assumed that the de-jitter buffer 123 and the delay buffer 113 are in a steady state at the start of the flowchart of FIG.
  • the control method determination unit 174 determines whether the underflow flag is ON or OFF based on the monitoring result of the de-jitter buffer 123 by the monitoring unit 173 (step S151). When the underflow flag is OFF, that is, when there is no possibility of occurrence of underflow in the de-jitter buffer 123 (S151: OFF), the control method determination unit 174 results of monitoring of the de-jitter buffer 123 by the monitoring unit 173 It is determined whether the overflow flag based on is ON or OFF (step S152).
  • the control method determination unit 174 performs an overflow process (for example, output from the de-jitter buffer 123) as a control method. And the control unit 151 is instructed. In response to this instruction, the controller 151 executes processing for overflow on the de-jitter buffer 123 (step S153).
  • the control method determination unit 174 determines whether or not the de-jitter buffer 123 has a margin. Determination is made (step S154). The determination in step S154 is, for example, determined that the dejitter buffer 123 has a margin when the excess buffer size of the dejitter buffer 123 calculated by the buffer management unit 172 is equal to or larger than a predetermined value.
  • step S162 When it is determined that the de-jitter buffer 123 has no room (S154: No), the process proceeds to step S162.
  • step S155 determines whether or not the delay buffer 113 has a margin.
  • the determination in step S155 is, for example, determined that the delay buffer 113 has a margin when the surplus buffer size of the delay buffer 113 calculated by the buffer management unit 172 is equal to or larger than a predetermined value.
  • step S162 If it is determined that there is no room in the delay buffer 113 (S155: No), the process proceeds to step S162.
  • the control method determination unit 174 instructs the control unit 151 to perform additional buffering of the de-jitter buffer 123, and the control unit 151 receives this instruction. Control is performed to stop the output of the de-jitter buffer 123 and perform additional buffering.
  • the de-jitter buffer 123 stops output under the control of the control unit 151, and performs additional buffering (step S156).
  • the control method determination unit 174 determines whether or not the additional buffering of the de-jitter buffer 123 has been completed (step S157). Whether or not the additional buffering is completed is determined based on the monitoring result of the de-jitter buffer 123 by the monitoring unit 173, for example, when the de-jitter buffer occupies a sufficient amount and the de-jitter buffer is less likely to underflow again. When the determination is made, it is determined that the additional buffering is completed.
  • step S157 If it is determined that the additional buffering of the de-jitter buffer 123 has not been completed (S157: No), the processing returns to step S154.
  • step S158 determines whether or not it is necessary to delay the broadcast. The determination in step S158 determines, for example, that it is not necessary to delay the broadcast when the information related to the accuracy required for content synchronization does not require synchronization.
  • the control method determination unit 174 determines a control method that does not perform the delay control of the delay buffer 113 as the control method, and the determined control method is the control unit. 151 is notified. Upon receiving this notification, the control unit 151 does not perform the delay control of the delay buffer 113, and the delay buffer 113 outputs the broadcast data without delay (step S159).
  • the control method determination unit 174 uses the information about the allowable end-to-end delay time of the broadcast content and uses the actual end-to-to-end information. -Determine whether the end delay time is within an allowable range (step S160).
  • the information related to the allowable end-to-end delay time of the broadcast content is transmitted, for example, by specifying the allowable end-to-end delay time of the content on the transmission side and using broadcast as a control signal. It is possible to receive a broadcast signal and acquire information related to an allowable end-to-end delay time of the broadcast content from the control signal.
  • the control method determination unit 174 determines and determines the control method for performing the delay control of the delay buffer 113 as the control method.
  • the control method is notified to the control unit 151.
  • the control unit 151 performs delay control of the delay buffer 113, and the delay buffer 113 performs a delay output operation of the broadcast data (step S161).
  • the delay amount in the delay buffer 113 in the delay control can be calculated by using the input / output counter of the de-jitter buffer 123 and the input / output counter of the delay buffer 113.
  • step S162 the control method determination unit 174 determines that synchronization between broadcasting and communication is impossible. Then, the control method determination unit 174 determines a control method for independently controlling the de-jitter buffer 123 and the delay buffer 113 so as to guarantee only the broadcast reception operation, and notifies the control unit 151 of the determined control method. Upon receiving this notification, the control unit 151 controls the de-jitter buffer 123 and the delay buffer 113 independently (step S162).
  • the configuration of the receiving device when there is a delay difference due to a transmission path between broadcasting and communication, the configuration of the receiving device can be configured as shown in FIG. However, in FIG. 18, the same reference numerals are given to the constituent units that perform substantially the same processing as the constituent units of FIG.
  • the receiving apparatus 100A in FIG. 18 adds a synchronization buffer 191 between the delay buffer 113 and the separation buffer 114 to the receiving apparatus 100 in FIG. 14, and a synchronization buffer between the de-jitter buffer 123 and the separation buffer 124. 196 is added.
  • the control unit 151 uses the time stamp information such as DTS from the separation buffer 114 and the time stamp information such as DTS from the separation buffer 124 so that the broadcast data and the communication data are synchronized.
  • the output timing of the synchronization buffer 191 and the synchronization buffer 196 is controlled.
  • control method determination mechanism described in the second embodiment can be used when various underflow avoidance methods and overflow avoidance methods are used.
  • the surplus buffer size may be calculated using the defined buffer size.
  • Information relating to the transmission path such as actual jitter time and delay time between broadcasting and communication may be fed back to the transmitting side using communication means.
  • the de-jitter buffer 123 and the delay buffer 113 are appropriately controlled while monitoring the de-jitter buffer 123, thereby assuring the operation of the receiving apparatus regarding broadcasting.
  • the communication server 121 notifies the content server to that effect and acquires data with less jitter. This makes it possible to provide a stable service to the viewer.
  • control management unit 141 changes the broadcast content acquisition method.
  • control information indicating the quality of the transmission path may be multiplexed and transmitted as a signaling message, and the receiving apparatus may determine or limit the control method based on the transmitted quality. For example, when the maximum delay time assumed in the communication transmission path is signaled from the transmission side as a control signal indicating the quality of the transmission path, the reception device compares the communication content with the buffer size of the reception device. It may be determined whether or not the broadcast content and the communication content are to be reproduced in synchronization.
  • control information indicating a recommended control method may be multiplexed and transmitted as a signaling message, and the receiving apparatus may operate based on the transmitted recommended control method.
  • the jitter time that the transmission side can guarantee the operation and the buffer size information of the de-jitter buffer 123 and the delay buffer 113 may be multiplexed and transmitted as a signaling message.
  • the accuracy required for content synchronization is, for example, one content with respect to the other content (A) no synchronization required, (B) synchronization accuracy within 10 seconds, (C) within 1 second (D) synchronization accuracy in units of frames is required, and so on.
  • the receiving apparatus 100 can freely determine a control method related to synchronization and jitter so as to satisfy the accuracy required for content synchronization. For this reason, it becomes possible to select a control method in accordance with the specifications and capabilities of the receiving apparatus. For example, if frame level synchronization is required, the delay buffer 113 is controlled with high accuracy in accordance with the de-jitter buffer 123. If synchronization is not necessary, it is possible to select not to control the delay buffer 113 in accordance with the control of the de-jitter buffer 123. Instead of notifying the minimum required synchronization accuracy, the recommended synchronization accuracy may be transmitted.
  • the receiving device determines the accuracy of synchronization according to the content and determine the control method. For example, in the case where the content is video and subtitles, the synchronization accuracy may be lowered as long as there is no problem in viewing the subtitles.
  • the transmission side may transmit control information indicating whether one content can be decoded alone or not. For example, if a broadcast cannot be decoded alone, it is essential to synchronize the broadcast and communication. On the other hand, if the broadcast can be decoded alone, an option of displaying only the broadcast content when synchronization is impossible is also possible.
  • an allowable jitter or de-jitter buffer amount may be defined and transmitted as a control signal.
  • the content creator may determine that the synchronization accuracy is, for example, “forced” or “do not force” and transmit this information on the transmission side.
  • control information can be acquired before starting decoding.
  • MMT MPEG Media Transport
  • CI Composition Information Information
  • MMT Package Table Asset Set in MPT
  • PMT Program Map Table
  • MPEG-DASH Dynamic Adaptive Streaming HTTP
  • MPD Media Presentation Description
  • the control information is transmitted from either one or both of broadcasting and communication, and the control management unit 141 acquires and analyzes the control information before starting decoding, and determines the control method of the de-jitter buffer 123 and the delay buffer 113.
  • a buffer size for compensating for jitter and synchronization between broadcast and communication is defined in advance, and further a constraint condition for compensating operation within the defined buffer size is defined.
  • the buffer operation may be determined such as an overflow countermeasure.
  • the total size of the de-jitter buffer, delay buffer, and synchronization buffer is defined and the operation is compensated for within the total size.
  • the configuration of the receiving apparatuses 100 and 100A shown in FIGS. 14 and 18 may be modified to be decoded by one decoding unit described with reference to FIG. 9, and will be described with reference to FIG. For example, you may deform
  • the functions described in the second embodiment and the supplement of the second embodiment may be realized by hardware or may be realized by software. Further, a part may be realized by hardware and a part may be realized by software.
  • the content Before decoding the content for which jitter or synchronization between broadcasting and communication has been completed, the content may be transmitted to a linked device such as a tablet.
  • a part of the functions described in the supplements of the second embodiment and the second embodiment may be realized not only as a receiving apparatus but also as a part of the function of the relay station.
  • the control result of the de-jitter buffer 113 and the delay buffer 123 may be presented to the viewer. However, it may be recorded as a report.
  • the buffer configuration in the receiving apparatus 100 described in the second embodiment with reference to FIG. 14 is an example, and the buffer configuration is not limited to this configuration as long as the buffer has a function equivalent to that in the second embodiment.
  • a buffer is provided for each function such as the delay buffer 113, the separation buffer 114, the de-jitter buffer 123, and the separation buffer 124.
  • the present invention is not limited to this.
  • a plurality of functions may be provided.
  • the memory allocation that the buffer allocates to each function may be dynamic, or a plurality of functions may be realized by sharing the memory.
  • MPEG2-TS is described as an example of the multiplexing method, but the multiplexing method is not particularly limited. Examples of multiplexing methods include MP4, RTP, MMT, etc. widely used for streaming.
  • the contents described in the supplements of the first embodiment and the first embodiment may be applied to the contents described in the supplements of the second and second embodiments, and the supplements of the second and second embodiments.
  • the contents described may be applied to the contents described in the first embodiment and the supplement of the first embodiment.
  • the first receiving apparatus stores a first buffer that accumulates and outputs a first signal received through a first transmission path that does not need to compensate for jitter, and a second transmission path that needs to compensate for jitter.
  • the second buffer for accumulating and outputting the second signal received in step S3, and monitoring whether or not underflow may occur in the second buffer, and underflow may occur
  • a control management unit that determines a control method of the first buffer and the second buffer based on a surplus buffer size of the first buffer and a surplus buffer size of the second buffer; and the control manager that is determined by the control management unit
  • a control unit that controls the first buffer and the second buffer based on a control method of the first buffer and the second buffer.
  • the first receiving method includes a first buffer for accumulating and outputting the first signal received through the first transmission path that does not need to compensate for jitter, and a second buffer that needs to compensate for jitter.
  • a second buffer that stores and outputs the second signal, and monitors whether there is a possibility of underflow in the second buffer.
  • the control method of the first buffer and the second buffer is determined based on the surplus buffer size of the first buffer and the surplus buffer size of the second buffer.
  • the first buffer and the second buffer are controlled based on a control method of the first buffer and the second buffer.
  • the second receiving device is the first receiving device, wherein the control management unit is further configured based on control information related to accuracy required for synchronization between the first signal and the second signal. Determine the control method.
  • the third receiving apparatus is the first receiving apparatus, wherein the control management unit further controls the control method based on information on an allowable end-to-end delay time of the first signal. Make a decision.
  • the fourth receiving device stores the first signal received from the first transmission path and outputs the first buffer, and the second buffer stores and outputs the second signal received from the second transmission path. And the time information included in the first signal and the time information included in the second signal, the first buffer and the second buffer related to the synchronization of the first signal and the second signal.
  • the second receiving method includes a first buffer that accumulates and outputs the first signal received from the first transmission path, and a second buffer that accumulates and outputs the second signal received from the second transmission path.
  • a reception method performed in a receiving device comprising: synchronization of the first signal and the second signal based on time information included in the first signal and time information included in the second signal Synchronization control of the first buffer and the second buffer is performed, and notification related to synchronization is performed according to the synchronization control.
  • control unit performs the synchronization control based on the content input by the viewer.
  • the synchronization between the first signal and the second signal can be made in line with the viewer's desire.
  • the present invention can be applied to a receiving apparatus that provides a service based on signals transmitted using different transmission paths.

Abstract

　受信装置は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、を備える。

Description

受信装置、及び受信方法
　本発明は、異なる伝送経路を用いて伝送された信号に基づくサービスの提供技術に関する。
　２０１３年４月１３日出願の特願２０１３－０７９８９７、２０１３年６月６日出願の米国仮出願６１／８３１９４１に含まれる、特許請求の範囲、明細書、図面及び要約書の開示内容はすべて本願に援用される。
　近年、異なる伝送経路を用いて伝送される放送と通信とを連携させた様々なサービスが提案されている。
　このようなサービスを享受する装置として、例えば、次のような受信装置が提案されている（例えば、特許文献１、２、３参照）。
　受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信し、放送コンテンツと通信コンテンツとを同期させて提示する。
特開２０１３－９３３２号公報 特開２０１３－９３５９号公報 特開２０１３－９３４１号公報
　ところで、放送と通信とを連携させたサービスのより好ましい形態を検討し、放送と通信とを連携させたサービスの品質の向上を図ることは重要である。
　なお、放送と通信との連携サービスに限らず、通信と通信との連携サービス、放送と放送との連携サービス等、また、異なる３つ以上の伝送経路を用いた連携サービスに関しても、同様である。
　そこで、本発明は、異なる伝送経路を用いた連携サービスの品質向上を図ることを可能にする受信装置を提供することを目的とする。
　本発明の一態様に係る受信装置は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、を備える。
　上記の受信装置によれば、異なる伝送経路を用いた連携サービスの品質向上を図ることが可能になる。
本発明の実施の形態１に係る受信装置１の構成を示すブロック図。 図１のバッファ１３及びバッファ２２の一構成例を示すブロック図。 図１の受信装置１におけるコンテンツ提示の状態遷移の一例を示す図。 図１の受信装置１における放送コンテンツと通信コンテンツとの同期提示方法の一例を説明するための信号イメージを示す図。 図１の受信装置１による放送コンテンツと通信コンテンツとの同期提示方法の処理動作の一例を示すフローチャート。 同期提示方法の他の例を説明するための信号イメージを示す図。 同期提示方法の更に他の例を説明するための信号イメージを示す図。 同期提示方法の処理動作の他の例を示すフローチャート。 実施の形態１の一の変形例に係る受信装置１Ａの構成を示すブロック図。 実施の形態１の他の変形例に係る受信装置１Ｂの構成を示すブロック図。 設定メニュー画面の一例を示す図。 同期提示方法設定画面の一例を示す図。 同期提示マニュアル設定画面の一例を示す図。 本発明の実施の形態２に係る受信装置１００の構成を示すブロック図。 図１４の制御管理部１４１の一構成例を示すブロック図。 図１４の受信装置１００の放送通信受信開始後の遅延バッファ及びデジッタバッファの初期動作の一例を示すフローチャート。 図１４の制御方法決定部１７４による制御方法決定動作の一例を示すフローチャート。 実施の形態２の一の変形例に係る受信装置１００Ａの構成を示すブロック図。
　（発明の基礎となった知見１）
　特許文献１に記載の受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信する。そして、受信装置は、受信した放送コンテンツを一時的に第１同期用バッファに格納し、受信した通信コンテンツを一時的に第２同期用バッファに格納する。受信装置は、命令実行部により指定された時間に応じて、第１同期用バッファ及び第２同期用バッファのいずれか一方から出力されるコンテンツの出力時間を制御し、放送コンテンツ及び通信コンテンツのいずれか一方の提示を遅延させる。これにより、受信時刻が異なる放送コンテンツと通信コンテンツとを同期して提示することを可能としている。
　また、特許文献２に記載の受信装置は、放送コンテンツの提示を遅延させることによって放送コンテンツと通信コンテンツとの提示を同期させる。この受信装置において、外部からの操作又は外部からの制御信号を契機に通信コンテンツを取得し、通信コンテンツの取得完了後に放送コンテンツを通常提示しているときの提示時刻よりも遅延させて提示する遅延提示を開始する。これにより、通信コンテンツの取得中も、放送コンテンツを通常提示することを可能としている。
　上述した特許文献１及び特許文献２に記載された従来の受信装置では、放送コンテンツを再生し、通信コンテンツを再生していない状態から、放送コンテンツと通信コンテンツとの両方を再生する状態に切り替える際に、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間に応じて、放送コンテンツの提示を遅延させる必要がある。これにより、視聴者に提示される放送コンテンツは、一時的に途切れることになる。これは、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間が大きい程、視聴者に大きな影響を与えることになる。
　また、通信コンテンツの受信時刻に対して放送コンテンツの受信時刻が遅延している場合も同様の課題が発生する。すなわち、通信コンテンツを再生し、放送コンテンツを再生していない状態から、通信コンテンツと放送コンテンツとの両方を再生する状態に切り替える際に、通信コンテンツの受信時刻に対する放送コンテンツの受信時刻の遅延時間に応じて、通信コンテンツの提示を遅延させる必要がある。これにより、視聴者に提示される通信コンテンツは、一時的に途切れることになる。これは、通信コンテンツの受信時刻に対する放送コンテンツの受信時刻の遅延時間が大きい程、視聴者に大きな影響を与えることになる。
　しかしながら、これまでのところ、この課題に対する技術的な解決策が検討されていない。
　そこで、発明者らは、この課題に対する技術的な解決策を検討した。
　この検討の結果、発明者らは、例えば、放送コンテンツの提示を遅延させる前後又は通信コンテンツの提示を遅延させる前後で放送と通信との同期に関する通知を視聴者に行うことにより、視聴者に与える影響の軽減が図られるとの知見を得た。
　以下、この知見に基づいて得た解決策に基づく実施の形態等について説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る放送通信連携受信装置である受信装置１の構成を示すブロック図である。
　受信装置１は、デジタル放送受信部１１、分離部１２、バッファ１３、復号部１４、通信送受信部２１、バッファ２２、復号部２３、コンテンツ生成部３１、通信送受信部４１、操作入力部４２、及び制御部５１を備える。
　但し、受信装置１は、例えば、テレビ受信機、ポータブルテレビ、レコーダ、セットトップボックス、スマートフォン、タブレット等のデバイスである。
　デジタル放送受信部１１は、外部の放送アンテナ３によって受信されたデジタル放送信号を入力とする。そして、デジタル放送受信部１１は、デジタル放送信号から所望のチャネルを選局し、選局した所望のチャネルのデジタル放送信号に対して復調処理及び誤り訂正処理等を行い、トランスポートストリームを生成して分離部１２へ出力する。なお、受信装置１が放送アンテナ３を内部に備えるようにしてもよい。
　但し、デジタル放送とは、例えば、地上デジタル放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ　Ｓａｔｅｌｌｉｔｅ）デジタル放送、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓａｔｅｌｌｉｔｅ）デジタル放送、ケーブルテレビ、光ファイバ等のＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）網を用いた放送などである。
　分離部１２は、デジタル放送受信部１１によって生成されたトランスポートストリームを、映像データ、音声データ及びデータ放送等に分離する。また、分離部１２はトランスポートストリームに含まれる各種制御情報を取得する。
　トランスポートストリームに含まれる制御情報には、例えば、システム情報であるＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＩ（Ｓｅｒｖｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ）、同期情報であるＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）、アプリケーションに関する情報であるアプリケーションデータテーブル（Ａｐｐｌｉｃａｔｉｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ：ＡＩＴ）がある。ＡＩＴには、例えば、アプリケーションを特定するアプリケーションＩＤ、アプリケーションの起動及び終了等のライフサイクルを制御可能な制御コード、アプリケーションのロケーション情報が記述されている。
　また、分離部１２から出力される映像データや音声データ等は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケットとして構成されている。各ＰＥＳパケットに含まれるＰＥＳヘッダには、同期用の提示時刻情報として、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）及びＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）が格納されている。なお、ＰＴＳ及びＤＴＳのいずれか一方、または両方がＰＥＳヘッダに含まれていない場合もある。
　分離された映像データや音声データ等は分離部１２からバッファ１３へ出力され、ＰＣＲやＡＩＴ等は分離部１２から制御部５１へ出力される。
　バッファ１３は、分離部１２から出力される映像データや音声データ等を格納する。そして、バッファ１３は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをＰＥＳパケット単位で復号部１４及び通信送受信部４１の一方又は両方に出力する。なお、バッファ１３については更に図２を用いて後述する。
　復号部１４は、バッファ１３から出力された映像や音声等のコンポーネント毎のＰＥＳパケットをエレメンタリーストリーム（ＥＳ）に変換し、ＰＥＳパケットのＰＥＳヘッダからＰＴＳ及びＤＴＳを抽出する。また、復号部１４は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。そして、復号部１４はコンポーネント毎のエレメンタリーストリームを復号し、コンテンツ生成部３１へ出力する。但し、映像コンテンツの復号前のピクチャフレームの順番と復号後のピクチャフレームの順番が異なる場合は、復号部１４は内部に備えるバッファを用いて順番の入れ替えを行った後、コンテンツ生成部３１へ出力する。
　通信送受信部２１は、通信ネットワーク経由で、放送事業者に関連する事業者または他の事業者が提供するコンテンツサーバからアプリケーション及びＡＶコンテンツを取得する。また、通信送受信部２１は、通信ネットワーク経由で、ＡＩＴ等の制御情報を取得する場合もある。通信事業者から提供されるＡＶコンテンツには、ファイルデータ、映像データ、及び音声データ等がある。通信送受信部２１は、取得したアプリケーション及び制御情報を制御部５１へ出力する。通信送受信部２１は、取得したＡＶコンテンツをバッファ２２へ出力する。
　通信送受信部２１及び後述する通信送受信部４１は、例えば、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＰＬＣ（Ｐｏｗｅｒ　Ｌｉｎｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、及びＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠した通信方法を用いて通信を行う。但し、通信送受信部２１と通信送受信部４１とは同一の構成であってもよいし、別の構成であってもよい。
　バッファ２２は、通信送受信部２１から出力されるＡＶコンテンツのコンテンツデータを格納する。そして、バッファ２２は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをＰＥＳパケット単位で復号部２３及び通信送受信部４１の一方又は両方に出力する。なお、バッファ２２については更に図２を用いて後述する。
　復号部２３は、バッファ２２から出力された映像や音声等のコンポーネント毎のＰＥＳパケットをエレメンタリーストリーム（ＥＳ）に変換し、ＰＥＳパケットのＰＥＳヘッダからＰＴＳ及びＤＴＳを抽出する。また、復号部２３は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。そして、復号部２３はコンポーネント毎のエレメンタリーストリームを復号し、コンテンツ生成部３１へ出力する。但し、映像コンテンツの復号前のピクチャフレームの順番と復号後のピクチャフレームの順番が異なる場合は、復号部２３は内部に備えるバッファを用いて順番の入れ替えを行った後、コンテンツ生成部３１へ出力する。　コンテンツ生成部３１は、復号部１４から出力された各コンポーネント（映像、音声、字幕等）のコンテンツデータと、復号部２３から出力された各コンポーネント（映像、音声及び字幕等）のコンテンツデータとを用い、制御部５１の指示に従ってサービスの提示コンテンツを生成する。コンテンツ生成部５１で生成された提示コンテンツは外部の提示部５へ出力され、提示部５にて提示される。なお、受信装置１が提示部５を内部に備えるようにしてもよい。
　通信送受信部４１は、提示部５とは異なるコンテンツ提示装置、及び視聴者が操作する入力インターフェースとの間で通信を実行する。コンテンツ提示装置には、例えば、テレビ受信機、ポータブルテレビ、スマートフォン、及びタブレット等がある。通信送受信部４１は、バッファ１３、２２から出力されたＰＥＳパケットをコンテンツ提示装置に送信する。また、通信送受信部４１は、制御部５１から受け付けたデータをコンテンツ提示装置に送信する。入力インターフェースには、例えば、リモコン、タブレット端末、スマートフォン、パーソナルコンピュータのキーボード、マウス、カメラ、及びマイク等がある。また、通信送受信部４１は、入力インターフェースから受け付けた入力内容を操作入力部４２又は制御部５１に出力する。なお、コンテンツ提示装置と入力インターフェースは同一の装置であってもよいし、異なる装置であってもよい。
　操作入力部４２は、外部の入力インターフェース、又は、内蔵された入力インターフェースから、視聴者による入力インターフェースを用いた操作に応じた制御信号を取得し、取得した制御信号に対応する制御情報を制御部５１に伝える。入力インターフェースには、例えば、リモコン、タブレット端末、スマートフォン、パーソナルコンピュータのキーボード、マウス、カメラ、及びマイク等がある。視聴者による入力インターフェースを用いた操作とは、例えば、物理的または画面上に仮想的に配置されたボタンの押下、ジェスチャ、音声による操作、及びそれらの組み合わせ等である。また、入力インターフェースからの制御信号は、通信送受信部４１を介して操作入力部４２に入力されてもよいし、通信送受信部４１を介して制御部５１に直接入力されてもよい。入力インターフェースからの制御信号が通信送受信部４１を介して制御部５１に直接入力される場合は、受信装置１は操作入力部４２を備えていなくてもよい。
　制御部５１は、分離部１２から出力されたＰＣＲを用いて基準クロック信号を生成する。この生成された基準クロック信号は、バッファ１３、２２の出力タイミングの制御などに利用される。
　制御部５１は、復号部１４から出力されるＰＴＳを用いて、放送で送られてきた各コンテンツ（映像コンテンツ、音声コンテンツ等）間の出力タイミングを合わせるための制御情報を生成し、バッファ１３内の後述するＰＥＳバッファ７１へ出力する。また、制御部５１は、復号部２３から出力されるＰＴＳを用いて、通信で送られてきた各コンテンツ（映像コンテンツ、音声コンテンツ等）間の出力タイミングを合わせるための制御情報を生成し、バッファ２２内の後述するＰＥＳバッファ７１へ出力する。
　さらに、制御部５１は、復号部１４から出力されるＰＴＳと復号部２３から出力されるＰＴＳとを用いて放送コンテンツと通信コンテンツとの間の遅延時間を算出する。そして、算出した遅延時間を基に放送コンテンツと通信コンテンツとの出力タイミングを合わせるための制御情報を生成し、バッファ１３内の後述する同期用バッファ７２及びバッファ２２内の後述する同期用バッファ７２へ出力する。また、制御部５１は、視聴者に対する放送コンテンツと通信コンテンツとの同期に係る報知（同期提示報知）の指示をコンテンツ生成部３１に行う。
　なお、同期提示報知は、例えば、放送コンテンツの後述する通常提示から後述する遅延提示に切り替わる際の不連続映像の提示の発生の視聴者に対する報知や映像の重複提示の発生の視聴者に対する報知等である。この同期提示報知に関しては具体例を含め後述する。
　以下、バッファ１３及びバッファ２２の一構成例について図２を用いて説明する。なお、バッファ１３とバッファ２２とは同じ構成のものを利用することができるのでまとめて説明する。
　図２は、図１のバッファ１３及びバッファ２２の一構成例を示すブロック図である。
　バッファ１３、２２は、ＰＥＳバッファ７１、及び同期用バッファ７２を備える。
　ＰＥＳバッファ７１は、映像コンテンツや音声コンテンツ等のコンテンツ間の出力タイミングを揃えるためのバッファである。ＰＥＳバッファ７１は、映像コンテンツや音声コンテンツ等の各コンテンツをＰＥＳパケットに変換し、制御部５１によって制御情報にて指示された出力タイミングでＰＥＳ単位のコンテンツデータを出力する。
　同期用バッファ７２は、放送コンテンツと通信コンテンツ間の出力タイミングを揃えるためのバッファである。同期用バッファ７２は、制御部５１によって制御情報にて指示されたタイミングでＰＥＳ単位のコンテンツデータを出力する。
　但し、ＰＥＳバッファ７１及び同期用バッファ７２は任意の遅延時間及び任意の出力タイミングでＰＥＳ単位のコンテンツデータを出力することが可能であり、遅延時間及び出力タイミングは全て制御部５１の指示に従う。
　以下に、放送コンテンツと通信コンテンツとの出力タイミングを合わせて放送コンテンツと通信コンテンツとを提示する同期提示方法について説明する。
　放送通信連携サービスには、ＨＴＭＬ５などのアプリケーションにより放送と通信の連携を制御する方法と、アプリケーションを介在せずに放送と通信の連携を制御する方法がある。なお、以下ではアプリケーションにより放送通信連携サービスを提供する場合を例に説明するが、アプリケーションは、ＨＴＭＬ５アプリケーションでもよいし、受信機のレジデントアプリケーションでもよい。また、レジデントアプリケーションや受信機の機能の一部をＡＰＩとして提供し、ＨＴＭＬ５など他のアプリケーションで制御してもよい。
　放送通信連携サービスには、アプリケーションがＡＶコンテンツに連動した従属型サービス、及びアプリケーションがＡＶコンテンツに連動しない独立型サービスがある。また、通信コンテンツには様々なものがある。
　以下の説明では、放送コンテンツに連動する従属型サービスにおいて、放送コンテンツに連動する通信コンテンツを提示するユースケースを考える。また、通信コンテンツは、パケットを時間的に先行して取得することのできないリアルタイムなライブ映像のマルチキャスト配信であるとする。
　放送コンテンツと通信コンテンツとの同期提示方法の具体例を説明するために用いる、受信装置１におけるコンテンツ提示の状態遷移の一例を図３に示す。
　図３の状態遷移図では、受信装置１は、電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）から開始する。そして、放送コンテンツ提示をＯＮにすることにより、受信装置１は、放送ＯＦＦ／通信ＯＦＦの状態から、放送コンテンツのみを提示している状態（放送ＯＮ／通信ＯＦＦの状態）に遷移する。さらに、受信装置１は、放送ＯＮ／通信ＯＦＦの状態から、通信コンテンツ提示をＯＮにすることにより、放送コンテンツ及び通信コンテンツの両方を提示している状態（放送ＯＮ／通信ＯＮの状態）に遷移する。
　以下では、「放送ＯＮ／通信ＯＦＦの状態」を「状態Ａ」と定義し、「放送ＯＮ／通信ＯＮの状態」を「状態Ｂ」と定義する。また、「状態Ａ」から「状態Ｂ」へ遷移することが決定してから遷移が完了するまでの期間を「遷移期間」と定義する。
　放送通信連携サービスを提供するためには、アプリケーションが起動していることが前提となる。よって放送通信連携サービスを提供する際にアプリケーションが起動していない場合には、アプリケーションの起動が必要となる。また放送サービスのみを提供するためには、必ずしもアプリケーションが起動している必要はない。
　例えば、状態Ａから状態Ｂへ遷移する場合において、状態Ａでアプリケーションが起動していない場合、アプリケーションの起動が必要となる。このとき、アプリケーションは、放送信号の中に含まれるＡＩＴに基づいて起動する。
　アプリケーションの起動タイミングとして、放送コンテンツ又は通信コンテンツに格納されているＡＩＴを基に視聴者が明示的に指定する場合、及び、ＡＩＴのアプリケーションの起動情報を基にコンテンツに連動してダイナミックに自動起動する場合等がある。また、アプリケーションの終了タイミングとして、放送コンテンツ又は通信コンテンツに格納されているＡＩＴを基に視聴者が明示的に指定する場合、及び、ＡＩＴのアプリケーションの終了情報を基にコンテンツに連動してダイナミックに自動終了する場合等がある。
　放送コンテンツを提示中に通信コンテンツをＯＮにする方法として、放送コンテンツ中に格納されているＡＩＴを基に視聴者が明示的に指定する方法、及び放送コンテンツに格納されているＡＩＴに基づき自動起動する方法等がある。
　一般に、通信コンテンツの受信は、放送コンテンツの受信と比較して遅延が大きいため、ライブ映像を放送及び通信で送信する場合、受信側において放送コンテンツに対して通信コンテンツが遅延して受信される。
　放送コンテンツを提示中に、通信コンテンツの提示を開始し、放送コンテンツと通信コンテンツとを同期させて提示するためには、放送コンテンツを遅延して提示する必要がある。
　図３に示すコンテンツ提示の状態遷移における放送コンテンツと通信コンテンツとの同期提示方法の一例について図４及び図５を用いて説明する。
　図４は、図３に示すコンテンツ提示の状態遷移における放送コンテンツと通信コンテンツとの同期提示方法の一例を説明するための信号イメージを示す図である。
　図４（ａ）は、遅延なしの放送コンテンツの時間信号を表す。この信号を用いて放送提示を行う場合を「通常提示」と定義する。
　図４（ｂ）は、遅延させた放送コンテンツの時間信号を表す。この信号を用いて放送提示を行う場合を「遅延提示」と定義する。なお、図中の「Ｄ」は放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間である。
　図４（ｃ）は、通信コンテンツの時間信号を表す。
　図４（ｄ）は、実際に提示する放送コンテンツの時間信号を表す。
　図４（ｅ）は、実際に提示する通信コンテンツの時間信号を表す。
　受信装置１は、時刻Ｔ１までの期間、及び通信コンテンツの取得を開始した時刻Ｔ１から通信コンテンツの提示の準備が完了する時刻Ｔ２までの期間、つまり、状態Ａから状態Ｂへの遷移が完了するまでは、放送コンテンツを通常提示する。
　そして、受信装置１は、通信コンテンツの提示の準備が完了した時刻Ｔ２以降の期間、つまり、状態Ａから状態Ｂへの遷移が完了した後、放送コンテンツを遅延提示するとともに通信コンテンツを提示する。
　このように、状態Ａから状態Ｂへの遷移が完了したタイミングで、放送コンテンツの提示が通常提示から遅延提示に切り替わる。このため、状態Ａから状態Ｂへの遷移が完了したタイミングにおいて、放送コンテンツの提示は不連続な映像等の提示になる。また、遅延提示を開始してからしばらくの期間、放送コンテンツの提示は通常提示にて一回提示された映像等と同じ映像等の重複提示になる。不連続な映像等の提示又は映像等の重複提示は視聴者の視聴に違和感を与え、時には不快感を与える可能性もある。
　そのため、受信装置１は、放送コンテンツの重複提示期間に、視聴者に対する放送コンテンツと通信コンテンツとの同期に係る報知（同期提示報知）を行う（例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージを提示部５に提示する）。
　このような同期提示報知を行うことにより、視聴者は、不連続な映像等の提示や映像等の重複提示の理由を把握することが可能になり、視聴者の視聴に与える違和感や不快感を緩和することが可能になる。
　図５は、図３に示すコンテンツ提示の状態遷移における受信装置１による放送コンテンツと通信コンテンツとの同期提示方法の処理動作の一例を示すフローチャートである。但し、図５のフローチャートの開始時点では、受信装置１は電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）にある。
　受信装置１は、放送コンテンツ提示をＯＮにすることにより、電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）から放送ＯＮ／通信ＯＦＦの状態（状態Ａ）に遷移する（ステップＳ１１）。受信装置１は、放送コンテンツの取得を開始して放送コンテンツの通常提示を開始する（ステップＳ１２）。
　次に、受信装置１は、アプリケーションの取得を契機に通信コンテンツの取得を開始する（ステップＳ１３）。
　受信装置１は、通信コンテンツの提示の準備が完了したか否かを判定する（ステップＳ１４）。通信コンテンツの提示の準備が完了したと判定されるまで（Ｓ１４：Ｎｏ）、ステップＳ１４の処理が行われる。そして、通信コンテンツの提示の準備が完了したと判定された場合（Ｓ１４：Ｙｅｓ）、ステップＳ１５の処理が行われる。なお、通信コンテンツの取得の準備が完了したか否かの判定は、例えば、所定量の通信コンテンツのコンテンツデータがバッファ２０２に蓄積された場合に、通信コンテンツの取得の準備が完了したと判定する。
　受信装置１は、制御部５１において、復号後の放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとを比較し、放送コンテンツに対する通信コンテンツの遅延時間を算出する（ステップＳ１５）。
　制御部５１は、ステップＳ１５において算出した遅延時間を基に放送コンテンツと通信コンテンツとの出力タイミングを合わせるための制御情報を生成し、バッファ１３内の同期用バッファ７２及びバッファ２２内の同期用バッファ７２へ出力する。バッファ１３内の同期用バッファ７２は制御情報に従ってステップＳ１５で算出された遅延時間に基づいてバッファ出力を遅延させ、バッファ２２内の同期用バッファ７２は制御情報に従ってバッファ出力を行う。これにより、受信装置１は、放送コンテンツの提示を通常提示から遅延提示に切り換えて遅延提示を開始し、同時に、通信コンテンツの提示を開始する。さらに、制御部５１は、同期提示報知用のメッセージ（例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージ）の提示をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて提示部５に同期提示報知用のメッセージの提示を開始する（ステップＳ１６）。
　制御部５１は、ステップＳ１５で算出した遅延時間に基づいて放送コンテンツの重複提示が終了したか否かを判定する（ステップＳ１７）。放送コンテンツの重複提示が終了したと判定されるまで（Ｓ１７：Ｎｏ）、ステップＳ１７の処理が行われる。そして、放送コンテンツの重複提示が終了したと判定された場合（Ｓ１７：Ｙｅｓ）、制御部５１は、同期提示報知用のメッセージの提示の終了をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて同期報知用のメッセージの提示部５への提示を終了する（ステップＳ１８）。
　（実施の形態１の補足）
　以下、実施の形態１の補足について記載する。
　（１）実施の形態１において説明した放送コンテンツと通信コンテンツとの同期提示方法は一例であり、これに限定されるものではない。
　例えば、図６に示す同期提示方法であってもよい。但し、図６（ａ）～（ｅ）の時間信号は夫々図４（ａ）～（ｅ）の時間信号と同じ種類のものである。
　図４の同期提示方法では、状態の遷移期間に、つまり、通信コンテンツの取得を開始してから通信コンテンツの提示の準備が完了するまでの期間に、放送コンテンツを通常提示する。
　これに対して、図６の同期提示方法では、状態の遷移期間、つまり、通信コンテンツの取得を開始してから通信コンテンツの提示の準備が完了するまでの期間に、放送コンテンツの提示を中断して提示部５の画面をブラックアウトさせる。これとともに、受信装置１は、視聴者に対する同期提示報知のために例えば放送コンテンツと通信コンテンツとの同期をとるための待機中であることを示すメッセージを提示部５に提示する。
　また、バッファのクロックタイミングの制御方法又は提示タイミングを変えることで様々な同期提示方法が可能であり、例えば図７に示す同期提示方法がある。但し、図７（ａ）～（ｅ）の時間信号は夫々図４（ａ）～（ｅ）の時間信号と同じ種類のものである。
　図７の同期提示方法では、受信装置１は、通信コンテンツの取得を契機に、放送コンテンツのスロー再生を開始し、通信コンテンツの提示の準備の完了と放送コンテンツの再生時間とを比較しながら、放送コンテンツの遅延提示と通信コンテンツの提示を行う状態に遷移する。これとともに、受信装置１は、視聴者に対する同期提示報知用に例えば放送コンテンツと通信コンテンツとの同期をとるための放送コンテンツのスロー再生中であることを示すメッセージを提示部５に提示する。なお、スロー再生はバッファの出力の時間間隔を広げることによって実現することができる。放送コンテンツはスロー再生により少しずつ遅延調整を行い、遅延調整が完了し、放送コンテンツの提示時刻と通信コンテンツの提示時刻が一致した時刻に、放送コンテンツと通信コンテンツとを同期させて提示する。この場合は通信の提示準備完了時刻と同期提示提示タイミングは一致しない。
再生のタイミングやクロック制御は制御部５１が制御する。また、制御部５１は同期提示方法に応じて、適切な提示や提示タイミングをコンテンツ生成部３１に出力する。
　図７の同期提示方法では、放送コンテンツと通信コンテンツとを同期させて提示する際に、これらの提示をよりスムーズにすることができる。
　（２）実施の形態１の同期提示方法では、通信コンテンツの準備の完了を契機として放送コンテンツの提示を通常提示から遅延提示に切り換えている。しかしながら、これに限定されるものではなく、例えば放送コンテンツを予め遅延提示させておくようにしてもよく、この一例を図８のフローチャートを用いて説明する。但し、図８のフローチャートの開始時点では、受信装置１は電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）にある。
　受信装置１は、放送コンテンツ提示をＯＮにすることにより、電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）から放送ＯＮ／通信ＯＦＦの状態に遷移する（ステップＳ５１）。受信装置１は、放送コンテンツの取得を開始して放送コンテンツの通常提示を開始する（ステップＳ５２）。
　受信装置１は、放送コンテンツの通常提示中に、第一のアプリケーションとして、放送コンテンツを遅延提示させるアプリケーション（以下、「遅延提示アプリケーション」と言う。）を起動する（ステップＳ５３）。放送の遅延提示タイミングとして、例えば、視聴者が指定したタイミング、及び放送事業者やその他の事業者が通信または放送のＡＩＴで指定したタイミング、或いはＡＩＴに基づいて取得したアプリケーションで指定したタイミング等を挙げることができる。
　遅延提示アプリケーションを起動した後、受信装置１は、制御部５１において、通信コンテンツを取得し、復号後の放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとを比較し、放送コンテンツに対する通信コンテンツの遅延時間を算出する（ステップＳ５４）。
　制御部５１はステップＳ５４において算出した遅延時間を基にバッファ１３内の同期用バッファ７２の出力遅延を制御し、これにより、受信装置１は、放送コンテンツの提示を通常提示から遅延提示に切り換えて遅延提示を開始する。さらに、制御部５１は、同期提示報知用のメッセージ（例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージ）の提示をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて提示部５に同期提示報知用のメッセージの提示を開始する（ステップＳ５５）。
　制御部５１は、ステップＳ５４で算出した遅延時間に基づいて放送コンテンツの重複提示が終了したか否かを判定する（ステップＳ５６）。放送コンテンツの重複提示が終了したと判定されるまで（Ｓ５６：Ｎｏ）、ステップＳ５６の処理が行われる。そして、放送コンテンツの重複提示が終了したと判定された場合（Ｓ５６：Ｙｅｓ）、制御部５１は、同期提示報知用のメッセージの提示の終了をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて同期提示報知用のメッセージの提示部５への提示を終了する（ステップＳ５７）。
　放送ＯＮ／通信ＯＦＦの状態かつ放送コンテンツの遅延提示中に、受信装置１は、第二のアプリケーションを起動し、これにより通信コンテンツの取得を開始する（ステップＳ５８）。
　受信装置１は、通信コンテンツの提示の準備が完了したか否かを判定する（ステップＳ５９）。通信コンテンツの提示の準備が完了したと判定されるまで（Ｓ５９：Ｎｏ）、ステップＳ５９の処理が行われる。そして、通信コンテンツの提示の準備が完了したと判定された場合（Ｓ５９：Ｙｅｓ）、受信装置１は、通信コンテンツの提示を開始する（ステップＳ６０）。
　遅延提示の可能性のあるプログラムの場合、放送受信の開始時、選局時、又はＣＭ（コマーシャル）のタイミング等、視聴者の違和感が小さいタイミングで放送コンテンツを予め遅延提示させておくことにより、放送コンテンツと通信コンテンツとのスムーズな同期提示が可能になる。
　なお、例えば、放送コンテンツの遅延提示を開示させるタイミング（例えば放送受信の開始時や選局時）によっては同期提示報知用のメッセージを提示しないようにしてもよい。
　（３）実施の形態１で説明した同期提示方法における視聴者に対する放送コンテンツと通信コンテンツとの同期提示に係る報知（同期提示報知）の内容及び期間は一例であり、これに限定されるものではない。
　以下に、同期提示報知について、実施の形態１で記載した内容を含めて説明する。
　同期提示報知の内容として、例えば、放送コンテンツと通信コンテンツとの同期提示に係るメッセージの提示、及び不連続映像のアニメーションの提示などがある。
　具体的には、例えば下記のように提示する。
　・設定されている同期提示方法を視聴者に示すメッセージ又はアイコン等を表示する。
　・不連続な映像表示が発生すること、または、不連続な映像表示が発生したことを視聴者に示すメッセージ又はアイコン等を表示する。
　・映像が重複提示されていることを視聴者に示すメッセージ又はアイコン等を表示する。
　・不連続な表示を解消するために、映像の間にアニメーションの機能を入れる。
　なお、メッセージ又はアイコン等の表示の他に、テロップ表示や音声出力などがある。また、外部のデバイスを用いて提示しても良い。
　同期提示報知のタイミング又は期間として、例えば、放送コンテンツの重複提示が行われている期間、通信コンテンツの取得を開始してから放送コンテンツの重複提示が終了するまでの期間、アプリケーションの起動タイミング、通信コンテンツの準備が完了したタイミングなど、受信装置１のイベントに応じたタイミングや期間などがある。また、視聴者のインターフェース操作によるタイミングなどもある。なお、視聴者が同期提示報知を許可する間のみ同期提示報知を行うようにしてもよい。
　制御部５１が、例えば、アプリケーションで指定された同期提示方法、又は、予め定められたルール、又は、受信装置の設定等に従って、同期提示報知の内容やタイミング又は期間を決定し、コンテンツ生成部３１に指示する。コンテンツ生成部３１は、制御部５１の指示に従って決定されたタイミング又は期間において決定された内容の同期提示報知を実行する。なお、受信装置の設定は視聴者が行うことができてもよいし、行うことができなくてもよい。
　また、放送や通信に同期提示報知の内容やタイミング又は期間を指示する制御信号を埋め込むなど、放送事業者又は放送事業者に関連する事業者又は他の事業者が同期提示報知の内容やタイミング又は期間をコンテンツに応じて指示できるようなものであってもよい。
　（４）実施の形態１では、通信コンテンツの取得タイミングはアプリケーションの取得タイミングと同じであるとして説明したが、これに限定されるものではなく、別のタイミングであってもよい。なお、通信コンテンツの取得のタイミングは、例えばアプリケーションの指示に従う。
　（５）実施の形態１では、受信装置１の状態遷移が図３に一例を示す状態遷移であるとして説明したが、これに限定されるものではなく、例えば次のようなものであってもよい。
　受信装置１は、放送コンテンツの通常提示、且つ、コンテンツに連動しない独立通信アプリケーションの起動中の状態（放送ＯＮ／通信独立アプリＯＮ／連動アプリＯＦＦの状態）から、放送に連動するアプリケーションが起動した状態（放送ＯＮ／通信独立アプリＯＮ／連動アプリＯＮの状態）への、状態遷移においても、放送コンテンツを遅延させる必要がある。この場合においても、実施の形態１及び実施の形態１の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
　（６）実施の形態１や実施の形態１の補足の（２）では、放送コンテンツと通信コンテンツの遅延時間を算出するために、復号後に出力されるＰＴＳを用いて計算している。しかしながら、これに限定されるものではなく、ＤＴＳを用いて計算してもよいし、ＰＴＳとＤＴＳの２つの情報を用いて計算してもよい。また、復号前のＰＴＳやＤＴＳを用いて計算してもよい。また、ＰＣＲや、ＰＣＲに基づいて生成されたクロック（ＳＴＣ）、ＰＴＳ，ＤＴＳを用いて計算してもよい。基準クロックがＮＴＰである場合は、ＮＴＰを用いて計算してもよいし、放送コンテンツと通信コンテンツが異なる基準クロックを用いている場合には、それぞれの基準クロックの対応関係を示すタイムライン補助情報を用いて計算してもよい。
　また、バッファの制御タイミングは、ＰＴＳやＤＴＳの算出する場所やバッファの位置を勘案して算出する。ＰＴＳやＤＴＳの算出する場所やバッファの位置が異なる例として次のような構成を用いることができる。
　実施の形態１は、復号部１４においてＰＴＳやＤＴＳを抽出したが、ＰＥＳパケットからＥＳへの変換、及びＰＴＳ，ＤＴＳの抽出は、復号部１４でなく、バッファ１３におけるＰＥＳバッファ７１において処理してもよい。この場合、バッファ１３においてＰＥＳバッファ７１と同期用バッファ７２の位置は逆であることが望ましい。ＰＥＳバッファ７１は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。ＰＥＳバッファ７1は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータを復号部１４及び通信送受信部４１の一方又は両方に出力する。同様に、ＰＥＳパケットからＥＳへの変換、及びＰＴＳ，ＤＴＳの抽出は、復号部２３でなく、バッファ２２におけるＰＥＳバッファ７１において処理してもよい。この場合、バッファ２２においてＰＥＳバッファ７１と同期用バッファ７２の位置は逆であることが望ましい。ＰＥＳバッファ７１は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。ＰＥＳバッファ７１は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータを復号部２３及び通信送受信部４１の一方又は両方に出力する 。なお、以上の構成は、後述する実施の形態２で説明する構成と同等であり、図２におけるＰＥＳバッファ７１は、図１４及び図１８における分離バッファ１１４に相当する。
　（７）実施の形態１では、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをＰＥＳパケット単位で通信送受信部４１に出力し、通信送受信部４１は、コンテンツデータ及び、制御部５１から受け付けたデータをコンテンツ提示装置に送信すると説明したが、より具体的には、通信送受信部４１では、映像や音声等のコンポーネント毎のアクセスユニットやＰＥＳパケット、及び制御部５１から入力された制御情報やクロック情報を、特定の多重化方式を用いて再多重した後に、連携端末に送信する。多重化方式には、ＭＰ４，ＭＰＥＧ２－ＴＳ、ＭＰＥＧ－ＤＡＳＨ、ＭＭＴなどがある。
　（８）実施の形態１では、放送コンテンツに対して通信コンテンツが一定の時間で遅延しているとしたが、通信コンテンツに対して放送コンテンツが遅延している場合も考えられる。この場合は、放送コンテンツの提示が通常提示の１パターンとなり、通信コンテンツの提示が通常提示と遅延提示の２パターンとなる。なお、この点を除いて、実施の形態１及び実施の形態１の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
　実施の形態１では、放送コンテンツに対して通信コンテンツが一定の時間で遅延しているとしたが、例えば、通信伝送路における伝送ジッタの影響により、放送コンテンツに対する通信コンテンツの遅延時間が一定でない場合、バッファを適切に制御して、放送コンテンツと通信コンテンツとの同期提示を行う。
　（９）実施の形態１では、放送ＯＮ／通信ＯＦＦの状態から放送ＯＮ／通信ＯＮの状態への遷移に関して説明したが、放送ＯＮ／通信ＯＮの状態から放送ＯＮ／通信ＯＦＦの状態への遷移もある。
　この放送ＯＮ／通信ＯＮの状態から放送ＯＮ／通信ＯＦＦの状態への遷移において、放送コンテンツの提示を遅延提示から通常提示に切り換えるような場合には、放送コンテンツの不連続な提示の発生や放送コンテンツの提示の一部の欠落の発生が起こる。
　このため、受信装置１は、放送コンテンツの不連続な提示の発生や放送コンテンツの提示の一部の欠落の発生等を内容とする同期提示報知を視聴者に対して行うようにしてもよい。
　なお、制御部５１が同期提示報知の内容やタイミング又は期間を決定し、コンテンツ生成部３１に指示する。そして、コンテンツ生成部３１は指示されたタイミング又は期間で指示された内容の報知を実行する。
　（１０）実施の形態１では、図１を用いて放送コンテンツと通信コンテンツとを同期して提示する場合について説明したが、これに限定されるものではなく、例えば、次のようなものであってもよい。
　１つのコンテンツを２つの異なる伝送経路で送信する場合、受信装置の構成を例えば２つの伝送経路から受信するコンテンツを同期して１つの復号部で復号する図９に示す構成とすることができる。但し、図９において、図１の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
　図９に示す受信装置１Ａにおいて、復号部１４Ａは、バッファ１３及びバッファ２２の出力を入力とし、夫々からの入力データを復号して、コンテンツ生成部３１Ａに出力する。コンテンツ生成部３１Ａは、復号部１４Ａの出力を入力とし、入力データを用いて制御部５１の指示に従ってサービスの提示コンテンツを生成する。
　放送を用いて主映像を送信し、通信を用いて拡張情報を送信する場合、受信装置の構成を例えば主映像を一の復号部で復号し、主映像と拡張映像とを他の復号部で復号する図１０に示す構成とすることができる。但し、図１０において、図１の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
　図１０に示す受信装置１Ｂにおいて、復号部１４Ｂは、バッファ１３の出力を入力とし、入力データを復号して、コンテンツ生成部３１Ｂに出力する。コンテンツ生成部３１Ｂは、復号部１４Ｂの出力を入力とし、入力データを用いて制御部５１の指示に従って非拡張映像等の提示コンテンツを生成して提示部５に出力する。
　復号部２３Ｂは、バッファ１３及びバッファ２２の出力を入力とし、入力データを復号して、コンテンツ生成部３２Ｂに出力する。コンテンツ生成部３２Ｂは、復号部１４Ｂの出力と復号部２３Ｂの出力とを入力とし、夫々からの入力データを用いて制御部５１の指示に従って拡張映像等の提示コンテンツを生成して提示部５Ｂに出力する。
　図９及び図１０の何れの場合においても、実施の形態１及び実施の形態１の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
　（１１）放送と通信との間で受信に時間差が生じていたとしても、コンテンツによっては放送と通信との間で同期をとる必要性のないことがあり、放送と通信との間で同期制御を行わないという選択肢もある。この場合、制御部５１は放送と通信との間で同期制御を行うか、行わないかを決定するようにしてもよい。
　同期の必要性は、受信装置が決めても良いし、コンテンツ毎に遅延許容度を規定し、放送事業者または放送事業者に関連する事業者又は他の事業者が、放送または通信を用いて受信装置に伝えてもよい。遅延許容度はＡＩＴなどで送る方法や、ＡＩＴで特定できるアプリケーション内で送る方法、放送信号の制御情報（ＳＩ）等がある。
　（１２）実施の形態１において図１及び図２を用いて説明した受信装置１におけるバッファ構成は一例であり、実施の形態１と同等の機能を持つバッファであれば、この構成に限定されない。
　例えば、バッファはメモリサイズをもっとも小さくできる位置に配置するのが望ましい。また、実施の形態１では、ＰＥＳバッファ、同期用バッファ、リオーダーバッファなど機能毎にバッファを備えるようにしているが、これに限定されるものではなく、一つのバッファに複数の機能を備えるようにしてもよい。また、バッファがそれぞれの機能に対して割り当てるメモリ割り当ては動的であってもよいし、メモリを共有で複数の機能を実現してもよい。
　なお、図９及び図１０を用いて説明した受信装置１Ａ，１Ｂについても同様のことが言える。
　（１３）実施の形態１では、放送と通信の同期制御に関して説明したが、連携するシステムは、放送と通信との連携に限らず、放送と放送との連携でもよいし、通信と通信との連携でも良いし、３つ以上の伝送経路に基づく信号の連携でも良い。
　（１４）実施の形態１では、ＭＰＥＧ２－ＴＳシステムで規定されたパケット構成を用いて説明したが、多重化方式は特に限定されるものではない。多重化方式として、例えば、ＭＰ４や、ストリーミングに広く用いられているＲＴＰ、ＭＭＴ等がある。
　（１５）放送通信連携サービスでは、受信装置と、例えば、スマートフォン、タブレットなどの通信端末であるコンテンツ提示装置とが連携するサービスも提案されている。
　この場合、受信装置１で提示されるコンテンツとコンテンツ提示装置で提示されるコンテンツとの同期制御が必要である。
　このようなサービスの一例として、受信装置で放送コンテンツを提示し、コンテンツ提示装置で通信コンテンツを提示するものが挙げられる。
　しかしながら、受信装置とコンテンツ提示装置とが連携するサービスは、これに限定されるものではない。例えば、（Ａ）通信コンテンツが受信装置で提示され、放送コンテンツがコンテンツ提示装置で提示されるサービス、（Ｂ）放送コンテンツと通信コンテンツの一部とが受信装置で提示され、通信コンテンツの一部がコンテンツ提示装置で提示されるサービス、（Ｃ）放送コンテンツの一部が受信装置で提示され、放送コンテンツの一部と通信コンテンツとがコンテンツ提示装置で提示されるサービス、（Ｄ）通信コンテンツの一部が受信装置で提示され、通信コンテンツの一部と放送コンテンツとがコンテンツ提示装置で提示されるサービス、（Ｅ）放送コンテンツの一部と通信コンテンツとが受信装置で提示され、放送コンテンツがコンテンツ提示装置で提示されるサービス、及び（Ｆ）放送コンテンツの一部と通信コンテンツの一部とが受信装置で提示され、放送コンテンツの一部と通信コンテンツの一部とがコンテンツ提示装置で提示されるサービス、などがある。
　受信装置とコンテンツ提示装置との間で、放送と通信との同期制御を実現するためには、同期に関するＡＩＴ等の制御情報と、ＰＴＳ又はＤＴＳ又は放送と通信との間の遅延時間と、同期提示方法や同期提示報知とを、必要に応じて相手に通知する必要がある。
　受信装置で放送を受信し、連携端末であるタブレット端末で通信を受信し、互いに同期させる場合、連携端末のＰＴＳを受信装置に通知する必要がある。
　また、受信装置で受信した放送コンテンツや通信コンテンツを連携端末に送信する場合、受信装置で同期制御を行った後のデータを送信することにより、連携端末のハードウェアやソフトウェアの負担を軽減することができる。このとき、受信装置は、受信装置とコンテンツ提示装置との間の通信で発生する遅延時間を算出し、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間と、受信装置とコンテンツ提示装置との間の通信で発生する遅延時間の両方を考慮してバッファ１３内のＰＥＳバッファ７１及びバッファ２２内のＰＥＳバッファ７１からのＰＥＳパケットの出力タイミングを制御してもよい。
　いずれの場合においても、制御部５１は、同期提示方法や同期提示報知の内容及びタイミング又は期間を決定し、コンテンツ生成部へ指示すると同時に、決定した内容を通信送受信部４１を介して連携端末へ通知する。
　（１６）アプリケーションの種類やコンテンツによって、通信と放送とを同期させて提示するユースケースや同期提示方法は数多く存在する。
　制御部５１は、複数の同期提示方法を提供できる機能、及び同期提示方法に応じた同期提示に係る提示方法を制御できる機能を有し、アプリケーションやコンテンツに応じて選択可能な複数の同期提示方法を視聴者に提示する。
　視聴者は、選択可能な複数の同期提示方法の中から、入力インターフェースを用いた操作によって選択する。そして、選択内容が制御部５１に入力されて設定される。なお、設定に関する一連の動作は、制御部５１、操作入力部４２、コンテンツ生成部３１、提示部５が連動して行う。
　図１１に設定メニューの一例を示す。
　図１１の例では、放送通信連携のメニューとして、アニメーション設定と、同期提示方法設定とができるようになっている。
　アニメーション設定では、例えば同期提示の画面遷移において、２つの不連続な映像を連結する際のアニメーションの設定ができる。
　同期提示方法設定では、同期提示方法に関する設定ができる。図１２に同期提示方法の設定画面の一例を示す。同期提示方法設定では、例えば、受信機おまかせモード、放送局おまかせモード、マニュアルモード、ＯＦＦ（同期提示を行わない）の他、視聴者に提示可能な同期提示方法（Ｔｙｐｅ１、Ｔｙｐｅ２）の中から視聴者が選択できるようになっている。
　視聴者が放送局おまかせモードを選択した場合、制御部５１は、ＡＩＴに同期提示方法が設定されている場合のみ、ＡＩＴに記述されている同期提示方法を実行する。
　視聴者が受信機おまかせモードを選択した場合、制御部５１は、視聴者に提示可能な同期提示方法又はＡＩＴに記述されている同期提示方法の中から選択し、選択した同期提示方法を実行する。なお、同期提示方法の選択は動的に行われても良い。
　なお、同期提示方法はＡＩＴで指定する以外に、ＡＩＴで特定できるアプリケーション内で指定方法、放送信号の制御情報（ＳＩ等）を用いて指定する方法がある。
　視聴者がマニュアルモードを選択した場合、図１３に一例を示すマニュアル設定画面が立ち上がる。図１３のマニュアル設定画面の例では、視聴者が－１０秒～＋１０秒のうちの－ＭＡＸ秒～＋ＭＡＸ秒までの間で遅延時間を設定できるようになっている。遅延時間のＭＡＸ値は、コンテンツのデータの大きさ、バッファの大きさなどから制御部５１が決定する。また、ＰＴＳから算出された同期遅延時間を推奨値として表示する。また、視聴者は図中の黒く塗られた黒矢印の位置を移動させることによって遅延時間の設定を変更することができる。また、視聴者は推奨値ボタンを押すことによって遅延時間を制御部５１が決定した推奨値に戻すことができる。また、視聴者はリセットボタンを押すことによって遅延時間を０にすることができる（遅延のない通常提示に切り替えることができる）。
　視聴者が遅延時間の設定を変更する操作を行うと、遅延時間を示す制御信号が制御部５１に出力される。制御部５１は制御信号に基づいてバッファを制御して遅延を調整する。
　（１７）本実施の形態で説明した制御部５１の機能は、ソフトウェアとして実装しても良いし、アプリケーションとして実装しても良い。また、機能の一部をＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍｍｉｎｇ　Ｉｎｔｅｒｆａｃｅ）としてパッケージすることもできる。
　（発明の基礎となった知見２）
　特許文献３に記載の受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信する。そして、受信装置は、放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとの差に基づいて、放送コンテンツの提示を遅延させる。
　ところで、インターネットのような通信網では、伝送経路においてジッタが発生するため、受信側でジッタを補償する必要がある。このため、通信用の受信装置にはジッタを補償するためのデジッタバッファが必要になる。一方、放送用の受信装置にはデジッタバッファは必要でない。放送と通信とを連携させる放送通信連携受信装置としての受信装置は、通信用にデジッタバッファを備え、さらに、放送用にデジッタバッファのバッファ遅延に相当したバッファ遅延を実現するための遅延バッファを備え、通信と放送との再生時間を合わせる必要がある。
　特許文献３に記載された受信装置は、上述したように、放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとの差に基づいて放送コンテンツと通信コンテンツとを同期させる。同期に大容量のバッファを用いれば、アンダーフローやオーバーフローすることなしに、ジッタを補償することが可能になる。
　しかしながら、バッファ容量を大きくすれば、Ｅｎｄ－ｔｏ－Ｅｎｄ遅延が大きくなるという課題がある。これまでの放送受信システムでは、Ｅｎｄ－ｔｏ－Ｅｎｄ遅延を極小化することが要求されており、受信装置に余剰メモリが十分にあったとしても、全てのメモリをジッタ補償に使用することは現実的ではなく、必要最小限のメモリを使用することが望ましい。また、受信装置の同期再生及び復号時のバッファ管理を保証するためのシステムデコーダモデルが規定されている場合、所定サイズのバッファを用いて受信装置の動作を保証する必要がある。
　放送通信連携受信装置としての受信装置において、所定サイズのバッファを用いてデジッタバッファを制御する場合、アンダーフロー及びオーバーフローが発生する可能性が高く、アンダーフロー対策として例えば通信コンテンツの更なるバッファリングが必要となる。特許文献３に記載された受信装置を用いた場合、放送用の遅延バッファの遅延時間がデジッタバッファの制御に引きずられ、放送用の遅延バッファにオーバーフロー又はアンダーフローが発生したり、コンテンツの視聴に影響を与え、放送受信機の動作の保証が困難になる。
　そこで、発明者らは、この課題に対する技術的な解決策を検討し、この検討の結果、発明者らが得た解決策に基づく実施の形態等を以下において説明する。
　（実施の形態２）
　図１４は、本発明の実施の形態２に係る放送通信連携受信装置である受信装置１００の構成を示すブロック図である。
　受信装置１００は、デジタル放送受信部１１１、分離部１１２、遅延バッファ１１３、分離バッファ１１４、復号部１１５、通信送受信部１２１、分離部１２２、デジッタバッファ１２３、分離バッファ１２４、復号部１２５、コンテンツ生成部１３１、制御管理部１４１、及び制御部１５１を備える。
　デジタル放送受信部１１１は、外部の放送アンテナ３によって受信されたデジタル放送信号を入力とする。そして、デジタル放送受信部１１１は、デジタル放送信号から所望のチャネルを選局し、選局した所望のチャネルのデジタル放送信号に対して復調処理及び誤り訂正処理等を行い、トランスポートストリームを生成して分離部１１２へ出力する。
　分離部１１２は、デジタル放送受信部１１１によって生成されたトランスポートストリームを、映像データ、音声データ及び字幕データ等に分離して遅延バッファ１１３に出力する。また、分離部１１２はトランスポートストリームに含まれる各種制御情報を取得し、ＰＣＲを制御部１５１に出力し、コンテンツの種類や制御に係る情報を含む制御情報を制御管理部１４１へ出力する。
　遅延バッファ１１３は、デジッタバッファ１２３のバッファ遅延に相当したバッファ遅延を実現するためのバッファである。遅延バッファ１１３は、制御部１５１から指示された入出力タイミングに従って分離部１１２から出力される映像データや音声データ等のコンポーネント毎のコンテンツデータの遅延を調整して分離バッファ１１４へ出力する。
　分離バッファ１１４は、遅延バッファ１１３から出力される映像データや音声データ等を格納し、ＰＥＳパケットのＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報に基づいて、映像や音声等のコンポーネント毎のエレメンタリーストリーム（ＥＳ）をそれらの出力タイミングを揃えてアクセスユニット単位で復号部１１５に出力する。また、分離バッファ１１４はＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報を制御部１５１に出力する。なお、分離バッファ１１４、１２４は、ＭＰＥＧ２システムにおけるＥｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ　Ｂｕｆｆｅｒと同様の機能を備えるものである。
　復号部１１５は、分離バッファ１１４から出力された映像や音声等のコンポーネント毎のアクセスユニットを復号し、コンテンツ生成部１３１へ出力する。
　通信送受信部１２１は、通信ネットワーク経由で、放送事業者に関連する事業者または他の事業者が提供するコンテンツサーバからＡＶコンテンツを取得し、取得したＡＶコンテンツを分離部１２２へ出力する。通信事業者から提供されるＡＶコンテンツには、ファイルデータ、映像データ、及び音声データ等がある。
　分離部１２２は、通信送受信部１２１から入力されたＡＶコンテンツを、映像データ及び音声データ等に分離して、デジッタバッファ１２３に出力する。また、分離部１２２はＡＶコンテンツに含まれるコンテンツの種類や制御に係る情報を含む制御情報を制御管理部１４１へ出力する。
　デジッタバッファ１２３は、伝送経路によるジッタを吸収するためのバッファである。デジッタバッファ１２３は、制御部１５１から指示された入出力タイミングで分離部１２２から出力される映像データや音声データ等のコンポーネント毎のコンテンツデータの遅延を調整して分離バッファ１２４へ出力する。
　分離バッファ１２４は、デジッタバッファ１２３から出力される映像データや音声データ等を格納し、ＰＥＳパケットのＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報に基づいて、映像や音声等のコンポーネント毎のエレメンタリーストリームをそれらの出力タイミングを揃えてアクセスユニット単位で復号部１１５に出力する。また、分離バッファ１２４はＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報を制御部１５１に出力する。
　復号部１２５は、分離バッファ１２４から出力された映像や音声等のコンポーネント毎のアクセスユニットを復号し、コンテンツ生成部１３１へ出力する。
　コンテンツ生成部１３１は、復号部１１５から出力された各コンポーネント（映像、音声、字幕等）のコンテンツデータと、復号部１２５から出力された各コンポーネント（映像、音声及び字幕等）のコンテンツデータとを用いて提示コンテンツを生成する。コンテンツ生成部１３１で生成された提示コンテンツは外部の提示部５へ出力され、提示部５にて提示される。
　制御管理部１４１は、制御情報に含まれるコンテンツの種類や制御に係る情報と、遅延バッファ１１３の状態及びデジッタバッファ１２３の状態とに基づいて、遅延バッファ１１３及びデジッタバッファ１２３の制御方法を決定し、決定した制御方法を制御部１５１に指示する。なお、制御管理部１４１については更に図１５を用いて後述する。
　制御部１５１は、分離部１１２から出力されたＰＣＲを用いて基準クロック信号を生成する。この生成された基準クロック信号は、各バッファの出力タイミングの制御などに利用される。
　制御部１５１は、分離バッファ１１４から出力されるＤＴＳなどのタイムスタンプ情報、分離バッファ１２４から出力されるＤＴＳなどのタイムスタンプ情報、制御管理部１４１によって決定された制御方法に基づいて遅延バッファ１１３及びデジッタバッファ１２３の遅延を制御する。
　以下、制御管理部１４１の一構成例について図１５を用いて説明する。
　図１５は、図１４の制御管理部１４１の一構成例を示すブロック図である。
　制御管理部１４１は、制御情報抽出部１７１、バッファ管理部１７２、監視部１７３、及び制御方法決定部１７４を備える。
　制御情報抽出部１７１は、入力される制御情報からコンテンツの種類や制御に係る情報を抽出し、抽出したコンテンツの種類や制御に係る情報を制御方法決定部１７４に出力する。但し、コンテンツの種類や制御に係る情報として、例えばコンテンツ同期に必要な精度に係る情報、放送コンテンツの許容できるＥｎｄ－ｔｏ－Ｅｎｄ遅延時間に係る情報などがある。なお、コンテンツの種類や制御に係る情報などの制御情報は例えば送信側で多重して送信される。制御情報は、例えば多重化方式としてＭＰＥＧ２－ＴＳ方式を用いる場合は、記述子、テーブルなどで構成されるＰＳＩやＳＩ、セクション等である。
　バッファ管理部１７２は、遅延バッファ１１３及びデジッタバッファ１２３の夫々について、バッファサイズ、バッファ占有量、及び遅延時間（バッファに入力されてから出力されるまでの時間）を管理し、これらを基に使用可能な余剰バッファのサイズを算出する。
　なお、例えば、バッファ管理部１７２は、入力クロック及び出力クロックを常に監視し、デジッタバッファ１２３及び遅延バッファ１１３夫々での遅延時間、及び、バッファ占有量を算出することができる。
　また、バッファ管理部１７２は、デジッタバッファ１２３及び遅延バッファ１１３夫々でのバッファ占有量を、平均ビットレートにバッファでの遅延時間を乗算することによって算出することができる。
　なお、バッファ管理部１７２は、遅延バッファ１１３及びデジッタバッファ１２３の他に共有管理しているバッファメモリがあれば、その中で使用可能なメモリを含めて動的にバッファサイズを決定してもよい。
　監視部１７３は、デジッタバッファ１２３においてアンダーフローの発生の可能性及びオーバーフローの発生の可能性を常時監視し、監視結果を制御方法決定部１７４に通知する。
　ここで、実施の形態２において監視部１７３が行う監視処理の一例について記載する。
　監視部１７３は、デジッタバッファ１２３のバッファ占有量を監視する。
　そして、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第１閾値未満の場合にアンダーフローの発生の可能性があるとしてアンダーフローフラグをＯＮにする。一方、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第１閾値以上の場合にアンダーフローの発生の可能性がないとしてアンダーフローフラグをＯＦＦにする。
　また、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第２閾値を超える場合にオーバーフローの発生の可能性があるとしてオーバーフローフラグをＯＮにする。一方、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第２閾値以下の場合にオーバーフローの発生の可能性がないとしてオーバーフローフラグをＯＦＦにする。
　監視部１７３は上記の動作を常時行う。
　制御方法決定部１７４は、アンダーフローの発生の可能性又はオーバーフローの発生の可能性がある場合、余剰バッファサイズ、Ｅｎｄ－ｔｏ－Ｅｎｄ遅延、コンテンツの種類や制御に係る情報などに基づいて、遅延バッファ１１３及びデジッタバッファ１２３の制御方法を決定し、決定した制御方法を制御部１５１に通知する。なお、制御方法決定部１７４の動作については更に図１７を用いて後述する。
　図１６は図１４の受信装置１００の放送通信受信開始後の遅延バッファ１１３及びデジッタバッファ１２３の初期動作の一例を示すフローチャートである。但し、図１６のフローチャートでは、遅延バッファ１１３及びデジッタバッファ１２３においてアンダーフロー及びオーバーフローは発生しないとする。なお、図１６では、通信に関する処理を図の左側に、放送に関する処理を図の右側に記す。
　受信装置１００は、放送の受信を開始し（ステップＳ１０１）、通信の受信を開始する（ステップＳ１０２）。
　通信の受信開始後、デジッタバッファ１２３は制御部１５１の制御を受けて通信データのバッファリングを開始する（ステップＳ１０３）。制御部１５１はデジッタバッファ１２３のバッファリングの開始に合わせて遅延バッファ１１３のバッファリングの開始を制御し、遅延バッファ１１３は制御部１５１による制御を受けて放送データのバッファリングを開始する（ステップＳ１０４）。
　制御部１５１は、デジッタバッファ１２３のバッファリング量が初期バッファリング量に達したか否か、つまり、デジッタバッファ１２３の初期バッファリングが完了したか否かを判定する（ステップＳ１０５）。デジッタバッファ１２３の初期バッファリングが完了したと判定されるまで（Ｓ１０５：Ｎｏ）、デジッタバッファ１２３及び遅延バッファ１１３の初期バッファリングが行われ、ステップＳ１０５の処理が行われる。
　デジッタバッファ１２３の初期バッファリングが完了したと判定された場合（Ｓ１０５：Ｙｅｓ）、制御部１５１はデジッタバッファ１２３及び遅延バッファ１１３のデータの遅延出力の開始を制御する。デジッタバッファ１２３は制御部１５１による制御を受けて通信データの遅延出力を開始し（ステップＳ１０６）、遅延バッファ１０３は制御部１５１による制御を受けて放送データの遅延出力を開始する（ステップＳ１０７）。
　以上のように、デジッタバッファ１２３の動作に応じて、遅延バッファ１１３を動作させ、初期動作が完了する。
　但し、デジッタバッファ１２３の初期バッファリング量は、例えば、補償したいジッタの想定時間と平均ビットレートを乗算した値である。
　遅延出力を開始させる前の通常の放送データの出力は、デジッタバッファ１２３の初期バッファリングの完了を待って出力開始してもよいし、デジッタバッファ１２３の初期バッファリングの完了を待たずに出力開始してもよい。
　デジッタバッファ１２３の出力開始時、放送データと通信データとのタイムスタンプ情報から算出された時間差を基に、放送データに対して時間を合わせた通信データを出力する。
　なお、図１６では、放送を遅延させるために遅延バッファ１１３のサイズは十分な大きさを持つとして説明したが、放送データの遅延出力開始前に遅延バッファ１１３がオーバーフローしそうな場合は、その時点で適切に処理する必要がある。
　図１７は、図１４の制御方法決定部１７４による制御方法決定動作の一例を示すフローチャートである。但し、図１７のフローチャートの開始時点では、デジッタバッファ１２３と遅延バッファ１１３との同期がとれている定常状態にあるとする。
　制御方法決定部１７４は、監視部１７３によるデジッタバッファ１２３の監視の結果に基づくアンダーフローフラグがＯＮかＯＦＦのどちらであるかを判定する（ステップＳ１５１）。アンダーフローフラグがＯＦＦの場合、つまり、デジッタバッファ１２３においてアンダーフローの発生の可能性がない場合（Ｓ１５１：ＯＦＦ）、制御方法決定部１７４は、監視部１７３によるデジッタバッファ１２３の監視の結果に基づくオーバーフローフラグがＯＮかＯＦＦのどちらであるかを判定する（ステップＳ１５２）。
　オーバーフローフラグがＯＦＦの場合、つまり、デジッタバッファ１２３においてオーバーフローの発生の可能性がない場合（Ｓ１５２：ＯＦＦ）、ステップＳ１５１の処理に戻る。
　オーバーフローフラグがＯＮの場合、つまり、デジッタバッファ１２３においてオーバーフローの発生の可能性がある場合（Ｓ１５２：ＯＮ）、制御方法決定部１７４は制御方法としてオーバーフローに対する処理（例えば、デジッタバッファ１２３の出力をスキップする処理）に決定して制御部１５１に対して指示する。制御部１５１はこの指示を受けてデジッタバッファ１２３に対してオーバーフローに対する処理を実行する（ステップＳ１５３）。
　アンダーフローフラグがＯＮの場合、つまり、デジッタバッファ１２３においてアンダーフローの発生の可能性がある場合（Ｓ１５１：ＯＮ）、制御方法決定部１７４は、デジッタバッファ１２３に余裕があるか否かを判定する（ステップＳ１５４）。ステップＳ１５４の判定は、例えば、バッファ管理部１７２において算出されるデジッタバッファ１２３の余剰バッファサイズが所定値以上ある場合にデジッタバッファ１２３に余裕があると判定される。
　デジッタバッファ１２３に余裕がないと判定された場合（Ｓ１５４：Ｎｏ）、ステップＳ１６２の処理に進む。
　一方、デジッタバッファ１２３に余裕があると判定された場合（Ｓ１５４：Ｙｅｓ）、制御方法決定部１７４は、遅延バッファ１１３に余裕があるか否かを判定する（ステップＳ１５５）。ステップＳ１５５の判定は、例えば、バッファ管理部１７２において算出される遅延バッファ１１３の余剰バッファサイズが所定値以上ある場合に遅延バッファ１１３に余裕があると判定される。
　遅延バッファ１１３に余裕がないと判定された場合（Ｓ１５５：Ｎｏ）、ステップＳ１６２の処理に進む。
　遅延バッファ１１３に余裕があると判定された場合（Ｓ１５５：Ｙｅｓ）、制御方法決定部１７４は、制御部１５１にデジッタバッファ１２３の追加バッファリングを指示し、制御部１５１はこの指示を受けてデジッタバッファ１２３の出力を停止させるとともに追加バッファリングをさせる制御を行う。デジッタバッファ１２３は制御部１５１による制御を受けて出力を停止し、追加バッファリングを行う（ステップＳ１５６）。
　制御方法決定部１７４は、デジッタバッファ１２３の追加バッファリングが完了したか否かを判定する（ステップＳ１５７）。追加バッファリング完了したかどうかは、例えば、監視部１７３によるデジッタバッファ１２３の監視の結果に基づき、デジッタバッファの占有量が十分であり、デジッタバッファが再びアンダーフローする可能性が少ないと判定した時点で、追加バッファリングが完了したと判定する。
　デジッタバッファ１２３の追加バッファリングが完了していないと判定された場合には（Ｓ１５７：Ｎｏ）、ステップＳ１５４の処理に戻る。
　デジッタバッファ１２３の追加バッファリングが完了したと判定された場合には（Ｓ１５７：Ｙｅｓ）、制御方法決定部１７４は放送を遅延させる必要があるか否かを判定する（ステップＳ１５８）。ステップＳ１５８の判定は、例えば、コンテンツ同期に必要な精度に係る情報が同期の必要なしの場合に放送を遅延させる必要がないと判定する。
　放送を遅延させる必要がないと判定された場合（Ｓ１５８：Ｎｏ）、制御方法決定部１７４は、制御方法として遅延バッファ１１３の遅延制御を行わない制御方法に決定し、決定した制御方法を制御部１５１に通知する。制御部１５１はこの通知を受けて遅延バッファ１１３の遅延制御を行わず、遅延バッファ１１３は放送データを遅延させることなく出力する（ステップＳ１５９）。
　放送を遅延させる必要があると判定された場合（Ｓ１５８：Ｙｅｓ）、制御方法決定部１７４は、放送コンテンツの許容できるＥｎｄ－ｔｏ－Ｅｎｄ遅延時間に係る情報を利用して、実際のＥｎｄ－ｔｏ－Ｅｎｄ遅延時間が許容範囲内であるか否かを判定する（ステップＳ１６０）。放送コンテンツの許容できるＥｎｄ－ｔｏ－Ｅｎｄ遅延時間に係る情報は、例えば、送信側でコンテンツの許容できるＥｎｄ－ｔｏ－Ｅｎｄ遅延時間を指定し、制御信号として放送を用いて送信し、受信装置は放送信号を受信し、制御信号から放送コンテンツの許容できるＥｎｄ－ｔｏ－Ｅｎｄ遅延時間に係る情報を取得することができる。
　Ｅｎｄ－ｔｏ－Ｅｎｄ遅延時間が許容範囲内でないと判定された場合（Ｓ１６０：Ｎｏ）、ステップＳ１６２の処理に進む。
　Ｅｎｄ－ｔｏ－Ｅｎｄ遅延時間が許容範囲内であると判定された場合（Ｓ１６０：Ｙｅｓ）、制御方法決定部１７４は、制御方法として遅延バッファ１１３の遅延制御を行う制御方法に決定し、決定した制御方法を制御部１５１に通知する。制御部１５１はこの通知を受けて遅延バッファ１１３の遅延制御を行い、遅延バッファ１１３は放送データの遅延出力動作を行う（ステップＳ１６１）。なお、遅延制御における遅延バッファ１１３での遅延量は、デジッタバッファ１２３の入出力カウンタと遅延バッファ１１３の入出力カウンタを利用することにより、算出可能である。
　ステップＳ１６２において、制御方法決定部１７４は放送と通信との同期は不可能と判定する。そして、制御方法決定部１７４は放送の受信動作のみ保証するように、デジッタバッファ１２３と遅延バッファ１１３を独立に制御する制御方法に決定し、決定した制御方法を制御部１５１に通知する。制御部１５１はこの通知を受けてデジッタバッファ１２３と遅延バッファ１１３とを独立に制御する（ステップＳ１６２）。
　（実施の形態２の補足）
　以下、実施の形態２の補足について記載する。
　（１）実施の形態２において、放送と通信との間で伝送経路による遅延差がある場合、受信装置の構成を図１８に示す構成とすることができる。但し、図１８において、図１４の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
　図１８の受信装置１００Ａは、図１４の受信装置１００に対して、遅延バッファ１１３と分離バッファ１１４との間に同期バッファ１９１を追加し、デジッタバッファ１２３と分離バッファ１２４との間に同期バッファ１９６を追加した構成になっている。
　制御部１５１は、分離バッファ１１４からのＤＴＳなどのタイムスタンプ情報と、分離バッファ１２４からのＤＴＳなどのタイムスタンプ情報とを用いて、放送データと通信データとの間で同期がとられるように、同期バッファ１９１及び同期バッファ１９６の出力タイミングを制御する。
　（２）デジッタバッファ１２３がアンダーフローの発生の可能性又はオーバーフローの発生の可能性がある場合でも、必ずしも遅延バッファ１１３を制御する必要はない。
　（３）実施の形態２で説明した制御方法の決定の仕組みは、様々なアンダーフローの回避方法やオーバーフローの回避方法が用いられる場合に、利用され得る。
　（４）実施の形態２において、予めバッファの動作を保証するためのバッファサイズが規定されている場合、規定されているバッファサイズを用いて余剰バッファサイズを算出してもよい。
　規定されたバッファサイズでデジッタバッファ１２３及び遅延バッファ１１３の制御が不可能である場合、通信に関する受信動作を保証しなくてもよい。
　規定されたバッファサイズで制御が不可能である場合、その旨を示すメッセージを例えば提示部５に提示するようにしてもよい。
　規定されたバッファサイズで制御が不可能である場合は、その旨を示す情報を通信手段を用いて送信側にフィードバックするようにしてもよい。
　実際のジッタ時間や放送と通信の遅延時間等の伝送路に係る情報を通信手段を用いて送信側にフィードバックするようにしてもよい。
　（５）放送と通信との同期を保証できない場合、受信装置の放送に関する動作を優先させた制御を行うことが好ましい。
　放送と通信との同期が保証できない場合、デジッタバッファ１２３を監視しながら、デジッタバッファ１２３及び遅延バッファ１１３を適切に制御することにより、受信装置の放送に関する動作を保証する。
　（６）デジッタバッファ１２３の制御の結果として、通信コンテンツをより遅延の少ないデータ、ジッタの少ないデータに変更するという選択肢も可能である。この場合は、通信送受信部１２１からその旨をコンテンツサーバに通知し、ジッタの少ないデータを取得する。これにより、安定したサービスを視聴者に提供することが可能になる。
　通信コンテンツの取得の変更に伴って、放送コンテンツの取得方法を変更する必要が生じることも想定される。この場合、制御管理部１４１は放送コンテンツの取得方法の変更を行う。
　（７）送信側において、伝送路の品質を示す制御情報をシグナリングメッセージとして多重して送信し、受信装置は送信された品質に基づいて制御方法を決定或いは限定するようにしてもよい。例えば、伝送路の品質を示す制御信号として、通信伝送路で想定される最大遅延時間が送信側からシグナリングされている場合、受信装置は、受信装置のバッファサイズと比較することで、通信コンテンツを受信するかどうか、或いは、放送コンテンツと通信コンテンツとを同期再生するかどうかを判定してもよい。
　送信側において、推奨する制御方法を示す制御情報をシグナリングメッセージとして多重して送信し、受信装置は送信された推奨する制御方法に基づいて動作するようにしてもよい。
　送信側において、送信側が動作を保証することが可能なジッタ時間、並びに、デジッタバッファ１２３及び遅延バッファ１１３のバッファサイズの情報をシグナリングメッセージとして多重して送信するようにしてもよい。
　（８）コンテンツ同期に必要な精度とは、例えば、一方のコンテンツに対して他方のコンテンツが、（Ａ）同期必要なし、（Ｂ）１０秒以内の同期精度が必要、（Ｃ）１秒以内の同期精度が必要、（Ｄ）フレーム単位での同期精度が必要、等である。
　受信装置１００は、コンテンツ同期に必要な精度を満たすように、同期やジッタに係る制御方法を自由に決定することができる。このため、受信装置の仕様や能力に合わせた制御方法を選択することも可能になる。例えば、フレームレベルの同期が必要であれば、デジッタバッファ１２３に合せて高精度の遅延バッファ１１３の制御を行う。また、同期の必要がなければ、デジッタバッファ１２３の制御に合せた遅延バッファ１１３の制御を行わないという選択も可能になる。最低限必要な同期精度を通知するのではなく、推奨する同期精度を送信してもよい。
　受信装置がコンテンツの内容に応じて同期の精度を判定し、制御方法を決定することも可能である。例えば、コンテンツが映像と字幕の場合は、字幕を視聴するために問題がないレベルであれば、同期の精度を落として制御してもよい。
　（９）送信側が、一方のコンテンツが単独で復号可能か、単独で復号不可能かの制御情報を送信するようにしてもよい。例えば、放送が単独で復号不可能であれば、放送と通信とを同期させることが必須となる。一方、放送が単独で復号可能であれば、同期不可能な場合、放送コンテンツのみ表示するという選択肢も可能である。
　（１０）送信側で、許容できるジッタやデジッタバッファ量を規定し、制御信号として送信するようにしてもよい。
　コンテンツ制作者が同期の精度を例えば「強制する」又は「強制しない」と決めて、送信側でこの情報を送信するようにしてもよい。
　（１１）制御情報は復号開始前に取得可能であることが好ましい。
　復号開始前に取得可能な情報として、例えば多重化方式としてＭＭＴ（ＭＰＥＧ　Ｍｅｄｉａ　Ｔｒａｎｓｐｏｒｔ）を用いる場合、ＣＩ（Ｃｏｍｐｏｓｉｔｉｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ）に記述してもよいし、ＭＰＴ（ＭＭＴ　Ｐａｃｋｅｇｅ　Ｔａｂｌｅ）の中に、Ａｓｓｅｔのリストとともに記述してもよい。また、ＭＰＥＧ２－ＴＳの場合、ＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）のような制御情報でもよいし、ＭＰＥＧ－ＤＡＳＨ（Ｄｙｎａｍｉｃ　Ａｄａｐｔｉｖｅ　Ｓｔｒｅａｍｉｎｇ　ｏｖｅｒ　ＨＴＴＰ）を用いる場合には、ＭＰＤ（Ｍｅｄｉａ　Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｄｅｓｃｒｉｐｔｉｏｎ）に記述してもよいし、他の多重化システムの場合でも、受信装置において復号開始前に取得可能なプログラム情報であれば良い。
　制御情報は、放送又は通信のどちらか一方又は両方から送信し、制御管理部１４１は復号開始前に制御情報を取得、解析し、デジッタバッファ１２３及び遅延バッファ１１３の制御方法を決定する。
　（１２）ジッタや放送と通信との同期を補償するためのバッファサイズを予め規定し、更に、規定されたバッファサイズ内で動作補償するための制約条件を規定し、規定に基づいてアンダーフローやオーバーフロー対策など、バッファの動作を決定してもよい。
　デジッタバッファ、遅延バッファ、同期バッファの合計サイズを規定しておき、合計サイズの中で動作を補償する規定であってもよい。
　（１３）図１４及び図１８に構成を示した受信装置１００、１００Ａの構成を、図９を用いて説明した１つの復号部で復号するように変形してもよく、図１０を用いて説明した例えば２つのコンテンツ生成部を備えるように変形してもよい。
　（１４）実施の形態２及び実施の形態２の補足で説明した機能をハードウェアで実現するようにしてもよく、ソフトウェアで実現するようにしてもよい。また、一部をハードウェアで実現し、一部をソフトウェアで実現するようにしてもよい。
　（１５）ジッタや放送と通信との同期が完了したコンテンツを復号する前に、タブレット等の連携装置に送信するようにしてもよい。
　（１６）実施の形態２及び実施の形態２の補足で説明した機能の一部を、受信装置としてだけでなく、中継局の機能の一部として実現してもよい。
　（１７）デジッタバッファ１１３及び遅延バッファ１２３の制御結果（例えば、「放送と通信との間での同期が不可能」などのエラーメッセージ）を、視聴者に対して提示するようにしてもよいし、レポートとして記録するようにしてもよい。
　（１８）実施の形態２において図１４を用いて説明した受信装置１００におけるバッファ構成は一例であり、実施の形態２と同等の機能を持つバッファであれば、この構成に限定されない。
　例えば、バッファはメモリサイズをもっとも小さくできる位置に配置するのが望ましい。また、実施の形態２では、遅延バッファ１１３、分離バッファ１１４、デジッタバッファ１２３、分離バッファ１２４など機能毎にバッファを備えるようにしているが、これに限定されるものではなく、一つのバッファに複数の機能を備えるようにしてもよい。また、バッファがそれぞれの機能に対して割り当てるメモリ割り当ては動的であってもよいし、メモリを共有で複数の機能を実現してもよい。
　なお、図１８を用いて説明した受信装置１００Ａについても同様のことが言える。
　（１９）実施の形態２では、多重化方式としてＭＰＥＧ２－ＴＳを例に挙げて説明したが、多重化方式は特に限定されるものではない。多重化方式として、例えば、ＭＰ４や、ストリーミングに広く用いられているＲＴＰ、ＭＭＴ等がある。
　（その他）
　実施の形態１及び実施の形態１の補足で説明した内容を適宜組み合わせてもよい。
　実施の形態２及び実施の形態２の補足で説明した内容を適宜組み合わせてもよい。
　実施の形態１及び実施の形態１の補足で説明した内容と実施の形態２及び実施の形態２の補足で説明した内容とを適宜組み合わせてもよい。
　実施の形態１及び実施の形態１の補足で説明した内容を実施の形態２及び実施の形態２の補足で説明した内容に適用してもよく、実施の形態２及び実施の形態２の補足で説明した内容を実施の形態１及び実施の形態１の補足で説明した内容に適用してもよい。
　≪まとめ≫
　実施の形態や変形例に係る受信装置及び受信方法とその効果についてまとめる。
　（１）第１の受信装置は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、を備える。
　第１の受信方法は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定し、決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する。
　これらによれば、ジッタを補償する必要がない第１信号とジッタを補償する必要がある第２信号とのサービスの品質向上を図ることができる。
　（２）第２の受信装置は、第１の受信装置において、前記制御管理部は、更に、前記第１信号と前記第２信号との同期に必要な精度に係る制御情報に基づいて、前記制御方法の決定を行う。
　（３）第３の受信装置は、第１の受信装置において、前記制御管理部は、更に、前記第１信号の許容可能なＥｎｄ－ｔｏ－Ｅｎｄ遅延時間に係る情報に基づいて、前記制御方法の決定を行う。
　（４）第４の受信装置は、第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行う制御部と、前記制御部による前記同期制御に応じて、同期に係る報知を行う報知部と、を備える。
　第２の受信方法は、第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行い、前記同期制御に応じて、同期に係る報知を行う。
　これらによれば、第１信号と第２信号との同期をとる際に視聴者に与える違和感や不快感の軽減を図ることが可能になる。
　（５）第５の受信装置は、前記制御部は、視聴者による入力内容に基づいて前記同期制御を行う。
　これによれば、第１信号と第２信号との同期を視聴者の希望に沿ったものにすることができる。
　本発明は、異なる伝送路を用いて伝送された信号に基づくサービスの提供を行う受信装置に適用することができる。
　１　受信装置
　３　放送アンテナ
　５　提示部
　１１　デジタル放送受信部
　１２　分離部
　１３、２２　バッファ
　１４、２３　復号部
　２１、４１　通信送受信部
　３１　コンテンツ生成部
　４２　操作入力部
　５１　制御部

Claims (7)

  1. 　ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、
    　ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、
    　前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、
    　前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、
    　を備える受信装置。
  2. 　前記制御管理部は、更に、前記第１信号と前記第２信号との同期に必要な精度に係る制御情報に基づいて、前記制御方法の決定を行う
    　請求項１記載の受信装置。
  3. 　前記制御管理部は、更に、前記第１信号の許容可能なＥｎｄ－ｔｏ－Ｅｎｄ遅延時間に係る情報に基づいて、前記制御方法の決定を行う
    　請求項１記載の受信装置。
  4. 　第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、
    　第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、
    　前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行う制御部と、
    　前記制御部による前記同期制御に応じて、同期に係る報知を行う報知部と、
    　を備える受信装置。
  5. 　前記制御部は、視聴者による入力内容に基づいて前記同期制御を行う
    　請求項４記載の受信装置。
  6. 　ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、
    　前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定し、
    　決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する
    　受信方法。
  7. 　第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、
    　前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行い、
    　前記同期制御に応じて、同期に係る報知を行う
    　受信方法。
PCT/JP2014/001963 2013-04-05 2014-04-04 受信装置、及び受信方法 WO2014162748A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015509924A JPWO2014162748A1 (ja) 2013-04-05 2014-04-04 受信装置、及び受信方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013079897 2013-04-05
JP2013-079897 2013-04-05
US201361831941P 2013-06-06 2013-06-06
US61/831,941 2013-06-06

Publications (1)

Publication Number Publication Date
WO2014162748A1 true WO2014162748A1 (ja) 2014-10-09

Family

ID=51658056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/001963 WO2014162748A1 (ja) 2013-04-05 2014-04-04 受信装置、及び受信方法

Country Status (2)

Country Link
JP (1) JPWO2014162748A1 (ja)
WO (1) WO2014162748A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063780A1 (ja) * 2014-10-20 2016-04-28 ソニー株式会社 受信装置、送信装置、およびデータ処理方法
JP2016134644A (ja) * 2015-01-15 2016-07-25 パイオニア株式会社 放送受信装置、通信装置及び通信コンテンツ提示制御方法
JP2019208249A (ja) * 2014-10-10 2019-12-05 パナソニックＩｐマネジメント株式会社 送信方法、送信装置及びシステム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074608A (ja) * 2005-09-09 2007-03-22 Hitachi Ltd 再生装置および再生方法
JP2007206799A (ja) * 2006-01-31 2007-08-16 Toshiba Corp データ転送装置、情報記録再生装置およびデータ転送方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924728B2 (ja) * 2012-02-02 2016-05-25 日本放送協会 信号処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074608A (ja) * 2005-09-09 2007-03-22 Hitachi Ltd 再生装置および再生方法
JP2007206799A (ja) * 2006-01-31 2007-08-16 Toshiba Corp データ転送装置、情報記録再生装置およびデータ転送方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUMURA ET AL.: "Implementation Study of An Extra Content Service for Broadcast Programs using Synchronized IP Streaming", NENJI TAIKAI KOEN YOKOSHU, 31 August 2010 (2010-08-31), pages 10 - 5 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208249A (ja) * 2014-10-10 2019-12-05 パナソニックＩｐマネジメント株式会社 送信方法、送信装置及びシステム
WO2016063780A1 (ja) * 2014-10-20 2016-04-28 ソニー株式会社 受信装置、送信装置、およびデータ処理方法
US11070872B2 (en) 2014-10-20 2021-07-20 Saturn Licensing Llc Receiving device, transmitting device, and data processing method
US11785289B2 (en) 2014-10-20 2023-10-10 Saturn Licensing Llc Receiving device, transmitting device, and data processing method
JP2016134644A (ja) * 2015-01-15 2016-07-25 パイオニア株式会社 放送受信装置、通信装置及び通信コンテンツ提示制御方法

Also Published As

Publication number Publication date
JPWO2014162748A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6982021B2 (ja) 受信方法、及び、受信装置
JP4990762B2 (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
EP3113498A1 (en) Synchronized rendering of split multimedia content on network clients
US9832518B2 (en) Synchronization of processing media streams by one or more media processing devices
TWI735476B (zh) 視聽接收裝置及其快速變換頻道之方法
WO2013190789A1 (ja) 受信装置およびその同期処理方法
WO2013190787A1 (ja) 受信装置およびその同期処理方法
JP2021078153A (ja) 切り替え方法、ｉｐ再送信システム、ｉｐ再送信装置および制御装置
JP2012049836A (ja) 映像音声出力装置、および映像音声出力システム、およびマスタ装置
WO2014162748A1 (ja) 受信装置、及び受信方法
JP2013162205A (ja) 信号処理装置及びプログラム
JP7477116B2 (ja) 放送サービス通信ネットワーク配信装置および方法
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
JP2012049723A (ja) 映像音声出力装置及び映像音声出力方法
JP6157679B2 (ja) 信号処理装置及びプログラム
JP2016048846A (ja) 情報表示装置、情報表示方法、情報表示プログラム、関連情報形成装置、及び配信システム
US11856242B1 (en) Synchronization of content during live video stream
JP2012142798A (ja) ストリーム切替方法およびデジタル放送送出システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14779080

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015509924

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14779080

Country of ref document: EP

Kind code of ref document: A1