WO2015056296A1 - 電子機器および通信制御方法 - Google Patents

電子機器および通信制御方法 Download PDF

Info

Publication number
WO2015056296A1
WO2015056296A1 PCT/JP2013/077958 JP2013077958W WO2015056296A1 WO 2015056296 A1 WO2015056296 A1 WO 2015056296A1 JP 2013077958 W JP2013077958 W JP 2013077958W WO 2015056296 A1 WO2015056296 A1 WO 2015056296A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
content
electronic device
user operation
screen
Prior art date
Application number
PCT/JP2013/077958
Other languages
English (en)
French (fr)
Inventor
峯邑　隆司
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2013/077958 priority Critical patent/WO2015056296A1/ja
Priority to JP2015542424A priority patent/JP6022076B2/ja
Publication of WO2015056296A1 publication Critical patent/WO2015056296A1/ja
Priority to US15/009,635 priority patent/US10171865B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Definitions

  • Embodiments described herein relate generally to an electronic device that transmits content data, and a communication control method applied to the device.
  • Wi-Fi Display As a technique using Wi-Fi Direct, there is a technique (Wi-Fi Display) that provides seamless display of content between wirelessly connected devices.
  • the content can be displayed on the screen of the sink device, so that the user, for example, the screen of a smartphone or tablet computer (source device)
  • the video displayed on the small screen can be viewed on a larger screen such as the screen of a television receiver (sink device).
  • the encoded original content is once decoded, displayed, re-encoded, and transmitted to the sink device.
  • the inventor of the present application considers a method in which the content is directly sent to the sink device without being decoded, and the entire device is decoded on the sink device side. This technique has the advantage that the original content quality can be maintained because no decoding and re-encoding is performed.
  • content may include not only video and audio, but also objects that can be operated by the user, such as menus and buttons.
  • objects that can be operated by the user, such as menus and buttons.
  • the method of sending to the sink without decoding there is a problem that when an object is displayed on the screen of the sink device, a user operation on the object may not be appropriately processed.
  • An object of the present invention is to provide an electronic device and a communication control method capable of appropriately processing an operation on an object in content when the content is seamlessly displayed between the devices.
  • the electronic device includes a transmission unit, a decoding unit, and an operation processing unit.
  • the transmission means transmits encoded content data, which includes first data for displaying video and second data for displaying an object operable by the user, to the external electronic device.
  • the decoding means decodes the second data.
  • the operation processing means uses the decoded second data in response to a user operation on the object when the video and the object are displayed on the screen of the external electronic device using the content data. The process corresponding to the user operation is executed.
  • FIG. 1 is a perspective view illustrating an example of an external appearance of an electronic apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a system configuration of the electronic apparatus according to the embodiment.
  • FIG. 3 is a diagram for explaining content transmission by the transcoding method.
  • FIG. 4 is a diagram for explaining content transmission by the non-transcoding scheme.
  • FIG. 5 is a diagram illustrating an example of a configuration of content transmitted by the electronic device of the embodiment.
  • FIG. 6 is a diagram for explaining an example in which a user operation is processed when content is transmitted by the transcoding scheme of FIG.
  • FIG. 7 is a diagram for explaining an example in which a user operation cannot be processed when content is transmitted by the non-transcoding scheme of FIG.
  • FIG. 8 is a diagram for explaining an example in which content is transmitted by the hybrid transcoding method by the electronic device of the embodiment.
  • FIG. 9 is a diagram for explaining another example in which content is transmitted by the hybrid transcoding method by the electronic device of the embodiment.
  • FIG. 10 is a diagram for explaining still another example in which content is transmitted by the hybrid transcoding method by the electronic device of the embodiment.
  • FIG. 11 is a block diagram showing a functional configuration of a content transmission program executed by the electronic device of the embodiment.
  • FIG. 12 is a block diagram showing a first example of a configuration of a content processing unit provided in the content transmission program of FIG.
  • FIG. 13 is a block diagram showing a second example of the functional configuration of the content processing unit provided in the content transmission program of FIG. FIG.
  • FIG. 14 is a block diagram showing a third example of the functional configuration of the content processing unit provided in the content transmission program of FIG.
  • FIG. 15 is a block diagram showing a fourth example of the functional configuration of the content processing unit provided in the content transmission program of FIG.
  • FIG. 16 is a block diagram showing a fifth example of the configuration of the content processing unit provided in the content transmission program of FIG.
  • FIG. 17 is a flowchart illustrating a first example of a procedure of content transmission processing executed by the electronic device (source device) of the embodiment.
  • FIG. 18 is a flowchart illustrating a first example of a procedure of content display processing executed by an external electronic device (sink device) that receives content from the electronic device of the embodiment.
  • FIG. 19 is a flowchart illustrating a second example of a procedure of content transmission processing executed by the electronic device (source device) of the embodiment.
  • FIG. 20 is a flowchart illustrating a second example of the procedure of content display processing executed by the external electronic device (sink device) that receives content from the electronic device of the embodiment.
  • FIG. 21 is a flowchart illustrating a third example of the procedure of content transmission processing executed by the electronic device (source device) of the embodiment.
  • FIG. 22 is a flowchart illustrating a third example of the procedure of content display processing executed by the external electronic device (sink device) that receives content from the electronic device of the embodiment.
  • FIG. 20 is a flowchart illustrating a second example of the procedure of content display processing executed by the external electronic device (sink device) that receives content from the electronic device of the embodiment.
  • FIG. 21 is a flowchart illustrating a third example of the procedure of content transmission processing executed by the electronic device (source device) of the embodiment.
  • FIG. 23 is a flowchart illustrating a fourth example of the content transmission processing procedure executed by the electronic device (source device) of the embodiment.
  • FIG. 24 is a flowchart illustrating a first example of the procedure of user operation processing executed by the electronic device (source device) and the external electronic device (sink device) of the embodiment.
  • FIG. 25 is a flowchart illustrating a second example of the procedure of user operation processing executed by the electronic device (source device) and the external electronic device (sink device) of the embodiment.
  • FIG. 26 is a flowchart illustrating a third example of the procedure of user operation processing executed by the electronic device (source device) and the external electronic device (sink device) of the embodiment.
  • FIG. 1 is a perspective view illustrating an external appearance of an electronic apparatus according to an embodiment.
  • This electronic device can be realized as an embedded system incorporated in various electronic devices such as a tablet computer, a notebook personal computer, a smartphone, a PDA, or a digital camera.
  • a tablet computer is a portable electronic device also called a tablet or a slate computer, and includes a main body 11 and a touch screen display 17 as shown in FIG.
  • the touch screen display 17 is attached to be superposed on the upper surface of the main body 11.
  • the main body 11 has a thin box-shaped housing.
  • the touch screen display 17 incorporates a flat panel display and a sensor configured to detect a contact position of a pen or a finger on the screen of the flat panel display.
  • the flat panel display may be, for example, a liquid crystal display (LCD).
  • As the sensor for example, a capacitive touch panel, an electromagnetic induction digitizer, or the like can be used.
  • FIG. 2 is a diagram showing a system configuration of the tablet computer 10.
  • the tablet computer 10 includes a CPU 101, a system controller 102, a main memory 103, a graphics controller 104, a BIOS-ROM 105, a nonvolatile memory 106, a wireless communication device 107, an embedded controller (EC) 108, a sound controller. 109, etc.
  • EC embedded controller
  • the CPU 101 is a processor that controls the operation of various components in the tablet computer 10.
  • the CPU 101 executes various software loaded into the main memory 103 from the nonvolatile memory 106 that is a storage device.
  • the software includes an operating system (OS) 103A and various application programs.
  • the application program includes a content transmission program 103B.
  • the content transmission program 103B has a content data transmission display function and the like for seamlessly displaying content on the screen of an external electronic device (sink device) using the tablet computer 10 as a source device.
  • the CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 105.
  • BIOS is a program for hardware control.
  • the system controller 102 is a device that connects between the local bus of the CPU 101 and various components.
  • the system controller 102 also includes a memory controller that controls access to the main memory 103.
  • the system controller 102 also has a function of executing communication with the graphics controller 104 via a PCI EXPRESS serial bus or the like.
  • the graphics controller 104 is a display controller that controls the LCD 17 ⁇ / b> A used as a display monitor of the tablet computer 10.
  • a display signal generated by the graphics controller 104 is sent to the LCD 17A.
  • the LCD 17A displays a screen image based on the display signal.
  • a touch panel 17B is disposed on the LCD 17A.
  • the system controller 102 also has a function of executing communication with the sound controller 109.
  • the sound controller 109 is a sound source device, and outputs audio data to be reproduced to the speaker 13 or the like.
  • the sound controller 109 also outputs audio data detected by the microphone 12 to the system controller 102.
  • the wireless communication device 107 is a device configured to execute communication based on, for example, IEEE 802.11n and Wi-Fi Direct.
  • the wireless communication device 107 can establish a wireless connection between devices without an access point.
  • the wireless communication device 107 may be a device configured to execute wireless communication such as wireless LAN or 3G mobile communication, or a device configured to execute wired communication such as wired LAN. It may be.
  • EC108 is a one-chip microcomputer including an embedded controller for power management.
  • the EC 108 has a function of turning on or off the tablet computer 10 in accordance with the operation of the power button by the user.
  • the tablet computer 10 has a function of seamlessly displaying content on a connected external electronic device.
  • This function for example, uses Wi-Fi Direct, which wirelessly connects two devices without going through an access point, to provide a seamless display of content between the wirelessly connected devices (Wi-Fi Display). It is realized by using.
  • the content video, image, audio
  • the sink device Since the image can be output to a display or a speaker, the user can view an image displayed on a small screen such as the screen of the tablet computer 10 on a larger screen such as the screen of a television receiver. it can.
  • a transcoding method is used for content transmission between the devices, but if the sink device can decode the original content codec, the non-transcoding method is used. There is also a possibility to do.
  • the source device 10 in transmission by the transcoding method, the source device 10 transcodes content data into a codec (for example, H.264 for video data) that can be decoded by the sink device 20, and the transcoded content is transmitted. Data is transmitted to the sink device 20. That is, the decoder 15 of the source device 10 decodes the content data, the encoder 16 re-encodes the decoded content data, and transmits the re-encoded content data to the sink device 20.
  • the encoder 16 may capture an image of content displayed on the screen and encode (re-encode) the captured image.
  • the source device 10 displays content (video) 171 on the screen of the source device 10 using the decoded content data.
  • the sink device 20 receives the transcoded content data from the source device 10 using, for example, an MPEG-2 TS container, decodes it by the decoder 25, and displays the content (video) 201 on the screen of the sink device 20. .
  • transcoding transmission of transcoded content data is transmitted to the sink device 20, so that the content 201 can be displayed on the screen of the sink device 20 regardless of the codec of the original content data. it can.
  • transmission may degrade image quality due to transcoding (re-encoding).
  • the encoder 16 provided in the source device 10 needs to be a real-time encoder capable of encoding content data in real time. Power consumption increases.
  • the source device 10 transmits the original content data to the sink device 20 as it is.
  • the original content data is decoded by the decoder 25, and the content (video) 201 is displayed on the screen of the sink device 20. Since the content data is not transcoded in the source device 10 (that is, not decoded and encoded), the content is not displayed on the screen of the source device 10.
  • the video in the transmission by the non-transcoding method, the video can be displayed with the original image quality on the screen of the sink device 20.
  • the source device 10 since the source device 10 does not decode and encode the content data, the power consumption can be reduced, and a high-performance real-time encoder (an encoder capable of processing a large-size image in real time) is not necessary.
  • the sink device 20 needs to be able to decode the original content data, that is, to be compatible with the codec of the original content data.
  • the content data may include not only video and audio data but also data of objects that can be operated by the user (ie, interactive objects) such as menus and buttons.
  • FIG. 5 shows an example of content having a plurality of image planes (layers) 61, 62, 63.
  • the main movie plane 61 corresponds to video and audio in the content.
  • the data corresponding to the main movie plane 61 has the maximum data size in the content. For example, as the image size (view angle) increases, the resources required for encoding increase. Data corresponding to the main movie plane 61 is also referred to as an audio / video stream.
  • the presentation plane 62 corresponds to information such as subtitles.
  • the data size of the data corresponding to the presentation plane 62 is usually very small.
  • the interactive plane 63 corresponds to an object that is a target of user operation, and is arranged on the screen as a button, for example. Note that data corresponding to other than the main movie plane 61, such as the presentation plane 62 and the interactive plane 63, is also referred to as a control stream.
  • the plurality of image planes 61, 62, 63 are superimposed and displayed on the screen as one image 65.
  • video, subtitles, buttons, and the like can be independently controlled by the plurality of image planes 61, 62, and 63, so that the contents are compatible and easy to implement for using the contents. be able to.
  • This content is, for example, so-called 4K AV content of high-quality video having four times the number of pixels of high vision.
  • content data transcoded by the decoder 15 and the encoder 16 of the source device 10 is transmitted to the sink device 20 in the transmission by the transcoding method. Yes.
  • a video (main movie plane) 171 and a button (interactive plane) 172 included in the content are displayed.
  • the cursor 173 is an arrow image indicating the position of a user operation designated using a pointing device or the like.
  • the sink device 20 content data received from the source device 10 (that is, transcoded content data) is decoded by the decoder 25, and a video (main movie plane) 201 included in the content and a button are displayed on the screen of the sink device 20. (Interactive plane) 202 is displayed. Note that the cursor 203 corresponding to the cursor 173 on the screen of the source device 10 can also be displayed on the screen of the sink device 20 based on the data related to the cursor 173 transmitted from the source device 10.
  • the sink device 20 Transmits the coordinate information 26 corresponding to the user operation to the source device 10 using a user input back channel (UIBC) function.
  • UIBC is a communication channel established between devices in order to transmit and receive data related to user input.
  • the source device 10 receives coordinate information 26 corresponding to the user operation from the sink device 20 via UIBC. Then, the source device 10 recognizes the user operation corresponding to the coordinate information 26 using the content data decoded by the decoder 15, executes the operation process 18 corresponding to the user operation, and sends the processing result to the sink device 20. Can be reflected on the screen. That is, the same content (image) based on the user operation can be displayed on the screen of the source device 10 and the screen of the sink device 20.
  • the source device 10 uses the content data decoded by the decoder 15 to The operation processing 18 corresponding to the user operation can be executed, and the processing result can be reflected on the screen of the sink device 20.
  • the source device 10 since the source device 10 decodes the content data, the source device 10 can execute a process according to a user operation on the source device 10 or the sink device 20 with a small delay amount. Therefore, the user can perform an intuitive operation on the content transmitted from the source device 10 to the sink device 20 and displayed.
  • transmission by the transcoding method has a drawback that a real-time encoder that may deteriorate image quality due to transcoding is required, and that the amount of power consumption increases accordingly.
  • the original content data is transmitted from the source device 10 to the sink device 20 in the transmission by the non-transcoding method.
  • the received original content data is decoded by the decoder 25, and a video (main movie plane) 201 and a button (interactive plane) 202 included in the content are displayed on the screen of the sink device 20.
  • the cursor 203 is an arrow image indicating the position of the user operation.
  • the sink device 20 When content is displayed on the screen of the sink device 20 and a user operation is performed on the content on the sink device 20, the sink device 20 sends coordinate information 26 corresponding to the user operation to the source device 10. Send.
  • the source device 10 receives coordinate information 26 corresponding to the user operation from the sink device 20. However, since the source device 10 has not decoded the content data, the source device 10 cannot recognize a user operation corresponding to the coordinate information 26 and cannot execute a process according to the user operation.
  • User operation for content is performed using, for example, an operation panel including a plurality of buttons.
  • the user operation using such an operation panel includes various contents such as operations for controlling the reproduction of contents (for example, reproduction, stop, pause, resume, fast forward, fast reverse, slow play, etc.).
  • operations depending on the content such as an operation for moving to a specified URL and a chapter moving operation for shifting to a specific position of the content. For this reason, it is difficult to prepare all commands corresponding to various user operations in advance, and to request the sink device 20 to execute processing corresponding to the user operations from the sink device 20 using the commands. Therefore, it is difficult to appropriately process the user operation without decoding the content data (interactive plane data) by the source device 10, and the user operation is limited in transmission by the non-transcoding method.
  • the user when the content is transmitted by the non-transcoding method, and the user does not know whether the content is transmitted by the transcoding method or the non-transcoding method, the user is on the screen of the sink device 20. Even if a button on the operation panel is operated, an operation corresponding to the operation is not performed, which may cause confusion in the operation by the user.
  • transmission by the non-transcoding method can display video with original image quality on the screen of the sink device 20, can reduce the power consumption of the source device 10, and does not require a high-performance real-time encoder. It has the advantage of being there.
  • the present embodiment provides a function of seamlessly displaying content by a hybrid transcoding method that has the advantages of the non-transcoding method and does not limit the user operation at the sink device 20. .
  • the source device 10 decodes data corresponding to the operation screen portion (interactive plane) of the content by the decoder 15 and encodes (re-encodes) the decoded data by the encoder 16. That is, the source device 10 transcodes data corresponding to the operation screen portion of the content. Then, the source device 10 transmits original data corresponding to the audio / video portion (main movie plane) of the content and data corresponding to the transcoded operation screen portion to the sink device 20. Note that the source device 10 may transmit data related to a cursor indicating the position of the user operation to the sink device 20.
  • the sink device 20 uses the decoder 25 to decode the original data corresponding to the audio / video portion of the content received from the source device 10 and the data corresponding to the transcoded operation screen portion. Then, the sink device 20 displays the video (main movie plane) 201 included in the content and the operation screen (interactive plane) including the button 202 on the screen. The sink device 20 can also display the cursor 203 on the screen of the sink device 20 based on the data related to the cursor transmitted from the source device 10.
  • the sink device 20 Transmits the coordinate information 26 corresponding to the user operation to the source device 10 by UIBC.
  • the source device 10 receives coordinate information 26 corresponding to the user operation from the sink device 20 via UIBC. Then, the source device 10 recognizes the user operation corresponding to the coordinate information 26 using the content data decoded by the decoder 15, executes the operation process 18 corresponding to the user operation, and sends the processing result to the sink device 20. Can be reflected on the screen.
  • the sink device 20 detects the coordinates corresponding to the position designated (selected) by the user operation, that is, the coordinates in the button 202, and transmits the coordinate information 26 including the detected coordinates to the source device 10.
  • the source device 10 receives the coordinate information 26 from the sink device 20, and using the data corresponding to the decoded interactive plane, the coordinates indicated in the received coordinate information 26 correspond to the coordinates of the buttons on the interactive plane. Detect that. That is, the source device 10 recognizes the user operation on the button 202 on the screen of the sink device 20 as the user operation on the button on the interactive plane based on the decoded interactive plane data. Then, the source device 10 can execute the operation process 18 corresponding to the user operation on the button and reflect the processing result on the screen of the sink device 20.
  • examples of the operation processing 18 include content playback control (for example, playback, stop, pause, restart, fast forward, fast reverse, slow playback, etc.), processing for moving to a specified URL, chapter transition processing, and the like.
  • content playback control for example, playback, stop, pause, restart, fast forward, fast reverse, slow playback, etc.
  • processing for moving to a specified URL chapter transition processing, and the like.
  • the button 202 is a pause button
  • the source device 10 stops sending content to the sink device 20 with respect to the main movie plane, or a picture at the paused content position. Continue sending.
  • the source device 10 continues decoding and encoding of the interactive plane corresponding to the paused content position (time position / playback position), and transmits the encoded data to the sink device 20.
  • the sink device 20 transmits only a predetermined picture among a plurality of pictures included in the main movie plane when the source device 10 fast-forwards or fast-reverses, and delays the transmission timing of the main movie plane during slow playback.
  • the source device 10 executes the operation process 18, reads the main movie plane from the content position corresponding to the chapter, and transmits it to the sink device 20. At this time, in the original content, when the interactive plane and the main movie plane are synchronized, the source device 10 executes the decoding 15 from the time position (playback position) corresponding to the chapter also for the interactive plane. .
  • the source device 10 accesses the web page of the URL and displays the page.
  • the source device 10 may switch from the hybrid transcoding method to the transcoding method, encode the video displayed on the display screen, and transmit the encoded data. .
  • the source device 10 executes the operation process 18 corresponding to the user operation using the content data decoded by the decoder 15, and syncs the processing result. It can be reflected on the screen of the device 20.
  • the source device 10 since the source device 10 decodes the content data, the source device 10 can appropriately perform processing according to the user operation at the source device 10 or the sink device 20, and the operability by the user can be improved. Can be improved.
  • the source device 10 since the source device 10 transmits the original data of the main movie plane to the sink device 20, the source device 10 can display the video with the original image quality on the screen of the sink device 20.
  • the source device 10 since the source device 10 does not decode and encode main movie plane data, power consumption can be reduced, and a high-performance real-time encoder (an encoder capable of processing a large-size image in real time) is not necessary.
  • the source device 10 decodes the content data by the decoder 15. Using the decoded data, the source device 10 displays the video (main movie plane) 171 included in the content and the operation screen (interactive plane) including the button 172 on the screen. In addition, the source device 10 transmits the original content data to the sink device 20. Note that the source device 10 may transmit data related to a cursor indicating the position of the user operation to the sink device 20.
  • the sink device 20 uses the decoder 25 to decode the original content data received from the source device 10. Then, the sink device 20 displays the video (main movie plane) 201 included in the content and the operation screen (interactive plane) including the button 202 on the screen. The sink device 20 can also display the cursor 203 on the screen of the sink device 20 based on the data related to the cursor transmitted from the source device 10.
  • the sink device 20 uses the UIBC to display coordinate information 26 corresponding to the user operation. Transmit to the source device 10.
  • the source device 10 receives coordinate information 26 corresponding to the user operation from the sink device 20 via UIBC. Then, the source device 10 recognizes the user operation corresponding to the coordinate information 26 using the content data decoded by the decoder 15, executes the operation process 18 corresponding to the user operation, and sends the processing result to the sink device 20. Can be reflected on the screen. Further, when a user operation is performed on the content in the source device 10, the source device 10 executes the operation process 18 corresponding to the user operation using the content data decoded by the decoder 15, and syncs the processing result. It can be reflected on the screen of the device 20.
  • the source device 10 since the source device 10 decodes the content data, the source device 10 can appropriately perform processing according to the user operation at the source device 10 or the sink device 20, and the operability by the user can be improved. Can be improved. In addition, since the source device 10 transmits the original content data to the sink device 20, it is possible to display the video with the original image quality on the screen of the sink device 20. Furthermore, since the source device 10 does not encode (re-encode) the decoded content data, power consumption can be reduced, and a high-performance real-time encoder (an encoder capable of processing a large image in real time) is not necessary. .
  • the video (main movie plane) 171 included in the content is displayed on the full screen.
  • the source device 10 switches from the hybrid transcoding method to the transcoding method and displays it.
  • the entire video to be displayed on the screen may be encoded and the encoded video may be transmitted.
  • the content video is switched to full screen display during transmission using the transcoding method, the content may be switched to the hybrid transcoding method.
  • the source device 10 decodes data corresponding to the operation screen portion (interactive plane) of the content by the decoder 15. In addition, the source device 10 transmits the original content data to the sink device 20. Note that the source device 10 may transmit data related to a cursor indicating the position of the user operation to the sink device 20.
  • the sink device 20 uses the decoder 25 to decode the original content data received from the source device 10. Then, the sink device 20 displays the video (main movie plane) 201 included in the content and the operation screen (interactive plane) including the button 202 on the screen. The sink device 20 can also display the cursor 203 on the screen of the sink device 20 based on the data related to the cursor transmitted from the source device 10.
  • the sink device 20 uses the UIBC to display coordinate information 26 corresponding to the user operation. Transmit to the source device 10.
  • the source device 10 receives coordinate information 26 corresponding to the user operation from the sink device 20 via UIBC. Then, the source device 10 recognizes the user operation corresponding to the coordinate information 26 using the content data decoded by the decoder 15, executes the operation process 18 corresponding to the user operation, and sends the processing result to the sink device 20. Can be reflected on the screen.
  • the source device 10 executes the operation process 18 corresponding to the user operation using the content data decoded by the decoder 15, and syncs the processing result. It can be reflected on the screen of the device 20.
  • the source device 10 decodes the data of the interactive plane, the source device 10 can appropriately perform the process according to the user operation on the source device 10 or the sink device 20, and can be operated by the user. Can be improved.
  • the source device 10 transmits the original content data to the sink device 20, it is possible to display the video with the original image quality on the screen of the sink device 20.
  • the source device 10 does not decode and encode the main movie plane data and does not encode the interactive plane data, the power consumption can be reduced and a high-performance real-time encoder (a large-size image can be processed in real time) A simple encoder).
  • the source device 10 has a function of transmitting content data by a hybrid transcoding method.
  • the original content data is content data encoded with an arbitrary codec, and includes first data for displaying video (main movie plane data) and second for displaying an object operable by the user.
  • Content data including data (interactive plane data).
  • the source device 10 includes, for example, a control unit 31, a content processing unit 32, a transmission unit 33, a display processing unit 34, an operation processing unit 36, and a reception unit 37.
  • the sink device 20 that receives content includes, for example, a reception unit 41, a content processing unit 42, a display processing unit 43, a transmission unit 44, and an operation processing unit 45.
  • the control unit 31 of the source device 10 controls the operation of each unit in the content transmission program 103B.
  • the control unit 31 controls processing (decoding, encoding, etc.) on the content data by the content processing unit 32.
  • the control unit 31 outputs a control signal that enables or disables the function of the content processing unit 32 to the content processing unit 32.
  • the content processing unit 32 executes processing for displaying (outputting) content on the source device 10 and processing for transmitting content to the sink device 20 in accordance with the control signal output by the control unit 31. obtain.
  • the content processing unit 32 and the transmission unit 33 are content data that is not at least partially transcoded (for example, content in which the main movie plane is not transcoded). Data) is transmitted to the sink device 20.
  • the transmission unit 33 transmits the content data to the sink device 20 via, for example, a wireless connection established between the source device 10 and the sink device 20 (for example, a wireless connection based on Wi-Fi Direct). Note that, before transmitting the content data, the transmission unit 33 notifies the sink device 20 of whether the content data is transmitted by a transcoding scheme, a non-transcoding scheme, or a hybrid transcoding scheme. be able to.
  • the sink device 20 can process the content data transmitted from the source device 10 in accordance with the notified transmission method. Also, the sink device 20 can display information indicating the transmission method on the screen according to the notified transmission method, and inform the user of the current content transmission method.
  • the content processing unit 32 decodes at least a part of the content data (for example, interactive plane data).
  • the operation processing unit 36 executes processing corresponding to the user operation using at least a part of the content data decoded by the content processing unit 32 in response to a user operation at the source device 10 or the sink device 20. To do.
  • the content processing unit 32 is configured to decode the content data and generate a video displayed on the screen of the LCD 17A and a sound output to the speaker 13 or the like.
  • the switch 502 distributes the content data 521 to the decoders 511 to 515 corresponding to the layers (planes).
  • the audio decoder 511 decodes the distributed audio stream (audio data) 522. Thereby, the sound output from the speaker or the like is generated.
  • the video decoder 512 generates a video plane by decoding the distributed video stream (video data) 523.
  • the presentation graphics (PG) decoder 513 generates a presentation plane by decoding the distributed PG stream (PG data) 524.
  • the interactive graphics (IG) decoder 514 generates an IG plane by decoding the distributed IG stream (IG data) 525.
  • the text decoder 515 generates text by decoding the distributed text stream (text data) 526. Then, the multiplexer 516 superimposes (multiplexes) the video plane, the IG plane, the PG plane, and the text. Thereby, an image displayed on the screen is generated.
  • the display processing unit 34 displays the image generated by the content processing unit 32 on the screen of the source device 10 (LCD 17A).
  • the sound generated by the content processing unit 32 is output from the speaker 13 or the like.
  • each unit in the content processing unit 32 described above can be set to be valid or invalid according to the valid / invalid control signal from the control unit 31.
  • the control unit 31 disables the V decoder 514 and the A decoder 515, and IG A control signal for enabling the decoder 511, the text decoder 512, and the PG decoder 516 is output to the content processing unit 32.
  • interactive plane data IG plane 521 and PG plane 522 data
  • main movie plane data V plane 523 and audio data
  • FIGS. 13 to 16 show examples of the functional configuration of the content processing unit 32 for transmitting content data by the hybrid transcoding method.
  • the configuration of the content processing unit 32 shown in FIG. 12 is omitted, and the configuration in which the operation is enabled is shown.
  • the content processing unit 32 is an encoded content data, and controls for displaying an audio / video stream (first data) for displaying video and an object operable by the user.
  • the content data including the stream (second data) 32C is passed (that is, passed without any processing), and the transmission unit 44 transmits the content data to the sink device (external electronic device) 20.
  • the content processing unit 32 decodes the control stream (second data) 32C in the content data.
  • the operation processing unit 36 uses the decoded control stream (second data) 32C according to the user operation on the object when the video and the object are displayed on the screen of the sink device 20 using the content data. The process corresponding to the user operation is executed.
  • the content processing unit 32 includes a switch 321, a decoder 322, and a display layout processing unit 323.
  • the switch 321 distributes the control stream 32C (for example, IG plane and PG plane data) in the original content data 32A to the decoder 322.
  • the decoder 322 decodes the distributed control stream 32C.
  • the display layout processing unit 323 determines an image or text layout (screen configuration) corresponding to the decoded data.
  • the display layout processing unit 323 may generate an image of an operation screen including buttons (objects) and text for user operation based on the determined layout.
  • the original content data 32A passes through the content processing unit 32.
  • the original content data 32A is transmitted to the sink device 20 by the transmission unit 33.
  • the display processing unit 34 may display an image of the operation screen on the screen of the source device 10. Further, the transmission unit 33 may transmit operation data indicating the user operation to the sink device 20 in response to a user operation on an object (operation screen) displayed on the screen of the source device 10.
  • the content processing unit 32 includes a switch 321, a decoder 322, and a display layout processing unit 323.
  • the switch 321 outputs the audio / video stream 32B (for example, audio and video data) in the original content data 32A as it is.
  • the switch 321 distributes the control stream 32C (for example, IG plane and PG plane data) in the original content data 32A to the decoder 322.
  • the decoder 322 decodes the distributed control stream 32C.
  • the display layout processing unit 323 determines an image or text layout (screen configuration) corresponding to the decoded data.
  • the display layout processing unit 323 may generate an image of an operation screen including buttons (objects) and text for user operation based on the determined layout.
  • the transmission unit 33 transmits the original audio / video stream 32B and the decoded control stream 32C (image (layer) obtained from the control stream 32C) to the sink device 20.
  • the original audio / video stream 32B and the decoded control stream 32C may include synchronization data (for example, a time stamp) for synchronizing these two streams (data). With this synchronization data, the video and audio (main movie plane) and the operation screen (interactive plane) can be linked.
  • the display processing unit 34 may display an image of the operation screen on the screen of the source device 10.
  • the sink device 20 receives the decoded control stream 32C and can display an operation screen using the decoded control stream 32C, processing related to the operation (processing for the interactive plane) is performed only by the source device 10, and It is possible to avoid confusion caused by processing related to operations performed by a plurality of devices.
  • the content processing unit 32 includes a switch 321, a decoder 322, a display layout processing unit 323, and an encoder 324.
  • the switch 321 outputs the audio / video stream 32B (for example, audio and video data) in the original content data 32A as it is.
  • the switch 321 distributes the control stream 32C (for example, IG plane and PG plane data) in the original content data 32A to the decoder 322.
  • the decoder 322 decodes the distributed control stream 32C.
  • the display layout processing unit 323 determines an image or text layout (screen configuration) corresponding to the decoded data.
  • the display layout processing unit 323 may generate an image of an operation screen including buttons (objects) and text for user operation based on the determined layout.
  • the encoder 324 encodes (re-encodes) the decoded control stream 32C.
  • the encoder 324 encodes the decoded control stream 32C with a codec suitable for processing by the sink device 20, for example. Accordingly, the control stream 32C is transcoded to a codec suitable for processing by the sink device 20 by the decoder 322 and the encoder 324.
  • the transmission unit 33 transmits the original audio / video stream 32B and the transcoded control stream 32C to the sink device 20.
  • the display processing unit 34 may display an image of the operation screen on the screen of the source device 10.
  • the content processing unit 32 includes a switch 321, decoders 322 and 325, and a display layout processing unit 323.
  • the switch 321 distributes the audio / video stream 32B (for example, audio and video data) in the original content data 32A to the decoder 325, and controls the control stream 32C (for example, IG plane and PG plane) in the original content data 32A.
  • the control stream 32C for example, IG plane and PG plane
  • the decoder 325 generates video and audio by decoding the distributed audio / video stream 32B. In addition, the decoder 322 decodes the distributed control stream 32C.
  • the display layout processing unit 323 determines an image or text layout (screen configuration) corresponding to the decoded data. The display layout processing unit 323 generates an operation screen image including buttons (objects) and text for user operation based on the determined layout.
  • the original content data 32A passes through the content processing unit 32.
  • the transmission unit 33 transmits the original content data 32A to the sink device 20.
  • the display processing unit 34 superimposes the video and the operation screen image, and displays the superimposed image (video) on the screen of the source device 10.
  • the content processing unit 32 outputs the decoded control stream 32C (or decoded interactive plane data) to the operation processing unit 36.
  • the content processing unit 32 also includes at least a part of the decoded control stream 32C and at least one of the audio / video stream 32B (main movie plane data) related to at least a part of the decoded control stream 32C. May be stored (accumulated) in the work memory 35.
  • the receiving unit 41 of the sink device 20 receives the content data transmitted by the source device 10 (transmitting unit 33).
  • the content processing unit 42 decodes the content data, and generates an image (video) displayed on the screen and sound output by a speaker or the like.
  • the processing by the content processing unit 42 is the same as the processing described with reference to FIG.
  • the display processing unit 43 displays the image (video) generated by the content processing unit 42 on the screen of the sink device 20. Further, the display processing unit 43 outputs the sound generated by the content processing unit 42 through a speaker of the sink device 20 or the like.
  • the content (image) displayed on the screen of the sink device 20 may include an object (interactive plane) for user operation such as a button as shown in FIG.
  • an object interactive plane
  • This user operation includes operations for controlling the playback of content (for example, playback, stop, pause, restart, fast forward, fast reverse, slow playback, etc.), and operations for changing the content display mode (for example, Full screen display), an operation for moving to a predetermined URL, an operation for changing the volume of content, and the like.
  • the user operation may be a user operation by voice using a microphone.
  • the source device 10 or the sink device 20 may detect a user operation by a command such as “play” or “stop” from the sound by analyzing the sound data input using the microphone, Further, a user operation such as movement of a position designated by a pointing device such as a mouse, click, or tap may be detected from voice.
  • the transmission unit 44 of the sink device 20 sends operation data corresponding to the user operation to the source device 10.
  • This operation data includes coordinate data indicating the position on the screen of the sink device 20 where the user operation is performed.
  • the operation data may include time data (time stamp) indicating a playback position of a video (content) when a user operation is performed.
  • the receiving unit 37 of the source device 10 receives operation data corresponding to the user operation from the sink device 20.
  • the operation processing unit 36 recognizes the user operation detected by the sink device 20 using the coordinate data included in the operation data and the decoded interactive plane data (decoded control stream 32C). For example, the operation processing unit 36 recognizes an object (for example, the button 202) operated by the user from objects on the interactive plane based on coordinates on the screen indicated by the coordinate data.
  • the operation processing unit 36 executes a process corresponding to the recognized user operation (that is, a process corresponding to the user operation on the recognized object). Then, the transmission unit 33 transmits content data corresponding to the processing result to the sink device 20.
  • the operation processing unit 36 may execute processing corresponding to the user operation using the coordinate data and time data included in the operation data and the decoded interactive plane data.
  • the operation processing unit 36 recognizes the object operated by the user from the objects on the interactive plane based on the reproduction position (reproduction time) indicated by the time data and the coordinates on the screen indicated by the coordinate data. Then, processing corresponding to the user operation on the object is executed.
  • the operation processing unit 36 and the transmission unit 33 Transmits content data starting from the playback position corresponding to the user operation to the sink device 20.
  • the operation processing unit 36 uses the decoded content data stored (accumulated) in the work memory 35 to perform the predetermined reproduction, for example.
  • the position on the content data corresponding to the position can be specified, and the content data to be transmitted to the sink device 20 can be acquired.
  • the transmission unit 33 displays content data for displaying the content in the display form designated by the user operation. Transmit to the sink device 20.
  • the transmission unit 33 transmits the content data of the predetermined URL to the sink device 20.
  • the transmission unit 33 transmits the content data whose volume has been changed to the sink device 20.
  • the display processing unit 34 changes the display content according to the processing result corresponding to the user operation. May be.
  • the receiving unit 41 of the sink device 20 receives content data based on the processing result of the user operation from the source device 10. Then, the content processing unit 42 and the display processing unit 43 display an image on the screen of the sink device 20 using the received content data. In addition, the content processing unit 42 and the display processing unit 43 may output sound from a speaker or the like using the received content data.
  • the transmission unit 44 of the sink device 20 does not transmit the operation data to the source device 10, and the operation processing unit 45 of the sink device 20 performs the user operation.
  • Corresponding processing may be executed.
  • the operation processing unit 45 causes the display processing unit 43 to display the content on the full screen.
  • the operation processing unit 45 accesses the predetermined URL and receives data of the corresponding content.
  • the operation processing unit 45 changes the volume of a speaker or the like provided in the sink device 20.
  • the operation processing unit 36 of the source device 10 executes processing corresponding to the user operation using the decoded interactive plane data (decoded control stream 32C). For example, the operation processing unit 36 recognizes an object operated by the user (for example, the button 172) from the object on the interactive plane based on the position (coordinates) on the screen where the user operation is detected. Executes processing corresponding to user operations on objects. Then, the transmission unit 33 transmits content data corresponding to the processing result to the sink device 20.
  • the display processing unit 34 may change the display according to the processing result corresponding to the user operation when at least a part of the content (for example, the operation screen) is displayed on the screen of the source device 10. Good.
  • the receiving unit 41 of the sink device 20 receives content data based on the processing result of the user operation from the source device 10. Then, the content processing unit 42 and the display processing unit 43 display an image on the screen of the sink device 20 using the received content data. In addition, the content processing unit 42 and the display processing unit 43 may output sound from a speaker or the like using the received content data.
  • the transmission unit 33 of the source device 10 may transmit operation data corresponding to the user operation to the sink device 20 when a user operation is detected in the source device 10.
  • the receiving unit 41 of the sink device 20 receives the operation data, and the operation processing unit 45 recognizes the user operation detected by the source device 10 using the received operation data and the decoded interactive plane data. Then, a process corresponding to the recognized user operation is executed.
  • the user uses, for example, the touch panel 17B provided on the source device 10 that is a tablet computer as a touch pad of the sink device 20. Can do.
  • the transmission by the hybrid transcoding method described above may be realized by hardware instead of software such as the content transmission program 103B.
  • FIG. 17 shows a first example of a procedure of content transmission processing executed by the source device 10.
  • the control unit 31 determines whether to transmit content data to the sink device 20 (block B101). For example, the control unit 31 determines to transmit the content data to the sink device 20 when an operation for displaying (outputting) the content on the sink device 20 is detected. When the content data is not transmitted (NO in block B101), the process returns to block B101, and it is determined again whether or not the content data is transmitted to the sink device 20.
  • the transmission unit 33 transmits content data (original content data) to the sink device 20 (block B102).
  • the content processing unit 32 decodes the data of the interactive plane in the content data (block B103).
  • the content processing unit 32 may temporarily store the decoded interactive plane data in the work memory 35.
  • the display processing unit 34 may display an image corresponding to the interactive plane on the screen of the display 17 using the decoded interactive plane data (block B104).
  • FIG. 18 shows a first example of the procedure of content display processing executed by the sink device 20.
  • the sink device 20 reproduces the content using the content data transmitted by the source device 10 in the process shown in FIG.
  • the receiving unit 41 receives content data (original content data) from the source device 10 (block B151).
  • the content processing unit 42 decodes the received content data (block B152).
  • the content processing unit 42 superimposes the images for each plane using the decoded data (block B153). For example, the content processing unit 42 multiplexes the main movie plane image, the presentation plane image, and the interactive plane image.
  • the display processing unit 43 displays the superimposed image on the screen (block B154).
  • FIG. 19 shows a second example of the procedure of content transmission processing executed by the source device 10.
  • the control unit 31 determines whether to transmit content data to the sink device 20 (block B201). When the content data is not transmitted (NO in block B201), the process returns to block B201, and it is determined again whether or not the content data is transmitted to the sink device 20.
  • the transmission unit 33 transmits data (original data) of the main movie plane in the content data to the sink device 20 (block B202).
  • the content processing unit 32 decodes the data of the interactive plane in the content data (block B203).
  • the content processing unit 32 may temporarily store the decoded interactive plane data in the work memory 35.
  • the transmission unit 33 transmits the decoded interactive plane data to the sink device 20 (block B204).
  • the presentation plane data may be handled in the same manner as either the main movie plane data or the interactive plane data.
  • the display processing unit 34 may display an image corresponding to the interactive plane on the screen of the display 17 using the decoded interactive plane data (block B205).
  • FIG. 20 shows a second example of the content display processing procedure executed by the sink device 20.
  • the sink device 20 reproduces content using the content data transmitted by the source device 10 in the processing shown in FIG.
  • the receiving unit 41 receives main movie plane data (original data) from the source device 10 (block B251), and receives decoded interactive plane data (block B252).
  • the content processing unit 42 decodes the received main movie plane data (block B253).
  • the content processing unit 42 superimposes the images for each plane using the decoded data (block B254).
  • the content processing unit 42 multiplexes, for example, a main movie plane image using decoded movie plane data and an interactive plane image using received interactive plane data.
  • the content processing unit 32 may superimpose the interactive plane image on the main movie plane image, or the interactive plane image may be an embedded image in Picture-in-Picture.
  • the presentation plane data may be handled in the same manner as either the main movie plane data or the interactive plane data.
  • the display processing unit 43 displays the superimposed image on the screen (block B255).
  • FIG. 21 shows a third example of the procedure of content transmission processing executed by the source device 10.
  • the control unit 31 determines whether or not to transmit content data to the sink device 20 (block B301). When the content data is not transmitted (NO in block B301), the process returns to block B301, and it is determined again whether the content data is transmitted to the sink device 20.
  • the transmission unit 33 transmits data (original data) of the main movie plane in the content data to the sink device 20 (block B302).
  • the content processing unit 32 decodes the data of the interactive plane in the content data (block B303).
  • the content processing unit 32 may temporarily store the decoded interactive plane data in the work memory 35.
  • the content processing unit 32 encodes (re-encodes) the decoded interactive plane data (block B304).
  • the content processing unit 32 encodes the decoded interactive plane data using, for example, a codec suitable for processing by the sink device 20.
  • the transmission unit 33 transmits the encoded interactive plane data to the sink device 20 (block B305).
  • the presentation plane data may be handled in the same manner as either the main movie plane data or the interactive plane data.
  • the display processing unit 34 may display an image corresponding to the interactive plane on the screen of the display 17 using the decoded interactive plane data (block B306).
  • FIG. 22 shows a third example of the procedure of content display processing executed by the sink device 20.
  • the sink device 20 reproduces content using the content data transmitted by the source device 10 in the process shown in FIG.
  • the receiving unit 41 receives main movie plane data (original data) from the source device 10 (block B351), and receives encoded (transcoded) interactive plane data (block B352).
  • the content processing unit 42 decodes the received main movie plane data (block B353), and decodes the received interactive plane data (block B354).
  • the content processing unit 42 superimposes the images for each plane using the decoded data (block B355).
  • the content processing unit 42 multiplexes, for example, a main movie plane image using decoded movie plane data and an interactive plane image using decoded interactive plane data.
  • the presentation plane data may be handled in the same manner as either the main movie plane data or the interactive plane data.
  • the display processing unit 43 displays the superimposed image on the screen (block B356).
  • FIG. 23 illustrates a fourth example of a content transmission process performed by the source device 10.
  • the control unit 31 determines whether to transmit content data to the sink device 20 (block B401). When the content data is not transmitted (NO in block B401), the process returns to block B401, and it is determined again whether or not the content data is transmitted to the sink device 20.
  • the transmission unit 33 transmits content data (original content data) to the sink device 20 (block B402).
  • the content processing unit 32 decodes the content data (block B403).
  • the content processing unit 32 may temporarily store the decoded content data in the work memory 35.
  • the content processing unit 32 superimposes the images for each plane using the decoded data (block B404). For example, the content processing unit 42 multiplexes the main movie plane image, the presentation plane image, and the interactive plane image. Then, the display processing unit 34 displays the superimposed image on the screen (block B405).
  • FIG. 24 shows a first example of a procedure of user operation processing executed by the source device 10 and the sink device 20.
  • the operation processing unit 45 of the sink device 20 determines whether or not a user operation on the content is detected (block B601). If no user operation has been detected (NO in block B601), the process returns to block B601 to determine again whether a user operation on the content has been detected. On the other hand, when a user operation is detected (YES in block B601), the transmission unit 44 transmits operation data (for example, coordinate data, time data) corresponding to the user operation to the source device 10 (block B602). .
  • operation data for example, coordinate data, time data
  • the receiving unit 37 of the source device 10 receives operation data corresponding to the user operation from the sink device 20 (block B603).
  • the operation processing unit 36 recognizes a user operation detected by the sink device 20 using the operation data and the decoded interactive plane data, and executes a process corresponding to the recognized user operation (block B604). ).
  • the transmission unit 33 transmits content data corresponding to the processing result to the sink device 20 (block B605).
  • the display processing unit 34 may change the display according to the processing result corresponding to the user operation when at least a part of the content is displayed on the screen of the source device 10.
  • the receiving unit 41 of the sink device 20 receives content data corresponding to the processing result of the user operation from the source device 10 (block B606). Then, the content processing unit 42 and the display processing unit 43 display an image on the screen using the received content data (block B607).
  • FIG. 25 shows a second example of the procedure of user operation processing executed by the source device 10 and the sink device 20.
  • the operation processing unit 36 of the source device 10 determines whether or not a user operation on the content is detected (block B701). When no user operation is detected (NO in block B701), the process returns to block B701, and it is determined again whether or not a user operation on the content is detected.
  • the operation processing unit 36 and the content processing unit 32 execute processing corresponding to the user operation using the decoded interactive plane data (block). B702).
  • the transmission unit 33 transmits content data corresponding to the processing result to the sink device 20 (block B703).
  • the display processing unit 34 may change the display according to the processing result corresponding to the user operation when at least a part of the content is displayed on the screen of the source device 10.
  • the receiving unit 41 of the sink device 20 receives content data corresponding to the processing result of the user operation from the source device 10 (block B704).
  • the content processing unit 42 and the display processing unit 43 display an image on the screen using the received content data (block B705).
  • FIG. 26 shows a third example of the procedure of user operation processing executed by the source device 10 and the sink device 20.
  • the operation processing unit 36 of the source device 10 determines whether or not a user operation on the content is detected (block B801). If no user operation is detected (NO in block B801), the process returns to block B801, and it is determined again whether or not a user operation on the content is detected. On the other hand, when a user operation is detected (YES in block B801), the transmission unit 33 transmits operation data (for example, coordinate data and time data) corresponding to the user operation to the sink device 20 (block B802). .
  • operation data for example, coordinate data and time data
  • the receiving unit 41 of the sink device 20 receives operation data corresponding to the user operation from the source device 10 (block B803).
  • the operation processing unit 45, the content processing unit 42, and the display processing unit 43 recognize and recognize the user operation detected by the source device 10 using the received operation data and the decoded interactive plane data.
  • the process corresponding to the user operation is executed (block B804).
  • the transmission unit 33 of the source device 10 is encoded content data, and includes first data for displaying video (main movie plane data) and second data for displaying an object operable by the user ( Content data including interactive plane data) is transmitted to the sink device 20.
  • the content processing unit 32 decodes the second data.
  • the operation processing unit 36 uses the second data decoded according to the user operation on the object to perform the user operation. The process corresponding to is executed.
  • the source device 10 decodes the second data (interactive plane data), so that the source device 10 can recognize a user operation on the object and realize an operation reflecting the user operation.
  • the various modules of the system described herein can be implemented as software applications, hardware and / or software modules, or components on one or more computers, such as a server. Although the various modules are shown separately, they can share some or all of the same underlying logic or code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　実施形態によれば、電子機器は、送信手段、デコード手段および操作処理手段を具備する。送信手段は、エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する。デコード手段は、前記第２データをデコードする。操作処理手段は、前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する。

Description

電子機器および通信制御方法
　本発明の実施形態は、コンテンツデータを伝送する電子機器、および該機器に適用される通信制御方法に関する。
　アクセスポイントを介することなく２つのデバイスを無線接続するＷｉ－Ｆｉ　Ｄｉｒｅｃｔが利用されている。このＷｉ－Ｆｉ　Ｄｉｒｅｃｔを用いた技術として、無線接続されたデバイス間で、コンテンツのシームレスな表示を提供する技術（Ｗｉ－Ｆｉ　Ｄｉｓｐｌａｙ）がある。これにより、ソースデバイス上のコンテンツの視聴が要求された場合に、そのコンテンツをシンク機器の画面に表示することができるので、ユーザーは、例えば、スマートフォンやタブレットコンピュータ（ソース機器）の画面のような小さな画面に表示される映像を、テレビジョン受信機（シンク機器）の画面のようなより大きな画面で視聴することができる。この方式では、ソース機器で画面表示するため、符号化されているオリジナルコンテンツを一旦デコードし、表示後、再エンコードした後、シンク機器に伝送している。
国際公開第２０１０／０７９７９０号パンフレット
　しかしながら、上記のように再エンコードすると、画質劣化の恐れがある。そこで、本出願の発明者は、コンテンツをデコードせずにそのままシンク機器に送り、シンク機器側で全体をデコードする方法を考えている。この技術の場合、デコードと再エンコードを行わないので、オリジナルのコンテンツ品質を維持できるという利点がある。
　ところで、コンテンツは、映像や音声だけでなく、メニューやボタンのような、ユーザーによって操作可能なオブジェクトを含むことがある。しかし、デコードせずシンクへ送る方式では、シンク機器の画面にオブジェクトが表示される場合に、そのオブジェクトに対するユーザー操作を適切に処理できない場合があるという課題があった。
　本発明は、機器間でコンテンツをシームレスに表示する場合に、コンテンツ内のオブジェクトに対する操作を適切に処理できる電子機器および通信制御方法を提供することを目的とする。
　実施形態によれば、電子機器は、送信手段、デコード手段および操作処理手段を具備する。送信手段は、エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する。デコード手段は、前記第２データをデコードする。操作処理手段は、前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する。
図１は、実施形態に係る電子機器の外観の例を示す斜視図である。 図２は、同実施形態の電子機器のシステム構成の例を示すブロック図である。 図３は、トランスコーディング方式によるコンテンツの伝送を説明するための図である。 図４は、ノントランスコーディング方式によるコンテンツの伝送を説明するための図である。 図５は、同実施形態の電子機器によって伝送されるコンテンツの構成の例を示す図である。 図６は、図３のトランスコーディング方式でコンテンツが伝送された場合に、ユーザー操作が処理される例を説明するための図である。 図７は、図４のノントランスコーディング方式でコンテンツが伝送された場合に、ユーザー操作が処理できない例を説明するための図である。 図８は、同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送される例を説明するための図である。 図９は、同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送される別の例を説明するための図である。 図１０は、同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送されるさらに別の例を説明するための図である。 図１１は、同実施形態の電子機器によって実行されるコンテンツ伝送プログラムの機能構成を示すブロック図である。 図１２は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の構成の第１の例を示すブロック図である。 図１３は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第２の例を示すブロック図である。 図１４は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第３の例を示すブロック図である。 図１５は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第４の例を示すブロック図である。 図１６は、図１１のコンテンツ伝送プログラムに設けられるコンテンツ処理部の構成の第５の例を示すブロック図である。 図１７は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第１の例を示すフローチャートである。 図１８は、同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第１の例を示すフローチャートである。 図１９は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第２の例を示すフローチャートである。 図２０は、同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第２の例を示すフローチャートである。 図２１は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第３の例を示すフローチャートである。 図２２は、同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第３の例を示すフローチャートである。 図２３は、同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第４の例を示すフローチャートである。 図２４は、同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第１の例を示すフローチャートである。 図２５は、同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第２の例を示すフローチャートである。 図２６は、同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第３の例を示すフローチャートである。
　以下、実施の形態について図面を参照して説明する。　
　図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。
　本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。
　図２は、タブレットコンピュータ１０のシステム構成を示す図である。　
　タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ－ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、サウンドコントローラ１０９、等を備える。
　ＣＰＵ１０１は、タブレットコンピュータ１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３Ａ、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、コンテンツ伝送プログラム１０３Ｂが含まれている。このコンテンツ伝送プログラム１０３Ｂは、本タブレットコンピュータ１０をソース機器として、コンテンツを外部電子機器（シンク機器）の画面にシームレスに表示するためのコンテンツデータ伝送表示機能等を有する。
　また、ＣＰＵ１０１は、ＢＩＯＳ－ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
　システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ　ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。
　グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。
　システムコントローラ１０２は、サウンドコントローラ１０９との通信を実行する機能も有している。サウンドコントローラ１０９は音源デバイスであり、再生対象のオーディオデータをスピーカー１３等に出力する。また、サウンドコントローラ１０９は、マイク１２によって検出された音声のデータをシステムコントローラ１０２に出力する。
　無線通信デバイス１０７は、例えば、ＩＥＥＥ　８０２．１１ｎおよびＷｉ－Ｆｉ　Ｄｉｒｅｃｔに基づく通信を実行するように構成されるデバイスである。この無線通信デバイス１０７は、アクセスポイントなしにデバイス間の無線接続を確立することができる。なお、無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されるデバイスであってもよく、また有線ＬＡＮのような有線通信を実行するように構成されるデバイスであってもよい。
　ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザーによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。
　上述したように、本タブレットコンピュータ１０は、接続された外部電子機器に、コンテンツをシームレスに表示する機能を有する。この機能は、例えば、アクセスポイントを介することなく２つのデバイスを無線接続するＷｉ－Ｆｉ　Ｄｉｒｅｃｔを用いて、無線接続されたデバイス間で、コンテンツのシームレスな表示を提供する技術（Ｗｉ－Ｆｉ　Ｄｉｓｐｌａｙ）を利用して実現される。この機能により、タブレットコンピュータ１０（以下、ソース機器とも称する）上のコンテンツの視聴が要求されるときに、そのコンテンツ（映像、画像、音声）を、外部電子機器（以下、シンク機器とも称する）のディスプレイやスピーカーに出力することができるので、ユーザーは、例えば、タブレットコンピュータ１０の画面のような小さな画面に表示される映像を、テレビジョン受信機の画面のようなより大きな画面で視聴することができる。
　この機器間のコンテンツの伝送には、例えば、トランスコーディング（transcoding）方式が用いられるが、オリジナルコンテンツのコーデックをシンク機器側がデコードできる場合には、ノントランスコーディング（non-transcoding）方式による伝送を利用する可能性もある。
　図３に示すように、トランスコーディング方式による伝送では、ソース機器１０は、コンテンツデータをシンク機器２０がデコード可能なコーデック（例えば、映像データではＨ．２６４）にトランスコードし、トランスコードされたコンテンツデータをシンク機器２０に送信する。すなわち、ソース機器１０のデコーダ１５がコンテンツデータをデコードし、エンコーダ１６がデコードされたコンテンツデータを再エンコードし、再エンコードされたコンテンツデータをシンク機器２０に送信する。なお、エンコーダ１６は、画面に表示されるコンテンツの画像をキャプチャーし、そのキャプチャーされた画像をエンコード（再エンコード）してもよい。また、ソース機器１０は、デコードされたコンテンツデータを用いて、ソース機器１０の画面にコンテンツ（映像）１７１を表示する。
　一方、シンク機器２０は、ソース機器１０から、例えばＭＰＥＧ－２　ＴＳコンテナで、トランスコードされたコンテンツデータを受信し、デコーダ２５でデコードし、シンク機器２０の画面にコンテンツ（映像）２０１を表示する。
　このように、トランスコーディング方式による伝送では、トランスコードされたコンテンツデータがシンク機器２０に送信されるので、オリジナルのコンテンツデータのコーデックに関わらず、コンテンツ２０１をシンク機器２０の画面に表示することができる。しかし、トランスコーディング方式による伝送では、トランスコード（再エンコード）によって画質が劣化する可能性がある。さらに、ソース機器１０からシンク機器２０へコンテンツを少ない遅延量で伝送するためには、ソース機器１０に設けられるエンコーダ１６は、コンテンツデータをリアルタイムでエンコードできるリアルタイムエンコーダである必要があり、その分の消費電力量が増大する。
　一方、図４に示すように、ノントランスコーディング方式による伝送では、ソース機器１０は、オリジナルのコンテンツデータをそのままシンク機器２０に送信する。シンク機器２０では、デコーダ２５でこのオリジナルのコンテンツデータをデコードし、シンク機器２０の画面にコンテンツ（映像）２０１を表示する。ソース機器１０ではコンテンツデータがトランスコードされていないので（すなわち、デコードおよびエンコードされていないので）、ソース機器１０の画面にコンテンツは表示されていない。
　このように、ノントランスコーディング方式による伝送では、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。また、ソース機器１０で、コンテンツデータをデコードおよびエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。しかし、ノントランスコーディング方式による伝送では、シンク機器２０が、オリジナルのコンテンツデータをデコードできること、すなわち、オリジナルのコンテンツデータのコーデックに対応していることが必要である。
　また、コンテンツデータは、映像や音声のデータだけでなく、メニューやボタンのような、ユーザーによって操作可能なオブジェクト（すなわち、インタラクティブなオブジェクト）のデータを含むことがある。
　図５は、複数の画像プレーン（レイヤ）６１，６２，６３を有するコンテンツの例を示す。メインムービープレーン６１はコンテンツ内の映像および音声に対応する。メインムービープレーン６１に対応するデータは、コンテンツ内で最大のデータサイズを有し、例えば、画像サイズ（画角）が大きくなるほど、エンコードに要するリソースが増大する。このメインムービープレーン６１に対応するデータは、オーディオ／ビデオストリームとも称する。
　プレゼンテーションプレーン６２は字幕のような情報に対応する。プレゼンテーションプレーン６２に対応するデータのデータサイズは、通常、ごく小さいものである。また、インタラクティブプレーン６３は、ユーザー操作の対象となるオブジェクトに対応し、例えばボタンとして画面に配置される。なお、プレゼンテーションプレーン６２、インタラクティブプレーン６３等の、メインムービープレーン６１以外に対応するデータは、制御ストリームとも称する。
　これら複数の画像プレーン６１，６２，６３は、重ね合わせられ、１つの画像６５として画面に表示される。このような複数の画像プレーン６１，６２，６３によって、例えば、映像、字幕、ボタン等をそれぞれ独立して制御できるので、コンテンツに互換性を持たせ、コンテンツの利用のための実装を容易にすることができる。
　図６および図７を参照して、コンテンツがボタンのような操作対象のオブジェクト（インタラクティブプレーン）を含む場合の、トランスコーディング方式による伝送とノントランスコーディング方式による伝送とを説明する。このコンテンツは、例えば、いわゆる４Ｋと称される、ハイビジョンの４倍の画素数を有する高画質な映像のＡＶコンテンツである。
　図６に示す例では、図３を参照して上述したように、トランスコーディング方式による伝送において、ソース機器１０のデコーダ１５およびエンコーダ１６によってトランスコードされたコンテンツデータが、シンク機器２０に送信されている。そして、ソース機器１０の画面には、コンテンツに含まれる映像（メインムービープレーン）１７１とボタン（インタラクティブプレーン）１７２とが表示されている。なお、カーソル１７３は、ポインティングデバイス等を用いて指示されるユーザー操作の位置を示す矢印の画像である。
　シンク機器２０では、ソース機器１０から受信したコンテンツデータ（すなわち、トランスコードされたコンテンツデータ）がデコーダ２５によってデコードされ、シンク機器２０の画面に、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン（インタラクティブプレーン）２０２とが表示されている。なお、シンク機器２０の画面には、ソース機器１０から送信されたカーソル１７３に関するデータに基づいて、ソース機器１０の画面上のカーソル１７３に対応するカーソル２０３を表示することもできる。
　そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン２０２を押す操作が行われた場合）には、シンク機器２０は、ユーザインプットバックチャネル（user input back channel：ＵＩＢＣ）機能を利用して、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。ＵＩＢＣは、ユーザーによる入力に関するデータを送受信するために、機器間で確立される通信チャネルである。
　ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。つまり、ソース機器１０の画面とシンク機器２０の画面とに、ユーザー操作に基づく同一のコンテンツ（画像）を表示することができる。
　また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン１７２を押す操作が行われた場合）にも、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を、少ない遅延量で実行することができる。そのため、ユーザーは、ソース機器１０からシンク機器２０に伝送され、表示されているコンテンツに対して、直感的な操作を行うことができる。
　しかしながら、上述したように、トランスコーディング方式による伝送は、トランスコードによって画質が劣化する可能性がある、リアルタイムエンコーダが必要であり、またその分の消費電力量が増大すると云った欠点を有する。
　図７に示す例では、図４を参照して上述したように、ノントランスコーディング方式による伝送において、オリジナルのコンテンツデータがソース機器１０からシンク機器２０に送信されている。シンク機器２０では、受信したオリジナルのコンテンツデータがデコーダ２５によってデコードされ、シンク機器２０の画面に、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン（インタラクティブプレーン）２０２とが表示されている。なお、カーソル２０３は、ユーザー操作の位置を示す矢印の画像である。
　シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、そのユーザー操作に対応する座標情報２６をソース機器１０に送信する。ソース機器１０は、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。しかし、ソース機器１０は、コンテンツデータをデコードしていないので、座標情報２６に対応するユーザー操作を認識することができず、ユーザー操作に応じた処理を実行することができない。
　コンテンツに対するユーザー操作は、例えば、複数のボタンを含む操作パネルを用いて行われる。このような操作パネルを用いたユーザー操作には、コンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）のように各種のコンテンツに共通の操作だけでなく、指定のＵＲＬへ移動する操作やコンテンツの特定の位置に遷移させるチャプタ移動操作のように、コンテンツに依存した操作も含まれていることがある。そのため、種々のユーザー操作に対応する全てのコマンドを事前に用意し、そのコマンドを用いて、シンク機器２０からソース機器１０に、ユーザー操作に対応する処理の実行を要求することは困難である。そのため、ソース機器１０でコンテンツデータ（インタラクティブプレーンのデータ）をデコードすることなく、ユーザー操作を適切に処理することは困難であり、ノントランスコーディング方式による伝送ではユーザー操作に制限が生じることになる。
　また、例えば、コンテンツがノントランスコーディング方式で伝送され、ユーザーが、トランスコーディング方式とノントランスコーディング方式のいずれでコンテンツが伝送されているかを知らない場合には、ユーザーがシンク機器２０の画面上の操作パネルのボタンを操作しても、その操作に応じた動作が行われず、ユーザーによる操作に混乱を招くおそれがある。
　しかしながら、上述したように、ノントランスコーディング方式による伝送は、シンク機器２０の画面にオリジナルの画質で映像を表示できる、ソース機器１０の消費電力量を小さくできる、また高性能なリアルタイムエンコーダが不要であると云った利点を有するものである。
　そのため本実施形態では、ノントランスコーディング方式の利点を有し、且つシンク機器２０でのユーザー操作に制限が生じないハイブリッドトランスコーディング（Hybrid-transcoding）方式で、コンテンツをシームレスに表示する機能を提供する。
　図８から図１０を参照して、ハイブリッドトランスコーディング方式でコンテンツが伝送される例を説明する。　
　図８に示す例では、ソース機器１０は、コンテンツの操作画面部分（インタラクティブプレーン）に対応するデータをデコーダ１５でデコードし、デコードされたデータをエンコーダ１６でエンコード（再エンコード）する。つまり、ソース機器１０は、コンテンツの操作画面部分に対応するデータをトランスコードする。そして、ソース機器１０は、コンテンツのオーディオ／ビデオ部分（メインムービープレーン）に対応するオリジナルのデータと、トランスコードされた操作画面部分に対応するデータとをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。
　シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、コンテンツのオーディオ／ビデオ部分に対応するオリジナルのデータと、トランスコードされた操作画面部分に対応するデータとをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。
　そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン２０２を押す操作が行われた場合）には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。
　ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　より具体的な例として、シンク機器２０の画面上のボタン２０２に対してユーザー操作（例えば、ボタン２０２を押す操作）が行われた場合を想定する。　
　まず、シンク機器２０は、ユーザー操作で指示（選択）された位置に対応する座標、すなわち、ボタン２０２内の座標を検出し、検出された座標を含む座標情報２６をソース機器１０に送信する。
　ソース機器１０は、シンク機器２０から座標情報２６を受信し、デコードされたインタラクティブプレーンに対応するデータを用いて、受信した座標情報２６に示される座標が、インタラクティブプレーン上のボタンの座標に対応することを検出する。つまり、ソース機器１０は、シンク機器２０の画面上のボタン２０２に対するユーザー操作を、デコードされたインタラクティブプレーンのデータに基づくインタラクティブプレーン上のボタンに対するユーザー操作として認識する。そして、ソース機器１０は、そのボタンに対するユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　ここで操作処理１８の例としては、コンテンツの再生制御（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）や、指定のＵＲＬへ移動する処理、チャプタ遷移処理等が挙げられる。いくつか例を挙げると、例えばボタン２０２が、一時停止のボタンである場合、ソース機器１０は、メインムービープレーンに関し、シンク機器２０へのコンテンツ送出を停止するか、あるいは一時停止したコンテンツ位置のピクチャの送信を継続する。インタラクティブプレーンに関しては、ソース機器１０は、一時停止したコンテンツ位置（時間位置・再生位置）に対応するインタラクティブプレーンのデコード及びエンコードを継続して、そのエンコードデータをシンク機器２０に送信する。
　また、シンク機器２０は、ソース機器１０は、早送りや早戻しでは、メインムービープレーンに含まれる複数ピクチャのうち所定のピクチャのみ伝送し、スロー再生においては、メインムービープレーンの伝送タイミングを遅延させる。
　また、ボタン２０２がチャプタ遷移のボタンである場合、ソース機器１０は、操作処理１８を実行して、該チャプタに対応するコンテンツ位置からメインムービープレーンを読み出し、それをシンク機器２０に送信する。また、このとき、オリジナルコンテンツにおいて、インタラクティブプレーンとメインムービープレーンとが同期されている場合、ソース機器１０は、インタラクティブプレーンに関しても、該チャプタに対応する時間位置（再生位置）からデコード１５を実行する。
　また、ボタン２０２が指定のＵＲＬへ移動するためのボタンである場合、ソース機器１０は、当該ＵＲＬのウェブページにアクセスして該ページを表示する。なお、ウェブページを表示する際にソース機器１０は、ハイブリッドトランスコーディング（Hybrid-transcoding）方式からトランスコーディング方式に切替えて、表示画面に表示する映像をエンコードして当該エンコードデータを伝送しても良い。
　また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、メインムービープレーンのオリジナルのデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、メインムービープレーンのデータをデコードおよびエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。
　また、図９に示す例では、ソース機器１０は、コンテンツデータをデコーダ１５でデコードする。ソース機器１０は、デコードされたデータを用いて、コンテンツに含まれる映像（メインムービープレーン）１７１とボタン１７２を含む操作画面（インタラクティブプレーン）とを画面に表示する。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。
　シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、オリジナルのコンテンツデータをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。
　そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。
　ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、デコードされたコンテンツデータをエンコード（再エンコード）しないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。
　なお図９に示す例においては、コンテンツに含まれる映像（メインムービープレーン）１７１を表示画面に全画面表示している。しかし、例えばユーザーの操作に応じて、コンテンツの映像を画面の一部のみに表示する場合（ウィンドウ表示等）、ソース機器１０はハイブリッドトランスコーディング（Hybrid-transcoding）方式からトランスコーディング方式に切替え、表示画面に表示する映像全体をエンコードして、エンコードした映像を送信しても良い。反対に、トランスコーディング方式での送信中に、コンテンツ映像が全画面表示に切り替わると、ハイブリッドトランスコーディング方式に切替えても良い。
　さらに、図１０に示す例では、ソース機器１０は、コンテンツの操作画面部分（インタラクティブプレーン）に対応するデータをデコーダ１５でデコードする。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。
　シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、オリジナルのコンテンツデータをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。
　そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。
　ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。
　このように、ソース機器１０がインタラクティブプレーンのデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、メインムービープレーンのデータをデコードおよびエンコードせず、インタラクティブプレーンのデータをエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。
　次いで、図１１を参照して、ソース機器１０によって実行されるコンテンツ伝送プログラム１０３Ｂの機能構成の例を説明する。ソース機器１０は、ハイブリッドトランスコーディング方式でコンテンツデータを伝送する機能を有する。オリジナルのコンテンツデータは、任意のコーデックでエンコードされたコンテンツデータであって、映像を表示するための第１データ（メインムービープレーンのデータ）と、ユーザーによって操作可能なオブジェクトを表示するための第２データ（インタラクティブプレーンのデータ）とを含むコンテンツデータである。
　ソース機器１０は、例えば、制御部３１、コンテンツ処理部３２、送信部３３、表示処理部３４、操作処理部３６、および受信部３７を備える。また、コンテンツを受信するシンク機器２０は、例えば、受信部４１、コンテンツ処理部４２、表示処理部４３、送信部４４、および操作処理部４５を備える。
　ソース機器１０の制御部３１は、コンテンツ伝送プログラム１０３Ｂ内の各部の動作を制御する。制御部３１は、コンテンツ処理部３２によるコンテンツデータに対する処理（デコード、エンコード、等）を制御する。制御部３１は、例えば、コンテンツ処理部３２の機能を有効または無効にする制御信号をコンテンツ処理部３２に出力する。コンテンツ処理部３２は、制御部３１によって出力される制御信号に応じて、コンテンツをソース機器１０で表示（出力）するための処理と、コンテンツをシンク機器２０に伝送するための処理とを実行し得る。
　ハイブリッドトランスコーディング方式でコンテンツをシンク機器２０に伝送する場合、コンテンツ処理部３２と送信部３３とは、少なくとも一部がトランスコードされていないコンテンツデータ（例えば、メインムービープレーンがトランスコードされていないコンテンツデータ）を、シンク機器２０に送信する。送信部３３は、例えば、ソース機器１０とシンク機器２０との間で確立された無線接続（例えば、Ｗｉ－Ｆｉ　Ｄｉｒｅｃｔに基づく無線接続）を介して、そのコンテンツデータをシンク機器２０に送信する。なお、送信部３３は、コンテンツデータを送信する前に、当該コンテンツデータを、トランスコーディング方式とノントランスコーディング方式とハイブリッドトランスコーディング方式のいずれの伝送方式で送信するかを、シンク機器２０に通知することができる。これにより、シンク機器２０は、通知された伝送方式に応じて、ソース機器１０から伝送されたコンテンツデータを処理することができる。また、シンク機器２０は、通知された伝送方式に応じて、その伝送方式を示す情報を画面に表示し、現在のコンテンツの伝送方式をユーザーに知らせることもできる。
　また、コンテンツ処理部３２は、コンテンツデータの少なくとも一部（例えば、インタラクティブプレーンのデータ）をデコードする。そして、操作処理部３６は、ソース機器１０またはシンク機器２０でのユーザー操作に応じて、コンテンツ処理部３２でデコードされたコンテンツデータの少なくとも一部を用いて、当該ユーザー操作に対応する処理を実行する。
　次いで、図１５を参照して、コンテンツをソース機器１０で表示（出力）するための、コンテンツ処理部３２の機能構成の例を説明する。このコンテンツ処理部３２は、コンテンツデータをデコードし、ＬＣＤ１７Ａの画面に表示される映像とスピーカー１３等に出力される音声とを生成するように構成されている。
　まず、スイッチ５０２は、コンテンツデータ５２１をレイヤー（プレーン）に応じたデコーダ５１１～５１５に振り分ける。オーディオデコーダ５１１は、振り分けられたオーディオストリーム（オーディオデータ）５２２をデコードする。これにより、スピーカー等で出力される音声が生成される。
　ビデオデコーダ５１２は、振り分けられたビデオストリーム（ビデオデータ）５２３をデコードすることによって、ビデオプレーンを生成する。プレゼンテーショングラフィクス（ＰＧ）デコーダ５１３は、振り分けられたＰＧストリーム（ＰＧデータ）５２４をデコードすることによって、プレゼンテーションプレーンを生成する。インタラクティブグラフィクス（ＩＧ）デコーダ５１４は、振り分けられたＩＧストリーム（ＩＧデータ）５２５をデコードすることによって、ＩＧプレーンを生成する。テキストデコーダ５１５は、振り分けられたテキストストリーム（テキストデータ）５２６をデコードすることによって、テキストを生成する。そして、マルチプレクサ５１６は、ビデオプレーンとＩＧプレーンとＰＧプレーンとテキストとを重ね合わせる（多重化する）。これにより、画面に表示される画像が生成される。
　表示処理部３４は、コンテンツ処理部３２によって生成された画像をソース機器１０（ＬＣＤ１７Ａ）の画面に表示する。また、コンテンツ処理部３２によって生成された音声は、スピーカー１３等で出力される。
　なお、上述したコンテンツ処理部３２内の各部の動作は、制御部３１による有効／無効制御信号に応じて、有効または無効に設定することができる。例えば、ハイブリッドトランスコーディング方式でコンテンツデータが伝送される場合に、ソース機器（タブレットコンピュータ）１０の画面に映像が表示されないとき、制御部３１は、Ｖデコーダ５１４とＡデコーダ５１５とを無効にし、ＩＧデコーダ５１１とテキストデコーダ５１２とＰＧデコーダ５１６とを有効にする制御信号をコンテンツ処理部３２に出力する。これにより、インタラクティブプレーンのデータ（ＩＧプレーン５２１およびＰＧプレーン５２２のデータ）がデコードされ、メインムービープレーンのデータ（Ｖプレーン５２３および音声のデータ）がデコードされない。つまり、Ｖデコーダ５１４およびＡデコーダ５１５に、オリジナルのメインムービープレーンのデータを通過（スルー）させ、且つＩＧデコーダ５１１とテキストデコーダ５１２とＰＧデコーダ５１３とに、ユーザー操作を処理するために必要なインタラクティブプレーンのデータをデコードさせる。
　図１３から図１６は、ハイブリッドトランスコーディング方式でコンテンツデータを伝送するための、コンテンツ処理部３２の機能構成の例を示す。なお、図１３から図１６に示す例では、説明を簡単にするために、図１２に示したコンテンツ処理部３２の構成を省略し、動作が有効にされる構成により示している。
　図１３に示す例では、コンテンツ処理部３２は、エンコードされたコンテンツデータであって、映像を表示するためのオーディオ／ビデオストリーム（第１データ）とユーザーによって操作可能なオブジェクトを表示するための制御ストリーム（第２データ）３２Ｃとを含むコンテンツデータをスルーし（すなわち、何等処理を施すことなく通過させ）、送信部４４は、このコンテンツデータをシンク機器（外部電子機器）２０に送信する。また、コンテンツ処理部３２は、コンテンツデータの内の制御ストリーム（第２データ）３２Ｃをデコードする。操作処理部３６は、コンテンツデータを用いて映像とオブジェクトとがシンク機器２０の画面に表示されているときに、オブジェクトに対するユーザー操作に応じて、デコードされた制御ストリーム（第２データ）３２Ｃを用いて、当該ユーザー操作に対応する処理を実行する。
　より具体的には、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、および表示レイアウト処理部３２３を備える。　
　スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。そして、表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成してもよい。また、オリジナルのコンテンツデータ３２Ａはコンテンツ処理部３２内を通過する。このオリジナルのコンテンツデータ３２Ａは、送信部３３によってシンク機器２０に送信される。
　なお、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。また、送信部３３は、ソース機器１０の画面に表示されているオブジェクト（操作画面）に対するユーザー操作に応じて、このユーザー操作を示す操作データをシンク機器２０に送信してもよい。
　図１４に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、および表示レイアウト処理部３２３を備える。　
　スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂ（例えば、オーディオ、ビデオデータ）を、そのまま出力する。また、スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。そして、表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成してもよい。
　送信部３３は、オリジナルのオーディオ／ビデオストリーム３２Ｂと、デコードされた制御ストリーム３２Ｃ（制御ストリーム３２Ｃから得られた画像（レイヤ））とをシンク機器２０に送信する。オリジナルのオーディオ／ビデオストリーム３２Ｂと、デコードされた制御ストリーム３２Ｃとは、これら２つのストリーム（データ）を同期させるための同期データ（例えば、タイムスタンプ）を含んでいてもよい。この同期データにより、映像および音声（メインムービープレーン）と、操作画面（インタラクティブプレーン）とを連動させることができる。なお、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。
　シンク機器２０は、デコードされた制御ストリーム３２Ｃを受信し、このデコードされた制御ストリーム３２Ｃを用いて操作画面を表示できるので、操作に関わる処理（インタラクティブプレーンに対する処理）をソース機器１０だけで行い、複数の機器で操作に関わる処理が行われることによる混乱を回避することができる。
　図１５に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、表示レイアウト処理部３２３、およびエンコーダ３２４を備える。　
　スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂ（例えば、オーディオ、ビデオデータ）を、そのまま出力する。また、スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。
　デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成してもよい。次いで、エンコーダ３２４は、デコードされた制御ストリーム３２Ｃをエンコード（再エンコード）する。エンコーダ３２４は、デコードされた制御ストリーム３２Ｃを、例えばシンク機器２０による処理に適したコーデックでエンコードする。したがって、デコーダ３２２およびエンコーダ３２４によって、制御ストリーム３２Ｃがシンク機器２０による処理に適したコーデックにトランスコードされる。
　送信部３３は、オリジナルのオーディオ／ビデオストリーム３２Ｂと、トランスコードされた制御ストリーム３２Ｃとをシンク機器２０に送信する。また、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。
　図１６に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２，３２５、および表示レイアウト処理部３２３を備える。　
　スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂ（例えば、オーディオ、ビデオデータ）をデコーダ３２５に振り分け、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃ（例えば、ＩＧプレーンおよびＰＧプレーンのデータ）をデコーダ３２２に振り分ける。
　デコーダ３２５は、振り分けられたオーディオ／ビデオストリーム３２Ｂをデコードすることによって、映像と音声とを生成する。また、デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（オブジェクト）やテキストを含む操作画面の画像を生成する。
　また、オリジナルのコンテンツデータ３２Ａはコンテンツ処理部３２内を通過する。送信部３３は、このオリジナルのコンテンツデータ３２Ａをシンク機器２０に送信する。また、表示処理部３４は、映像と操作画面の画像とを重ね合わせ、その重ね合わせられた画像（映像）をソース機器１０の画面に表示する。
　コンテンツ処理部３２は、デコードされた制御ストリーム３２Ｃ（または、デコードされたインタラクティブプレーンのデータ）を操作処理部３６に出力する。また、コンテンツ処理部３２は、デコードされた制御ストリーム３２Ｃの少なくとも一部と、当該デコードされた制御ストリーム３２Ｃの少なくとも一部に関連する、オーディオ／ビデオストリーム３２Ｂ（メインムービープレーンのデータ）の少なくとも一部とを作業メモリ３５に保存（蓄積）してもよい。
　シンク機器２０の受信部４１は、ソース機器１０（送信部３３）によって送信されたコンテンツデータを受信する。コンテンツ処理部４２は、そのコンテンツデータをデコードし、画面に表示される画像（映像）と、スピーカー等によって出力される音声とを生成する。コンテンツ処理部４２による処理は、例えば、図１２を参照して説明した処理と同様である。
　表示処理部４３は、コンテンツ処理部４２によって生成された画像（映像）を、シンク機器２０の画面に表示する。また、表示処理部４３は、コンテンツ処理部４２によって生成された音声を、シンク機器２０のスピーカー等で出力する。
　シンク機器２０の画面に表示されるコンテンツ（画像）には、図５で示したように、ボタンのような、ユーザー操作のためのオブジェクト（インタラクティブプレーン）が含まれることがある。ソース機器１０とシンク機器２０とでは、ユーザーが、リモートコントローラや各種のポインティングデバイスを用いて、そのオブジェクトに対する操作を行うことができる。このユーザー操作は、コンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）、コンテンツの表示形態を変更するための操作（例えば、全画面表示）、所定のＵＲＬへ移動するための操作、コンテンツの音量を変更するための操作、等を含む。
　また、ユーザー操作は、マイクを用いた音声によるユーザー操作であってもよい。ソース機器１０またはシンク機器２０は、マイクを用いて入力された音声データを解析することによって、例えば、音声から「再生」、「停止」のようなコマンドによるユーザー操作を検出してもよいし、また音声からマウスのようなポインティングデバイスで指示される位置の移動、クリック、タップのようなユーザー操作を検出してもよい。
　以下では、シンク機器２０でユーザー操作が行われた場合の処理と、ソース機器１０でユーザー操作が行われた場合の処理とを説明する。
　まず、シンク機器２０でユーザー操作が行われた場合について説明する。　
　シンク機器２０の送信部４４は、シンク機器２０の画面に表示されたオブジェクトに対するユーザー操作（第２ユーザー操作）が検出されたことに応じて、そのユーザー操作に対応する操作データをソース機器１０に送信する。この操作データは、ユーザー操作が行われた、シンク機器２０の画面上の位置を示す座標データを含む。また、操作データは、ユーザー操作が行われたときの映像（コンテンツ）の再生位置を示す時刻データ（タイムスタンプ）を含んでいてもよい。
　ソース機器１０の受信部３７は、シンク機器２０から、ユーザー操作に対応する操作データを受信する。操作処理部３６は、操作データに含まれる座標データと、デコードされたインタラクティブプレーンのデータ（デコードされた制御ストリーム３２Ｃ）とを用いて、シンク機器２０で検出されたユーザー操作を認識する。操作処理部３６は、例えば、座標データで示される画面上の座標に基づいて、インタラクティブプレーン上のオブジェクトから、ユーザーが操作したオブジェクト（例えば、ボタン２０２）を認識する。操作処理部３６は、認識されたユーザー操作に対応する処理（すなわち、認識されたオブジェクトに対するユーザー操作に対応する処理）を実行する。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する。
　操作処理部３６は、操作データに含まれる座標データおよび時刻データと、デコードされたインタラクティブプレーンのデータとを用いて、ユーザー操作に対応する処理を実行してもよい。その場合、操作処理部３６は、時刻データで示される再生位置（再生時刻）と、座標データで示される画面上の座標とに基づいて、インタラクティブプレーン上のオブジェクトから、ユーザーが操作したオブジェクトを認識し、そのオブジェクトに対するユーザー操作に対応する処理を実行する。
　また、例えば、ユーザー操作がコンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）である場合、操作処理部３６および送信部３３は、そのユーザー操作に対応する再生位置から開始されるコンテンツデータをシンク機器２０に送信する。操作処理部３６は、ユーザー操作が所定の再生位置に戻す操作である場合には、例えば、作業メモリ３５に保存（蓄積）されている、デコードされたコンテンツデータを利用して、その所定の再生位置に対応するコンテンツデータ上の位置を特定し、シンク機器２０に送信すべきコンテンツデータを取得することができる。
　また、ユーザー操作がコンテンツの表示形態を変更するための操作（例えば、全画面表示）である場合、送信部３３は、そのユーザー操作で指定された表示形態でコンテンツを表示するためのコンテンツデータをシンク機器２０に送信する。ユーザー操作が所定のＵＲＬへ移動するための操作である場合、送信部３３は、その所定のＵＲＬのコンテンツのデータをシンク機器２０に送信する。また、ユーザー操作がコンテンツの音量を変更するための操作である場合、送信部３３は、音量が変更されたコンテンツデータをシンク機器２０に送信する。
　なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部（例えば、操作画面）が表示されている場合には、ユーザー操作に対応する処理結果に応じてその表示内容を変更してもよい。
　シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に基づくコンテンツデータを受信する。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて画像をシンク機器２０の画面に表示する。また、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて音声をスピーカー等から出力してもよい。
　なお、シンク機器２０の送信部４４は、ユーザー操作がシンク機器２０で処理可能である場合には、操作データをソース機器１０に送信せず、シンク機器２０の操作処理部４５でそのユーザー操作に対応する処理を実行してもよい。例えば、ユーザー操作がコンテンツを全画面表示する操作である場合、操作処理部４５は、表示処理部４３にコンテンツを全画面表示させる。ユーザー操作が所定のＵＲＬへ移動するための操作である場合、操作処理部４５は、その所定のＵＲＬにアクセスし、対応するコンテンツのデータを受信する。また、ユーザー操作がコンテンツの音量を変更するための操作である場合、操作処理部４５は、シンク機器２０に設けられたスピーカー等のボリュームを変更する。
　次いで、ソース機器１０でユーザー操作が行われた場合について説明する。　
　まず、ソース機器１０の操作処理部３６は、ユーザー操作が検出された場合、デコードされたインタラクティブプレーンのデータ（デコードされた制御ストリーム３２Ｃ）を用いて、そのユーザー操作に対応する処理を実行する。操作処理部３６は、例えば、ユーザー操作が検出された画面上の位置（座標）に基づいて、インタラクティブプレーン上のオブジェクトから、ユーザーが操作したオブジェクト（例えば、ボタン１７２）を認識し、認識されたオブジェクトに対するユーザー操作に対応する処理を実行する。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部（例えば、操作画面）が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。
　シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に基づくコンテンツデータを受信する。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて画像をシンク機器２０の画面に表示する。また、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて音声をスピーカー等から出力してもよい。
　なお、ソース機器１０の送信部３３は、ソース機器１０でユーザー操作が検出された場合、そのユーザー操作に対応する操作データをシンク機器２０に送信してもよい。シンク機器２０の受信部４１は操作データを受信し、操作処理部４５は、受信された操作データと、デコードされたインタラクティブプレーンのデータとを用いて、ソース機器１０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する。
　このようにして、ソース機器１０で検出されたユーザー操作を処理することにより、ユーザーは、例えば、タブレットコンピュータであるソース機器１０に設けられたタッチパネル１７Ｂを、シンク機器２０のタッチパッドとして使用することができる。
　なお、上述したハイブリッドトランスコーディング方式による伝送は、コンテンツ伝送プログラム１０３Ｂのようなソフトウェアではなく、ハードウェアによって実現されてもよい。
　次いで、図１７から図２３のフローチャートを参照して、ソース機器１０によってコンテンツが伝送され、シンク機器２０によってそのコンテンツが表示される場合の処理について説明する。以下では、説明を簡単にするために、ソース機器１０とシンク機器２０との接続（無線接続）が確立され、ペアリングのためのセッションが実行されることにより、機器間のリンクが確立されている場合を想定する。
　図１７は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第１の例を示す。　
　まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ１０１）。制御部３１は、例えば、コンテンツをシンク機器２０で表示（出力）するための操作が検出された場合に、コンテンツデータをシンク機器２０に送信すると判定する。コンテンツデータを送信しない場合（ブロックＢ１０１のＮＯ）、ブロックＢ１０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
　コンテンツデータを送信する場合（ブロックＢ１０１のＹＥＳ）、送信部３３は、コンテンツデータ（オリジナルのコンテンツデータ）をシンク機器２０に送信する（ブロックＢ１０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のインタラクティブプレーンのデータをデコードする（ブロックＢ１０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。また、表示処理部３４は、デコードされたインタラクティブプレーンのデータを用いて、インタラクティブプレーンに対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ１０４）。
　図１８は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第１の例を示す。このコンテンツ表示処理では、シンク機器２０は、図１７に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。
　まず、受信部４１は、ソース機器１０からコンテンツデータ（オリジナルコンテンツデータ）を受信する（ブロックＢ１５１）。コンテンツ処理部４２は、受信されたコンテンツデータをデコードする（ブロックＢ１５２）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ１５３）。コンテンツ処理部４２は、例えば、メインムービープレーンの画像と、プレゼンテーションプレーンの画像と、インタラクティブプレーンの画像とを多重化する。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ１５４）。
　図１９は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第２の例を示す。　
　まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ２０１）。コンテンツデータを送信しない場合（ブロックＢ２０１のＮＯ）、ブロックＢ２０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
　コンテンツデータを送信する場合（ブロックＢ２０１のＹＥＳ）、送信部３３は、コンテンツデータ内のメインムービープレーンのデータ（オリジナルデータ）をシンク機器２０に送信する（ブロックＢ２０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のインタラクティブプレーンのデータをデコードする（ブロックＢ２０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。送信部３３は、デコードされたインタラクティブプレーンのデータをシンク機器２０に送信する（ブロックＢ２０４）。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。
　また、表示処理部３４は、デコードされたインタラクティブプレーンのデータを用いて、インタラクティブプレーンに対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ２０５）。
　図２０は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第２の例を示す。このコンテンツ表示処理では、シンク機器２０は、図１９に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。
　まず、受信部４１は、ソース機器１０から、メインムービープレーンのデータ（オリジナルデータ）を受信し（ブロックＢ２５１）、デコードされたインタラクティブプレーンのデータを受信する（ブロックＢ２５２）。コンテンツ処理部４２は、受信されたメインムービープレーンのデータをデコードする（ブロックＢ２５３）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ２５４）。コンテンツ処理部４２は、例えば、デコードされたムービープレーンのデータを用いたメインムービープレーンの画像と、受信されたインタラクティブプレーンのデータを用いたインタラクティブプレーンの画像とを多重化する。コンテンツ処理部３２は、メインムービープレーンの画像に対して、インタラクティブプレーンの画像を重畳してもよいし、インタラクティブプレーンの画像をPicture-in-Pictureではめ込み画像としてもよい。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ２５５）。
　図２１は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第３の例を示す。　
　まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ３０１）。コンテンツデータを送信しない場合（ブロックＢ３０１のＮＯ）、ブロックＢ３０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
　コンテンツデータを送信する場合（ブロックＢ３０１のＹＥＳ）、送信部３３は、コンテンツデータ内のメインムービープレーンのデータ（オリジナルデータ）をシンク機器２０に送信する（ブロックＢ３０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のインタラクティブプレーンのデータをデコードする（ブロックＢ３０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。そして、コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータをエンコード（再エンコード）する（ブロックＢ３０４）。コンテンツ処理部３２は、例えば、シンク機器２０による処理に適したコーデックで、デコードされたインタラクティブプレーンのデータをエンコードする。送信部３３は、エンコード（トランスコード）されたインタラクティブプレーンのデータをシンク機器２０に送信する（ブロックＢ３０５）。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。
　また、表示処理部３４は、デコードされたインタラクティブプレーンのデータを用いて、インタラクティブプレーンに対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ３０６）。
　図２２は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第３の例を示す。このコンテンツ表示処理では、シンク機器２０は、図２１に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。
　まず、受信部４１は、ソース機器１０から、メインムービープレーンのデータ（オリジナルデータ）を受信し（ブロックＢ３５１）、エンコード（トランスコード）されたインタラクティブプレーンのデータを受信する（ブロックＢ３５２）。コンテンツ処理部４２は、受信されたメインムービープレーンのデータをデコードし（ブロックＢ３５３）、受信されたインタラクティブプレーンのデータをデコードする（ブロックＢ３５４）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ３５５）。コンテンツ処理部４２は、例えば、デコードされたムービープレーンのデータを用いたメインムービープレーンの画像と、デコードされたインタラクティブプレーンのデータを用いたインタラクティブプレーンの画像とを多重化する。なお、プレゼンテーションプレーンのデータは、メインムービープレーンのデータとインタラクティブプレーンのデータのいずれかと同様に扱われてもよい。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ３５６）。
　また、図２３は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第４の例を示す。　
　まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ４０１）。コンテンツデータを送信しない場合（ブロックＢ４０１のＮＯ）、ブロックＢ４０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。
　コンテンツデータを送信する場合（ブロックＢ４０１のＹＥＳ）、送信部３３は、コンテンツデータ（オリジナルのコンテンツデータ）をシンク機器２０に送信する（ブロックＢ４０２）。次いで、コンテンツ処理部３２は、コンテンツデータをデコードする（ブロックＢ４０３）。コンテンツ処理部３２は、デコードされたコンテンツデータを作業メモリ３５に一時保存してもよい。また、コンテンツ処理部３２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ４０４）。コンテンツ処理部４２は、例えば、メインムービープレーンの画像と、プレゼンテーションプレーンの画像と、インタラクティブプレーンの画像とを多重化する。そして、表示処理部３４は、重ね合わせられた画像を画面に表示する（ブロックＢ４０５）。
　なお、図２３の処理でソース機器１０が送信したコンテンツデータ（オリジナルコンテンツデータ）を用いた、シンク機器２０によるコンテンツ表示処理は、図１８を参照して説明した通りである。
　次いで、図２４から図２６のフローチャートを参照して、コンテンツに対するユーザー操作に応じた処理について説明する。
　図２４は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第１の例を示す。　
　まず、シンク機器２０の操作処理部４５は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ６０１）。ユーザー操作が検出されていない場合（ブロックＢ６０１のＮＯ）、ブロックＢ６０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ６０１のＹＥＳ）、送信部４４は、そのユーザー操作に対応する操作データ（例えば、座標データ、時刻データ）をソース機器１０に送信する（ブロックＢ６０２）。
　次いで、ソース機器１０の受信部３７は、シンク機器２０から、ユーザー操作に対応する操作データを受信する（ブロックＢ６０３）。操作処理部３６は、操作データと、デコードされたインタラクティブプレーンのデータとを用いて、シンク機器２０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する（ブロックＢ６０４）。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する（ブロックＢ６０５）。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。
　シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に対応するコンテンツデータを受信する（ブロックＢ６０６）。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて、画像を画面に表示する（ブロックＢ６０７）。
　図２５は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第２の例を示す。　
　まず、ソース機器１０の操作処理部３６は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ７０１）。ユーザー操作が検出されていない場合（ブロックＢ７０１のＮＯ）、ブロックＢ７０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ７０１のＹＥＳ）、操作処理部３６およびコンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを用いて、ユーザー操作に対応する処理を実行する（ブロックＢ７０２）。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する（ブロックＢ７０３）。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。
　次いで、シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に対応するコンテンツデータを受信する（ブロックＢ７０４）。コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて、画像を画面に表示する（ブロックＢ７０５）。
　図２６は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第３の例を示す。　
　まず、ソース機器１０の操作処理部３６は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ８０１）。ユーザー操作が検出されていない場合（ブロックＢ８０１のＮＯ）、ブロックＢ８０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ８０１のＹＥＳ）、送信部３３は、そのユーザー操作に対応する操作データ（例えば、座標データ、時刻データ）をシンク機器２０に送信する（ブロックＢ８０２）。
　次いで、シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作に対応する操作データを受信する（ブロックＢ８０３）。操作処理部４５、コンテンツ処理部４２および表示処理部４３は、受信された操作データと、デコードされたインタラクティブプレーンのデータとを用いて、ソース機器１０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する（ブロックＢ８０４）。
　以上説明したように、本実施形態によれば、機器間でコンテンツをシームレスに表示する場合に、コンテンツ内のオブジェクトに対する操作を適切に処理することができる。ソース機器１０の送信部３３は、エンコードされたコンテンツデータであって、映像を表示するための第１データ（メインムービープレーンのデータ）とユーザーによって操作可能なオブジェクトを表示するための第２データ（インタラクティブプレーンのデータ）とを含むコンテンツデータを、シンク機器２０に送信する。コンテンツ処理部３２は、第２データをデコードする。シンク機器２０が受信したコンテンツデータを用いて映像とオブジェクトとを画面に表示しているとき、操作処理部３６は、オブジェクトに対するユーザー操作に応じて、デコードされた第２データを用いて、ユーザー操作に対応する処理を実行する。
　これにより、トランスコードされていない、オリジナルのコンテンツデータをシンク機器１０に送信する方式であっても、ソース機器１０で第２データ（インタラクティブプレーンのデータ）をデコードしておくことによって、当該ソース機器１０でオブジェクトに対するユーザー操作を認識し、そのユーザー操作を反映した動作を実現することができる。
　なお、図１７から図２６のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
　ここで説明したシステムの様々なモジュールは、ソフトウェアアプリケーション、ハードウェアおよび／またはソフトウェアのモジュール、あるいは、サーバのような１つ以上のコンピュータ上のコンポーネントとして実現することができる。様々なモジュールを別々に示したが、これらは、同一の根本的なロジックまたはコードのいくつかまたはすべてを共有することが可能である。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (15)

  1. 　エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する送信手段と、
    　前記第２データをデコードするデコード手段と、
    　前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する操作処理手段とを具備する電子機器。
  2. 　前記デコードされた第２データを用いて、前記オブジェクトを前記電子機器の画面に表示する表示処理手段をさらに具備し、
    　前記送信手段は、前記電子機器の画面に表示されたオブジェクトに対する第１ユーザー操作に応じて、前記デコードされた第２データを用いて、当該第１ユーザー操作に対応する処理を実行する請求項１記載の電子機器。
  3. 　前記デコードされた第２データを用いて、前記オブジェクトを前記電子機器の画面に表示する表示処理手段をさらに具備し、
    　前記送信手段は、前記電子機器の画面に表示されたオブジェクトに対する第１ユーザー操作に応じて、当該第１ユーザー操作に対応する操作データを前記外部電子機器に送信する請求項１記載の電子機器。
  4. 　前記外部電子機器から、前記外部電子機器の画面に表示されたオブジェクトに対する第２ユーザー操作に対応する操作データを受信する受信手段をさらに具備し、
    　前記操作処理手段は、前記操作データと前記デコードされた第２データとを用いて、前記第２ユーザー操作に対応する処理を実行する請求項１記載の電子機器。
  5. 　前記操作データは、前記第２ユーザー操作が行われた、前記外部電子機器の画面上の座標を示す座標データを含み、
    　前記操作処理手段は、前記デコードされた第２データと前記座標データとを用いて、前記第２ユーザー操作に対応する処理を実行する請求項４記載の電子機器。
  6. 　前記操作データは、前記第２ユーザー操作が行われた、前記外部電子機器の画面上の座標を示す座標データと、前記ユーザー操作が行われたときの前記映像の再生位置を示す時刻データとを含み、
    　前記操作処理手段は、前記デコードされた第２データと前記座標データと前記時刻データとを用いて、前記ユーザー操作に対応する処理を実行する請求項４記載の電子機器。
  7. 　前記デコードされた第２データをエンコードするエンコード手段をさらに具備し、
    　前記送信手段は、さらに、前記第１データと前記エンコードされた第２データとを前記外部電子機器に送信する請求項１記載の電子機器。
  8. 　前記送信手段は、さらに、前記第１データと前記デコードされた第２データとを前記外部電子機器に送信する請求項１記載の電子機器。
  9. 　前記デコード手段は、前記第１データと前記第２データとをデコードし、
    　前記デコードされた第１データと前記デコードされた第２データとを用いて、前記映像と前記オブジェクトとを前記電子機器の画面に表示する表示処理手段をさらに具備する請求項１記載の電子機器。
  10. 　前記デコードされた第２データの少なくとも一部と、当該デコードされた第２データの少なくとも一部に関連する、前記第１データの少なくとも一部とを保存する保存処理手段をさらに具備する請求項１記載の電子機器。
  11. 　前記送信手段は、前記電子機器と前記外部電子機器の間で確立された無線接続を介して、前記コンテンツデータを前記外部電子機器に送信する請求項１記載の電子機器。
  12. 　前記第１データと前記デコードされた第２データとは、前記第１データと前記デコードされた第２データとを同期させるための同期データを含む請求項１記載の電子機器。
  13. 　前記送信手段は、前記オブジェクトに対する、音声によるユーザー操作に応じて、当該ユーザー操作を示す操作データを前記外部電子機器に送信する請求項１記載の電子機器。
  14. 　エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信し、
    　前記第２データをデコードし、
    　前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する通信制御方法。
  15. 　コンピュータにより実行されるプログラムであって、前記プログラムは、
    　エンコードされたコンテンツデータであって、映像を表示するための第１データとユーザーによって操作可能なオブジェクトを表示するための第２データとを含むコンテンツデータを、外部電子機器に送信する手順と、
    　前記第２データをデコードする手順と
    　前記コンテンツデータを用いて前記映像と前記オブジェクトとが前記外部電子機器の画面に表示されているときに、前記オブジェクトに対するユーザー操作に応じて、前記デコードされた第２データを用いて、当該ユーザー操作に対応する処理を実行する手順とを前記コンピュータに実行させるプログラム。
PCT/JP2013/077958 2013-10-15 2013-10-15 電子機器および通信制御方法 WO2015056296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/077958 WO2015056296A1 (ja) 2013-10-15 2013-10-15 電子機器および通信制御方法
JP2015542424A JP6022076B2 (ja) 2013-10-15 2013-10-15 電子機器および通信制御方法
US15/009,635 US10171865B2 (en) 2013-10-15 2016-01-28 Electronic device and communication control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/077958 WO2015056296A1 (ja) 2013-10-15 2013-10-15 電子機器および通信制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/009,635 Continuation US10171865B2 (en) 2013-10-15 2016-01-28 Electronic device and communication control method

Publications (1)

Publication Number Publication Date
WO2015056296A1 true WO2015056296A1 (ja) 2015-04-23

Family

ID=52827770

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/077958 WO2015056296A1 (ja) 2013-10-15 2013-10-15 電子機器および通信制御方法

Country Status (3)

Country Link
US (1) US10171865B2 (ja)
JP (1) JP6022076B2 (ja)
WO (1) WO2015056296A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017515187A (ja) * 2014-02-28 2017-06-08 サムスン エレクトロニクス カンパニー リミテッド 通信システムにおけるマルチメディアコンテンツ再生方法及び装置
US10244201B2 (en) 2013-10-15 2019-03-26 Kabushiki Kaisha Toshiba Electronic apparatus and communication control method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102281341B1 (ko) * 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
US10983745B2 (en) 2016-06-13 2021-04-20 Lg Electronics Inc. Display device and display system including same
JP6914728B2 (ja) * 2017-05-26 2021-08-04 キヤノン株式会社 通信装置、通信方法、およびプログラム
KR102563314B1 (ko) 2018-08-30 2023-08-04 삼성전자주식회사 전자 장치 및 단축 명령어의 바로가기 생성 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269520A (ja) * 2004-03-22 2005-09-29 Xanavi Informatics Corp 車載情報端末の操作方法、車載情報端末、携帯端末用プログラム、携帯電話
JP2008252752A (ja) * 2007-03-30 2008-10-16 Pioneer Electronic Corp 映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法
JP2009135726A (ja) * 2007-11-30 2009-06-18 Sony Corp 送信装置、受信装置および受信装置における操作情報送信方法
JP2013187589A (ja) * 2012-03-06 2013-09-19 Funai Electric Co Ltd 映像表示装置、表示システム、携帯端末

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339993B1 (en) * 1999-10-01 2008-03-04 Vidiator Enterprises Inc. Methods for transforming streaming video data
US6981045B1 (en) * 1999-10-01 2005-12-27 Vidiator Enterprises Inc. System for redirecting requests for data to servers having sufficient processing power to transcast streams of data in a desired format
US7114174B1 (en) * 1999-10-01 2006-09-26 Vidiator Enterprises Inc. Computer program product for transforming streaming video data
KR100424481B1 (ko) * 2000-06-24 2004-03-22 엘지전자 주식회사 디지털 방송 부가서비스 정보의 기록 재생장치 및 방법과그에 따른 기록매체
US6963613B2 (en) * 2002-04-01 2005-11-08 Broadcom Corporation Method of communicating between modules in a decoding system
KR20040009927A (ko) * 2002-07-26 2004-01-31 삼성전자주식회사 Ｄｔｖ 스트림 생성을 위한 정보를 저장하는정보저장매체, ｄｔｖ 스트림 변환 방법 및 그 장치
EP1617614A4 (en) * 2003-04-17 2008-07-09 Sharp Kk TRANSMITTER, RECEIVER, WIRELESS SYSTEM, CONTROL METHOD, CONTROL PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM
US20050213439A1 (en) * 2004-03-24 2005-09-29 Dan Scott Johnson Audio/Video component networking system and method
GB2415335B (en) * 2004-06-15 2007-09-26 Toshiba Res Europ Ltd Wireless terminal dynamically programmable proxies
JP4715535B2 (ja) * 2005-05-23 2011-07-06 ソニー株式会社 コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
DE102005052207A1 (de) * 2005-11-02 2007-05-03 Deutsche Thomson-Brandt Gmbh Verfahren zum Übertragen von einem Datenstrom von einer Datenquelle zu einer Datensenke sowie Datensenkengerät, Datenquellgerät und Gerät zur Durchführung des Verfahrens
CN101385278B (zh) * 2006-02-14 2011-06-22 松下电器产业株式会社 无线通信系统
JP2008244993A (ja) 2007-03-28 2008-10-09 Renesas Technology Corp トランスコーディングのための装置および方法
JP4483906B2 (ja) * 2007-08-08 2010-06-16 ソニー株式会社 情報提供システム、映像再生装置、情報提供装置、情報提供方法およびプログラム
US8479253B2 (en) * 2007-12-17 2013-07-02 Ati Technologies Ulc Method, apparatus and machine-readable medium for video processing capability communication between a video source device and a video sink device
JP4670902B2 (ja) * 2008-05-30 2011-04-13 ソニー株式会社 送信装置、送信方法および受信装置
US20100150475A1 (en) * 2008-12-17 2010-06-17 Ascent Media Group, Inc. Up-scaling images using interpolating function
CN102273216A (zh) 2009-01-08 2011-12-07 日本电气株式会社 分发系统、方法以及变换装置
JP4786739B2 (ja) * 2009-10-21 2011-10-05 株式会社東芝 情報処理装置および映像コンテンツデータ再生方法
JP4865048B2 (ja) * 2010-03-15 2012-02-01 株式会社東芝 情報処理装置、その接続確立方法、および無線通信機器
US20110273276A1 (en) * 2010-05-07 2011-11-10 Kabushiki Kaisha Toshiba Communication device and wireless communication method
CN102316366A (zh) * 2010-07-09 2012-01-11 中兴通讯股份有限公司 一种媒体服务器及音视频传输的方法
WO2012050832A1 (en) * 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9451319B2 (en) * 2010-12-17 2016-09-20 Microsoft Technology Licensing, Llc Streaming digital content with flexible remote playback
US9065876B2 (en) * 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US20130027289A1 (en) * 2011-07-27 2013-01-31 Lg Electronics Inc. Electronic device
JP5209096B2 (ja) * 2011-09-07 2013-06-12 株式会社東芝 リモートアクセスシステム、電子機器およびリモートアクセス処理方法
KR20140091021A (ko) * 2011-11-24 2014-07-18 엘지전자 주식회사 제어 방법 및 그를 이용한 장치
JP5611249B2 (ja) 2012-01-10 2014-10-22 株式会社ノリタケカンパニーリミテド 固体酸化物形燃料電池および該燃料電池のカソード形成用材料
KR101917174B1 (ko) * 2012-02-24 2018-11-09 삼성전자주식회사 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치
JP5301011B1 (ja) * 2012-05-23 2013-09-25 株式会社東芝 コンテンツ送信装置、及びコンテンツ送信方法
JP2014022947A (ja) * 2012-07-18 2014-02-03 Toshiba Corp 立体視映像伝送装置、立体視映像伝送方法及び立体視映像処理装置
US20140028779A1 (en) * 2012-07-30 2014-01-30 Kabushiki Kaisha Toshiba Video transmitting apparatus and video transmitting method
US9497137B2 (en) * 2013-01-04 2016-11-15 Sookbox, LLC Digital content connectivity and control via a plurality of controllers that are treated discriminatively
US9078021B2 (en) * 2013-01-16 2015-07-07 Kabushiki Kaisha Toshiba Information processing apparatus, content transmission method and storage medium
JP2014147048A (ja) * 2013-01-30 2014-08-14 Toshiba Corp 通信装置及び通信方法
JP5717870B2 (ja) * 2013-03-22 2015-05-13 株式会社東芝 通信装置、通信方法及びプログラム
JP5739015B2 (ja) * 2013-03-28 2015-06-24 株式会社東芝 通信装置、通信方法及びプログラム
JP2015080025A (ja) * 2013-10-15 2015-04-23 株式会社東芝 電子機器および通信制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269520A (ja) * 2004-03-22 2005-09-29 Xanavi Informatics Corp 車載情報端末の操作方法、車載情報端末、携帯端末用プログラム、携帯電話
JP2008252752A (ja) * 2007-03-30 2008-10-16 Pioneer Electronic Corp 映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法
JP2009135726A (ja) * 2007-11-30 2009-06-18 Sony Corp 送信装置、受信装置および受信装置における操作情報送信方法
JP2013187589A (ja) * 2012-03-06 2013-09-19 Funai Electric Co Ltd 映像表示装置、表示システム、携帯端末

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244201B2 (en) 2013-10-15 2019-03-26 Kabushiki Kaisha Toshiba Electronic apparatus and communication control method
JP2017515187A (ja) * 2014-02-28 2017-06-08 サムスン エレクトロニクス カンパニー リミテッド 通信システムにおけるマルチメディアコンテンツ再生方法及び装置
US10506071B2 (en) 2014-02-28 2019-12-10 Samsung Electronics Co., Ltd Method and apparatus for playing multimedia contents in a communication

Also Published As

Publication number Publication date
JPWO2015056296A1 (ja) 2017-03-09
JP6022076B2 (ja) 2016-11-09
US20160150177A1 (en) 2016-05-26
US10171865B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
EP2863606B1 (en) Electronic apparatus and communication control method
JP6022076B2 (ja) 電子機器および通信制御方法
US9723123B2 (en) Multi-screen control method and device supporting multiple window applications
US8554938B2 (en) Web browser proxy-client video system and method
WO2013111239A1 (ja) 携帯端末、テレビ放送受信装置及び機器連携方法
KR101646958B1 (ko) 변경된 영역들을 이용한 매체 인코딩
US20100231556A1 (en) Device, system, and computer-readable medium for an interactive whiteboard system
KR20100036664A (ko) 영상 이동이 가능한 디스플레이 장치 및 그 방법
KR20150028383A (ko) 디스플레이 기기의 제어 방법, 그에 따른 싱크 기기 및 그에 따른 미러링 시스템
US9276997B2 (en) Web browser proxy—client video system and method
TW201324331A (zh) 用以執行無線顯示控制之方法與裝置
KR102212270B1 (ko) 통합된 컨텐츠 소스들을 이용하여 미디어 컨텐츠를 제시하기 위한 방법들, 시스템들 및 매체들
US8872765B2 (en) Electronic device, portable terminal, computer program product, and device operation control method
KR102148001B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20130066168A (ko) 에이치디엠아이 신호로 방송 수신기의 듀얼 디스플레이를 위한 휴대용 단말기의 장치 및 방법
TW201617841A (zh) 鏡射顯示系統與鏡射顯示方法
JP2009200536A (ja) 情報処理装置
US9864562B2 (en) Display control device and display control method
JP5739015B2 (ja) 通信装置、通信方法及びプログラム
KR20140117889A (ko) 클라이언트 장치, 서버 장치, 멀티미디어 리디렉션 시스템 및 그 방법
WO2022116600A1 (zh) 一种显示设备
JP2008040347A (ja) 画像表示装置、画像表示方法および画像表示プログラム
WO2012171156A1 (en) Wireless video streaming using usb connectivity of hd displays
JP5075745B2 (ja) 情報処理装置
KR20130113839A (ko) 빔 프로젝터 내장형 셋 탑 박스 제어 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13895557

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015542424

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13895557

Country of ref document: EP

Kind code of ref document: A1