WO2016084485A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2016084485A1
WO2016084485A1 PCT/JP2015/078390 JP2015078390W WO2016084485A1 WO 2016084485 A1 WO2016084485 A1 WO 2016084485A1 JP 2015078390 W JP2015078390 W JP 2015078390W WO 2016084485 A1 WO2016084485 A1 WO 2016084485A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
information
processing apparatus
control
image
Prior art date
Application number
PCT/JP2015/078390
Other languages
English (en)
French (fr)
Inventor
英輝 石見
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580002780.6A priority Critical patent/CN105830457B/zh
Priority to JP2016526248A priority patent/JP6729372B2/ja
Priority to AU2015351677A priority patent/AU2015351677B2/en
Priority to EP15862151.6A priority patent/EP3091747A4/en
Priority to US15/037,246 priority patent/US10004061B2/en
Publication of WO2016084485A1 publication Critical patent/WO2016084485A1/ja
Priority to US15/976,942 priority patent/US10383098B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/20—Control channels or signalling for resource management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W80/00—Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/06—Transport layer protocols, e.g. TCP [Transport Control Protocol] over wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Definitions

  • This technology relates to an information processing apparatus.
  • the present invention relates to an information processing apparatus, a communication system, an information processing method, and a program for causing a computer to execute the method to exchange various types of information using wireless communication.
  • various types of information can be exchanged between the two information processing apparatuses using wireless communication without being connected by a wired line.
  • an image based on image data transmitted from the information processing apparatus on the transmission side can be displayed on the display unit of the information processing apparatus on the reception side.
  • This technology was created in view of such a situation, and aims to improve operability.
  • the present technology has been made to solve the above-mentioned problems.
  • the first aspect of the present technology is a real-time image according to the Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specification with one or more sink devices.
  • a wireless communication unit that performs transmission, and a control unit that performs control related to real-time image transmission based on control information for controlling the device according to the Wi-Fi CERTIFIED Miracast specification received from the one or more sink devices.
  • the control unit receives a plurality of the control information
  • the control unit performs control to switch on / off of UIBC (User Input Back Back Channel) for transmitting operation information in the sink device that transmitted the control information.
  • UIBC User Input Back Back Channel
  • the wireless communication unit may receive the control information on a TCP (Transmission-Control Protocol) session generated with the sink device.
  • TCP Transmission-Control Protocol
  • control for switching on / off may be any of connection, disconnection, start, stop, validation, and invalidation.
  • any one of the connection, disconnection, start, stop, validation, and invalidation control is controlled to switch on and off.
  • control unit performs control to enable UIBC for the first sink device and disable UIBC for the second sink device among the one or more sink devices. May be.
  • the UIBC for the first sink device among the one or more sink devices is validated, and the UIBC for the second sink device is invalidated.
  • the wireless communication unit notifies the first sink device that the UIBC is set to be valid, and invalidates the UIBC to the second sink device. You may make it notify that it set. As a result, the first sink device is notified that the UIBC is set valid, and the second sink device is notified that the UIBC is set invalid.
  • control information may be GET_PARAMETER Response, and the notification may be transmitted as SET_PARAMETER.
  • the control information is set as GET_PARAMETER Response, and the notification is transmitted as SET_PARAMETER.
  • the control unit validates the UIBC for the first sink device among the one or more sink devices, and the first device among the sink devices that transmit the control information. You may make it perform control which invalidates UIBC with respect to all the Sink apparatuses other than a Sink apparatus. This enables UIBC for the first sink device among one or more sink devices, and disables UIBC for all sink devices other than the first sink device among the sink devices that have transmitted each control information. This brings about the effect.
  • the wireless communication unit receives a plurality of pieces of operation information associated with ID information as UIBC information, and the control unit refers to an ID header included in the ID information.
  • the corresponding operation information may be identified.
  • a plurality of operation information linked to the ID information is received as UIBC information, and the corresponding operation information is identified by referring to the ID header included in the ID information.
  • the one or more sink devices have a plurality of input devices, and the plurality of operation information is transmitted from each of the plurality of input devices via the one or more sink devices. You may be made to do. As a result, a plurality of pieces of operation information are transmitted from each of the plurality of input devices via one or more sink devices.
  • the wireless communication unit may perform communication by bundling the plurality of UIBC information and setting one port. This brings about the effect
  • the wireless communication unit may perform communication as a source device. This brings about the effect
  • the second aspect of the present technology is a wireless communication unit that performs real-time image transmission according to Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specifications with one or more source devices, and received by the real-time image transmission.
  • a display unit that displays an image, and the wireless communication unit is configured such that, among the one or more source devices, the first source device performs the real-time image transmission with one or more sink devices.
  • Information processing apparatus for receiving control information on on / off of UIBC (User Input Back Channel) for transmitting operation information in its own device among the one or more sink devices from the first source device, an information processing method thereof, and A program for causing a computer to execute the method.
  • UIBC User Input Back Channel
  • the first Soucer device performs real-time image transmission with one or more sink devices
  • the first source device transmits operation information in the own device among the one or more sink devices. This provides an effect of receiving control information related to ON / OFF of the UIBC.
  • 3 is a sequence chart illustrating an example of communication processing between devices included in the communication system 100 according to the first embodiment of the present technology.
  • 3 is a sequence chart illustrating an example of communication processing between devices included in the communication system 100 according to the first embodiment of the present technology. It is a figure which shows the structural example in the case of controlling ON / OFF of the mode request
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • 3 is an example of a UIBC frame format exchanged between a source device 410 and a sink device 420 according to the first embodiment of the present technology.
  • 12 is a sequence chart illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 12 is a flowchart illustrating an example of a processing procedure of port setting processing by the information processing device 300 according to the first embodiment of the present technology.
  • 3 is a diagram illustrating a communication example of image data and audio data using WebSocket between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. It is a figure showing an example of system configuration of communication system 600 in a 2nd embodiment of this art.
  • 22 is a flowchart illustrating an example of a processing procedure of a data transmission process performed by the information processing device 610 according to the second embodiment of the present technology.
  • 22 is a flowchart illustrating an example of a processing procedure of a data transmission process performed by the information processing device 610 according to the second embodiment of the present technology.
  • 22 is a flowchart illustrating an example of a processing procedure of a data transmission process performed by the information processing device 610 according to the second embodiment of the present technology.
  • 25 is a flowchart illustrating an example of a processing procedure of a data transmission process performed by the information processing device 610 according to the third embodiment of the present technology.
  • 25 is a flowchart illustrating an example of a processing procedure of a data transmission process performed by the information processing device 610 according to the third embodiment of the present technology.
  • It is a figure which shows the system configuration example of the communication system 700 in 4th Embodiment of this technique.
  • 22 is a flowchart illustrating an example of a processing procedure of a display impossible area notification process by a receiver 710 (source device) according to the fourth embodiment of the present technology.
  • It is a block diagram which shows an example of a schematic structure of a smart phone. It is a block diagram which shows an example of a schematic structure of a car navigation apparatus.
  • FIG. 1 is a block diagram illustrating a system configuration example of the communication system 100 according to the first embodiment of the present technology.
  • FIG. 1 shows an example of a communication system that can perform wireless connection by P2P (Peer to Peer) direct communication.
  • P2P Peer to Peer
  • the communication system 100 includes an information processing device 200, an information processing device 300, and an information processing device 400.
  • the communication system 100 is a communication system in which the information processing apparatus 300 receives data (for example, image data and audio data) transmitted from at least one of the information processing apparatus 200 and the information processing apparatus 400.
  • the information processing apparatuses 200, 300, and 400 are transmission / reception devices having a wireless communication function.
  • the information processing devices 200, 300, and 400 are display devices (for example, personal computers) and portable information processing devices (for example, smartphones and tablet terminals) that have a wireless communication function.
  • the information processing apparatuses 200, 300, and 400 have IEEE (Institute of Electrical and Electronics Electronics) (802.11), IEEE 802.15, IEEE 802.16, 3GPP (3rd Generation Partnership Project) specifications (for example, W-CDMA (for example).
  • Wireless communication based on Wideband Code Division Multiple Access
  • GSM Global System for Mobile Communications
  • WiMAX Worldwide Interoperability for Microwave Access
  • WiMAX2 Long Term Evolution, LTE-A (Advanced) Device.
  • the information processing apparatuses 200, 300, and 400 can exchange various types of information using a wireless communication function.
  • Wi-Fi Wireless Fidelity
  • TDLS Transmission Link Setup
  • ad hoc network ad hoc network
  • mesh network ad hoc network
  • Wi-Fi CERTIFIED Miracast technical specification: Wi-Fi Display
  • Wi-Fi CERTIFIED Miracast uses Wi-Fi Direct and TDLS technologies to transmit audio and display images that are played back on one terminal to other terminals, and the other terminals can transmit the audio, This is a mirroring technology that outputs image data.
  • Wi-Fi CERTIFIED Miracast realizes UIBC (User Input Back Channel) on TCP / IP (Transmission Control Protocol / Internet Protocol).
  • UIBC is a technique for transmitting operation information of an input device such as a mouse or a keyboard from one terminal to the other terminal.
  • other remote desktop software for example, VNC (Virtual Network Computing) may be applied.
  • H.Fi CERTIFIED Miracast images (videos) are recorded on, for example, H.Fi. H.264 is used for compression / decompression.
  • H. H.264 can be adjusted on the transmission side.
  • H.264 is not limited thereto. 265 (e.g., HEVC (high-efficiency-video coding), SHVC (scalable-video coding-extensions-of high-efficiency video-coding)), MPEG (Moving-Picture Experts Group) 4, JPEG (Joint-1 Photographic Experts Group) 2000. .
  • a line-based codec for example, Wavelet, DCT (Discrete Cosine Transform)
  • DCT Discrete Cosine Transform
  • a codec that reduces a transmission rate without performing compression such as DCT or Wavelet by obtaining a difference from a previous code amount region of a specific code amount region (such as a picture or a bundle of multiple lines or a macro block).
  • the image (video) may be transmitted / received without compression.
  • the information processing apparatus 200 illustrates an example in which image data and audio data generated by an imaging operation are transmission targets.
  • the information processing apparatus 400 is an example in which content (for example, content including image data and audio data) stored in a storage unit (for example, a hard disk) is a transmission target.
  • a storage unit for example, a hard disk
  • an electronic device for example, a personal computer, a game machine, a smartphone, or a tablet terminal
  • another electronic device including a display unit for example, an imaging device, a game machine, a smartphone, or a tablet terminal
  • content stored in an ISP Internet Services Provider
  • a wireless or wired network may be a transmission target.
  • image data generated by the imaging operation of the information processing apparatus 200 is transmitted to the information processing apparatus 300, and the image 11 based on the image data is displayed on the display unit 351 of the information processing apparatus 300.
  • content stored in a storage unit (for example, a hard disk) of the information processing device 400 is transmitted to the information processing device 300, and an image 12 based on the content is displayed on the display unit 351 of the information processing device 300.
  • the information processing device (source device) on the source side is the information processing devices 200 and 400
  • the information processing device (sink device) on the sink side is the information processing device 300.
  • An example is shown.
  • the information transmission range 101 is an information transmission range (service range) when the information processing apparatus 300 is used as a reference.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing device 200 according to the first embodiment of the present technology. Note that the functional configuration related to wireless communication of the information processing apparatus 400 is substantially the same as that of the information processing apparatus 200. For this reason, in the first embodiment of the present technology, only the information processing apparatus 200 will be described, and the description of the information processing apparatus 400 will be omitted.
  • the information processing apparatus 200 includes an antenna 210, a wireless communication unit 220, a control signal receiving unit 230, a control unit 240, an image / audio signal generation unit 250, an image / audio compression unit 260, and a stream transmission unit 270. Is provided.
  • the wireless communication unit 220 uses the wireless communication to control each piece of information (for example, image data and audio data) with another information processing device (for example, the information processing device 300) based on the control of the control unit 240.
  • Information processing device for example, the information processing device 300
  • the wireless communication unit 220 uses the wireless communication to control each piece of information (for example, image data and audio data) with another information processing device (for example, the information processing device 300) based on the control of the control unit 240.
  • the antenna 210 For example, when image data transmission processing is performed, the image data generated by the image / audio signal generation unit 250 is compressed by the image / audio compression unit 260, and the compressed image data (image stream) is wirelessly transmitted. It is transmitted from the antenna 210 via the communication unit 220.
  • the wireless communication unit 220 can transmit / receive each information to / from another information processing apparatus (for example, the information processing apparatus 300) using a plurality of frequency channels.
  • another information processing apparatus for example, the information processing apparatus 300
  • the wireless communication unit 220 has a function capable of transmitting and receiving three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz is shown.
  • the sink device for example, the information processing apparatus 300 controls which frequency channel is used by each source device. Can do.
  • the control signal receiving unit 230 includes a control signal (for example, exchange with the information processing device 300) transmitted from another information processing device (for example, the information processing device 300) among the pieces of information received by the wireless communication unit 220. Information). Then, the control signal receiving unit 230 outputs the acquired control signal to the control unit 240.
  • the control unit 240 performs control related to information transmitted from the information processing apparatus 200.
  • the control unit 240 controls the image / sound signal generation unit 250 and the image / sound compression unit 260 based on the control signal received by the control signal receiving unit 230.
  • the control unit 240 performs control for changing the resolution of the image data to be transmitted and the number of audio channels, and control for changing the image area of the image data to be transmitted. That is, the control unit 240 performs transmission control of a stream to be transmitted based on the control signal received by the control signal receiving unit 230.
  • the stream transmission control is, for example, data transmission rate control or scalability transmission rate control.
  • control unit 240 has a function of measuring a radio wave propagation state (link radio wave propagation state) when data is transmitted / received to / from the sink device using wireless communication, and the measurement result (the radio wave) Propagation measurement information) may be transmitted to the sink device.
  • the radio wave propagation measurement information is, for example, information used when determining whether or not the line quality with the sink device is a quality capable of transmitting and receiving image data and audio data.
  • the radio wave propagation measurement information is used, for example, when stream transmission control is performed.
  • the radio wave propagation measurement information will be described in detail with reference to FIG.
  • the control unit 240 may count the number of retransmissions of the same packet, and the stream transmission may be controlled according to the count number.
  • the data transmission rate mainly means the rate of occupying the communication path, and includes the meaning of communication speed and communication capacity.
  • the resolution is defined as an index of image quality composed of elements such as an image data image frame (vertical and horizontal number of pixels) and image data bit rate (compression rate).
  • the stream throughput can be used as an image quality index.
  • the number of audio channels is monaural (1.0 ch), stereo (2.0 ch), 5.1 ch, 9.1 ch, high resolution (high resolution audio (High-Resolution Audio)), etc.
  • the meaning of The number of audio channels is defined as a sound quality index composed of elements such as the bit rate (compression rate) of audio data and the number of channels. Further, the stream throughput can be used as an index of sound quality.
  • the control unit 240 performs control for improving a state that cannot be stabilized by data rate control.
  • the control unit 240 grasps the system performance information of the sink device by exchanging information with the sink device (for example, the information processing apparatus 300).
  • the system performance information is, for example, performance information related to the sink device system.
  • the system performance information includes usable frequency channels, resolution, TCP (Transmission Control Protocol), and UDP (User Datagram Protocol).
  • the system performance information is information indicating, for example, encryption method support, SD (Standard Definition) / HD (High Definition) support, and low power consumption mode support.
  • the control unit 240 can select a stream transmission control method that further improves the stability of the entire system of the communication system 100 according to whether or not the sink device supports the low power consumption mode.
  • the control unit 240 puts information on whether or not the information processing apparatus 200 is a mobile device in the exchange of information with the information processing apparatus 300.
  • information on whether or not the information processing apparatus 200 is a mobile device can be included in the capability information regarding the information processing apparatus 200.
  • the information processing apparatus 300 recognizes that the information processing apparatus 200 is a mobile device, the information processing apparatus 300 determines that it is not necessary to operate the information processing apparatus 200 based on the relationship with another information processing apparatus connected thereto. Can do.
  • the information processing apparatus 200 receives a transmission stop command from the information processing apparatus 300.
  • control unit 240 When the control unit 240 grasps the transmission stop command, the control unit 240 can power down the functions of the image / audio signal generation unit 250, the image / audio compression unit 260, and the stream transmission unit 270 for a certain period of time. it can. In addition, the control unit 240 can also shift the wireless communication unit 220 to intermittent reception (a mode in which the wireless communication unit 220 periodically wakes up to such an extent that a command can be received from the information processing apparatus 300 and the other is a power-down mode).
  • intermittent reception a mode in which the wireless communication unit 220 periodically wakes up to such an extent that a command can be received from the information processing apparatus 300 and the other is a power-down mode.
  • the image / sound signal generation unit 250 generates data (image data, sound data) to be output based on the control of the control unit 240, and outputs the generated data to the image / sound compression unit 260.
  • the image / sound signal generation unit 250 includes an imaging unit (not shown) and a sound acquisition unit (not shown).
  • the imaging unit for example, a lens, an imaging element, and a signal processing circuit
  • the sound acquisition unit for example, a microphone
  • the data generated in this way becomes a transmission target to another information processing apparatus (for example, the information processing apparatus 300).
  • the image / sound compression unit 260 compresses (encodes) the data (image data and sound data) generated by the image / sound signal generation unit 250 based on the control of the control unit 240. Then, the image / audio compression unit 260 outputs the compressed data (image data and audio data) to the stream transmission unit 270.
  • the image / sound compression unit 260 may be realized by execution of encoding by software, or may be realized by execution of encoding by hardware.
  • the image / sound compression unit 260 is assumed to function as a codec, but can handle uncompressed images or sounds. Furthermore, it is assumed that the image / sound compression unit 260 also functions as a scalable codec.
  • the scalable codec means a codec that can be freely adapted according to, for example, the resolution of the information processing apparatus (sink device) on the receiving side, the network environment, and the like.
  • the stream transmission unit 270 transmits the data (image data and audio data) compressed by the image / audio compression unit 260 as a stream from the antenna 210 via the wireless communication unit 220 based on the control of the control unit 240. The processing is performed.
  • the information processing apparatus 200 can include a display unit, an audio output unit, an operation reception unit, and the like in addition to the above-described units, which are not illustrated in FIG. Further, although an example in which the information processing device 200 generates image data and audio data to be transmitted is shown, the information processing device 200 may acquire image data and audio data to be transmitted from an external device. Good. For example, the information processing apparatus 200 may acquire image data and audio data to be transmitted from a web camera with a microphone. In addition, the information processing apparatus 200 transmits content (for example, content including image data and audio data) stored in a storage device (for example, a hard disk) regardless of whether the information processing apparatus 200 is inside or outside. You may do it.
  • a storage device for example, a hard disk
  • the content stored in the storage device is a compressed content.
  • the compressed content is compressed by the encoding method defined by the standard adopted by the communication system 100, the compressed content is transmitted without being decoded. You may make it do.
  • the display unit (not shown) of the information processing apparatus 200 is a display unit that displays an image generated by the image / audio signal generation unit 250, for example.
  • various display panels can be used as the display portion.
  • organic EL Electro Luminescence
  • crystal LED Light Emitting Diode
  • LCD Liquid Crystal Display
  • the audio output unit (not shown) of the information processing apparatus 200 is an audio output unit (for example, a speaker) that outputs the audio generated by the image / audio signal generation unit 250, for example.
  • the image can be output from both the transmitting device and the receiving device, but the sound is preferably output from only one of them.
  • the operation reception unit (not shown) of the information processing apparatus 200 is an operation reception unit that receives an operation input performed by a user, and is, for example, a keyboard, a mouse, a game pad, a touch panel, a camera, and a microphone.
  • the operation receiving unit and the display unit can be integrally configured using a touch panel that allows a user to input an operation by touching or approaching the finger with the display surface.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the information processing device 300 according to the first embodiment of the present technology.
  • the information processing apparatus 300 includes an antenna 310, a wireless communication unit 320, a stream reception unit 330, an image / sound development unit 340, an image / sound output unit 350, a user information acquisition unit 360, a control unit 370, A control signal transmission unit 380 and a management information holding unit 390 are provided.
  • the wireless communication unit 320 uses wireless communication to control each piece of information (for example, image data and audio data) with another information processing device (for example, the information processing device 200) based on the control of the control unit 370.
  • Information processing device for example, the information processing device 200
  • the wireless communication unit 320 uses wireless communication to control each piece of information (for example, image data and audio data) with another information processing device (for example, the information processing device 200) based on the control of the control unit 370.
  • image data reception processing image data received by the antenna 310 is expanded (decoded) by the image / sound expansion unit 340 via the wireless communication unit 320 and the stream reception unit 330.
  • the developed image data is supplied to the image / sound output unit 350, and an image corresponding to the developed image data is output from the image / sound output unit 350. That is, an image corresponding to the developed image data is displayed on the display unit 351.
  • the wireless communication unit 320 can transmit and receive each piece of information with another information processing apparatus (for example, the information processing apparatus 200) using a plurality of frequency channels.
  • another information processing apparatus for example, the information processing apparatus 200
  • the wireless communication unit 320 has a function capable of transmitting and receiving three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz is shown. That is, the wireless communication unit 320 can perform communication using the first frequency band and communication using the second frequency band having a higher data transmission rate than the first frequency band.
  • the control unit 370 controls which frequency channel of the plurality of frequency channels is used for wireless communication with each source device.
  • the link between the information processing device 200 and the information processing device 300 and the link between the information processing device 400 and the information processing device 300 may be the same frequency channel or different frequency channels. Also good.
  • the wireless communication unit 320 has a function capable of transmitting and receiving three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz is shown, but the present invention is not limited to this.
  • the wireless communication unit 320 may have a function capable of transmitting and receiving other frequency channels and two or more frequency channels.
  • the stream receiving unit 330 Based on the control of the control unit 370, the stream receiving unit 330 receives information and a stream (for example, an image stream and an audio stream) of exchange with each source device from among the information received by the wireless communication unit 320. To do. Then, the stream reception unit 330 outputs the received command information to the control unit 370, and outputs the received stream to the image / audio development unit 340 and the control unit 370.
  • a stream for example, an image stream and an audio stream
  • the information on the exchange with each source device is information transmitted from the source device (for example, the information processing apparatus 200) and includes, for example, an acquisition request for system performance information of the information processing apparatus 300.
  • This system performance information is information indicating, for example, usable frequency channels, resolution, TCP, UDP, encryption method support, SD / HD support, and low power consumption mode support.
  • the stream receiving unit 330 has a function of measuring a radio wave propagation state (link radio wave propagation state) when data is transmitted / received to / from the sink device using wireless communication. Then, the stream receiving unit 330 outputs the measurement result (radio wave propagation measurement information) to the control unit 370.
  • the radio wave propagation measurement information will be described in detail with reference to FIG.
  • the image / sound developing unit 340 develops (decodes) a stream (image data and sound data) transmitted from another information processing apparatus (for example, the information processing apparatus 200) based on the control of the control unit 370. is there. Then, the image / sound developing unit 340 outputs the developed data (image data and sound data) to the image / sound output unit 350.
  • the image / sound decompression unit 340 may be realized by executing decoding by software, or may be realized by executing decoding by hardware.
  • the image / sound development unit 340 is assumed to function as a codec, but can handle an uncompressed image or sound.
  • the image / sound development unit 340 also functions as a scalable codec.
  • the image / sound output unit 350 includes a display unit 351 and a sound output unit 352.
  • the display unit 351 is a display unit that displays each image (for example, the images 11 and 12 shown in FIG. 1) based on the image data developed by the image / sound developing unit 340.
  • a display panel such as an organic EL panel, a crystal LED display, or an LCD panel can be used.
  • a touch panel on which a user can perform an operation input by touching or approaching his / her finger to the display surface may be used.
  • the sound output unit 352 is a sound output unit (for example, a speaker) that outputs various sounds (such as sound related to the image displayed on the display unit 351) based on the sound data developed by the image / sound development unit 340.
  • a sound output unit for example, a speaker
  • various sounds such as sound related to the image displayed on the display unit 351
  • the method can be used.
  • a method is used in which the sound volume of the source device assigned to the central channel is set as the main and the sound volume of the source device assigned to the peripheral channel is reduced and played back. Can do. Note that other audio output methods may be used.
  • the user information acquisition unit 360 acquires information about the user (user information), and outputs the acquired user information to the control unit 370.
  • the user information acquisition unit 360 can acquire user information by receiving input from an operation reception unit (keyboard, mouse, remote controller, game pad, touch panel) that allows the user to directly set the display method.
  • the operation accepting unit is an operation member for designating an arbitrary region in the image displayed on the display unit 351, for example.
  • the user information acquisition unit 360 receives an input from a device that can grasp the user's intention such as a camera, a microphone, various sensors (for example, a gyro sensor, a sensor that senses a human body), and the like. User information can be acquired.
  • the user information acquisition unit 360 is a user when information based on a stream received from another information processing apparatus (for example, the information processing apparatus 200) using wireless communication is output from the image / sound output unit 350.
  • User information generated by the operation is acquired.
  • This user information is user information generated by a user operation relating to an image displayed on the display unit 351, for example.
  • the user information is information generated based on a user operation related to the image displayed on the display unit 351.
  • the user information acquisition unit 360 can acquire the image data generated by the imaging unit 361 (shown in FIG. 1) and generate user information. Further, for example, the user information acquisition unit 360 may acquire information (for example, position information and identification information) acquired by an external device (for example, each sensor or wearable device) to generate user information. .
  • information for example, position information and identification information
  • an external device for example, each sensor or wearable device
  • the control unit 370 holds each piece of information acquired by the stream receiving unit 330 in the management information holding unit 390, and manages each source device based on the management information held in the management information holding unit 390. Further, the control unit 370 controls transmission of streams so that the stability of the streams transmitted from a plurality of source devices is improved in the entire system.
  • control unit 370 performs stream transmission control based on the user information acquired by the user information acquisition unit 360 and the management information held in the management information holding unit 390. Specifically, the control unit 370 generates a control signal for performing stream transmission control for each source device based on the management information held in the management information holding unit 390. Then, control unit 370 outputs the generated control signal to control signal transmission unit 380. For example, the control unit 370 changes the resolution of the image displayed on the display unit 351 based on the user information and management information, and generates a control signal for requesting each source device to transmit a transmission rate equivalent to this resolution. To do.
  • control unit 370 generates a control signal for determining the image display area on the display unit 351 based on the user information and the management information. For example, the control unit 370 generates a control signal for determining the size of the image on the display unit 351 based on the user information and the management information.
  • control unit 370 performs control for setting the frequency channel to be used and the resolution based on the user information and management information. For example, the control unit 370 sets a frequency channel to be used for each source device for a plurality of frequency channels included in the wireless communication unit 320. In addition, when the power consumption mode is different for each frequency channel, the control unit 370 can grasp each mode and set a frequency channel that cares about the power consumption of the mobile device. That is, the control unit 370 separately sets the first power consumption mode related to the first frequency band and the second power consumption mode related to the second frequency band having a higher data transmission rate than the first frequency band. can do.
  • the control signal transmission unit 380 performs transmission processing for transmitting the control signal output from the control unit 370 to another wireless communication device via the wireless communication unit 320 and the antenna 310.
  • the management information holding unit 390 is a table that holds information (management information) for managing each source device connected to the information processing apparatus 300 using wireless communication. The contents held by the management information holding unit 390 will be described in detail with reference to FIG.
  • FIG. 4 is a diagram schematically illustrating an example of contents held by the management information holding unit 390 according to the first embodiment of the present technology.
  • the management information holding unit 390 is a table that holds information (management information) for managing each source device connected to the information processing apparatus 300 using wireless communication.
  • the management information holding unit 390 includes terminal identification information 391, frequency channel 392, radio wave propagation measurement information 393, device information 394, band usage level 395, display mode 396, standby / wakeup 397, A multi-receive diversity correspondence 398 is held in association with each other.
  • the terminal identification information 391 stores identification information for identifying a source device connected to the information processing apparatus 300 using wireless communication.
  • the frequency channel 392 stores the frequency channel actually used by the source device connected to the information processing apparatus 300 using wireless communication.
  • the radio wave propagation measurement information 393 stores radio wave propagation measurement information related to the source device connected to the information processing apparatus 300 using wireless communication.
  • the radio wave propagation measurement information is measured by the stream receiving unit 330 for each source device connected to the information processing apparatus 300 using wireless communication.
  • radio wave propagation measurement information 393 for example, PER (Packet Error Rate), BER (Bit Error Rate), the number of packet retransmissions, and throughput are stored. Further, as the radio wave propagation measurement information 393, for example, a frame drop, SIR (Signal-to-Interference-Ratio), and RSSI (Received-Signal-Strength-Indicator) are stored. Here, SINR (Signal to (Interference plus Noise Ratio) may be used instead of SIR. Note that the radio wave propagation measurement information 393 illustrated in FIG. 4 is an example, and at least one of these may be stored, and other radio wave propagation measurement information is measured and stored by the stream reception unit 330. You may do it.
  • radio wave propagation measurement information measured by the source device may be acquired and stored. Further, the packet delay received by the receiving side may be determined, and information regarding this packet delay may be used as the radio wave propagation measurement information.
  • This packet delay is one indicator for radio wave propagation because, for example, when an error occurs, a delay occurs in transmission to the receiving side due to retransmission processing in layer 2. Further, the packet delay is an index indicating whether some link characteristic is deteriorated in a wireless system in which a plurality of devices share a wireless band, for example.
  • the device information 394 stores the type (source device attribute) of the source device connected to the information processing apparatus 300 using wireless communication. For example, either a mobile device or a stationary device is stored as the source device type. Note that, as the type of the source device, either a device that is used while the power is inserted or another device may be stored. Further, as the type of the source device, either a battery-driven device or any other device may be stored.
  • the bandwidth usage level 395 stores the bandwidth usage level by the source device connected to the information processing apparatus 300 using wireless communication.
  • the band usage level for example, resolution or throughput can be used.
  • the bandwidth usage level may store the throughput being used.
  • a predetermined table is prepared, and a number indicating which range of the table corresponds is stored and managed. You may do it.
  • the display form 396 stores a data display form (output form) based on a stream transmitted from a source device connected to the information processing apparatus 300 using wireless communication.
  • the display form main image (center channel), sub-image (peripheral channel)
  • the output form main audio, sub audio
  • the display mode may be such that peripheral channels are not displayed.
  • the standby / wakeup 397 stores the mode of the source device connected to the information processing apparatus 300 using wireless communication (standby mode, wakeup mode).
  • the multi-reception diversity support 398 stores information indicating whether the source device connected to the information processing apparatus 300 using wireless communication is compatible with multi-reception diversity.
  • the management information held in the management information holding unit 390 associates identification information (terminal identification information 391) for identifying another information processing apparatus and capability information related to the other information processing apparatus.
  • the management information includes capability information related to other information processing apparatuses, information related to radio wave propagation measurement related to communication with other information processing apparatuses (radio wave propagation measurement information 393), and information related to power consumption (standby / wakeup 397). And at least.
  • the management information held in the management information holding unit 390 includes at least information related to a display form (display form 396) for displaying image information as Capability information related to another information processing apparatus.
  • the information related to the display form is information indicating that the image information is main-displayed or sub-displayed, for example.
  • the information about the source device since the information about the source device is managed on the sink device side, the information about the source device that can be grasped by the sink device (for example, the terminal identification information 391 and the name of the source device) can be displayed. Further, information related to the source device that can be grasped by the sink device (for example, the terminal identification information 391 and the name of the source device) and the display screen of the source device can be displayed in association with each other. That is, the control unit 370 can display the image of the source device and information representing the source device in association with the display unit 351. In this case, which user refers to which display screen by displaying information (for example, terminal identification information, name) about the source device on a part (or the vicinity thereof) of the image of the source device. Can be easily grasped. This makes it possible for other users to grasp the source device that can be operated. In this case, for example, the sink device can perform each control in the order in which the operations are received.
  • FIG. 5 is a diagram illustrating a transition example of an image displayed on the display unit 351 of the information processing device 300 according to the first embodiment of the present technology.
  • 5A shows an example of a display format in which the image 11 and the image 12 are displayed on the display unit 351 of the information processing apparatus 300 using the image 11 as a central channel and the image 12 as a peripheral channel.
  • FIG. 5b shows an example of a display format in which the image 11 and the image 12 are displayed on the display unit 351 of the information processing apparatus 300 using the image 11 as a peripheral channel and the image 12 as a central channel.
  • each of the information processing device 200 and the information processing device 400 transmits a standard resolution stream (image data and audio data) to the information processing device 300.
  • the image 11 based on the image data from the information processing device 200 and the image 12 based on the image data from the information processing device 400 have the same size.
  • the information can be displayed on the display unit 351 of the information processing apparatus 300.
  • the given resolution and display area are defined to be the same.
  • a scaler function is added to the display unit 351 so that the images 11 and 12 are rescaled and displayed on the display unit 351. May be.
  • this function is not used in order to simplify the description.
  • the display format set at the time of the previous communication is held, and the images 11 and 12 are displayed in the display unit of the information processing apparatus 300 according to the display format. 351 may be displayed.
  • the display formats of the image 11 and the image 12 may be determined based on the order of connection to the information processing apparatus 300. For example, it is assumed that the information processing apparatus 200 is first connected to the information processing apparatus 300 and the information processing apparatus 400 is connected to the information processing apparatus 300 after this connection. In this case, the image 11 and the image 12 are displayed on the display unit 351 of the information processing apparatus 300 using the image 11 as a central channel and the image 12 as a peripheral channel. That is, based on the connection order to the information processing apparatus 300, the display may be performed in the order of the central channel and the peripheral channel.
  • the image 11 is the central channel
  • the image 12 is the peripheral channel
  • the image 11 and the image 12 are displayed on the display unit 351, the user who uses the image 12 as the central channel.
  • information is acquired by the user information acquisition unit 360.
  • the viewer performs an operation for setting the image 12 as the central channel using a pointer such as a remote controller or a gesture
  • user information regarding the image 12 as the central channel is acquired by the user information acquisition unit 360.
  • the image 11 and the image 12 are displayed on the display unit 351 with the image 12 as a central channel and the image 11 as a peripheral channel.
  • the display positions of the image 11 and the image 12 on the display surface of the display unit 351 are also determined based on user information (for example, manual operation, line of sight) acquired by the user information acquisition unit 360.
  • FIG. 6 is a sequence chart illustrating an example of communication processing between devices included in the communication system 100 according to the first embodiment of the present technology.
  • the information processing apparatus 300 can return a capability related to the own apparatus.
  • the information processing apparatus 200 transmits a confirmation request to the information processing apparatus 300 (501, 502).
  • This confirmation request is a request for information regarding the display area of the information processing apparatus 200, the display area for multi-sources (but not the resolution to be transmitted), the display position (for example, coordinates) of the information processing apparatus 200, and the rotation of the display image.
  • a request for confirmation regarding resolution / sound quality / power consumption performance is an example, and other contents may be requested at the same time.
  • these pieces of information may be transmitted at a time or may be transmitted sequentially.
  • the information processing apparatus 300 transmits a confirmation response to the information processing apparatus 200 (503, 504).
  • This confirmation response includes the display area of the information processing apparatus 200, the display area for the multi-source (but not the resolution to be transmitted), the response of the display position of the information processing apparatus 200, the rotation information of the display screen, the resolution / sound quality / This is for performing a confirmation response regarding the power consumption performance.
  • This confirmation response is an example, and other contents may be responded simultaneously.
  • the information processing apparatus 200 transmits a mode request (including designation of the display position) to the information processing apparatus 300 (505, 506). Thereby, the information processing apparatus 200 can specify a display position for the information processing apparatus 300.
  • the information processing apparatus 300 transmits a mode setting completion notification (including designation of a display position) to the information processing apparatus 200 (507, 508). Thereby, the information processing apparatus 200 can display an image at the designated display position.
  • the information processing apparatus 200 transmits an image (image data) to be displayed to the information processing apparatus 300 (509, 510). In this case, the information processing apparatus 200 transmits an image (image data) to be displayed to the information processing apparatus 300 based on the received mode setting completion notification. Then, the information processing apparatus 300 displays the received image on the display unit 351 (511).
  • the display area in the sink device As described above, in the capability exchange between the source device and the sink device, the display area in the sink device, the display area for the multi-source (but not the resolution to be transmitted), the display position, and the display screen rotation information are requested. be able to. Thereby, the display position of the sink device can be notified to the source device in real time, and the display position can be controlled from the source device. That is, even in a multi-source environment, an appropriate display window (image display area of each source device) can be arranged at an appropriate place.
  • Example of communication 7 and 8 are sequence charts illustrating an example of communication processing between the devices included in the communication system 100 according to the first embodiment of the present technology. 7 and 8 show communication examples when the exchange shown in FIG. 6 is performed in the topology shown in FIG.
  • the image / audio signal generation unit 250, the image / audio compression unit 260, and the stream transmission unit 270 are shown as the data transmission system 201 among the units constituting the information processing apparatus 200.
  • the antenna 210, the wireless communication unit 220, the control signal receiving unit 230, and the control unit 240 are shown as a line control system 202.
  • the information processing apparatus 400 is shown as a data transmission system 401 and a line control system 402.
  • the antenna 310, the wireless communication unit 320, the stream reception unit 330, the control unit 370, and the control signal transmission unit 380 are shown as the line control system 301 among the units constituting the information processing apparatus 300. Also, the image / sound development unit 340, the image / sound output unit 350, and the user information acquisition unit 360 are shown as the input / output system 302.
  • the display form of the information processing apparatus 300 is the previous display form (display form when the information processing apparatus 300 is turned off). Is set (1001). Further, the control unit 370 of the information processing device 300 causes the management information holding unit 390 (shown in FIG. 4) to hold management information of each source device connected to the information processing device 300 using wireless communication. Further, as illustrated in FIG. 5, the control unit 370 of the information processing device 300 displays the images 11 corresponding to the two streams transmitted from the information processing device 200 and the information processing device 400 based on the previous display form. , 12 are displayed on the display unit 351.
  • the display form setting operation (change operation) is performed by the user (1002).
  • a control signal related to the setting operation is acquired as user information by the user information acquisition unit 360, and the user information is output to the control unit 370.
  • the control unit 370 changes the content held in the management information holding unit 390 (shown in FIG. 4) based on the user information (1003, 1004).
  • FIG. 5 b a case is assumed in which a setting operation (change operation) for setting the image 11 based on the image data from the information processing apparatus 200 as a peripheral channel is performed.
  • the control unit 370 changes the display form 396 (shown in FIG. 4) of the information processing apparatus 200 in the management information holding unit 390 to “sub” (1003, 1004).
  • each request can be made, and the information processing device 300 can return a capability related to the own device.
  • the information processing apparatus 200 transmits a first confirmation request to the information processing apparatus 300 (1005, 1006).
  • This first confirmation request is for requesting information regarding the display area of the information processing device 200, the display area for multi-sources (but not the resolution to be transmitted), the display position of the information processing device 200, and the rotation of the display image. belongs to.
  • the information processing apparatus 300 transmits a first confirmation response to the information processing apparatus 200 (1007 to 1010).
  • This first confirmation response is to respond to information regarding the display area of the information processing apparatus 200, the display area for multi-sources (but not the resolution to be transmitted), the display position of the information processing apparatus 200, and the rotation of the display image. belongs to.
  • the information processing apparatus 200 transmits a mode request (including display position designation) to the information processing apparatus 300 (1011 and 1012). Thereby, the information processing apparatus 200 can specify a display position for the information processing apparatus 300.
  • the information processing apparatus 300 transmits a mode setting completion notice (including display position designation) to the information processing apparatus 200 (1013 to 1016). Thereby, the information processing apparatus 200 can display an image at the designated display position.
  • each process (1017 to 1032) is performed between the information processing apparatus 300 and the information processing apparatus 400, similarly to each process (1001 to 1016) described above.
  • first confirmation request and the first confirmation response are examples, and these may be exchanged at the same time, or may be exchanged in another order. Further, other contents may be transmitted simultaneously or sequentially.
  • a plurality of source devices (the information processing device 200 and the information processing device 400) request a mode request (a mode request (1011 and 1012 shown in FIG. 7), a mode request (1027, 1028)) may be transmitted.
  • a plurality of source devices may transmit a mode request at the same time. Therefore, a control example of the sink device when a mode request is received simultaneously (or substantially simultaneously) from a plurality of source devices will be described.
  • the sink device when receiving a mode request from each source device, the sink device (for example, the information processing device 300) determines which source device should give priority to the mode request according to the display content of the display unit. can do.
  • the following two types R1 and (R2) are conceivable.
  • the sink device receives the mode request from each source device in parallel, and selects from the received information.
  • the sink device bundles the mode request from each source device and ID To manage as a single piece of information
  • the sink device can directly grasp the mode request from each source device. For this reason, the sink device can perform control to turn on / off the mode request from each source device. Then, the sink device can decide to prioritize the contents of the mode request from a certain source device. However, in (R1), the processing load on the sink device increases as the number of source devices increases.
  • the sink device switches the contents of the mode request after the mode requests from a plurality of source devices are bundled. For this reason, the processing load of the sink device can be reduced.
  • mode requests from each source device are bundled and managed by ID. For this reason, in order for the sink device to perform control to turn on / off the mode request from the source device, a header for identifying each source device is required.
  • the standard is often determined by a mode request content switching unit (shown in FIGS. 9 to 14) that switches the mode request content. For this reason, for example, it is conceivable to prepare and manage TCP (Transmission Control Protocol), UDP (User Datagram Protocol), RTSP (Real Time Streaming Protocol), and a Web socket port.
  • TCP Transmission Control Protocol
  • UDP User Datagram Protocol
  • RTSP Real Time Streaming Protocol
  • Web socket port for example, it is conceivable to prepare and manage TCP (Transmission Control Protocol), UDP (User Datagram Protocol), RTSP (Real Time Streaming Protocol), and a Web socket port.
  • FIG. 9 is a diagram illustrating a configuration example in the case of controlling on / off of a mode request by the sink device according to the first embodiment of the present technology.
  • FIG. 9 shows an example of controlling on / off of a mode request performed between one sink device 1100 and a plurality of source devices 1211 to 1214 by the determination method (R1) described above. That is, an example is shown in which the sink device 1100 prepares a plurality of ports for each of a plurality of source devices 1211 to 1214 and selects a source device based on a request from an upper layer or a state of a display screen. For example, the sink device 1100 can set Off of the source device based on an Off request from an upper layer. Further, for example, the sink device 1100 can set Off of the source device based on the display state of the display screen in the sink device 1100.
  • Each of the source devices 1211 to 1214 transmits Forward Channel information (for example, a mode request) to the sink device 1100 (1215 to 1218).
  • Forward Channel information for example, a mode request
  • the sink device 1100 includes a display control unit 1110 and a mode request content switching unit 1120.
  • the display control unit 1110 and the mode request content switching unit 1120 correspond to the stream reception unit 330 and the control unit 370 shown in FIG.
  • the display control unit 1110 determines which source device the input is to be switched to based on the display position of the image (image transmitted from the source device) displayed on the display unit. Further, the display control unit 1110 notifies the determined content to the mode request content switching unit 1120 (1111).
  • the display control unit 1110 determines which source device the input is turned on and which source device the input is turned off. In addition, after the link is established between the sink device 1100 and the source device, stop, playback, disconnection, start, and the like can be appropriately performed by the exchange between the sink device 1100 and the source device.
  • the display control unit 1110 can implement exclusive control for each port of the source devices 1211 to 1214 by ignoring the Forward Channel information. Further, the display control unit 1110 can realize exclusive control by issuing a transmission stop message to each port.
  • the mode request content switching unit 1120 switches and receives the forward channel information from each source device based on the content determined by the display control unit 1110, and outputs the received information to the display control unit 1110. For example, the mode request content switching unit 1120 receives only the forward channel information from the source device determined by the display control unit 1110, and outputs this information to the display control unit 1110.
  • FIG. 10 is a diagram illustrating a configuration example in the case of controlling on / off of a mode request by the sink device according to the first embodiment of the present technology.
  • FIG. 10 shows an example of controlling on / off of a mode request performed between one sink device 1300 and a plurality of source devices 1211 to 1214 by the determination method (R2) described above. That is, an example is shown in which the sink device 1300 prepares one port by bundling Forward Channel information and manages each source device based on an ID header inserted into a packet.
  • the source devices 1211 to 1214 are the same as the source devices 1211 to 1214 shown in FIG.
  • the sink device 1300 includes a display control unit 1310, a mode request content switching unit 1320, and a common input switching unit 1330.
  • Display control unit 1310, mode request content switching unit 1320, and common input switching unit 1330 correspond to stream receiving unit 330 and control unit 370 shown in FIG.
  • the display control unit 1310 determines which source device to switch to the input based on the display position of the image (image transmitted from the source device) displayed on the display unit. The display control unit 1310 notifies the determined content to the mode request content switching unit 1320 (1311).
  • the display control unit 1310 determines which source device the input is turned on and which source device the input is turned off. In addition, after the link is established between the sink device 1300 and the source device, stop, playback, disconnection, start, and the like can be appropriately performed by the exchange between the sink device 1300 and the source device.
  • the mode request content switching unit 1320 receives the forward channel information from each source device switched by the common input switching unit 1330 based on the content determined by the display control unit 1310. Then, the mode request content switching unit 1320 outputs the received information to the display control unit 1310.
  • the common input switching unit 1330 receives information corresponding to a predetermined standard, and outputs the received information to the mode request content switching unit 1320. For example, the common input switching unit 1330 receives ID information for each source device and control data.
  • the common input switching unit 1330 turns on the input from which source device based on the ID information for each source device determined in advance and the request from the mode request content switching unit 1320, and from which source device. Switch the input of to off.
  • UIBC on / off control example The determination method described above can also be applied to UIBC. In the following, an example of UIBC on / off control will be described.
  • FIG. 11 is a diagram illustrating a configuration example in the case of controlling on / off of the UIBC by the sink device according to the first embodiment of the present technology.
  • FIG. 11 shows an example of applying UIBC on / off between one sink device 1100 and a plurality of source devices 1211 to 1214 by applying the above-described determination method (R1). That is, an example is shown in which the sink device 1100 prepares a plurality of ports for each of a plurality of source devices 1211 to 1214 and selects a UIBC based on a request from an upper layer or a state of a display screen. For example, the sink device 1100 can set UIBC Off based on an Off request from an upper layer. Also, for example, the sink device 1100 can set UIBC Off based on the display state of the display screen in the sink device 1100.
  • Each of the source devices 1211 to 1214 transmits UIBC information to the sink device 1100. Also, the sink device 1100 transmits UIBC information to each of the source devices 1211 to 1214 (1225 to 1228).
  • the display control unit 1110 determines which source device to switch to based on the display position of the image (image transmitted from the source device) displayed on the display unit. Further, the display control unit 1110 notifies the mode request content switching unit 1120 of the determined content (1112).
  • the display control unit 1110 determines which source device the input is turned on and which source device the input is turned off. In addition, after the link is established between the sink device 1100 and the source device, stop, playback, disconnection, start, and the like can be appropriately performed by the exchange between the source device 1100 and the sink device.
  • the display control unit 1110 can implement exclusive control by ignoring the UIBC information for each port of the source devices 1211 to 1214. Further, the display control unit 1110 can realize exclusive control by issuing a transmission stop message to each port.
  • the mode request content switching unit 1120 switches and receives UIBC information from each source device based on the content determined by the display control unit 1110, and outputs the received information to the display control unit 1110. For example, the mode request content switching unit 1120 receives only UIBC information from the source device determined by the display control unit 1110, and outputs this information to the display control unit 1110.
  • FIG. 12 is a diagram illustrating a configuration example in the case of controlling the ON / OFF of the UIBC by the sink device according to the first embodiment of the present technology.
  • FIG. 12 illustrates an example in which UIBC on / off performed between one sink device 1300 and a plurality of source devices 1211 to 1214 is applied by applying the determination method (R2) described above. That is, an example is shown in which the sink device 1300 prepares one port by bundling UIBC information and manages each source device based on an ID header inserted into a packet.
  • the display control unit 1310 determines which source device to switch to based on the display position of the image (image transmitted from the source device) displayed on the display unit.
  • the display control unit 1310 notifies the determined content to the mode request content switching unit 1320 (1312).
  • the display control unit 1310 determines which source device the input is turned on and which source device the input is turned off. In addition, after the link is established between the sink device 1300 and the source device, stop, playback, disconnection, start, and the like can be appropriately performed by the exchange between the source device 1300 and the sink device.
  • the mode request content switching unit 1320 receives UIBC information from each source device switched by the common input switching unit 1330 based on the content determined by the display control unit 1310. Then, the mode request content switching unit 1320 outputs the received information to the display control unit 1310.
  • the common input switching unit 1330 receives information corresponding to a predetermined standard, and outputs the received information to the mode request content switching unit 1320. For example, the common input switching unit 1330 receives ID information for each source device and control data. Further, the common input switching unit 1330 turns on the input from which source device based on the ID information for each source device determined in advance and the request from the mode request content switching unit 1320, and from which source device. To turn off the input of. For example, the mode request content switching unit 1320 receives only UIBC information from the source device determined by the display control unit 1310 and outputs this information to the display control unit 1310.
  • FIG. 13 is a diagram illustrating a configuration example in the case of controlling UIBC on / off by the sink device according to the first embodiment of the present technology.
  • FIG. 13 shows an example in which on / off of UIBC performed between a plurality of sink devices 1501 to 1504 and one source device 1400 is applied by applying the determination method (R1) described above. That is, an example in which the source device 1400 prepares a plurality of ports for each of the plurality of sink devices 1501 to 1504 and selects a UIBC based on a request from an upper layer or a user operation on a display screen. For example, the source device 1400 can make a UIBC Off request based on an Off request from an upper layer. For example, the source device 1400 can make a UIBC Off request based on a user operation on the display screen of the sink device 1100.
  • Each of the sink devices 1501 to 1504 transmits the UIBC information to the source device 1400 (1505 to 1508).
  • the display control unit 1410 determines which sink device the input is switched to based on the display position of the image (image transmitted from the source device) displayed on each display unit of the sink devices 1501 to 1504. Further, the display control unit 1410 notifies the determined content to the mode request content switching unit 1420 (1411).
  • the display control unit 1410 determines which sink device input is turned on and which sink device input is turned off based on the display position. In addition, after a link is established between the source device 1400 and the sink device, the source device 1400 and the sink device can be appropriately stopped, played, disconnected, started, and the like.
  • the display control unit 1410 can realize exclusive control by ignoring the UIBC information for each port of the sink devices 1501 to 1504. In addition, the display control unit 1410 can implement exclusive control by issuing a transmission stop message to each port.
  • the mode request content switching unit 1420 switches and receives UIBC information from each sink device based on the content determined by the display control unit 1410, and outputs the received information to the display control unit 1410. For example, the mode request content switching unit 1420 receives only UIBC information from the sink device determined by the display control unit 1410, and outputs this information to the display control unit 1410.
  • FIG. 14 is a diagram illustrating a configuration example in the case of controlling on / off of the UIBC by the sink device according to the first embodiment of the present technology.
  • FIG. 14 shows an example of controlling the ON / OFF of UIBC performed between the plurality of sink devices 1501 to 504 and one source device 1600 by applying the above-described determination method (R2). That is, an example is shown in which the source device 1600 prepares one port by bundling UIBC information and manages each sink device based on the ID header inserted into the packet.
  • the display control unit 1610 determines which sink device the input is switched to based on the display position of the image (image transmitted from the source device) displayed on the display unit of each sink device.
  • the display control unit 1610 notifies the determined content to the mode request content switching unit 1620 (1611).
  • the display control unit 1610 determines which sink device input is turned on and which sink device input is turned off. In addition, after a link is established between the source device 1600 and the source device, stop, playback, disconnection, start, and the like can be appropriately performed by the exchange between the source device 1600 and the sink device.
  • the mode request content switching unit 1620 receives UIBC information from each sink device switched by the common input switching unit 1630 based on the content determined by the display control unit 1610. Then, the mode request content switching unit 1620 outputs the received information to the display control unit 1610 (1611).
  • the common input switching unit 1630 receives information corresponding to a predetermined standard, and outputs the received information to the mode request content switching unit 1620 (1621). For example, the common input switching unit 1630 receives ID information and the like for each sink device and control data. The common input switching unit 1630 turns on the input from which sink device based on the ID information for each sink device determined in advance and the request from the mode request content switching unit 1620, and from which sink device. To turn off the input of. For example, the mode request content switching unit 1620 receives only UIBC information from the sink device determined by the display control unit 1610 and outputs this information to the display control unit 1610.
  • control data and UIBC information can be exchanged between the sink device and the source device.
  • control data and UIBC information can be exchanged between the sink device and the source device.
  • the present technology is not limited to these.
  • an example of on / off control of the forward channel, control data, and UIBC information is shown, but the present technology is not limited to these.
  • the RTSP commands Player / Pause, standby / resume, IDR refresh request, etc.
  • FIGS. 18 and 19 may perform the same on / off control.
  • the on / off control may refer to control of connection / disconnection, start / stop, validation (acceptance) / invalidation (ignore).
  • a device other than the source device and the sink device may be added, and the device may operate each source device via the sink device.
  • a display position control client for example, a display position control client
  • FIG. 15 and FIG. 16 an information processing device 203 (display position control client) is added, and the information processing device 203 operates the information processing device 200 (source device) via the information processing device 300 (sink device).
  • an information processing device 203 display position control client
  • the information processing device 203 operates the information processing device 200 (source device) via the information processing device 300 (sink device).
  • the above-described additional devices may be one or a plurality of input devices such as a keyboard, a mouse, and a joystick, and are connected to the sink device by wire or wirelessly. It may be. Further, the plurality of input devices may be provided on the sink device in a fixed or detachable manner. As described above, when the sink device has a plurality of input devices (for example, detachable, including wired or wireless connection), the operation information of the plurality of input devices is transmitted from each one via one or more sink devices. It is transmitted by being included in the UIBC information. At this time, the ID information inserted into the UIBC information packet may be inserted as a plurality of ID information related to a plurality of input devices.
  • FIG. 15 and FIG. 16 are sequence charts illustrating an example of communication processing between devices included in the communication system 100 according to the first embodiment of the present technology.
  • a display position control client (information processing device (source device) 203) other than the information processing device 200 (source device) and the information processing device 300 (sink device) grasps the display position of the sink device.
  • the display position control client (information processing device 203) is a control client that grasps the display position of the information processing device 300 (sink device), and displays the display position image of the information processing device 300 (sink device) on a display device (not shown). ). For example, the display position and size of each image displayed on the information processing apparatus 300 (sink device) are displayed on the display device for each source device. Thereby, the user of the source device can grasp each image.
  • the image / audio signal generation unit 250, the image / audio compression unit 260, and the stream transmission unit 270 are shown as the data transmission system 201 among the units constituting the information processing apparatus 200.
  • the antenna 210, the wireless communication unit 220, the control signal receiving unit 230, and the control unit 240 are shown as a line control system 202.
  • the antenna 310, the wireless communication unit 320, the stream receiving unit 330, the control unit 370, and the control signal transmission unit 380 are shown as the line control system 301 among the units constituting the information processing apparatus 300. Also, the image / sound development unit 340, the image / sound output unit 350, and the user information acquisition unit 360 are shown as the input / output system 302.
  • the display form of the information processing apparatus 300 is the previous display form (display form when the information processing apparatus 300 is turned off). Is set (521). Further, the control unit 370 of the information processing device 300 causes the management information holding unit 390 (shown in FIG. 4) to hold management information of each source device connected to the information processing device 300 using wireless communication. Further, as illustrated in FIG. 5, the control unit 370 of the information processing device 300 displays the images 11 corresponding to the two streams transmitted from the information processing device 200 and the information processing device 400 based on the previous display form. , 12 are displayed on the display unit 351.
  • the display form setting operation (change operation) is performed by the user (522).
  • a control signal related to the setting operation is acquired as user information by the user information acquisition unit 360, and the user information is output to the control unit 370.
  • the control unit 370 changes the content held in the management information holding unit 390 (shown in FIG. 4) based on the user information (523, 524).
  • FIG. 5 b a case is assumed in which a setting operation (change operation) for setting the image 11 based on the image data from the information processing apparatus 200 as a peripheral channel is performed.
  • the control unit 370 changes the display form 396 (shown in FIG. 4) of the information processing apparatus 200 in the management information holding unit 390 to “sub” (523, 524).
  • each request can be made, and the information processing device 300 can return a capability related to the own device.
  • the information processing apparatus 200 transmits a first confirmation request to the information processing apparatus 300 (525, 526).
  • This first confirmation request is for requesting the display area of the information processing apparatus 200, the display area for multi-sources (but not the resolution to be transmitted), and the display position of the information processing apparatus 200.
  • the information processing apparatus 300 transmits a first confirmation response to the information processing apparatus 200 (527 to 530).
  • This first confirmation response is for responding to the display area of the information processing apparatus 200, the display area for the multi-source (but not the resolution to be transmitted), and the display position of the information processing apparatus 200.
  • the information processing device 300 transmits the first confirmation response to the information processing device 203 (531, 532).
  • the information processing apparatus 300 first sets each piece of information related to other source devices other than the information processing device 200 (display area of other source devices, display area for multiple sources, display position of other source devices). It may be included in the confirmation response and transmitted to the information processing apparatus 203. Thereby, the information processing apparatus 203 can quickly grasp the display position of each source device in the sink device.
  • the information processing apparatus 200 transmits a mode request (including display position designation) to the information processing apparatus 300 (533, 534). Thereby, the information processing apparatus 200 can specify a display position for the information processing apparatus 300.
  • the information processing apparatus 300 transmits a mode setting completion notification (including designation of the display position) to the information processing apparatus 200 (535 to 538). Further, the information processing apparatus 300 transmits a mode setting completion notification (including display position designation) to the information processing apparatus 203 (539, 540). Thereby, the information processing apparatus 203 can display an image at the designated display position.
  • the information processing apparatus 200 transmits a second confirmation request to the information processing apparatus 300 (541, 542).
  • This second confirmation request is for making a confirmation request regarding resolution / sound quality / power consumption performance.
  • the first confirmation request is a future standard of the Wi-Fi standard (for example, Wi-Fi CERTIFIED Miracast).
  • the second confirmation request may be an operation within the current Wi-Fi standard (for example, Wi-Fi CERTIFIED Miracast).
  • the information processing apparatus 300 transmits a second confirmation response to the information processing apparatus 200 (543, 544).
  • the second confirmation response is for performing a confirmation response regarding resolution / sound quality / power consumption performance.
  • first and second confirmation requests and first and second confirmation responses are examples, and these may be exchanged at the same time or in other orders. Further, other contents may be transmitted simultaneously or sequentially.
  • the line control system 202 of the information processing device 200 When the second confirmation response is received (544), the line control system 202 of the information processing device 200 outputs the mode setting (including display position designation) to the data transmission system 201 (545, 546). In addition, the line control system 202 of the information processing apparatus 200 transmits the mode setting (including display position designation) to the information processing apparatus 300 (547, 548). This mode setting is for making settings relating to resolution / sound quality / power consumption performance.
  • the display position of the image from the information processing apparatus 200 is changed from the central screen (main screen) to the peripheral screen (sub screen) (549).
  • each setting for changing to the peripheral screen (sub-screen) is performed (550, 551).
  • the information processing apparatus 203 displays an image of a display position in the information processing apparatus 300 (an image of the information processing apparatus 200) as a sub screen.
  • the information processing apparatus 203 transmits a command (display position operation command) for operating the display position of the information processing apparatus 200 to the information processing apparatus 300 (552, 553).
  • the information processing apparatus 300 receives a stream from the information processing apparatus 200 (554, 555), and displays an image based on the stream on the display unit 351 (556). Then, the information processing apparatus 300 changes the settings so that the resolution, sound, and power consumption are optimal for the information processing apparatus 300 when changing to the display position requested by the display position operation command. Further, when the display mode setting operation (change operation) is performed by the user (557), each process according to the setting operation is performed (558, 559). Then, the information processing apparatus 300 transmits a setting change request for changing the setting to the information processing apparatuses 200 and 203 (560 to 563).
  • the information processing apparatus 300 receives a stream from the information processing apparatus 200 (564, 565).
  • the display position of the sink device can be notified to the source device in real time, and the display position can be controlled from the source device.
  • the screen displayed by the sink device is not only the image received from the source device (information processing device 200), but also image information from other connection lines provided in the sink device (information processing device 300). May be received and displayed.
  • a case where an information processing apparatus of the Hybridcast standard is used as a sink device can be handled.
  • a Hybridcast standard device for example, a video viewing device
  • auxiliary information including moving images
  • an image of the source device (information processing apparatus 200) may be displayed in a part of the environment of the Hybridcast standard. This example will be described in a fourth embodiment of the present technology.
  • the information processing device 300 may perform control so as to minimize the total data transmission rate of the two streams transmitted from the information processing device 200 and the information processing device 400, respectively.
  • the maximum allowable value of the total data transmission rate is set in the control unit 370 of the information processing apparatus 300 on the receiving side. Then, after transmitting the change request for reducing the bit rate to the information processing apparatus 200, the control unit 370 transmits the bit rates of the two streams transmitted from the information processing apparatuses 200 and 400 from the stream reception unit 330, respectively. get. Subsequently, the control unit 370 calculates the total data transmission rate of the two acquired streams.
  • the control unit 370 determines the bit rate of the stream transmitted from the information processing device 400 within a range that does not exceed the set maximum allowable value, and issues a change request for improving the bit rate to the information processing device. 400. If the PER (PacketPackError ⁇ ⁇ ⁇ Rate) is large even if it is set to the lowest bit rate and cannot be accommodated in the same frequency channel, another frequency channel may be used. If the image (center channel, peripheral channel) has been stopped for a certain time or longer, the image data may be stopped unless an operation (for example, pointing) from the user occurs.
  • PER PacketPackError ⁇ ⁇ ⁇ Rate
  • Stream control for example, data transmission rate control
  • the sink device when the sink device receives and displays a plurality of streams, important images and sounds can be enjoyed with high quality as set by the user from time to time.
  • the data transmission rate can be automatically adjusted to the optimum frequency channel, power consumption, and transmission rate. Further, it is possible to perform a connection control operation having real-time characteristics while stably operating the image transmission mode.
  • management information held in the management information holding unit 390 can be exchanged by using a command prepared in Wi-Fi CERTIFIED Miracast.
  • Capability Negotiation or Capability re-negotiation defined in the Wi-Fi Display specification can be used.
  • examples of Capability Negotiation or Capability re-negotiation include RFC 5939 and Wi-Fi CERTIFIED Miracast specifications.
  • Capability Negotiation or Capability re-negotiation is not limited to these and is defined as exchange of device performance information. Examples of communication using the Wi-Fi CERTIFIED Miracast specification command are shown in FIGS.
  • FIGS. 17 to 19 are sequence charts illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology. 17 to 19 show communication examples using the RTSP protocol. Note that the source device 410 corresponds to the information processing devices 200 and 400, and the sink device 420 corresponds to the information processing device 300.
  • an “RTSP M3 Request” (RTSP GET_PARAMETER Request) message transmitted from the source device 410 to the sink device 420 and the source device from the sink device 420 in response to this message
  • the “RTSP M3 Response” (RTSP GET_PARAMETER Response) message transmitted to 410 can be used.
  • the source device 410 may be appropriately transmitted from the source device 410 to the sink device 420.
  • the exchange of the “RTSP M3 Request” (RTSP GET_PARAMETER Request) message and the “RTSP M3 Response” (RTSP GET_PARAMETER Response) message is omitted, and the management information is included in the message sent from the source device 410 to the sink device 420 Then, the management information may be transmitted from the source device 410 to the sink device 420, and the sink device 420 may select the information and hold it in the management information holding unit 390.
  • link protection setup is performed after M3 Response. For this reason, it may be desired that communication can be performed while ensuring the secrecy of the link once set by performing only the message of M4 or more.
  • the exchange of information regarding the power consumption mode can be performed by a predetermined message using the RTSP protocol.
  • the following three types of management information (1) to (3) can be exchanged.
  • the “RTSP M12 Request” (“SPSP M12 Request”) sent from the source device 410 to the sink device 420 in the above-described (1) “Setting to Standby mode” ( An RTSP SET_PARAMETER (with WFD-standby)) message and an “RTSP M12 Response” (RTSP OK) message transmitted from the sink device 420 to the source device 410 in response thereto can be used.
  • SPSP M12 Request An RTSP SET_PARAMETER (with WFD-standby)
  • RTSP OK “RTSP M12 Response”
  • the source device 410 transmits “RTSP M5 Request” ( An RTSP SET_PARAMETER (Request (wfd-trigger-method: PLAY)) message and a “RTSP M5 Response” (RTSP OK) message sent from the sink device 420 to the source device 410 in response to this message are exchanged.
  • 420 is an “RTSP M7 Request” (RTSP PLAY Request) message transmitted to the source device 410 and the source device 410 to the sink device 420 in response to this message. Is Shin “RTSP M7 Response” may be used and (RTSP OK) message.
  • the sink device 420 is transmitted to the source device 410.
  • An “RTSP M7 Request” (RTSP PLAY Request) message and an “RTSP M7 Response” (RTSP OK) message transmitted from the source device 410 to the sink device 420 in response to the “RTSP PLAY Request” message can be used.
  • the wireless communication unit 320 can exchange the capability information by the capability negotiation or the capability re-negotiation defined in the Wi-Fi Display specification. Also, the capability information is exchanged, for example, in RTSP M3 Message in Capability Negotiation or Capability re-negotiation.
  • the wireless communication unit 320 of the information processing apparatus 300 performs communication with the information processing apparatus 200 for exchanging the capability information related to the information processing apparatus 300 and the capability information related to the information processing apparatus 200.
  • the wireless communication unit 220 of the information processing apparatus 200 performs communication with the information processing apparatus 300 for exchanging Capability information regarding the information processing apparatus 200 and Capability information regarding the information processing apparatus 300.
  • the radio communication units 220 and 320 can exchange the capability information by using Capability Negotiation or Capability re-negotiation.
  • control unit 370 of the information processing device 300 is based on Capability information regarding the information processing device 200, radio wave propagation measurement information regarding communication with the information processing device 200, and how the information processing device 300 is used. 200 performs stream transmission control.
  • the control unit 240 of the information processing device 200 includes Capability information related to the information processing device 200 and radio wave propagation measurement information related to stream communication with the information processing device 300. It is also possible to perform stream transmission control with the information processing device 300 based on the control from the information processing device 300 based on the above.
  • control unit 370 of the information processing device 300 performs control to set the power consumption mode in the information processing device 200 based on capability information regarding the information processing device 200 (for example, information indicating whether the device is a mobile device). .
  • the control unit 370 may perform control to set the low power consumption mode in the information processing apparatus 200 based on the capability information regarding the information processing apparatus 200 and the management information for managing the information processing apparatus 200. it can.
  • the control unit 240 of the information processing device 200 sets the power consumption mode based on control from the information processing device 300 based on the capability information regarding the information processing device 200.
  • an example of a topology with two source devices has been described, but the embodiment of the present technology is not limited to this.
  • WebSocket is a communication standard in which once a connection is established between a server and a client, data can be exchanged by socket communication without being aware of the communication procedure unless explicitly disconnected.
  • the same data can be shared by the server and all the clients that are connected by WebSocket, and can be transmitted and received in real time. That is, WebSocket can maintain a port and can perform image transmission and audio transmission in real time.
  • Wi-Fi CERTIFIED Miracast there is a UIBC from the sink device to the source device as described above.
  • the demand for the control line such as control from the source device to the sink device, becomes higher in a multi-source or multi-sync topology environment.
  • each information is exchanged between the source device and the sink device using WebSocket.
  • WebSocket For example, in the Capability Negotiation described above, each piece of information for setting the WebSocket can be exchanged between the source device and the sink device, and a new WebSocket can be set.
  • FIG. 20 and FIG. 21 are sequence charts illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 20 and FIG. 21 show a communication example (UIBC setting example) for setting UIBC in Capability Negotiation. This UIBC setting method is defined in the Wi-Fi CERTIFIED Miracast standard.
  • exchange of Wfd-ubic-Capability is performed between the source device 410 and the sink device 420 by an M3 message (RTSP GET_PARAMETER).
  • the purpose of this exchange is for the source device 410 to check whether or not the sink device 420 has a built-in UIBC function.
  • the source device 410 receives the capability information of the sink device 420 from the sink device 420, and makes a UIBC line setting request to the sink device 420 with an M4 message.
  • the connection request may be made with the M14 message after the image transmission is started without sending the UIBC line setting request with the M4 message.
  • transmitting the M14 message not only a request from the source device 410 but also a UIBC line setting request from the sink device 420 to the source device 410 may be made. An example of this is shown in FIG.
  • UIBC does not become enable only by exchanging M4 / M14 messages. Therefore, as shown in FIG. 20b and FIG. 21b, after receiving a response to the UIBC line setting request, the M15 message is exchanged. As a result, the UIBC line is enabled.
  • FIG. 22 and 23 are sequence charts illustrating an example of communication processing between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 22 and FIG. 23 show communication examples (WebSocket setting examples) for setting WebSockets in Capability Negotiation.
  • the source device 410 receives the capability information of the sink device 420 from the sink device 420, and makes a WebSocket line setting request to the sink device 420 with an M4 message.
  • the connection request may be made with the M14 message after the image transmission is started without sending the WebSocket line setting request with the M4 message.
  • the M14 message not only a request from the source device 410 but also a WebSocket line setting request from the sink device 420 to the source device 410 may be made. An example of this is shown in FIG.
  • WebSocket cannot be enabled only by exchanging M4 / M14 messages. For this reason, as shown in FIG. 22b and FIG. 23b, M15 messages are exchanged after receiving a response to the WebSocket line setting request. As a result, the WebSocket line is enabled.
  • FIG. 24 is a sequence chart illustrating a communication processing example between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 24 shows an example of communication (setting example of UIBC and WebSocket) for setting UIBC and WebSocket in Capability Negotiation.
  • FIG. 24 shows a communication example in which the WebSocket connection request / response shown in FIGS. 22 and 23 is made together with the UIBC connection request / response shown in FIGS.
  • wfd-websocket-Capability is defined as a WebSocket line, and Capability Negotiation is performed between the source device 410 and the sink device 420 as to whether or not the WebSocket line is implemented.
  • FIG. 24 shows an example in which the port number for WebSocket is set to a port number different from UIBC. In this way, by using WebSocket as a separate port, it is possible to perform processing with high real-time characteristics while simultaneously using both the connection links of UIBC and WebSocket.
  • FIG. 24 shows an example in which when a new command and UIBC are designated as different ports on TCP, the new command and UIBC exchange real-time data, so that UIBC and WebSocket are determined as different categories.
  • the exchange of Wfd-ubic-Capability is performed between the source device 410 and the sink device 420 by an M3 message (Req.GET_PARAMETER_REQUEST). Further, the exchange of Wfd-websocket-Capability is performed between the source device 410 and the sink device 420 by the M3 message (Req. GET_PARAMETER_REQUEST). The purpose of this exchange is for the source device 410 to check whether or not the sink device 420 has a built-in UIBC function and WebSocket function.
  • the Capability of UIBC and the Capability of WebSocket are transmitted from the sink device 420 to the source device 410 by the M3 message (Res. GET_PARAMETER_RESPONSE).
  • the M3 message Res. GET_PARAMETER_RESPONSE.
  • “GENERIC (coordinates)” is designated for UIBC, the following contents are transmitted.
  • wfd-websocket-capability "wfd_websocket_capability:" SP ("none” / (input-category-val ";xxxx;” tcp-port)) CRLF; "none” if not supported
  • information for designating UIBC and WebSocket is transmitted from the source device 410 to the sink device 420 by the M4 / M14 message (Req.GET_PARAMETER_REQUEST).
  • M4 / M14 message Req.GET_PARAMETER_REQUEST.
  • “GENERIC (coordinates)” is designated for UIBC, the following contents are transmitted.
  • An example of a frame format when this content is transmitted is shown in FIG.
  • CTRL for example, equivalent to (B1) to (B3) shown in the second embodiment of the present technology
  • FIG. 25 shows an example of the UIBC frame format transmitted from the source device 410 to the sink device 420 by the M4 / M14 message (Req.SET_PARAMETER_REQUEST).
  • FIG. 25 is an example of a UIBC frame format exchanged between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 25 shows an example of a UIBC frame format when Generic Input is specified.
  • Fig. 25b shows the contents stored in the field "Generic Input Type ID" shown in Fig. 25a.
  • FIG. 25c shows the contents stored in the field “Describing” shown in FIG. 25a.
  • the example of the WebSocket connection method is the same as the UIBC connection method, but other methods may be used as the WebSocket connection method.
  • other methods may be used as the WebSocket connection method.
  • the present invention is not limited to this.
  • other devices may be used as long as they have equivalent functions.
  • FIG. 24 shows an example in which a port number different from UIBC is set as the port number for WebSocket
  • UIBC and WebSocket may be set to the same port. Therefore, FIG. 26 shows a connection example in which UIBC and WebSocket are operated on the same port.
  • FIG. 26 is a sequence chart illustrating a communication processing example between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 26 shows a communication example (setting example of UIBC and WebSocket) for setting UIBC and WebSocket in Capability Negotiation.
  • the sink device 420 can select GENERIC from GENERIC, HIDC, and WebSocket.
  • the following content is transmitted from the sink device 420 to the source device 410 as an M3 message (Res.GET_PARAMETER_RESPONSE).
  • the M4 / M14 message (Req.SET_PARAMETER_REQUEST), for example, the following content is transmitted from the source device 410 to the sink device 420.
  • UIBC and WebSocket can be designated as the same port on TCP.
  • connection method is changed depending on whether the UIBC and WebSocket are the same port or different ports.
  • UIBC Capability Negotiation of the same port using UIBC and WebSocket
  • FIG. 1 An example of changing the port in this way is shown in FIG.
  • FIG. 27 is a flowchart illustrating an example of a processing procedure of port setting processing by the information processing device 300 according to the first embodiment of the present technology.
  • control unit 370 of the information processing apparatus 300 starts Capability Negotiation with the source device (step S801). Subsequently, the control unit 370 determines whether a request for UIBC and WebSocket has been received from the source device (step S802). If the request has not been received (step S802), the port setting processing operation is terminated.
  • control unit 370 checks whether the UIBC and WebSocket are set to the same port based on the display area of the display unit 351. (Step S803).
  • control unit 370 performs connection control setting using the same port (step S805). For example, as shown in FIG. 26, exchange is performed for setting UIBC and WebSocket to the same port.
  • control unit 370 performs connection control setting using another port (step S806). For example, as shown in FIG. 24, an exchange is performed to set UIBC and WebSocket as different ports.
  • control unit 370 changes the display form of the display unit 351 in order to display the image transmitted from the source device (step S807). Subsequently, the control unit 370 determines whether or not there is a source device that needs to change the port setting after the display form is changed (step S808). When there is no source device that needs to change the port setting (step S808), the operation of the port setting process ends.
  • control unit 370 controls the source device (the UIBC and the WebSocket are set to the same port) to make them different ports. Is performed (step S809).
  • control unit 370 determines whether or not it is necessary to reduce the number of ports (step S810). If it is not necessary to reduce the number of ports (step S810), the operation of the port setting process is terminated.
  • step S810 When it is necessary to reduce the number of ports (step S810), the control unit 370 performs control for setting the same port for source devices in which UIBC and WebSocket are set differently (step S811). ). Note that steps S802 to S811 are an example of a control procedure described in the claims.
  • the wireless communication unit 320 of the information processing apparatus 300 performs real-time image transmission with the source device according to the Wi-Fi CERTIFIED Miracast specification.
  • the control unit 370 causes the display unit 351 to display an image based on the image information transmitted from the source device, and a plurality of communication methods (UIBC, WebSocket) for exchanging control information regarding the image with the source device. )
  • UIBC UIBC
  • WebSocket WebSocket
  • the control unit 370 specifies information for specifying a plurality of communication methods using the port (for example, FIG. 24, FIG. Each information described in (26) is transmitted to the source device.
  • control unit 370 can set a plurality of ports for each of a plurality of communication methods as ports used for a plurality of communication methods. In this case, the control unit 370 can set a plurality of ports in response to a request from the source device.
  • control unit 370 can set one port for a plurality of communication methods as a port used for a plurality of communication methods.
  • control unit 370 transmits information regarding the display mode of the image of the source device on the display unit 351 to the source device using any of a plurality of communication methods, and based on the control information transmitted from the source device.
  • the display mode of the image can be changed.
  • the control information is, for example, operation information related to an operation for changing the display mode of the source device image accepted by the source device.
  • control unit 240 of the information processing apparatus 200 transmits image information for displaying an image on the display unit on the sink device side to the sink device.
  • control unit 240 can perform control to set ports used for a plurality of communication methods for exchanging control information regarding the image with the sink device.
  • UIBC and WebSocket are set to different ports, it is necessary to set two different links for each source device. That is, twice as many ports of the source device are required. For this reason, for example, when tens of thousands of source devices are connected to the sink device, it is assumed that port allocation cannot be performed. In this case, the system response may be deteriorated. Therefore, in the first embodiment of the present technology, one or a plurality of ports are appropriately set according to the use environment.
  • the UIBC control channel can be switched to the requested source device during connection.
  • the source device transmits the display position information of the source device by an operation from the sink device, the UIBC control channel can be switched to the requested sink device during connection.
  • FIG. 28 is a diagram illustrating a communication example of image data and audio data using WebSocket between the source device 410 and the sink device 420 according to the first embodiment of the present technology.
  • FIG. 28 a shows an example of communication processing between the source device 410 and the sink device 420.
  • 28B and 28C show an example of a frame format of WebSocket exchanged between the source device 410 and the sink device 420.
  • FIG. 28 a shows an example of communication processing between the source device 410 and the sink device 420.
  • 28B and 28C show an example of a frame format of WebSocket exchanged between the source device 410 and the sink device 420.
  • FIG. 28 shows an example in which the Wi-Fi CERTIFIED Miracast source device 410 functions as a WebSocket client and the sink device 420 functions as a WebSocket server.
  • the source device 410 transmits Host, Sec-WebSocket-Key, and Sec-WebSocket-Version to the sink device 420 (441).
  • Host designates the connection destination of WebSocket.
  • Sec-WebSocket-Key is used to obtain a handshake response.
  • Sec-WebSocket-Version is for designating the version of WebSocket.
  • the sink device 420 creates a Sec-WebSocket-Accept value based on the Sec-WebSocket-Key value received from the source device 410. Then, the sink device 420 transmits the created Sec-WebSocket-Accept to the source device 410 (442).
  • Sec-WebSocket-Accept is for maintaining a connection with the client.
  • the source device 410 transmits the frame format shown in FIG. 28b to the sink device (441).
  • data to be transmitted can be specified by a WebSocket Type ID.
  • An example of this WebSocket Type ID is shown in FIG.
  • image data and audio data are exchanged as binary data of WebSocket between the source device 410 and the sink device 420 (443).
  • the sink device 420 connects with the immediately preceding data. Further, when FIN is 0x1, since it is a flag indicating that Payload has ended, the sink device 420 performs Payload processing.
  • RSV is an extension bit.
  • opcode when opcode is 0x0, Payload continues, so the sink device 420 connects to the immediately preceding data.
  • opcode when opcode is 0x1, it means that Payload is text, and when opcode is 0x2, it means that Payload is binary.
  • MASK is a bit indicating whether the message is encoded. Note that the message from the source device 410 to the sink device 420 is always encoded.
  • image data and audio data can be exchanged as binary data of WebSocket between the source device 410 and the sink device 420. That is, image data and audio data can be transmitted using the WebSocket standard format. For this reason, pre-authentication can be performed using image data or audio data. Moreover, it can respond to various other use cases.
  • the exchange of image data and audio data between the source device and the sink device can be performed using WebSocket while performing image transmission of the Wi-Fi CERTIFIED Miracast standard.
  • control unit 370 of the information processing apparatus 300 can acquire the image information and the sound information transmitted from the source device using the WebSocket. Further, the control unit 370 can display an image based on the image information on the display unit 351, and can output a sound based on the sound information from the sound output unit 352.
  • the sink device can manage connection control terminals of all source devices and accept connection control operations from all source devices. Further, for example, it is possible to cope with an environment where all the source devices cannot enter the image transmission mode due to the limitation of the transmission band. That is, in an environment in which images from a plurality of source devices are displayed on the display unit on the sink device side, the image transmission mode can be stably operated, and connection control operations with real-time properties can be performed.
  • the display position of each image on the sink device can be notified to the source device in real time, and the display position can be controlled from the source device. Can do.
  • information regarding the display position can be exchanged simultaneously using UIBC and WebSocket.
  • information related to the source device and the image of the source device can be displayed in association with each other on the display unit on the sink device side. In this case, it is possible to perform operations in the order in which the requests are received in response to a request from the source device.
  • Second Embodiment> In the second embodiment of the present technology, an example in which a connection between a source device and a sink device via an access point and a direct connection between the source device and the sink device are switched (or connected simultaneously) is shown.
  • FIG. 29 is a diagram illustrating a system configuration example of a communication system 600 according to the second embodiment of the present technology.
  • the communication system 600 includes an access point 601, a network 602, information processing devices 603, 604, 610, 620, 630, a display device 631, and a control device 640.
  • the access point 601 is a wireless LAN (for example, Wi-Fi) access point (Access Point).
  • the access point 601 has a function of an infrastructure mode of the IEEE 802.11 standard.
  • the access point 601 is connected to one or a plurality of information processing devices (for example, a transmission-side information processing device (source device) and a reception-side information processing device (sink device)).
  • the access point 601 can be connected to the information processing apparatus 630 via a wired line (for example, Ethernet (registered trademark)).
  • the access point 601 can be connected to the information processing apparatus 630 via the network 602.
  • the access point 601 may be connected to the internal bus of the information processing device 630 for processing.
  • the internal bus of the information processing device 630 is, for example, USB (Universal Serial Bus), PCI (Peripheral Components Interconnect), or PCI Express.
  • the connection between the access point 601 and the information processing apparatus 630 may be a wireless connection (for example, a wireless LAN) instead of a wired connection.
  • the network 602 is connected to the information processing device 630, and the information processing device 630 needs to determine whether it is a transmission / reception process with the access point 601 or a transmission / reception process with the information processing device 610.
  • the access point 601 and the information processing devices 603, 604, 610, and 620 are wireless LANs (for example, wireless devices corresponding to IEEE802.11a / b / g / n / ac / ad).
  • wireless LANs for example, wireless devices corresponding to IEEE802.11a / b / g / n / ac / ad.
  • An example of connection using a LAN will be described.
  • an example is shown in which the access point 601 and the information processing device 630 are connected via an Ethernet line.
  • the information processing devices 603, 604, 610, and 620 are information processing devices (source devices) on the transmission side and the information processing device 630 is an information processing device (sink device) on the reception side is shown.
  • the information processing apparatuses 603, 604, 610, and 620 correspond to the information processing apparatus 200 illustrated in FIG. 2
  • the information processing apparatus 630 corresponds to the information processing apparatus 300 illustrated in FIG.
  • the information processing device 610 will be mainly described as the source device, but the same applies to the information processing devices 603, 604, and 620.
  • the information processing apparatus 610 is an information processing apparatus (source device) on the transmission side that transmits an image.
  • the information processing apparatus 610 is an information processing apparatus that can be connected to the access point 601 in the infrastructure mode.
  • connection example in which the information processing apparatus 610 connects to the access point 601 in the infrastructure mode will be described.
  • the information processing device 610 transmits a connection request signal to the access point 601.
  • the information processing apparatus 610 starts an operation (connection establishment operation) for establishing a connection with the access point 601 by transmitting a connection request signal.
  • connection establishment operation is an operation for connecting the layer 2 levels. For example, in addition to password authentication using PID (Packet Identification) performed in a wireless LAN, connection authentication processing for determining whether or not to connect the information processing apparatus 610 as an application is also required.
  • PID Packet Identification
  • the information processing device 610 can be connected to the information processing device 630 by P2P direct communication (for example, WiFi Direct).
  • P2P direct communication for example, WiFi Direct
  • the information processing device 610 is connected to the information processing device 630 by WiFi Direct, and has a protocol that enables transmission of image audio (video audio) such as Wi-Fi CERTIFIED Miracast and DLNA (Digital Living Network Network Alliance).
  • the information processing apparatus 610 is connected to the access point 601 and is a low-speed video / audio transmission apparatus (standby apparatus) that only exchanges various information with the information processing apparatus 630 via the access point 601. You may do it. Note that when the information processing device 610 is used only as a low-speed video / audio transmission device, the information processing device 610 may not have a protocol that enables high-speed video / audio transmission.
  • the information processing device 630 includes a communication function for connecting to the access point 601, the information processing devices 603, 604, 610, 620, and the control device 640. Further, the information processing device 630 has a function of controlling the entire protocol by connecting to the access point 601, the information processing devices 603, 604, 610, 620, and the control device 640. Further, the information processing device 630 has a communication function for connecting to a local area LAN or a global LAN.
  • a frequency different from the radio frequency used by the access point 601 for connection between the information processing device 630 and the information processing devices 603, 604, 610, and 620 is preferable to use a frequency different from the radio frequency used by the access point 601 for connection between the information processing device 630 and the information processing devices 603, 604, 610, and 620.
  • a frequency band of 2.4 GHz band, 5 GHz band, 60 GHz, or the like such as IEEE802.11a / b / g / n / ac / ad is used is shown.
  • other wireless standards and frequency bands may be used.
  • the information processing device 630 has a display function for displaying an image.
  • This display function is a function for displaying a screen of a TV (television) or a projector.
  • the information processing device 630 may display an image on a display unit included in the information processing device 630 or may display an image on an external display device. Note that in the second embodiment of the present technology, an example in which a display device 631 separate from the information processing device 630 is provided is shown.
  • the information processing device 630 and the display device 631 can be connected by wire or wirelessly.
  • a wired cable for example, HDMI (registered trademark) (High-Definition Multimedia Interface), MHL (Mobile High-definition Link), DisplayPort, USB3. 0
  • HDMI registered trademark
  • MHL Mobile High-definition Link
  • DisplayPort USB3. 0
  • the wireless LAN can be used for connection.
  • a plurality of display devices may be connected to the information processing device 630.
  • the control device 640 manages each information processing device (information processing devices 603, 604, 610, 620, 630) constituting the communication system 600, and grasps and controls the connection and display state of each information processing device.
  • the control device 640 manages and grasps information related to each information processing device (for example, terminal identification information, capability information) and an operation state (for example, communication mode, group participation state) of each information processing device.
  • the control device 640 is connected to the information processing device 630 using wireless communication.
  • a communication method for example, wireless LAN
  • infrared rays, other wireless systems, and wired lines may be used.
  • the control device 640 may be provided with a protocol for connecting to the access point 601 and connected to the information processing device 630 via the access point 601.
  • the control device 640 can manage each information processing device by grasping the participation and withdrawal from the group. For example, each source device participating in the group performs processing such as sending a command to the access point 601 or the information processing device 630 to the extent that power consumption is not affected. When the command is directly received or indirectly received via the access point 601, the information processing device 630 notifies the control device 640 of information regarding the source device that has received the command. Thereby, the control device 640 can confirm whether or not the source device has left the group.
  • the control device 640 causes the input / output unit 643 to display an image (for example, an icon) corresponding to the source device participating in the group. Further, for example, when the control device 640 confirms whether or not the source device participating in the group has left the group, and detects the source device that has left the group, the control device 640 detects an image corresponding to the source device that has left the group. (For example, an icon) is deleted from the input / output unit 643. For example, if it is determined that a command from a certain information processing apparatus has not been received for a predetermined time or more, the control apparatus 640 determines that the information processing apparatus has left the group. Then, the control device 640 deletes an image (for example, an icon) corresponding to the detached information processing device from the input / output unit 643.
  • an image for example, an icon
  • the control device 640 can display an image (for example, an icon) corresponding to the information processing devices participating in the group on the input / output unit 643 according to the location where each information processing device exists. For example, position information (for example, latitude and longitude) of each information processing apparatus can be acquired, and the absolute position of each information processing apparatus can be determined based on the position information. Each student can be arranged by determining the relative position of each information processing device based on the determined position of each information processing device. Each information processing apparatus can acquire position information by, for example, GPS (Global Positioning System).
  • GPS Global Positioning System
  • the relative position of each information processing device can be detected using radio waves.
  • the information processing device 630 acquires radio wave intensities from a plurality of information processing devices, and uses a triangulation surveying method based on these radio wave intensities to position relative to other information processing devices. (Position of own device) can be obtained.
  • the control device 640 can acquire the relative position thus obtained, and can arrange images of the respective information processing devices.
  • control device 640 manages one or a plurality of information processing devices connected to the information processing device 630 and displays an image representing each information processing device on the input / output unit 643 of the control device 640.
  • information processing device 630 manages one or a plurality of information processing devices connected to the information processing device 630, and displays an image representing each information processing device on the display unit or the display device 631 of the information processing device 630. You may do it.
  • the following (B1) to (B3) can be used as triggers for switching the communication mode of the source device.
  • (B1) Switching using the source device (for example, active switching by a user operation using the source device)
  • (B2) Switching using the control device (for example, switching by user operation using the control device 640 (remote operation switching))
  • (B3) Switching using a sink device (for example, switching by a user operation using a sink device (or a display device 631 connected thereto))
  • the user operation (switching operation) in each device is, for example, a user operation using an operation receiving unit (for example, an operation member or a touch panel) included in each device or a user information acquisition unit (for example, a gesture included in each device). This is a user operation using a detection unit).
  • an operation receiving unit for example, an operation member or a touch panel
  • a user information acquisition unit for example, a gesture included in each device. This is a user operation using a detection unit).
  • (B1) can use, for example, an application input in advance in the source device or an operation input of an operation member as a switching trigger. For example, when a switching operation is performed in the source device, a command related to switching of the communication mode is transmitted to the sink device (information processing device 630). When this command is received, the sink device (information processing device 630) performs control to increase / decrease the bandwidth of the source device that transmitted the command while controlling other bandwidths. Also, the sink device (information processing device 630) transmits information indicating that the communication mode of the source device that transmitted the command has been switched to the control device 640. In this case, the control device 640 may output (display, audio output) notification information indicating that the communication mode has been switched.
  • (B2) can use, for example, a user operation in the sink device (information processing device 630) as a switching trigger. For example, when a source device switching operation is performed in the sink device (information processing device 630), control is performed to increase / decrease the bandwidth of the source device for which the switching operation has been performed while controlling other bandwidths. . Also, the sink device (information processing device 630) transmits information indicating that the communication mode of the source device for which the switching operation has been performed is switched to the control device 640. In this case, similarly to the case of (B1), the control device 640 may output notification information indicating that the communication mode has been switched.
  • (B3) can use a user operation in the control device 640 as a switching trigger, for example.
  • a switching trigger for example, when the switching operation of the source device is performed in the control device 640, information (for example, terminal identification information) regarding the source device for which the switching operation has been performed is transmitted to the sink device (information processing device 630).
  • the sink device information processing device 630
  • the sink device performs control to increase / decrease the bandwidth of the source device for which the switching operation has been performed while performing control including other bandwidths.
  • control device 640 manages each device connected to the control device 640 as described above. Then, the control device 640 confirms whether or not each of these devices has left the group. If the devices have left, the control device 640 displays an image (for example, an icon) corresponding to the device withdrawn from the management of the own device. Delete from the input / output unit 643.
  • the control device 640 displays an image (for example, an icon) corresponding to each information processing device participating in the group on the input / output unit 643 so as to be arranged according to the location where each information processing device exists.
  • the information processing apparatus set to the low-speed image / audio transmission mode is switched to the high-speed image / audio transmission mode (peripheral channel).
  • an operation for moving an image corresponding to the information processing apparatus to be switched to a first area for example, a presentation area
  • a drag and drop operation is performed.
  • the information processing apparatus set to the low-speed video / audio transmission mode can be switched to the high-speed video / audio transmission mode (peripheral channel).
  • a case is assumed where the information processing apparatus set to the high-speed video / audio transmission mode (central channel, peripheral channel) is switched to the low-speed video / audio transmission mode.
  • an operation for moving an image corresponding to the information processing apparatus to be switched to a second area for example, a standby area
  • a drag and drop operation is performed.
  • the information processing apparatus set to the high-speed video / audio transmission mode center channel, peripheral channel
  • control device 640 may output notification information indicating that the communication mode has been switched.
  • control device 640 may display images representing each information processing device in different display modes for each communication mode.
  • the outline of the image representing the information processing apparatus set to the high-speed image audio transmission mode (center channel) is indicated by a thick line
  • the image outline representing the information processing apparatus set to the high-speed image audio transmission mode (peripheral channel) Is a thin line.
  • the outline of the image representing the information processing apparatus set to the low-speed image / sound transmission mode can be a dotted line.
  • an image representing an information processing apparatus set to the high-speed image audio transmission mode (peripheral channel) is set to red
  • an image representing the information processing apparatus set to the high-speed image audio transmission mode (peripheral channel) is set.
  • the color of is blue.
  • the color of the image representing the information processing apparatus set to the low-speed image / sound transmission mode can be white.
  • a connection method in which the source device and the sink device are indirectly connected via the access point is adopted.
  • a connection method in which the source device and the sink device are directly connected without using an access point is adopted.
  • FIG. 30 is a flowchart illustrating an example of a processing procedure of data transmission processing by the information processing device 610 according to the second embodiment of the present technology.
  • FIG. 30 shows an example in which each process is started after the source device (information processing apparatus 610) is directly connected to the access point by default. That is, the information processing apparatus 610 activates an application installed in advance, and issues a connection request to the sink device via a specific access point (access point 601).
  • FIG. 30 illustrates an example in which the sink device is connected to the information processing device 630 and the access point 601 is connected as a specific access point.
  • an application for communicating with the sink device is started in the information processing device 610 (step S821). After this activation, the sink device (information processing device 630) to be connected is selected (step S821).
  • control unit of the information processing device 610 makes a connection request to the information processing device 630 via the access point 601 (AP) (step S822). Subsequently, the control unit of the information processing device 610 determines whether connection permission information is received from the information processing device 630 via the access point 601 (step S823). If connection permission information has not been received from the information processing device 630 (step S823), the data transmission processing operation is terminated. In this case, the operation of the data transmission process may be terminated on condition that the connection permission information is not received within a predetermined time.
  • connection permission information is received from the information processing device 630 (step S823)
  • the control unit of the information processing device 610 transmits the capability information of the information processing device 610 to the information processing device 630 via the access point 601. (Step S824).
  • control unit of the information processing device 610 determines whether or not setting request information has been received from the information processing device 630 via the access point 601 (step S825). If setting request information has not been received (step S825), monitoring is continued.
  • step S825 When the setting request information is received (step S825), the standby mode is set in the information processing apparatus 610 as an initial state. Then, the control unit of the information processing device 610 determines whether or not the standby mode is set (step S826). When the standby mode is set in the information processing device 610 (step S826), monitoring is continued.
  • Step S826 the control unit of the information processing device 610 determines whether or not the information processing device 610 has left the group.
  • the user operation for leaving the group is performed. It is assumed that this is done.
  • This user operation can be, for example, an operation of pressing a release button (for example, an operation member pressing operation, a touch panel pressing operation). The user operation is performed in any one of the information processing device 610, another source device, the sink device, and the control device 640.
  • step S827 If the information processing device 610 has left the group (step S827), the data transmission processing operation ends. If the information processing device 610 has not left the group (step S827), the control unit of the information processing device 610 disconnects the connection with the information processing device 630 via the access point 601 (step S828). .
  • control unit of the information processing device 610 performs P2P connection processing for performing direct connection with the information processing device 630 (step S829).
  • the control unit of the information processing device 610 makes a connection request to the information processing device 630 based on the setting request information received from the information processing device 630 (step S830).
  • control unit of the information processing device 610 determines whether or not confirmation information indicating that reception of an image corresponding to the connection request is permitted has been transmitted from the information processing device 630 (step S831).
  • confirmation information is not transmitted from the information processing device 630 (step S831), monitoring is continued.
  • step S831 When the confirmation information is transmitted from the information processing device 630 (step S831), the control unit of the information processing device 610 starts a P2P direct connection with the information processing device 630 (step S832). Then, the control unit of the information processing device 610 performs negotiation of image parameters and audio parameters with the information processing device 630 based on the connection request corresponding to the received confirmation information, and transmits image data (step). S833).
  • control unit of the information processing device 610 determines whether an image transmission mode is set (step S834). If the image transmission mode is set in the information processing apparatus 610 (step S834), the process returns to step S833.
  • step S834 the control unit of the information processing device 610 determines whether the line is disconnected (step S835). For example, when the information processing apparatus 610 leaves the group, the line with the access point 601 or the information processing apparatus 630 is disconnected. If the line is disconnected (step S835), the data transmission processing operation is terminated.
  • step S835 the control unit of the information processing device 610 disconnects the direct connection with the information processing device 630 (step S836). Subsequently, the control unit of the information processing device 610 starts connection with the access point 601 (step S837).
  • the information processing apparatus 610 performs real-time image transmission with the information processing apparatus 630 according to the Wi-Fi CERTIFIED Miracast specification.
  • the control unit of the information processing device 610 performs control so as to receive setting request information for performing settings related to real-time image transmission in the information processing device 610 from the information processing device 630 via the access point 601.
  • the control unit of the information processing device 610 controls to transmit a setting request for performing setting based on the setting request information to the information processing device 630 through direct communication with the information processing device 630.
  • the setting request information is generated based on the capability information (related to the information processing device 610) exchanged between the information processing device 610 and the information processing device 630 via the access point 601.
  • the control unit of the information processing device 610 can control to perform the connection process using at least one of the port information and the IP information related to the connection before the switching.
  • the switching of the connection state is switching from the connection state with the information processing device 630 via the access point 601 to the connection state with the information processing device 630 by direct communication, or vice versa.
  • the control unit of the information processing device 610 performs control so that an image to be displayed in the peripheral channel region of the display device 631 is transmitted through a low-frequency band wireless transmission path. Further, in the image transmission mode (peripheral channel), the control unit of the information processing device 610 performs control so that an image to be displayed in the central channel region of the display device 631 is transmitted through a high-frequency band wireless transmission path.
  • control unit of the information processing device 610 controls to transmit a setting request to the information processing device 630 by direct communication based on a user operation in any of the devices.
  • control unit of the information processing device 610 controls to transmit the setting request to the information processing device 630 by direct communication based on a predetermined order (for example, the order of images displayed in the peripheral channel region).
  • control unit of the information processing device 630 performs control so that setting request information for performing settings related to real-time image transmission to the information processing device 610 is transmitted to the information processing device 610 via the access point 601.
  • the control unit of the information processing device 630 controls to receive a setting request for performing setting based on the setting request information from the information processing device 610 through direct communication with the information processing device 610.
  • the switching time can be shortened.
  • the switching time can be reduced in an infrastructure environment and a WiFi Direct (or Wi-Fi CERTIFIED Miracast) environment. Thereby, seamless connection switching can be provided.
  • a plurality of source devices can participate in a group and a connection order can be provided to share image information with higher quality images.
  • the sink device or control device
  • the sink device can be notified of the source device participating in the infrastructure environment.
  • the WiFi Direct or Wi-Fi CERTIFIED Miracast
  • the embodiment of the present technology it is possible to provide a communication system capable of performing stable image transmission even in an environment where the number of connected devices is large. That is, in the embodiment of the present technology, appropriate control can be performed when communication is performed between a plurality of information processing apparatuses.
  • the state management of the connected device can also be performed by the sink device with the WebSocket server built into the sink device.
  • a connection line for WebSocket necessary for managing the state of the connection device can operate WebSocket via an access point when the standby mode is set.
  • WebSocket can be operated on Wi-Fi CERTIFIED Miracast.
  • FIG. 31 and 32 are flowcharts illustrating an example of a processing procedure of data transmission processing by the information processing device 610 according to the second embodiment of the present technology.
  • FIGS. 31 and 32 show an example in which each process is started after the source device (information processing apparatus 610) is directly connected to the access point, and connection to a public line other than the access point is possible by default. . Moreover, since FIG. 31 and FIG. 32 are the modifications of FIG. 30, a part of description about the part which is common in FIG. 30 is abbreviate
  • step S841 an application is activated (step S841), and a connection request to the information processing device 630 is made via the access point 601 (AP) (step S842). Subsequently, the control unit of the information processing device 610 determines whether connection permission information is received from the information processing device 630 via the access point 601 (step S843). If connection permission information has not been received from the information processing device 630 (step S843), the data transmission processing operation ends. Note that steps S841 to S843 correspond to steps S821 to S823 shown in FIG.
  • connection permission information is received from the information processing device 630 (step S843), the control unit of the information processing device 610 includes information permitting outdoor use (outdoor use information) in the connection permission information. It is determined whether or not (step S844).
  • This outdoor use information is permission information indicating whether to permit connection with an information processing device 630 via an access point other than the access point 601 or a base station.
  • the information processing device 630 transmits connection permission information in response to a connection request received via the access point 601 (AP)
  • the information processing device 630 acquires outdoor use information (permitted or not permitted) from the control device 640. And include it in the connection permission information.
  • the information processing device 630 does not permit unauthorized outdoor use when it is in a time zone other than the time zone set as the group available time. Send the information including the connection permission information. That is, the control device 640 performs scheduling (schedule management), manages the scheduled time of the participant, and permits outdoor use only when the time zone is reached.
  • the outdoor use information may be included in the capability information and transmitted from the sink device to the source device.
  • the information processing device 630 transmits the permitted outdoor use information in the connection permission information
  • the setting information for using the public network in a place where the radio waves of the access point 601 do not reach is transmitted. Include in information.
  • permission / non-permission for outdoor use is set in advance.
  • permission / non-permission is set in each device.
  • an operation for setting permission / non-permission using at least one of the other source devices for example, information processing devices 603, 604, and 620), the sink device (information processing device 630), and the control device 640 is performed. It can be carried out.
  • the information processing device 630 displays a display screen for selecting permission or disapproval on the input / output unit 643 of the control device 640, and accepts a permission or disapproval selection operation performed on the display screen. it can.
  • the information processing device 630 displays a display screen for selecting permission or disapproval on the display unit 632 of the display device 631, and accepts a permission or disapproval selection operation using the display screen. It can.
  • the selection operation of permission or non-permission can be received by operation input using an operation member or operation input by a gesture.
  • the information processing device 630 displays a display screen (for example, hop-up) for selecting permission or disapproval on the display unit 621 of another source device (for example, the information processing device 620). Then, the information processing device 630 can accept a permit / deny selection operation performed on the display screen.
  • a display screen for example, hop-up
  • the information processing device 630 can accept a permit / deny selection operation performed on the display screen.
  • permission or disapproval can be set each time there is a connection request from the source device. For this reason, for example, even when confidentiality and importance differ depending on the time of day, it is possible to set permission or disapproval appropriately.
  • the sink device functions as a group authentication server, and the sink device performs management for determining whether to permit outdoor use.
  • a management device for example, a management server
  • a management device that manages the permission / non-permission of outdoor use and links with the source device is newly provided, and it is determined whether or not outdoor use is permitted by the management device. Management for this purpose may be performed.
  • connection permission information includes outdoor use information that permits outdoor use
  • the control unit of the information processing device 610 displays on the display unit 611 that outdoor use is permitted. (Step S845). For example, it is possible to notify the user by hop-up display that the use within the same floor (the range where the radio waves of the access point 601 reach) and the outdoor use are permitted.
  • the control unit of the information processing device 610 transmits capability information regarding the information processing device 610 and public network service information to the information processing device 630 via the access point 601 (step S846).
  • the public network service information is information for the information processing apparatus 610 to use the public network service, and is, for example, a connection destination telephone number (phone number of the information processing apparatus 610), an authentication password, or the like.
  • step S847 the control unit of the information processing device 610 performs communication processing.
  • each process steps S825 to S837) shown in FIG. 30 is performed.
  • control unit of the information processing device 610 determines whether or not it has moved outside the radio wave transmission range of the access point 601 (step S848). If it has not moved outside the radio wave transmission range of the access point 601 (step S848), the process returns to step S847.
  • the control unit of the information processing device 610 confirms whether or not the user desires continuous use outdoors (step S849). For example, it is assumed that the user performs an operation (for example, a communication end operation) to disconnect the connection with the sink device. For this reason, it is confirmed whether or not the user desires continuous use outdoors.
  • the control unit of the information processing device 610 displays a pop-up including a message indicating that the access point 601 has moved outside the radio wave transmission range and a selection button for selecting whether or not the outdoor use is desired. Be displayed on the part 611. Then, the control unit of the information processing device 610 determines whether or not a selection button for selecting outdoor use in the pop-up has been pressed (step S849). That is, the control unit of the information processing device 610 determines whether or not the continuous use at the place after the movement is selected (step S849). If the continuous use at the location after movement is not selected (step S849), the data transmission processing operation is terminated.
  • control unit of the information processing device 610 when the control unit of the information processing device 610 receives outdoor use information (permission information) permitting outdoor use, the information processing device passes through an access point or base station other than the access point 601. Control to exchange with 630. In this case, the control unit of the information processing device 610 controls to receive and output at least one of image data and audio data from the information processing device 630 via an access point other than the access point 601 or a base station. be able to.
  • connection processing by the information processing device 630 via the base station existing at the location after movement is performed (step S850).
  • the control unit of the information processing device 630 determines whether or not the information processing device 610 has moved outside the radio wave transmission range of the access point 601.
  • the control unit of the information processing device 630 transmits the information processing device 610 via the base station existing at the moved location. Connection process to connect with.
  • the control unit of the information processing device 630 transmits the information to the information processing device 610 via the public network based on the telephone number. Make a call. Then, the control unit of the information processing device 610 performs connection processing with the information processing device 630 via the public network.
  • the information processing apparatus 630 When the user moves outside the radio wave transmission range of the access point 601, the user who owns the information processing device 610 cannot see the display unit 632 of the display device 631 and is output from the display device 631. It is assumed that the voice cannot be heard. Therefore, when the information processing apparatus 630 is connected to the information processing apparatus 610 via the public network, the information processing apparatus 630 performs an exchange for confirming whether or not the information processing apparatus 610 can receive images and sounds. Then, the information processing device 630 determines whether the information processing device 610 can receive both an image and sound, can receive only an image, or can receive only sound.
  • the information processing device 630 performs data communication (image data, audio data) with the information processing device 610. That is, the control unit of the information processing device 610 performs data communication (image data, audio data) with the information processing device 630 via the public network. In this data communication, bidirectional exchange is performed between the information processing device 610 and the information processing device 630.
  • control unit of the information processing device 630 transmits at least one of the display screen displayed on the display unit 632 of the display device 631 and the sound output from the display device 631.
  • the display screen displayed on the display unit 611 of the information processing device 610 cannot be seen. In this case, only audio transmission may be performed.
  • the data to be transmitted can be changed by the user of the information processing apparatus 610.
  • the information processing device 630 transmits a transmission path (for example, a bandwidth or a communication status) to the information processing device 610 via the public network. ) Then, the information processing device 630 may switch data to be transmitted based on the confirmation result. For example, when a large-capacity transmission path is secured, the information processing device 630 transmits both image data and audio data. For example, when a large-capacity transmission path is not secured, the information processing device 630 transcodes image data to reduce the capacity, or transmits only audio data.
  • a transmission path for example, a bandwidth or a communication status
  • the control unit of the information processing device 610 determines whether or not to continue the connection with the information processing device 630 via the public network (step S852). For example, the control unit of the information processing device 610 displays on the display unit 611 a display screen for selecting whether to continue the connection with the information processing device 630 via the public network (always displayed or (Display periodically). Then, based on the selection operation on the display screen, the control unit of the information processing device 610 can determine whether or not to continue the connection with the information processing device 630 via the public network.
  • step S852 When the connection with the information processing apparatus 630 via the public network is continued (step S852), the process returns to step S851. If the connection with the information processing device 630 via the public network is not continued (step S852), the control unit of the information processing device 610 disconnects the connection with the information processing device 630 via the public network ( Step S853).
  • connection permission information includes outdoor use information that prohibits outdoor use (step S844)
  • the control unit of the information processing device 610 displays a display unit that outdoor use is not permitted. 611 is displayed (step S854).
  • control unit of the information processing device 610 transmits capability information related to the information processing device 610 to the information processing device 630 via the access point 601 (step S855).
  • step S856 the control unit of the information processing device 610 performs communication processing.
  • each process steps S825 to S837) shown in FIG. 30 is performed.
  • control unit of the information processing device 610 determines whether or not it has moved outside the radio wave transmission range of the access point 601 (step S857). And when not moving outside the radio wave transmission range of the access point 601 (step S857), the process returns to step S856. If the mobile station has moved outside the radio wave transmission range of the access point 601 (step S857), the process proceeds to step S853.
  • the information processing device 610 can be connected to the information processing device 630 via the base station. It can. For example, it is assumed that the student moves from the classroom where the presentation was made to a laboratory or a place outside the university. Further, for example, when the communication system 600 is installed in a company, it is assumed that a salesman goes out of a conference room where a presentation is performed. In this case, the salesperson can hear the contents of the meeting outdoors (for example, in a train).
  • management by WebSocket can be performed not only by an access point and Wi-Fi CERTIFIED Miracast but also by switching to a public line.
  • management by WebSocket may be performed on the public line.
  • connection is disconnected after connecting the source device to the access point or sink device using the wireless LAN.
  • the wireless LAN connection settings may be stored in the source device even after the connection is disconnected.
  • the source device is automatically connected to the access point or the sink device without the user who owns the source device performing a setting operation for connection.
  • FIG. 33 is a flowchart illustrating an example of a processing procedure of data transmission processing by the information processing device 610 according to the third embodiment of the present technology. Since FIG. 33 is a modification of FIG. 30, the same reference numerals are given to portions common to FIG. 30, and a part of these descriptions is omitted.
  • the information processing device 610 is automatically handed over and connected to the access point installed at the place where the information processing device 610 exists (step S861). For example, the case where the user who owns the information processing apparatus 610 is moving to a specific floor in order to participate in the group is assumed. In this environment, an application is activated in the information processing apparatus 610 (step S862). After this activation, the control unit of the information processing device 610 attempts a device discovery process for the sink device desired to be connected.
  • a selection screen for selecting a desired sink device from a plurality of discovered sink devices can be displayed on the display unit 611 of the information processing device 610, and can be selected by a user operation on this selection screen. (Step S863). Further, among the plurality of discovered sink devices, a device closest to the source device may be automatically selected and connected (step S863).
  • the source device is automatically connected to the sink device and access point.
  • the connection setting of the sink device is stored in the source device and the source device moves within the radio wave reachable range of the sink device and is automatically connected.
  • FIG. 34 is a flowchart illustrating an example of a processing procedure of data transmission processing by the information processing device 610 according to the third embodiment of the present technology. 34 is a modified example of FIG. 30, and portions common to FIG. 30 are denoted by the same reference numerals and a part of these descriptions is omitted.
  • the control unit of the information processing device 610 determines whether or not the information processing device 610 has a concurrent function (time-division concurrent function or simultaneous use concurrent function) as a wireless LAN function (step S871).
  • a concurrent function time-division concurrent function or simultaneous use concurrent function
  • the information processing apparatus 610 can perform time-division or simultaneous connection to both the access point and the sink device without switching the access point and the sink device.
  • step S871 When the information processing device 610 has a concurrent function (step S871), the control unit of the information processing device 610 performs setting up to layer 3 (setting until acquisition of an IP address) with an automatically connected connection (step S871). S872). Subsequently, the control unit of the information processing device 610 tries to connect to the sink device via the access point (step S873).
  • the control unit of the information processing device 610 when both the link via the access point and the P2P direct connection are connected to the sink device, it is preferable not to perform the device discovery process in both. For example, priority may be given to access via the access point, and the P2P direct connection may maintain only the link connection and stop the image transmission of Wi-Fi CERTIFIED Miracast. In this case, in the image transmission mode, the next switching time can be performed at high speed without wasting a frequency band used by Wi-Fi CERTIFIED Miracast.
  • the control unit of the information processing device 610 confirms the connection state to the sink device (step S874).
  • the P2P direct connection is once disconnected and changed to a connection via an access point. If connected via an access point, the connection is maintained. If the concurrent function is not provided, the information processing device 610 holds the port information and IP information of the connection state and diverts them.
  • control unit of the information processing device 610 performs device discovery processing via the access point (step S875). After the device discovery process, the control unit of the information processing device 610 determines whether connection permission information has been received from the sink device via the access point (step S876).
  • P2P direct connection may be continued as it is.
  • connection permission information is received from the sink device via the access point (step S876), the process proceeds to step S828.
  • the current setting information can be grasped appropriately. And it can respond so that it may become the operation
  • first to third embodiments of the present technology an example in which a plurality of source devices and one sink device are connected has been described. However, the first to third embodiments of the present technology can also be applied to a case where one source device and a plurality of sink devices are connected. Also, the first to third embodiments of the present technology can be applied to a case where a plurality of source devices and a plurality of sink devices are connected.
  • FIG. 35 is a diagram illustrating a system configuration example of a communication system 700 according to the fourth embodiment of the present technology.
  • the communication system 700 includes the Internet 701, base stations 702 and 703, imaging devices 704 and 705, a receiver 710, and information processing devices 720 and 730.
  • Base stations 702 and 703 are base stations for the receiver 710 and the information processing devices 720 and 730 to connect to the Internet 701 using wireless communication.
  • the imaging devices 704 and 705 are imaging devices that capture a subject and generate image data.
  • the imaging devices 704 and 705 can transmit the generated image data to the receiver 710 and the information processing devices 720 and 730 via the Internet 701.
  • the receiver 710 is a television receiver (for example, a television receiver having a recording function) that receives a broadcast wave from each broadcasting station and displays an image (stereoscopic image or planar image).
  • the receiver 710 is assumed to be an information processing apparatus that can provide a display environment in which broadcasting and communication are combined, such as hybrid casting.
  • the receiver 710 displays various images (for example, an image input from an external device, an image based on a broadcast wave, an image stored in an internal storage unit, and a display unit 711 using wireless communication).
  • Image can be transmitted to the information processing devices 720 and 730.
  • the receiver 710 is an information processing device (source device) on the transmission side and the information processing devices 720 and 730 are information processing devices (sink devices) on the reception side is shown.
  • the receiver 710 corresponds to the information processing apparatus 200 illustrated in FIG. 2, and the information processing apparatuses 720 and 730 correspond to the information processing apparatus 300 illustrated in FIG. 3.
  • the information processing device 720 receives image data (for example, image data obtained by photographing a landscape) transmitted from the imaging devices 704 and 705 via the base station 702 and displays an image based on the image data on the display unit 721. Can be displayed.
  • the information processing device 730 receives image data (for example, image data obtained by capturing a landscape) transmitted from the imaging devices 704 and 705 via the base station 702, and displays an image based on the image data on the display unit. 731 can be displayed.
  • the receiver 710 can display an image based on the broadcast wave received from each broadcast station on the display unit 711.
  • the receiver 710 can transmit image data based on broadcast waves received from each broadcast station to the information processing devices 720 and 730.
  • the information processing devices 720 and 730 can display images based on the broadcast waves on the display units 721 and 731.
  • the image based on the broadcast wave is an image corresponding to HDCP (High-bandwidth Digital Content Protection system). Therefore, when displaying an image based on the broadcast wave (HDCP use image) on the display unit 721, the information processing apparatus 720 prevents another image from being superimposed on the image based on the broadcast wave. For example, the information processing device 720 overwrites the image transmitted from the imaging devices 704 and 705 with the image based on the broadcast wave (HDCP use image) and does not display the image.
  • HDCP High-bandwidth Digital Content Protection system
  • the display position of the source device is set to each sink device in real time as in the first to third embodiments of the present technology. And the display position can be controlled from the sink device. For example, when an image transmitted from the receiver 710 is displayed on the information processing devices 720 and 730, the display position of the receiver 710 can be notified to the information processing devices 720 and 730, and the information processing devices 720 and 730 are displayed. The display position can be controlled.
  • a desired image can be set and the image can be acquired from the receiver 710.
  • the information processing device 720 sets keyword information (for example, the soccer representative from Japan).
  • keyword information for example, the soccer representative from Japan
  • an image related to the keyword information for example, soccer Japan national team
  • the extracted image is transmitted from the receiver 710 to the information processing device 720.
  • an image related to the keyword information for example, the soccer representative from Japan
  • FIG. 36 is a flowchart illustrating an example of a processing procedure of a non-displayable area notification process by the receiver 710 (source device) according to the fourth embodiment of the present technology.
  • control unit of the receiver 710 grasps, as connection information, whether or not the newly-entered sink device has the capability of decoding HDCP when Capability Negotiation of the sink device connected to the receiver 710 is performed (Step S1). S881).
  • control unit of the receiver 710 performs control so that when the newly entered sink device decodes and displays HDCP, other images are not overwritten on the image of the receiver 710 during the capability negotiation. (Step S882).
  • control unit of the receiver 710 determines whether or not HDCP is used for connection between the receiver 710 and the sink device based on the capability information (step S883).
  • HDCP is not used for connection between the receiver 710 and the sink device (step S883), the process returns to step S881.
  • the control unit of the receiver 710 should not display an area received from a plurality of source devices (display is impossible). Region) is determined (step S884).
  • control unit of the receiver 710 determines whether there is another sink device connected to the receiver 710 (step S885). If there is another sink device connected to the receiver 710 (step S885), the process returns to step S881.
  • step S885 When there is another sink device connected to the receiver 710 (step S885), the control unit of the receiver 710 notifies each sink device of the determined display disabled area (step S886).
  • control unit of the information processing device 720 grasps, as connection information, whether or not a newly entering source device is using HDCP at the time of Capability Negotiation of the source device connected to the information processing device 720 (step) S881).
  • step S882 when Capability Negotiation of the source device connected to the information processing device 720 is performed, when the newly entering source device uses HDCP, the control unit of the information processing device 720 does not overlap the image. It is displayed (step S882).
  • control unit of the information processing device 720 determines whether to use HDCP for connection with the information processing device 720 and the source device based on the capability information (step S883). If HDCP is not used for connection between the information processing device 720 and the source device (step S883), the process returns to step S881.
  • step S883 When HDCP is used for connection between the information processing device 720 and the source device (step S883), the control unit of the information processing device 720 should not display an image received from a plurality of source devices in an overlapping manner ( An undisplayable area) is determined (step S884).
  • control unit of the information processing device 720 determines whether there is another source device connected to the information processing device 720 (step S885). If there is another source device connected to the information processing device 720 (step S885), the process returns to step S881.
  • step S885 If there is no other source device connected to the information processing device 720 (step S885), the control unit of the information processing device 720 notifies each source device of the determined display disabled area (step S886).
  • the display position of the source device can be notified to each sink device in real time. Thereby, the display position can be controlled from the sink device.
  • the information processing apparatus 200, 300, 400, 603, 604, 610, 620, 630, 720, 730, the receiver 710 is a smartphone, a tablet PC (Personal Computer), a notebook PC, a portable game terminal, a digital camera, or the like It may be realized as a mobile terminal, a television receiver, a fixed terminal such as a printer, a digital scanner or a network storage, or an in-vehicle terminal such as a car navigation device.
  • the information processing devices 200, 300, 400, 603, 604, 610, 620, 630, 720, 730, and the receiver 710 are smart meters, vending machines, remote monitoring devices, POS (Point Of Sale) terminals, etc. It may be realized as a terminal (also referred to as an MTC (Machine Type Communication) terminal) that performs M2M (Machine To Machine) communication. Further, the information processing apparatuses 200, 300, 400, 603, 604, 610, 620, 630, 720, 730, and the receiver 710 are wireless communication modules (for example, integrated with one die) mounted on these terminals. Circuit module).
  • MTC Machine Type Communication
  • FIG. 37 is a block diagram illustrating an example of a schematic configuration of a smartphone 900 to which the technology according to the present disclosure may be applied.
  • the smartphone 900 includes a processor 901, a memory 902, a storage 903, an external connection interface 904, a camera 906, a sensor 907, a microphone 908, an input device 909, a display device 910, a speaker 911, a wireless communication interface 913, an antenna switch 914, an antenna 915, A bus 917, a battery 918, and an auxiliary controller 919 are provided.
  • the processor 901 may be, for example, a CPU (Central Processing Unit) or a SoC (System on Chip), and controls the functions of the application layer and other layers of the smartphone 900.
  • the memory 902 includes a RAM (Random Access Memory) and a ROM (Read Only Memory), and stores programs and data executed by the processor 901.
  • the storage 903 can include a storage medium such as a semiconductor memory or a hard disk.
  • the external connection interface 904 is an interface for connecting an external device such as a memory card or a USB (Universal Serial Bus) device to the smartphone 900.
  • the camera 906 includes, for example, an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and generates a captured image.
  • the sensor 907 may include a sensor group such as a positioning sensor, a gyro sensor, a geomagnetic sensor, and an acceleration sensor.
  • the microphone 908 converts sound input to the smartphone 900 into an audio signal.
  • the input device 909 includes, for example, a touch sensor that detects a touch on the screen of the display device 910, a keypad, a keyboard, a button, or a switch, and receives an operation or information input from a user.
  • the display device 910 has a screen such as a liquid crystal display (LCD) or an organic light emitting diode (OLED) display, and displays an output image of the smartphone 900.
  • the speaker 911 converts an audio signal output from the smartphone 900 into audio.
  • the wireless communication interface 913 supports one or more wireless LAN standards such as IEEE802.11a, 11b, 11g, 11n, 11ac, and 11ad, and performs wireless communication.
  • the wireless communication interface 913 can communicate with other devices via a wireless LAN access point in the infrastructure mode.
  • the wireless communication interface 913 can directly communicate with other devices in the ad-hoc mode or the direct communication mode such as Wi-Fi Direct.
  • Wi-Fi Direct unlike the ad hoc mode, one of two terminals operates as an access point, but communication is performed directly between the terminals.
  • the wireless communication interface 913 can typically include a baseband processor, an RF (Radio Frequency) circuit, a power amplifier, and the like.
  • the wireless communication interface 913 may be a one-chip module in which a memory that stores a communication control program, a processor that executes the program, and related circuits are integrated.
  • the wireless communication interface 913 may support other types of wireless communication methods such as a short-range wireless communication method, a proximity wireless communication method, or a cellular communication method in addition to the wireless LAN method.
  • the antenna switch 914 switches the connection destination of the antenna 915 among a plurality of circuits (for example, circuits for different wireless communication schemes) included in the wireless communication interface 913.
  • the antenna 915 includes a single antenna element or a plurality of antenna elements (for example, a plurality of antenna elements constituting a MIMO antenna), and is used for transmission and reception of radio signals by the radio communication interface 913. It also has a wireless communication interface function for connecting to public lines such as IEEE 802.16, 3GPP specifications (for example, W-CDMA, GSM, WiMAX, WiMAX2, LTE, LTE-A), and communicates with public lines.
  • the smartphone 900 is not limited to the example of FIG. 37, and may include a plurality of antennas (for example, an antenna for a wireless LAN, an antenna for a proximity wireless communication system, an antenna for public line communication, etc.).
  • the antenna switch 914 may be omitted from the configuration of the smartphone 900.
  • the bus 917 connects the processor 901, memory 902, storage 903, external connection interface 904, camera 906, sensor 907, microphone 908, input device 909, display device 910, speaker 911, wireless communication interface 913, and auxiliary controller 919 to each other.
  • the battery 918 supplies power to each block of the smartphone 900 illustrated in FIG. 37 via a power supply line partially illustrated by a broken line in the drawing.
  • the auxiliary controller 919 operates the minimum necessary functions of the smartphone 900 in the sleep mode.
  • control unit 240 described using FIG. 2 and the control unit 370 described using FIG. 3 may be implemented in the wireless communication interface 913.
  • control unit 370 described using FIG. 3 may be implemented in the wireless communication interface 913.
  • at least a part of these functions may be implemented in the processor 901 or the auxiliary controller 919.
  • the smartphone 900 may operate as a wireless access point (software AP) when the processor 901 executes the access point function at the application level. Further, the wireless communication interface 913 may have a wireless access point function.
  • FIG. 38 is a block diagram illustrating an example of a schematic configuration of a car navigation device 920 to which the technology according to the present disclosure can be applied.
  • the car navigation device 920 includes a processor 921, a memory 922, a GPS (Global Positioning System) module 924, a sensor 925, a data interface 926, a content player 927, a storage medium interface 928, an input device 929, a display device 930, a speaker 931, and wireless communication.
  • An interface 933, an antenna switch 934, an antenna 935, and a battery 938 are provided.
  • the processor 921 may be a CPU or SoC, for example, and controls the navigation function and other functions of the car navigation device 920.
  • the memory 922 includes RAM and ROM, and stores programs and data executed by the processor 921.
  • the GPS module 924 measures the position (for example, latitude, longitude, and altitude) of the car navigation device 920 using GPS signals received from GPS satellites.
  • the sensor 925 may include a sensor group such as a gyro sensor, a geomagnetic sensor, and an atmospheric pressure sensor.
  • the data interface 926 is connected to the in-vehicle network 941 through a terminal (not shown), for example, and acquires data generated on the vehicle side such as vehicle speed data.
  • the content player 927 reproduces content stored in a storage medium (for example, CD or DVD) inserted into the storage medium interface 928.
  • the input device 929 includes, for example, a touch sensor, a button, or a switch that detects a touch on the screen of the display device 930, and receives an operation or information input from the user.
  • the display device 930 has a screen such as an LCD or an OLED display, and displays a navigation function or an image of content to be reproduced.
  • the speaker 931 outputs the navigation function or the audio of the content to be played back.
  • the wireless communication interface 933 supports one or more wireless LAN standards such as IEEE802.11a, 11b, 11g, 11n, 11ac, and 11ad, and executes wireless communication.
  • the wireless communication interface 933 can communicate with other devices via a wireless LAN access point in the infrastructure mode.
  • the wireless communication interface 933 can directly communicate with other devices in the ad-hoc mode or the direct communication mode such as Wi-Fi Direct.
  • the wireless communication interface 933 may typically include a baseband processor, an RF circuit, a power amplifier, and the like.
  • the wireless communication interface 933 may be a one-chip module in which a memory that stores a communication control program, a processor that executes the program, and related circuits are integrated.
  • the wireless communication interface 933 may support other types of wireless communication systems such as a short-range wireless communication system, a proximity wireless communication system, or a cellular communication system.
  • the antenna switch 934 switches the connection destination of the antenna 935 among a plurality of circuits included in the wireless communication interface 933.
  • the antenna 935 includes a single antenna element or a plurality of antenna elements, and is used for transmission and reception of a radio signal by the radio communication interface 933.
  • the car navigation device 920 is not limited to the example of FIG. 38 and may include a plurality of antennas. In that case, the antenna switch 934 may be omitted from the configuration of the car navigation device 920.
  • the battery 938 supplies power to each block of the car navigation device 920 shown in FIG. 38 via a power supply line partially shown by a broken line in the drawing. Further, the battery 938 stores electric power supplied from the vehicle side.
  • control unit 240 described with reference to FIG. 2 and the control unit 370 described with reference to FIG. 3 may be implemented in the wireless communication interface 933. Further, at least a part of these functions may be implemented in the processor 921.
  • the technology according to the present disclosure may be realized as an in-vehicle system (or vehicle) 940 including one or more blocks of the car navigation device 920 described above, an in-vehicle network 941, and a vehicle side module 942.
  • vehicle-side module 942 generates vehicle-side data such as vehicle speed, engine speed, or failure information, and outputs the generated data to the in-vehicle network 941.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a wireless communication unit that performs real-time image transmission according to Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specifications with one or more sink devices;
  • a control unit that performs control related to the real-time image transmission based on control information for controlling the device according to the Wi-Fi CERTIFIED Miracast specification received from the one or more sink devices;
  • An information processing apparatus that controls to switch on / off a UIBC (User Input Back Channel) for transmitting operation information in a sink device that has transmitted each control information when the control unit receives a plurality of the control information.
  • UIBC User Input Back Channel
  • the information processing apparatus receives the control information on a TCP (Transmission Control Protocol) session generated with the sink device.
  • TCP Transmission Control Protocol
  • the on / off switching control is one of connection, disconnection, start, stop, validation, and invalidation.
  • the said control part is information processing apparatus as described in said (3) which performs control which validates UIBC with respect to 1st Sink apparatus among the one or more Sink apparatuses, and invalidates UIBC with respect to 2nd Sink apparatus.
  • the wireless communication unit notifies the first sink device that the UIBC is set to be valid, and notifies the second sink device that the UIBC is set to be invalid.
  • the information processing apparatus according to 4).
  • the control information is a GET_PARAMETER Response
  • the information is the information processing apparatus according to (5), wherein the notification is transmitted as SET_PARAMETER.
  • the control unit validates UIBC for the first sink device among the one or more sink devices, and for all sink devices other than the first sink device among the sink devices that transmitted the control information.
  • the wireless communication unit receives a plurality of operation information associated with ID information as UIBC information, The information processing apparatus according to any one of (1) to (7), wherein the control unit identifies corresponding operation information by referring to an ID header included in the ID information.
  • the one or more sink devices have a plurality of input devices; The information processing apparatus according to claim 8, wherein the plurality of operation information is transmitted from each of the plurality of input devices via the one or more sink devices.
  • the information processing apparatus according to (8). (10) The information processing apparatus according to (8) or (9), wherein the wireless communication unit bundles the plurality of UIBC information and sets one port for communication. (11) The information processing apparatus according to any one of (1) to (10), wherein the wireless communication unit performs communication as a source device.
  • Wireless communication procedure for performing real-time image transmission according to Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specifications with one or more sink devices;
  • UIBC User Input Back Channel
  • a wireless communication unit that performs real-time image transmission according to Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specifications with one or more Source devices;
  • a display unit for displaying an image received by the real-time image transmission,
  • the wireless communication unit is configured to transmit the one or more source devices from the first source device when the first source device performs real-time image transmission with the one or more sink devices.
  • Information processing apparatus that receives control information related to on / off of UIBC (User Input Back Channel) for transmitting operation information in its own apparatus among the sink devices.
  • UIBC User Input Back Channel
  • this technique can also take the following structures.
  • C1 A wireless communication unit that performs real-time image transmission with other information processing devices in accordance with Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specifications; Used in a plurality of communication methods for displaying an image based on image information transmitted from the other information processing apparatus on a display unit and exchanging control information related to the image with the other information processing apparatus
  • An information processing apparatus comprising a control unit that performs control for setting a port.
  • C2 The control unit, when setting the port on a TCP (Transmission Control Protocol) session generated with the other information processing apparatus, information specifying the plurality of communication methods using the port
  • TCP Transmission Control Protocol
  • (C3) The information processing apparatus according to (C2), wherein the control unit transmits information designating UIBC (User Input Back Channel) and WebSocket as the plurality of communication methods to the other information processing apparatus.
  • (C4) The control unit acquires image information and audio information transmitted from the other information processing apparatus using the WebSocket, displays an image based on the image information on the display unit, and performs audio based on the audio information. Is output from the audio output unit.
  • (C5) The information processing apparatus according to any one of (C1) to (C4), wherein the control unit sets a plurality of ports for each of the plurality of communication schemes as ports used for the plurality of communication schemes.
  • (C6) The information processing apparatus according to (C5), wherein the control unit sets the plurality of ports in response to a request from the other information processing apparatus.
  • (C7) The information processing apparatus according to any one of (C1) to (C4), wherein the control unit sets one port for the plurality of communication schemes as a port used for the plurality of communication schemes.
  • (C8) The control unit transmits information regarding the display mode of the image on the display unit to the other information processing apparatus using any of the plurality of communication methods, and the control information transmitted from the other information processing apparatus
  • the information processing apparatus according to any one of (C1) to (C7) wherein the display mode of the image is changed based on the information.
  • control information is operation information related to an operation for changing a display mode of the image received by the other information processing apparatus.
  • control unit displays the image and information representing the other information processing apparatus in association with the display unit.
  • C11 A wireless communication unit that performs real-time image transmission with another information processing device in accordance with the Wi-Fi CERTIFIED Miracast specification; Image information for displaying an image on a display unit included in the other information processing apparatus or a display unit connected to the other information processing apparatus is transmitted to the other information processing apparatus, and control information related to the image is transmitted.
  • An information processing apparatus comprising: a control unit that performs control to set ports used for a plurality of communication methods for communicating with the other information processing apparatus.
  • C12 A wireless communication unit that performs real-time image transmission with a plurality of information processing devices in accordance with Wi-Fi (Wireless Fidelity) CERTIFIED Miracast specifications; An image based on image information transmitted from the plurality of information processing devices is displayed on a display unit, and a plurality of ports for exchanging control information related to the image are set for the plurality of information processing devices.
  • Wi-Fi Wireless Fidelity
  • a control unit that selects an information processing device that exchanges the control information from the plurality of information processing devices and switches a port for exchanging the control information with the selected information processing device;
  • An information processing apparatus comprising: (C13) A wireless communication unit that performs real-time image transmission with a plurality of information processing devices in accordance with the Wi-Fi CERTIFIED Miracast specification; Image information for displaying an image on a display unit included in the plurality of information processing devices or a display unit connected to the plurality of information processing devices is transmitted to the plurality of information processing devices, and control information regarding the image is transmitted When a plurality of ports for exchanging are set for each of the plurality of information processing devices, the selected information is selected by selecting an information processing device for exchanging the control information from the plurality of information processing devices.
  • An information processing apparatus comprising: a control unit that switches a port for exchanging the control information with a processing apparatus.
  • a wireless communication unit that performs data transmission with a plurality of other information processing devices;
  • An information processing apparatus comprising: a control unit that receives control information for controlling the own apparatus from the plurality of other information processing apparatuses and selects control information from an appropriate apparatus.
  • C15 The information processing apparatus according to (C14), wherein the control unit receives control information on a TCP (Transmission Control Protocol) session generated with the other information processing apparatus.
  • TCP Transmission Control Protocol
  • a first information processing apparatus and a second information processing apparatus that perform real-time image transmission in accordance with the Wi-Fi CERTIFIED Miracast specification;
  • the first information processing apparatus transmits image information to the second information processing apparatus,
  • the second information processing apparatus displays an image based on the image information transmitted from the first information processing apparatus on a display unit, and exchanges control information related to the image with the first information processing apparatus.
  • a communication system comprising a control unit that performs control to set ports used for a plurality of communication methods.
  • C17 A display procedure for displaying an image based on image information transmitted from another information processing apparatus in accordance with the Wi-Fi CERTIFIED Miracast specification on the display unit;
  • An information processing method comprising: a control procedure for setting ports used for a plurality of communication methods for exchanging control information related to the image with the other information processing apparatus.
  • C18 A display procedure for displaying an image based on image information transmitted from another information processing apparatus in accordance with the Wi-Fi CERTIFIED Miracast specification on the display unit; A program for causing a computer to execute a control procedure for setting ports used in a plurality of communication methods for exchanging control information related to the image with the other information processing apparatus.
  • DESCRIPTION OF SYMBOLS 100 Communication system 200 Information processing apparatus 201 Data transmission system 202 Line control system 203 Information processing apparatus 210 Antenna 220 Wireless communication unit 230 Control signal reception unit 240 Control unit 250 Image / audio signal generation unit 260 Image / audio compression unit 270 Stream transmission unit DESCRIPTION OF SYMBOLS 300 Information processing apparatus 301 Line control system 302 Input / output system 310 Antenna 320 Wireless communication unit 330 Stream reception unit 340 Image / audio development unit 350 Image / audio output unit 351 Display unit 352 Audio output unit 360 User information acquisition unit 361 Imaging unit 370 Control unit 380 Control signal transmission unit 390 Management information holding unit 400 Information processing device 410 Source device 420 Sink device 600 Communication system 601 Access point 602 Network 603, 604, 610, 620, 63 Information processing device 611 Display unit 621 Display unit 631 Display device 632 Display unit 640 Control device 643 Input / output unit 700 Communication system 701 Internet 702, 703 Base station 704, 705 Imaging device 710 Receive

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

　操作性を向上させる。　情報処理装置は、無線通信部および制御部を有する。この無線通信部は、一以上のＳｉｎｋ機器との間でＷｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う。また、制御部は、一以上のＳｉｎｋ機器から受信した、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って自装置を制御するための制御情報に基づいて、リアルタイム画像伝送に関する制御を行う。また、制御部は、その制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣのオンオフを切り換える制御を行う。

Description

情報処理装置および情報処理方法
　本技術は、情報処理装置に関する。詳しくは、無線通信を利用して各種情報のやり取りを行う情報処理装置、通信システムおよび情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　従来、無線通信を利用して各種データのやり取りを行う無線通信技術が存在する。例えば、無線通信を利用して２つの情報処理装置間において各種情報のやり取りを行う無線通信技術が提案されている（例えば、特許文献１参照。）。
特開２００８－２７８３８８号公報
　上述の従来技術によれば、有線回線で接続しなくても無線通信を利用して２つの情報処理装置間において各種情報のやり取りを行うことができる。例えば、送信側の情報処理装置から送信された画像データに基づく画像を、受信側の情報処理装置の表示部に表示させることができる。
　このように、送信側の情報処理装置から送信された画像データに基づく画像を、受信側の情報処理装置が表示部に表示している場合に、送信側または受信側の情報処理装置においてユーザが操作をすることが考えられる。そこで、ユーザの操作性を向上させることが重要である。
　本技術はこのような状況に鑑みて生み出されたものであり、操作性を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、一以上のＳｉｎｋ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信部と、上記一以上のＳｉｎｋ機器から受信した上記Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って自装置を制御するための制御情報に基づいて上記リアルタイム画像伝送に関する制御を行う制御部とを有し、上記制御部は、上記制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフを切り換える制御を行う情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣのオンオフを切り換えるという作用をもたらす。
　また、この第１の側面において、上記無線通信部は、上記Ｓｉｎｋ機器との間で生成されたＴＣＰ（Transmission Control Protocol）セッション上で上記制御情報を受信するようにしてもよい。これにより、Ｓｉｎｋ機器との間で生成されたＴＣＰセッション上で制御情報を受信するという作用をもたらす。
　また、この第１の側面において、上記オンオフを切り換える制御を、接続、切断、開始、停止、有効化、無効化のいずれかの制御とするようにしてもよい。これにより、接続、切断、開始、停止、有効化、無効化のいずれかの制御を、オンオフを切り換える制御とするという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、第２のＳｉｎｋ機器に対するＵＩＢＣを無効化する制御を行うようにしてもよい。これにより、一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、第２のＳｉｎｋ機器に対するＵＩＢＣを無効化するという作用をもたらす。
　また、この第１の側面において、上記無線通信部は、上記第１のＳｉｎｋ機器に対して、ＵＩＢＣを有効と設定した旨を通知し、上記第２のＳｉｎｋ機器に対して、ＵＩＢＣを無効と設定した旨の通知を行うようにしてもよい。これにより、第１のＳｉｎｋ機器に対して、ＵＩＢＣを有効と設定した旨を通知し、第２のＳｉｎｋ機器に対して、ＵＩＢＣを無効と設定した旨の通知を行うという作用をもたらす。
　また、この第１の側面において、上記制御情報を、ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｓｐｏｎｓｅとし、上記通知は、ＳＥＴ＿ＰＡＲＡＭＥＴＥＲとして送信されるようにしてもよい。これにより、制御情報を、ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｓｐｏｎｓｅとし、通知は、ＳＥＴ＿ＰＡＲＡＭＥＴＥＲとして送信されるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、上記各制御情報を送信したＳｉｎｋ機器のうち、上記第１のＳｉｎｋ機器以外の全てのＳｉｎｋ機器に対するＵＩＢＣを無効化する制御を行うようにしてもよい。これにより、一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、各制御情報を送信したＳｉｎｋ機器のうち、第１のＳｉｎｋ機器以外の全てのＳｉｎｋ機器に対するＵＩＢＣを無効化するという作用をもたらす。
　また、この第１の側面において、上記無線通信部は、ＩＤ情報と紐着いた複数の操作情報をＵＩＢＣ情報として受信し、上記制御部は、上記ＩＤ情報に含まれるＩＤ用ヘッダを参照することで、対応する操作情報を識別するようにしてもよい。これにより、ＩＤ情報と紐着いた複数の操作情報をＵＩＢＣ情報として受信し、そのＩＤ情報に含まれるＩＤ用ヘッダを参照することで、対応する操作情報を識別するという作用をもたらす。
　また、この第１の側面において、上記一以上のＳｉｎｋ機器は、複数の入力装置を有し、上記複数の操作情報は、上記複数の入力装置のそれぞれから、上記一以上のＳｉｎｋ機器経由で送信されるようにしてもよい。これにより、複数の操作情報は、複数の入力装置のそれぞれから、一以上のＳｉｎｋ機器経由で送信されるという作用をもたらす。
　また、この第１の側面において、上記無線通信部は、上記複数のＵＩＢＣ情報を束ねて一つのポートを設定して通信を行うようにしてもよい。これにより、複数のＵＩＢＣ情報を束ねて一つのポートを設定して通信を行うという作用をもたらす。
　また、この第１の側面において、上記無線通信部は、Ｓｏｕｒｃｅ機器としての通信を行うようにしてもよい。これにより、Ｓｏｕｒｃｅ機器としての通信を行うという作用をもたらす。
　また、本技術の第２の側面は、一以上のＳｏｕｒｃｅ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信部と、上記リアルタイム画像伝送により受信した画像を表示する表示部とを有し、上記無線通信部は、上記一以上のＳｏｕｒｃｅ機器のうち、第１のＳｏｕｃｅｒ機器が一以上のＳｉｎｋ機器との間で上記リアルタイム画像伝送を行う場合に、上記第１のＳｏｕｒｃｅ機器から、上記一以上のＳｉｎｋ機器のうち自装置における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフに関する制御情報を受信する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１のＳｏｕｃｅｒ機器が一以上のＳｉｎｋ機器との間でリアルタイム画像伝送を行う場合に、第１のＳｏｕｒｃｅ機器から、一以上のＳｉｎｋ機器のうち自装置における操作情報を伝送するためのＵＩＢＣのオンオフに関する制御情報を受信するという作用をもたらす。
　本技術によれば、操作性を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における通信システム１００のシステム構成例を示すブロック図である。 本技術の第１の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における情報処理装置３００の機能構成例を示すブロック図である。 本技術の第１の実施の形態における管理情報保持部３９０の保持内容の一例を模式的に示す図である。 本技術の第１の実施の形態における情報処理装置３００の表示部３５１に表示される画像の遷移例を示す図である。 本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるシンク機器によるモード要求のオンオフを制御する場合における構成例を示す図である。 本技術の第１の実施の形態におけるシンク機器によるモード要求のオンオフを制御する場合における構成例を示す図である。 本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。 本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。 本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。 本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。 本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間でやりとりされるＵＩＢＣのフレームフォーマットの一例である。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。 本技術の第１の実施の形態における情報処理装置３００によるポート設定処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間のＷｅｂＳｏｃｋｅｔを用いた画像データおよび音声データの通信例を示す図である。 本技術の第２の実施の形態における通信システム６００のシステム構成例を示す図である。 本技術の第２の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第２の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第３の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第３の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。 本技術の第４の実施の形態における通信システム７００のシステム構成例を示す図である。 本技術の第４の実施の形態における受信機７１０（ソース機器）による表示不可領域通知処理の処理手順の一例を示すフローチャートである。 スマートフォンの概略的な構成の一例を示すブロック図である。 カーナビゲーション装置の概略的な構成の一例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（ソース機器およびシンク機器間でＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを設定する例）
　２．第２の実施の形態（アクセスポイントを経由したソース機器およびシンク機器間の接続と、ソース機器およびシンク機器間のダイレクト接続とを切り替える（または同時に接続する）例）
　３．第３の実施の形態（ユーザ操作やユーザ動作により、ソース機器をシンク機器またはアクセスポイントに接続する例）
　４．第４の実施の形態（１つのソース機器と複数のシンク機器とを接続する例）
　５．応用例
　＜１．第１の実施の形態＞
　［通信システムの構成例］
　図１は、本技術の第１の実施の形態における通信システム１００のシステム構成例を示すブロック図である。図１では、Ｐ２Ｐ（Peer to Peer）ダイレクト通信により無線接続を行うことができる通信システムの一例を示す。
　通信システム１００は、情報処理装置２００と、情報処理装置３００と、情報処理装置４００とを備える。また、通信システム１００は、情報処理装置２００および情報処理装置４００のうちの少なくとも１つから送信されるデータ（例えば、画像データや音声データ）を情報処理装置３００が受信する通信システムである。
　また、情報処理装置２００、３００、４００は、無線通信機能を備える送受信機器である。例えば、情報処理装置２００、３００、４００は、無線通信機能を備える表示装置（例えば、パーソナルコンピュータ）や携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。また、例えば、情報処理装置２００、３００、４００は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１、ＩＥＥＥ８０２．１５、ＩＥＥＥ８０２．１６、３ＧＰＰ（3rd Generation Partnership Project）仕様（例えば、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＧＳＭ（登録商標）（Global System for Mobile Communications）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＷｉＭＡＸ２、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（Advanced））に準拠した無線通信装置である。そして、情報処理装置２００、３００、４００は、無線通信機能を利用して各種情報のやり取りを行うことができる。
　ここで、一例として、情報処理装置２００および情報処理装置３００間、または、情報処理装置４００および情報処理装置３００間で無線ＬＡＮ（Local Area Network）を用いた無線通信を行う場合の例を説明する。
　この無線ＬＡＮとして、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）　Ｄｉｒｅｃｔ、ＴＤＬＳ（Tunneled Direct Link Setup）、アドホックネットワーク、メッシュネットワークを用いることができる。また、通信システム１００に用いられる近距離無線ＡＶ（Audio Visual）伝送通信として、例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ（技術仕様書名：Ｗｉ－Ｆｉ　Ｄｉｓｐｌａｙ）を用いることができる。なお、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔは、Ｗｉ－Ｆｉ　ＤｉｒｅｃｔやＴＤＬＳの技術を利用して、一方の端末で再生される音声や表示画像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。
　また、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）上でＵＩＢＣ（User Input Back Channel）を実現している。ＵＩＢＣは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。なお、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの代わりに、他のリモートデスクトップソフトウェア（例えば、ＶＮＣ（Virtual Network Computing））を適用するようにしてもよい。
　ここで、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、画像（映像）を、例えば、Ｈ．２６４を用いて圧縮・展開することが定められている。また、例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、Ｈ．２６４を送信側で調整することができる。なお、Ｈ．２６４に限らず、例えば、Ｈ．２６５（例えば、ＨＥＶＣ（high efficiency video coding）、ＳＨＶＣ（scalable video coding extensions of high efficiency video coding））、ＭＰＥＧ（Moving Picture Experts Group）４、ＪＰＥＧ（Joint 1Photographic Experts Group）２０００にも対応することができる。また、例えば、１ライン以上を束ねて圧縮したり、２ライン以上を２×２以上のマクロブロックに分割して圧縮・展開を行うラインベースコーデック（例えば、Ｗａｖｅｌｅｔ、ＤＣＴ（Discrete Cosine Transform））にも対応することができる。また、例えば、特定の符号量領域（Ｐｉｃｔｕｒｅまたは複数ラインの束またはマクロブロック等）の前符号量領域との差分を求めることでＤＣＴやＷａｖｅｌｅｔ等の圧縮を行わずに伝送レートを減らすコーデックにも対応することができる。また、非圧縮で画像（映像）を送信・受信するようにしてもよい。
　また、本技術の第１の実施の形態では、情報処理装置２００は、撮像動作により生成された画像データおよび音声データを送信対象とする例を示す。また、本技術の第１の実施の形態では、情報処理装置４００は、記憶部（例えば、ハードディスク）に保存されているコンテンツ（例えば、画像データおよび音声データからなるコンテンツ）を送信対象とする例を示す。なお、情報処理装置２００として、カメラを搭載した電子機器（例えば、パソコン、ゲーム機、スマートフォン、タブレット端末）を用いるようにしてもよい。また、情報処理装置３００として、表示部を備える他の電子機器（例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末）を用いるようにしてもよい。また、情報処理装置４００がテザリング機能を備える場合には、無線または有線ネットワークを介してＩＳＰ（Internet Services Provider）に保存されたコンテンツを送信対象とするようにしてもよい。
　例えば、情報処理装置２００の撮像動作により生成された画像データが情報処理装置３００に送信され、その画像データに基づく画像１１が情報処理装置３００の表示部３５１に表示される。また、情報処理装置４００の記憶部（例えば、ハードディスク）に保存されているコンテンツが情報処理装置３００に送信され、そのコンテンツに基づく画像１２が情報処理装置３００の表示部３５１に表示される。
　このように、本技術の第１の実施の形態では、ソース側の情報処理装置（ソース機器）を情報処理装置２００、４００とし、シンク側の情報処理装置（シンク機器）を情報処理装置３００とする例を示す。
　また、図１では、Ｐ２Ｐ（Peer to Peer）ダイレクト接続により、無線通信を利用して情報処理装置３００が直接通信することができる範囲を情報伝達範囲１０１として示す。この情報伝達範囲１０１は、情報処理装置３００を基準とした場合における情報伝達範囲（サービス範囲）である。
　［情報処理装置（ソース機器）の構成例］
　図２は、本技術の第１の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。なお、情報処理装置４００の無線通信に関する機能構成は、情報処理装置２００と略同一の構成である。このため、本技術の第１の実施の形態では、情報処理装置２００についてのみ説明し、情報処理装置４００の説明を省略する。
　情報処理装置２００は、アンテナ２１０と、無線通信部２２０と、制御信号受信部２３０と、制御部２４０と、画像・音声信号生成部２５０と、画像・音声圧縮部２６０と、ストリーム送信部２７０とを備える。
　無線通信部２２０は、制御部２４０の制御に基づいて、無線通信を利用して、他の情報処理装置（例えば、情報処理装置３００）との間で各情報（例えば、画像データおよび音声データ）の送受信をアンテナ２１０を介して行うものである。例えば、画像データの送信処理が行われる場合には、画像・音声信号生成部２５０により生成された画像データが画像・音声圧縮部２６０により圧縮され、この圧縮された画像データ（画像ストリーム）が無線通信部２２０を経由してアンテナ２１０から送信される。
　また、無線通信部２２０は、複数の周波数チャネルを利用して、他の情報処理装置（例えば、情報処理装置３００）との間で各情報の送受信を行うことが可能であるものとする。本技術の第１の実施の形態では、無線通信部２２０が、２．４ＧＨｚ、５ＧＨｚ、６０ＧＨｚの３種類の周波数チャネルを送受信可能な機能を備える例を示す。このように、ソース機器が、複数の周波数チャネルを送受信可能な機能を備える場合には、シンク機器（例えば、情報処理装置３００）は、各ソース機器にどの周波数チャネルを使用させるかを制御することができる。
　制御信号受信部２３０は、無線通信部２２０により受信された各情報のうちから、他の情報処理装置（例えば、情報処理装置３００）から送信された制御信号（例えば、情報処理装置３００とのやりとりの情報）を取得するものである。そして、制御信号受信部２３０は、その取得された制御信号を制御部２４０に出力する。
　制御部２４０は、情報処理装置２００から送信される各情報に関する制御を行うものである。例えば、制御部２４０は、制御信号受信部２３０により受信された制御信号に基づいて、画像・音声信号生成部２５０および画像・音声圧縮部２６０に対する制御を行う。例えば、制御部２４０は、送信対象となる画像データの解像度や音声のチャネル数を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行う。すなわち、制御部２４０は、制御信号受信部２３０により受信された制御信号に基づいて、送信対象となるストリームの伝送制御を行う。このストリームの伝送制御は、例えば、データ伝送速度制御、スケーラビリティ伝送レート制御である。
　また、制御部２４０は、無線通信を利用してシンク機器との間でデータの送受信が行われている際における電波伝搬状況（リンク電波伝搬状況）を測定する機能を備え、その測定結果（電波伝搬測定情報）をシンク機器に送信するようにしてもよい。
　ここで、電波伝搬測定情報は、例えば、シンク機器との回線品質が、画像データおよび音声データの送受信を行うことができる品質であるか否かを判断する際に用いられる情報である。また、電波伝搬測定情報は、例えば、ストリームの伝送制御を行う際に用いられる。なお、電波伝搬測定情報については、図４を参照して詳細に説明する。なお、電波伝搬測定情報の代わりに、制御部２４０に同一パケットの再送回数をカウントさせ、このカウント数に応じて、ストリームの伝送制御を行うようにしてもよい。
　ここで、データ伝送速度は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、解像度は、例えば、画像データの画枠（縦・横のピクセル数）、画像データのビットレート（圧縮率）等の要素から構成される画質の指標と定義する。また、画質の指標としては、ストリームのスループットを用いることができる。また、音声のチャネル数は、モノラル（１．０ｃｈ）、ステレオ（２．０ｃｈ）、５．１ｃｈ、９．１ｃｈ、ハイレゾ（ハイレゾリューションオーディオ（High-Resolution Audio））等の音声の記録再生方法の意味を含むものとする。また、音声のチャネル数は、音声データのビットレート（圧縮率）やチャネル数等の要素から構成される音質の指標と定義する。また、音質の指標としては、ストリームのスループットを用いることができる。
　また、制御部２４０は、データレート制御では安定化することができない状態を改善させるための制御を行う。例えば、制御部２４０は、シンク機器（例えば、情報処理装置３００）との情報のやりとりにより、シンク機器のシステム性能情報を把握する。ここで、システム性能情報は、例えば、シンク機器のシステムに関する性能情報である。例えば、システム性能情報は、使用可能な周波数チャネル、解像度、ＴＣＰ（Transmission Control Protocol）、ＵＤＰ（User Datagram Protocol）である。また、システム性能情報は、例えば、暗号化方法の対応、ＳＤ（Standard Definition）／ＨＤ（High Definition）対応、低消費電力モードの対応のそれぞれを示す情報である。例えば、制御部２４０は、シンク機器が低消費電力モードに対応しているか否かに応じて、通信システム１００のシステム全体の安定度をさらに向上させるストリームの伝送制御方法を選ぶことができる。
　例えば、制御部２４０は、情報処理装置３００との情報のやりとりの中に、情報処理装置２００がモバイル機器であるかどうかの情報を入れるものとする。例えば、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報に、情報処理装置２００がモバイル機器であるかどうかの情報を含めることができる。また、情報処理装置３００は、情報処理装置２００がモバイル機器であることを把握すると、他に接続した情報処理装置との関連に基づいて、情報処理装置２００を動作させる必要がないと判断することができる。このように、情報処理装置２００を動作させる必要がないと判断された場合には、情報処理装置２００は、情報処理装置３００から送信停止コマンドを受信する。そして、制御部２４０は、その送信停止コマンドを把握すると、画像・音声信号生成部２５０と、画像・音声圧縮部２６０と、ストリーム送信部２７０とのそれぞれの機能の電源を一定時間ダウンさせることができる。また、制御部２４０は、無線通信部２２０についても間欠受信（情報処理装置３００からコマンドを受信できる程度に定期的に起き上がり、他は電源をダウンさせるモード）に移行することができる。
　画像・音声信号生成部２５０は、制御部２４０の制御に基づいて、出力対象となるデータ（画像データ、音声データ）を生成するものであり、生成されたデータを画像・音声圧縮部２６０に出力する。例えば、画像・音声信号生成部２５０は、撮像部（図示せず）および音声取得部（図示せず）を備える。この撮像部（例えば、レンズ、撮像素子、信号処理回路）は、被写体を撮像して画像（画像データ）を生成するものである。また、音声取得部（例えば、マイク）は、その画像データの生成時における周囲の音声を取得するものである。このように生成されたデータは、他の情報処理装置（例えば、情報処理装置３００）への送信対象となる。
　画像・音声圧縮部２６０は、制御部２４０の制御に基づいて、画像・音声信号生成部２５０により生成されたデータ（画像データおよび音声データ）を圧縮（エンコード）するものである。そして、画像・音声圧縮部２６０は、その圧縮されたデータ（画像データおよび音声データ）をストリーム送信部２７０に出力する。なお、画像・音声圧縮部２６０は、ソフトウェアによるエンコードの実行により実現するようにしてもよく、ハードウエアによるエンコードの実行により実現するようにしてもよい。また、画像・音声圧縮部２６０は、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。さらに、画像・音声圧縮部２６０は、スケーラブル・コーデックとしても機能するものとする。ここで、スケーラブル・コーデックは、例えば、受信側の情報処理装置（シンク機器）の解像度やネットワーク環境等に応じて、自在に適応することができるコーデックを意味する。
　ストリーム送信部２７０は、制御部２４０の制御に基づいて、画像・音声圧縮部２６０により圧縮されたデータ（画像データおよび音声データ）をストリームとして無線通信部２２０を経由してアンテナ２１０から送信する送信処理を行うものである。
　なお、情報処理装置２００は、上述した各部以外にも、表示部、音声出力部、操作受付部等を備えることができるが、これらについては、図２での図示を省略する。また、情報処理装置２００が、送信対象となる画像データおよび音声データを生成する例を示すが、情報処理装置２００は、送信対象となる画像データおよび音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置２００は、マイクロフォン付きのＷｅｂカメラから、送信対象となる画像データおよび音声データを取得するようにしてもよい。また、情報処理装置２００は、情報処理装置２００の内部、外部にかかわらず、記憶装置（例えば、ハードディスク）に保存されているコンテンツ（例えば、画像データおよび音声データからなるコンテンツ）を送信対象とするようにしてもよい。この場合に、その記憶装置に保存されているコンテンツが圧縮済のコンテンツである場合も想定される。この場合に、その圧縮済のコンテンツが、通信システム１００で採用されている規格で定義されたエンコード方式で圧縮されている場合には、その圧縮済のコンテンツを復号（デコード）せずにそのまま送信するようにしてもよい。
　情報処理装置２００の表示部（図示せず）は、例えば、画像・音声信号生成部２５０により生成された画像を表示する表示部である。なお、表示部として、各種の表示パネルを用いることができる。例えば、有機ＥＬ（Electro Luminescence）、クリスタルＬＥＤ（Light Emitting Diode）ディスプレイ（Crystal LED Display）、ＬＣＤ（Liquid Crystal Display）を用いることができる。
　情報処理装置２００の音声出力部（図示せず）は、例えば、画像・音声信号生成部２５０により生成された音声を出力する音声出力部（例えば、スピーカ）である。なお、画像については、送信機器および受信機器の双方から出力することもできるが、音声については何れか一方のみから出力することが好ましい。
　情報処理装置２００の操作受付部（図示せず）は、ユーザにより行われた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクである。なお、操作受付部および表示部については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。
　［情報処理装置（受信側）の構成例］
　図３は、本技術の第１の実施の形態における情報処理装置３００の機能構成例を示すブロック図である。
　情報処理装置３００は、アンテナ３１０と、無線通信部３２０と、ストリーム受信部３３０と、画像・音声展開部３４０と、画像・音声出力部３５０と、ユーザ情報取得部３６０と、制御部３７０と、制御信号送信部３８０と、管理情報保持部３９０とを備える。
　無線通信部３２０は、制御部３７０の制御に基づいて、無線通信を利用して、他の情報処理装置（例えば、情報処理装置２００）との間で各情報（例えば、画像データおよび音声データ）の送受信をアンテナ３１０を介して行うものである。例えば、画像データの受信処理が行われる場合には、アンテナ３１０により受信された画像データが、無線通信部３２０、ストリーム受信部３３０を経由して画像・音声展開部３４０により展開（復号）される。そして、その展開された画像データが画像・音声出力部３５０に供給され、その展開された画像データに応じた画像が画像・音声出力部３５０から出力される。すなわち、その展開された画像データに応じた画像が表示部３５１に表示される。
　また、無線通信部３２０は、複数の周波数チャネルを利用して、他の情報処理装置（例えば、情報処理装置２００）との間で各情報の送受信を行うことが可能であるものとする。本技術の第１の実施の形態では、無線通信部３２０が、２．４ＧＨｚ、５ＧＨｚ、６０ＧＨｚの３種類の周波数チャネルを送受信可能な機能を備える例を示す。すなわち、無線通信部３２０は、第１の周波数帯を用いる通信と、第１の周波数帯よりも高速なデータ伝送速度の第２の周波数帯を用いる通信とを行うことが可能である。また、制御部３７０は、各ソース機器との無線通信に、複数の周波数チャネルのうちのどの周波数チャネルを使用させるかを制御する。
　なお、情報処理装置２００および情報処理装置３００間のリンクと、情報処理装置４００および情報処理装置３００間のリンクとは同一の周波数チャネルとするようにしてもよく、異なる周波数チャネルとするようにしてもよい。
　また、本技術の第１の実施の形態では、無線通信部３２０が、２．４ＧＨｚ、５ＧＨｚ、６０ＧＨｚの３種類の周波数チャネルを送受信可能な機能を備える例を示すが、これに限定されない。例えば、無線通信部３２０が、他の周波数チャネルや、２または４以上の周波数チャネルを送受信可能な機能を備えるようにしてもよい。
　ストリーム受信部３３０は、制御部３７０の制御に基づいて、無線通信部３２０により受信された各情報のうちから、各ソース機器とのやりとりの情報およびストリーム（例えば、画像ストリーム、音声ストリーム）を受信するものである。そして、ストリーム受信部３３０は、受信したコマンド情報を制御部３７０に出力し、受信したストリームを画像・音声展開部３４０および制御部３７０に出力する。
　ここで、各ソース機器とのやりとりの情報は、ソース機器（例えば、情報処理装置２００）から送信される情報であり、例えば、情報処理装置３００のシステム性能情報の取得要求を含む。このシステム性能情報は、例えば、使用可能な周波数チャネル、解像度、ＴＣＰ、ＵＤＰや、暗号化方法の対応、ＳＤ／ＨＤ対応、低消費電力モードの対応のそれぞれを示す情報である。
　また、ストリーム受信部３３０は、無線通信を利用してシンク機器との間でデータの送受信が行われている際における電波伝搬状況（リンク電波伝搬状況）を測定する機能を備える。そして、ストリーム受信部３３０は、その測定結果（電波伝搬測定情報）を制御部３７０に出力する。なお、電波伝搬測定情報については、図４を参照して詳細に説明する。
　画像・音声展開部３４０は、制御部３７０の制御に基づいて、他の情報処理装置（例えば、情報処理装置２００）から送信されたストリーム（画像データおよび音声データ）を展開（デコード）するものである。そして、画像・音声展開部３４０は、その展開されたデータ（画像データおよび音声データ）を画像・音声出力部３５０に出力する。なお、画像・音声展開部３４０は、ソフトウェアによるデコードの実行により実現するようにしてもよく、ハードウエアによるデコードの実行により実現するようにしてもよい。また、画像・音声展開部３４０は、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。また、画像・音声展開部３４０は、スケーラブル・コーデックとしても機能するものとする。
　画像・音声出力部３５０は、表示部３５１および音声出力部３５２を備える。
　表示部３５１は、画像・音声展開部３４０により展開された画像データに基づく各画像（例えば、図１に示す画像１１、１２）を表示する表示部である。なお、表示部３５１として、例えば、有機ＥＬパネル、クリスタルＬＥＤディスプレイ、ＬＣＤパネル等の表示パネルを用いることができる。なお、表示部３５１として、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
　音声出力部３５２は、画像・音声展開部３４０により展開された音声データに基づく各種音声（表示部３５１に表示された画像に関する音声等）を出力する音声出力部（例えば、スピーカ）である。ここで、音声の出力方法としては、例えば、中央チャネル（メイン画像）に割り当てられたソース機器の音声のみをスピーカから再生して周辺チャネル（サブ画像）に割り当てられたソース機器の音声を再生しない方法を用いることができる。また、他の音声の出力方法として、例えば、中央チャネルに割り当てられたソース機器の音声の音量をメインにして、周辺チャネルに割り当てられたソース機器の音声の音量を下げて再生する方法を用いることができる。なお、これら以外の音声の出力方法を用いるようにしてもよい。
　ユーザ情報取得部３６０は、ユーザに関する情報（ユーザ情報）を取得するものであり、その取得されたユーザ情報を制御部３７０に出力する。例えば、ユーザ情報取得部３６０は、ユーザが表示方法を直接設定することができる操作受付部（キーボード、マウス、リモコン、ゲームパッド、タッチパネル）からの入力を受け付けることによりユーザ情報を取得することができる。なお、操作受付部は、例えば、表示部３５１に表示される画像における任意の領域を指定するための操作部材である。また、例えば、ユーザ情報取得部３６０は、カメラ、マイク、各種センサ（例えば、ジャイロセンサ、人体を感知するセンサ）等のようにユーザの意図を把握することができるデバイスからの入力を受け付けることによりユーザ情報を取得することができる。
　例えば、ユーザ情報取得部３６０は、無線通信を利用して他の情報処理装置（例えば、情報処理装置２００）から受信したストリームに基づく情報が画像・音声出力部３５０から出力されている際におけるユーザ動作により生じるユーザ情報を取得する。このユーザ情報は、例えば、表示部３５１に表示されている画像に関するユーザ動作により生じるユーザ情報である。例えば、ユーザ情報は、表示部３５１に表示されている画像に関するユーザ操作に基づいて生成される情報である。
　例えば、ユーザ情報取得部３６０は、撮像部３６１（図１に示す）により生成された画像データを取得してユーザ情報を生成することができる。また、例えば、ユーザ情報取得部３６０は、外部装置（例えば、各センサ、ウェアラブルデバイス）により取得される情報（例えば、位置情報、識別情報）を取得してユーザ情報を生成するようにしてもよい。
　制御部３７０は、ストリーム受信部３３０により取得された各情報を管理情報保持部３９０に保持させ、管理情報保持部３９０に保持されている管理情報に基づいて各ソース機器を管理するものである。また、制御部３７０は、複数のソース機器から送信されるストリームをシステム全体で安定度が向上するようにストリームの伝送制御を行う。
　例えば、制御部３７０は、ユーザ情報取得部３６０により取得されたユーザ情報と、管理情報保持部３９０に保持されている管理情報とに基づいてストリームの伝送制御を行う。具体的には、制御部３７０は、管理情報保持部３９０に保持されている管理情報に基づいて、ストリームの伝送制御を行うための制御信号をソース機器毎に生成する。そして、制御部３７０は、その生成された制御信号を制御信号送信部３８０に出力する。例えば、制御部３７０は、ユーザ情報および管理情報に基づいて、表示部３５１に表示される画像の解像度を変更し、この解像度と同等の送信レートを各ソース機器に要求するための制御信号を生成する。また、例えば、制御部３７０は、ユーザ情報および管理情報に基づいて、表示部３５１における画像の表示領域を決定するための制御信号を生成する。また、例えば、制御部３７０は、ユーザ情報および管理情報に基づいて、表示部３５１における画像のサイズを決定するための制御信号を生成する。
　また、制御部３７０は、ユーザ情報および管理情報に基づいて、使用する周波数チャネルと解像度を設定するための制御を行う。例えば、制御部３７０は、無線通信部３２０が備える複数の周波数チャネルについて、使用する周波数チャネルをソース機器毎に設定する。また、制御部３７０は、周波数チャネル毎に、消費電力モードが異なる場合には、それぞれのモードを把握し、モバイル機器の消費電力をケアした周波数チャネルを設定することができるようにする。すなわち、制御部３７０は、第１の周波数帯に関する第１の消費電力モードと、第１の周波数帯よりも高速なデータ伝送速度の第２の周波数帯に関する第２の消費電力モードを別々に設定することができる。
　制御信号送信部３８０は、制御部３７０から出力された制御信号を無線通信部３２０、アンテナ３１０を介して、他の無線通信装置に送信する送信処理を行うものである。
　管理情報保持部３９０は、無線通信を利用して情報処理装置３００に接続される各ソース機器を管理するための情報（管理情報）を保持するテーブルである。なお、管理情報保持部３９０の保持内容については、図４を参照して詳細に説明する。
　［管理情報保持部の保持内容例］
　図４は、本技術の第１の実施の形態における管理情報保持部３９０の保持内容の一例を模式的に示す図である。
　管理情報保持部３９０は、無線通信を利用して情報処理装置３００に接続される各ソース機器を管理するための情報（管理情報）を保持するテーブルである。例えば、管理情報保持部３９０には、端末識別情報３９１と、周波数チャネル３９２と、電波伝搬測定情報３９３と、機器情報３９４と、帯域使用レベル３９５と、表示形態３９６と、スタンバイ／ウェークアップ３９７と、マルチ受信ダイバーシティ対応３９８とが関連付けて保持される。
　端末識別情報３９１には、無線通信を利用して情報処理装置３００に接続されるソース機器を識別するための識別情報が格納される。
　周波数チャネル３９２には、無線通信を利用して情報処理装置３００に接続されるソース機器が実際に使用している周波数チャネルが格納される。
　電波伝搬測定情報３９３には、無線通信を利用して情報処理装置３００に接続されるソース機器に関する電波伝搬測定情報が格納される。この電波伝搬測定情報は、無線通信を利用して情報処理装置３００に接続されるソース機器毎にストリーム受信部３３０により測定される。
　電波伝搬測定情報３９３として、例えば、ＰＥＲ（Packet Error Rate）、ＢＥＲ（Bit Error Rate）、パケットの再送回数、スループットが格納される。また、電波伝搬測定情報３９３として、例えば、フレーム落ち、ＳＩＲ（Signal to Interference Ratio）、ＲＳＳＩ（Received Signal Strength Indicator）が格納される。ここで、ＳＩＲの代わりにＳＩＮＲ（Signal to Interference plus Noise Ratio）を用いてもよい。なお、図４に示す電波伝搬測定情報３９３は、一例であり、これらのうちの少なくとも１つを格納するようにしてもよく、他の電波伝搬測定情報をストリーム受信部３３０が測定して格納するようにしてもよい。また、ソース機器により測定された電波伝搬測定情報を取得して格納するようにしてもよい。さらに、受信側が受け取るパケット遅延を判断し、このパケット遅延に関する情報を電波伝搬測定情報として用いるようにしてもよい。このパケット遅延は、例えば、エラー発生時に、レイヤ２での再送処理によって受信側への伝送に遅延が発生されるため、電波伝搬に関する１つの指標となる。さらに、パケット遅延は、例えば、複数の装置で無線帯域を共有している無線システムでは、どこかのリンク特性が劣化しているかを示す指標となる。
　機器情報３９４には、無線通信を利用して情報処理装置３００に接続されるソース機器の種別（ソース機器の属性）が格納される。例えば、ソース機器の種別として、モバイル機器、または、据え置き機器の何れかが格納される。なお、ソース機器の種別として、電源を挿しながら使用する機器、または、それ以外の機器の何れかを格納するようにしてもよい。また、ソース機器の種別として、バッテリ駆動の機器、または、それ以外の機器の何れかを格納するようにしてもよい。
　帯域使用レベル３９５には、無線通信を利用して情報処理装置３００に接続されるソース機器による帯域の使用レベルが格納される。帯域使用レベルとしては、例えば、解像度やスループットを用いることができる。また、例えば、帯域使用レベルには、使用中のスループットを格納するようにしてもよく、予め決められたテーブルを用意し、そのテーブルのどの範囲に相当するかを示す番号を格納して管理するようにしてもよい。
　表示形態３９６には、無線通信を利用して情報処理装置３００に接続されるソース機器から送信されるストリームに基づくデータの表示形態（出力形態）が格納される。例えば、ソース機器から送信されるストリームに基づく画像データの表示部３５１における表示形態（メイン画像（中央チャネル）、サブ画像（周辺チャネル））が格納される。また、例えば、ソース機器から送信されるストリームに基づく音声データの音声出力部３５２からの出力形態（メイン音声、サブ音声）が格納される。なお、表示形態によって、周辺チャネルを表示しないという形式であってもよい。
　スタンバイ／ウェークアップ３９７には、無線通信を利用して情報処理装置３００に接続されるソース機器のモード（スタンバイモード、ウェークアップモード）が格納される。
　マルチ受信ダイバーシティ対応３９８には、無線通信を利用して情報処理装置３００に接続されるソース機器がマルチ受信ダイバーシティに対応しているか否かを示す情報が格納される。
　このように、管理情報保持部３９０に保持される管理情報は、他の情報処理装置を識別するための識別情報（端末識別情報３９１）と、他の情報処理装置に関するＣａｐａｂｉｌｉｔｙ情報とを紐付けて管理する情報である。また、その管理情報は、他の情報処理装置に関するＣａｐａｂｉｌｉｔｙ情報として、他の情報処理装置との通信に関する電波伝播測定に関する情報（電波伝搬測定情報３９３）と、消費電力に関する情報（スタンバイ／ウェークアップ３９７）とを少なくとも含む。また、管理情報保持部３９０に保持される管理情報は、他の情報処理装置に関するＣａｐａｂｉｌｉｔｙ情報として、画像情報を表示するための表示形態に関する情報（表示形態３９６）を少なくとも含む。この表示形態に関する情報は、例えば、画像情報をメイン表示またはサブ表示することを示す情報である。
　このように、シンク機器側でソース機器に関する情報を管理しているため、シンク機器が把握可能なソース機器に関する情報（例えば、端末識別情報３９１やソース機器の名称）を表示させることができる。また、シンク機器が把握可能なソース機器に関する情報（例えば、端末識別情報３９１やソース機器の名称）と、そのソース機器の表示画面とを関連付けて表示させることもできる。すなわち、制御部３７０は、ソース機器の画像と、そのソース機器を表す情報とを表示部３５１に関連付けて表示させることができる。この場合には、そのソース機器の画像の一部（または、その付近）にそのソース機器に関する情報（例えば、端末識別情報、名称）を表示させることにより、どのユーザがどの表示画面を参照しているかを容易に把握することができる。これにより、操作可能なソース機器を他のユーザに把握させることが可能となる。この場合に、例えば、シンク機器は、操作を受け付けた順番に各制御を行うことができる。
　［画像の遷移例］
　図５は、本技術の第１の実施の形態における情報処理装置３００の表示部３５１に表示される画像の遷移例を示す図である。
　図５のａには、画像１１を中央チャネルとし、画像１２を周辺チャネルとして、情報処理装置３００の表示部３５１に画像１１および画像１２を表示する表示形式の一例を示す。
　図５のｂには、画像１１を周辺チャネルとし、画像１２を中央チャネルとして、情報処理装置３００の表示部３５１に画像１１および画像１２を表示する表示形式の一例を示す。
　例えば、情報処理装置２００および情報処理装置４００のそれぞれが、標準的な解像度のストリーム（画像データおよび音声データ）を情報処理装置３００に送信する場合を想定する。この場合には、図１に示すように、情報処理装置２００からの画像データに基づく画像１１と、情報処理装置４００からの画像データに基づく画像１２とのそれぞれのサイズが同一となるように、情報処理装置３００の表示部３５１に表示することができる。なお、この例では、与えられた解像度と表示領域とを同一と定義しているが、表示部３５１にスケーラ機能を追加し、画像１１、画像１２をリスケールして表示部３５１に表示するようにしてもよい。ただし、本技術の実施の形態では、説明を簡略化させるため、この機能を使用しない前提で説明を行う。
　また、画像１１および画像１２のそれぞれの表示形式については、例えば、前回の通信時に設定された表示形式を保持しておき、この表示形式に応じて画像１１および１２を情報処理装置３００の表示部３５１に表示するようにしてもよい。
　また、情報処理装置３００に接続された順序に基づいて、画像１１および画像１２のそれぞれの表示形式を決定するようにしてもよい。例えば、情報処理装置２００が情報処理装置３００に最初に接続され、この接続後に情報処理装置４００が情報処理装置３００に接続された場合を想定する。この場合には、画像１１を中央チャネルとし、画像１２を周辺チャネルとして、情報処理装置３００の表示部３５１に画像１１および画像１２を表示する。すなわち、情報処理装置３００への接続順序に基づいて、中央チャネル、周辺チャネルの順に表示するようにしてもよい。
　また、図５のａに示すように、画像１１を中央チャネルとし、画像１２を周辺チャネルとして、表示部３５１に画像１１および画像１２が表示されている場合に、画像１２を中央チャネルとするユーザ情報がユーザ情報取得部３６０により取得された場合を想定する。例えば、視聴者がリモコンやジェスチャー等のポインターを用いて画像１２を中央チャネルとするための操作を行うことにより、画像１２を中央チャネルとするユーザ情報がユーザ情報取得部３６０により取得される。この場合には、図５のｂに示すように、画像１２を中央チャネルとし、画像１１を周辺チャネルとして、表示部３５１に画像１１および画像１２が表示される。また、表示部３５１の表示面における画像１１および画像１２の表示位置についても、ユーザ情報取得部３６０により取得されるユーザ情報（例えば、手動操作、視線）に基づいて決定される。
　［通信例］
　図６は、本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。なお、図６では、情報処理装置２００（ソース機器）および情報処理装置３００（シンク機器）間において、情報処理装置３００（シンク機器）の表示位置の要求をＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎで行う場合の通信処理の一例を示す。
　例えば、情報処理装置２００から情報処理装置３００へのＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎ時に各要求が行われた場合には、情報処理装置３００は、自装置に関するＣａｐａｂｉｌｉｔｙを返信することができる。例えば、情報処理装置２００は、確認要求を情報処理装置３００に送信する（５０１、５０２）。この確認要求は、情報処理装置２００の表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、情報処理装置２００の表示位置（例えば、座標）、表示画像の回転に関する情報の要求と、解像度／音質・消費電力性能に関する確認の要求とを行うためのものである。なお、この確認要求は、一例であり、他の内容を同時に要求するようにしてもよい。また、これらの各情報を一度に送信するようにしてもよく、順次送信するようにしてもよい。
　その確認要求を受信した場合には（５０２）、情報処理装置３００は、確認応答を情報処理装置２００に送信する（５０３、５０４）。この確認応答は、情報処理装置２００の表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、情報処理装置２００の表示位置の応答と、表示画面の回転情報、解像度／音質・消費電力性能に関する確認の応答とを行うためのものである。なお、この確認応答は、一例であり、他の内容を同時に応答するようにしてもよい。
　その確認応答を受信した場合には（５０４）、情報処理装置２００は、モード要求（表示位置の指定を含む）を情報処理装置３００に送信する（５０５、５０６）。これにより、情報処理装置２００は、情報処理装置３００に対して表示位置を指定することができる。
　そのモード要求を受信した場合には（５０６）、情報処理装置３００は、モード設定完了通知（表示位置の指定を含む）を情報処理装置２００に送信する（５０７、５０８）。これにより、情報処理装置２００は、指定した表示位置に画像を表示させることができる。
　そのモード設定完了通知を受信した場合には（５０８）、情報処理装置２００は、表示対象となる画像（画像データ）を情報処理装置３００に送信する（５０９、５１０）。この場合には、情報処理装置２００は、受信したモード設定完了通知に基づいて、表示対象となる画像（画像データ）を情報処理装置３００に送信する。そして、情報処理装置３００は、受信した画像を表示部３５１に表示する（５１１）。
　このように、ソース機器およびシンク機器間のＣａｐａｂｉｌｉｔｙのやりとりにおいて、シンク機器における表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、表示位置、表示画面の回転情報の要求を行うことができる。これにより、シンク機器の表示位置をリアルタイムでソース機器に通知することができ、ソース機器から表示位置を制御することができる。すなわち、マルチソース環境においても、適格な場所に適格な表示窓（各ソース機器の画像表示領域）を配置させることができる。
　［通信例］
　図７および図８は、本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。図７および図８では、図１に示すトポロジにおいて、図６に示すやりとりを行う場合の通信例を示す。
　図７および図８では、情報処理装置２００を構成する各部のうち、画像・音声信号生成部２５０、画像・音声圧縮部２６０およびストリーム送信部２７０をデータ送信系２０１として示す。また、アンテナ２１０、無線通信部２２０、制御信号受信部２３０および制御部２４０を回線制御系２０２として示す。また、情報処理装置４００についても同様に、データ送信系４０１および回線制御系４０２として示す。
　また、図７および図８では、情報処理装置３００を構成する各部のうち、アンテナ３１０、無線通信部３２０、ストリーム受信部３３０、制御部３７０および制御信号送信部３８０を回線制御系３０１として示す。また、画像・音声展開部３４０、画像・音声出力部３５０およびユーザ情報取得部３６０を入出力系３０２として示す。
　最初に、情報処理装置３００の電源がオンされたときには、情報処理装置３００の表示形態（画像表示形式、音声表示形態）として前回の表示形態（情報処理装置３００の電源のオフ時の表示形態）が設定される（１００１）。また、情報処理装置３００の制御部３７０は、無線通信を利用して情報処理装置３００に接続されている各ソース機器の管理情報を管理情報保持部３９０（図４に示す）に保持させる。また、情報処理装置３００の制御部３７０は、図５に示すように、前回の表示形態に基づいて、情報処理装置２００および情報処理装置４００のそれぞれから送信された２つのストリームに対応する画像１１、１２を表示部３５１に表示させる。
　続いて、ユーザによる表示形態の設定操作（変更操作）が行われた場合を想定する（１００２）。この場合には、その設定操作に係る制御信号がユーザ情報としてユーザ情報取得部３６０に取得され、そのユーザ情報が制御部３７０に出力される。そして、制御部３７０は、そのユーザ情報に基づいて、管理情報保持部３９０（図４に示す）における保持内容を変更する（１００３、１００４）。例えば、図５のｂに示すように、情報処理装置２００からの画像データに基づく画像１１を周辺チャネルとするための設定操作（変更操作）が行われた場合を想定する。この場合には、制御部３７０は、管理情報保持部３９０における情報処理装置２００の表示形態３９６（図４に示す）を「サブ」に変更する（１００３、１００４）。
　また、情報処理装置２００から情報処理装置３００へのＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎ時に、各要求を行い、情報処理装置３００は、自装置に関するＣａｐａｂｉｌｉｔｙを返信することができる。例えば、情報処理装置２００は、第１確認要求を情報処理装置３００に送信する（１００５、１００６）。この第１確認要求は、情報処理装置２００の表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、情報処理装置２００の表示位置、表示画像の回転に関する情報の要求を行うためのものである。
　その第１確認要求を受信した場合には（１００６）、情報処理装置３００は、第１確認応答を情報処理装置２００に送信する（１００７乃至１０１０）。この第１確認応答は、情報処理装置２００の表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、情報処理装置２００の表示位置、表示画像の回転に関する情報の応答を行うためのものである。
　その第１確認応答を受信した場合には（１００８）、情報処理装置２００は、モード要求（表示位置の指定を含む）を情報処理装置３００に送信する（１０１１、１０１２）。これにより、情報処理装置２００は、情報処理装置３００に対して表示位置を指定することができる。
　そのモード要求を受信した場合には（１０１２）、情報処理装置３００は、モード設定完了通知（表示位置の指定を含む）を情報処理装置２００に送信する（１０１３乃至１０１６）。これにより、情報処理装置２００は、指定した表示位置に画像を表示させることができる。
　また、情報処理装置３００の電源がオンされ、情報処理装置３００および情報処理装置４００間でのやりとりが行われる場合を想定する。この場合についても、上述した各処理（１００１乃至１０１６）と同様に、情報処理装置３００および情報処理装置４００間で各処理（１０１７乃至１０３２）が行われる。
　なお、第１確認要求、第１確認応答は、一例であり、これらを同時にやりとりするようにしてもよく、他の順序でやりとりをしてもよい。また、他の内容を同時または順次送信するようにしてもよい。
　図７および図８に示すように、複数のソース機器（情報処理装置２００および情報処理装置４００）がモード要求（図７に示すモード要求（１０１１、１０１２）、図８に示すモード要求（１０２７、１０２８））を送信する可能性がある。この場合に、複数のソース機器が同時にモード要求を送信する可能性がある。そこで、複数のソース機器から同時（または、略同時）にモード要求を受信した場合におけるシンク機器の制御例について説明する。
　例えば、シンク機器（例えば、情報処理装置３００）は、各ソース機器からのモード要求を受信した場合には、表示部の表示内容に応じて、どのソース機器からのモード要求を優先すべきかを決定することができる。この場合における決定方法として、次の（Ｒ１）、（Ｒ２）の２種類が考えられる。
　　（Ｒ１）シンク機器は、各ソース機器からのモード要求を並列して受信し、この受信した情報の中から選択を行う方法
　　（Ｒ２）シンク機器は、各ソース機器からのモード要求を束ねてＩＤで管理し、まとめて１つの情報として管理する方法
　上述した（Ｒ１）では、シンク機器は、各ソース機器からのモード要求を直接把握することができる。このため、シンク機器は、各ソース機器からのモード要求をＯｎ／Ｏｆｆする制御を行うことができる。そして、シンク機器は、あるソース機器からのモード要求の内容を優先させることを決定することができる。しかしながら、（Ｒ１）では、ソース機器の台数の増加に応じて、シンク機器の処理負荷が増加する。
　上述した（Ｒ２）では、シンク機器は、複数のソース機器からのモード要求が束ねられた後に、モード要求の内容を切り替える。このため、シンク機器の処理負荷を低減させることができる。しかしながら、（Ｒ２）では、各ソース機器からのモード要求を束ねてＩＤで管理する。このため、シンク機器が、ソース機器からのモード要求をＯｎ／Ｏｆｆする制御を行うためには、各ソース機器を判別するためのヘッダが必要となる。
　ここで、画像伝送の規格では、モード要求の内容を切り替えるモード要求内容切替部（図９乃至図１４に示す）から規格で決まることが多い。このため、例えば、ＴＣＰ（Transmission Control Protocol）、ＵＤＰ（User Datagram Protocol）、ＲＴＳＰ（Real Time Streaming Protocol）、Ｗｅｂｓｏｃｋｅｔ用ポートを用意して管理することが考えられる。
　［Ｆｏｒｗａｒｄ　Ｃｈａｎｎｅｌのオンオフ制御例］
　図９は、本技術の第１の実施の形態におけるシンク機器によるモード要求のオンオフを制御する場合における構成例を示す図である。
　図９では、上述した（Ｒ１）の決定方法により、１つのシンク機器１１００と、複数のソース機器１２１１乃至１２１４との間で行われるモード要求のオンオフを制御する例を示す。すなわち、シンク機器１１００が、複数のソース機器１２１１乃至１２１４毎に複数のポートを用意し、上位レイヤからの要求や表示画面の状態に基づいてソース機器を選択する例を示す。例えば、シンク機器１１００は、上位レイヤからのＯｆｆ要求に基づいて、ソース機器のＯｆｆを設定することができる。また、例えば、シンク機器１１００は、シンク機器１１００における表示画面の表示状態に基づいて、ソース機器のＯｆｆを設定することができる。
　ソース機器１２１１乃至１２１４のそれぞれは、Ｆｏｒｗａｒｄ　Ｃｈａｎｎｅｌ情報（例えば、モード要求）をシンク機器１１００に送信する（１２１５乃至１２１８）。
　シンク機器１１００は、表示制御部１１１０およびモード要求内容切替部１１２０を備える。表示制御部１１１０およびモード要求内容切替部１１２０は、図３に示すストリーム受信部３３０および制御部３７０に対応する。
　表示制御部１１１０は、表示部に表示される画像（ソース機器から送信された画像）の表示位置に基づいて、どのソース機器からの入力に切り替えるかを決定するものである。また、表示制御部１１１０は、その決定された内容をモード要求内容切替部１１２０に通知する（１１１１）。
　また、表示制御部１１１０は、その表示位置に基づいて、どのソース機器からの入力をＯｎにし、どのソース機器からの入力をＯｆｆにするかを決定する。また、シンク機器１１００およびソース機器間でリンクを張った後に、シンク機器１１００およびソース機器のやりとりにより、停止、再生、切断、開始等を適宜行うことができる。
　表示制御部１１１０は、ソース機器１２１１乃至１２１４のそれぞれのポートについて、Ｆｏｒｗａｒｄ　Ｃｈａｎｎｅｌ情報を無視することにより、排他制御を実現することができる。また、表示制御部１１１０は、それぞれのポートに対し、送出停止メッセージを出すことにより、排他制御を実現することができる。
　モード要求内容切替部１１２０は、表示制御部１１１０により決定された内容に基づいて、各ソース機器からのＦｏｒｗａｒｄ　Ｃｈａｎｎｅｌ情報を切り替えて受信するものであり、受信した情報を表示制御部１１１０に出力する。例えば、モード要求内容切替部１１２０は、表示制御部１１１０により決定されたソース機器からのＦｏｒｗａｒｄ　Ｃｈａｎｎｅｌ情報のみを受信し、この情報を表示制御部１１１０に出力する。
　図１０は、本技術の第１の実施の形態におけるシンク機器によるモード要求のオンオフを制御する場合における構成例を示す図である。
　図１０では、上述した（Ｒ２）の決定方法により、１つのシンク機器１３００と、複数のソース機器１２１１乃至１２１４との間で行われるモード要求のオンオフを制御する例を示す。すなわち、シンク機器１３００が、Ｆｏｒｗａｒｄ　Ｃｈａｎｎｅｌ情報を束ねて１つのポートを用意し、パケットに挿入されるＩＤ用ヘッダに基づいて、各ソース機器を管理する例を示す。なお、ソース機器１２１１乃至１２１４は、図９に示すソース機器１２１１乃至１２１４と同様である。
　シンク機器１３００は、表示制御部１３１０と、モード要求内容切替部１３２０と、共通入力切替部１３３０とを備える。表示制御部１３１０、モード要求内容切替部１３２０および共通入力切替部１３３０は、図３に示すストリーム受信部３３０および制御部３７０に対応する。
　表示制御部１３１０は、表示部に表示される画像（ソース機器から送信された画像）の表示位置に基づいて、どのソース機器からの入力に切り替えるかを決定するものである。また、表示制御部１３１０は、その決定された内容をモード要求内容切替部１３２０に通知する（１３１１）。
　また、表示制御部１３１０は、その表示位置に基づいて、どのソース機器からの入力をＯｎにし、どのソース機器からの入力をＯｆｆにするかを決定する。また、シンク機器１３００およびソース機器間でリンクを張った後に、シンク機器１３００およびソース機器のやりとりにより、停止、再生、切断、開始等を適宜行うことができる。
　モード要求内容切替部１３２０は、表示制御部１３１０により決定された内容に基づいて、共通入力切替部１３３０により切り替えられた各ソース機器からのＦｏｒｗａｒｄ　Ｃｈａｎｎｅｌ情報を受信するものである。そして、モード要求内容切替部１３２０は、受信した情報を表示制御部１３１０に出力する。
　共通入力切替部１３３０は、予め決められている標準規格に対応する情報を受信するものであり、受信した情報をモード要求内容切替部１３２０に出力する。例えば、共通入力切替部１３３０は、ソース機器毎のＩＤ情報等と、制御データとを受信する。
　また、共通入力切替部１３３０は、予め決められているソース機器毎のＩＤ情報と、モード要求内容切替部１３２０からの要求とに基づいて、どのソース機器からの入力をＯｎにし、どのソース機器からの入力をＯｆｆにするかを切り替える。
　［ＵＩＢＣのオンオフ制御例］
　上述した決定方法については、ＵＩＢＣについても適用することができる。そこで、以下では、ＵＩＢＣのオンオフ制御例について説明する。
　図１１は、本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。
　図１１では、上述した（Ｒ１）の決定方法を適用して、１つのシンク機器１１００と、複数のソース機器１２１１乃至１２１４との間で行われるＵＩＢＣのオンオフを制御する例を示す。すなわち、シンク機器１１００が、複数のソース機器１２１１乃至１２１４毎に複数のポートを用意し、上位レイヤからの要求や表示画面の状態に基づいてＵＩＢＣを選択する例を示す。例えば、シンク機器１１００は、上位レイヤからのＯｆｆ要求に基づいて、ＵＩＢＣのＯｆｆを設定することができる。また、例えば、シンク機器１１００は、シンク機器１１００における表示画面の表示状態に基づいて、ＵＩＢＣのＯｆｆを設定することができる。
　ソース機器１２１１乃至１２１４のそれぞれは、ＵＩＢＣ情報をシンク機器１１００に送信する。また、シンク機器１１００は、ソース機器１２１１乃至１２１４のそれぞれにＵＩＢＣ情報を送信する（１２２５乃至１２２８）。
　表示制御部１１１０は、表示部に表示される画像（ソース機器から送信された画像）の表示位置に基づいて、どのソース機器からの入力に切り替えるかを決定する。また、表示制御部１１１０は、その決定された内容をモード要求内容切替部１１２０に通知する（１１１２）。
　また、表示制御部１１１０は、その表示位置に基づいて、どのソース機器からの入力をＯｎにし、どのソース機器からの入力をＯｆｆにするかを決定する。また、シンク機器１１００およびソース機器間でリンクを張った後に、ソース機器１１００およびシンク機器のやりとりにより、停止、再生、切断、開始等を適宜行うことができる。
　表示制御部１１１０は、ソース機器１２１１乃至１２１４のそれぞれのポートについて、ＵＩＢＣ情報を無視することにより、排他制御を実現することができる。また、表示制御部１１１０は、それぞれのポートに対し、送出停止メッセージを出すことにより、排他制御を実現することができる。
　モード要求内容切替部１１２０は、表示制御部１１１０により決定された内容に基づいて、各ソース機器からのＵＩＢＣ情報を切り替えて受信し、受信した情報を表示制御部１１１０に出力する。例えば、モード要求内容切替部１１２０は、表示制御部１１１０により決定されたソース機器からのＵＩＢＣ情報のみを受信し、この情報を表示制御部１１１０に出力する。
　図１２は、本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。
　図１２では、上述した（Ｒ２）の決定方法を適用して、１つのシンク機器１３００と、複数のソース機器１２１１乃至１２１４との間で行われるＵＩＢＣのオンオフを制御する例を示す。すなわち、シンク機器１３００が、ＵＩＢＣ情報を束ねて１つのポートを用意し、パケットに挿入されるＩＤ用ヘッダに基づいて、各ソース機器を管理する例を示す。
　表示制御部１３１０は、表示部に表示される画像（ソース機器から送信された画像）の表示位置に基づいて、どのソース機器からの入力に切り替えるかを決定する。また、表示制御部１３１０は、その決定された内容をモード要求内容切替部１３２０に通知する（１３１２）。
　また、表示制御部１３１０は、その表示位置に基づいて、どのソース機器からの入力をＯｎにし、どのソース機器からの入力をＯｆｆにするかを決定する。また、シンク機器１３００およびソース機器間でリンクを張った後に、ソース機器１３００およびシンク機器のやりとりにより、停止、再生、切断、開始等を適宜行うことができる。
　モード要求内容切替部１３２０は、表示制御部１３１０により決定された内容に基づいて、共通入力切替部１３３０により切り替えられた各ソース機器からのＵＩＢＣ情報を受信する。そして、モード要求内容切替部１３２０は、受信した情報を表示制御部１３１０に出力する。
　共通入力切替部１３３０は、予め決められている標準規格に対応する情報を受信するものであり、受信した情報をモード要求内容切替部１３２０に出力する。例えば、共通入力切替部１３３０は、ソース機器毎のＩＤ情報等と、制御データとを受信する。また、共通入力切替部１３３０は、予め決められているソース機器毎のＩＤ情報と、モード要求内容切替部１３２０からの要求とに基づいて、どのソース機器からの入力をＯｎにし、どのソース機器からの入力をＯｆｆにするかを決定する。例えば、モード要求内容切替部１３２０は、表示制御部１３１０により決定されたソース機器からのＵＩＢＣ情報のみを受信し、この情報を表示制御部１３１０に出力する。
　［マルチシンク時におけるＵＩＢＣのオンオフ制御例］
　次に、複数のソース機器とシンク機器とが接続される場合におけるＵＩＢＣのオンオフ制御例について説明する。
　図１３は、本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。
　図１３では、上述した（Ｒ１）の決定方法を適用して、複数のシンク機器１５０１乃至１５０４と、１つのソース機器１４００との間で行われるＵＩＢＣのオンオフを制御する例を示す。すなわち、ソース機器１４００が、複数のシンク機器１５０１乃至１５０４毎に複数のポートを用意し、上位レイヤからの要求や表示画面のユーザ操作に基づいてＵＩＢＣを選択する例を示す。例えば、ソース機器１４００は、上位レイヤからのＯｆｆ要求に基づいて、ＵＩＢＣのＯｆｆ要求を行うことができる。また、例えば、ソース機器１４００は、シンク機器１１００における表示画面のユーザ操作に基づいて、ＵＩＢＣのＯｆｆ要求を行うことができる。
　シンク機器１５０１乃至１５０４のそれぞれは、ＵＩＢＣ情報をソース機器１４００に送信する（１５０５乃至１５０８）。
　表示制御部１４１０は、シンク機器１５０１乃至１５０４の各表示部に表示される画像（ソース機器から送信された画像）の表示位置に基づいて、どのシンク機器からの入力に切り替えるかを決定する。また、表示制御部１４１０は、その決定された内容をモード要求内容切替部１４２０に通知する（１４１１）。
　また、表示制御部１４１０は、その表示位置に基づいて、どのシンク機器からの入力をＯｎにし、どのシンク機器からの入力をＯｆｆにするかを決定する。また、ソース機器１４００およびシンク機器間でリンクを張った後に、ソース機器１４００およびシンク機器のやりとりにより、停止、再生、切断、開始等を適宜行うことができる。
　表示制御部１４１０は、シンク機器１５０１乃至１５０４のそれぞれのポートについて、ＵＩＢＣ情報を無視することにより、排他制御を実現することができる。また、表示制御部１４１０は、それぞれのポートに対し、送出停止メッセージを出すことにより、排他制御を実現することができる。
　モード要求内容切替部１４２０は、表示制御部１４１０により決定された内容に基づいて、各シンク機器からのＵＩＢＣ情報を切り替えて受信し、受信した情報を表示制御部１４１０に出力する。例えば、モード要求内容切替部１４２０は、表示制御部１４１０により決定されたシンク機器からのＵＩＢＣ情報のみを受信し、この情報を表示制御部１４１０に出力する。
　図１４は、本技術の第１の実施の形態におけるシンク機器によるＵＩＢＣのオンオフを制御する場合における構成例を示す図である。
　図１４では、上述した（Ｒ２）の決定方法を適用して、複数のシンク機器１５０１乃至５０４と、１つのソース機器１６００との間で行われるＵＩＢＣのオンオフを制御する例を示す。すなわち、ソース機器１６００が、ＵＩＢＣ情報を束ねて１つのポートを用意し、パケットに挿入されるＩＤ用ヘッダに基づいて、各シンク機器を管理する例を示す。
　表示制御部１６１０は、各シンク機器の表示部に表示される画像（ソース機器から送信された画像）の表示位置に基づいて、どのシンク機器からの入力に切り替えるかを決定する。また、表示制御部１６１０は、その決定された内容をモード要求内容切替部１６２０に通知する（１６１１）。
　また、表示制御部１６１０は、その表示位置に基づいて、どのシンク機器からの入力をＯｎにし、どのシンク機器からの入力をＯｆｆにするかを決定する。また、ソース機器１６００およびソース機器間でリンクを張った後に、ソース機器１６００およびシンク機器のやりとりにより、停止、再生、切断、開始等を適宜行うことができる。
　モード要求内容切替部１６２０は、表示制御部１６１０により決定された内容に基づいて、共通入力切替部１６３０により切り替えられた各シンク機器からのＵＩＢＣ情報を受信する。そして、モード要求内容切替部１６２０は、受信した情報を表示制御部１６１０に出力する（１６１１）。
　共通入力切替部１６３０は、予め決められている標準規格に対応する情報を受信するものであり、受信した情報をモード要求内容切替部１６２０に出力する（１６２１）。例えば、共通入力切替部１６３０は、シンク機器毎のＩＤ情報等と、制御データとを受信する。また、共通入力切替部１６３０は、予め決められているシンク機器毎のＩＤ情報と、モード要求内容切替部１６２０からの要求とに基づいて、どのシンク機器からの入力をＯｎにし、どのシンク機器からの入力をＯｆｆにするかを決定する。例えば、モード要求内容切替部１６２０は、表示制御部１６１０により決定されたシンク機器からのＵＩＢＣ情報のみを受信し、この情報を表示制御部１６１０に出力する。
　このように、シンク機器およびソース機器間で制御データやＵＩＢＣ情報のやりとりを行うことができる。また、例えば、シンク機器およびソース機器間で制御データやＵＩＢＣ情報のやりとりを効率よく行うため、ポートの共有やＷｅｂＳｏｃｋｅｔの利用等を行うことができる。そこで、図２０および図２１等では、ＷｅｂＳｏｃｋｅｔを利用してソース機器およびシンク機器間で各情報のやりとりを行う例を示す。
　なお、本技術は、これらに限定されないものとする。例えば、本技術の実施の形態では、Ｆｏｒｗａｒｄ　Ｃｈａｎｅｌ、制御データやＵＩＢＣ情報のオンオフ制御例を示すが、本技術は、これらに限定されないものとする。例えば、図１８、図１９記載のＲＴＳＰコマンド（Play/Pauseやstandby/resume、IDR refresh request等）でも同等のオンオフ制御をしてもよいものとする。また、オンオフ制御を短く切り替えることで、それぞれの装置間がユーザの視点でオンオフ制御されていないように制御する協調動作も可能である。なお、オンオフ制御とは、接続・切断、開始・停止、有効化（受付）・無効化（無視）を制御することを指してもよい。
　また、例えば、ソース機器およびシンク機器以外の機器（例えば、表示位置制御クライアント）を追加し、その機器が各ソース機器の操作を、シンク機器を経由して行うようにしてもよい。この例を図１５および図１６に示す。すなわち、図１５および図１６では、情報処理装置２０３（表示位置制御クライアント）を追加し、情報処理装置２０３が情報処理装置２００（ソース機器）の操作を、情報処理装置３００（シンク機器）を経由して行う例を示す。
　ここで、上述した追加する機器（ソース機器およびシンク機器以外の機器）は、一つ又は複数の、キーボード、マウス、ジョイスティック等の入力装置であってもよく、有線又は無線によってシンク機器と接続されていてもよい。また、それらの複数の入力装置をシンク機器に、固定的または着脱可能な態様で設けるようにしてもよい。このように、シンク機器が複数の入力装置を有する場合（例えば、着脱可能、有線又は無線による接続を含む）には、複数の入力装置の操作情報は、それぞれから、一以上のシンク機器経由でＵＩＢＣ情報に含めて送信される。このとき、ＵＩＢＣ情報のパケットに挿入されるＩＤ情報は、複数の入力装置に係る複数のＩＤ情報として挿入してもよい。
　［通信例］
　図１５および図１６は、本技術の第１の実施の形態における通信システム１００を構成する各装置間における通信処理例を示すシーケンスチャートである。
　図１５および図１６では、情報処理装置２００（ソース機器）および情報処理装置３００（シンク機器）以外の表示位置制御クライアント（情報処理装置（ソース機器）２０３）が、シンク機器の表示位置を把握する場合の通信処理の一例を示す。表示位置制御クライアント（情報処理装置２０３）は、情報処理装置３００（シンク機器）の表示位置を把握する制御クライアントであり、情報処理装置３００（シンク機器）の表示位置イメージを表示装置（図示せず）に表示する。例えば、情報処理装置３００（シンク機器）に表示される各画像の表示位置およびサイズをソース機器毎に表示装置に表示させる。これにより、ソース機器のユーザは、各画像を把握することができる。
　また、図１５および図１６では、情報処理装置２００を構成する各部のうち、画像・音声信号生成部２５０、画像・音声圧縮部２６０およびストリーム送信部２７０をデータ送信系２０１として示す。また、アンテナ２１０、無線通信部２２０、制御信号受信部２３０および制御部２４０を回線制御系２０２として示す。
　また、図１５および図１６では、情報処理装置３００を構成する各部のうち、アンテナ３１０、無線通信部３２０、ストリーム受信部３３０、制御部３７０および制御信号送信部３８０を回線制御系３０１として示す。また、画像・音声展開部３４０、画像・音声出力部３５０およびユーザ情報取得部３６０を入出力系３０２として示す。
　最初に、情報処理装置３００の電源がオンされたときには、情報処理装置３００の表示形態（画像表示形式、音声表示形態）として前回の表示形態（情報処理装置３００の電源のオフ時の表示形態）が設定される（５２１）。また、情報処理装置３００の制御部３７０は、無線通信を利用して情報処理装置３００に接続されている各ソース機器の管理情報を管理情報保持部３９０（図４に示す）に保持させる。また、情報処理装置３００の制御部３７０は、図５に示すように、前回の表示形態に基づいて、情報処理装置２００および情報処理装置４００のそれぞれから送信された２つのストリームに対応する画像１１、１２を表示部３５１に表示させる。
　続いて、ユーザによる表示形態の設定操作（変更操作）が行われた場合を想定する（５２２）。この場合には、その設定操作に係る制御信号がユーザ情報としてユーザ情報取得部３６０に取得され、そのユーザ情報が制御部３７０に出力される。そして、制御部３７０は、そのユーザ情報に基づいて、管理情報保持部３９０（図４に示す）における保持内容を変更する（５２３、５２４）。例えば、図５のｂに示すように、情報処理装置２００からの画像データに基づく画像１１を周辺チャネルとするための設定操作（変更操作）が行われた場合を想定する。この場合には、制御部３７０は、管理情報保持部３９０における情報処理装置２００の表示形態３９６（図４に示す）を「サブ」に変更する（５２３、５２４）。
　また、情報処理装置２００から情報処理装置３００へのＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎ時に、各要求を行い、情報処理装置３００は、自装置に関するＣａｐａｂｉｌｉｔｙを返信することができる。例えば、情報処理装置２００は、第１確認要求を情報処理装置３００に送信する（５２５、５２６）。この第１確認要求は、情報処理装置２００の表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、情報処理装置２００の表示位置の要求を行うためのものである。
　その第１確認要求を受信した場合には（５２６）、情報処理装置３００は、第１確認応答を情報処理装置２００に送信する（５２７乃至５３０）。この第１確認応答は、情報処理装置２００の表示面積、マルチソース分の表示面積（ただし、伝送する解像度ではない）、情報処理装置２００の表示位置の応答を行うためのものである。また、情報処理装置３００は、その第１確認応答を情報処理装置２０３に送信する（５３１、５３２）。この場合に、情報処理装置３００は、情報処理装置２００以外の他のソース機器に関する各情報（他のソース機器の表示面積、マルチソース分の表示面積、他のソース機器の表示位置）を第１確認応答に含めて情報処理装置２０３に送信するようにしてもよい。これにより、情報処理装置２０３は、シンク機器における各ソース機器の表示位置を迅速に把握することができる。
　また、情報処理装置２００は、モード要求（表示位置の指定を含む）を情報処理装置３００に送信する（５３３、５３４）。これにより、情報処理装置２００は、情報処理装置３００に対して表示位置を指定することができる。
　そのモード要求を受信した場合には（５３４）、情報処理装置３００は、モード設定完了通知（表示位置の指定を含む）を情報処理装置２００に送信する（５３５乃至５３８）。また、情報処理装置３００は、モード設定完了通知（表示位置の指定を含む）を情報処理装置２０３に送信する（５３９、５４０）。これにより、情報処理装置２０３は、指定した表示位置に画像を表示させることができる。
　また、情報処理装置２００は、第２確認要求を情報処理装置３００に送信する（５４１、５４２）。この第２確認要求は、解像度／音質・消費電力性能に関する確認の要求を行うためのものであり、例えば、第１確認要求は、Ｗｉ－Ｆｉ規格（例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ）の将来規格であり、第２確認要求は、現在のＷｉ－Ｆｉ規格内（例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ）の動作としてもよい。
　その第２確認要求を受信した場合には（５４２）、情報処理装置３００は、第２確認応答を情報処理装置２００に送信する（５４３、５４４）。この第２確認応答は、解像度／音質・消費電力性能に関する確認の応答を行うためのものである。
　なお、これらの第１、第２確認要求、第１、第２確認応答は、一例であり、これらを同時にやりとりするようにしてもよく、他の順序でやりとりをしてもよい。また、他の内容を同時または順次送信するようにしてもよい。
　その第２確認応答を受信した場合には（５４４）、情報処理装置２００の回線制御系２０２は、モード設定（表示位置の指定を含む）をデータ送信系２０１に出力する（５４５、５４６）。また、情報処理装置２００の回線制御系２０２は、そのモード設定（表示位置の指定を含む）を情報処理装置３００に送信する（５４７、５４８）。このモード設定は、解像度／音質・消費電力性能に関する設定を行うためのものである。
　ここで、情報処理装置２００からの画像の表示位置を中央画面（メイン画面）から周辺画面（サブ画面）に変更した場合を想定する（５４９）。この場合には、情報処理装置２００において、周辺画面（サブ画面）に変更するための各設定が行われる（５５０、５５１）。また、情報処理装置２０３は、情報処理装置３００における表示位置のイメージ（情報処理装置２００のイメージ）をサブ画面として表示する。また、情報処理装置２０３は、情報処理装置２００の表示位置を操作するコマンド（表示位置操作コマンド）を情報処理装置３００に送信する（５５２、５５３）。
　また、情報処理装置３００は、情報処理装置２００からのストリームを受信し（５５４、５５５）、そのストリームに基づく画像を表示部３５１に表示する（５５６）。そして、情報処理装置３００は、その表示位置操作コマンドにより要求された表示位置への変更を行う際に、情報処理装置３００にとって最適な解像度・音声・消費電力となるように設定変更を行う。また、ユーザによる表示形態の設定操作（変更操作）が行われた場合には（５５７）、その設定操作に応じた各処理を行う（５５８、５５９）。そして、情報処理装置３００は、その設定変更を行うための設定変更要求を情報処理装置２００、２０３に送信する（５６０乃至５６３）。
　また、情報処理装置３００は、情報処理装置２００からのストリームを受信する（５６４、５６５）。
　このように、シンク機器の表示位置をリアルタイムでソース機器に通知することができ、ソース機器から表示位置を制御することができる。
　なお、図１５および図１６に示す例では、複数のソース機器をシンク機器に接続する例を示したが、本技術の実施の形態はこれに限定されない。例えば、シンク機器（情報処理装置３００）に１台のソース機器のみが接続する接続環境についても対応することができる。
　また、シンク機器（情報処理装置３００）が表示する画面は、ソース機器（情報処理装置２００）から受信した画像のみではなく、シンク機器（情報処理装置３００）が備える他の接続回線からの画像情報を受信して表示するようにしてもよい。例えば、Ｈｙｂｒｉｄｃａｓｔ規格の情報処理装置をシンク機器として用いる場合についても対応することができる。例えば、Ｈｙｂｒｉｄｃａｓｔ規格の機器（例えば、映像視聴装置）は、放送波から画像（映像）を受信しつつ、通信回線から補助情報（動画を含む）を受信することができる。そこで、Ｈｙｂｒｉｄｃａｓｔ規格の環境の一部にソース機器（情報処理装置２００）の画像を表示するようにしてもよい。この例については、本技術の第４の実施の形態で示す。
　また、情報処理装置３００は、情報処理装置２００および情報処理装置４００のそれぞれから送信された２つのストリームの合計データ伝送速度を最小にするように制御を行うようにしてもよい。例えば、その合計データ伝送速度の最大許容値を受信側の情報処理装置３００の制御部３７０に設定する。そして、制御部３７０は、ビットレートを低下するための変更要求を情報処理装置２００に送信した後に、情報処理装置２００および４００のそれぞれから送信された２つのストリームのビットレートをストリーム受信部３３０から取得する。続いて、制御部３７０は、取得された２つのストリームの合計データ伝送速度を計算する。続いて、制御部３７０は、設定された最大許容値を超えない範囲で、情報処理装置４００から送信されるストリームのビットレートを決定し、このビットレートに向上させるための変更要求を情報処理装置４００に送信する。なお、最低ビットレートに設定してもＰＥＲ（Packet Error Rate）が大きく、同一周波数チャネルに収容することができない場合には、別の周波数チャネルを用いてもよい。また、画像（中央チャネル、周辺チャネル）が一定時間以上、止まっている場合には、ユーザからの操作（例えば、ポインティング）が発生しない限り、画像データを停止させておくようにしてもよい。
　このように、本技術の第１の実施の形態によれば、複数のソース機器から送信された複数のストリームを１つのシンク機器で受信する場合でも、ユーザの操作・状況・意図に応じた適切なストリームの伝送制御（例えば、データ伝送速度制御）を行うことができる。例えば、ユーザの操作・状況・意図に応じて、複数の画像・音声ストリームのうち一部のデータ伝送速度を減らし、残りのストリームのデータ伝送速度を増加させることができる。
　また、例えば、シンク機器が複数のストリームを受信して表示しているような場合には、その時々に応じてユーザが設定したとおりに、重要な画像・音声を高品質で楽しむことができる。また、そうでない画像・音声については、そのデータ伝送速度を自動的に最適な周波数チャネル、消費電力、伝送レートに調節することができる。また、画像伝送モードを安定動作させつつ、リアルタイム性がある接続制御の操作を行うことができる。
　ここで、管理情報保持部３９０に保持される管理情報について、例えば、管理情報の交換は、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔで用意されているコマンドを用いることもできる。この場合、Ｗｉ－Ｆｉ　Ｄｉｓｐｌａｙ仕様で定められるＣａｐａｂｉｌｉｔｙ　ＮｅｇｏｔｉａｔｉｏｎまたはＣａｐａｂｉｌｉｔｙ　ｒｅ－ｎｅｇｏｔｉａｔｉｏｎで行うことができる。ここで、Ｃａｐａｂｉｌｉｔｙ　ＮｅｇｏｔｉａｔｉｏｎまたはＣａｐａｂｉｌｉｔｙ　ｒｅ－ｎｅｇｏｔｉａｔｉｏｎとして、例えば、ＲＦＣ５９３９やＷｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様が挙げられる。ただし、Ｃａｐａｂｉｌｉｔｙ　ＮｅｇｏｔｉａｔｉｏｎまたはＣａｐａｂｉｌｉｔｙ　ｒｅ－ｎｅｇｏｔｉａｔｉｏｎは、これらに限定されるものではなく、装置性能情報のやりとりと定義する。このＷｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様コマンドを用いたやりとりの通信例を図１７乃至図１９に示す。
　［Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様コマンドを用いたやりとりの通信例］
　図１７乃至図１９は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。図１７乃至図１９では、ＲＴＳＰプロトコルを用いたやりとりの通信例を示す。なお、ソース機器４１０は、情報処理装置２００、４００に対応し、シンク機器４２０は、情報処理装置３００に対応する。
　最初に、図１７を参照して説明する。例えば、図１７の点線の矩形４３０内に示すように、ソース機器４１０からシンク機器４２０に送信される「ＲＴＳＰ　Ｍ３　Ｒｅｑｕｅｓｔ」（ＲＴＳＰ　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｑｕｅｓｔ）メッセージと、これに応答してシンク機器４２０からソース機器４１０に送信される「ＲＴＳＰ　Ｍ３　Ｒｅｓｐｏｎｓｅ」（ＲＴＳＰ　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｓｐｏｎｓｅ）メッセージとを用いることができる。
　一方、ソース機器４１０からシンク機器４２０に適宜送信するようにしてもよい。例えば、「ＲＴＳＰ　Ｍ３　Ｒｅｑｕｅｓｔ」（ＲＴＳＰ　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｑｕｅｓｔ）メッセージと、「ＲＴＳＰ　Ｍ３　Ｒｅｓｐｏｎｓｅ」（ＲＴＳＰ　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｓｐｏｎｓｅ）メッセージとのやりとりを省略し、ソース機器４１０からシンク機器４２０に送信されるメッセージに管理情報を含めて、ソース機器４１０からシンク機器４２０に管理情報を送信し、シンク機器４２０が情報を選択して管理情報保持部３９０に保持するようにしてもよい。例えば、コンテンツプロテクション設定を行う場合、Ｍ３　Ｒｅｓｐｏｎｓｅ後にリンクプロテクションセットアップを行う。このため、Ｍ４以上のメッセージのみを行うことで、一度設定されたリンクの秘話性を確保したまま、通信を行えることが望まれることもある。
　また、消費電力モードに関する情報のやりとりについては、ＲＴＳＰプロトコルを用いた所定のメッセージで行うことができる。例えば、以下の（１）乃至（３）の３種類の管理情報の交換を行うことができる。
　　（１）"Ｓｔａｎｄｂｙモードへの設定"
　　（２）"ソース機器がＳｔａｎｂｙモードを解除する場合またはソース機器がシンク機器のＳｔａｎｄｂｙモードを解除する場合"
　　（３）"シンク機器がＳｔａｎｄｂｙモードを解除する場合またはシンク機器がソース機器のＳｔａｎｄｂｙモードを解除する場合"
　ここでは、図１８を参照して説明する。例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔで用意されているコマンドを用いる場合、上述した（１）"Ｓｔａｎｄｂｙモードへの設定"のやりとりでは、ソース機器４１０からシンク機器４２０に送信される「ＲＴＳＰ　Ｍ１２　Ｒｅｑｕｅｓｔ」（ＲＴＳＰ　ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ（ｗｉｔｈ　ＷＦＤ－ｓｔａｎｄｂｙ））メッセージと、これに応答してシンク機器４２０からソース機器４１０に送信される「ＲＴＳＰ　Ｍ１２　Ｒｅｓｐｏｎｓｅ」（ＲＴＳＰ　ＯＫ）メッセージとを用いることができる。一方、シンク機器４２０からソース機器４１０へのＳｔａｎｂｙモードへの設定も同様である。
　次に、図１９を参照して説明する。例えば、上述した（２）"ソース機器がＳｔａｎｂｙモードを解除する場合またはソース機器がシンク機器のＳｔａｎｄｂｙモードを解除する場合"、ソース機器４１０は、シンク機器４２０に送信される「ＲＴＳＰ　Ｍ５　Ｒｅｑｕｅｓｔ」（ＲＴＳＰ　ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ（Ｒｅｑｕｅｓｔ（ｗｆｄ－ｔｒｉｇｇｅｒ－ｍｅｔｈｏｄ：ＰＬＡＹ））メッセージと、これに応答してシンク機器４２０からソース機器４１０に送信される「ＲＴＳＰ　Ｍ５　Ｒｅｓｐｏｎｓｅ」（ＲＴＳＰ　ＯＫ）メッセージとをやりとりする。シンク機器４２０は、ソース機器４１０に送信される「ＲＴＳＰ　Ｍ７　Ｒｅｑｕｅｓｔ」（ＲＴＳＰ　ＰＬＡＹ　Ｒｅｑｕｅｓｔ）メッセージと、これに応答してソース機器４１０からシンク機器４２０に送信される「ＲＴＳＰ　Ｍ７　Ｒｅｓｐｏｎｓｅ」（ＲＴＳＰ　ＯＫ）メッセージとを用いることができる。
　また、例えば、上述した（３）"シンク機器がＳｔａｎｄｂｙモードを解除する場合またはシンク機器がソース機器のＳｔａｎｄｂｙモードを解除する場合"のやり取りの場合、シンク機器４２０は、ソース機器４１０に送信される「ＲＴＳＰ　Ｍ７　Ｒｅｑｕｅｓｔ」（ＲＴＳＰ　ＰＬＡＹ　Ｒｅｑｕｅｓｔ）メッセージと、これに応答してソース機器４１０からシンク機器４２０に送信される「ＲＴＳＰ　Ｍ７　Ｒｅｓｐｏｎｓｅ」（ＲＴＳＰ　ＯＫ）メッセージとを用いることができる。
　このように、無線通信部３２０は、Ｃａｐａｂｉｌｉｔｙ情報の交換を、Ｗｉ－Ｆｉ　Ｄｉｓｐｌａｙ仕様に定められるＣａｐａｂｉｌｉｔｙ　ＮｅｇｏｔｉａｔｉｏｎまたはＣａｐａｂｉｌｉｔｙ　ｒｅ－ｎｅｇｏｔｉａｔｉｏｎで行うことができる。また、Ｃａｐａｂｉｌｉｔｙ情報は、例えば、Ｃａｐａｂｉｌｉｔｙ　ＮｅｇｏｔｉａｔｉｏｎまたはＣａｐａｂｉｌｉｔｙ　ｒｅ－ｎｅｇｏｔｉａｔｉｏｎにおけるＲＴＳＰ　Ｍ３　Ｍｅｓｓａｇｅにおいて交換される。
　このように、例えば、情報処理装置３００の無線通信部３２０は、情報処理装置３００に関するＣａｐａｂｉｌｉｔｙ情報と、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報とを交換するための通信を情報処理装置２００との間で行う。また、情報処理装置２００の無線通信部２２０は、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報と、情報処理装置３００に関するＣａｐａｂｉｌｉｔｙ情報とを交換するための通信を情報処理装置３００との間で行う。これらの場合に、無線通信部２２０、３２０は、Ｃａｐａｂｉｌｉｔｙ情報の交換をＣａｐａｂｉｌｉｔｙ　ＮｅｇｏｔｉａｔｉｏｎまたはＣａｐａｂｉｌｉｔｙ　ｒｅ－ｎｅｇｏｔｉａｔｉｏｎで行うことができる。
　また、情報処理装置３００の制御部３７０は、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報と、情報処理装置２００との通信に関する電波伝搬測定情報と、情報処理装置３００の使われ方とに基づいて情報処理装置２００とのストリームの伝送制御を行う。また、本技術の実施の形態とストリーム伝送の方法は異なるが、情報処理装置２００の制御部２４０は、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報と、情報処理装置３００とのストリームの通信に関する電波伝搬測定情報とに基づく情報処理装置３００からの制御に基づいて情報処理装置３００とのストリームの伝送制御を行うこともできる。
　また、情報処理装置３００の制御部３７０は、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報（例えば、モバイル機器であるか否かを示す情報）に基づいて情報処理装置２００における消費電力モードを設定する制御を行う。この場合に、制御部３７０は、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報と、情報処理装置２００を管理するための管理情報とに基づいて情報処理装置２００に低消費電力モードを設定する制御を行うことができる。また、情報処理装置２００の制御部２４０は、情報処理装置２００に関するＣａｐａｂｉｌｉｔｙ情報に基づく情報処理装置３００からの制御に基づいて消費電力モードを設定する。なお、本技術の実施の形態では、ソース機器を２台にしたトポロジでの一例を説明したが、本技術の実施の形態はこれに限定されない。例えば、２台以上であれば、台数分のデータ伝送速度制御を行う必要があり、状態遷移が多いため、制御が難しくなるが、有益である。また、２台以上のソース機器が接続するトポロジでも対応することができる。
　［ＷｅｂＳｏｃｋｅｔを利用したソース機器およびシンク機器間の通信例］
　次に、ＷｅｂＳｏｃｋｅｔを利用してソース機器およびシンク機器間で各情報のやりとりを行う例を示す。
　ここで、ＷｅｂＳｏｃｋｅｔは、サーバおよびクライアント間において一度でも接続が確立すると、明示的に切断しない限り、通信手順を意識することなくデータのやり取りをソケット通信により実施することができる通信規格である。また、ＷｅｂＳｏｃｋｅｔで接続が確立されているサーバと全てのクライアントとは同じデータを共有することができ、リアルタイムで送受信することができる。すなわち、ＷｅｂＳｏｃｋｅｔは、ポートを維持することができ、画像伝送、音声伝送をリアルタイムに行うことができる。
　ここで、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、上述したように、シンク機器からソース機器へのＵＩＢＣが存在する。また、ソース機器からシンク機器への制御等のように、制御回線に関する要求は、マルチソースやマルチシンクのトポロジ環境になると高くなると想定される。
　そこで、本技術の第１の実施の形態では、ＷｅｂＳｏｃｋｅｔを利用してソース機器およびシンク機器間で各情報のやりとりを行うようにする。例えば、上述したＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎにおいて、ＷｅｂＳｏｃｋｅｔを設定するための各情報のやりとりをソース機器およびシンク機器間で行い、ＷｅｂＳｏｃｋｅｔを新たに追加設定することができる。
　［ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを別々に設定する例］
　最初に、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを別々に設定する例について説明する。
　［ＵＩＢＣの設定例］
　図２０および図２１は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。図２０および図２１では、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎにおいて、ＵＩＢＣを設定するための通信例（ＵＩＢＣの設定例）を示す。このＵＩＢＣ設定方法については、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの規格で規定されている。
　ＵＩＢＣを設定する場合には、Ｍ３メッセージ（ＲＴＳＰ　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ）により、Ｗｆｄ－ｕｉｂｃ－Ｃａｐａｂｉｌｉｔｙのやりとりをソース機器４１０およびシンク機器４２０間で行う。このやりとりは、シンク機器４２０がＵＩＢＣ機能を内蔵しているか否かを、ソース機器４１０が確認することが目的である。
　また、図２０のａに示すように、ソース機器４１０は、シンク機器４２０のＣａｐａｂｉｌｉｔｙ情報をシンク機器４２０から受信し、Ｍ４メッセージで、シンク機器４２０にＵＩＢＣ回線設定要求を行う。なお、Ｍ４メッセージでＵＩＢＣ回線設定要求を送信せずに、画像伝送を開始した後に、Ｍ１４メッセージで接続要求を行うようにしてもよい。また、Ｍ１４メッセージ送信時には、ソース機器４１０からの要求だけでなく、シンク機器４２０からソース機器４１０へＵＩＢＣ回線設定要求を行うようにしてもよい。この例を図２１のａに示す。
　また、Ｍ４／Ｍ１４メッセージのやりとりだけでは、ＵＩＢＣがＥｎａｂｌｅにならない。このため、図２０のｂ、図２１のｂに示すように、ＵＩＢＣ回線設定要求に対する返答を受信した後、Ｍ１５メッセージのやりとりを行う。これにより、ＵＩＢＣ回線がＥｎａｂｌｅとなる。
　［ＷｅｂＳｏｃｋｅｔの設定例］
　図２２および図２３は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。図２２および図２３では、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎにおいて、ＷｅｂＳｏｃｋｅｔを設定するための通信例（ＷｅｂＳｏｃｋｅｔの設定例）を示す。
　ＷｅｂＳｏｃｋｅｔを設定する場合には、Ｍ３メッセージ（ＲＴＳＰ　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ）により、Ｗｆｄ－ｗｅｂｓｏｃｋｅｔ－Ｃａｐａｂｉｌｉｔｙのやりとりをソース機器４１０およびシンク機器４２０間で行う。このやりとりは、シンク機器４２０がＷｅｂＳｏｃｋｅｔ機能を内蔵しているか否かを、ソース機器４１０が確認することが目的である。
　また、図２２のａに示すように、ソース機器４１０は、シンク機器４２０のＣａｐａｂｉｌｉｔｙ情報をシンク機器４２０から受信し、Ｍ４メッセージで、シンク機器４２０にＷｅｂＳｏｃｋｅｔ回線設定要求を行う。なお、Ｍ４メッセージでＷｅｂＳｏｃｋｅｔ回線設定要求を送信せずに、画像伝送を開始した後に、Ｍ１４メッセージで接続要求を行うようにしてもよい。また、Ｍ１４メッセージ送信時には、ソース機器４１０からの要求だけでなく、シンク機器４２０からソース機器４１０へＷｅｂＳｏｃｋｅｔ回線設定要求を行うようにしてもよい。この例を図２３のａに示す。
　また、Ｍ４／Ｍ１４メッセージのやりとりだけでは、ＷｅｂＳｏｃｋｅｔがＥｎａｂｌｅにならない。このため、図２２のｂ、図２３のｂに示すように、ＷｅｂＳｏｃｋｅｔ回線設定要求に対する返答を受信した後、Ｍ１５メッセージのやりとりを行う。これにより、ＷｅｂＳｏｃｋｅｔ回線がＥｎａｂｌｅとなる。
　［ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの設定例］
　図２４は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。図２４では、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎにおいて、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを設定するための通信例（ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの設定例）を示す。
　すなわち、図２４では、図２０および図２１に示すＵＩＢＣ接続要求／応答とともに、図２２および図２３に示すＷｅｂＳｏｃｋｅｔ接続要求／応答を行う通信例を示す。例えば、ＷｅｂＳｏｃｋｅｔ用回線として、ｗｆｄ－ｗｅｂｓｏｃｋｅｔ－Ｃａｐａｂｉｌｉｔｙを定義し、ＷｅｂＳｏｃｋｅｔ回線を実装しているか否かをソース機器４１０およびシンク機器４２０間でＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎする。
　また、図２４では、ＷｅｂＳｏｃｋｅｔ用のポート番号を、ＵＩＢＣとは別ポート番号に設定する例を示す。このように、ＷｅｂＳｏｃｋｅｔを別ポートにすることにより、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの双方の接続リンクにおいて、同時利用を行いつつ、リアルタイム性の高い処理を行うことが可能となる。
　また、図２４では、新規コマンドおよびＵＩＢＣをＴＣＰ上で別ポートとして指定する場合に、新規コマンドおよびＵＩＢＣがリアルタイムのデータをやりとりするため、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを別カテゴリとして判断する例を示す。
　具体的には、Ｍ３メッセージ（Ｒｅｑ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＱＵＥＳＴ）により、Ｗｆｄ－ｕｉｂｃ－Ｃａｐａｂｉｌｉｔｙのやりとりをソース機器４１０およびシンク機器４２０間で行う。また、Ｍ３メッセージ（Ｒｅｑ．　ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＱＵＥＳＴ）により、Ｗｆｄ－ｗｅｂｓｏｃｋｅｔ－Ｃａｐａｂｉｌｉｔｙのやりとりをソース機器４１０およびシンク機器４２０間で行う。このやりとりは、シンク機器４２０がＵＩＢＣ機能およびＷｅｂＳｏｃｋｅｔ機能を内蔵しているか否かを、ソース機器４１０が確認することが目的である。
　また、Ｍ３メッセージ（Ｒｅｓ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＳＰＯＮＳＥ）により、ＵＩＢＣのＣａｐａｂｉｌｉｔｙおよびＷｅｂＳｏｃｋｅｔのＣａｐａｂｉｌｉｔｙがシンク機器４２０からソース機器４１０に送信される。例えば、ＵＩＢＣについて「ＧＥＮＥＲＩＣ（座標）」を指定する場合には、次の内容が送信される。
　　wfd_uibc_capability: input_category_list = GENERIC; 
　　generic_cap_list = Mouse, SingleTouch; 
　　hidc_cap_list = none; port = none
　また、例えば、ＵＩＢＣについて「ＨＩＤＣ（ＵＳＢ）」を指定する場合には、次の内容が送信される。
　　wfd_uibc_capability: input_category_list = HIDC; 
　　generic_cap_list = none; 
　　hidc_cap_list = Mouse/BT, RemoteControl/Infrared; port = none
　また、例えば、ＷｅｂＳｏｃｋｅｔについては、次の内容が送信される。
　　wfd-websocket-capability =
　　"wfd_websocket_capability:" SP ("none" / (input-category-val 
　　";xxxx;" tcp-port)) CRLF; "none" if not supported
　また、Ｍ４／Ｍ１４メッセージ（Ｒｅｑ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＱＵＥＳＴ）により、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを指定するための情報がソース機器４１０からシンク機器４２０に送信される。例えば、ＵＩＢＣについて「ＧＥＮＥＲＩＣ（座標）」を指定する場合には、次の内容が送信される。この内容が送信される場合のフレームフォーマットの一例を図２５に示す
　　wfd_uibc_capability: input_category_list = GENERIC; 
　　generic_cap_list = Mouse, SingleTouch; 
　　hidc_cap_list = none; port = 1000
　　wfd_uibc_setting: enable
　また、例えば、ＵＩＢＣについて「ＨＩＤＣ（ＵＳＢ）」を指定する場合には、次の内容が送信される。
　　wfd_uibc_capability: input_category_list = HIDC; 
　　generic_cap_list = none; 
　　hidc_cap_list = Mouse/BT, RemoteControl/Infrared; port = 1000
　　wfd_uibc_setting: enable
　また、例えば、ＷｅｂＳｏｃｋｅｔについては、次の内容が送信される。
　　wfd-websocket-capability: 接続制御端末機能;
　　xxxx;
　　port=8000
　　Wfd_websocket_setting: enable
　ここで、上述した「接続制御機能」には、例えば、ＣＴＲＬ（例えば、本技術の第２の実施の形態で示す（Ｂ１）乃至（Ｂ３）に相当）が記述される。
　また、Ｍ４／Ｍ１４メッセージ（Ｒｅｑ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＱＵＥＳＴ）により、ソース機器４１０からシンク機器４２０に送信されるＵＩＢＣのフレームフォーマットの一例を図２５に示す。
　［ＵＩＢＣのフレームフォーマット例］
　図２５は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間でやりとりされるＵＩＢＣのフレームフォーマットの一例である。図２５では、Ｇｅｎｅｒｉｃ　Ｉｎｐｕｔを指定する場合のＵＩＢＣのフレームフォーマットの一例を示す。
　図２５のｂには、図２５のａに示すＦｉｅｌｄの「Ｇｅｎｅｒｉｃ　Ｉｎｐｕｔ　Ｔｙｐｅ　ＩＤ」に格納される内容を示す。
　また、図２５のｃには、図２５のａに示すＦｉｅｌｄの「Ｄｅｓｃｒｉｂｅ」に格納される内容を示す。
　以上では、ＷｅｂＳｏｃｋｅｔの接続方法については、ＵＩＢＣの接続方法と同等とする例を示したが、ＷｅｂＳｏｃｋｅｔの接続方法として他の方法を用いるようにしてもよい。また、ｗｆｄ－ＷｅｂＳｏｃｋｅｔ－Ｃａｐａｂｉｌｉｔｙという属性の定義を用いる例を示したが、これに限定されない。例えば、同等の機能を有するものであれば、他のものを用いるようにしてもよい。
　なお、図２４では、ＷｅｂＳｏｃｋｅｔ用のポート番号として、ＵＩＢＣとは別ポート番号を設定する例を示したが、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートとするようにしてもよい。そこで、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートで動作させる接続例を図２６に示す。
　［ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートとする場合のＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの設定例］
　図２６は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間における通信処理例を示すシーケンスチャートである。図２６では、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎにおいて、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを設定するための通信例（ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの設定例）を示す。
　例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの規格を拡張して実現することができる。例えば、Ｍ３メッセージ（Ｒｅｑ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＱＵＥＳＴ）のｉｎｐｕｔ－ｃａｔというカテゴリに「ＷｅｂＳｏｃｋｅｔ」を追加する。そして、例えば、ＧＥＮＥＲＩＣ、ＨＩＤＣ、ＷｅｂＳｏｃｋｅｔの中から、シンク機器４２０がＧＥＮＥＲＩＣを選択することができるようにする。
　この場合には、Ｍ３メッセージ（Ｒｅｓ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＳＰＯＮＳＥ）として、例えば、次の内容が、シンク機器４２０からソース機器４１０に送信される。
　　wfd_uibc_capability: input_category_list = Websocket; 
　　generic_cap_list = 接続制御機能; 
　　hidc_cap_list = none; port = none
　なお、この例では、１つのカテゴリに対応する例を示したが、同時に２つ以上のカテゴリに対応することも可能である。
　また、Ｍ４／Ｍ１４メッセージ（Ｒｅｑ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ＿ＲＥＱＵＥＳＴ）として、例えば、次の内容が、ソース機器４１０からシンク機器４２０に送信される。
　　wfd_uibc_capability: input_category_list = Websocket; 
　　generic_cap_list = 接続制御機能; 
　　hidc_cap_list = none; port = 1000
　　wfd_uibc_setting: enable
　このように、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔをＴＣＰ上で同一ポートに指定することができる。
　なお、この例では、１つのカテゴリに対応する例を示したが、同時に２つ以上のカテゴリに対応することも可能である。
　以上では、同一ポートを設定する場合に、ｉｎｐｕｔ－ｃａｔにＷｅｂＳｏｃｋｅｔを追加する例を示したが、これに限定されない。例えば、他のｃａｔｅｇｏｒｙとして設定してもよい。また、ｉｎｐｕｔ－ｃａｔを同時に２つ設定するのではなく、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎを２回行うようにしてもよい。
　また、以上では、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートか別ポートかに応じて、接続方法を変更する例を示した。ただし、接続途中（または接続後）に同一ポートから別ポート（または、別ポートから同一ポート）に変更することも可能である。例えば、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔで同一ポートのＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎを行った後に、ＵＩＢＣの利用頻度が多いため、別ポートに変更することが想定される。このように、ポートを変更する例を図２７に示す。
　［情報処理装置（シンク機器）の動作例］
　図２７は、本技術の第１の実施の形態における情報処理装置３００によるポート設定処理の処理手順の一例を示すフローチャートである。
　最初に、情報処理装置３００の制御部３７０は、ソース機器との間でＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎを開始する（ステップＳ８０１）。続いて、制御部３７０は、ソース機器からＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの要求を受信したか否かを判断する（ステップＳ８０２）。その要求を受信していない場合には（ステップＳ８０２）、ポート設定処理の動作を終了する。
　また、ソース機器からＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの要求を受信した場合には（ステップＳ８０２）、制御部３７０は、表示部３５１の表示領域に基づいて、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートとするか否かを確認する（ステップＳ８０３）。
　ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートとしても問題ない場合には（ステップＳ８０４）、制御部３７０は、同一ポートによる接続制御設定を行う（ステップＳ８０５）。例えば、図２６に示すように、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートとするためのやりとりが行われる。
　また、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを同一ポートとすると問題が生じる場合には（ステップＳ８０４）、制御部３７０は、別ポートによる接続制御設定を行う（ステップＳ８０６）。例えば、図２４に示すように、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを異なるポートとするためのやりとりが行われる。
　続いて、制御部３７０は、そのソース機器から送信された画像を表示するため、表示部３５１の表示形態を変更する（ステップＳ８０７）。続いて、制御部３７０は、その表示形態の変更後に、ポート設定の変更が必要となるソース機器が存在するか否かを判断する（ステップＳ８０８）。ポート設定の変更が必要となるソース機器が存在しない場合には（ステップＳ８０８）、ポート設定処理の動作を終了する。
　ポート設定の変更が必要となるソース機器が存在する場合には（ステップＳ８０８）、制御部３７０は、そのソース機器（ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔが同一ポートに設定）について、それらを別ポートとするための制御を行う（ステップＳ８０９）。
　続いて、制御部３７０は、ポート数の削減が必要であるか否かを判断する（ステップＳ８１０）。ポート数の削減が必要でない場合には（ステップＳ８１０）、ポート設定処理の動作を終了する。
　ポート数の削減が必要である場合には（ステップＳ８１０）、制御部３７０は、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔが異なるポートに設定されているソース機器について、それらを同一ポートとするための制御を行う（ステップＳ８１１）。なお、ステップＳ８０２乃至Ｓ８１１は、請求の範囲に記載の制御手順の一例である。
　このように、情報処理装置３００の無線通信部３２０は、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ってソース機器との間でリアルタイム画像伝送を行う。また、制御部３７０は、ソース機器から送信された画像情報に基づく画像を表示部３５１に表示させ、その画像に関する制御情報をソース機器との間でやりとりするための複数の通信方式（ＵＩＢＣ、ＷｅｂＳｏｃｋｅｔ）に使用されるポートを設定する制御を行う。この場合に、例えば、制御部３７０は、ソース機器との間で生成されたＴＣＰセッション上でポートを設定する場合に、ポートを使用する複数の通信方式を指定する情報（例えば、図２４、図２６で説明した各情報）をソース機器に送信する。
　また、制御部３７０は、複数の通信方式に使用されるポートとして複数の通信方式毎に複数のポートを設定することができる。この場合には、制御部３７０は、ソース機器からの要求に応じて複数のポートを設定することができる。
　また、制御部３７０は、複数の通信方式に使用されるポートとして複数の通信方式について１つのポートを設定することができる。
　また、制御部３７０は、複数の通信方式の何れかを用いて表示部３５１におけるソース機器の画像の表示態様に関する情報をそのソース機器に送信し、そのソース機器から送信された制御情報に基づいてその画像の表示態様を変更することができる。その制御情報は、例えば、そのソース機器において受け付けられたそのソース機器画像の表示態様を変更するための操作に関する操作情報である。
　また、ソース機器側でも同様の動作を行うことができる。例えば、情報処理装置２００の制御部２４０は、シンク機器側の表示部に画像を表示させるための画像情報をシンク機器に送信する。また、制御部２４０は、その画像に関する制御情報をシンク機器との間でやりとりするための複数の通信方式に使用されるポートを設定する制御を行うことができる。
　ここで、例えば、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを異なるポートとする場合には、ソース機器毎に２つの異なるリンクを設定する必要がある。すなわち、ソース機器のポートが２倍必要となる。このため、例えば、数万のソース機器をシンク機器に接続するような場合には、ポートの割り当てを行うことができないことも想定される。この場合には、システムレスポンスが悪化するおそれがある。そこで、本技術の第１の実施の形態では、使用環境に応じて１または複数のポートを適切に設定する。
　また、シンク機器は、ソース機器からの要求に基づいて、シンク機器の表示位置に関する情報を伝送するため、接続途中、ＵＩＢＣの制御チャネルを、要求があったソース機器に切り替えることもできる。また、ソース機器は、シンク機器からの操作により、ソース機器の表示位置情報を伝送するため、接続途中、ＵＩＢＣの制御チャネルを、要求があったシンク機器に切り替えることもできる。
　ここで、ＷｅｂＳｏｃｋｅｔの制御回線を用いて、テキストだけでなく、画像データや音声データを送受信することも可能である。そこで、以下では、ＷｅｂＳｏｃｋｅｔの制御回線を用いて、画像データや音声データを送受信する例を示す。
　［ＷｅｂＳｏｃｋｅｔを用いた画像データおよび音声データの送信例］
　図２８は、本技術の第１の実施の形態におけるソース機器４１０およびシンク機器４２０間のＷｅｂＳｏｃｋｅｔを用いた画像データおよび音声データの通信例を示す図である。図２８のａには、ソース機器４１０およびシンク機器４２０間における通信処理例を示す。図２８のｂおよびｃには、ソース機器４１０およびシンク機器４２０間でやりとりされるＷｅｂＳｏｃｋｅｔのフレームフォーマットの一例を示す。
　また、図２８では、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔのソース機器４１０が、ＷｅｂＳｏｃｋｅｔのクライアントとして機能し、シンク機器４２０が、ＷｅｂＳｏｃｋｅｔのサーバとして機能する例を示す。
　例えば、ソース機器４１０は、Ｈｏｓｔ、Ｓｅｃ－ＷｅｂＳｏｃｋｅｔ－Ｋｅｙ、Ｓｅｃ－ＷｅｂＳｏｃｋｅｔ－Ｖｅｒｓｉｏｎをシンク機器４２０に送信する（４４１）。なお、Ｈｏｓｔは、ＷｅｂＳｏｃｋｅｔの接続先を指定するものである。また、Ｓｅｃ－ＷｅｂＳｏｃｋｅｔ－Ｋｅｙは、ハンドシェイク応答を得るためのものである。また、Ｓｅｃ－ＷｅｂＳｏｃｋｅｔ－Ｖｅｒｓｉｏｎは、ＷｅｂＳｏｃｋｅｔのバージョンを指定するためのものである。
　また、シンク機器４２０は、ソース機器４１０から受信したＳｅｃ－ＷｅｂＳｏｃｋｅｔ－Ｋｅｙの値に基づいて、Ｓｅｃ－ＷｅｂＳｏｃｋｅｔ－Ａｃｃｅｐｔの値を作成する。そして、シンク機器４２０は、作成したＳｅｃ－ＷｅｂＳｏｃｋｅｔ－Ａｃｃｅｐｔをソース機器４１０に送信する（４４２）。ここで、Ｓｅｃ－ＷｅｂＳｏｃｋｅｔ－Ａｃｃｅｐｔは、クライアントとのコネクションを維持するためのものである。
　また、ソース機器４１０は、図２８のｂに示すフレームフォーマットをシンク機器に送信する（４４１）。このフレームフォーマットでは、送信対象となるデータを、ＷｅｂＳｏｃｋｅｔ　Ｔｙｐｅ　ＩＤで指定することができる。このＷｅｂＳｏｃｋｅｔ　Ｔｙｐｅ　ＩＤの一例を図２８のｃに示す。
　また、ソース機器４１０およびシンク機器４２０間で、ＷｅｂＳｏｃｋｅｔのバイナリデータとして画像データや音声データをやりとりする（４４３）。
　例えば、ＦＩＮが０ｘ０のときは、Ｐａｙｌｏａｄが続くため、シンク機器４２０は直前のデータと連結する。また、ＦＩＮが０ｘ１のときは、Ｐａｙｌｏａｄが終了したフラグであるため、シンク機器４２０はＰａｙｌｏａｄの処理を行う。
　また、例えば、ＲＳＶは、拡張ビットである。
　また、例えば、ｏｐｃｏｄｅが０ｘ０のときは、Ｐａｙｌｏａｄが続くため、シンク機器４２０は直前のデータと連結する。また、ｏｐｃｏｄｅが０ｘ１のときは、Ｐａｙｌｏａｄがテキストであり、ｏｐｃｏｄｅが０ｘ２のときは、Ｐａｙｌｏａｄがバイナリであることを意味する。
　また、例えば、ＭＡＳＫは、メッセージがエンコードされているかを示すビットである。なお、ソース機器４１０からシンク機器４２０へのメッセージは、常にエンコードされている。
　このように、ｏｐｃｏｄｅのバイナリを用いると、ソース機器４１０およびシンク機器４２０間で、ＷｅｂＳｏｃｋｅｔのバイナリデータとして画像データや音声データのやりとりが可能となる。すなわち、ＷｅｂＳｏｃｋｅｔ規格フォーマットを用いて、画像データおよび音声データを伝送することができる。このため、事前認証を画像データや音声データで行うことができる。また、それ以外の各種のユースケースに対応することができる。
　また、画像データおよび音声データのソース機器とシンク機器の間でのやりとりを、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ規格の画像伝送を行いつつ、ＷｅｂＳｏｃｋｅｔを利用しても行うことができる。
　このように、情報処理装置３００の制御部３７０は、ＷｅｂＳｏｃｋｅｔを利用してソース機器から送信された画像情報および音声情報を取得することができる。また、制御部３７０は、その画像情報に基づく画像を表示部３５１に表示させ、その音声情報に基づく音声を音声出力部３５２から出力させることができる。
　このように、本技術の第１の実施の形態では、シンク機器は、全てのソース機器の接続制御端末管理を行うとともに、全てのソース機器から接続制御の操作を受け付けることができる。また、例えば、全てのソース機器が、伝送帯域の制限により、画像伝送モードになることができないような環境にも対応させることができる。すなわち、複数のソース機器からの画像をシンク機器側の表示部に表示する環境において、画像伝送モードを安定して動作させることができ、リアルタイム性がある接続制御の操作を行うことができる。
　また、複数のソース機器からの画像を１つのシンク機器に表示する場合に、シンク機器における各画像の表示位置をリアルタイムでソース機器に通知することができ、ソース機器からその表示位置を制御することができる。また、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔを利用して表示位置に関する情報のやりとりを同時に行うことができる。
　これにより、ソース機器の無駄な処理を削減させ、処理をシンク機器にまとめることにより、ソース機器の負荷を軽減することができる。また、ＵＩＢＣおよびＷｅｂＳｏｃｋｅｔの双方の接続リンクを用いることにより、リアルタイム性の高い処理を行うことができる。また、例えば、ソース機器の数が多い環境においても、シンク機器の負荷を少なくし、位置情報の処理とＵＩＢＣの送信処理を行うことが可能となる。
　また、上述したように、シンク機器側の表示部にソース機器に関する情報とそのソース機器の画像とを関連付けて表示させることができる。この場合には、ソース機器からの要求に応じて、要求を受け付けた順序で操作することを可能とすることができる。
　＜２．第２の実施の形態＞
　本技術の第２の実施の形態では、アクセスポイントを経由したソース機器およびシンク機器間の接続と、ソース機器およびシンク機器間のダイレクト接続とを切り替える（または同時に接続する）例を示す。
　［通信システムの構成例］
　図２９は、本技術の第２の実施の形態における通信システム６００のシステム構成例を示す図である。
　通信システム６００は、アクセスポイント６０１と、ネットワーク６０２と、情報処理装置６０３、６０４、６１０、６２０、６３０と、表示装置６３１と、制御装置６４０とを備える。
　アクセスポイント６０１は、無線ＬＡＮ（例えば、Ｗｉ－Ｆｉ）のアクセスポイント（Ａｃｃｅｓｓ　Ｐｏｉｎｔ）である。例えば、アクセスポイント６０１は、ＩＥＥＥ８０２．１１規格のＩｎｆｒａｓｔｒｕｃｔｕｒｅモードの機能を有する。そして、アクセスポイント６０１は、１または複数の情報処理装置（例えば、送信側の情報処理装置（ソース機器）、受信側の情報処理装置（シンク機器））に接続される。
　また、アクセスポイント６０１は、有線回線（例えば、Ｅｔｈｅｒｎｅｔ（登録商標））を経由して情報処理装置６３０と接続することができる。例えば、アクセスポイント６０１は、ネットワーク６０２を経由して情報処理装置６３０と接続することができる。また、アクセスポイント６０１は、情報処理装置６３０の内部バスと接続して処理を行うようにしてもよい。情報処理装置６３０の内部バスは、例えば、ＵＳＢ（Universal Serial Bus）、ＰＣＩ（Peripheral Components Interconnect）、ＰＣＩ　Ｅｘｐｒｅｓｓである。さらに、アクセスポイント６０１と情報処理装置６３０との接続は有線でなく、無線接続（例えば、無線ＬＡＮ）とするようにしてもよい。例えば、無線ＬＡＮの場合、ネットワーク６０２は情報処理装置６３０に接続し、情報処理装置６３０は、アクセスポイント６０１との送受信処理か、情報処理装置６１０との送受信処理かを判断する必要がある。
　本技術の第２の実施の形態では、アクセスポイント６０１と情報処理装置６０３、６０４、６１０、６２０とは、無線ＬＡＮ（例えば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｄに相当する無線ＬＡＮ）を用いて接続する例を示す。また、アクセスポイント６０１と情報処理装置６３０とは、Ｅｔｈｅｒｎｅｔ回線で接続する例を示す。
　また、情報処理装置６０３、６０４、６１０、６２０を送信側の情報処理装置（ソース機器）とし、情報処理装置６３０を受信側の情報処理装置（シンク機器）とする例を示す。また、情報処理装置６０３、６０４、６１０、６２０は、図２に示す情報処理装置２００に対応し、情報処理装置６３０は、図３に示す情報処理装置３００に対応するものとする。なお、以下では、ソース機器として、主に、情報処理装置６１０について説明するが、情報処理装置６０３、６０４、６２０についても同様であるものとする。
　情報処理装置６１０は、画像を送信する送信側の情報処理装置（ソース機器）である。また、情報処理装置６１０は、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅモードで、アクセスポイント６０１との接続が可能な情報処理装置である。
　ここで、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅモードで、情報処理装置６１０がアクセスポイント６０１との接続を行う接続例について説明する。情報処理装置６１０は、アクセスポイント６０１から送信されるビーコン信号に対して、接続要求信号をアクセスポイント６０１に送信する。このように、情報処理装置６１０は、接続要求信号を送信することにより、アクセスポイント６０１との接続を確立するための動作（接続確立動作）を開始する。
　この接続確立動作は、レイヤ２のレベルを繋げるための動作である。例えば、無線ＬＡＮで行われているＰＩＤ（Packet Identification）によるパスワード認証の他に、情報処理装置６１０をアプリケーションとして接続するか否かを判断する接続認証処理も必要になる。
　また、情報処理装置６１０は、情報処理装置６３０とＰ２Ｐダイレクト通信（例えば、ＷｉＦｉ　Ｄｉｒｅｃｔ）により接続することができる。例えば、情報処理装置６１０は、情報処理装置６３０とＷｉＦｉ　Ｄｉｒｅｃｔにより接続し、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　ＭｉｒａｃａｓｔやＤＬＮＡ（Digital Living Network Alliance）等の画像音声（映像音声）伝送を可能にするプロトコルを有する。
　また、情報処理装置６１０は、アクセスポイント６０１と接続して、アクセスポイント６０１を経由して情報処理装置６３０との間で、各種情報のやりとりのみを行う低速画像音声送信装置（待機装置）とするようにしてもよい。なお、情報処理装置６１０を低速画像音声送信装置としてのみ使用する場合には、情報処理装置６１０は、高速画像音声送信を可能にするプロトコルを有していなくてもよい。
　情報処理装置６３０は、アクセスポイント６０１、情報処理装置６０３、６０４、６１０、６２０、制御装置６４０と接続するための通信機能を備える。また、情報処理装置６３０は、アクセスポイント６０１、情報処理装置６０３、６０４、６１０、６２０、制御装置６４０と接続して全体のプロトコルを制御する機能を備える。また、情報処理装置６３０は、構内ＬＡＮやグローバルＬＡＮと接続するための通信機能を備える。
　ここで、情報処理装置６３０と、情報処理装置６０３、６０４、６１０、６２０との接続を安定させることが重要である。このため、アクセスポイント６０１が使用している無線周波数とは異なる周波数を、情報処理装置６３０と、情報処理装置６０３、６０４、６１０、６２０との接続に用いることが好ましい。なお、本技術の第２の実施の形態では、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ／ａｄ等の２．４ＧＨｚ帯、５ＧＨｚ帯、６０ＧＨｚ等の周波数帯を使用する例を示す。ただし、他の無線規格、周波数帯を使用するようにしてもよい。
　また、情報処理装置６３０は、画像を表示させる表示機能を備える。この表示機能は、ＴＶ（テレビジョン）やプロジェクタ等の画面表示を行う機能である。情報処理装置６３０は、情報処理装置６３０が備える表示部に画像を表示させるようにしてもよく、外部の表示装置に画像を表示させるようにしてもよい。なお、本技術の第２の実施の形態では、情報処理装置６３０とは別体型の表示装置６３１を設ける例を示す。
　このように、情報処理装置６３０とは別体型の表示装置６３１を設ける場合には、情報処理装置６３０および表示装置６３１間を、有線接続または無線接続することができる。例えば、情報処理装置６３０および表示装置６３１間を有線接続する場合には、有線ケーブル（例えば、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＭＨＬ（Mobile High-definition Link）、ＤｉｓｐｌａｙＰｏｒｔ、ＵＳＢ３．０）を利用して接続することができる。また、例えば、情報処理装置６３０および表示装置６３１間を無線接続する場合には、無線ＬＡＮを利用して接続することができる。また、情報処理装置６３０に接続する表示装置は複数台でもよいものとする。
　制御装置６４０は、通信システム６００を構成する各情報処理装置（情報処理装置６０３、６０４、６１０、６２０、６３０）を管理し、各情報処理装置の接続や表示状態を把握して制御する接続制御装置である。例えば、制御装置６４０は、各情報処理装置に関する情報（例えば、端末識別情報、Ｃａｐａｂｉｌｉｔｙ情報）、各情報処理装置の動作状態（例えば、通信モード、グループ参加状態）を管理して把握する。また、制御装置６４０は、無線通信を利用して情報処理装置６３０と接続される。この無線通信として、例えば、情報処理装置６３０が備える通信方式（例えば、無線ＬＡＮ）を用いることができる。また、赤外線、他の無線方式、有線回線を用いるようにしてもよい。なお、制御装置６４０にアクセスポイント６０１と接続するためのプロトコルを備え、アクセスポイント６０１経由で情報処理装置６３０と接続するようにしてもよい。
　例えば、制御装置６４０は、グループへの参加、離脱を把握することにより、各情報処理装置を管理することができる。例えば、グループに参加している各ソース機器は、消費電力に影響を与えない程度に、アクセスポイント６０１または情報処理装置６３０にコマンドを発信する等の処理を行う。このコマンドを直接受信した場合、または、アクセスポイント６０１を経由して間接的に受信した場合には、情報処理装置６３０は、コマンドを受信したソース機器に関する情報を制御装置６４０に通知する。これにより、制御装置６４０は、ソース機器がグループから離脱しているか否かを確認することができる。
　例えば、制御装置６４０は、グループに参加しているソース機器に対応する画像（例えば、アイコン）を入出力部６４３に表示させる。また、例えば、制御装置６４０は、グループに参加しているソース機器がグループから離脱しているか否かを確認し、離脱したソース機器を検出した場合には、その離脱したソース機器に対応する画像（例えば、アイコン）を入出力部６４３から削除する。例えば、ある情報処理装置からのコマンドを、所定時間以上受信していないと判断した場合には、制御装置６４０は、その情報処理装置がグループから離脱したと判断する。そして、制御装置６４０は、その離脱した情報処理装置に対応する画像（例えば、アイコン）を入出力部６４３から削除する。
　制御装置６４０は、グループに参加している情報処理装置に対応する画像（例えば、アイコン）を、各情報処理装置が存在する場所に応じて入出力部６４３に表示させることができる。例えば、各情報処理装置の位置情報（例えば、緯度および経度）を取得し、この位置情報に基づいて、各情報処理装置の絶対的な位置を決定することができる。このように決定された各情報処理装置の位置に基づいて、各情報処理装置の相対的な位置を決定して各学生を配置することができる。なお、各情報処理装置は、例えば、ＧＰＳ（Global Positioning System）により位置情報を取得することができる。
　また、例えば、各情報処理装置の相対的な位置については、電波を利用して検出することができる。例えば、情報処理装置６３０は、複数の情報処理装置からの電波強度を取得し、これらの電波強度に基づいて、三角測量の測量方法を利用して、他の情報処理装置との相対的な位置（自装置の位置）を求めることができる。このように求められた相対的な位置を制御装置６４０が取得して、各情報処理装置の画像を配置することができる。
　なお、ここでは、情報処理装置６３０に接続されている１または複数の情報処理装置を制御装置６４０が管理し、制御装置６４０の入出力部６４３に各情報処理装置を表す画像を表示する例を示した。ただし、情報処理装置６３０に接続されている１または複数の情報処理装置を、情報処理装置６３０が管理し、情報処理装置６３０の表示部または表示装置６３１に各情報処理装置を表す画像を表示するようにしてもよい。
　［ソース機器の通信モードの切替例］
　ここで、ソース機器の通信モード（低速画像音声送信モード（待機モード）、高速画像音声送信モード）を切り替える場合の切替方法について説明する。
　例えば、次の（Ｂ１）乃至（Ｂ３）を、ソース機器の通信モードの切替のトリガとすることができる。
　　（Ｂ１）ソース機器を用いた切替（例えば、ソース機器を用いたユーザ操作による能動的な切替）
　　（Ｂ２）制御装置を用いた切替（例えば、制御装置６４０を用いたユーザ操作による切替（遠隔操作切替））
　　（Ｂ３）シンク機器を用いた切替（例えば、シンク機器（または、これに接続される表示装置６３１）を用いたユーザ操作による切替）
　なお、各装置におけるユーザ操作（切替操作）は、例えば、各装置が備える操作受付部（例えば、操作部材、タッチパネル）を用いたユーザ操作や、各装置が備えるユーザ情報取得部（例えば、ジェスチャーを検出する検出部）を用いたユーザ操作である。
　（Ｂ１）は、例えば、ソース機器に予め内蔵されているアプリケーションや操作部材の操作入力を切替トリガとすることができる。例えば、ソース機器において切替操作が行われると、通信モードの切替に関するコマンドがシンク機器（情報処理装置６３０）に送信される。このコマンドを受信した場合には、シンク機器（情報処理装置６３０）は、その他の帯域を含めて制御しながら、そのコマンドを送信したソース機器の帯域を増減させていく制御を行う。また、シンク機器（情報処理装置６３０）は、そのコマンドを送信したソース機器の通信モードを切り替えた旨の情報を制御装置６４０に送信する。この場合に、制御装置６４０は、通信モードを切り替えた旨の通知情報を出力（表示、音声出力）するようにしてもよい。
　（Ｂ２）は、例えば、シンク機器（情報処理装置６３０）におけるユーザ操作を切替トリガとすることができる。例えば、シンク機器（情報処理装置６３０）においてソース機器の切替操作が行われると、その他の帯域を含めて制御しながら、その切替操作が行われたソース機器の帯域を増減させていく制御を行う。また、シンク機器（情報処理装置６３０）は、その切替操作が行われたソース機器の通信モードを切り替えた旨の情報を制御装置６４０に送信する。この場合には、（Ｂ１）の場合と同様に、制御装置６４０は、通信モードを切り替えた旨の通知情報を出力するようにしてもよい。
　（Ｂ３）は、例えば、制御装置６４０におけるユーザ操作を切替トリガとすることができる。例えば、制御装置６４０においてソース機器の切替操作が行われると、その切替操作が行われたソース機器に関する情報（例えば、端末識別情報）をシンク機器（情報処理装置６３０）に送信する。その情報を受信した場合には、シンク機器（情報処理装置６３０）は、その他の帯域を含めて制御しながら、その切替操作が行われたソース機器の帯域を増減させていく制御を行う。
　また、制御装置６４０は、上述したように、制御装置６４０に接続されている各機器を管理している。そして、制御装置６４０は、これらの各機器がグループから脱退していないかを確認し、脱退している場合には、自装置の管理下から脱退した機器に対応する画像（例えば、アイコン）を入出力部６４３から削除する。
　ここで、制御装置６４０におけるユーザ操作について説明する。例えば、制御装置６４０は、グループに参加している各情報処理装置に対応する画像（例えば、アイコン）を、各情報処理装置が存在する場所に応じた配置となるように入出力部６４３に表示する。この場合に、低速画像音声送信モードに設定されている情報処理装置を高速画像音声送信モード（周辺チャネル）に切り替える場合を想定する。この場合には、切替対象となる情報処理装置に対応する画像を、第１領域（例えば、プレゼン領域）まで移動させる操作を行う。例えば、ドラッグ＆ドロップ操作を行う。これにより、低速画像音声送信モードに設定されている情報処理装置を高速画像音声送信モード（周辺チャネル）に切り替えることができる。
　また、例えば、高速画像音声送信モード（中央チャネル、周辺チャネル）に設定されている情報処理装置を低速画像音声送信モードに切り替える場合を想定する。この場合には、切替対象となる情報処理装置に対応する画像を、第２領域（例えば、待機領域）まで移動させる操作を行う。例えば、ドラッグ＆ドロップ操作を行う。これにより、高速画像音声送信モード（中央チャネル、周辺チャネル）に設定されている情報処理装置を低速画像音声送信モードに切り替えることができる。
　また、（Ｂ１）、（Ｂ２）の場合と同様に、制御装置６４０は、通信モードを切り替えた旨の通知情報を出力するようにしてもよい。
　また、制御装置６４０は、各情報処理装置を表す画像を、通信モード毎に異なる表示態様としてもよい。例えば、高速画像音声送信モード（中央チャネル）に設定されている情報処理装置を表す画像の輪郭を太線とし、高速画像音声送信モード（周辺チャネル）に設定されている情報処理装置を表す画像の輪郭を細線とする。また、低速画像音声送信モードに設定されている情報処理装置を表す画像の輪郭を点線とすることができる。また、例えば、高速画像音声送信モード（中央チャネル）に設定されている情報処理装置を表す画像の色を赤とし、高速画像音声送信モード（周辺チャネル）に設定されている情報処理装置を表す画像の色を青とする。また、低速画像音声送信モードに設定されている情報処理装置を表す画像の色を白とすることができる。
　また、本技術の第２の実施の形態では、上述したように、低速画像音声送信モードでは、アクセスポイントを経由してソース機器およびシンク機器を間接的に接続する接続方式を採用する。また、高速画像音声送信モードでは、アクセスポイントを経由せずにソース機器およびシンク機器を直接接続する接続方式を採用する。
　［情報処理装置（ソース機器）の動作例］
　図３０は、本技術の第２の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。
　図３０では、デフォルトで、ソース機器（情報処理装置６１０）がアクセスポイントに直接接続した後に各処理を開始する例を示す。すなわち、情報処理装置６１０は、予めインストールされているアプリケーションを起動し、特定のアクセスポイント（アクセスポイント６０１）経由でシンク機器への接続要求を行う。また、図３０では、シンク機器として情報処理装置６３０に接続され、特定のアクセスポイントとしてアクセスポイント６０１に接続される例を示す。
　最初に、情報処理装置６１０においてシンク機器（情報処理装置６３０）と間で通信を行うためのアプリケーションが起動される（ステップＳ８２１）。この起動後に、接続対象となるシンク機器（情報処理装置６３０）が選択される（ステップＳ８２１）。
　続いて、情報処理装置６１０の制御部は、アクセスポイント６０１（ＡＰ）経由で情報処理装置６３０への接続要求を行う（ステップＳ８２２）。続いて、情報処理装置６１０の制御部は、アクセスポイント６０１経由で情報処理装置６３０から接続許可情報を受信したか否かを判断する（ステップＳ８２３）。情報処理装置６３０から接続許可情報を受信していない場合には（ステップＳ８２３）、データ送信処理の動作を終了する。この場合には、所定時間以内に接続許可情報を受信していないことを条件に、データ送信処理の動作を終了するようにしてもよい。
　情報処理装置６３０から接続許可情報を受信した場合には（ステップＳ８２３）、情報処理装置６１０の制御部は、情報処理装置６１０のＣａｐａｂｉｌｉｔｙ情報を情報処理装置６３０にアクセスポイント６０１を経由して送信する（ステップＳ８２４）。
　続いて、情報処理装置６１０の制御部は、アクセスポイント６０１経由で情報処理装置６３０から設定要求情報を受信したか否かを判断する（ステップＳ８２５）。設定要求情報を受信していない場合には（ステップＳ８２５）、監視を継続して行う。
　設定要求情報を受信した場合には（ステップＳ８２５）、初期状態として、情報処理装置６１０において待機モードが設定される。そして、情報処理装置６１０の制御部は、待機モードが設定されているか否かを判断する（ステップＳ８２６）。そして、情報処理装置６１０において待機モードが設定されている場合には（ステップＳ８２６）、監視を継続して行う。
　待機モードが設定されていない場合（画像送信モードが設定された場合）には（ステップＳ８２６）、情報処理装置６１０の制御部は、情報処理装置６１０がグループから離脱したか否かを判断する（ステップＳ８２７）。ここで、情報処理装置６１０がグループから離脱する場合は、例えば、情報処理装置６１０がアクセスポイントまたはシンク機器の何れの電波も届かない場所に移動するような場合、グループから離脱するためのユーザ操作が行われた場合が想定される。このユーザ操作は、例えば、離脱ボタンの押下操作（例えば、操作部材の押下操作、タッチパネルの押下操作）とすることができる。また、そのユーザ操作は、情報処理装置６１０、他のソース機器、シンク機器、制御装置６４０の何れかにおいて行うものとする。
　そして、情報処理装置６１０がグループから離脱した場合には（ステップＳ８２７）、データ送信処理の動作を終了する。また、情報処理装置６１０がグループから離脱していない場合には（ステップＳ８２７）、情報処理装置６１０の制御部は、アクセスポイント６０１を経由する情報処理装置６３０との接続を切断する（ステップＳ８２８）。
　続いて、情報処理装置６１０の制御部は、情報処理装置６３０とダイレクト接続を行うためのＰ２Ｐ接続処理を行う（ステップＳ８２９）。このＰ２Ｐ接続処理が完了した後に（ステップＳ８２９）、情報処理装置６１０の制御部は、情報処理装置６３０から受信した設定要求情報に基づいて、情報処理装置６３０に接続要求を行う（ステップＳ８３０）。
　続いて、情報処理装置６１０の制御部は、その接続要求に対応する画像の受信を許可する旨を示す確認情報を情報処理装置６３０から送信したか否かを判断する（ステップＳ８３１）。確認情報を情報処理装置６３０から送信していない場合には（ステップＳ８３１）、監視を継続して行う。
　確認情報を情報処理装置６３０から送信した場合には（ステップＳ８３１）、情報処理装置６１０の制御部は、情報処理装置６３０との間でＰ２Ｐダイレクト接続を開始する（ステップＳ８３２）。そして、情報処理装置６１０の制御部は、受信した確認情報に対応する接続要求に基づいて、画像パラメータや音声パラメータのネゴシエーションを情報処理装置６３０との間で行い、画像データの送信を行う（ステップＳ８３３）。
　続いて、情報処理装置６１０の制御部は、画像送信モードが設定されているか否かを判断する（ステップＳ８３４）。そして、情報処理装置６１０において画像送信モードが設定されている場合には（ステップＳ８３４）、ステップＳ８３３に戻る。
　画像送信モードが設定されていない場合（待機モードが設定された場合）には（ステップＳ８３４）、情報処理装置６１０の制御部は、回線が切断されたか否かを判断する（ステップＳ８３５）。例えば、情報処理装置６１０がグループから離脱したような場合には、アクセスポイント６０１または情報処理装置６３０との回線が切断される。そして、回線が切断された場合には（ステップＳ８３５）、データ送信処理の動作を終了する。
　回線が切断されていない場合には（ステップＳ８３５）、情報処理装置６１０の制御部は、情報処理装置６３０とのダイレクト接続を切断する（ステップＳ８３６）。続いて、情報処理装置６１０の制御部は、アクセスポイント６０１との接続を開始する（ステップＳ８３７）。
　このように、情報処理装置６１０は、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って情報処理装置６３０との間でリアルタイム画像伝送を行う。また、情報処理装置６１０の制御部は、アクセスポイント６０１を経由して、リアルタイム画像伝送に関する設定を情報処理装置６１０に行うための設定要求情報を情報処理装置６３０から受信するよう制御する。また、情報処理装置６１０の制御部は、情報処理装置６３０とのダイレクト通信によりその設定要求情報に基づく設定を行うための設定要求を情報処理装置６３０に送信するよう制御する。その設定要求情報は、アクセスポイント６０１を経由して情報処理装置６１０および情報処理装置６３０間でやりとりされたＣａｐａｂｉｌｉｔｙ情報（情報処理装置６１０に関する）に基づいて生成される。
　また、情報処理装置６１０の制御部は、接続状態を切り替える場合には、切替前の接続に関するポート情報およびＩＰ情報のうちの少なくとも１つを用いて接続処理を行うよう制御することができる。なお、接続状態の切替は、アクセスポイント６０１を経由した情報処理装置６３０との接続状態から、ダイレクト通信による情報処理装置６３０との接続状態への切替、または、その逆の切替である。
　また、情報処理装置６１０の制御部は、画像送信モード（周辺チャネル）では、表示装置６３１における周辺チャネル領域に表示させるための画像の送信を低周波帯域の無線伝送路で行うよう制御する。また、情報処理装置６１０の制御部は、画像送信モード（周辺チャネル）では、表示装置６３１における中央チャネル領域に表示させるための画像の送信を高周波帯域の無線伝送路で行うよう制御する。
　また、情報処理装置６１０の制御部は、各装置の何れかにおけるユーザ操作に基づいてダイレクト通信により設定要求を情報処理装置６３０に送信するよう制御する。または、情報処理装置６１０の制御部は、所定順序（例えば、周辺チャネル領域に並べて表示されている画像の順序）に基づいて、ダイレクト通信により設定要求を情報処理装置６３０に送信するよう制御する。
　また、情報処理装置６３０の制御部は、アクセスポイント６０１を経由して、リアルタイム画像伝送に関する設定を情報処理装置６１０に行うための設定要求情報を情報処理装置６１０に送信するよう制御する。また、情報処理装置６３０の制御部は、情報処理装置６１０とのダイレクト通信によりその設定要求情報に基づく設定を行うための設定要求を情報処理装置６１０から受信するよう制御する。
　このように、アクセスポイントとダイレクト接続との切り替えを行う場合に、その切替時間を短くすることができる。例えば、複数のソース機器を帯域制御する環境において、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ環境と、ＷｉＦｉ　Ｄｉｒｅｃｔ（または、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ）環境とにおいて、切替時間を少なくすることができる。これにより、シームレスな接続切替を提供することができる。
　また、マルチソース環境において、複数のソース機器をグループに参加させつつ、接続順序を設け、より高品位な画像での画像情報共有を行うことができる。例えば、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ環境に参加するソース機器をシンク機器（または制御装置）に通知することができる。また、ＷｉＦｉ　Ｄｉｒｅｃｔ（または、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ）環境では、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ環境とは異なる周波数チャネルでダイレクト通信により画像送信することができる。これにより、複数のソース機器が１台の表示装置（シンク機器）に接続される場合でも、安定した画像通信を行うことができる。また、無線帯域制限により、全てのソース機器が画像送信モードになることができない場合でも、全ての接続を安定的に接続させることができる。
　また、グループ内の接続台数が多ければ多いほど、接続制御のオーバーヘッドが増え、帯域利用効率が悪くなるため、画像伝送を安定的に通すことが難しくなる。これに対して、本技術の実施の形態では、接続台数が多い環境においても、安定した画像伝送を行うことが可能な通信システムを提供することができる。すなわち、本技術の実施の形態では、複数の情報処理装置間で通信を行う場合に適切な制御を行うことができる。
　ここで、接続機器の状態管理は、ＷｅｂＳｏｃｋｅｔのサーバをシンク機器に内蔵し、シンク機器で行うこともできる。例えば、接続器機の状態管理に必要なＷｅｂＳｏｃｋｅｔ用の接続回線は、待機モードの設定時には、アクセスポイントを経由してＷｅｂＳｏｃｋｅｔを動作させることができる。また、画像伝送モードの設定時には、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ上で、ＷｅｂＳｏｃｋｅｔを動作させることができる。これらの動作により、ＷｅｂＳｏｃｋｔのクライアントが、上述した（１）乃至（３）のどの切り替えを行っても、リアルタイムにシンク機器にその切替情報が伝達される。また、シンク機器は、それらの管理結果をリアルタイムにＷｅｂＳｏｃｋｔのクライアント（ソース機器）に戻すことができる。
　［最初に接続されたアクセスポイント以外の公衆回線への接続を可能にする例］
　以上では、ソース機器がシンク機器に接続する場合に、アクセスポイントを経由したシンク機器への接続、または、シンク機器へのダイレクト接続をする例を示した。ここで、ソース機器が携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である場合には、ソース機器を使用しているユーザが移動することが想定される。この場合に、例えば、ソース機器を使用しているユーザが、アクセスポイントとの接続が不可能な場所まで移動することも想定される。このような場合でも、シンク機器への接続を継続して行うことを所望するユーザも想定される。そこで、以下では、ソース機器を使用しているユーザが、アクセスポイントとの接続が不可能な場所まで移動する場合を考慮する例を示す。
　［情報処理装置（ソース機器）の動作例］
　図３１および図３２は、本技術の第２の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。
　なお、図３１および図３２では、デフォルトで、ソース機器（情報処理装置６１０）がアクセスポイントに直接接続した後に各処理を開始し、アクセスポイント以外の公衆回線への接続も可能にする例を示す。また、図３１および図３２は、図３０の変形例であるため、図３０と共通する部分についての説明の一部を省略する。
　最初に、アプリケーションが起動され（ステップＳ８４１）、アクセスポイント６０１（ＡＰ）経由で情報処理装置６３０への接続要求が行われる（ステップＳ８４２）。続いて、情報処理装置６１０の制御部は、アクセスポイント６０１経由で情報処理装置６３０から接続許可情報を受信したか否かを判断する（ステップＳ８４３）。情報処理装置６３０から接続許可情報を受信していない場合には（ステップＳ８４３）、データ送信処理の動作を終了する。なお、ステップＳ８４１乃至Ｓ８４３は、図３０に示すステップＳ８２１乃至Ｓ８２３に対応する。
　情報処理装置６３０から接続許可情報を受信した場合には（ステップＳ８４３）、情報処理装置６１０の制御部は、その接続許可情報に、屋外での利用を許可する情報（屋外使用情報）が含まれるか否かを判断する（ステップＳ８４４）。この屋外使用情報は、アクセスポイント６０１以外のアクセスポイントまたは基地局を経由した情報処理装置６３０との接続を許可するか否かを示す許可情報である。また、情報処理装置６３０は、アクセスポイント６０１（ＡＰ）経由で受信した接続要求に応答して接続許可情報を送信する場合には、屋外使用情報（許可、不許可）を制御装置６４０から取得して接続許可情報に含めて送信する。なお、情報処理装置６３０は、屋外使用情報として「許可」が格納されている場合であっても、グループ参加可能時間として設定されている時間帯以外の時間帯であるときには、不許可の屋外使用情報を接続許可情報に含めて送信する。すなわち、制御装置６４０でスケジューリング（スケジュール管理）を行い、参加者の予定時間を管理して、その時間帯になったときにのみ屋外使用を許可することができる。なお、屋外使用情報をＣａｐａｂｉｌｉｔｙ情報に含めてシンク機器からソース機器に送信するようにしてもよい。
　また、情報処理装置６３０は、許可の屋外使用情報を接続許可情報に含めて送信する場合には、アクセスポイント６０１の電波が届かない場所において公衆網を利用するための設定情報を、その接続許可情報に含める。
　なお、この例では、屋外使用の許可、不許可を予め設定しておく例を示したが、ソース機器からの接続要求がある毎に、各装置において許可、不許可を設定するようにしてもよい。例えば、他のソース機器（例えば、情報処理装置６０３、６０４、６２０）、シンク機器（情報処理装置６３０）、制御装置６４０の少なくとも１つの装置を用いて許可、不許可を設定するための操作を行うことができる。
　例えば、情報処理装置６３０は、制御装置６４０の入出力部６４３に許可、不許可を選択するための表示画面を表示させ、この表示画面において行われた許可、不許可の選択操作を受け付けることができる。
　また、例えば、情報処理装置６３０は、表示装置６３１の表示部６３２に許可、不許可を選択するための表示画面を表示させ、この表示画面を用いて許可、不許可の選択操作を受け付けることができる。例えば、操作部材を用いた操作入力や、ジェスチャーによる操作入力により許可、不許可の選択操作を受け付けることができる。
　また、例えば、情報処理装置６３０は、他のソース機器（例えば、情報処理装置６２０）の表示部６２１に許可、不許可を選択するための表示画面（例えば、ホップアップ）を表示させる。そして、情報処理装置６３０は、その表示画面において行われた許可、不許可の選択操作を受け付けることができる。
　このように、ソース機器からの接続要求がある毎に許可、不許可を設定することができる。このため、例えば、時間帯によって機密性や重要度が異なるような場合でも適切に許可、不許可を設定することができる。
　なお、この例では、シンク機器がグループ認証サーバとして機能するとともに、シンク機器が、屋外使用を許可するか否かを判断するための管理を行う例を示す。ただし、屋外使用の許可不許可の管理と、ソース機器とをリンクさせて管理する管理装置（例えば、管理サーバ）を新たに設けて、その管理装置により屋外使用を許可するか否かを判断するための管理を行うようにしてもよい。
　接続許可情報に、屋外での使用を許可する屋外使用情報が含まれている場合には（ステップＳ８４４）、情報処理装置６１０の制御部は、屋外使用が許可された旨を表示部６１１に表示させる（ステップＳ８４５）。例えば、同一フロア内（アクセスポイント６０１の電波が届く範囲）での使用と、屋外使用とが許可された旨をホップアップ表示してユーザに通知することができる。
　続いて、情報処理装置６１０の制御部は、情報処理装置６１０に関するＣａｐａｂｉｌｉｔｙ情報と、公衆網サービス情報とを情報処理装置６３０にアクセスポイント６０１を経由して送信する（ステップＳ８４６）。ここで、公衆網サービス情報は、情報処理装置６１０が公衆網のサービスを利用するための情報であり、例えば、接続先電話番号（情報処理装置６１０の電話番号）、認証パスワード等である。
　続いて、情報処理装置６１０の制御部は、通信処理を行う（ステップＳ８４７）。この通信処理では、図３０に示す各処理（ステップＳ８２５乃至Ｓ８３７）が行われる。
　続いて、情報処理装置６１０の制御部は、アクセスポイント６０１の電波伝達範囲の外側に移動したか否かを判断する（ステップＳ８４８）。そして、アクセスポイント６０１の電波伝達範囲の外側に移動していない場合には（ステップＳ８４８）、ステップＳ８４７に戻る。
　アクセスポイント６０１の電波伝達範囲の外側に移動した場合には（ステップＳ８４８）、情報処理装置６１０の制御部は、ユーザが屋外での継続使用を希望するか否かを確認する（ステップＳ８４９）。例えば、ユーザがシンク機器との接続を切断する動作（例えば、通信終了操作）を行うことも想定される。このため、ユーザが屋外での継続使用を希望するか否かを確認するようにする。
　例えば、情報処理装置６１０の制御部は、アクセスポイント６０１の電波伝達範囲の外側に移動した旨と、屋外での継続使用を希望するか否かを選択するための選択ボタンとを含むポップアップを表示部６１１に表示させる。そして、情報処理装置６１０の制御部は、そのポップアップにおいて、屋外での継続使用を選択する選択ボタンが押下されたか否かを判断する（ステップＳ８４９）。すなわち、情報処理装置６１０の制御部は、移動後の場所での継続使用が選択されたか否かを判断する（ステップＳ８４９）。移動後の場所での継続使用が選択されない場合には（ステップＳ８４９）、データ送信処理の動作を終了する。
　このように、情報処理装置６１０の制御部は、屋外での使用を許可する屋外使用情報（許可情報）を受信した場合には、アクセスポイント６０１以外のアクセスポイントまたは基地局を経由した情報処理装置６３０とのやりとりを行うよう制御する。この場合に、情報処理装置６１０の制御部は、アクセスポイント６０１以外のアクセスポイントまたは基地局を経由して画像データおよび音声データの少なくとも１つを情報処理装置６３０から受信して出力させるよう制御することができる。
　なお、この例では、アクセスポイント６０１の電波伝達範囲の外側への移動が検出される毎に、屋外での継続使用の確認を行う例を示したが、屋外での継続使用の有無を事前設定しておくようにしてもよい。このように事前設定をしておくことにより、自動的に同一フロア内での使用と屋外使用とをシームレスに切り替えられることができる。
　移動後の場所での継続使用が選択された場合には（ステップＳ８４９）、移動後の場所に存在する基地局を経由した情報処理装置６３０による接続処理が行われる（ステップＳ８５０）。例えば、情報処理装置６３０の制御部は、情報処理装置６１０が、アクセスポイント６０１の電波伝達範囲の外側に移動したか否かを判断する。そして、情報処理装置６１０が、アクセスポイント６０１の電波伝達範囲の外側に移動した場合には、情報処理装置６３０の制御部は、移動後の場所に存在する基地局を経由して情報処理装置６１０と接続するための接続処理を行う。例えば、情報処理装置６３０の制御部は、情報処理装置６１０から受信した公衆回線サービス情報に電話番号が含まれる場合には、その電話番号に基づいて、公衆網を経由して情報処理装置６１０に発呼する。そして、情報処理装置６１０の制御部は、情報処理装置６３０との間で公衆網を経由した接続処理を行う。
　ここで、アクセスポイント６０１の電波伝達範囲の外側に移動した場合には、情報処理装置６１０を所有するユーザは、表示装置６３１の表示部６３２を見ることができず、表示装置６３１から出力される音声を聞くことができないと想定される。そこで、情報処理装置６３０は、公衆網を経由して情報処理装置６１０と接続した時点で、情報処理装置６１０が画像および音声を受信可能であるか否かを確認するためのやりとりを行う。そして、情報処理装置６３０は、情報処理装置６１０が、画像および音声の両方を受信可能であるか、画像のみを受信可能であるか、音声のみを受信可能であるかを判断する。
　その判断結果に基づいて、情報処理装置６３０は、情報処理装置６１０との間でデータ通信（画像データ、音声データ）を行う。すなわち、情報処理装置６１０の制御部は、公衆網を経由して、情報処理装置６３０との間でデータ通信（画像データ、音声データ）を行う。このデータ通信では、情報処理装置６１０および情報処理装置６３０間で双方向のやり取りが行われる。
　例えば、情報処理装置６３０の制御部は、表示装置６３１の表示部６３２に表示されている表示画面と、表示装置６３１から出力される音声とのうちの少なくとも１つを送信する。また、屋外の場合には、情報処理装置６１０の表示部６１１に表示される表示画面を見ることができないことも想定される。この場合には、音声の送信のみとするようにしてもよい。この送信すべきデータについては、情報処理装置６１０のユーザにより変更可能とすることができる。
　また、情報処理装置６１０および情報処理装置６３０間で双方向のデータのやりとりを行う場合に、情報処理装置６３０は、公衆網を経由した情報処理装置６１０までの伝送路（例えば、帯域や通信状況）を確認する。そして、情報処理装置６３０は、その確認結果に基づいて、送信すべきデータを切り替えるようにしてもよい。例えば、大容量の伝送路が確保されている場合には、情報処理装置６３０は、画像データおよび音声データの双方を送信するようにする。また、例えば、大容量の伝送路が確保されていない場合には、情報処理装置６３０は、画像データをトランスコードさせて容量を削減させたり、音声データのみを送信したりするようにする。
　続いて、情報処理装置６１０の制御部は、公衆網を経由した情報処理装置６３０との接続を継続して行うか否かを判断する（ステップＳ８５２）。例えば、情報処理装置６１０の制御部は、公衆網を経由した情報処理装置６３０との接続を継続して行うか否かを選択するための表示画面を表示部６１１に表示（常時表示、または、定期的に表示）させる。そして、その表示画面における選択操作に基づいて、情報処理装置６１０の制御部は、公衆網を経由した情報処理装置６３０との接続を継続して行うか否かを判断することができる。
　公衆網を経由した情報処理装置６３０との接続を継続して行う場合には（ステップＳ８５２）、ステップＳ８５１に戻る。また、公衆網を経由した情報処理装置６３０との接続を継続しない場合には（ステップＳ８５２）、情報処理装置６１０の制御部は、公衆網を経由した情報処理装置６３０との接続を切断する（ステップＳ８５３）。
　接続許可情報に、屋外での使用を不許可とする屋外使用情報が含まれている場合には（ステップＳ８４４）、情報処理装置６１０の制御部は、屋外使用は不許可である旨を表示部６１１に表示させる（ステップＳ８５４）。
　続いて、情報処理装置６１０の制御部は、情報処理装置６１０に関するＣａｐａｂｉｌｉｔｙ情報を情報処理装置６３０にアクセスポイント６０１を経由して送信する（ステップＳ８５５）。
　続いて、情報処理装置６１０の制御部は、通信処理を行う（ステップＳ８５６）。この通信処理では、図３０に示す各処理（ステップＳ８２５乃至Ｓ８３７）が行われる。
　続いて、情報処理装置６１０の制御部は、アクセスポイント６０１の電波伝達範囲の外側に移動したか否かを判断する（ステップＳ８５７）。そして、アクセスポイント６０１の電波伝達範囲の外側に移動していない場合には（ステップＳ８５７）、ステップＳ８５６に戻る。また、アクセスポイント６０１の電波伝達範囲の外側に移動した場合には（ステップＳ８５７）、ステップＳ８５３に進む。
　このように、シンク機器および複数のソース機器間で情報共有を行う場合に、ソース機器の場所にかかわらずに情報のやりとりを行うことができる。例えば、情報処理装置６１０を所有する学生が、アクセスポイント６０１の電波到達範囲７０５の外側に移動したような場合でも、基地局を経由して情報処理装置６１０を情報処理装置６３０に接続することができる。例えば、学生が、発表を行った教室から、研究室や大学外の場所に移動する場合が想定される。また、例えば、通信システム６００が会社に設置されている場合には、営業マンが、プレゼンテーションを行った会議室から外出するような場合が想定される。この場合には、その営業マンが、屋外（例えば、電車内）で会議内容を聞くことができる。
　また、図３１および図３２に示す例において、アクセスポイントおよびＷｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔに限らず、公衆回線との切り替えでも、ＷｅｂＳｏｃｋｅｔによる管理を行うことができる。また、例えば、公衆回線の使用時において、公衆回線上でＷｅｂＳｏｃｋｅｔによる管理を行うようにしてもよい。
　＜３．第３の実施の形態＞
　本技術の第２の実施の形態では、ユーザ操作やユーザ動作により、ソース機器をシンク機器またはアクセスポイントに接続する例を示した。
　ここで、無線ＬＡＮを利用してアクセスポイントまたはシンク機器にソース機器を接続した後にその接続を切断した場合を想定する。この場合には、接続の切断後でも無線ＬＡＮの接続設定がソース機器に保存されていることがある。この場合には、ソース機器を所有するユーザが、接続するための設定操作等を行わなくても、ソース機器が自動的にアクセスポイントまたはシンク機器に接続されてしまうことが想定される。
　そこで、本技術の第３の実施の形態では、ソース機器がアクセスポイントまたはシンク機器に自動的に接続される例を示す。なお、ソース機器がアクセスポイントまたはシンク機器に自動的に接続されるような環境では、各種のシンク機器に接続されるアクセスポイントが複数存在することが想定される。このため、それらの複数のアクセスポイントにソース機器をソフトハンドオーバで継続的に接続させることにより、そのような環境が実現される。
　最初に、ソース機器がアクセスポイントに自動的に接続される例を示す。例えば、構内の無線ＬＡＮに自動的に継続接続される場合が想定される。
　［情報処理装置（ソース機器）の動作例］
　図３３は、本技術の第３の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図３３は、図３０の変形例であるため、図３０と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
　最初に、情報処理装置６１０が存在する場所に設置されているアクセスポイントに、情報処理装置６１０が自動的にハンドオーバされて接続される（ステップＳ８６１）。例えば、情報処理装置６１０を所有するユーザが、グループに参加するため、特定のフロアに移動しているような場合が想定される。この環境では、情報処理装置６１０においてアプリケーションが起動する（ステップＳ８６２）。この起動後に、情報処理装置６１０の制御部は、接続を所望するシンク機器の機器発見処理を試みる。
　この機器発見処理により、起動したアプリケーションに対応するシンク機器が複数発見されることも想定される。この場合には、情報処理装置６１０の表示部６１１に、発見された複数のシンク機器から所望のシンク機器を選択するための選択画面を表示させ、この選択画面においてユーザ操作により選択させることができる（ステップＳ８６３）。また、発見された複数のシンク機器のうち、ソース機器から一番近い機器を自動的に選択して接続するようにしてもよい（ステップＳ８６３）。
　次に、ソース機器がシンク機器およびアクセスポイントに自動的に接続される例を示す。例えば、シンク機器の接続設定がソース機器に保存され、かつ、シンク機器の電波到達範囲内にソース機器が移動して自動接続される場合が想定される。
　［情報処理装置（ソース機器）の動作例］
　図３４は、本技術の第３の実施の形態における情報処理装置６１０によるデータ送信処理の処理手順の一例を示すフローチャートである。なお、図３４は、図３０の変形例であるため、図３０と共通する部分については、同一の符号を付してこれらの説明の一部を省略する。
　最初に、情報処理装置６１０の制御部は、情報処理装置６１０が無線ＬＡＮ機能としてコンカレント機能（時分割コンカレント機能または同時利用コンカレント機能）を備えるか否かを判断する（ステップＳ８７１）。コンカレント機能を備える場合には、情報処理装置６１０は、アクセスポイントおよびシンク機器の切断切替を行わなくても、アクセスポイントおよびシンク機器の双方への時分割または同時接続が可能である
　情報処理装置６１０がコンカレント機能を備える場合には（ステップＳ８７１）、情報処理装置６１０の制御部は、自動的に繋がった接続でレイヤ３までの設定（ＩＰアドレスの取得まで設定）を行う（ステップＳ８７２）。続いて、情報処理装置６１０の制御部は、アクセスポイントを経由してシンク機器との接続を試みる（ステップＳ８７３）。ここで、アクセスポイント経由とＰ２Ｐダイレクト接続との両リンクともにシンク機器と接続された場合には、機器発見処理を両方で行わないようにすることが好ましい。例えば、アクセスポイント経由を優先させ、Ｐ２Ｐダイレクト接続は、リンク接続のみを維持させ、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの画像送信を停止させるようにしてもよい。この場合、画像送信モードにおいて、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔが使用する周波数帯の帯域を無駄にすることなく、次の切替時間を高速に行うことができる。
　情報処理装置６１０がコンカレント機能を備えない場合には（ステップＳ８７１）、情報処理装置６１０の制御部は、シンク機器への接続状態を確認する（ステップＳ８７４）。ここで、例えば、シンク機器がＰ２Ｐダイレクト接続で接続されている場合には、Ｐ２Ｐダイレクト接続を一度切断し、アクセスポイント経由での接続に変更する。また、アクセスポイント経由で接続されている場合には、その接続を維持する。また、コンカレント機能を備えない場合には、接続状態のポート情報やＩＰ情報を情報処理装置６１０が保持しておき流用するようにする。
　続いて、情報処理装置６１０の制御部は、アクセスポイント経由で機器発見処理を行う（ステップＳ８７５）。この機器発見処理後に、情報処理装置６１０の制御部は、アクセスポイント経由でシンク機器から接続許可情報を受信したか否かを判断する（ステップＳ８７６）。
　ここで、参加台数が少ない環境では、そのままＰ２Ｐダイレクト接続を継続して行うようにしてもよい。この場合には、アクセスポイント経由でシンク機器から接続許可情報を受信した場合には（ステップＳ８７６）、ステップＳ８２８に進むようにする。
　このように、ユーザが接続設定を気にしなくても、現時点の設定情報を適宜把握することができる。そして、本技術の第２の実施の形態と同等の動作になるように対応させることができる。
　このように、機器の接続管理においても、アクセスポイントを経由した回線が常に接続されているため、ＷｅｂＳｏｃｋｅｔによる管理をアクセスポイントとＷｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔで切り替える必要がない。このため、常にアクセスポイントを経由したリンクで管理することもできる。
　＜４．第４の実施の形態＞
　本技術の第１乃至第３の実施の形態では、複数のソース機器と１つのシンク機器とを接続する例を示した。ただし、１つのソース機器と複数のシンク機器とを接続する場合についても、本技術の第１乃至第３の実施の形態を適用することができる。また、複数のソース機器と複数のシンク機器とを接続する場合についても、本技術の第１乃至第３の実施の形態を適用することができる。
　そこで、本技術の第４の実施の形態では、１つのソース機器と複数のシンク機器とを接続する例を示す。
　［通信システムの構成例］
　図３５は、本技術の第４の実施の形態における通信システム７００のシステム構成例を示す図である。
　通信システム７００は、インターネット７０１と、基地局７０２、７０３と、撮像装置７０４、７０５と、受信機７１０と、情報処理装置７２０、７３０とを備える。
　基地局７０２、７０３は、受信機７１０と、情報処理装置７２０、７３０とが、無線通信を利用してインターネット７０１に接続するための基地局である。
　撮像装置７０４、７０５は、被写体を撮像して画像データを生成する撮像装置である。また、撮像装置７０４、７０５は、生成された画像データをインターネット７０１を介して、受信機７１０、情報処理装置７２０、７３０に送信することができる。
　受信機７１０は、各放送局からの放送波を受信して画像（立体視画像または平面画像）を表示するテレビジョン受像機（例えば、録画機能を備えるテレビジョン受像機）である。また、受信機７１０は、ハイブリッドキャストのように、放送および通信を融合した表示環境を提供することができる情報処理装置であるものとする。
　また、受信機７１０は、無線通信を利用して、各種画像（例えば、外部装置から入力された画像、放送波に基づく画像、内部記憶部に記憶されている画像、表示部７１１に表示される画像）を、情報処理装置７２０、７３０に送信することができる。
　また、受信機７１０を送信側の情報処理装置（ソース機器）とし、情報処理装置７２０、７３０を受信側の情報処理装置（シンク機器）とする例を示す。また、受信機７１０は、図２に示す情報処理装置２００に対応し、情報処理装置７２０、７３０は、図３に示す情報処理装置３００に対応するものとする。
　例えば、情報処理装置７２０は、撮像装置７０４、７０５から送信された画像データ（例えば、風景を撮影した画像データ）を基地局７０２を介して受信し、その各画像データに基づく画像を表示部７２１に表示することができる。同様に、情報処理装置７３０は、撮像装置７０４、７０５から送信された画像データ（例えば、風景を撮影した画像データ）を基地局７０２を介して受信し、その各画像データに基づく画像を表示部７３１に表示することができる。
　また、受信機７１０は、各放送局から受信した放送波に基づく画像を表示部７１１に表示することができる。また、受信機７１０は、各放送局から受信した放送波に基づく画像データを情報処理装置７２０、７３０に送信することができる。この場合には、情報処理装置７２０、７３０は、その放送波に基づく画像を表示部７２１、７３１に表示することができる。
　ただし、放送波に基づく画像は、著作権との関係でソース機器およびシンク機器に同時に表示することができないことも想定される。そこで、ソース機器（受信機７１０）が放送波に基づく画像データをシンク機器（情報処理装置７２０、７３０）に送信して表示させる場合には、その画像をソース機器から消去して送信するようにする。また、シンク機器に表示される画像（放送波に基づく画像）には、他の画像を上書きしないようにする。
　また、その放送波に基づく画像は、ＨＤＣＰ（High-bandwidth Digital Content Protection system）に対応する画像であることが想定される。このため、情報処理装置７２０は、その放送波に基づく画像（ＨＤＣＰ使用画像）を表示部７２１に表示する場合には、その放送波に基づく画像に他の画像を重ねないようにする。例えば、情報処理装置７２０は、撮像装置７０４、７０５から送信された画像を、その放送波に基づく画像（ＨＤＣＰ使用画像）に上書きして表示しないようにする。
　また、１つのソース機器から送信された画像を複数のシンク機器に表示する場合には、本技術の第１乃至第３の実施の形態と同様に、ソース機器の表示位置をリアルタイムで各シンク機器に通知することができ、シンク機器から表示位置を制御することができる。例えば、受信機７１０から送信された画像を情報処理装置７２０、７３０に表示する場合には、受信機７１０の表示位置を情報処理装置７２０、７３０に通知することができ、情報処理装置７２０、７３０から表示位置を制御することができる。
　また、例えば、情報処理装置７２０、７３０において、所望する画像を設定しておき、その画像を受信機７１０から取得することができる。例えば、情報処理装置７２０において、キーワード情報（例えば、サッカー日本代表）を設定しておく場合を想定する。この場合には、そのキーワード情報（例えば、サッカー日本代表）に関連する画像が受信機７１０において抽出され、この抽出された画像が受信機７１０から情報処理装置７２０に送信される。そして、そのキーワード情報（例えば、サッカー日本代表）に関連する画像を情報処理装置７２０の表示部７２１に表示させることができる。
　［表示不可領域を通知する場合の動作例］
　上述したように、ＨＤＣＰ使用画像には他の画像を重ねないようにする。そこで、ここでは、他の画像を重ねない領域（表示不可領域）を決定して他の機器に通知する例を示す。
　最初に、マルチシンク環境におけるソース機器の動作例について説明する。
　図３６は、本技術の第４の実施の形態における受信機７１０（ソース機器）による表示不可領域通知処理の処理手順の一例を示すフローチャートである。
　最初に、受信機７１０の制御部は、受信機７１０に接続するシンク機器のＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎの際に、新規参入するシンク機器がＨＤＣＰをデコードできる能力を備えるか否かを接続情報として把握する（ステップＳ８８１）。
　続いて、受信機７１０の制御部は、そのＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎの際に、新規参入するシンク機器がＨＤＣＰをデコードして表示する場合には、受信機７１０の画像に他の画像を上書きしないように制御する（ステップＳ８８２）。
　続いて、受信機７１０の制御部は、受信機７１０およびシンク機器との接続にＨＤＣＰを使用するか否かを、Ｃａｐａｂｉｌｉｔｙ情報に基づいて判断する（ステップＳ８８３）。受信機７１０およびシンク機器との接続にＨＤＣＰを使用しない場合には（ステップＳ８８３）、ステップＳ８８１に戻る。
　受信機７１０およびシンク機器との接続にＨＤＣＰを使用する場合には（ステップＳ８８３）、受信機７１０の制御部は、複数のソース機器から受信した画像を重ねて表示してはいけない領域（表示不可領域）を決定する（ステップＳ８８４）。
　続いて、受信機７１０の制御部は、受信機７１０に接続する他のシンク機器が存在するか否かを判断する（ステップＳ８８５）。受信機７１０に接続する他のシンク機器が存在する場合には（ステップＳ８８５）、ステップＳ８８１に戻る。
　受信機７１０に接続する他のシンク機器が存在する場合には（ステップＳ８８５）、受信機７１０の制御部は、その決定された表示不可領域を各シンク機器に通知する（ステップＳ８８６）。
　次に、マルチソース環境におけるシンク機器の動作例について説明する。なお、この動作例についても、図３６を参照して説明する。
　最初に、情報処理装置７２０の制御部は、情報処理装置７２０に接続するソース機器のＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎの際に、新規参入するソース機器がＨＤＣＰを使用しているか否かを接続情報として把握する（ステップＳ８８１）。
　続いて、情報処理装置７２０の制御部は、情報処理装置７２０に接続するソース機器のＣａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎの際に、新規参入するソース機器がＨＤＣＰを使用している場合には、その画像を重ねずに表示する（ステップＳ８８２）。
　続いて、情報処理装置７２０の制御部は、情報処理装置７２０およびソース機器との接続にＨＤＣＰを使用するか否かを、Ｃａｐａｂｉｌｉｔｙ情報に基づいて判断する（ステップＳ８８３）。情報処理装置７２０およびソース機器との接続にＨＤＣＰを使用しない場合には（ステップＳ８８３）、ステップＳ８８１に戻る。
　情報処理装置７２０およびソース機器との接続にＨＤＣＰを使用する場合には（ステップＳ８８３）、情報処理装置７２０の制御部は、複数のソース機器から受信した画像を重ねて表示してはいけない領域（表示不可領域）を決定する（ステップＳ８８４）。
　続いて、情報処理装置７２０の制御部は、情報処理装置７２０に接続する他のソース機器が存在するか否かを判断する（ステップＳ８８５）。情報処理装置７２０に接続する他のソース機器が存在する場合には（ステップＳ８８５）、ステップＳ８８１に戻る。
　情報処理装置７２０に接続する他のソース機器が存在しない場合には（ステップＳ８８５）、情報処理装置７２０の制御部は、その決定された表示不可領域を各ソース機器に通知する（ステップＳ８８６）。
　このように、１台のソース機器から送信された画像を複数のシンク機器に表示する場合において、ソース機器の表示位置をリアルタイムで各シンク機器に通知することができる。これにより、シンク機器から表示位置を制御することができる。
　＜５．応用例＞
　本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置２００、３００、４００、６０３、６０４、６１０、６２０、６３０、７２０、７３０、受信機７１０は、スマートフォン、タブレットＰＣ（Personal　Computer）、ノートＰＣ、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。また、情報処理装置２００、３００、４００、６０３、６０４、６１０、６２０、６３０、７２０、７３０、受信機７１０は、スマートメータ、自動販売機、遠隔監視装置又はＰＯＳ（Point　Of　Sale）端末などの、Ｍ２Ｍ（Machine　To　Machine）通信を行う端末（ＭＴＣ（Machine　Type　Communication）端末ともいう）として実現されてもよい。さらに、情報処理装置２００、３００、４００、６０３、６０４、６１０、６２０、６３０、７２０、７３０、受信機７１０は、これら端末に搭載される無線通信モジュール（例えば、１つのダイで構成される集積回路モジュール）であってもよい。
　［５－１．第１の応用例］
　図３７は、本開示に係る技術が適用され得るスマートフォン９００の概略的な構成の一例を示すブロック図である。スマートフォン９００は、プロセッサ９０１、メモリ９０２、ストレージ９０３、外部接続インタフェース９０４、カメラ９０６、センサ９０７、マイクロフォン９０８、入力デバイス９０９、表示デバイス９１０、スピーカ９１１、無線通信インタフェース９１３、アンテナスイッチ９１４、アンテナ９１５、バス９１７、バッテリー９１８及び補助コントローラ９１９を備える。
　プロセッサ９０１は、例えばＣＰＵ（Central　Processing　Unit）又はＳｏＣ（System　on　Chip）であってよく、スマートフォン９００のアプリケーションレイヤ及びその他のレイヤの機能を制御する。メモリ９０２は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０３は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。外部接続インタフェース９０４は、メモリーカード又はＵＳＢ（Universal　Serial　Bus）デバイスなどの外付けデバイスをスマートフォン９００へ接続するためのインタフェースである。
　カメラ９０６は、例えば、ＣＣＤ（Charge　Coupled　Device）又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を有し、撮像画像を生成する。センサ９０７は、例えば、測位センサ、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。マイクロフォン９０８は、スマートフォン９００へ入力される音声を音声信号へ変換する。入力デバイス９０９は、例えば、表示デバイス９１０の画面上へのタッチを検出するタッチセンサ、キーパッド、キーボード、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス９１０は、液晶ディスプレイ（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの画面を有し、スマートフォン９００の出力画像を表示する。スピーカ９１１は、スマートフォン９００から出力される音声信号を音声に変換する。
　無線通信インタフェース９１３は、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ及び１１ａｄなどの無線ＬＡＮ標準のうちの１つ以上をサポートし、無線通信を実行する。無線通信インタフェース９１３は、インフラストラクチャーモードにおいては、他の装置と無線ＬＡＮアクセスポイントを介して通信し得る。また、無線通信インタフェース９１３は、アドホックモード又はＷｉ－Ｆｉ Ｄｉｒｅｃｔ等のダイレクト通信モードにおいては、他の装置と直接的に通信し得る。なお、Ｗｉ－Ｆｉ　Ｄｉｒｅｃｔでは、アドホックモードとは異なり２つの端末の一方がアクセスポイントとして動作するが、通信はそれら端末間で直接的に行われる。無線通信インタフェース９１３は、典型的には、ベースバンドプロセッサ、ＲＦ（Radio　Frequency）回路及びパワーアンプなどを含み得る。無線通信インタフェース９１３は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース９１３は、無線ＬＡＮ方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ９１４は、無線通信インタフェース９１３に含まれる複数の回路（例えば、異なる無線通信方式のための回路）の間でアンテナ９１５の接続先を切り替える。アンテナ９１５は、単一の又は複数のアンテナ素子（例えば、ＭＩＭＯアンテナを構成する複数のアンテナ素子）を有し、無線通信インタフェース９１３による無線信号の送信及び受信のために使用される。また、ＩＥＥＥ８０２．１６、３ＧＰＰ仕様（例えば、Ｗ－ＣＤＭＡ、ＧＳＭ、ＷｉＭＡＸ、ＷｉＭＡＸ２、ＬＴＥ、ＬＴＥ－Ａ）等の公衆回線に接続するための無線通信インターフェースの機能を有し、公衆回線と通信し得る。
　なお、図３７の例に限定されず、スマートフォン９００は、複数のアンテナ（例えば、無線ＬＡＮ用のアンテナ及び近接無線通信方式用のアンテナ、公衆回線通信用アンテナなど）を備えてもよい。その場合に、アンテナスイッチ９１４は、スマートフォン９００の構成から省略されてもよい。
　バス９１７は、プロセッサ９０１、メモリ９０２、ストレージ９０３、外部接続インタフェース９０４、カメラ９０６、センサ９０７、マイクロフォン９０８、入力デバイス９０９、表示デバイス９１０、スピーカ９１１、無線通信インタフェース９１３及び補助コントローラ９１９を互いに接続する。バッテリー９１８は、図中に破線で部分的に示した給電ラインを介して、図３７に示したスマートフォン９００の各ブロックへ電力を供給する。補助コントローラ９１９は、例えば、スリープモードにおいて、スマートフォン９００の必要最低限の機能を動作させる。
　図３７に示したスマートフォン９００において、図２を用いて説明した制御部２４０、図３を用いて説明した制御部３７０は、無線通信インタフェース９１３において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ９０１又は補助コントローラ９１９において実装されてもよい。
　なお、スマートフォン９００は、プロセッサ９０１がアプリケーションレベルでアクセスポイント機能を実行することにより、無線アクセスポイント（ソフトウェアＡＰ）として動作してもよい。また、無線通信インタフェース９１３が無線アクセスポイント機能を有していてもよい。
　［５－２．第２の応用例］
　図３８は、本開示に係る技術が適用され得るカーナビゲーション装置９２０の概略的な構成の一例を示すブロック図である。カーナビゲーション装置９２０は、プロセッサ９２１、メモリ９２２、ＧＰＳ（Global　Positioning　System）モジュール９２４、センサ９２５、データインタフェース９２６、コンテンツプレーヤ９２７、記憶媒体インタフェース９２８、入力デバイス９２９、表示デバイス９３０、スピーカ９３１、無線通信インタフェース９３３、アンテナスイッチ９３４、アンテナ９３５及びバッテリー９３８を備える。
　プロセッサ９２１は、例えばＣＰＵ又はＳｏＣであってよく、カーナビゲーション装置９２０のナビゲーション機能及びその他の機能を制御する。メモリ９２２は、ＲＡＭ及びＲＯＭを含み、プロセッサ９２１により実行されるプログラム及びデータを記憶する。
　ＧＰＳモジュール９２４は、ＧＰＳ衛星から受信されるＧＰＳ信号を用いて、カーナビゲーション装置９２０の位置（例えば、緯度、経度及び高度）を測定する。センサ９２５は、例えば、ジャイロセンサ、地磁気センサ及び気圧センサなどのセンサ群を含み得る。データインタフェース９２６は、例えば、図示しない端子を介して車載ネットワーク９４１に接続され、車速データなどの車両側で生成されるデータを取得する。
　コンテンツプレーヤ９２７は、記憶媒体インタフェース９２８に挿入される記憶媒体（例えば、ＣＤ又はＤＶＤ）に記憶されているコンテンツを再生する。入力デバイス９２９は、例えば、表示デバイス９３０の画面上へのタッチを検出するタッチセンサ、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス９３０は、ＬＣＤ又はＯＬＥＤディスプレイなどの画面を有し、ナビゲーション機能又は再生されるコンテンツの画像を表示する。スピーカ９３１は、ナビゲーション機能又は再生されるコンテンツの音声を出力する。
　無線通信インタフェース９３３は、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ及び１１ａｄなどの無線ＬＡＮ標準のうちの１つ以上をサポートし、無線通信を実行する。無線通信インタフェース９３３は、インフラストラクチャーモードにおいては、他の装置と無線ＬＡＮアクセスポイントを介して通信し得る。また、無線通信インタフェース９３３は、アドホックモード又はＷｉ－Ｆｉ Ｄｉｒｅｃｔ等のダイレクト通信モードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース９３３は、典型的には、ベースバンドプロセッサ、ＲＦ回路及びパワーアンプなどを含み得る。無線通信インタフェース９３３は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース９３３は、無線ＬＡＮ方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ９３４は、無線通信インタフェース９３３に含まれる複数の回路の間でアンテナ９３５の接続先を切り替える。アンテナ９３５は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース９３３による無線信号の送信及び受信のために使用される。
　なお、図３８の例に限定されず、カーナビゲーション装置９２０は、複数のアンテナを備えてもよい。その場合に、アンテナスイッチ９３４は、カーナビゲーション装置９２０の構成から省略されてもよい。
　バッテリー９３８は、図中に破線で部分的に示した給電ラインを介して、図３８に示したカーナビゲーション装置９２０の各ブロックへ電力を供給する。また、バッテリー９３８は、車両側から給電される電力を蓄積する。
　図３８に示したカーナビゲーション装置９２０において、図２を用いて説明した制御部２４０、図３を用いて説明した制御部３７０は、無線通信インタフェース９３３において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ９２１において実装されてもよい。
　また、本開示に係る技術は、上述したカーナビゲーション装置９２０の１つ以上のブロックと、車載ネットワーク９４１と、車両側モジュール９４２とを含む車載システム（又は車両）９４０として実現されてもよい。車両側モジュール９４２は、車速、エンジン回転数又は故障情報などの車両側データを生成し、生成したデータを車載ネットワーク９４１へ出力する。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）
　一以上のＳｉｎｋ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信部と、
　前記一以上のＳｉｎｋ機器から受信した前記Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って自装置を制御するための制御情報に基づいて前記リアルタイム画像伝送に関する制御を行う制御部とを有し、
　前記制御部は、前記制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフを切り換える制御を行う
情報処理装置。
（２）
　前記無線通信部は、前記Ｓｉｎｋ機器との間で生成されたＴＣＰ（Transmission Control Protocol）セッション上で前記制御情報を受信する前記（１）に記載の情報処理装置。
（３）
　前記オンオフを切り換える制御とは、接続、切断、開始、停止、有効化、無効化のいずれかの制御である前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、前記一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、第２のＳｉｎｋ機器に対するＵＩＢＣを無効化する制御を行う前記（３）に記載の情報処理装置。
（５）
　前記無線通信部は、前記第１のＳｉｎｋ機器に対して、ＵＩＢＣを有効と設定した旨を通知し、前記第２のＳｉｎｋ機器に対して、ＵＩＢＣを無効と設定した旨の通知を行う前記（４）に記載の情報処理装置。
（６）
　前記制御情報は、ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｓｐｏｎｓｅであり、
　前記通知は、ＳＥＴ＿ＰＡＲＡＭＥＴＥＲとして送信される
前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、前記各制御情報を送信したＳｉｎｋ機器のうち、前記第１のＳｉｎｋ機器以外の全てのＳｉｎｋ機器に対するＵＩＢＣを無効化する制御を行う前記（３）に記載の情報処理装置。
（８）
　前記無線通信部は、ＩＤ情報と紐着いた複数の操作情報をＵＩＢＣ情報として受信し、
　前記制御部は、前記ＩＤ情報に含まれるＩＤ用ヘッダを参照することで、対応する操作情報を識別する
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記一以上のＳｉｎｋ機器は、複数の入力装置を有し、
　前記複数の操作情報は、前記複数の入力装置のそれぞれから、前記一以上のＳｉｎｋ機器経由で送信される
請求項８に記載の情報処理装置。
前記（８）に記載の情報処理装置。
（１０）
　前記無線通信部は、前記複数のＵＩＢＣ情報を束ねて一つのポートを設定して通信を行う前記（８）または（９）に記載の情報処理装置。
（１１）
　前記無線通信部は、Ｓｏｕｒｃｅ機器としての通信を行う前記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
　一以上のＳｉｎｋ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信手順と、
　前記一以上のＳｉｎｋ機器から受信した前記Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って自装置を制御するための制御情報に基づいて前記リアルタイム画像伝送に関する制御を行う制御手順とを有し、
　前記制御手順は、前記制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフを切り換える制御を行う
情報処理方法。
（１３）
　一以上のＳｏｕｒｃｅ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信部と、
　前記リアルタイム画像伝送により受信した画像を表示する表示部とを有し、
　前記無線通信部は、前記一以上のＳｏｕｒｃｅ機器のうち、第１のＳｏｕｃｅｒ機器が一以上のＳｉｎｋ機器との間で前記リアルタイム画像伝送を行う場合に、前記第１のＳｏｕｒｃｅ機器から、前記一以上のＳｉｎｋ機器のうち自装置における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフに関する制御情報を受信する
情報処理装置。
　また、本技術は以下のような構成もとることができる。
（Ｃ１）
　Ｗｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う無線通信部と、
　前記他の情報処理装置から送信された画像情報に基づく画像を表示部に表示させ、前記画像に関する制御情報を前記他の情報処理装置との間でやりとりするための複数の通信方式に使用されるポートを設定する制御を行う制御部と
を具備する情報処理装置。
（Ｃ２）
　前記制御部は、前記他の情報処理装置との間で生成されたＴＣＰ（Transmission Control Protocol）セッション上で前記ポートを設定する場合に、前記ポートを使用する前記複数の通信方式を指定する情報を前記他の情報処理装置に送信する前記（Ｃ１）に記載の情報処理装置。
（Ｃ３）
　前記制御部は、前記複数の通信方式としてＵＩＢＣ（User Input Back Channel）およびＷｅｂＳｏｃｋｅｔを指定する情報を前記他の情報処理装置に送信する前記（Ｃ２）に記載の情報処理装置。
（Ｃ４）
　前記制御部は、前記ＷｅｂＳｏｃｋｅｔを利用して前記他の情報処理装置から送信された画像情報および音声情報を取得し、当該画像情報に基づく画像を前記表示部に表示させ、前記音声情報に基づく音声を音声出力部から出力させる前記（Ｃ３）に記載の情報処理装置。
（Ｃ５）
　前記制御部は、前記複数の通信方式に使用されるポートとして前記複数の通信方式毎に複数のポートを設定する前記（Ｃ１）から（Ｃ４）のいずれかに記載の情報処理装置。
（Ｃ６）
　前記制御部は、前記他の情報処理装置からの要求に応じて前記複数のポートを設定する前記（Ｃ５）に記載の情報処理装置。
（Ｃ７）
　前記制御部は、前記複数の通信方式に使用されるポートとして前記複数の通信方式について１つのポートを設定する前記（Ｃ１）から（Ｃ４）のいずれかに記載の情報処理装置。
（Ｃ８）
　前記制御部は、前記複数の通信方式の何れかを用いて前記表示部における前記画像の表示態様に関する情報を前記他の情報処理装置に送信し、前記他の情報処理装置から送信された制御情報に基づいて前記画像の表示態様を変更する前記（Ｃ１）から（Ｃ７）のいずれかに記載の情報処理装置。
（Ｃ９）
　前記制御情報は、前記他の情報処理装置において受け付けられた前記画像の表示態様を変更するための操作に関する操作情報である前記（Ｃ８）に記載の情報処理装置。
（Ｃ１０）
　前記制御部は、前記画像と前記他の情報処理装置を表す情報とを前記表示部に関連付けて表示させる前記（Ｃ１）から（Ｃ９）のいずれかに記載の情報処理装置。
（Ｃ１１）
　Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って他の情報処理装置との間でリアルタイム画像伝送を行う無線通信部と、
　前記他の情報処理装置が備える表示部または前記他の情報処理装置に接続されている表示部に画像を表示させるための画像情報を前記他の情報処理装置に送信させ、前記画像に関する制御情報を前記他の情報処理装置との間でやりとりするための複数の通信方式に使用されるポートを設定する制御を行う制御部と
を具備する情報処理装置。
（Ｃ１２）
　Ｗｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って複数の情報処理装置との間でリアルタイム画像伝送を行う無線通信部と、
　前記複数の情報処理装置から送信された画像情報に基づく画像を表示部に表示させ、前記画像に関する制御情報をやりとりするための複数のポートが前記複数の情報処理装置毎に設定されている場合に、前記複数の情報処理装置のうちから前記制御情報をやりとりする情報処理装置を選択して当該選択された情報処理装置との間で前記制御情報をやりとりするためのポートの切り替えを行う制御部と
を具備する情報処理装置。
（Ｃ１３）
　Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って複数の情報処理装置との間でリアルタイム画像伝送を行う無線通信部と、
　前記複数の情報処理装置が備える表示部または前記複数の情報処理装置に接続されている表示部に画像を表示させるための画像情報を前記複数の情報処理装置に送信し、前記画像に関する制御情報をやりとりするための複数のポートが前記複数の情報処理装置毎に設定されている場合に、前記複数の情報処理装置のうちから前記制御情報をやりとりする情報処理装置を選択して当該選択された情報処理装置との間で前記制御情報をやりとりするためのポートの切り替えを行う制御部と
を具備する情報処理装置。
（Ｃ１４）
　複数の他の情報処理装置との間でデータ伝送を行う無線通信部と、
　前記複数の他の情報処理装置から自装置を制御するための制御情報を受信し、適切な装置からの制御情報を選択する制御部と
を具備する情報処理装置。
（Ｃ１５）
　前記制御部は、前記他の情報処理装置との間で生成されたＴＣＰ（Transmission Control Protocol）セッション上で制御情報を受信する前記（Ｃ１４）に記載の情報処理装置。
（Ｃ１６）
　Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ってリアルタイム画像伝送を行う第１情報処理装置および第２情報処理装置を具備し、
　前記第１情報処理装置は、画像情報を前記第２情報処理装置に送信し、
　前記第２情報処理装置は、前記第１情報処理装置から送信された前記画像情報に基づく画像を表示部に表示させ、前記画像に関する制御情報を前記第１情報処理装置との間でやりとりするための複数の通信方式に使用されるポートを設定する制御を行う制御部を備える
通信システム。
（Ｃ１７）
　Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って他の情報処理装置から送信された画像情報に基づく画像を表示部に表示させる表示手順と、
　前記画像に関する制御情報を前記他の情報処理装置との間でやりとりするための複数の通信方式に使用されるポートを設定する制御手順と
を具備する情報処理方法。
（Ｃ１８）
　Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って他の情報処理装置から送信された画像情報に基づく画像を表示部に表示させる表示手順と、
　前記画像に関する制御情報を前記他の情報処理装置との間でやりとりするための複数の通信方式に使用されるポートを設定する制御手順と
をコンピュータに実行させるプログラム。
　１００　通信システム
　２００　情報処理装置
　２０１　データ送信系
　２０２　回線制御系
　２０３　情報処理装置
　２１０　アンテナ
　２２０　無線通信部
　２３０　制御信号受信部
　２４０　制御部
　２５０　画像・音声信号生成部
　２６０　画像・音声圧縮部
　２７０　ストリーム送信部
　３００　情報処理装置
　３０１　回線制御系
　３０２　入出力系
　３１０　アンテナ
　３２０　無線通信部
　３３０　ストリーム受信部
　３４０　画像・音声展開部
　３５０　画像・音声出力部
　３５１　表示部
　３５２　音声出力部
　３６０　ユーザ情報取得部
　３６１　撮像部
　３７０　制御部
　３８０　制御信号送信部
　３９０　管理情報保持部
　４００　情報処理装置
　４１０　ソース機器
　４２０　シンク機器
　６００　通信システム
　６０１　アクセスポイント
　６０２　ネットワーク
　６０３、６０４、６１０、６２０、６３０　情報処理装置
　６１１　表示部
　６２１　表示部
　６３１　表示装置
　６３２　表示部
　６４０　制御装置
　６４３　入出力部
　７００　通信システム
　７０１　インターネット
　７０２、７０３　基地局
　７０４、７０５　撮像装置
　７１０　受信機
　７１１　表示部
　７２０、７３０　情報処理装置
　７２１、７３１　表示部
　９００　スマートフォン
　９０１　プロセッサ
　９０２　メモリ
　９０３　ストレージ
　９０４　外部接続インタフェース
　９０６　カメラ
　９０７　センサ
　９０８　マイクロフォン
　９０９　入力デバイス
　９１０　表示デバイス
　９１１　スピーカ
　９１３　無線通信インタフェース
　９１４　アンテナスイッチ
　９１５　アンテナ
　９１７　バス
　９１８　バッテリー
　９１９　補助コントローラ
　９２０　カーナビゲーション装置
　９２１　プロセッサ
　９２２　メモリ
　９２４　ＧＰＳモジュール
　９２５　センサ
　９２６　データインタフェース
　９２７　コンテンツプレーヤ
　９２８　記憶媒体インタフェース
　９２９　入力デバイス
　９３０　表示デバイス
　９３１　スピーカ
　９３３　無線通信インタフェース
　９３４　アンテナスイッチ
　９３５　アンテナ
　９３８　バッテリー
　９４１　車載ネットワーク
　９４２　車両側モジュール
　１１００、１３００、１５０１～１５０４　シンク機器
　１１１０、１３１０、１４１０、１６１０　表示制御部
　１１２０、１３２０、１４２０、１６２０　モード要求内容切替部
　１２１１～１２１４、１４００、１６００　ソース機器
　１３３０、１６３０　共通入力切替部

Claims (13)

  1. 　一以上のＳｉｎｋ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信部と、
    　前記一以上のＳｉｎｋ機器から受信した前記Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って自装置を制御するための制御情報に基づいて前記リアルタイム画像伝送に関する制御を行う制御部とを有し、
    　前記制御部は、前記制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフを切り換える制御を行う
    情報処理装置。
  2. 　前記無線通信部は、前記Ｓｉｎｋ機器との間で生成されたＴＣＰ（Transmission Control Protocol）セッション上で前記制御情報を受信する請求項１に記載の情報処理装置。
  3. 　前記オンオフを切り換える制御とは、接続、切断、開始、停止、有効化、無効化のいずれかの制御である請求項１に記載の情報処理装置。
  4. 　前記制御部は、前記一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、第２のＳｉｎｋ機器に対するＵＩＢＣを無効化する制御を行う請求項３に記載の情報処理装置。
  5. 　前記無線通信部は、前記第１のＳｉｎｋ機器に対して、ＵＩＢＣを有効と設定した旨を通知し、前記第２のＳｉｎｋ機器に対して、ＵＩＢＣを無効と設定した旨の通知を行う請求項４に記載の情報処理装置。
  6. 　前記制御情報は、ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ　Ｒｅｓｐｏｎｓｅであり、
    　前記通知は、ＳＥＴ＿ＰＡＲＡＭＥＴＥＲとして送信される
    請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記一以上のＳｉｎｋ機器のうち、第１のＳｉｎｋ機器に対するＵＩＢＣを有効化し、前記各制御情報を送信したＳｉｎｋ機器のうち、前記第１のＳｉｎｋ機器以外の全てのＳｉｎｋ機器に対するＵＩＢＣを無効化する制御を行う請求項３に記載の情報処理装置。
  8. 　前記無線通信部は、ＩＤ情報と紐着いた複数の操作情報をＵＩＢＣ情報として受信し、
    　前記制御部は、前記ＩＤ情報に含まれるＩＤ用ヘッダを参照することで、対応する操作情報を識別する
    請求項１に記載の情報処理装置。
  9. 　前記一以上のＳｉｎｋ機器は、複数の入力装置を有し、
    　前記複数の操作情報は、前記複数の入力装置のそれぞれから、前記一以上のＳｉｎｋ機器経由で送信される
    請求項８に記載の情報処理装置。
  10. 　前記無線通信部は、前記複数のＵＩＢＣ情報を束ねて一つのポートを設定して通信を行う請求項８に記載の情報処理装置。
  11. 　前記無線通信部は、Ｓｏｕｒｃｅ機器としての通信を行う請求項１に記載の情報処理装置。
  12. 　一以上のＳｉｎｋ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信手順と、
    　前記一以上のＳｉｎｋ機器から受信した前記Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従って自装置を制御するための制御情報に基づいて前記リアルタイム画像伝送に関する制御を行う制御手順とを有し、
    　前記制御手順は、前記制御情報を複数受信した場合に、各制御情報を送信したＳｉｎｋ機器における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフを切り換える制御を行う
    情報処理方法。
  13. 　一以上のＳｏｕｒｃｅ機器との間でＷｉ－Ｆｉ（Wireless Fidelity）　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔ仕様に従ったリアルタイム画像伝送を行う無線通信部と、
    　前記リアルタイム画像伝送により受信した画像を表示する表示部とを有し、
    　前記無線通信部は、前記一以上のＳｏｕｒｃｅ機器のうち、第１のＳｏｕｃｅｒ機器が一以上のＳｉｎｋ機器との間で前記リアルタイム画像伝送を行う場合に、前記第１のＳｏｕｒｃｅ機器から、前記一以上のＳｉｎｋ機器のうち自装置における操作情報を伝送するためのＵＩＢＣ（User Input Back Channel）のオンオフに関する制御情報を受信する
    情報処理装置。
PCT/JP2015/078390 2014-11-27 2015-10-06 情報処理装置および情報処理方法 WO2016084485A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201580002780.6A CN105830457B (zh) 2014-11-27 2015-10-06 信息处理设备和信息处理方法
JP2016526248A JP6729372B2 (ja) 2014-11-27 2015-10-06 情報処理装置および情報処理方法
AU2015351677A AU2015351677B2 (en) 2014-11-27 2015-10-06 Information processing device and information processing method
EP15862151.6A EP3091747A4 (en) 2014-11-27 2015-10-06 Information processing device and information processing method
US15/037,246 US10004061B2 (en) 2014-11-27 2015-10-06 Information processing device and information processing method
US15/976,942 US10383098B2 (en) 2014-11-27 2018-05-11 Information processing device and information processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014239444 2014-11-27
JP2014-239444 2014-11-27
JP2015085320 2015-04-17
JP2015-085320 2015-04-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/037,246 A-371-Of-International US10004061B2 (en) 2014-11-27 2015-10-06 Information processing device and information processing method
US15/976,942 Continuation US10383098B2 (en) 2014-11-27 2018-05-11 Information processing device and information processing method

Publications (1)

Publication Number Publication Date
WO2016084485A1 true WO2016084485A1 (ja) 2016-06-02

Family

ID=56074063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/078390 WO2016084485A1 (ja) 2014-11-27 2015-10-06 情報処理装置および情報処理方法

Country Status (6)

Country Link
US (2) US10004061B2 (ja)
EP (1) EP3091747A4 (ja)
JP (1) JP6729372B2 (ja)
CN (1) CN105830457B (ja)
AU (1) AU2015351677B2 (ja)
WO (1) WO2016084485A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159579A1 (ja) * 2017-02-28 2018-09-07 株式会社ｔｅａｍＳ 表示操作端末およびそれを用いる表示操作分離システム
JPWO2021181656A1 (ja) * 2020-03-13 2021-09-16

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6400280B2 (ja) * 2013-08-12 2018-10-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システムおよび情報処理装置
EP3091747A4 (en) * 2014-11-27 2017-03-08 Sony Corporation Information processing device and information processing method
WO2017043718A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 Wfd 싱크에 의해 영상의 오리엔테이션을 변화시키는 방법 및 장치
US9756385B1 (en) 2016-02-16 2017-09-05 Samsung Electronics Co., Ltd. Source device and method of transmitting content
US11134114B2 (en) * 2016-03-15 2021-09-28 Intel Corporation User input based adaptive streaming
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
CN108616764A (zh) * 2016-12-09 2018-10-02 中兴通讯股份有限公司 一种控制方法及设备
CN106792823A (zh) * 2016-12-28 2017-05-31 青岛海信电器股份有限公司 一种基于Miracast的终端连接方法和装置
US11093025B2 (en) * 2017-04-11 2021-08-17 Bascule Inc. Virtual-reality provision system, three-dimensional-display-data provision device, virtual-space provision system, and program
JP6914728B2 (ja) * 2017-05-26 2021-08-04 キヤノン株式会社 通信装置、通信方法、およびプログラム
US10292045B2 (en) * 2017-08-24 2019-05-14 Nanning Fugui Precision Industrial Co., Ltd. Information obtaining method and information obtaining device
US10820375B2 (en) * 2017-11-07 2020-10-27 Lg Electronics Inc. Method and apparatus for turning on Wi-Fi infrastructure using BLE interface in wireless communication system
US10757577B2 (en) * 2017-12-20 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Detecting non-Wi-Fi certified devices transmitting 802.11 signals
US10673953B2 (en) * 2018-01-02 2020-06-02 Sap Se Transport channel via web socket for OData
US11006307B2 (en) * 2019-06-20 2021-05-11 T-Mobile Usa, Inc. Mobile network signal strength identification and visualization system
KR20210130424A (ko) 2020-04-22 2021-11-01 엘지전자 주식회사 무선 디바이스
CN113938743B (zh) * 2020-07-08 2023-06-27 华为技术有限公司 一种电子设备间的协同控制方法及系统
CN116156234A (zh) * 2022-12-19 2023-05-23 深圳创维－Rgb电子有限公司 基于无线投屏的反向控制方法、装置及无线投屏系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278388A (ja) 2007-05-07 2008-11-13 Sony Corp 情報交換装置および情報交換方法
JP2014506082A (ja) * 2011-01-21 2014-03-06 クゥアルコム・インコーポレイテッド ワイヤレスシンクとワイヤレスソースデバイスとの間で機能をネゴシエートすること
JP2014507862A (ja) * 2011-01-14 2014-03-27 サムスン エレクトロニクス カンパニー リミテッド ワイファイダイレクト通信方式におけるシンクデバイスからソースデバイスにユーザの入力を送信するための方法及び装置
JP2014096074A (ja) * 2012-11-12 2014-05-22 Sony Corp 情報処理装置、通信システムおよび情報処理方法
US20140210693A1 (en) * 2013-01-25 2014-07-31 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101732057B1 (ko) * 2009-11-02 2017-05-02 삼성전자주식회사 Ａｖ 시스템에서 사용자 입력 백 채널을 제공하는 방법 및 기기
US8966131B2 (en) * 2012-01-06 2015-02-24 Qualcomm Incorporated System method for bi-directional tunneling via user input back channel (UIBC) for wireless displays
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
KR20140081172A (ko) * 2012-12-21 2014-07-01 주식회사 팬택 싱크 장치, 소스 장치, 이들을 포함하는 무선랜 시스템 및 싱크 장치를 제어하는 방법
US10365874B2 (en) 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US9497506B2 (en) * 2013-05-03 2016-11-15 Blackberry Limited Input lag estimation for Wi-Fi display sinks
CN103702436B (zh) * 2013-12-11 2016-09-14 东软集团股份有限公司 Miracast反向控制方法及系统
WO2015115715A1 (ko) * 2014-02-03 2015-08-06 엘지전자 주식회사 무선 통신 시스템에서 세션을 초기화하는 방법 및 장치
CN103841271B (zh) * 2014-03-21 2016-06-01 天津松下汽车电子开发有限公司 基于uibc活用的智能屏与智能手机互联系统及方法
US20150350288A1 (en) * 2014-05-28 2015-12-03 Qualcomm Incorporated Media agnostic display for wi-fi display
EP3091747A4 (en) * 2014-11-27 2017-03-08 Sony Corporation Information processing device and information processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278388A (ja) 2007-05-07 2008-11-13 Sony Corp 情報交換装置および情報交換方法
JP2014507862A (ja) * 2011-01-14 2014-03-27 サムスン エレクトロニクス カンパニー リミテッド ワイファイダイレクト通信方式におけるシンクデバイスからソースデバイスにユーザの入力を送信するための方法及び装置
JP2014506082A (ja) * 2011-01-21 2014-03-06 クゥアルコム・インコーポレイテッド ワイヤレスシンクとワイヤレスソースデバイスとの間で機能をネゴシエートすること
JP2014096074A (ja) * 2012-11-12 2014-05-22 Sony Corp 情報処理装置、通信システムおよび情報処理方法
US20140210693A1 (en) * 2013-01-25 2014-07-31 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3091747A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159579A1 (ja) * 2017-02-28 2018-09-07 株式会社ｔｅａｍＳ 表示操作端末およびそれを用いる表示操作分離システム
JPWO2021181656A1 (ja) * 2020-03-13 2021-09-16
WO2021181656A1 (ja) * 2020-03-13 2021-09-16 株式会社Pfu データ処理装置、データ処理方法、及びプログラム
JP7344366B2 (ja) 2020-03-13 2023-09-13 株式会社Pfu データ処理装置、データ処理方法、及びプログラム

Also Published As

Publication number Publication date
US10383098B2 (en) 2019-08-13
EP3091747A4 (en) 2017-03-08
EP3091747A1 (en) 2016-11-09
US20160353425A1 (en) 2016-12-01
CN105830457A (zh) 2016-08-03
JPWO2016084485A1 (ja) 2017-09-07
US10004061B2 (en) 2018-06-19
US20180263028A1 (en) 2018-09-13
AU2015351677B2 (en) 2017-09-07
JP6729372B2 (ja) 2020-07-22
AU2015351677A1 (en) 2016-07-07
CN105830457B (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
JP6729372B2 (ja) 情報処理装置および情報処理方法
US10667206B2 (en) Information processing device, information processing system, and information processing method
US10805672B2 (en) Information processing device, information processing system, and information processing method
JP6750608B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10547897B2 (en) Information processing device and information processing method to communicate based on capability information
US10462517B2 (en) Information processing apparatus, communication system, and information processing method
JP6620759B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016526248

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15037246

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015862151

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015862151

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015351677

Country of ref document: AU

Date of ref document: 20151006

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15862151

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016012016

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112016012016

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160525