WO2017018042A1 - 情報処理装置及び情報処理方法、並びにソース機器 - Google Patents

情報処理装置及び情報処理方法、並びにソース機器 Download PDF

Info

Publication number
WO2017018042A1
WO2017018042A1 PCT/JP2016/065474 JP2016065474W WO2017018042A1 WO 2017018042 A1 WO2017018042 A1 WO 2017018042A1 JP 2016065474 W JP2016065474 W JP 2016065474W WO 2017018042 A1 WO2017018042 A1 WO 2017018042A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
information
processing apparatus
setting value
source device
Prior art date
Application number
PCT/JP2016/065474
Other languages
English (en)
French (fr)
Inventor
英輝 石見
山浦 智也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/510,748 priority Critical patent/US10582376B2/en
Publication of WO2017018042A1 publication Critical patent/WO2017018042A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/0215Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/50Allocation or scheduling criteria for wireless resources
    • H04W72/51Allocation or scheduling criteria for wireless resources based on terminal or device properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/08Mobility data transfer
    • H04W8/14Mobility data transfer between corresponding nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24Transfer of terminal data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices

Definitions

  • the technology disclosed in this specification relates to an information processing apparatus and an information processing method for receiving image data using wireless communication.
  • wireless LAN Local Area Network
  • IEEE Institute of Electrical and Electronics Engineers
  • Wi-Fi Direct which is a specification formulated by the Wi-Fi (Wireless Fidelity) Alliance, a wireless LAN diffusion promotion organization, provides an operation mode in which devices directly communicate with each other one-to-one (peer-to-peer).
  • Wireless LAN devices equipped with Wi-Fi Direct functions are connected to an access point in infrastructure mode for communication, and connected to other wireless LAN devices supporting Wi-Fi Direct using Wi-Fi Direct.
  • both operations of performing communication are possible (for example, see Patent Document 1).
  • Wi-Fi CERTIFIED Miracast can be used as near field wireless AV (Audio Visual) transmission communication.
  • Wi-Fi CERTIFIED Miracast uses Wi-Fi Direct and TDLS (Tunneled Direct Link Setup) technology to transmit audio and display video played on one terminal to other terminals, and the same on other terminals Is a mirroring technology that outputs the sound and image data.
  • Wi-Fi CERTIFIED Miracast implements UIBC (User Input Back Channel) on TCP / IP (Transmission Control Protocol / Internet Protocol).
  • UIBC is a technique for transmitting operation information of an input device such as a mouse and a keyboard from one terminal to the other terminal (see, for example, Patent Document 2).
  • An object of the technology disclosed in the present specification is to provide an excellent information processing apparatus and information processing method capable of suitably receiving image data using wireless communication.
  • the technology disclosed in the present specification has been made in consideration of the above problems, and the first aspect thereof is an information processing apparatus that receives data from another information processing apparatus that is wirelessly connected.
  • a capability information transmitting unit that transmits capability information of the information processing device in response to an inquiry from the other information processing device; Capability information related to the information processing device, resolution information related to communication with the other information processing device, and media setting values related to the other information processing device based on the reproduction output format of the received data in the information processing device
  • a control unit, A media setting value transmission unit that transmits information on the media setting value selected by the control unit to the other information processing apparatus; Is an information processing apparatus.
  • the capability information transmission unit of the information processing apparatus transmits the capability information of the information processing apparatus as the capability negotiation processing of Miracast Release1.
  • the media setting value transmission unit is configured to transmit information regarding the media setting value as a process of extending the Miracast function.
  • the information processing apparatus receives the resolution information related to communication with the other information processing apparatus as the Capability Negotiation process. It is configured.
  • the information processing apparatus receives a request message including an RTSP parameter for requesting Miracast extended function information from the other information processing apparatus.
  • an extended function transmission unit is further provided that returns a response message including an RTSP parameter indicating whether or not to install Miracast extended function information.
  • the information processing apparatus further includes a media setting value inquiry unit that inquires the other information processing apparatus about a media setting value that can be transmitted. ing.
  • the control unit is configured to control a media setting value related to the other information processing apparatus based on a response to the inquiry.
  • control unit of the information processing device increases or decreases the data transmission rate based on the currently set media setting value. It is configured to control the media setting value for this purpose.
  • the control unit of the information processing device is min (designates a minimum common item with the other information processing devices), max (specify the maximum common item with the other information processing apparatus), down (specify one step lower than the current one), up (specify one step higher than the current one) Is used to make a request for changing the media setting value.
  • the media setting value transmission unit of the information processing device transmits a request for changing a media setting value using an RTSP parameter. It is configured.
  • control unit of the information processing device includes a media setting value that can be received by the information processing device and the other information processing device.
  • One or more media setting values that are common among sendable media setting values are selected to control media setting values related to the other information processing apparatus.
  • the media setting value transmission unit of the information processing device directly specifies the one or more media setting values using an RTSP parameter. It is configured to send a request to change media settings.
  • An eleventh aspect of the technology disclosed in this specification is an information processing method in an information processing apparatus that receives data from another information processing apparatus that is wirelessly connected.
  • Capability information transmission step of transmitting the capability information of the information processing device in response to an inquiry from the other information processing device;
  • Capability information related to the information processing device, resolution information related to communication with the other information processing device, and media setting values related to the other information processing device based on the reproduction output format of the received data in the information processing device A control step to A media setting value transmitting step for transmitting information on the media setting value selected in the control step to the other information processing apparatus; Is an information processing method.
  • a twelfth aspect of the technology disclosed in this specification is a source device that is directly connected to a sink device based on a wireless LAN system, A control unit for grasping system performance information of the sink device; A receiver for receiving a SET PARAMETER REQUEST based on RTSP, which requests a higher resolution than the currently used resolution from the sink device; A transmission unit that performs streaming transmission using the resolution supported by the source device and the sink device in accordance with the SET PARAMETER REQUEST; Is a source device.
  • FIG. 1 is a diagram illustrating a configuration example of a communication system 600.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing apparatus 700 as the source device in the first embodiment.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the information processing apparatus 800 as a sink device in the first embodiment.
  • FIG. 4A is a diagram illustrating an example of transition of images displayed on the display unit 351 of the information processing apparatus 800.
  • FIG. 4B is a diagram illustrating an example of transition of images displayed on the display unit 351 of the information processing apparatus 800.
  • FIG. 5 is a diagram illustrating an example of communication processing performed between the first wireless communication device 100 and the second wireless communication device 200.
  • FIG. 1 is a diagram illustrating a configuration example of a communication system 600.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing apparatus 700 as the source device in the first embodiment.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the
  • FIG. 6 is a diagram illustrating an example of communication processing performed between the first wireless communication device 100 and the second wireless communication device 200.
  • FIG. 7 is a diagram illustrating an example of communication processing performed between the first wireless communication apparatus 100 and the second wireless communication apparatus 200.
  • FIG. 8 is a diagram illustrating a communication sequence example (before AV transmission) for confirming whether or not the extended function of the Miracast Release 1 standard is installed between the source device and the sink device.
  • FIG. 9 is a diagram illustrating a communication sequence example (after AV transmission) in which the source device changes the media setting value in response to a request from the sink device.
  • FIG. 10 is a diagram illustrating a communication sequence example between the source device and the sink device using the extended RTSP message.
  • FIG. 11 is a diagram illustrating a communication sequence example (after AV transmission) of the additional RTSP message.
  • FIG. 12 is a diagram illustrating a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the resolution.
  • FIG. 13 is a diagram illustrating a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the bit rate.
  • FIG. 14 is a diagram illustrating a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the bit rate while specifying the data transmission rate.
  • FIG. 15 is a diagram illustrating a communication sequence example of an RTSP message for the source device to change the media setting value in response to a request from the sink device.
  • FIG. 12 is a diagram illustrating a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the resolution.
  • FIG. 13 is a diagram illustrating a usage example of the RTSP addition
  • FIG. 16 is a diagram illustrating a communication sequence example of an RTSP message for the source device to change the media setting value in response to a request from the sink device.
  • FIG. 17 is a diagram illustrating a communication sequence example of an RTSP message for the source device to change the media setting value in response to a request from the sink device.
  • FIG. 18 is a diagram illustrating a communication sequence example of an RTSP message for the source device to change the media setting value in response to a request from the sink device.
  • FIG. 19 is a diagram illustrating a communication sequence example of an RTSP message for the source device to change the media setting value in response to a request from the sink device.
  • FIG. 20 is a diagram illustrating a communication sequence example of an RTSP message for the source device to change the media setting value in response to a request from the sink device.
  • FIG. 21 is a diagram illustrating an example of the RTSP M3 Request message.
  • FIG. 22 is a diagram illustrating an example of an RTSP M3 Response message.
  • FIG. 23 is a diagram showing an example of an RTSP M3R Request message.
  • FIG. 24 is a diagram illustrating an example of an RTSP M3R Response message.
  • FIG. 25 is a diagram illustrating a communication sequence example of an RTSP message using a newly defined M3R Request / Rresponse message.
  • FIG. 21 is a diagram illustrating an example of the RTSP M3 Request message.
  • FIG. 22 is a diagram illustrating an example of an RTSP M3 Response message.
  • FIG. 23 is a diagram showing an example of an RTSP M3R Request message.
  • FIG. 24 is a diagram
  • FIG. 26 is a diagram illustrating a configuration example of a communication system 2600 in a multi-source topology environment.
  • FIG. 27 is a diagram showing an example of a communication sequence between the devices constituting the communication system 2600 shown in FIG.
  • FIG. 28 is a flowchart showing an operation procedure executed by the information processing apparatus 800 as the sink device in a multi-source topology environment.
  • FIG. 29 is a diagram illustrating a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the refresh rate.
  • FIG. 5 and 6 show an example of communication processing performed between the first wireless communication apparatus 100 and the second wireless communication apparatus 200 in the form of a sequence chart.
  • Each figure is an example of a procedure for establishing a direct connection that specifically leads to a connection in the Wi-Fi Direct (Direct) standard (sometimes referred to as Wi-Fi P2P) standardized in the Wi-Fi Alliance. is there.
  • Direction Wi-Fi Direct
  • Wi-Fi P2P Wi-Fi P2P
  • Wi-Fi Direct multiple wireless communication devices detect each other's presence (Device Discovery, Service Discovery).
  • a direct connection is established by performing device authentication between the selected devices using WPS (Wi-Fi Protected Setup).
  • WPS Wi-Fi Protected Setup
  • Wi-Fi Direct a communication group is formed by determining whether a plurality of wireless communication devices play a role as a parent device (Group Owner) or a child device (Client).
  • 5 and 6 show an example of communication processing between the first wireless communication apparatus 100 corresponding to the source device and the second wireless communication apparatus 200 corresponding to the sink device, but between the other wireless communication apparatuses. It should be understood that the communication process is a similar sequence chart.
  • Device Discovery is performed between the first wireless communication device (source device) 100 and the second wireless communication device (sink device) 200 (SEQ501).
  • the first wireless communication apparatus 100 transmits a Probe request (response request signal), and receives a Probe response (response signal) for the Probe request from the second wireless communication apparatus 200.
  • the first wireless communication device 100 and the second wireless communication device 200 can discover each other's presence.
  • the device name and type (TV, PC, smartphone, etc.) of the other party can be acquired by Device Discovery.
  • an arbitrary Service Discovery is performed between the first wireless communication device 100 and the second wireless communication device 200 (SEQ502).
  • the first wireless communication device 100 transmits a Service Discovery Query that inquires about a service that is supported by the second wireless communication device 200 discovered by Device Discovery.
  • the first wireless communication apparatus 100 receives the Service Discovery Response from the second wireless communication apparatus 200, thereby acquiring a service supported by the second wireless communication apparatus 200.
  • services that can be executed by the other party can be acquired by using Service Discovery. Services that can be executed by the other party are, for example, service and protocol (DLNA (registered trademark) (Digital Living Network Alliance), DMR (Digital Media Renderer), and the like).
  • DLNA registered trademark
  • DMR Digital Media Renderer
  • connection partner selection operation (connection partner selection operation) is performed by the user (SEQ503).
  • This connection partner selection operation may occur only in one of the first wireless communication apparatus 100 and the second wireless communication apparatus 200.
  • a connection partner selection screen is displayed on the display unit of the first wireless communication device 100, and the second wireless communication device 200 is selected as a connection partner on the connection partner selection screen by a user operation.
  • Group Owner negotiation is performed between the first wireless communication apparatus 100 and the second wireless communication apparatus 200 (SEQ504).
  • the first wireless communication device 100 becomes a group owner (Group Owner) and the second wireless communication device 200 becomes a client (Client) according to the result of Group Owner Negotiation.
  • each process SEQ507 to SEQ510) is performed between the first wireless communication apparatus 100 and the second wireless communication apparatus 200, thereby establishing a direct connection. That is, Association (L2 (second layer) link establishment) (SEQ507) and Secure link establishment (SEQ508) are sequentially performed. Also, IP Address Assignment (SEQ509) and L4 setup (SEQ510) are sequentially performed. In SEQ510, for example, it is assumed that WFDS (Wi-Fi Direct Services) or the like is used.
  • WFDS Wi-Fi Direct Services
  • an application designation or activation operation is performed by the user (SEQ511).
  • This application designation / activation operation may occur only in one of the first wireless communication device 100 and the second wireless communication device 200.
  • an application designation / startup operation screen (described later) is displayed on the display unit of the first wireless communication apparatus 100, and a desired application is selected by a user operation on the application designation / startup operation screen.
  • an application corresponding to the application designation / startup operation is executed between the first wireless communication device 100 and the second wireless communication device 200 (SEQ512).
  • connection partner when searching for a connection candidate partner in Device discovery or Service Discovery (option), information on the connection partner can be acquired.
  • the information of the connection partner is, for example, a basic device type or a compatible application. Then, based on the acquired connection partner information, the user can select the connection partner.
  • the first wireless communication device 100 as the source device receives the media setting value (for example, resolution, image compression) in response to a request from the second wireless communication device 200 as the sink device.
  • the media setting value for example, resolution, image compression
  • the media setting value for example, resolution, image compression
  • no message is defined in the current Miracast standard (Release 1). If that happens, if the original RTSP (Real Time Streaming Protocol) message is exchanged between the source device and the sink device, or if it operates within the range of the current Miracast standard (Release 1), it will be disconnected once, and the source device will be disconnected from the sink device. Therefore, it is necessary to set the media setting value of the source device requested by the sink device in the capability information returned by the sink device.
  • RTSP Real Time Streaming Protocol
  • FIG. 7 shows an example of a communication process performed between the first wireless communication apparatus 100 and the second wireless communication apparatus 200 in the form of a sequence chart.
  • FIG. 7 shows an example of communication processing when a specific application is started after connection in the second layer. However, illustration is omitted about the part which is common in FIG.5 and FIG.6.
  • SEQ541 in FIG. 7 it is assumed that the processes SEQ501 to SEQ512 shown in FIGS. 5 and 6 are performed. Also in the communication process SEQ543, the processes SEQ501 to SEQ512 shown in FIGS. 5 and 6 are performed.
  • the source device changes the media setting value according to the request of the sink device using the Miracast Release 1 standard
  • the device discovery, the second layer connection processing, the secure link establishment processing, the IP address assignment processing, etc. Must be done again. For this reason, collisions due to the use of resources on the radio section increase, and the waiting time of the user increases by the time required for each of these processes.
  • a source device changes a media setting value and continues data transmission in response to a request from a sink device.
  • the communication system 600 shown in FIG. 1 has a multi-source topology
  • the first embodiment will be described assuming a single-source topology.
  • FIG. 1 shows a configuration example of the communication system 600. It is assumed that the illustrated communication system 600 can perform wireless connection by P2P direct communication.
  • the communication system 600 includes an information processing device 700, an information processing device 800, and an information processing device 900.
  • the information processing apparatus 800 receives data (for example, image data or audio data) transmitted from at least one of the information processing apparatus 700 and the information processing apparatus 900. That is, it is assumed that the communication system 600 performs wireless connection in a multi-source topology environment using P2P direct communication between the information processing device 700 and the information processing device 900 as the source device and the information processing device 800 as the sink device. is doing.
  • the information processing devices 700 and 800 are devices having a wireless communication function
  • the information processing device 900 is a device having a wired communication function for connecting to the information processing device 800 via a wire.
  • the information processing devices 700 and 800 are a display device (for example, a personal computer) or a portable information processing device (for example, a smartphone or a tablet terminal) having a wireless communication function.
  • the information processing apparatus 900 is a tuner for cable television.
  • the information processing apparatuses 700 and 800 include IEEE802.11, IEEE802.15, IEEE802.16, 3GPP (3rd Generation Partnership Project) specifications (for example, W-CDMA (Wideband Code Division Multiple Access G trademark) ) (Global System for Mobile Communications), WiMAX (Worldwide Interoperability for Microwave Access), WiMAX2, LTE (Long Term Evolution), LTE-compliant (A LTE-compliant).
  • IEEE802.11, IEEE802.15, IEEE802.16, 3GPP (3rd Generation Partnership Project) specifications for example, W-CDMA (Wideband Code Division Multiple Access G trademark) ) (Global System for Mobile Communications), WiMAX (Worldwide Interoperability for Microwave Access), WiMAX2, LTE (Long Term Evolution), LTE-compliant (A LTE-compliant).
  • the information processing apparatuses 700 and 800 can exchange various types of information using a wireless communication function.
  • Wi-Fi Direct for example, Wi-Fi Direct, TDLS, ad hoc network, and mesh network
  • Wi-Fi CERTIFIED Miracast technical specification name: Wi-Fi Display
  • Wi-Fi CERTIFIED Miracast uses Wi-Fi Direct and TDLS technologies to transmit audio and display images that are played back on one terminal to other terminals, and the other terminals can transmit the audio, This is a mirroring technology that outputs image data.
  • Wi-Fi CERTIFIED Miracast implements UIBC over TCP / IP.
  • UIBC is a technique for transmitting operation information of an input device such as a mouse or a keyboard from one terminal to the other terminal.
  • other remote desktop software for example, VNC (Virtual Network Computing) may be applied.
  • images are, for example, H.Fi. H.264 is used for compression / decompression.
  • H. H.264 can be adjusted on the transmission side.
  • H.264 is not limited thereto. 265 (e.g., HEVC (high efficiency video coding), SHVC (scalable video coding extension of high-efficiency video coding), MPEG (Moving Picter). .
  • a line-based codec for example, Wavelet, DCT (Discrete Cosine Transform)
  • DCT Discrete Cosine Transform
  • a codec that reduces a transmission rate without performing compression such as DCT or Wavelet by obtaining a difference from a previous code amount region of a specific code amount region (such as a picture or a bundle of multiple lines or a macro block).
  • the image (video) may be transmitted / received without compression.
  • the information processing apparatus 700 uses transmission of image data and audio data generated by an imaging operation.
  • the information processing apparatus 900 shows an example in which content stored in a storage unit such as a hard disk (for example, content including image data and audio data) is a transmission target.
  • a storage unit such as a hard disk
  • an electronic device for example, a personal computer, a game machine, a smartphone, or a tablet terminal
  • another electronic device including a display unit (for example, an imaging device, a game machine, a smartphone, or a tablet terminal) may be used.
  • an ISP Internet Services Provider
  • wireless or wired network may be a transmission target.
  • the image data generated by the imaging operation of the information processing apparatus 700 is transmitted to the information processing apparatus 800, and the image 11 based on the image data is displayed on the display unit 351 of the information processing apparatus 800.
  • the content stored in the storage unit of the information processing device 900 is transmitted to the information processing device 800, and the image 12 based on the content is displayed on the display unit 351 of the information processing device 800.
  • the information processing device 700 is a source device and the information processing device 800 is a sink device is shown.
  • FIG. 2 shows a functional configuration example of the information processing apparatus 700 as the source device in the first embodiment.
  • the illustrated information processing apparatus 700 includes an antenna 210, a wireless communication unit 220, a control signal receiving unit 230, a control unit 240, an image / audio signal generation unit 250, an image / audio compression unit 260, and a stream transmission unit. 270
  • the wireless communication unit 220 uses wireless communication to communicate each piece of information (for example, image data and audio data) with another information processing device (for example, the information processing device 800). Are transmitted / received via the antenna 210. For example, when image data transmission processing is performed, the image data generated by the image / sound signal generation unit 250 is compressed by the image / sound compression unit 260, and the compressed image data (image stream) is wirelessly transmitted. It is transmitted from the antenna 210 via the communication unit 220.
  • image data transmission processing is performed, the image data generated by the image / sound signal generation unit 250 is compressed by the image / sound compression unit 260, and the compressed image data (image stream) is wirelessly transmitted. It is transmitted from the antenna 210 via the communication unit 220.
  • the wireless communication unit 220 can transmit / receive each information to / from another information processing apparatus (for example, the information processing apparatus 800) using a plurality of frequency channels.
  • the wireless communication unit 220 has a function capable of transmitting and receiving only frequencies that are simultaneously selected or selected from three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz.
  • the sink device controls which frequency channel is used by each source device. Can do.
  • the control signal receiving unit 230 is a control signal (for example, exchange with the information processing apparatus 800) transmitted from another information processing apparatus (for example, the information processing apparatus 800) among the pieces of information received by the wireless communication unit 220. Information). Then, the control signal receiving unit 230 outputs the acquired control signal to the control unit 240.
  • the control unit 240 controls each piece of information transmitted from the information processing apparatus 700.
  • the control unit 240 controls the image / sound signal generation unit 250 and the image / sound compression unit 260 based on the control signal received by the control signal receiving unit 230.
  • the control unit 240 performs control for changing the resolution of the image data to be transmitted and the number of audio channels, and control for changing the image area of the image data to be transmitted. That is, the control unit 240 controls transmission of a stream to be transmitted based on the control signal received by the control signal receiving unit 230.
  • the stream transmission control is, for example, data transmission rate control or scalability transmission rate control.
  • the control unit 240 also has a function of measuring the radio wave propagation status (link radio wave propagation status) when data is transmitted / received to / from the sink device using wireless communication, and the measurement result (radio wave) Propagation measurement information) may be transmitted to the sink device.
  • the radio wave propagation measurement information is, for example, information used when determining whether or not the line quality with the sink device is a quality capable of transmitting and receiving image data and audio data.
  • the radio wave propagation measurement information is used, for example, when stream transmission control is performed.
  • the control unit 240 may count the number of retransmissions of the same packet, and the stream transmission may be controlled according to the count number.
  • the data transmission rate mainly means the rate of occupying the communication path, and includes the meaning of communication speed and communication capacity.
  • the resolution is defined as an image quality index composed of elements such as an image data image frame (vertical and horizontal pixel numbers) and image data bit rate (compression rate), for example.
  • the stream throughput can be used as an image quality index.
  • the number of audio channels is monaural (1.0 ch), stereo (2.0 ch), 5.1 ch, 6.1 ch, 9.1 ch, high resolution (High-Resolution Audio), etc.
  • the meaning of the recording / reproducing method is included.
  • the number of audio channels is defined as an index of sound quality composed of elements such as the bit rate (compression rate) of audio data and the number of channels. Further, the stream throughput can be used as an index of sound quality.
  • the control unit 240 performs control for improving a state that cannot be stabilized by data rate control.
  • the control unit 240 grasps system performance information of the sink device by exchanging information with the sink device (for example, the information processing apparatus 800).
  • the system performance information is, for example, performance information related to the sink device system.
  • the system performance information includes usable frequency channel, resolution, TCP, and UDP (User Datagram Protocol).
  • the system performance information is information indicating, for example, the correspondence of the encryption method, SD (Standard Definition) / HD (High Definition) / 4K, and low power consumption mode.
  • the control unit 240 can select a stream transmission control method that further improves the stability of the entire system of the communication system 600 according to whether or not the sink device supports the low power consumption mode.
  • the control unit 240 puts information on whether or not the information processing apparatus 700 is a mobile device in the information exchanged with the information processing apparatus 800.
  • information on whether or not the information processing apparatus 700 is a mobile device can be included in the capability information regarding the information processing apparatus 700.
  • the information processing apparatus 800 may determine that it is not necessary to operate the information processing apparatus 700 based on the relationship with the other information processing apparatus connected. it can.
  • the information processing apparatus 700 receives a transmission stop command from the information processing apparatus 800.
  • the control unit 240 can power down the functions of the image / audio signal generation unit 250, the image / audio compression unit 260, and the stream transmission unit 270 for a certain period of time. it can.
  • the control unit 240 can also shift to intermittent reception for the wireless communication unit 220.
  • the intermittent reception is a mode in which the wireless communication unit 220 is periodically woken up to the extent that a command can be received from the information processing apparatus 800 and the other is a power-down mode.
  • the image / audio signal generation unit 250 generates data (image data, audio data) to be output based on the control of the control unit 240.
  • the generated data is output to the image / sound compression unit 260.
  • the image / audio signal generation unit 250 includes an imaging unit (not shown) and an audio acquisition unit (not shown).
  • An imaging unit for example, a lens, an imaging device, and a signal processing circuit
  • a sound acquisition unit for example, a microphone acquires surrounding sounds at the time of generating the image data.
  • the image data and audio data generated in this manner are to be transmitted to another information processing apparatus (for example, information processing apparatus 800).
  • the image / audio compression unit 260 compresses (encodes) the data (image data and audio data) generated by the image / audio signal generation unit 250 based on the control of the control unit 240. Then, the image / audio compression unit 260 outputs the compressed data (image data and audio data) to the stream transmission unit 270.
  • the image / sound compression unit 260 may be realized by executing encoding by either software or hardware.
  • the image / sound compression unit 260 is assumed to function as a codec, but can handle uncompressed images or sounds. Furthermore, it is assumed that the image / sound compression unit 260 also functions as a scalable codec.
  • the scalable codec means a codec that can be freely adapted according to, for example, the resolution of the information processing apparatus (sink device) on the receiving side or the network environment.
  • the stream transmission unit 270 transmits the data (image data and audio data) compressed by the image / audio compression unit 260 as a stream from the antenna 210 via the wireless communication unit 220 based on the control of the control unit 240. Perform processing.
  • the information processing apparatus 700 can include a display unit, a voice output unit, an operation reception unit, and the like in addition to the above-described units, but these are not shown in FIG.
  • the display unit (not shown) of the information processing apparatus 700 is a display unit that displays an image generated by the image / audio signal generation unit 250, for example.
  • various display panels can be used as the display portion.
  • an organic EL Electro Luminescence
  • a crystal LED Light Emitting Diode
  • LCD Liquid Crystal Display
  • the audio output unit (not shown) of the information processing apparatus 700 is, for example, an audio output unit (for example, a speaker) that outputs audio generated by the image / audio signal generation unit 250.
  • the image can be output from both the transmitting device and the receiving device, but the sound is preferably output from only one of them.
  • the operation reception unit (not shown) of the information processing apparatus 700 is an operation reception unit that receives an operation input performed by a user, such as a keyboard, a mouse, a game pad, a touch panel, a camera, and a microphone.
  • a user such as a keyboard, a mouse, a game pad, a touch panel, a camera, and a microphone.
  • the operation reception unit and the display unit can be integrally configured using a touch panel that allows a user to input an operation by touching or approaching the finger with the display surface.
  • the information processing apparatus 700 may generate image data and audio data to be transmitted, but the information processing apparatus 700 acquires image data and audio data to be transmitted from an external apparatus. May be.
  • the information processing apparatus 700 may acquire image data and audio data to be transmitted from a web camera with a microphone.
  • the information processing apparatus 700 transmits content stored in a storage device such as a hard disk (for example, content including image data and audio data) regardless of whether the information processing apparatus 700 is internal or external. You may do it.
  • the content stored in the storage device is a compressed content.
  • the compressed content is compressed by the encoding method defined by the standard adopted in the communication system 600, the compressed content is transmitted as it is without being decoded. You may make it do.
  • FIG. 3 shows a functional configuration example of the information processing apparatus 800 as the sink device in the first embodiment.
  • the illustrated information processing apparatus 800 includes an antenna 310, a wireless communication unit 320, a stream reception unit 330, an image / sound development unit 340, an image / sound output unit 350, a user information acquisition unit 360, and a control unit 370.
  • the wireless communication unit 320 uses wireless communication to communicate each piece of information (for example, image data and audio data) with another information processing device (for example, the information processing device 700). Are transmitted / received via the antenna 310. For example, when image data reception processing is performed, image data received by the antenna 310 is expanded (decoded) by the image / sound expansion unit 340 via the wireless communication unit 320 and the stream reception unit 330. . The developed image data is supplied to the image / sound output unit 350, and an image corresponding to the developed image data is output from the image / sound output unit 350. That is, an image corresponding to the developed image data is displayed on the display unit 351.
  • image data reception processing image data received by the antenna 310 is expanded (decoded) by the image / sound expansion unit 340 via the wireless communication unit 320 and the stream reception unit 330.
  • the developed image data is supplied to the image / sound output unit 350, and an image corresponding to the developed image data is output from the image / sound output unit 350. That is, an image
  • the wireless communication unit 320 can transmit / receive each information to / from another information processing apparatus (for example, the information processing apparatus 700) using a plurality of frequency channels.
  • the wireless communication unit 320 has a function capable of transmitting and receiving only frequencies that are simultaneously selected or selected from three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz. That is, the wireless communication unit 320 can perform communication using the first frequency band and communication using the second frequency band having a data transmission rate higher than that of the first frequency band.
  • the control unit 370 controls which frequency channel of the plurality of frequency channels is used for wireless communication with each source device.
  • the link between the information processing device 700 and the information processing device 800 and the link between the information processing device 900 and the information processing device 800 may be the same frequency channel or different frequency channels. Also good.
  • the wireless communication unit 320 has a function capable of transmitting and receiving three types of frequency channels of 2.4 GHz, 5 GHz, and 60 GHz is shown, but the technology disclosed in this specification is based on this. It is not limited.
  • the wireless communication unit 320 may have a function capable of transmitting and receiving other frequency channels and two or more frequency channels.
  • the stream receiving unit 330 Based on the control of the control unit 370, the stream receiving unit 330 receives information and a stream (for example, an image stream and an audio stream) exchanged with each source device from the information received by the wireless communication unit 320. To do. Then, the stream reception unit 330 outputs the received RTSP message information to the control unit 370, and outputs the received stream to the image / audio development unit 340 and the control unit 370.
  • a stream for example, an image stream and an audio stream
  • the information exchanged with each source device is information transmitted from the source device (for example, the information processing apparatus 700), and includes, for example, an acquisition request for system performance information of the information processing apparatus 800.
  • the system performance information is information indicating, for example, usable frequency channels, resolutions, TCP, UDP, encryption method support, SD / HD / 4K support, and low power consumption mode support.
  • the stream receiving unit 330 has a function of measuring a radio wave propagation state (link radio wave propagation state) when data is transmitted / received to / from the sink device using wireless communication. Then, the stream receiving unit 330 outputs the measurement result (radio wave propagation measurement information) to the control unit 370.
  • the image / sound development unit 340 develops (decodes) a stream (image data and sound data) transmitted from another information processing apparatus (for example, the information processing apparatus 700) based on the control of the control unit 370. Then, the image / sound development unit 340 outputs the developed data (image data and sound data) to the image / sound output unit 350.
  • the image / sound developing unit 340 may be realized by executing decoding by either software or hardware.
  • the image / sound development unit 340 is assumed to function as a codec, but can handle an uncompressed image or sound.
  • the image / sound development unit 340 also functions as a scalable codec.
  • the image / sound output unit 350 includes a display unit 351 and a sound output unit 352.
  • the display unit 351 displays each image based on the image data developed by the image / sound development unit 340.
  • a display panel such as an organic EL panel, a crystal LED display, or an LCD panel can be used.
  • a touch panel that allows a user to perform an operation input by touching or approaching the finger with the display surface may be used.
  • the sound output unit 352 is a sound output unit (for example, a speaker) that outputs various sounds (such as sound related to the image displayed on the display unit 351) based on the sound data developed by the image / sound development unit 340.
  • a sound output unit for example, a speaker
  • various sounds such as sound related to the image displayed on the display unit 351
  • the method can be used.
  • a method is used in which the sound volume of the source device assigned to the central channel is set as the main and the sound volume of the source device assigned to the peripheral channel is reduced and played back. Can do. Note that other audio output methods may be used.
  • the user information acquisition unit 360 acquires information about the user (user information).
  • the acquired user information is output to the control unit 370.
  • the user information acquisition unit 360 can acquire user information by receiving input from an operation reception unit (keyboard, mouse, remote controller, game pad, touch panel) that allows the user to directly set the display method.
  • the operation accepting unit is an operation member for designating an arbitrary region in the image displayed on the display unit 351, for example.
  • the user information acquisition unit 360 receives an input from a device that can grasp the user's intention such as a camera, a microphone, various sensors (for example, a gyro sensor, a sensor that senses a human body), and the like. User information can be acquired.
  • the user information acquisition unit 360 is a user when information based on a stream received from another information processing apparatus (for example, the information processing apparatus 700) using wireless communication is output from the image / sound output unit 350.
  • Get user information generated by operation This user information is, for example, user information generated by a user operation relating to an image displayed on the display unit 351.
  • the user information is information generated based on a user operation regarding an image displayed on the display unit 351.
  • the user information acquisition unit 360 can acquire user data by acquiring image data generated by an imaging unit (omitted) attached to the display unit. Further, for example, the user information acquisition unit 360 may acquire information (for example, position information and identification information) acquired by an external device (for example, each sensor or wearable device) to generate user information. Good.
  • the control unit 370 causes the management information holding unit 390 to hold each piece of information acquired by the stream receiving unit 330 and manages each source device based on the management information held in the management information holding unit 390. In addition, the control unit 370 controls transmission of streams so that the stability of the streams transmitted from a plurality of source devices is improved in the entire system.
  • control unit 370 performs stream transmission control based on the user information acquired by the user information acquisition unit 360 and the management information held in the management information holding unit 390. Specifically, control unit 370 generates a control signal for performing stream transmission control for each source device, based on the management information held in management information holding unit 390. Then, control unit 370 outputs the generated control signal to control signal transmission unit 380. For example, the control unit 370 changes the resolution of the image displayed on the display unit 351 based on the user information and management information, and generates a control signal for requesting each source device to transmit a transmission rate equivalent to this resolution. To do.
  • control unit 370 generates a control signal for determining an image display area on the display unit 351 based on the user information and the management information. For example, the control unit 370 generates a control signal for determining the image size in the display unit 351 based on the user information and the management information.
  • control unit 370 performs control for setting the frequency channel to be used and the resolution based on the user information and management information. For example, the control unit 370 sets a frequency channel to be used for each source device for a plurality of frequency channels included in the wireless communication unit 320. In addition, when the power consumption mode is different for each frequency channel, the control unit 370 can grasp each mode and set a frequency channel that cares about the power consumption of the mobile device. That is, the control unit 370 separately sets the first power consumption mode related to the first frequency band and the second power consumption mode related to the second frequency band having a higher data transmission rate than the first frequency band. can do.
  • the control signal transmission unit 380 performs transmission processing for transmitting the control signal output from the control unit 370 to another wireless communication device via the wireless communication unit 320 and the antenna 310.
  • FIG. 4 shows a transition example of an image displayed on the display unit 351 of the information processing apparatus 800 according to the first embodiment.
  • the image 11 and the image 12 are displayed on the display unit 351 of the information processing device 800 with the image 11 received from the information processing device 700 as a central channel and the image 12 received from the information processing device 900 as a peripheral channel.
  • An example of a display format is shown.
  • the image 11 received from the information processing apparatus 700 is a peripheral channel
  • the image 12 received from the information processing apparatus 900 is the central channel
  • the image 11 and the image 12 are displayed on the display unit 351 of the information processing apparatus 800.
  • An example of a display format to be displayed is shown.
  • the information processing apparatus 700 and the information processing apparatus 900 each transmit a standard resolution stream (image data and audio data) to the information processing apparatus 800.
  • the image 11 based on the image data from the information processing apparatus 700 and the image 12 based on the image data from the information processing apparatus 900 have the same size. It can be displayed on the display unit 351 of the device 800.
  • the given resolution and display area are defined to be the same, but a scaler function is added to the display unit 351 so that the images 11 and 12 are rescaled and displayed on the display unit 351, respectively. It may be.
  • the description will be simplified here assuming that the scaler function is not used.
  • the display format set at the previous communication is held, and the image 11 and the image 12 are displayed on the information processing apparatus 800 according to the display format. You may make it display on the part 351.
  • FIG. 1 For the display formats of the image 11 and the image 12, for example, the display format set at the previous communication is held, and the image 11 and the image 12 are displayed on the information processing apparatus 800 according to the display format. You may make it display on the part 351.
  • the display formats of the image 11 and the image 12 may be determined based on the order of connection to the information processing apparatus 800. For example, it is assumed that the information processing apparatus 700 is first connected to the information processing apparatus 800 and the information processing apparatus 900 is connected to the information processing apparatus 800 after this connection. In this case, the image 11 and the image 12 are displayed on the display unit 351 of the information processing apparatus 800 using the image 11 as a central channel and the image 12 as a peripheral channel. That is, based on the connection order to the information processing apparatus 800, the display may be performed in the order of the central channel and the peripheral channel.
  • the image 11 and the image 12 are displayed on the display unit 351, the user information having the image 12 as the central channel
  • the user information acquisition unit 360 is assumed.
  • the image 11 and the image 12 are displayed on the display unit 351 by switching the image 12 to the central channel and the image 11 to the peripheral channel.
  • the display positions of the image 11 and the image 12 on the display surface of the display unit 351 are also determined based on user information (for example, manual operation, line of sight) acquired by the user information acquisition unit 360.
  • the media setting values (resolution, image compression method, audio compression method, video or audio output format, etc.) transmitted by the information processing device 700 (source device) depending on the display form of the information processing device 800 (sink device). May be changed.
  • the Miracast Release 1 standard function is expanded below, and in the display form as shown in FIG. 4B, the media setting value of the source device is quickly changed according to the screen size displayed by the sink device, and the transmission data transmission speed is increased.
  • the processing operation for controlling is shown below.
  • FIG. 8 illustration of communication processing up to L4 SetUp of SEQ501 to SEQ510 shown in FIGS. 5 and 6 is omitted, and communication processing up to an environment in which the RTSP link is connected by the source device and the sink device is illustrated. ing.
  • the sink device transmits its Capability information to the source device (SEQ801).
  • the source device receives the capability information from the sink device (SEQ802)
  • the source device transmits the setting request information to the sink device (SEQ803).
  • the sink device receives the setting request information from the source device (SEQ804).
  • SEQ801 to SEQ804 is Capability Negotiation processing in Miracast Release1, and corresponds to RTSP messages such as Get_Parameter Request and Get_Parameter Response.
  • SEQ 803 and SEQ 804 correspond to RTSP M4 Request and Response messages in the process M4 of the capability negotiation process, respectively.
  • the setting request information received by the sink device in this process M4 includes resolution information regarding image data transmitted from the source device to the sink device.
  • the source device has a function of inquiring to the sink device whether or not the sink device has a function of manually making a setting request to the source device when exchanging Capability Negotiation. That is, the source device transmits an extended function information request to the sink device (SEQ805). When the sink device receives the extended function information request from the source device (SEQ806), the sink device transmits the extended function information to the source device (SEQ807). The source device receives the extended function information from the sink device (SEQ808). As a specific RTSP message example, the source device transmits a request to request extended function information to the sink device as a GET_Parameter Request, and the sink device returns a Get_Parameter Response indicating whether or not the extended function information is to be implemented.
  • the processing of SEQ805 to SEQ808 is a Miracast extension function.
  • the source device performs AV data transmission processing with the setting contents of the setting request transmitted in SEQ 803 (SEQ 809), and AV streaming as the Miracast Release 1 operation is started. Then, the sink device performs data reception processing of the AV stream (SEQ810).
  • the exchange from “transmit extended function information request” in SEQ 805 to “receive extended function information” in SEQ 808 is not limited to the order shown in FIG.
  • the source device requests the capability information of the sink device and the sink device performs the exchange of returning the capability information, but the exchange from “send extended function information request” to “receive extended function information” It can be performed simultaneously with the exchange in which the source device requests the capability information from the sink device and the sink device returns the capability information, or before the exchange of the capability information.
  • the exchange shown in FIG. 9 is started as a process of extending the Miracast function after a setting request change event addressed to the Miracast source device occurs in the sink device.
  • the sink device transmits the collection of setting information for starting the additional function to the source device (SEQ901).
  • the source device receives the setting information request from the sink device (SEQ902)
  • the source device transmits the setting information to the sink device (SEQ903).
  • the sink device receives the setting information from the source device (SEQ904).
  • the sink device transmits GET_Parameter to the source device and receives a Response from the source device.
  • the sink device can grasp the capability information that can be transmitted by the source device.
  • the sink device selects a setting request value based on the received setting information, and transmits it to the source device (SEQ905).
  • the source device receives the setting request value (SEQ906)
  • the source device transmits a setting request response to the sink device (SEQ907).
  • the sink device receives the setting permission information from the source device (SEQ908).
  • the sink device selects one capability information that can be transmitted by the source device, selects the selected media setting value, calls Set_Parameter with an RTSP message, and changes the setting to the source device. Request.
  • the sink device considers the resolution information related to communication between the sink device itself and the source device, and how the sink device itself is used, in addition to the capability information on the source device side.
  • the exchange between the source device and the sink device is the same operation as Miracast Release1.
  • the source device performs AV data transmission processing with the setting content of the setting request transmitted in SEQ906 (SEQ909), and AV streaming as the Miracast Release1 operation is started.
  • the sink device performs data reception processing of the AV stream (SEQ910).
  • the sink side notifies the source device with a single media setting value (for example, resolution).
  • the media setting values returned from the sink device may be notified to the source side of all the media setting values that the sink device wants to request setting, and the source device side may select from the notified media setting values group. Good.
  • RTSP message for extending the function of Miracast Release 1
  • the resolution change and the bit rate change are added to the source device led by the sink device. Details of the RTSP message for this function expansion are as follows (1) to (4).
  • FIG. 10 shows a communication sequence example (before AV transmission) between the source device and the sink device using the above-mentioned extended RTSP message.
  • the source device transmits a GET_Parameter Request for requesting information on the presence / absence of an additional function using the command ext_cmd_20 (SEQ1001).
  • the sink device When the sink device receives the setting information request from the source device (SEQ1002), it returns a Get_Parameter Response including the setting information with the above-described command ext_cmd_20 (SEQ1003).
  • the source device When the source device receives the setting information from the sink device (SEQ1004), the communication operation similar to Miracast Release 1 continues thereafter.
  • the source device transmits a new RTSP parameter ext_reverse_get_parameter with GET_Parameter Request.
  • This parameter ext_reverse_get_parameter is an ABNF (Augmented Backus-Nour form) syntax and is defined as follows.
  • the source device supporting this function transmits the RTSP M3 request message including wfd_audio_stream_control, and inquires whether the sink device also supports this function. Since the incompatible sink device returns “none” in the RTSP M3 Response message, the source device will not use this function thereafter. A compatible sink device sets a corresponding bit to 1, and transmits it to the source device through an RTSP M3 Response message.
  • FIG. 21 shows an example of an RTSP M3 Request message transmitted from the source device to the sink device.
  • the difference from the conventional RTSP M3 Request message is that the content length (Content-Length) is specified as 168 and the parameter ext_reverse_get_parameter is included.
  • FIG. 22 shows an example of an RTSP M3 Response message transmitted from the sink device to the source device.
  • the difference from the conventional RTSP M3 Request message is that the content length (Content-Length) is specified as 328 and that the parameter ext_reverse_get_parameter is included.
  • the sink device confirms whether or not the sink device has the function of transmitting GET_Parameter_Request in the M3 GET_PARAMETER Response.
  • a method is also conceivable in which Request / Response messages are defined and capability information is notified between the source device and the sink device and parameter settings (change of media setting values) are performed using them.
  • M3 GET_PARAMETER and M4 SET_PARAMETER are requests from the source device to the sink device in the original standard.
  • the M3R Request / Rresponse message and the M4R Request / Response message with a subscript meaning reverse are newly defined messages for outputting parameters in the reverse direction.
  • FIG. 23 shows an example of an RTSP M3R Request message transmitted from the sink device to the source device.
  • FIG. 24 shows an example of an RTSP M3R Response message transmitted from the source device to the sink device.
  • FIG. 25 shows an example of a communication sequence of an RTSP message using a newly defined M3R Request / Rresponse message.
  • a response “Supported” is returned from the source device to the sink device by processing the M3R Request / Rresponse message, for example, the communication sequence (after AV transmission) of the additional RTSP message shown in FIG. 11 is continuously processed. I want to be understood.
  • the sink device transmits collection of setting information for starting additional functions to the source device (SEQ1101).
  • the source device receives the setting information request from the sink device (SEQ1102)
  • the source device transmits resolution information as setting information to the sink device (SEQ1103).
  • the sink device receives the resolution information from the source device (SEQ1104).
  • the sink device transmits GET_Parameter to the source device and receives a Response from the source device.
  • the sink device selects a resolution as a desired setting request value based on the received setting information, and transmits this to the source device (SEQ 1105).
  • the source device receives the resolution information as the setting request value (SEQ 1106)
  • the source device transmits a setting request response to the sink device (SEQ 1107).
  • the sink device receives the setting permission information from the source device (SEQ1108).
  • the exchange between the source device and the sink device is the same operation as Miracast Release1.
  • the source device performs AV data transmission processing with the setting content of the setting request transmitted in SEQ 1106 (SEQ 1109), and AV streaming as the Miracast Release 1 operation is started.
  • the sink device performs data reception processing of the AV stream (SEQ1110).
  • the sink device changes the resolution and transmission rate as internal processing.
  • the exchange of RTSP messages (SEQ1105 to 1108) is performed in the following two steps using ext_cmd_22 described above.
  • Step 1 The sink device transmits a request to change the resolution to 1024 ⁇ 768p30 to the source device with the ext_cmd_22 command.
  • Step 2 The source device replies to the sink device that the message instruction is accepted.
  • FIG. 12 shows a usage example of the RTSP additional RTSP message when the sink device requests the source device to change the resolution.
  • the exchange when the sink device requests the source device to change the resolution according to the technology disclosed in the present specification is not limited to the above. For example, it may be performed by the following two steps.
  • Step 1 The sink device transmits a request to change the resolution to any of 1920 ⁇ 1080p60, 1920 ⁇ 1080p30, 1024 ⁇ 768p30 to the source device by using an ext_cmd_22 command.
  • Step 2 In response to the message instruction, the source device returns to the sink device that the resolution 1024 ⁇ 768p30 is accepted.
  • FIG. 13 shows a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the bit rate.
  • Step 1 The sink device transmits a request indicating that the bit rate should be reduced to 50% to the source device using the ext_cmd_21 command.
  • Step 2 The source device replies to the sink device that the message instruction is accepted.
  • FIG. 14 shows a usage example of the RTSP addition RTSP message when the sink device requests the source device to change the bit rate.
  • Step 1 The sink device transmits to the source device a request indicating that the bit rate is reduced to 80% and the upper limit of the data transmission speed is 6 Mbps (6000 kbps) using the ext_cmd_21 command.
  • Step 2 The source device replies to the sink device that the message instruction is accepted.
  • the exchange of RTSP messages when the sink device requests the source device to change the refresh rate will be described.
  • the exchange of the RTSP message is performed in the following two steps using ext_cmd_23 described above.
  • Step 1 The sink device transmits the media setting value 30 for setting the refresh rate to 30 fps or less to the source device using the ext_cmd_23 command.
  • Step 2 The source device replies to the sink device that the message instruction is accepted.
  • FIG. 29 shows a usage example of the RTSP additional RTSP message when the sink device requests the source device to change the refresh rate.
  • the sink device in a system equivalent to Miracast Release 1 in which the sink device does not have an RTSP message for grasping the media setting value (resolution, image compression method, audio compression method, video or audio output format, etc.) of the source device,
  • the source device changes the media setting value (for example, resolution, image compression method, audio compression method, video or audio output format, etc.) according to the request of the device.
  • the communication system 600 shown in FIG. 1 has a multi-source topology, the first embodiment will be described assuming a single-source topology.
  • FIG. 15 shows a communication sequence example between the source device and the sink device in this embodiment.
  • the sink device transmits a desired media setting request value (for example, resolution, image compression method, audio compression method, video or audio output format, etc.) to the source device (SEQ1501).
  • a desired media setting request value for example, resolution, image compression method, audio compression method, video or audio output format, etc.
  • the source device Upon receiving the media setting request value (SEQ1502), the source device transmits a setting request response to the sink device (SEQ1503).
  • the sink device receives the setting permission information from the source device (SEQ1504).
  • the exchange between the source device and the sink device becomes the same operation as Miracast Release1.
  • the source device performs video transmission processing with the setting content of the setting request received in SEQ1502 (SEQ1505), and AV streaming as the Miracast Release1 operation is started.
  • the sink device performs video processing (SEQ1506).
  • the sink device changes the resolution and transmission rate as internal processing.
  • the sink device sends wfd2-video-change: “min” / “down” / “up” / “max” to the source device using the SET_PARAMETER Request which is an RTSP message.
  • the meaning of “min” / “down” / “up” / “max” is defined as follows.
  • min specifies the minimum of both common terms
  • max specifies the maximum of both common terms down specifies one level lower than the current use up is higher than the current one Specify one step higher
  • the resolutions supported by the source device are 1920 ⁇ 1080p30 (resolution F), 1920 ⁇ 1080p25 (resolution E), 1280 ⁇ 720p60 (resolution D), 720 ⁇ 576p50 (resolution B), and 640 ⁇ 480p60 (resolution A).
  • the resolution supported by the sink device is 1920 ⁇ 1080p60 (resolution G), 1920 ⁇ 1080p30 (resolution F), 1280 ⁇ 720p60 (resolution D), 1280 ⁇ 720p30 (resolution C), and 640 ⁇ 480p60 (resolution A).
  • the resolutions common to the source device and the sink device are A, D, and F.
  • FIG. 16 shows a communication sequence example of the RTSP message between the source device and the sink device in this case.
  • FIG. 17 shows an example of a communication sequence of the RTSP message between the source device and the sink device in this case.
  • FIG. 18 shows an example of a communication sequence when down is specified from the sink device to the source device when the resolution between the source device and the sink device is 1920 ⁇ 1080p30 (resolution F).
  • the resolution D is designated from the source device to the sink device using the SET_PARAMETER Request which is an RTSP message (SEQ1801).
  • the sink device may return OK as a Set_Parameter Response, which is an RTSP message, to the source device, but in the example shown in the figure, it returns NG because it wants the resolution to be further lowered (SEQ1802).
  • the sink device Since the source device has received NG from the sink device, the lower resolution A is designated using the SET_PARAMETER Request (SEQ1803). In response to this, the sink device returns OK to the source device as a Set_Parameter Response that is an RTSP message (SEQ1804).
  • the exchange between the source device and the sink device becomes the same operation as Miracast Release1.
  • the source device performs a video transmission process at the resolution A received in SEQ 1804 (SEQ 1805), and AV streaming as a Miracast Release 1 operation is started. Then, the sink device performs video processing (SEQ 1806).
  • FIG. 19 shows a modification of the communication sequence example shown in FIG.
  • the resolution D is specified from the source device to the sink device using the SET_PARAMETER Request which is an RTSP message (SEQ 1901).
  • the sink device wants the resolution to be further lower than the resolution D, it returns OK to the source device as a Set_Parameter Response that is an RTSP message (SEQ1902).
  • the source device performs video transmission processing at the resolution D specified in SEQ 1901 (SEQ 1903), and AV streaming as the Miracast Release 1 operation is once started. Then, the sink device performs video processing (SEQ1904).
  • the resolution A is designated from the source device to the sink device using the SET_PARAMETER Request, which is an RTSP message (SEQ1907).
  • the sink device returns OK as a Set_Parameter Response that is an RTSP message to the source device (SEQ1908).
  • the source device performs video transmission processing at resolution A (SEQ1909), and AV streaming is started as the Miracast Release 1 operation. Then, the sink device performs video processing (SEQ 1910).
  • “NG” and reason code from the source device to the sink device may be a reply method such as reach to max.
  • Both the first and second embodiments described above relate to a method for changing a media setting value between a source device and a sink device that are wirelessly connected by P2P communication.
  • the third embodiment assumes a multi-source topology environment.
  • an information processing device 700 that is one of two source devices is P2P connected to an information processing device 800 that is a sink device, but the information processing device that is the other source device. 900 is wired to the information processing apparatus 800.
  • FIG. 26 when the information processing apparatus 800 and the information processing apparatus 900 are changed to a wireless connection, a communication system 2600 in a multi-source topology environment is obtained. That is, it is assumed that there are a plurality of information processing apparatuses on the transmission side, and a plurality of images based on the image data transmitted from these information processing apparatuses are displayed on the display unit of the information processing apparatus on the reception side. In such a case, it is desirable to perform bandwidth control that assigns a data transmission rate as much as possible to an information processing device that requires high-quality media display or playback in accordance with the display state within a limited wireless band. A bandwidth control method becomes a problem.
  • FIG. 27 shows an example of a communication sequence between the devices constituting the communication system 2600 shown in FIG.
  • the information processing device 800 as the sink device acquires management information related to each from the information processing device 700 and the information processing device 900 as the source devices.
  • the information processing apparatus 700 transmits a setting information request to the information processing apparatus 800 regularly or irregularly (including only at the start) (SEQ 2701).
  • This setting information request requests transmission of media setting values set in the information processing apparatus 800, such as resolution, image compression method, video output format, sound quality, audio compression method, and audio output format.
  • the command information is a media setting value that the information processing apparatus 700 requests the information processing apparatus 700 to set in consideration of the radio wave propagation environment with the information processing apparatus 800 and the display form of the video in the information processing apparatus 800. It is information including.
  • the command information is included in a part of the capability information.
  • the information processing apparatus 700 Upon receiving the command information (SEQ 2704), the information processing apparatus 700 appropriately changes the media setting value of the own apparatus based on the command information, and transmits the changed setting information to the information processing apparatus 800 (SEQ 2705, SEQ 2706). ).
  • the information processing apparatus 900 transmits a setting information request to the information processing apparatus 800 periodically or irregularly (including only at the start) (SEQ2707).
  • the information processing apparatus 800 transmits command information corresponding to the setting information request (SEQ2709).
  • the information processing apparatus 900 appropriately changes the media setting value of the own apparatus based on the command information, and transmits the changed setting information to the information processing apparatus 800 (SEQ2711). , SEQ2712).
  • FIG. 28 shows, in the form of a flowchart, an operation procedure executed by the information processing apparatus 800 as the sink device in a multi-source topology environment.
  • the information processing apparatus 800 connects the first link to the information processing apparatus 700 as the first source device in the communication system 2600 in the multi-source topology environment shown in FIG.
  • the second link is connected to the information processing apparatus 900 as the second source device and the operation procedure shown in FIG. 28 is started, content transmission is performed on the first link and the second link, respectively. It shall be assumed.
  • control unit 370 acquires management information of the information processing device 700 as the first source device (step S2801), and then acquires management information of the information processing device 900 as the second source device (step S2801). S2802). Management information can be acquired from each source device according to the communication sequence shown in FIG. Each acquired management information is held in the management information holding unit 390.
  • the control unit 370 determines whether or not each source device connected to the information processing apparatus 800 is unstable (step S2803).
  • the source device being unstable means, for example, a case where an image displayed on the display unit 351 is disturbed. If all the source devices are not unstable (No in step S2803), the process returns to step S2801.
  • Step S2803 a determination is made based on the stability of the link of the unstable source device (hereinafter referred to as “target source device”) (Ste S2804). Specifically, the control unit 370 determines whether or not the PER (Packet Error Rate) of the target source device is equal to or greater than a threshold value.
  • PER Packet Error Rate
  • FIG. 28 shows an example in which PER is used as an index when determining link stability, but other indices may be used. For example, BER (Bit Error Rate), RSSI (Receive Signal Strength Indicator: received signal strength), number of packet retransmissions, throughput, dropped frames, SIR (Signal to Interference Ratio: desired signal to interference signal ratio), etc. are used as indicators. Thus, the stability of the link may be determined.
  • BER Bit Error Rate
  • RSSI Receiveive Signal Strength Indicator: received signal strength
  • SIR Signal to Interference Ratio: desired signal to interference signal ratio
  • the control unit 370 further determines whether the target source device is a large screen (or a high-quality screen display) (step S2804). S2805). If the target source device is set to a large screen or currently high-quality screen display (Yes in step S2805), a low-quality resolution is set for the target source device (step S2806). Conversely, if the target source device is not a large screen and is not currently set to a high-quality screen display (No in step S2805), the resolution of the same quality for the target source device or lower A quality resolution is set (step S2807).
  • the sink device can display the set resolution even if it is displayed in a list by the function of the sink device up to the display window size.
  • the window size displayed on the sink device may be changed and displayed.
  • an algorithm for suppressing blurring of the video as much as possible may be executed.
  • control unit 370 causes the first source device and the second source device to operate simultaneously with the media setting values specified for each (step S2808).
  • control unit 370 transmits to the target source device in order to adjust the refresh rate with the high-quality media setting value and the low-quality media setting value according to the communication status (step S2809).
  • control unit 370 transmits to the target source device in order to adjust the media setting value for changing the data transmission rate according to the communication status (step S2810).
  • control unit 370 adjusts and transmits the media setting value for temporarily stopping the video of the low-quality target source device according to the communication status (step S2811).
  • Wi-Fi Direct In the Wi-Fi Direct standard standardized in Wi-Fi Alliance, when changing the media setting value of the source device as requested by the sink device, Device discovery, second layer connection processing, secure link establishment processing, IP It is necessary to perform an address assignment process or the like again (see FIG. 5). For this reason, collisions due to the use of resources on the radio section increase, and the waiting time of the user increases as much as the time required for each of these processes.
  • an RTSP parameter having high affinity with Miracast Release 1 is newly established.
  • the communication sequence that changes the media setting value of the source device according to the request of the sink device it is possible to reduce the resources on the wireless section and to make the communication sequence that does not feel the user's waiting time. It becomes.
  • a setting method of media setting information is provided so as to reduce interference from other wireless apparatuses as much as possible. Is possible.
  • the information processing apparatuses 700, 800, and 900 are multifunction information terminals such as smartphones and tablets, personal computers, game machines, digital cameras, other mobile terminals, television receivers, printers, digital scanners, and network storages. -You may comprise as in-vehicle terminals, such as a device, another fixed terminal, and also a car navigation apparatus.
  • the information processing devices 700, 800, and 900 are configured as smart meters, vending machines, remote monitoring devices, M2M (Machine to Machine) terminals such as POS (Point Of Sale) terminals, and MTC (Machine Type Communication) terminals. May be.
  • the information processing apparatuses 700, 800, and 900 may be wireless communication modules (for example, integrated circuits configured by one die) mounted on these terminals.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), and the like can be used.
  • An information processing apparatus that receives data from another information processing apparatus connected wirelessly, A capability information transmitting unit that transmits capability information of the information processing device in response to an inquiry from the other information processing device; Capability information related to the information processing device, resolution information related to communication with the other information processing device, and media setting values related to the other information processing device based on the reproduction output format of the received data in the information processing device A control unit, A media setting value transmission unit that transmits information on the media setting value selected by the control unit to the other information processing apparatus; An information processing apparatus comprising: (2) The Capability information transmission unit transmits Capability information of the information processing apparatus as Capability Negotiation processing of Miracast Release 1.
  • the media setting value transmission unit transmits information on the media setting value as a process of extending the Miracast function.
  • (3) As the Capability Negotiation process the resolution information related to communication with the other information processing apparatus is received.
  • a media setting value inquiry unit that inquires the other information processing apparatus for media setting values that can be transmitted;
  • the control unit controls a media setting value related to the other information processing device based on a response to the inquiry;
  • the control unit controls the media setting value for increasing or decreasing the data transmission rate based on the currently set media setting value.
  • the control unit is configured to specify min (designate the smallest common term with the other information processing apparatus), max (designate the largest common term with the other information processing apparatus), down (used now) Request to change the media setting value using up (specify one level higher than the current one)
  • the information processing apparatus according to claim 6.
  • the media setting value transmission unit transmits a media setting value change request using an RTSP parameter.
  • the information processing apparatus according to (7) above.
  • the control unit selects one or more media setting values that are common between a media setting value that can be received by the information processing apparatus and a media setting value that can be transmitted from the other information processing apparatus, and Control media settings for other information processing devices, The information processing apparatus according to (5) above.
  • the media setting value transmission unit transmits a request for changing a media setting value in which the one or more media setting values are directly specified using an RTSP parameter.
  • the information processing apparatus according to (9) above.
  • An information processing method in an information processing apparatus that receives data from another information processing apparatus connected wirelessly, Capability information transmission step of transmitting the capability information of the information processing device in response to an inquiry from the other information processing device; Capability information related to the information processing device, resolution information related to communication with the other information processing device, and media setting values related to the other information processing device based on the reproduction output format of the received data in the information processing device A control step to A media setting value transmitting step for transmitting information on the media setting value selected in the control step to the other information processing apparatus; An information processing method comprising: (12) A source device that is directly connected to a sink device based on a wireless LAN system, A control unit for grasping system performance information of the sink device; A receiver for receiving a SET PARAMETER REQUEST based on RTSP, which requests a higher resolution than the currently used resolution from the sink device; A transmission unit that performs streaming transmission using the resolution supported by the source device and the sink device in accordance with the SET PARAMETER REQUEST; A source device comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Communication Control (AREA)

Abstract

無線通信を利用して画像データを受信する情報処理装置を提供する。 Miracast Release1と親和性が高いRTSPパラメーターを新設して、シンク機器の要求によるソース機器のメディア設定値を変更する通信シーケンスにおいて、無線区間上のリソースを少なくし、ユーザーの待ち時間を感じさせない通信シーケンスとする。また、複数のソース機器から送信された画像データに基づく複数の画像をシンク機器の表示部に表示させるマルチソース・トポロジー環境では、極力データ伝送レートを割り当てる帯域制御方法を提示することを可能とする。

Description

情報処理装置及び情報処理方法、並びにソース機器
 本明細書で開示する技術は、無線通信を利用して画像データを受信する情報処理装置及び情報処理方法に関する。
 IEEE(Institute of Electrical and Electronics Engineers)802.11で規定される無線LAN(Local Area Network)システムでは、親機として動作するアクセスポイントを介して、子機として動作するステーション間での無線による通信が行なわれる。
 一方、無線LANの普及促進団体であるWi-Fi(Wireless Fidelity)アライアンスが策定した仕様であるWi-Fi Directは、機器同士が1対1(ピアツーピア)で直接通信する動作モードを提供する。Wi-Fi Directの機能を備えた無線LANデバイスは、アクセスポイントとインフラストラクチャー・モードで接続されて通信を行なうことと、Wi-Fi Directに対応する他の無線LANデバイスとWi-Fi Directで接続されて通信を行なうことの両方の動作が可能である(例えば、特許文献1参照)。
 また、近距離無線AV(Audio Visual)伝送通信として、例えば、Wi-Fi CERTIFIED Miracastを用いることができる。Wi-Fi CERTIFIED Miracastは、Wi-Fi DirectやTDLS(Tunneled Direct Link Setup)の技術を利用して、一方の端末で再生される音声や表示映像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。Wi-Fi CERTIFIED Miracastでは、TCP/IP(Transmission Control Protocol/Internet Protocol)上でUIBC(User Input Back Channel)を実現している。UIBCは、一方の端末から他方の端末へマウスやキーボードなどの入力機器の操作情報を送信する技術である(例えば、特許文献2を参照のこと)。
特許第5521774号公報 特開2015-70568号公報
 本明細書で開示する技術の目的は、無線通信を利用して画像データを好適に受信することができる、優れた情報処理装置及び情報処理方法を提供することにある。
 本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、無線接続される他の情報処理装置からデータを受信する情報処理装置であって、
 前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信部と、
 前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御部と、
 前記制御部によって選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信部と、
を具備する情報処理装置である。
 本明細書で開示する技術の第2の側面によれば、第1の側面に係る情報処理装置の前記Capability情報送信部は、Miracast Release1のCapability Negotiation処理として、前記情報処理装置のCapability情報を送信し、前記メディア設定値送信部は、Miracast機能拡張の処理として、メディア設定値に関する情報を送信するように構成されている。
 本明細書で開示する技術の第3の側面によれば、第2の側面に係る情報処理装置は、前記Capability Negotiation処理として、前記他の情報処理装置との通信に関する前記解像度情報を受信するように構成されている。
 本明細書で開示する技術の第4の側面によれば、第1の側面に係る情報処理装置は、Miracast拡張機能情報を要求するRTSPパラメーターを含んだ要求メッセージを前記他の情報処理装置から受信したことに応じて、Miracast拡張機能情報を実装するか否かを示すRTSPパラメーターを含んだ応答メッセージを返信する拡張機能送信部をさらに備えている。
 本明細書で開示する技術の第5の側面によれば、第1の側面に係る情報処理装置は、送出可能なメディア設定値を前記他の情報処理装置に問い合わせるメディア設定値問合せ部をさらに備えている。そして、前記制御部は、前記問い合わせに対する返答に基づいて、前記他の情報処理装置に関するメディア設定値を制御するように構成されている。
 本明細書で開示する技術の第6の側面によれば、第1の側面に係る情報処理装置の前記制御部は、現在設定しているメディア設定値を基準として、データ伝送レートを増加又は低減するためのメディア設定値の制御を行なうように構成されている。
 本明細書で開示する技術の第7の側面によれば、第6の側面に係る情報処理装置の前記制御部は、min(前記他の情報処理装置と共通項で最小のものを指定)、max(前記他の情報処理装置と共通項で最大のものを指定)、down(今使っているものより1段階低いものを指定)、up(今使っているものより1段階高いものを指定)を用いてメディア設定値の変更要求を行なわせるように構成されている。
 本明細書で開示する技術の第8の側面によれば、第7の側面に係る情報処理装置の前記メディア設定値送信部は、RTSPパラメーターを用いたメディア設定値の変更要求を送信するように構成されている。
 本明細書で開示する技術の第9の側面によれば、第5の側面に係る情報処理装置の前記制御部は、前記情報処理装置が受信可能なメディア設定値と前記他の情報処理装置から送出可能なメディア設定値の間で共通する1以上のメディア設定値を選択して、前記他の情報処理装置に関するメディア設定値を制御するように構成されている。
 本明細書で開示する技術の第10の側面によれば、第9の側面に係る情報処理装置の前記メディア設定値送信部は、RTSPパラメーターを用いて前記1以上のメディア設定値を直接指定したメディア設定値の変更要求を送信するように構成されている。
 また、本明細書で開示する技術の第11の側面は、無線接続される他の情報処理装置からデータを受信する情報処理装置における情報処理方法であって、
 前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信ステップと、
 前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御ステップと、
 前記制御ステップにおいて選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信ステップと、
を有する情報処理方法である。
 また、本明細書で開示する技術の第12の側面は、シンク機器との間で、無線LANシステムに基づいてダイレクト接続されるソース機器であって、
 前記シンク機器のシステム性能情報を把握する制御部と、
 前記シンク機器から、現在利用されている解像度よりも高い解像度を要求する、RTSPに基づくSET PARAMETER REQUESTを受信する受信部と、
 前記SET PARAMETER REQUESTに応じて、前記ソース機器及び前記シンク機器がサポートしている解像度を用いて、ストリーミング送信を行なう送信部と、
を具備するソース機器である。
 本明細書で開示する技術によれば、無線通信を利用して画像データを受信する情報処理装置及び情報処理方法を提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、通信システム600の構成例を示した図である。 図2は、第1の実施例におけるソース機器としての情報処理装置700の機能的構成例を示したブロック図である。 図3は、第1の実施例におけるシンク機器としての情報処理装置800の機能的構成例を示したブロック図である。 図4Aは、情報処理装置800の表示部351に表示される画像の遷移例を示した図である。 図4Bは、情報処理装置800の表示部351に表示される画像の遷移例を示した図である。 図5は、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例を示した図である。 図6は、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例を示した図である。 図7は、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例を示した図である。 図8は、ソース機器とシンク機器間でMiracast Release1規格の拡張機能の実装の有無を確認するための通信シーケンス例(AV伝送前)を示した図である。 図9は、ソース機器がシンク機器の要求によりメディア設定値を変更する通信シーケンス例(AV伝送後)を示した図である。 図10は、拡張RTSPメッセージを用いたソース機器とシンク機器間の通信シーケンス例を示した図である。 図11は、追加RTSPメッセージの通信シーケンス例(AV伝送後)を示した図である。 図12は、シンク機器がソース機器に対して解像度の変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。 図13は、シンク機器がソース機器に対してビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。 図14は、シンク機器がソース機器に対してデータ伝送速度を指定しつつビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。 図15は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図16は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図17は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図18は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図19は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図20は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図21は、RTSP M3 Requestメッセージの例を示した図である。 図22は、RTSP M3 Responseメッセージの例を示した図である。 図23は、RTSP M3R Requestメッセージの例を示した図である。 図24は、RTSP M3R Responseメッセージの例を示した図である。 図25は、新規定義したM3R Request/Rresponseメッセージを利用したRTSPメッセージの通信シーケンス例を示した図である。 図26は、マルチソース・トポロジー環境の通信システム2600の構成例を示した図である。 図27は、図26に示した通信システム2600を構成する各装置間における通信シーケンス例を示した図である。 図28は、シンク機器としての情報処理装置800がマルチソース・トポロジー環境下で実行する動作手順を示したフローチャートである。 図29は、シンク機器がソース機器に対してリフレッシュ・レートの変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
[アプリケーション動作開始時における通信例]
 図5及び図6には、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例をシーケンス・チャートの形式で示している。各図は、具体的には、Wi-Fi Allianceにおいて標準化されているWi-Fi Direct(Direct)規格(Wi-Fi P2Pと呼ばれることもある)での接続に至るダイレクト接続の確立手順の一例である。
 Wi-Fi Directでは、複数の無線通信装置が互いの存在を検出する(Device Discovery、Service Discovery)。そして、接続機器選択を行なうとその選択された機器間でWPS(Wi-Fi Protected Setup)で機器認証を行なうことによって、ダイレクト接続が確立される。また、Wi-Fi Directでは、複数の無線通信装置が親機(Group Owner)又は子機(Client)のいずれとしての役割を担うかを決定して通信グループを形成する。
 但し、図5及び図6に示す通信処理例では、一部のパケット送受信の図示を省略しており、以下でも詳細な説明は行なわない。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、Authentication Request/Responseのやり取りなどにおいてもパケット交換が必要となるが、詳細についてはWi-Fi Direct(Direct)規格の仕様書を参照されたい。
 また、図5及び図6では、ソース機器に相当する第1の無線通信装置100とシンク機器に相当する第2の無線通信装置200間における通信処理例を示すが、他の無線通信装置間における通信処理も同様のシーケンス・チャートになると理解されたい。
 図5及び図6を参照しながら、P2P(Peer to Peer)接続を確立してアプリケーションを動作させるまでの無線パケット送受信手順について説明する。
 最初に、第1の無線通信装置(ソース機器)100と第2の無線通信装置(シンク機器)200間においてDevice Discoveryが行なわれる(SEQ501)。例えば、第1の無線通信装置100は、Probe request(応答要求信号)を送信し、このProbe requestに対するProbe response(応答信号)を第2の無線通信装置200から受信する。これにより、第1の無線通信装置100と第2の無線通信装置200は,互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名や種類(TV、PC、スマートフォンなど)を取得することができる。
 続いて、第1の無線通信装置100と第2の無線通信装置200間において、任意のService Discoveryが行なわれる(SEQ502)。例えば、第1の無線通信装置100は、Device Discoveryで発見した第2の無線通信装置200が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、第1の無線通信装置100は、Service Discovery Responseを第2の無線通信装置200から受信することにより、第2の無線通信装置200が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービスなどを取得することができる。相手が実行可能なサービスは、例えば、service、protocol(DLNA(登録商標)(Digital Living Network Alliance) DMR(Digital Media Renderer)など)である。
 続いて、ユーザーにより接続相手の選択操作(接続相手選択操作)が行なわれる(SEQ503)。この接続相手選択操作は、第1の無線通信装置100又は第2の無線通信装置200のいずれか一方のみに発生することもある。例えば、第1の無線通信装置100の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手として第2の無線通信装置200がユーザー操作により選択される。
 ユーザーにより接続相手選択操作が行なわれると(SEQ503)、第1の無線通信装置100と第2の無線通信装置200間においてGroup Owner Negotiationが行なわれる(SEQ504)。図5及び図6に示す例では、Group Owner Negotiationの結果により,第1の無線通信装置100がグループ・オーナー(Group Owner)になり、第2の無線通信装置200がクライアント(Client)になる。
 続いて、第1の無線通信装置100と第2の無線通信装置200間において、各処理SEQ507乃至SEQ510)が行なわれることにより、ダイレクト接続が確立される。すなわち、Association(L2(第2層) link確立)(SEQ507)、Secure link確立(SEQ508)が順次行なわれる。また、IP Address Assignment(SEQ509)、L4 setup(SEQ510)が順次行なわれる。SEQ510においては、例えば、WFDS(Wi-Fi Direct Services)などを用いることが想定される。
 続いて、ユーザーによりアプリケーションの指定又は起動操作(アプリ指定・起動操作)が行なわれる(SEQ511)。このアプリ指定・起動操作は、第1の無線通信装置100又は第2の無線通信装置200のいずれか一方のみに発生することもある。例えば、第1の無線通信装置100の表示部にアプリ指定・起動操作画面(後述)が表示され、このアプリ指定・起動操作画面において所望のアプリケーションがユーザー操作により選択される。
 ユーザーによりアプリ指定・起動操作が行なわれると(SEQ511)、このアプリ指定・起動操作に対応するアプリケーションが第1の無線通信装置100及び第2の無線通信装置200間において実行される(SEQ512)。
 ここで、Wi-Fi Direct規格以前の仕様(すなわち、IEEE802.11で標準化された仕様)の範囲内で、アクセスポイント(Access Point)と端末局(Station)間の接続を行なう場合には、第2層で接続する前(IEEE802.11用語では「association前」とも呼ぶ)には、どのようなデバイスと繋ごうとしているのかを事前に知ることができない。
 これに対し、Wi-Fi Direct規格では、図5及び図6に示したように、Device discoveryやService Discovery(option)において、接続候補相手を探す際に、接続相手の情報を取得することができる。この接続相手の情報は、例えば、基本的なデバイスのタイプや、対応しているアプリケーションなどである。そして、その取得された接続相手の情報に基づいて、ユーザーに接続相手を選択させることができる。
 ここで、第2層での接続後に、シンク機器としての第2の無線通信装置200からの要求により、ソース機器としての第1の無線通信装置100が、メディア設定値(例えば、解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式等)を変更させたい場合を考える。第2層での接続後に、ソース機器のメディア設定値を変更させるためには、現行のMiracast規格(Release1)ではメッセージが定義されていない。そうなると、ソース機器とシンク機器間で独自RTSP(Real Time Streaming Protocol)メッセージをやり取りさせるか、または、現行のMiracast規格(Release1)の範囲内で動作させる場合、一度切断し、ソース機器から、シンク機器のCapability情報を要求させ、シンク機器が返答するCapability情報の中に、シンク機器が要求するソース機器のメディア設定値を設定する必要がある。
[アプリケーション動作開始時における通信例]
 図7には、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例をシーケンス・チャートの形式で示している。図7は、第2層での接続後に、特定の別なアプリケーションを起動する場合における通信処理例を示している。但し、図5並びに図6と共通する部分については図示を省略している。具体的には、図7中の通信処理SEQ541では、図5及び図6に示した各処理SEQ501乃至SEQ512を行なうものとする。また、通信処理SEQ543でも、図5及び図6に示す各処理SEQ501乃至SEQ512を行なうものとする。
 このように、Miracast Release1規格を用いて、シンク機器の要求により、ソース機器がメディア設定値を変更する場合には、Device discovery、第2層の接続処理、secure link確立処理、IP addressアサイン処理などを再度行なう必要がある。このため、無線区間上のリソースの使用による衝突が増加し、これらの各処理に要する時間だけ、ユーザーの待ち時間が増加することになる。
 さらに、Wi-Fi Directを用いて接続する環境において、他の無線装置からの干渉波を極力削減するようなアプローチが重要となる。
 さらに、マルチソース・トポロジー環境、すなわち送信側の情報処理装置が複数存在し、これらの情報処理装置から送信された画像データに基づく複数の画像を、受信側の情報処理装置の表示部に表示させることも想定される。このような場合には、限られた無線帯域の中で、表示状態に応じて高品質なメディア表示又は再生が必要な情報処理装置に対し、極力、データ伝送速度を割り当てる帯域制御が望ましく、その帯域制御方法が課題となる。
 Miracast規格(Release1)の規格拡張として、シンク機器からの要求によって、ソース機器が、メディア設定値を変更し、データ伝送を継続して行なう例について説明する。図1に示した通信システム600はマルチソース・トポロジーであるが、第1の実施例ではシングルソース・トポロジーを前提として説明する。
 まず、シンク機器からの要求によってソース機器がメディア設定値の変更を行なうユースケースと無線環境について説明する。
[通信システムの構成例]
 図1には、通信システム600の構成例を示している。図示の通信システム600は、P2Pダイレクト通信により無線接続を行なうことができるものとする。
 通信システム600には、情報処理装置700と、情報処理装置800と、情報処理装置900が含まれている。通信システム600内では、情報処理装置700及び情報処理装置900のうちの少なくとも1つから送信されるデータ(例えば、画像データや音声データ)を情報処理装置800が受信する。すなわち、通信システム600は、ソース機器としての情報処理装置700及び情報処理装置900とシンク機器としての情報処理装置800間のP2Pダイレクト通信を用いたマルチソース・トポロジー環境の無線接続を行なうことを想定している。
 情報処理装置700、800は、無線通信機能を備える機器であり、情報処理装置900は有線経由で情報処理装置800と接続する有線通信機能を備える機器である。例えば、情報処理装置700、800は、無線通信機能を備える表示装置(例えば、パーソナル・コンピューター)や携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)である。一方、情報処理装置900はケーブルテレビ用チューナである。また、例えば、情報処理装置700、800は、IEEE802.11、IEEE802.15、IEEE802.16、3GPP(3rd Generation Partnership Project)仕様(例えば、W-CDMA(Wideband Code Division Multiple Access)、GSM(登録商標)(Global System for Mobile Communications)、WiMAX(Worldwide Interoperability for Microwave Access)、WiMAX2、LTE(Long Term Evolution)、LTE-A(Advanced))に準拠した無線通信装置である。そして、情報処理装置700、800は、無線通信機能を利用して各種情報のやり取りを行なうことができる。
 ここで、一例として、情報処理装置700及び情報処理装置800間で無線LANを用いた無線通信を行なう場合を例にとって説明する。
 無線LANとして、例えば、Wi-Fi Direct、TDLS、アドホック・ネットワーク、メッシュ・ネットワークを用いることができる。また、通信システム600に用いられる近距離無線AV伝送通信として、例えば、Wi-Fi CERTIFIED Miracast(技術仕様書名:Wi-Fi Display)を用いることができる。なお、Wi-Fi CERTIFIED Miracastは、Wi-Fi DirectやTDLSの技術を利用して、一方の端末で再生される音声や表示画像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。
 なお、Wi-Fi CERTIFIED Miracastでは、TCP/IP上でUIBCを実現している。UIBCは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。また、Wi-Fi CERTIFIED Miracastの代わりに、他のリモートデスクトップソフトウェア(例えば、VNC(Virtual Network Computing))を適用するようにしてもよい。
 Wi-Fi CERTIFIED Miracastでは、画像(映像)を、例えば、H.264を用いて圧縮・展開することが定められている。また、例えば、Wi-Fi CERTIFIED Miracastでは、H.264を送信側で調整することができる。なお、H.264に限らず、例えば、H.265(例えば、HEVC(high efficiency video coding)、SHVC(scalable video coding extensions of high efficiency video coding))、MPEG(Moving Picture Experts Group)4、JPEG(Joint Photographic Experts Group)7000にも対応することができる。また、例えば、1ライン以上を束ねて圧縮したり、2ライン以上を2×2以上のマクロブロックに分割して圧縮・展開を行なうラインベースコーデック(例えば、Wavelet、DCT(Discrete Cosine Transform))にも対応することができる。また、例えば、特定の符号量領域(Picture又は複数ラインの束又はマクロブロックなど)の前符号量領域との差分を求めることでDCTやWavelet等の圧縮を行なわずに伝送レートを減らすコーデックにも対応することができる。また、非圧縮で画像(映像)を送信・受信するようにしてもよい。
 本明細書で開示する技術の第1の実施例として、情報処理装置700が撮像動作により生成された画像データ及び音声データを送信対象とする例を示す。また、第1の実施例では、情報処理装置900は、ハード・ディスクなどの記憶部に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)を送信対象とする例を示す。なお、情報処理装置700として、カメラを搭載した電子機器(例えば、パソコン、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置800として、表示部を備える他の電子機器(例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置700がテザリング機能を備える場合には、無線又は有線ネットワークを介してISP(Internet Services Provider)に保存されたコンテンツを送信対象とするようにしてもよい。
 例えば、情報処理装置700の撮像動作により生成された画像データが情報処理装置800に送信され、その画像データに基づく画像11が情報処理装置800の表示部351に表示される。また、情報処理装置900の記憶部に保存されているコンテンツが情報処理装置800に送信され、そのコンテンツに基づく画像12が情報処理装置800の表示部351に表示される。
 このように第1の実施例では、情報処理装置700をソース機器とし、情報処理装置800をシンク機器とする例を示す。
[情報処理装置(ソース機器)の構成例]
 図2には、第1の実施例におけるソース機器としての情報処理装置700の機能的構成例を示している。図示の情報処理装置700は、アンテナ210と、無線通信部220と、制御信号受信部230と、制御部240と、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270を備えている
 無線通信部220は、制御部240の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置800)との間で各情報(例えば、画像データ及び音声データ)の送受信を、アンテナ210を介して行なう。例えば、画像データの送信処理が行なわれる場合には、画像・音声信号生成部250により生成された画像データが画像・音声圧縮部260により圧縮され、この圧縮された画像データ(画像ストリーム)が無線通信部220を経由してアンテナ210から送信される。
 また、無線通信部220は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置800)との間で各情報の送受信を行なうことが可能である。第1の実施例では、無線通信部220が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを同時又は選択した周波数のみを送受信可能な機能を備えるものとする。このように、ソース機器が、複数の周波数チャネルを送受信可能な機能を備える場合には、シンク機器(例えば、情報処理装置800)は、各ソース機器にどの周波数チャネルを使用させるかを制御することができる。
 制御信号受信部230は、無線通信部220により受信された各情報のうちから、他の情報処理装置(例えば、情報処理装置800)から送信された制御信号(例えば、情報処理装置800とのやり取りの情報)を取得する。そして、制御信号受信部230は、その取得された制御信号を制御部240に出力する。
 制御部240は、情報処理装置700から送信される各情報に関する制御を行なう。例えば、制御部240は、制御信号受信部230により受信された制御信号に基づいて、画像・音声信号生成部250及び画像・音声圧縮部260に対する制御を行なう。具体的には、制御部240は、送信対象となる画像データの解像度や音声のチャネル数を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行なう。すなわち、制御部240は、制御信号受信部230により受信された制御信号に基づいて、送信対象となるストリームの伝送制御を行なう。このストリームの伝送制御は、例えば、データ伝送速度制御、スケーラビリティ伝送レート制御である。
 また、制御部240は、無線通信を利用してシンク機器との間でデータの送受信が行なわれている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備え、その測定結果(電波伝搬測定情報)をシンク機器に送信するようにしてもよい。
 ここで、電波伝搬測定情報は、例えば、シンク機器との回線品質が、画像データ及び音声データの送受信を行なうことができる品質であるか否かを判断する際に用いられる情報である。また、電波伝搬測定情報は、例えば、ストリームの伝送制御を行なう際に用いられる。なお、電波伝搬測定情報の代わりに、制御部240に同一パケットの再送回数をカウントさせ、このカウント数に応じて、ストリームの伝送制御を行なうようにしてもよい。
 また、データ伝送速度は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、解像度は、例えば、画像データの画枠(縦・横のピクセル数)、画像データのビットレート(圧縮率)などの要素から構成される画質の指標と定義する。また、画質の指標としては、ストリームのスループットを用いることができる。また、音声のチャネル数は、モノラル(1.0ch)、ステレオ(2.0ch)、5.1ch、6.1ch、9.1ch、ハイレゾ(ハイレゾリューションオーディオ(High-Resolution Audio))などの音声の記録再生方法の意味を含むものとする。また、音声のチャネル数は、音声データのビットレート(圧縮率)やチャネル数などの要素から構成される音質の指標と定義する。また、音質の指標としては、ストリームのスループットを用いることができる。
 また、制御部240は、データレート制御では安定化することができない状態を改善させるための制御を行なう。例えば、制御部240は、シンク機器(例えば、情報処理装置800)との情報のやり取りにより、シンク機器のシステム性能情報を把握する。ここで、システム性能情報は、例えば、シンク機器のシステムに関する性能情報である。例えば、システム性能情報は、使用可能な周波数チャネル、解像度、TCP、UDP(User Datagram Protocol)である。また、システム性能情報は、例えば、暗号化方法の対応、SD(Standard Definition)/HD(High Definition)/4K対応、低消費電力モードの対応のそれぞれを示す情報である。例えば、制御部240は、シンク機器が低消費電力モードに対応しているか否かに応じて、通信システム600のシステム全体の安定度をさらに向上させるストリームの伝送制御方法を選ぶことができる。
 例えば、制御部240は、情報処理装置800とやり取りする情報の中に、情報処理装置700がモバイル機器であるかどうかの情報を入れるものとする。例えば、情報処理装置700に関するケーパビリティー(Capability)情報に、情報処理装置700がモバイル機器であるかどうかの情報を含めることができる。情報処理装置800側では、情報処理装置700がモバイル機器であることを把握すると、他に接続した情報処理装置との関連に基づいて、情報処理装置700を動作させる必要がないと判断することができる。このように、情報処理装置700を動作させる必要がないと判断された場合には、情報処理装置700は、情報処理装置800から送信停止コマンドを受信する。そして、制御部240は、その送信停止コマンドを把握すると、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とのそれぞれの機能の電源を一定時間ダウンさせることができる。また、制御部240は、無線通信部220についても間欠受信に移行することができる。間欠受信は、情報処理装置800からコマンドを受信できる程度に定期的に無線通信部220が起き上がり、他は電源をダウンさせるモードである。
 画像・音声信号生成部250は、制御部240の制御に基づいて、出力対象となるデータ(画像データ、音声データ)を生成する。生成されたデータは、画像・音声圧縮部260に出力される。例えば、画像・音声信号生成部250は、撮像部(図示せず)及び音声取得部(図示せず)を備える。撮像部(例えば、レンズ、撮像素子、信号処理回路)は、被写体を撮像して画像データを生成する。また、音声取得部(例えば、マイク)は、その画像データの生成時における周囲の音声を取得する。このように生成された画像データ及び音声データは、他の情報処理装置(例えば、情報処理装置800)への送信対象となる。
 画像・音声圧縮部260は、制御部240の制御に基づいて、画像・音声信号生成部250により生成されたデータ(画像データ及び音声データ)を圧縮(エンコード)する。そして、画像・音声圧縮部260は、その圧縮されたデータ(画像データ及び音声データ)をストリーム送信部270に出力する。なお、画像・音声圧縮部260は、ソフトウェア又はハードウェアのいずれによるエンコードの実行により実現するようにしてもよい。また、画像・音声圧縮部260は、コーデックとして機能することを想定しているが、非圧縮の画像又は音声を扱えるものとする。さらに、画像・音声圧縮部260は、スケーラブル・コーデックとしても機能するものとする。ここで、スケーラブル・コーデックは、例えば、受信側の情報処理装置(シンク機器)の解像度やネットワーク環境などに応じて、自在に適応することができるコーデックを意味する。
 ストリーム送信部270は、制御部240の制御に基づいて、画像・音声圧縮部260により圧縮されたデータ(画像データ及び音声データ)をストリームとして無線通信部220を経由してアンテナ210から送信する送信処理を行なう。
 なお、情報処理装置700は、上述した各部以外にも、表示部、音声出力部、操作受付部などを備えることができるが、図2ではこれらの図示を省略する。
 情報処理装置700の表示部(図示せず)は、例えば、画像・音声信号生成部250により生成された画像を表示する表示部である。なお、表示部として、各種の表示パネルを用いることができる。例えば、有機EL(Electro Luminescence)、クリスタルLED(Light Emitting Diode)ディスプレイ(Crystal LED Display)、LCD(Liquid Crystal Display)を用いることができる。
 情報処理装置700の音声出力部(図示せず)は、例えば、画像・音声信号生成部250により生成された音声を出力する音声出力部(例えば、スピーカー)である。なお、画像については、送信機器及び受信機器の双方から出力することもできるが、音声についてはいずれか一方のみから出力することが好ましい。
 情報処理装置700の操作受付部(図示せず)は、ユーザーにより行なわれた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクである。なお、操作受付部及び表示部については、使用者がその指を表示面に接触又は近接することにより操作入力を行なうことが可能なタッチパネルを用いて一体で構成することができる。
 また、図2では情報処理装置700が送信対象となる画像データ及び音声データを生成する例を示すが、情報処理装置700は、送信対象となる画像データ及び音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置700は、マイクロフォン付きのWebカメラから、送信対象となる画像データ及び音声データを取得するようにしてもよい。また、情報処理装置700は、情報処理装置700の内部、外部にかかわらず、ハード・ディスクなどの記憶装置に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)を送信対象とするようにしてもよい。この場合に、その記憶装置に保存されているコンテンツが圧縮済のコンテンツである場合も想定される。この場合に、その圧縮済のコンテンツが、通信システム600で採用されている規格で定義されたエンコード方式で圧縮されている場合には、その圧縮済のコンテンツを復号(デコード)せずにそのまま送信するようにしてもよい。
[情報処理装置(シンク機器)の構成例]
 図3には、第1の実施例におけるシンク機器としての情報処理装置800の機能的構成例を示している。図示の情報処理装置800は、アンテナ310と、無線通信部320と、ストリーム受信部330と、画像・音声展開部340と、画像・音声出力部350と、ユーザー情報取得部360と、制御部370と、制御信号送信部380と、管理情報保持部390を備えている。
 無線通信部320は、制御部370の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置700)との間で各情報(例えば、画像データ及び音声データ)の送受信を、アンテナ310を介して行なう。例えば、画像データの受信処理が行なわれる場合には、アンテナ310により受信された画像データが、無線通信部320、ストリーム受信部330を経由して画像・音声展開部340により展開(復号)される。そして、その展開された画像データが画像・音声出力部350に供給され、その展開された画像データに応じた画像が画像・音声出力部350から出力される。すなわち、その展開された画像データに応じた画像が表示部351に表示される。
 また、無線通信部320は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置700)との間で各情報の送受信を行なうことが可能である。第1の実施例では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを同時又は選択した周波数のみを送受信可能な機能を備えるものとする。すなわち、無線通信部320は、第1の周波数帯を用いる通信と、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯を用いる通信とを行なうことが可能である。また、制御部370は、各ソース機器との無線通信に、複数の周波数チャネルのうちのどの周波数チャネルを使用させるかを制御する。
 なお、情報処理装置700及び情報処理装置800間のリンクと、情報処理装置900及び情報処理装置800間のリンクとは同一の周波数チャネルとするようにしてもよく、異なる周波数チャネルとするようにしてもよい。
 また、第1の実施例では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示すが、本明細書で開示する技術はこれに限定されない。例えば、無線通信部320が、他の周波数チャネルや、2又は4以上の周波数チャネルを送受信可能な機能を備えるようにしてもよい。
 ストリーム受信部330は、制御部370の制御に基づいて、無線通信部320により受信された各情報のうちから、各ソース機器とのやり取りの情報及びストリーム(例えば、画像ストリーム、音声ストリーム)を受信する。そして、ストリーム受信部330は、受信したRTSPメッセージ情報を制御部370に出力し、受信したストリームを画像・音声展開部340及び制御部370に出力する。
 ここで、各ソース機器とやり取りする情報は、ソース機器(例えば、情報処理装置700)から送信される情報であり、例えば、情報処理装置800のシステム性能情報の取得要求を含む。このシステム性能情報は、例えば、使用可能な周波数チャネル、解像度、TCP、UDPや、暗号化方法の対応、SD/HD/4K対応、低消費電力モードの対応のそれぞれを示す情報である。
 また、ストリーム受信部330は、無線通信を利用してシンク機器との間でデータの送受信が行なわれている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備える。そして、ストリーム受信部330は、その測定結果(電波伝搬測定情報)を制御部370に出力する。
 画像・音声展開部340は、制御部370の制御に基づいて、他の情報処理装置(例えば、情報処理装置700)から送信されたストリーム(画像データ及び音声データ)を展開(デコード)する。そして、画像・音声展開部340は、その展開されたデータ(画像データ及び音声データ)を画像・音声出力部350に出力する。なお、画像・音声展開部340は、ソフトウェア又はハードウェアのいずれによるデコードの実行により実現するようにしてもよい。また、画像・音声展開部340は、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。また、画像・音声展開部340は、スケーラブル・コーデックとしても機能するものとする。
 画像・音声出力部350は、表示部351及び音声出力部352を備えている。
 表示部351は、画像・音声展開部340により展開された画像データに基づく各画像を表示する。なお、表示部351として、例えば、有機ELパネル、クリスタルLEDディスプレイ、LCDパネルなどの表示パネルを用いることができる。また、表示部351として、使用者がその指を表示面に接触又は近接することにより操作入力を行なうことが可能なタッチパネルを用いるようにしてもよい。
 音声出力部352は、画像・音声展開部340により展開された音声データに基づく各種音声(表示部351に表示された画像に関する音声など)を出力する音声出力部(例えば、スピーカ)である。ここで、音声の出力方法としては、例えば、中央チャネル(メイン画像)に割り当てられたソース機器の音声のみをスピーカーから再生して周辺チャネル(サブ画像)に割り当てられたソース機器の音声を再生しない方法を用いることができる。また、他の音声の出力方法として、例えば、中央チャネルに割り当てられたソース機器の音声の音量をメインにして、周辺チャネルに割り当てられたソース機器の音声の音量を下げて再生する方法を用いることができる。なお、これら以外の音声の出力方法を用いるようにしてもよい。
 ユーザー情報取得部360は、ユーザーに関する情報(ユーザー情報)を取得する。取得されたユーザー情報は制御部370に出力される。例えば、ユーザー情報取得部360は、ユーザーが表示方法を直接設定することができる操作受付部(キーボード、マウス、リモコン、ゲームパッド、タッチパネル)からの入力を受け付けることによりユーザー情報を取得することができる。なお、操作受付部は、例えば、表示部351に表示される画像における任意の領域を指定するための操作部材である。また、例えば、ユーザー情報取得部360は、カメラ、マイク、各種センサー(例えば、ジャイロセンサー、人体を感知するセンサー)などのようにユーザーの意図を把握することができるデバイスからの入力を受け付けることによりユーザー情報を取得することができる。
 例えば、ユーザー情報取得部360は、無線通信を利用して他の情報処理装置(例えば、情報処理装置700)から受信したストリームに基づく情報が画像・音声出力部350から出力されている際におけるユーザー動作により生じるユーザー情報を取得する。このユーザー情報は、例えば、表示部351に表示されている画像に関するユーザー動作により生じるユーザー情報である。例えば、ユーザー情報は、表示部351に表示されている画像に関するユーザー操作に基づいて生成される情報である。
 例えば、ユーザー情報取得部360は、表示部に付属する撮像部(省略)により生成された画像データを取得してユーザー情報を生成することができる。また、例えば、ユーザー情報取得部360は、外部装置(例えば、各センサー、ウェアラブル・デバイス)により取得される情報(例えば、位置情報、識別情報)を取得してユーザー情報を生成するようにしてもよい。
 制御部370は、ストリーム受信部330により取得された各情報を管理情報保持部390に保持させ、管理情報保持部390に保持されている管理情報に基づいて各ソース機器を管理する。また、制御部370は、複数のソース機器から送信されるストリームをシステム全体で安定度が向上するようにストリームの伝送制御を行なう。
 例えば、制御部370は、ユーザー情報取得部360により取得されたユーザー情報と、管理情報保持部390に保持されている管理情報とに基づいてストリームの伝送制御を行なう。具体的には、制御部370は、管理情報保持部390に保持されている管理情報に基づいて、ストリームの伝送制御を行なうための制御信号をソース機器毎に生成する。そして、制御部370は、その生成された制御信号を制御信号送信部380に出力する。例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351に表示される画像の解像度を変更し、この解像度と同等の送信レートを各ソース機器に要求するための制御信号を生成する。また、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351における画像の表示領域を決定するための制御信号を生成する。また、例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351における画像のサイズを決定するための制御信号を生成する。
 また、制御部370は、ユーザー情報及び管理情報に基づいて、使用する周波数チャネルと解像度を設定するための制御を行なう。例えば、制御部370は、無線通信部320が備える複数の周波数チャネルについて、使用する周波数チャネルをソース機器毎に設定する。また、制御部370は、周波数チャネル毎に、消費電力モードが異なる場合には、それぞれのモードを把握し、モバイル機器の消費電力をケアした周波数チャネルを設定することができるようにする。すなわち、制御部370は、第1の周波数帯に関する第1の消費電力モードと、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯に関する第2の消費電力モードを別々に設定することができる。
 制御信号送信部380は、制御部370から出力された制御信号を無線通信部320、アンテナ310を介して、他の無線通信装置に送信する送信処理を行なう。
[画面の遷移例]
 図4には、第1の実施例に係る情報処理装置800の表示部351に表示される画像の遷移例を示している。
 図4Aには、情報処理装置700から受信した画像11を中央チャネルとし、情報処理装置900から受信した画像12を周辺チャネルとして、情報処理装置800の表示部351に画像11及び画像12を表示する表示形式の一例を示している。
 また、図4Bには、情報処理装置700から受信した画像11を周辺チャネルとし、情報処理装置900から受信した画像12を中央チャネルとして、情報処理装置800の表示部351に画像11及び画像12を表示する表示形式の一例を示している。
 例えば、情報処理装置700及び情報処理装置900がそれぞれ、標準的な解像度のストリーム(画像データ及び音声データ)を情報処理装置800に送信する場合を想定する。この場合には、図1に示したように、情報処理装置700からの画像データに基づく画像11と、情報処理装置900からの画像データに基づく画像12のサイズが同一となるように、情報処理装置800の表示部351に表示することができる。なお、この例では、与えられた解像度と表示領域とを同一と定義しているが、表示部351にスケーラー機能を追加し、画像11と画像12をそれぞれリスケールして表示部351に表示するようにしてもよい。但し、ここでは、スケーラー機能を使用しないことを前提にして簡略化して説明を行なう。
 また、画像11及び画像12のそれぞれの表示形式については、例えば、前回の通信時に設定された表示形式を保持しておき、この表示形式に応じて画像11及び画像12を情報処理装置800の表示部351に表示するようにしてもよい。
 また、情報処理装置800に接続された順序に基づいて、画像11及び画像12のそれぞれの表示形式を決定するようにしてもよい。例えば、情報処理装置700が情報処理装置800に最初に接続され、この接続後に情報処理装置900が情報処理装置800に接続された場合を想定する。この場合には、画像11を中央チャネルとし、画像12を周辺チャネルとして、情報処理装置800の表示部351に画像11及び画像12を表示する。すなわち、情報処理装置800への接続順序に基づいて、中央チャネル、周辺チャネルの順に表示するようにしてもよい。
 また、図4Aに示すように、画像11を中央チャネルとし、画像12を周辺チャネルとして、表示部351に画像11及び画像12が表示されている場合に、画像12を中央チャネルとするユーザー情報がユーザー情報取得部360により取得された場合を想定する。例えば、視聴者がリモコンやジェスチャーなどのポインターを用いて画像12を中央チャネルとするための操作を行なうことにより、画像12を中央チャネルとするユーザー情報がユーザー情報取得部360により取得される。この場合には、図4Bに示すように、画像12を中央チャネルに、画像11を周辺チャネルに切り替えて、表示部351に画像11及び画像12が表示される。また、表示部351の表示面における画像11及び画像12の表示位置についても、ユーザー情報取得部360により取得されるユーザー情報(例えば、手動操作、視線)に基づいて決定される。
 以上のように、情報処理装置800(シンク機器)の表示形態によって、情報処理装置700(ソース機器)が送信するメディア設定値(解像度、画像圧縮方式、音声圧縮方式、映像または音声出力形式など)は変更されてもよい筈である。
 そこで、以下に、Miracast Release1規格の機能拡張を行ない、図4Bのような表示形態において、素早く、シンク機器が表示する画面サイズに応じてソース機器のメディア設定値を変更し、送信データ伝送速度を制御するための処理動作について、以下に示す。
 まず、ソース機器、シンク機器ともに今回の拡張機能を実装しているのか否かの確認が必要となる。そこで、Miracast Release1規格の上述した拡張機能の実装の有無をソース機器とシンク機器間で確認するための通信シーケンス(AV伝送前)について、図8を参照しながら説明する。但し、図8では、図5及び図6に示したSEQ501~SEQ510のL4 SetUpまでの通信処理の図示を省略し、RTSPリンクがソース機器とシンク機器で接続された環境までの通信処理を図示している。
 シンク機器は、ソース機器へ、自らのCapability情報を送信する(SEQ801)。ソース機器は、シンク機器からCapability情報を受信すると(SEQ802)、シンク機器へ設定要求情報を送信する(SEQ803)。シンク機器は、ソース機器から設定要求情報を受信する(SEQ804)。
 なお、SEQ801~SEQ804の処理は、Miracast Release1でいうCapability Negotiation処理であり、Get_Parameter Request、Get_Parameter ResponseといったRTSPメッセージに相当する。このうち、SEQ803、SEQ804は、Capability Negotiation処理のプロセスM4におけるRTSP M4 Request及びRespopnseメッセージにそれぞれ相当する。このプロセスM4でシンク機器が受信する設定要求情報には、ソース機器からシンク機器へ送信する画像データに関する解像度情報が含まれる。
 ソース機器は、Capability Negotiationのやり取りの際、シンク機器手動でソース機器への設定要求を行なう機能を持つかどうかをシンク機器に問い合わせる機能を持つ。すなわち、ソース機器は、シンク機器へ、拡張機能情報要求を送信する(SEQ805)。シンク機器は、ソース機器から拡張機能情報要求を受信すると(SEQ806)、ソース機器へ拡張機能情報を送信する(SEQ807)。ソース機器は、シンク機器から拡張機能情報を受信する(SEQ808)。具体的なRTSPメッセージ例としては、ソース機器は、拡張機能情報を要求する旨をGET_Parameter Requestとしてシンク機器へ送信し、シンク機器は、拡張機能情報を実装するか否かをGet_Parameter Responseで返信する。SEQ805~SEQ808の処理は、Miracast拡張機能である。
 その後、ソース機器は、SEQ803で送信した設定要求の設定内容でのAVデータ送信処理を行ない(SEQ809)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器はAVストリームのデータ受信処理を行なう(SEQ810)。
 なお、SEQ805の「拡張機能情報要求を送信」からSEQ808の「拡張機能情報を受信」までのやり取りは、図8に示した順序には限定されないものとする。例えば、ソース機器が、シンク機器のCapability情報を要求しシンク機器がCapability情報を返答するやり取りを行なっているが、「拡張機能情報要求を送信」から「拡張機能情報を受信」までのやり取りを、ソース機器がシンク機器にCapability情報を要求しシンク機器がCapability情報を返答するやり取りと同時に行なうことも、Capability情報のやり取りよりも前に行なうことも可能である。
 続いて、RTSPメッセージを用いて、シンク機器の要求により、ソース機器がメディア設定値を変更する例(AV伝送後)について、図9を参照しながら説明する。
 図9に示すやり取りは、Miracastのソース機器宛ての設定要求変更イベントがシンク機器内部で起こった後、Miracast機能拡張の処理として開始される。
 シンク機器は、ソース機器へ、付加機能開始のための設定情報収集を送信する(SEQ901)。ソース機器は、シンク機器から設定情報要求を受信すると(SEQ902)、シンク機器へ設定情報を送信する(SEQ903)。シンク機器は、ソース機器から設定情報を受信する(SEQ904)。具体的には、シンク機器は、GET_Parameterをソース機器へ送信し、ソース機器からResponseを受信する。この時点で、シンク機器は、ソース機器が送信可能なCapability情報を把握することができる。
 そして、シンク機器は、受信した設定情報に基づいて設定要求値を選択して、これをソース機器に送信する(SEQ905)。ソース機器は、設定要求値を受信すると(SEQ906)、設定要求応答をシンク機器に送信する(SEQ907)。シンク機器は、ソース機器から設定許可情報を受信する(SEQ908)。具体的には、シンク機器は、ソース機器が送信可能なCapability情報を1つ選択し、選択されたメディア設定値を選択してRTSPメッセージでSet_Parameterを発呼し、ソース機器に対し、設定変更を要求する。シンク機器は、メディア設定値を選択する際には、ソース機器側のCapability情報の他、シンク機器自身とソース機器との通信に関する解像度情報、並びにシンク機器自身の使われ方を考慮する。
 ソース機器が設定変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ906で送信した設定要求の設定内容でのAVデータ送信処理を行ない(SEQ909)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器はAVストリームのデータ受信処理を行なう(SEQ910)。
 なお、シンク機器からソース機器へソース機器のメディア設定値の変更を要求するとき、図9に示す例ではシンク側がメディア設定値(例えば解像度)を1つに絞ってソース機器へ通知しているが、本明細書で開示する技術はこれに限定されないものとする。例えば、シンク機器から返信するメディア設定値は、シンク機器が設定要求したいメディア設定値群をすべてソース側へ通知し、ソース機器側では通知されたメディア設定値群の中から選択するようにしてもよい。
 次に、Miracast Release1を機能拡張するためのRTSPメッセージの一例について説明する。同RTSPメッセージによって、シンク機器主導でソース機器に解像度の変更やビットレートの変更が追加されている。本機能拡張のRTSPメッセージの詳細は以下の(1)~(4)のとおりである。
(1)シンク機器主導のRTSPメッセージ機能有無確認
 シンク機器がGET_Parameter Requestを送信する機能を持つかを確認する。
(2)シンク機器主導の動的なビットレート変更
 シンク機器が、ソース機器の動的なビットレート機能の確認・設定を行なう。
(3)シンク機器主導の動的な解像度変更
 シンク機器が、ソース機器の動的な解像度変更の確認・設定を行なう。
(4)シンク機器主導のリフレッシュ・レート機能の確認、設定
 シンク機器が動的なリフレッシュ・レート機能の確認、設定を行なう。
Figure JPOXMLDOC01-appb-T000001
 図10には、上記の拡張RTSPメッセージを用いたソース機器とシンク機器間の通信シーケンス例(AV伝送前)を示している。
 ソース機器は、付加機能の有無の情報を要求する旨のGET_Parameter Requestを、上記のコマンドext_cmd_20を用いて送信する(SEQ1001)。
 シンク機器は、ソース機器から設定情報要求を受信すると(SEQ1002)、設定情報を含むGet_Parameter Responseを、上記のコマンドext_cmd_20で返信する(SEQ1003)。
 ソース機器がシンク機器からの設定情報を受信すると(SEQ1004)、以降はMiracast Release1と同様の通信動作が続く。
 SEQ1001では、ソース機器は、新しいRTSPパラメーターext_reverse_get_parameterをGET_Parameter Requestで送信している。このパラメーターext_reverse_get_parameterは、ABNF(Augmented Backus-Naur form)シンタックスで、以下のように定義されるものとする。
Figure JPOXMLDOC01-appb-M000002
 この機能に対応しているソース機器は、RTSP M3 requestメッセージにwfd_audio_stream_controlを含めて送信し,シンク機器側もこの機能に対応しているかどうかを問い合わせる。対応していないシンク機器はRTSP M3 Response messageにて“none”を返してくるので、以降、ソース機器はこの機能を使わない。対応しているシンク機器は,対応可能なビットを1に設定し,それをRTSP M3 Responseメッセージにてソース機器に伝える。
 図21には、ソース機器からシンク機器へ送信されるRTSP M3 Requestメッセージの例を示している。コンテンツ長(Content-Length)を168に指定したことと、パラメーターext_reverse_get_parameterを含むことが、従来のRTSP M3 Requestメッセージとの相違点である。
 また、図22には、シンク機器からソース機器へ送信されるRTSP M3 Responseメッセージの例を示している。コンテンツ長(Content-Length)を328に指定したことと、パラメーターext_reverse_get_parameterを含むことが、従来のRTSP M3 Requestメッセージとの相違点である。
 なお、本実施例では、Miracast release-1のRTSPメッセージ交換のシーケンスの変更を最小限にするために、M3 GET_PARAMETER Response中でシンク機器がGET_Parameter_Requestを送信する機能を持つかを確認するという、本来とは相違するGET_Parameterの使用方法を採用している。後継規格や独自実装など、RTSP message交換のシーケンスの変更を許容してよいのであれば、従来のM3 Request/ResponseメッセージやM4 Request/Responseメッセージの送信方向を逆にしたM3R Request/RresponseメッセージやM4R Request/Responseメッセージを定義して、それらを用いてソース機器とシンク機器間のcapability情報の告知やパラメーター設定(メディア設定値の変更)などを行なうようにする方法も考えられる。
 M3 GET_PARAMETERやM4 SET_PARAMETERは、本来の規格では、ソース機器からシンク機器に対してRequestを出すものである。これに対し、逆向き(reverse)を意味する添え字を付けたM3R Request/RresponseメッセージやM4R Request/Responseメッセージは、逆向きにパラメーターを出すために新規定義したメッセージである。図23には、シンク機器からソース機器へ送信されるRTSP M3R Requestメッセージの例を示している。また、図24には、ソース機器からシンク機器へ送信されるRTSP M3R Responseメッセージの例を示している。
 新規定義したM3R Request/Rresponseメッセージを利用したRTSPメッセージの通信シーケンス例を図25に示しておく。M3R Request/Rresponseメッセージの処理によって、ソース機器からシンク機器へ「Supported」という返信があった場合には、例えば図11に示す追加RTSPメッセージの通信シーケンス(AV伝送後)が継続して処理されるものと理解されたい。
 次に、シンク機器が、設定情報を受信した後(Get_Parameter Responseを利用)、シンク機器がソース機器の解像度を1024×768p30に変更要求する場合のRTSPメッセージのやり取り例について、図11を参照しながら説明する。
 シンク機器は、ソース機器へ、付加機能開始のための設定情報収集を送信する(SEQ1101)。ソース機器は、シンク機器から設定情報要求を受信すると(SEQ1102)、シンク機器へ、設定情報として解像度情報を送信する(SEQ1103)。シンク機器は、ソース機器から解像度情報を受信する(SEQ1104)。具体的には、シンク機器は、GET_Parameterをソース機器へ送信し、ソース機器からResponseを受信する。
 そして、シンク機器は、受信した設定情報に基づいて、所望する設定要求値としての解像度を選択して、これをソース機器に送信する(SEQ1105)。ソース機器は、設定要求値として解像度情報を受信すると(SEQ1106)、設定要求応答をシンク機器に送信する(SEQ1107)。シンク機器は、ソース機器から設定許可情報を受信する(SEQ1108)。
 ソース機器が設定変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ1106で送信した設定要求の設定内容でのAVデータ送信処理を行ない(SEQ1109)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器はAVストリームのデータ受信処理を行なう(SEQ1110)。また、シンク機器は、内部処理として、解像度及び伝送レートの変更を行なう。
 シンク機器がソース機器に対して解像度の変更要求する場合のRTSPメッセージのやり取り(SEQ1105~1108)は、上述したext_cmd_22を用いて、以下の2ステップからなる手順で行なわれる。
(ステップ1)シンク機器は、ソース機器へ、解像度を1024×768p30に変更したい要求をext_cmd_22コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
 シンク機器がソース機器に対して解像度の変更要求する場合のRTSP追加RTSPメッセージの使用例を図12に示しておく。
 また、本明細書で開示する技術に従ってシンク機器がソース機器に対して解像度の変更要求する場合のやり取りは、上記に限定されるものではない。例えば、以下の2ステップからなる手順で行なうようにしてもよい。
(ステップ1)シンク機器は、ソース機器へ、解像度を1920×1080p60、1920×1080p30、1024×768p30のどれかに変更したい要求を、ext_cmd_22コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示において、解像度1024×768p30を了解した旨をシンク機器に返信する。
 次に、シンク機器がソース機器に対してビットレートの変更要求する場合のRTSPメッセージのやり取りについて説明する。例えば、現在のビットレートを50%(半分)に変更要求する場合、上述したext_cmd_21を用いて、以下の2ステップからなる手順で行なわれる。シンク機器がソース機器に対してビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を図13に示しておく。
(ステップ1)シンク機器は、ソース機器へ、ビットレートを50%に落としてほしいことを示す要求をext_cmd_21コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
 次に、シンク機器がソース機器に対してデータ伝送速度を指定しつつビットレートの変更要求する場合のRTSPメッセージのやり取りについて説明する。例えば、データ伝送速度を(例えば)6Mbps以下にしつつ、現在のビットレートをその80%に変更要求する場合、以下の2ステップからなる手順で行なわれる。シンク機器は、上述したext_cmd_21を用いて、現在のビットレートを80%に変更要求し、且つ、このソース機器には6Mbpsまでしか帯域を与えたくない旨を伝える。シンク機器がソース機器に対してビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を図14に示しておく。
(ステップ1)シンク機器は、ソース機器へ、ビットレートを80%に落とし、且つ、データ伝送速度の上限が6Mbps(6000kbps)であることを示す要求をext_cmd_21コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
 次に、シンク機器がソース機器に対してリフレッシュ・レートの変更要求する場合のRTSPメッセージのやり取りについて説明する。例えば、シンク機器がリフレッシュ・レートを(例えば)30fps以下にしたい場合のRTSPメッセージのやり取りは、上述したext_cmd_23を用いて、以下の2ステップからなる手順で行なわれる。
(ステップ1)シンク機器は、ソース機器へ、リフレッシュ・レートを30fps以下にするためのメディア設定値30を、ext_cmd_23コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
 シンク機器がソース機器に対してリフレッシュ・レートの変更要求する場合のRTSP追加RTSPメッセージの使用例を図29に示しておく。
 第2の実施例では、シンク機器がソース機器のメディア設定値(解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式など)を把握するRTSPメッセージがないMiracast Release1と同等のシステムにおいて、シンク機器の要求により、ソース機器が、メディア設定値(例えば、解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式など)を変更する。なお、図1に示した通信システム600はマルチソース・トポロジーであるが、第1の実施例ではシングルソース・トポロジーを前提として説明する。
 図15には、本実施例におけるソース機器とシンク機器間の通信シーケンス例を示している。
 シンク機器は、所望するメディア設定要求値(例えば、解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式など)を、ソース機器に送信する(SEQ1501)。ソース機器は、メディア設定要求値を受信すると(SEQ1502)、設定要求応答をシンク機器に送信する(SEQ1503)。シンク機器は、ソース機器から設定許可情報を受信する(SEQ1504)。
 ソース機器がメディア設定値の変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ1502で受信した設定要求の設定内容での映像送信処理を行ない(SEQ1505)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器は映像処理を行なう(SEQ1506)。また、シンク機器は、内部処理として、解像度及び伝送レートの変更を行なう。
 シンク機器は、SEQ1501において、ソース機器へ、RTSPメッセージであるSET_PARAMETER Requestを用いて、wfd2-video-change: “min”/“down”/“up”/“max”を送る。“min”/“down”/“up”/“max”の意味は、以下のとおり定義する。
minは、両方の共通項で最小のものを指定
maxは、両方の共通項で最大のものを指定
downは、今使っているものより1段階低いものを指定
upは、今使っているものより1段階高いものを指定
 例えば、ソース機器がサポートしている解像度を1920×1080p30(解像度F)、1920×1080p25(解像度E)、1280×720p60(解像度D)、720×576p50(解像度B)、640×480p60(解像度A)とし、シンク機器がサポートしている解像度を1920×1080p60(解像度G)、1920×1080p30(解像度F)、1280×720p60(解像度D)、1280×720p30(解像度C)、640×480p60(解像度A)をサポートしている場合、ソース機器とシンク機器で共通な解像度はA、D、Fとなる。
 ここで、ソース機器とシンク機器間での解像度が1280×720p60(解像度D)の場合、シンク機器からソース機器へmin又はdownが指定され、ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Aを指定するケースが考えられる。この場合のソース機器とシンク機器間のRTSPメッセージの通信シーケンス例を図16に示しておく。
 また、ソース機器とシンク機器間での解像度が1280×720p60(解像度D)の場合には、シンク機器からソース機器へup又はmaxが指定され、ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Fを指定するケースが考えられる。この場合のソース機器とシンク機器間のRTSPメッセージの通信シーケンス例を図17に示しておく。
 また、図18には、ソース機器とシンク機器間での解像度が1920×1080p30(解像度F)の場合、シンク機器からソース機器へdownが指定されたときの通信シーケンス例を示している。
 ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Dを指定する(SEQ1801)。これに対し、シンク機器は、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信することもあるが、図示の例では、解像度をさらに下げてほしいので、NGを返信する(SEQ1802)。
 ソース機器は、シンク機器からNGを受信したので、SET_PARAMETER Requestを用いてさらに下の解像度Aを指定する(SEQ1803)。これに対し、シンク機器は、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信する(SEQ1804)。
 ソース機器がメディア設定値の変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ1804で受信した解像度Aでの映像送信処理を行ない(SEQ1805)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器は映像処理を行なう(SEQ1806)。
 図19には、図18に示した通信シーケンス例に対する変形例を示している。
 ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Dを指定する(SEQ1901)。これに対し、シンク機器は、解像度Dよりもさらに下げて欲しい場合が、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信する(SEQ1902)。これにより、ソース機器は、SEQ1901で指定した解像度Dでの映像送信処理を行ない(SEQ1903)、Miracast Release1動作としてのAVストリーミングが一旦開始される。そして、シンク機器は映像処理を行なう(SEQ1904)。
 その後、シンク機器からSET_PARAMETER requestを用いてwfd-video-change:“down”が送られてくると(SEQ1905)、ソース機器は解像度の低下を受け入れてOKを返信する(SEQ1906)。
 次いで、ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Aを指定する(SEQ1907)。これに対し、シンク機器は、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信する(SEQ1908)。これにより、ソース機器は、解像度Aでの映像送信処理を行ない(SEQ1909)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器は映像処理を行なう(SEQ1910)。
 加えて、図20に示すように、シンク機器からソース機器へ、u又はmaxを送信した後、ソース機器からシンク機器へ“NG”とreason codeはreach to maxといった返答方法でもよい。
 上記の第1及び第2の実施例はいずれも、P2P通信により無線接続されたソース機器とシンク機器間におけるメディア設定値の変更方法に関するものである。これに対し、第3の実施例は、マルチソース・トポロジー環境を想定している。
 図1に示した通信システム600では、2台のソース機器のうちの一方である情報処理装置700がシンク機器としての情報処理装置800とP2P接続されるが、他方のソース機器である情報処理装置900は情報処理装置800と有線接続されている。図26に示すように、情報処理装置800と情報処理装置900間を無線接続に変更すると、マルチソース・トポロジー環境の通信システム2600となる。すなわち送信側の情報処理装置が複数存在し、これらの情報処理装置から送信された画像データに基づく複数の画像を、受信側の情報処理装置の表示部に表示させることが想定される。このような場合には、限られた無線帯域の中で、表示状態に応じて高品質なメディア表示又は再生が必要な情報処理装置に対し、極力、データ伝送速度を割り当てる帯域制御が望ましく、その帯域制御方法が課題となる。
 図27には、図26に示した通信システム2600を構成する各装置間における通信シーケンス例を示している。図示の通信シーケンス例では、シンク機器としての情報処理装置800が、各ソース機器としての情報処理装置700及び情報処理装置900からそれぞれに関する管理情報を取得する。
 情報処理装置700は、定期的又は不定期(開始時のみも含む)に、設定情報要求を、情報処理装置800に送信する(SEQ2701)。この設定情報要求は、情報処理装置800において設定されている、解像度、画像圧縮方式、映像出力形式、音質、音声圧縮方式、音声出力形式などのメディア設定値の送信を要求するものである。
 情報処理装置800は、設定情報要求を受信すると(SEQ2702)、その設定情報要求に応じたコマンド情報を送信する(SEQ2703)。コマンド情報は、情報処理装置700が、情報処理装置800との間の電波伝搬環境と情報処理装置800における映像の表示形態を考慮して、情報処理装置700に対して設定を要望するメディア設定値を含む情報である。また、コマンド情報は、Capability情報の一部に含まれる。
 情報処理装置700は、コマンド情報を受信すると(SEQ2704)、コマンド情報に基づいて自装置のメディア設定値を適宜変更して、変更した後の設定情報を情報処理装置800に送信する(SEQ2705、SEQ2706)。
 同様に、情報処理装置900は、定期的又は不定期(開始時のみも含む)に、設定情報要求を、情報処理装置800に送信する(SEQ2707)。情報処理装置800は、設定情報要求を受信すると(SEQ2708)、その設定情報要求に応じたコマンド情報を送信する(SEQ2709)。そして、情報処理装置900は、コマンド情報を受信すると(SEQ2710)、コマンド情報に基づいて自装置のメディア設定値を適宜変更して、変更した後の設定情報を情報処理装置800に送信する(SEQ2711、SEQ2712)。
 図28には、シンク機器としての情報処理装置800がマルチソース・トポロジー環境下で実行する動作手順をフローチャートの形式で示している。但し、情報処理装置800は、図26に示したマルチソース・トポロジー環境の通信システム2600において、第1のソース機器としての情報処理装置700との間で第1のリンクの接続を行なうとともに、第2のソース機器としての情報処理装置900との間で第2のリンクの接続を行ない、図28に示す動作手順を開始した時点では、第1のリンク及び第2のリンクにおいてそれぞれコンテンツ伝送が行なわれているものとする。
 まず、制御部370は、第1のソース機器としての情報処理装置700の管理情報を取得し(ステップS2801)、次いで、第2のソース機器としての情報処理装置900の管理情報を取得する(ステップS2802)。図27に示した通信シーケンスに従って、各ソース機器から管理情報を取得することができる。取得した各管理情報は、管理情報保持部390に保持される。
 次いで、制御部370は、情報処理装置800に接続されている各ソース機器が不安定であるか否かを判定する(ステップS2803)。ここで、ソース機器が不安定とは、例えば、表示部351に表示される画像が乱れるような場合を意味する。そして、すべてのソース機器が不安定でない場合には(ステップS2803のNo)、ステップS2801に戻る。
 一方、いずれかのソース機器が不安定である場合には(ステップS2803のYes)、不安定であるソース機器(以下、「対象ソース機器」とする)のリンクの安定度に基づく判定を行なう(ステップS2804)。具体的には、制御部370は、対象ソース機器のPER(Packet Error Rate)が閾値以上であるか否かを判定する。
 対象ソース機器のPERが閾値未満である場合には(ステップS2804のNo)、いずれのソース機器とのリンクも安定していると判断することができるため、本処理の動作を終了する。
 なお、図28では、リンクの安定度を判定する際にPERを指標として用いる例を示すが、他の指標を用いるようにしてもよい。例えば、BER(Bit Error Rate)やRSSI(Receivec Signal Strength Indicator:受信信号強度)、パケットの再送回数、スループット、フレーム落ち、SIR(Signal to Interference Ratio:希望信号対干渉信号比)などを指標に用いて、リンクの安定度を判定するようにしてもよい。
 また、対象ソース機器のPERが閾値以上である場合には(ステップS2804のYes)、制御部370は、対象ソース機器が大画面(又は高品質な画面表示)か否かをさらに判定する(ステップS2805)。そして、対象ソース機器が大画面、又は、現在高品質な画面表示に設定されている場合には(ステップS2805のYes)、対象ソース機器に対して低品質な解像度を設定する(ステップS2806)。逆に、対象ソース機器が大画面でなく、且つ、現在高品質な画面表示に設定されてもいない場合には(ステップS2805のNo)、対象ソース機器に対して同品質な解像度、又はより低品質な解像度を設定する(ステップS2807)。なお、ステップ2806又はステップ2807において、表示ウィンドウよりも小さい解像度が設定された場合には、シンク機器は、表示ウィンドウ・サイズまでシンク機器が持つ機能によってリスケースして表示しても、設定された解像度まで、シンク機器に表示するウィンドウ・サイズを変更して表示しても、どちらでも良い。また前者において、表示ウィンドウ・サイズよりも設定された解像度が小さい場合、映像がぼやけるため、映像のぼやけるのを極力抑えるためのアルゴリズムを実行してもよい。
 そして、制御部370は、第1のソース機器及び第2のソース機器を、それぞれに指定したメディア設定値で同時動作させる(ステップS2808)。
 次いで、制御部370は、通信状況に応じて、高品質なメディア設定値と低品質なメディア設定値において、リフレッシュ・レートを調整するため、対象ソース機器に送信する(ステップS2809)。
 また、制御部370は、通信状況に応じて、データ伝送速度を変更するためのメディア設定値を調整するため、対象ソース機器に送信する(ステップS2810)。
 また、制御部370は、通信状況に応じて、低品質な対象ソース機器の映像を一時停止するためのメディア設定値を調整して送信する(ステップS2811)。
 Wi-Fi Allianceにおいて標準化されているWi-Fi Direct規格では、シンク機器の要求によるソース機器のメディア設定値を変更する場合には、Device discovery、第2層の接続処理、secure link確立処理、IP addressアサイン処理など(図5を参照のこと)を再度行なう必要がある。このため、無線区間上のリソースの使用による衝突が増加し、これらの各処理に要する時間だけ、ユーザーの待ち時間が増加することが課題となる。
 これに対し、本明細書で開示する技術によれば、Miracast Release1と親和性が高いRTSPパラメーターを新設する。これによって、シンク機器の要求によるソース機器のメディア設定値を変更する通信シーケンスにおいても、無線区間上のリソースを少なくすることができ、さらに、ユーザーの待ち時間を感じさせない通信シーケンスにすることが可能となる。
 本明細書で開示する技術によれば、情報処理装置間をWi-Fi Directを用いて接続する環境において、他の無線装置からの干渉を極力削減するように、メディア設定情報の設定方法を提供することが可能である。
 さらに、マルチソース・トポロジー環境、すなわち送信側の情報処理装置が複数存在し、これらの情報処理装置から送信された画像データに基づく複数の画像を、受信側の情報処理装置の表示部に表示させることも想定される。限られた無線帯域の中で、表示状態に応じて高品質なメディア表示又は再生が必要な情報処理装置に対して極力データ伝送速度を割り当てる帯域制御が望ましいが、本明細書で開示する技術によれば、その帯域制御方法を提供することが可能となる。
 本明細書で開示する技術は、さまざまな製品に適用することができる。例えば、情報処理装置700、800、900は、スマートフォンやタブレットなどの多機能情報端末、パーソナル・コンピューター、ゲーム機、ディジタルカメラ、その他のモバイル端末、テレビジョン受信機、プリンター、ディジタルスキャナー、ネットワーク・ストレージ・デバイス、その他の固定端末、さらにはカーナビゲーション装置などの車載端末として構成されてもよい。また、情報処理装置700、800、900は、スマート・メーター、自動販売機、遠隔監視装置、POS(Point Of Sale)端末などのM2M(Machine to Machine)端末、MTC(Machine Type Communication)端末として構成されてもよい。さらに、情報処理装置700、800、900は、これらの端末に搭載される無線通信モジュール(例えば、1つのダイで構成される集積回路)であってもよい。
 また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)などを用いることができる。
 本明細書では、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書では、情報処理装置間をWi-Fi Directを用いて接続する環境に適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。他のさまざまな無線電伝送規格を用いて画像データを伝送する環境下においても、同様に本明細書で開示する技術を適用することができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)無線接続される他の情報処理装置からデータを受信する情報処理装置であって、
 前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信部と、
 前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御部と、
 前記制御部によって選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信部と、
を具備する情報処理装置。
(2)前記Capability情報送信部は、Miracast Release1のCapability Negotiation処理として、前記情報処理装置のCapability情報を送信し、
 前記メディア設定値送信部は、Miracast機能拡張の処理として、メディア設定値に関する情報を送信する、
上記(1)に記載の情報処理装置。
(3)前記Capability Negotiation処理として、前記他の情報処理装置との通信に関する前記解像度情報を受信する、
上記(2)に記載の情報処理装置。
(4)Miracast拡張機能情報を要求するRTSPパラメーターを含んだ要求メッセージを前記他の情報処理装置から受信したことに応じて、Miracast拡張機能情報を実装するか否かを示すRTSPパラメーターを含んだ応答メッセージを返信する拡張機能送信部をさらに備える、
上記(1)に記載の情報処理装置。
(5)送出可能なメディア設定値を前記他の情報処理装置に問い合わせるメディア設定値問合せ部をさらに備え、
 前記制御部は、前記問い合わせに対する返答に基づいて、前記他の情報処理装置に関するメディア設定値を制御する、
上記(1)に記載の情報処理装置。
(6)前記制御部は、現在設定しているメディア設定値を基準として、データ伝送レートを増加又は低減するためのメディア設定値の制御を行なう、
上記(1)に記載の情報処理装置。
(7)前記制御部は、min(前記他の情報処理装置と共通項で最小のものを指定)、max(前記他の情報処理装置と共通項で最大のものを指定)、down(今使っているものより1段階低いものを指定)、up(今使っているものより1段階高いものを指定)を用いてメディア設定値の変更要求を行なわせる、
請求項6に記載の情報処理装置。
(8)前記メディア設定値送信部は、RTSPパラメーターを用いたメディア設定値の変更要求を送信する、
上記(7)に記載の情報処理装置。
(9)前記制御部は、前記情報処理装置が受信可能なメディア設定値と前記他の情報処理装置から送出可能なメディア設定値の間で共通する1以上のメディア設定値を選択して、前記他の情報処理装置に関するメディア設定値を制御する、
上記(5)に記載の情報処理装置。
(10)前記メディア設定値送信部は、RTSPパラメーターを用いて前記1以上のメディア設定値を直接指定したメディア設定値の変更要求を送信する、
上記(9)に記載の情報処理装置。
(11)無線接続される他の情報処理装置からデータを受信する情報処理装置における情報処理方法であって、
 前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信ステップと、
 前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御ステップと、
 前記制御ステップにおいて選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信ステップと、
を有する情報処理方法。
(12)シンク機器との間で、無線LANシステムに基づいてダイレクト接続されるソース機器であって、
 前記シンク機器のシステム性能情報を把握する制御部と、
 前記シンク機器から、現在利用されている解像度よりも高い解像度を要求する、RTSPに基づくSET PARAMETER REQUESTを受信する受信部と、
 前記SET PARAMETER REQUESTに応じて、前記ソース機器及び前記シンク機器がサポートしている解像度を用いて、ストリーミング送信を行なう送信部と、
を具備するソース機器。
 210…アンテナ、220…無線通信部
 230…制御信号受信部、240…制御部
 250…画像・音声信号生成部、260…画像・音声圧縮部
 270…ストリーム送信部
 310…アンテナ、320…無線通信部
 330…ストリーム受信部、340…画像・音声展開部
 350…画像・音声出力部、360…ユーザー情報取得部
 370…制御部、380…制御信号送信部
 390…管理情報保持部
 600…通信システム
 700、800、900…情報処理装置

Claims (12)

  1.  無線接続される他の情報処理装置からデータを受信する情報処理装置であって、
     前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信部と、
     前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御部と、
     前記制御部によって選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信部と、
    を具備する情報処理装置。
  2.  前記Capability情報送信部は、Miracast Release1のCapability Negotiation処理として、前記情報処理装置のCapability情報を送信し、
     前記メディア設定値送信部は、Miracast機能拡張の処理として、メディア設定値に関する情報を送信する、
    請求項1に記載の情報処理装置。
  3.  前記Capability Negotiation処理として、前記他の情報処理装置との通信に関する前記解像度情報を受信する、
    請求項2に記載の情報処理装置。
  4.  Miracast拡張機能情報を要求するRTSPパラメーターを含んだ要求メッセージを前記他の情報処理装置から受信したことに応じて、Miracast拡張機能情報を実装するか否かを示すRTSPパラメーターを含んだ応答メッセージを返信する拡張機能送信部をさらに備える、
    請求項1に記載の情報処理装置。
  5.  送出可能なメディア設定値を前記他の情報処理装置に問い合わせるメディア設定値問合せ部をさらに備え、
     前記制御部は、前記問い合わせに対する返答に基づいて、前記他の情報処理装置に関するメディア設定値を制御する、
    請求項1に記載の情報処理装置。
  6.  前記制御部は、現在設定しているメディア設定値を基準として、データ伝送レートを増加又は低減するためのメディア設定値の制御を行なう、
    請求項1に記載の情報処理装置。
  7.  前記制御部は、min(前記他の情報処理装置と共通項で最小のものを指定)、max(前記他の情報処理装置と共通項で最大のものを指定)、down(今使っているものより1段階低いものを指定)、up(今使っているものより1段階高いものを指定)を用いてメディア設定値の変更要求を行なわせる、
    請求項6に記載の情報処理装置。
  8.  前記メディア設定値送信部は、RTSPパラメーターを用いたメディア設定値の変更要求を送信する、
    請求項7に記載の情報処理装置。
  9.  前記制御部は、前記情報処理装置が受信可能なメディア設定値と前記他の情報処理装置から送出可能なメディア設定値の間で共通する1以上のメディア設定値を選択して、前記他の情報処理装置に関するメディア設定値を制御する、
    請求項5に記載の情報処理装置。
  10.  前記メディア設定値送信部は、RTSPパラメーターを用いて前記1以上のメディア設定値を直接指定したメディア設定値の変更要求を送信する、
    請求項9に記載の情報処理装置。
  11.  無線接続される他の情報処理装置からデータを受信する情報処理装置における情報処理方法であって、
     前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信ステップと、
     前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御ステップと、
     前記制御ステップにおいて選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信ステップと、
    を有する情報処理方法。
  12.  シンク機器との間で、無線LANシステムに基づいてダイレクト接続されるソース機器であって、
     前記シンク機器のシステム性能情報を把握する制御部と、
     前記シンク機器から、現在利用されている解像度よりも高い解像度を要求する、RTSPに基づくSET PARAMETER REQUESTを受信する受信部と、
     前記SET PARAMETER REQUESTに応じて、前記ソース機器及び前記シンク機器がサポートしている解像度を用いて、ストリーミング送信を行なう送信部と、
    を具備するソース機器。
PCT/JP2016/065474 2015-07-24 2016-05-25 情報処理装置及び情報処理方法、並びにソース機器 WO2017018042A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/510,748 US10582376B2 (en) 2015-07-24 2016-05-25 Information processing apparatus, information processing method, and source apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015147257A JP2017028587A (ja) 2015-07-24 2015-07-24 情報処理装置及び情報処理方法
JP2015-147257 2015-07-24

Publications (1)

Publication Number Publication Date
WO2017018042A1 true WO2017018042A1 (ja) 2017-02-02

Family

ID=57885500

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065474 WO2017018042A1 (ja) 2015-07-24 2016-05-25 情報処理装置及び情報処理方法、並びにソース機器

Country Status (3)

Country Link
US (1) US10582376B2 (ja)
JP (1) JP2017028587A (ja)
WO (1) WO2017018042A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190311697A1 (en) * 2016-12-01 2019-10-10 Lg Electronics Inc. Image display device and image display system comprising same
JP7080624B2 (ja) * 2017-11-30 2022-06-06 キヤノン株式会社 通信装置、制御方法、およびプログラム
WO2024060064A1 (en) * 2022-09-21 2024-03-28 Qualcomm Incorporated Miracast end to end (e2e) stream transmission

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094799A (ja) * 2007-10-09 2009-04-30 Funai Electric Co Ltd コンテンツ転送システム
JP2013098903A (ja) * 2011-11-04 2013-05-20 Renesas Electronics Corp 映像音声出力装置及び映像音声出力装置の制御方法
JP2014023158A (ja) * 2012-07-17 2014-02-03 Samsung Electronics Co Ltd 映像提供システム及びその方法
JP2014147037A (ja) * 2013-01-30 2014-08-14 Canon Inc 通信装置、通信装置の制御方法、および、プログラム
JP2015012512A (ja) * 2013-06-28 2015-01-19 株式会社東芝 情報処理装置および情報処理方法
JP2015049641A (ja) * 2013-08-30 2015-03-16 ブラザー工業株式会社 情報処理装置、プログラム及び通信システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5521774B2 (ja) 2010-05-25 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
US9716737B2 (en) * 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
JP2015070568A (ja) 2013-09-30 2015-04-13 ソニー株式会社 情報処理装置、通信方法およびプログラム
CN104754426B (zh) * 2013-12-25 2018-11-16 华为终端有限公司 一种媒体处理方法、设备及系统
US10405319B2 (en) * 2014-06-25 2019-09-03 Intel Corporation Techniques to enhance wireless personal area network performance under interference conditions
US10045065B2 (en) * 2014-09-05 2018-08-07 Qualcomm Incorporated Synchronization and control of overlay contents for video streaming in a wireless communication system
JP6378606B2 (ja) * 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
KR102250090B1 (ko) * 2014-12-24 2021-05-10 삼성전자주식회사 영상 데이터를 송수신하는 디바이스 및 그 방법
US10663520B2 (en) * 2015-01-07 2020-05-26 Lg Electronics Inc. Method and apparatus for reporting battery state in WFD
US20160308917A1 (en) * 2015-04-20 2016-10-20 Intel Corporation Sensor input transmission and associated processes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094799A (ja) * 2007-10-09 2009-04-30 Funai Electric Co Ltd コンテンツ転送システム
JP2013098903A (ja) * 2011-11-04 2013-05-20 Renesas Electronics Corp 映像音声出力装置及び映像音声出力装置の制御方法
JP2014023158A (ja) * 2012-07-17 2014-02-03 Samsung Electronics Co Ltd 映像提供システム及びその方法
JP2014147037A (ja) * 2013-01-30 2014-08-14 Canon Inc 通信装置、通信装置の制御方法、および、プログラム
JP2015012512A (ja) * 2013-06-28 2015-01-19 株式会社東芝 情報処理装置および情報処理方法
JP2015049641A (ja) * 2013-08-30 2015-03-16 ブラザー工業株式会社 情報処理装置、プログラム及び通信システム

Also Published As

Publication number Publication date
JP2017028587A (ja) 2017-02-02
US10582376B2 (en) 2020-03-03
US20190090125A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
US10383098B2 (en) Information processing device and information processing method
JP6750608B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10547897B2 (en) Information processing device and information processing method to communicate based on capability information
US10805672B2 (en) Information processing device, information processing system, and information processing method
EP3007455B1 (en) Information processing device and information processing method
WO2015033763A1 (ja) 情報処理装置および情報処理方法
KR20140110047A (ko) 멀티스크린 서비스를 이용한 무선 디스플레이
JP7037358B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11435973B2 (en) Communication apparatus, communication method, and storage medium
JP6620759B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN112823554A (zh) 用于确定p2p操作信道的电子设备及其方法
US11068148B2 (en) Information processing device
KR20150026947A (ko) 디스플레이 포워딩 기능에 대한 호환성 통지를 이용하는 컨텐트 공유 방법 및 연관 디바이스
WO2017018042A1 (ja) 情報処理装置及び情報処理方法、並びにソース機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830147

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16830147

Country of ref document: EP

Kind code of ref document: A1