WO2014115387A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2014115387A1
WO2014115387A1 PCT/JP2013/078771 JP2013078771W WO2014115387A1 WO 2014115387 A1 WO2014115387 A1 WO 2014115387A1 JP 2013078771 W JP2013078771 W JP 2013078771W WO 2014115387 A1 WO2014115387 A1 WO 2014115387A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
image
processing apparatus
user
unit
Prior art date
Application number
PCT/JP2013/078771
Other languages
English (en)
French (fr)
Inventor
公也 加藤
翔 天野
山浦　智也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/762,306 priority Critical patent/US10365874B2/en
Publication of WO2014115387A1 publication Critical patent/WO2014115387A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Definitions

  • This technology relates to an information processing apparatus. Specifically, the present invention relates to an information processing apparatus and information processing method for exchanging various types of information using wireless communication, and a program for causing a computer to execute the method.
  • various data can be exchanged between two wireless communication devices by wireless communication without being connected by a wired line.
  • an image based on image data transmitted from the information processing apparatus on the transmission side can be displayed on the display unit of the information processing apparatus on the reception side.
  • the receiving information processing apparatus displays an image based on the image data transmitted from the transmitting information processing apparatus on the display unit
  • the user pays attention to only a part of the image. It is also assumed that It is also assumed that the user performs something other than viewing the image. For this reason, it is important to perform appropriate transmission band control according to the user's situation.
  • This technology was created in view of such a situation, and aims to perform appropriate transmission band control.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology outputs information based on a stream communicated with another information processing apparatus using wireless communication.
  • Information processing apparatus comprising: an acquisition unit that acquires user information generated by a user action when being output from a unit; and a control unit that performs band control of the stream based on the acquired user information, and information processing thereof A method and a program for causing a computer to execute the method. This brings about the effect
  • the information processing apparatus further includes the output unit, and the output unit outputs information based on the stream transmitted from the other information processing apparatus, and the control unit May perform band control of the stream transmitted from the other information processing apparatus based on the acquired user information.
  • action of performing the band control of the stream transmitted from another information processing apparatus is brought about.
  • the output unit outputs information based on each stream transmitted from the plurality of other information processing apparatuses, and the control unit is configured to output the information based on the acquired user information.
  • Band control of each stream may be performed. This brings about the effect
  • control unit may transmit a control signal for performing band control of the stream transmitted from the other information processing apparatus to the other information processing apparatus. . This brings about the effect
  • the output unit is a display unit that displays an image based on the stream
  • the acquisition unit receives user information generated by a user operation related to the image displayed on the display unit. You may make it acquire. This brings about the effect
  • control unit may perform control for changing the sharpness of the image based on the acquired user information. This brings about the effect
  • control unit may perform control for changing the display area of the image on the display unit based on the acquired user information. This brings about the effect
  • control unit may perform control for changing the size of the image on the display unit based on the acquired user information. This brings about the effect
  • the acquisition unit may acquire user information generated based on a user's gaze point in the image displayed on the display unit. This brings about the effect
  • the acquisition unit may acquire user information generated based on a user operation related to the image displayed on the display unit. This brings about the effect
  • the other information processing apparatus further includes the output unit, and the output unit outputs information based on the stream transmitted from the information processing apparatus, and the control unit May perform band control of the stream to be transmitted to the other information processing apparatus based on the acquired user information.
  • action of performing the band control of the stream transmitted to another information processing apparatus is brought about.
  • FIG. 12 is a flowchart illustrating an example of a processing procedure of data reception control processing by the information processing device 300 according to the first embodiment of the present technology. It is a figure showing an example of composition of communications system 500 in a 1st embodiment of this art. It is a block diagram showing an example system configuration of communication system 600 in a 2nd embodiment of this art. It is a figure showing an example of transition of an image displayed on indicator 351 of information processor 300 in a 2nd embodiment of this art. It is a block diagram which shows the system configuration example of the communication system 700 in 3rd Embodiment of this technique. It is a block diagram showing an example of functional composition of information processor 710 in a 3rd embodiment of this art.
  • First embodiment band control: an example in which user information is acquired in an information processing apparatus on the receiving side and band control is performed based on the user information
  • Second embodiment band control: an example in which band control is performed based on user information when wireless communication is performed between three information processing apparatuses
  • Third embodiment band control: an example in which user information is acquired in an information processing apparatus on the transmission side and band control is performed based on this user information
  • Fourth embodiment band control: an example in which operations related to a transmitting device and a receiving device are easily performed.
  • FIG. 1 is a diagram illustrating a configuration example of a communication system 100 according to the first embodiment of the present technology.
  • FIG. 1 shows an example of a system configuration when two information processing apparatuses (information processing apparatuses 200 and 300) are directly wirelessly connected.
  • the communication system 100 includes information processing apparatuses 200 and 300.
  • the information processing apparatus 200 is, for example, a transmission device (for example, an electronic device that transmits an image (video) and sound through a network) having a wireless communication function.
  • the information processing apparatus 300 is, for example, a receiving device (for example, an electronic device that outputs an image and sound received from a network) having a wireless communication function.
  • the information processing apparatuses 200 and 300 are wireless communication apparatuses compliant with IEEE (Institute of Electrical and Electronics Electronics) (802.11) specifications.
  • the information processing apparatuses 200 and 300 can exchange various types of information using a wireless communication function.
  • a wireless LAN Local Area Network
  • Wi-Fi Wireless Fidelity
  • TDLS Tunnelneled Direct Link Link Setup
  • an ad hoc network can be used.
  • Wi-Fi CERTIFIED Miracast uses Wi-Fi Direct and TDLS technologies to transmit audio and display video that is played on one terminal to another terminal, and the other terminal can transmit the audio, This is a mirroring technology that outputs video data.
  • Wi-Fi CERTIFIED Miracast realizes UIBC (User Input Back Channel) on TCP / IP (Transmission Control Protocol / Internet Protocol).
  • UIBC is a technique for transmitting operation information of an input device such as a mouse or a keyboard from one terminal to the other terminal.
  • other remote desktop software for example, VNC (Virtual Network Computing) may be applied.
  • the information processing apparatus 200 captures a subject and generates image data, and acquires surrounding sounds at the time of generating the image data. Then, the information processing apparatus 200 transmits the generated image data and the acquired audio data (audio data) to the information processing apparatus 300.
  • the information processing apparatus 200 includes image data generated by the information processing apparatus 200 using a penguin doll and a spider doll as subjects, and data (audio data) related to sound acquired at the time of generation. Is transmitted to the information processing apparatus 300. Then, the information processing apparatus 300 displays an image (a penguin doll or a spear doll) based on the image data transmitted from the information processing apparatus 200 on the display unit 351.
  • the information processing apparatus 300 outputs a sound based on the sound data transmitted from the information processing apparatus 200 from the sound output unit 352 (shown in FIG. 3).
  • the user information acquisition unit 360 (shown in FIG. 3) of the information processing apparatus 300 acquires information about the user (user information). For example, a user's face is imaged by the imaging unit 361 to generate image data, and the user's gaze point is detected based on the image data.
  • the information processing apparatus 200 is, for example, an imaging apparatus (for example, a digital still camera or a digital video camera (for example, a camera-integrated recorder)) having a wireless communication function.
  • the information processing device 300 is, for example, a display device (for example, a television, a projector, or a personal computer) having a wireless communication function or a portable information processing device (for example, a smartphone or a tablet terminal).
  • an imaging device having a wireless communication function will be described as an example of the information processing device 200.
  • an electronic device for example, a personal computer, a game machine, a smartphone, a tablet
  • a display device having a wireless communication function is described as an example of the information processing device 300.
  • another electronic device for example, an imaging device, a game machine, Smart phones and tablet terminals
  • another electronic device for example, an imaging device, a game machine, Smart phones and tablet terminals
  • the image (video) is H.264.
  • H.264 is used for compression / decompression.
  • H. H.264 can be adjusted on the transmission side.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing device 200 according to the first embodiment of the present technology.
  • the information processing apparatus 200 includes an antenna 210, a wireless communication unit 220, a control signal receiving unit 230, a control unit 240, an image / audio signal generation unit 250, an image / audio compression unit 260, and a stream transmission unit 270. Is provided.
  • the wireless communication unit 220 transmits and receives information (for example, image data (video data) and audio data) to and from other information processing apparatuses (for example, the information processing apparatus 300) using wireless communication. It is something that is done through. For example, when image data transmission processing is performed, the image data generated by the image / audio signal generation unit 250 is compressed by the image / audio compression unit 260, and the compressed image data (image stream) is wirelessly transmitted. It is transmitted from the antenna 210 via the communication unit 220.
  • information for example, image data (video data) and audio data
  • other information processing apparatuses for example, the information processing apparatus 300
  • the control signal receiving unit 230 acquires a control signal transmitted from another information processing apparatus (for example, the information processing apparatus 300) from the information received by the wireless communication unit 220.
  • a control signal is output to the control unit 240.
  • the control unit 240 performs control related to each piece of information transmitted from the information processing apparatus 200.
  • the control unit 240 controls the image / sound signal generation unit 250 and the image / sound compression unit 260 based on the control signal received by the control signal receiving unit 230.
  • the control unit 240 performs control for changing the sharpness of the image data to be transmitted and control for changing the image area of the image data to be transmitted. That is, the control unit 240 performs band control of a stream to be transmitted based on the control signal received by the control signal receiving unit 230.
  • the band mainly means the rate of occupying the communication path, and includes the meaning of communication speed and communication capacity.
  • the sharpness is an index of image quality composed of elements such as the resolution of image data (the number of pixels in the vertical and horizontal directions) and the bit rate (compression rate) of the image data.
  • the definition can be grasped as information to be set.
  • the image / audio signal generation unit 250 generates data (image data, audio data) to be output, and outputs the generated data to the image / audio compression unit 260.
  • the image / sound signal generation unit 250 includes an imaging unit (not shown) and a sound acquisition unit (not shown).
  • the imaging unit for example, a lens, an imaging element, and a signal processing circuit
  • the sound acquisition unit for example, a microphone
  • the data generated in this way becomes a transmission target to another information processing apparatus (for example, the information processing apparatus 300).
  • the image / sound compression unit 260 compresses (encodes) the data (image data and sound data) generated by the image / sound signal generation unit 250 based on the control of the control unit 240. Then, the image / audio compression unit 260 outputs the compressed data (image data and audio data) to the stream transmission unit 270.
  • the image / sound compression unit 260 may be realized by execution of encoding by software, or may be realized by execution of encoding by hardware.
  • the stream transmission unit 270 performs transmission processing for transmitting the data (image data and audio data) compressed by the image / audio compression unit 260 from the antenna 210 via the wireless communication unit 220 as a stream.
  • the information processing apparatus 200 can include a display unit, a voice output unit, an operation reception unit, and the like in addition to the above-described units, but these are not shown in FIG. Further, although an example in which the information processing device 200 generates image data and audio data to be transmitted is shown, the information processing device 200 may acquire image data and audio data to be transmitted from an external device. Good. For example, the information processing apparatus 200 may acquire image data and audio data to be transmitted from a web camera with a microphone.
  • the display unit (not shown) is a display unit that displays an image generated by the image / audio signal generation unit 250, for example.
  • display panels such as organic EL (Electro * Luminescence) and LCD (Liquid * Crystal * Display), can be used, for example.
  • the sound output unit (not shown) is, for example, a sound output unit (for example, a speaker) that outputs the sound generated by the image / sound signal generation unit 250.
  • the image can be output from both the transmitting device and the receiving device, but the sound is preferably output from only one of them.
  • the operation reception unit (not shown) is an operation reception unit that receives an operation input performed by the user, and is, for example, a keyboard, a mouse, a game pad, a touch panel, a camera, or a microphone. Note that the operation receiving unit and the display unit can be integrally configured using a touch panel that allows a user to input an operation by touching or approaching the finger with the display surface.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the information processing apparatus 300 according to the embodiment of the present technology.
  • the information processing apparatus 300 includes an antenna 310, a wireless communication unit 320, a stream reception unit 330, an image / sound development unit 340, an image / sound output unit 350, a user information acquisition unit 360, and a control signal generation unit 370. And a control signal transmission unit 380.
  • the wireless communication unit 320 transmits / receives each piece of information (for example, image data and audio data) to / from another information processing apparatus (for example, the information processing apparatus 200) via the antenna 310 using wireless communication.
  • image data reception processing image data received by the antenna 310 is expanded (decoded) by the image / sound expansion unit 340 via the wireless communication unit 320 and the stream reception unit 330.
  • the developed image data is supplied to the image / sound output unit 350, and an image corresponding to the developed image data is output from the image / sound output unit 350. That is, an image corresponding to the developed image data is displayed on the display unit 351.
  • the stream receiving unit 330 receives a stream (image stream (video stream), audio stream) from each piece of information received by the wireless communication unit 320.
  • the stream receiving unit 330 receives the stream as an image / audio developing unit 340 and The result is output to the control signal generation unit 370.
  • the image / sound developing unit 340 develops (decodes) data (stream ((image data and sound data)) transmitted from another information processing apparatus (for example, the information processing apparatus 200).
  • the audio expansion unit 340 outputs the expanded data (image data and audio data) to the image / audio output unit 350.
  • the image / audio expansion unit 340 is realized by executing decoding by software. Alternatively, it may be realized by executing decoding by hardware.
  • the image / sound output unit 350 includes a display unit 351 and a sound output unit 352.
  • the display unit 351 is a display unit that displays each image (for example, the display screen shown in FIG. 1) based on the image data developed by the image / sound development unit 340.
  • a display panel such as an organic EL panel or an LCD panel can be used.
  • a touch panel on which a user can perform an operation input by touching or approaching his / her finger to the display surface may be used.
  • the sound output unit 352 is a sound output unit (for example, a speaker) that outputs various sounds (such as sound related to the image displayed on the display unit 351) based on the sound data developed by the image / sound development unit 340.
  • the user information acquisition unit 360 acquires information about the user (user information), and outputs the acquired user information to the control signal generation unit 370.
  • the user information acquisition unit 360 includes an imaging unit 361 (shown in FIG. 1), a face detection unit, a black eye detection unit, an operation reception unit (keyboard, mouse, remote control, game pad, touch panel), microphone, various sensors (for example, A gyro sensor, a sensor for detecting a human body).
  • the operation accepting unit is an operation member for designating an arbitrary region in the image displayed on the display unit 351, for example.
  • the user information acquisition unit 360 is a user when information based on a stream received from another information processing apparatus (for example, the information processing apparatus 200) using wireless communication is output from the image / sound output unit 350.
  • User information generated by the operation is acquired.
  • This user information is user information generated by a user operation relating to an image displayed on the display unit 351, for example.
  • the user information is user information generated based on the user's gaze point in the image displayed on the display unit 351.
  • the user information is information generated based on a user operation related to an image displayed on the display unit 351.
  • the user information acquisition unit 360 is an example of an acquisition unit described in the claims.
  • the control signal generation unit 370 performs bandwidth control of a stream transmitted from another information processing apparatus (for example, the information processing apparatus 200) based on the user information output from the user information acquisition unit 360. Specifically, the control signal generation unit 370 generates a control signal for performing band control of the stream based on the user information output from the user information acquisition unit 360, and uses the generated control signal as the control signal. The data is output to the transmission unit 380. For example, the control signal generation unit 370 generates a control signal for changing the sharpness of the image displayed on the display unit 351 based on the user information output from the user information acquisition unit 360.
  • control signal generation unit 370 generates a control signal for changing the image display area on the display unit 351 based on the user information output from the user information acquisition unit 360.
  • control signal generation unit 370 generates a control signal for changing the size of the image on the display unit 351 based on the user information output from the user information acquisition unit 360.
  • the control signal generation unit 370 is an example of a control unit described in the claims.
  • the control signal transmission unit 380 performs a transmission process of transmitting the control signal output from the control signal generation unit 370 to another wireless communication device via the wireless communication unit 320 and the antenna 310.
  • [Gaze point detection example] 4 and 5 are diagrams schematically illustrating an example of a method for detecting a user's point of gaze by the user information acquisition unit 360 according to the first embodiment of the present technology.
  • FIG. 4 a shows a simplified image (image 400) generated by the user information acquisition unit 360.
  • the image 400 is an example of an image (image data) generated by the imaging unit 361, and includes, for example, the face of the user 50 existing in front of the information processing apparatus 300 illustrated in FIG. Note that the face of the user 50 included in the image 400 is detected by a face detection unit (not shown). Further, black eyes in both eyes (the right eye 51 and the left eye 52) of the user 50 included in the image 400 are detected by a black eye detection unit (not shown).
  • the face detection unit detects a human face included in the image data generated by the imaging unit 361.
  • a face detection method for example, a face detection method (for example, refer to Japanese Patent Application Laid-Open No. 2004-133737) by matching a template in which brightness distribution information of a face is recorded with an actual image, a skin color part included in image data, or a human being A face detection method or the like based on the face feature amount or the like can be used.
  • the face detection information includes the position and size of the detected face on the image data (image). Note that the position of the detected face on the image data is, for example, the upper left position of the face image on the image data, and the size of the detected face on the image data is, for example, the horizontal of the face image on the image data. It can be the length in the direction and the vertical direction. With this face detection information, a face image that is rectangular image data including at least a part of the face on the image data can be specified.
  • the black eye detection unit detects black eyes in both eyes of the face included in the image data output from the imaging unit 361. That is, the black eye detection unit uses the face detection information (position and size) output from the face detection unit in the image data output from the imaging unit 361, and the face image corresponding to the face detected by the face detection unit. To extract. Then, black eyes in the extracted face image are detected.
  • the black eye detection method for example, a black eye detection method based on matching between a template in which luminance distribution information of black eyes is recorded and an actual image can be used as in the face detection method.
  • the black eye information includes a position in the detected black eye face image. With this black eye information, it is possible to specify the positions of the black eyes in both eyes on the image data. The position of this black eye can be set to the center position of the black eye, for example.
  • the center position of the black eye in the left eye is the black eye position in the left eye
  • the center position of the black eye in the right eye is the black eye position in the right eye.
  • the distance between the center position of the black eye in the left eye and the center position of the black eye in the right eye is the black eye interval. That is, in the example shown in FIG. 4, the distance between the center position of the black eye in the left eye 52 and the center position of the black eye in the right eye 51 is a black eye interval (a value corresponding to the actual black eye interval e10). , And is virtually shown as “e10”).
  • the black eye interval e10 is, for example, the subject distance (the distance from the lens to the face of the user 50), the distance from the lens to the image sensor in the imaging unit 361, and the interval between the black eyes imaged on the imaging surface of the image sensor. Can be calculated based on the value of. Further, a fixed value (for example, 65 mm) may be used as the black eye interval e10.
  • 4B schematically shows the relationship between the viewing position of the image displayed on the display unit 351 and both eyes (the right eye 51 and the left eye 52) of the user 50 who is viewing the image.
  • the eyeball of the user when viewing the image and the convergence angle ⁇ 10 corresponding thereto are shown.
  • the position where the image is displayed is the display surface position 401
  • the viewing position of the user when viewing the image displayed on the display unit 351 is the viewing position 403. To do.
  • the horizontal angle of the user's eyeball is adjusted to match the position of the image that the user is paying attention to.
  • the focus of the eye is adjusted to the position 401 on the display surface.
  • an intersection (gaze point 402) created by a straight line connecting each black eye of the user's eyes (right eye 51 and left eye 52) and the position 401 of the display surface is an image of the image that the user is paying attention to.
  • the horizontal angle adjustment of the user's eyeball is performed so as to match the position.
  • the focus of both eyes is adjusted to the position 401 (gaze point 402) on the display surface.
  • the angle ⁇ 10 at the gazing point 402 is generally referred to as a convergence angle.
  • both the focal point and the viewpoint of the user's eyes are present at the position 401 on the display surface. It will be.
  • the subject distance output from the imaging unit 361 can be used as the distance L1.
  • a fixed value for example, 2 m
  • the distance L1 may be acquired by manual input by the user.
  • the distance L1 may be acquired by another distance measurement method.
  • a distance measurement method of measuring the distance L1 by providing a UWB (Ultra Wide Band) on a remote control held by the user 50 and using a UWB position measurement function can be used.
  • the distance L1 may be measured using a distance measuring device that measures the distance based on infrared rays, ultrasonic waves, or the like.
  • 5a and 5b show the distances (distances in the horizontal direction) e11 and e12 from the gazing point 402 to the center position of both eyes and the center position of the eyes of both eyes from the center point of the user's eyeball. (Distance in the horizontal direction) e21, e22.
  • the position of the gazing point 402 in the vertical direction can also be calculated using the distance from the center point of the user's eyeball to the center position of the black eye in both eyes (the distance in the vertical direction).
  • the position of the gaze point is determined based on the relationship between the distance from the gaze point to the center position of the black eye in both eyes and the distance from the center point of the user's eyeball to the center position of the black eye in both eyes.
  • An example of calculation is shown.
  • the position of the gazing point may be detected by other methods.
  • the position of the gazing point can be detected by an eye tracking ( gaze analysis) method.
  • FIG. 6 is a diagram schematically illustrating an example of a method of calculating the degree of attention of the user by the control signal generation unit 370 according to the first embodiment of the present technology.
  • the stream corresponding to the image displayed on the display unit 351 of the information processing apparatus 300 on the receiving side (that is, the image / audio stream being received) is sn (where n is a positive integer), and the stream sn Let ⁇ sn be the degree of attention of the user.
  • the stream sn means a stream corresponding to one period in which each setting is not changed (for example, definition setting change, area setting change).
  • the first stream to be transmitted can be s1
  • the stream transmitted immediately after the first setting change can be s2
  • the stream transmitted immediately after the next setting change can be s3.
  • G1 is a value indicating a degree of attention by gaze
  • D1 is a value indicating a degree of attention by operation.
  • the user information acquisition unit 360 obtains the user's gaze point GP ⁇ b> 1 on the display surface of the display unit 351.
  • L is the shortest of the distances from the four vertices of the display surface of the display unit 351 to the locus of the user's gazing point GP1 in the latest predetermined time (for example, 10 seconds). It is a value indicating the distance.
  • L0 is a value indicating the length of the diagonal line of the display surface of the display unit 351.
  • the control signal generation unit 370 calculates the attention degree D1 due to the operation using the following Expression 5 based on the user information (the locus of the user's point of sight GP1) acquired by the user information acquisition unit 360.
  • D1 t1 ⁇ r Equation 5
  • t1 is a value indicating the total time operated by the user within the latest predetermined time (for example, 10 seconds) for the image displayed on the display unit 351 (image corresponding to the image stream sn).
  • R is a value indicating the specific gravity between gaze and operation that can be set by the user.
  • r may be a fixed value (for example, 1) or a variable value.
  • r may be a variable value.
  • the value of r is set according to the type of the input operation device used for the operation. For example, r1 is set as r on the mouse, r2 is set as r on the remote control, and r3 is set as r on the touch panel.
  • the control signal generation unit 370 determines whether to improve or decrease the sharpness using the user attention level ⁇ sn calculated in this way. Then, the control signal generation unit 370 generates a control signal for making a request according to the degree of user attention ⁇ sn. Then, the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310.
  • control signal generation unit 370 can determine whether to improve or decrease the definition based on, for example, the comparison result between the user's attention level ⁇ sn and the threshold values p and q.
  • the control signal generation unit 370 calculates the attention level ⁇ sn of the user corresponding to the received image / audio stream sn.
  • the case where there is a change in the operation or intention of the user who is operating or viewing is a case where there is a change in the user information acquired by the user information acquisition unit 360.
  • the user's attention level ⁇ sn is larger than the threshold q (that is, when ⁇ sn> q)
  • it can be determined that the user's attention level ⁇ sn with respect to the received image / audio stream sn is particularly high. .
  • control signal generation unit 370 generates a control signal related to a change request for improving the definition of the currently received image / audio stream sn. Then, the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310.
  • the control signal generation unit 370 when the user's attention level ⁇ sn is smaller than the threshold value p (that is, when ⁇ sn ⁇ p), it can be determined that the user's attention level ⁇ sn with respect to the received image / audio stream sn is particularly low. . For this reason, the control signal generation unit 370 generates a control signal related to the change request for reducing the definition of the image / audio stream sn being received. Then, the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310.
  • the control unit 240 of the transmission-side information processing apparatus 200 stores data (image data and audio data) to be transmitted. Perform control to change the amount of data. For example, when the control signal related to the change request for improving the definition of the currently received image / audio stream sn is received, the control unit 240 determines the amount of data (image data and audio data) to be transmitted. increase. In this case, the information processing apparatus 300 on the reception side performs image display based on the image data received from the information processing apparatus 200 on the transmission side as the data amount increases.
  • the degree of user attention ⁇ sn corresponding to the image / sound stream sn being received is particularly high, the image sharpness based on the image data received from the information processing apparatus 200 on the transmission side is improved and displayed. Can do. In this case, the display area is not changed. An example of display transition in this case is shown in FIG. Also, the sound data may have high sound quality.
  • the resolution (for example, liquid crystal panel resolution) of the display unit 351 is 1920 ⁇ 1080 dots
  • the resolution of the original image data is 640 ⁇ 360 dots
  • the bit rate of the original image data is 2 Mbps.
  • the original image data is expanded according to the compressed data of 2 Mbps, and the expanded image is enlarged and displayed three times.
  • the resolution of the image data (image data with the increased data amount) transmitted in response to the change request for improving the definition is 1920 ⁇ 1080 dots and the bit rate of the image data is 12 Mbps. To do.
  • the image data transmitted in response to the change request for improving the definition is decompressed according to the compressed data of 12 Mbps, and the decompressed image is displayed as it is.
  • the control unit 240 of the information processing apparatus 200 on the transmission side receives data to be transmitted ( The amount of data (image data and audio data) is reduced.
  • the information processing apparatus 300 on the reception side performs image display based on the image data received from the information processing apparatus 200 on the transmission side according to the decrease in the data amount. That is, when the degree of user attention ⁇ sn corresponding to the image / sound stream sn being received is particularly low, the sharpness of the image based on the image data received from the information processing apparatus 200 on the transmission side is reduced and displayed. Can do. Further, the image quality based on the image data received from the information processing apparatus 200 on the transmission side may be displayed with degraded image quality. Also, the sound data may have a low sound quality.
  • control unit 240 of the information processing apparatus 200 on the transmission side transmits data (image data and audio data). To stop.
  • the control signal generation unit 370 does not generate a control signal for making a request for the image / audio stream sn being received.
  • the threshold values p and q may be fixed values, or the settings may be changed by a user operation.
  • the attention level G1 by gaze is 1 or less (that is, G1 ⁇ 1), and therefore the user's attention level ⁇ sn can take the following values. 0 ⁇ ⁇ sn ⁇ 11
  • FIG. 7 is a diagram illustrating a transition example of an image displayed on the display unit 351 according to the first embodiment of the present technology.
  • FIG. 7 shows an example of display transition when the degree of user attention ⁇ sn is larger than the threshold value q as described above.
  • FIG. 7A is the same as that shown in FIG. However, a in FIG. 7 shows a state in which the sharpness of the image displayed on the display unit 351 is lowered for ease of explanation.
  • FIG. 7B shows a display example of an image displayed based on the image data received from the information processing apparatus 200 on the transmission side. For example, the sharpness of the image shown in FIG. In this case, for example, the image may be enlarged and displayed in accordance with the improvement of the definition.
  • FIG. 8 is a diagram schematically illustrating an example of a method for calculating a change vector of a user's attention position by the control signal generation unit 370 according to the first embodiment of the present technology.
  • a change vector of the user's attention position with respect to a stream (that is, a received image / audio stream) sn corresponding to an image displayed on the display unit 351 of the information processing apparatus 300 on the reception side is ⁇ sn.
  • the change vector ⁇ sn of the user's attention position is a vector indicating a change in the degree of attention of the user on the display surface of the display unit 351 of the information processing device 300.
  • the change vector ⁇ sn of the user's attention position corresponds to the amount of change from the center position of the image displayed on the display unit 351 (the amount of change of the user's attention position).
  • the change vector ⁇ sn of the user's attention position can be calculated based on the user's gaze point or the position on the display screen to which the user gives an operation.
  • FIG. 8A illustrates an example in which the change vector ⁇ sn of the user's attention position is calculated based on the user's attention point.
  • FIG. 8 b shows an example in which the change vector ⁇ sn of the user's attention position is calculated based on the position on the display screen to which the user performs an operation.
  • a region 460 (rectangular dotted line) having an area of 70% from the center C1 of the display screen is set.
  • the direction and distance from the center C1 to the gazing point C2 when the user's gazing point C2 is outside the region 460 can be ⁇ sn.
  • the area 460 may be fixed or variable.
  • the area 460 can be made variable while the image area is changed.
  • the shape of the region 460 may be a shape other than a rectangle.
  • the change vector ⁇ sn of the user's attention position is calculated based on the user's gazing point, it can be set as a calculation condition that the change is largely out of the center C1 of the display screen.
  • the direction and distance from the center C1 of the display screen to the position C3 that is the center point of the operation given by the user can be set to ⁇ sn.
  • the operation given by the user is, for example, enlargement / reduction / slide operation using a touch panel, selection of an area using a mouse or a remote controller, character input using a keyboard, and the like.
  • the control signal generation unit 370 can change the coordinates of the image (that is, the image region) so as to correspond to the change. That is, the control signal generation unit 370 generates a control signal for making a request according to the change vector ⁇ sn of the user's attention position. Then, the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310.
  • the control signal generation unit 370 uses the change vector ⁇ sn of the user's attention position corresponding to the received image / audio stream sn. calculate.
  • the control signal generation unit 370 controls the control signal related to the change request for changing the image area of the image corresponding to the received image / audio stream sn. Is generated. For example, a control signal related to a change request for changing the image coordinates (that is, changing the image area) by an amount equivalent to the change vector ⁇ sn of the user's attention position is generated.
  • the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310.
  • the change vector ⁇ sn of the user's attention position satisfies the predetermined condition
  • the change vector ⁇ sn is equal to or greater than a threshold value.
  • a predetermined condition for example, when the user performs an operation on a specific area on the display surface on which the received image / audio stream sn is displayed, This is a case where a specific area is observed.
  • the control unit 240 of the transmission-side information processing device 200 converts the data to be transmitted (image data and audio data). Control is performed to change the image area of the corresponding image. For example, the control unit 240 moves the image region of the image corresponding to the transmission target data (image data and audio data) according to the distance and direction specified by the change vector ⁇ sn of the user's attention position.
  • the information processing apparatus 300 on the reception side can move and display an image based on the image data received from the information processing apparatus 200 on the transmission side. An example of display transition in this case is shown in FIG.
  • the audio data may be changed according to the movement (for example, the ratio of the left and right speakers is changed).
  • FIG. 9 is a diagram illustrating a transition example of an image displayed on the display unit 351 according to the first embodiment of the present technology.
  • FIG. 9 shows an example of display transition when the change vector ⁇ sn of the user's attention position satisfies a predetermined condition as described above.
  • the display example shown in a of FIG. 9 is the same as that of FIG.
  • the user's attention position has moved from the penguin doll to the puppet puppet, as indicated by an arrow a in FIG. 9 (an arrow from the white circle C1 to the white circle C4).
  • a change vector ⁇ sn of the user's attention position is calculated, and this change vector ⁇ sn satisfies a predetermined condition.
  • the position specified by the change vector ⁇ sn of the user's attention position in this case is indicated by C4.
  • FIG. 9b shows a display example of an image in which the image area is changed based on the image data received from the information processing apparatus 200 on the transmission side.
  • the change vector ⁇ sn of the user's attention position satisfies a predetermined condition
  • the image area is changed and displayed according to the distance and direction specified by the change vector ⁇ sn.
  • the image area is changed so that the puppet is placed at the center position of the display screen of the display unit 351.
  • a transmission path different from that for transmitting images and sounds and make a stream change request (for example, an instruction to increase / decrease the bandwidth) using a unique protocol on this transmission path. Conceivable.
  • the preparation of another transmission path means, for example, establishing another TCP / IP session.
  • the transmitting device When using RTSP (Real Time Streaming Protocol) for image / sound transmission control, the transmitting device periodically issues a survival confirmation command to the receiving device, and the receiving device returns a response. There is. This is referred to as Keep-Alive. At this time, the time from when the receiving device receives the command until it returns a response is proportional to the size of the band. For example, when the bandwidth is 10 Mbps, the response is returned after 10 seconds. In this case, the receiving device can fetch the user's intention acquired by the receiving device by measuring the time until the response is returned.
  • RTSP Real Time Streaming Protocol
  • the Wi-Fi CERTIFIED Miracast protocol is used for image / sound transmission, it is conceivable that parameters are uniquely defined and are periodically transmitted from the receiving device to the transmitting device using the RTSP SET_PARAMETER command. .
  • RTCP RTP Control Protocol
  • the transmitting device changes the band by intentionally changing the content of the RTCP reception report transmitted from the receiving device to the transmitting device. Specifically, when reducing the bandwidth, the receiving device intentionally increases the values of “cumulative missing packets” and “missing rate” in the reception report, and the transmitting device appears as if the entire network is congested. Report to In this case, the transmitting device tries to cope with the congestion of the network, so the bandwidth for image / sound transmission is lowered.
  • FIG. 10 is a flowchart illustrating an example of a processing procedure of a data transmission control process performed by the information processing device 200 according to the first embodiment of the present technology.
  • wireless communication is performed between the information processing apparatus 200 on the transmission side and the information processing apparatus 300 on the reception side.
  • the information processing apparatus 200 on the transmission side performs initial setting of image and sound for transmitting image data and sound data to the information processing apparatus 300 on the reception side (step S1001).
  • This initialization includes, for example, initialization of the control signal reception unit 230, the image / audio signal generation unit 250, the image / audio compression unit 260, and the stream transmission unit 270.
  • Each connection may be established.
  • a network connection with a receiving device can be established in a series of operations such as WFD (Wi-Fi Display) Connection Setup.
  • the series of operations are, for example, WFD Device Discovery, WFD Service Discovery (Optional), and WFD Connection Setup.
  • WFD Device Discovery is a process for discovering a counterpart device.
  • WFD Service Discovery is a process of acquiring detailed information of the counterpart device.
  • the WFD Connection Setup is a process for establishing a network connection with the counterpart device.
  • the setting information may be exchanged with the information processing apparatus 300 on the reception side at this time.
  • a method conforming to Wi-Fi CERTIFIED Miracast is used, a pre-set called Capability Negotiation is performed at this point.
  • Capability Negotiation is a process of exchanging a message sequence using the RTSP protocol between WFD Source and WFD Sink after WFD connection setup is completed and before WFD session establishment.
  • the transmission-side information processing device 200 starts transmission of an image / audio stream to the reception-side information processing device 300 (step S1002). Simultaneously with the start of transmission, the information processing apparatus 200 on the transmission side starts the operation of the control unit 240 in order to change the setting in response to the change request from the information processing apparatus 300 on the reception side.
  • control unit 240 determines whether or not the control signal receiving unit 230 has received the image area change request from the information processing apparatus 300 on the receiving side (step S1003).
  • the control unit 240 controls the image / audio signal generation unit 250 based on the image area change request (step S1004). That is, the control unit 240 outputs the image coordinate information included in the image region change request to the image / sound signal generation unit 250. Further, the image / sound signal generation unit 250 resets the area of the image data to be transmitted based on the coordinate information of the image (step S1004).
  • the image / sound signal generation unit 250 resets the area of the image data to be transmitted so that the position specified by the coordinate information of the image is the center of the display surface (step S1004). Then, the image / audio signal generation unit 250 generates an image signal and an audio signal based on the reset area.
  • control unit 240 determines whether or not the control signal receiving unit 230 has received a request for changing the definition of the image and sound from the information processing apparatus 300 on the receiving side (step S1005).
  • the control unit 240 controls the image and sound compression unit 260 based on the image and sound definition change request. (Step S1006). That is, the control unit 240 performs control for setting variables and changing the resolution related to compression processing for improving or decreasing the sharpness based on the request for changing the sharpness of the image and the sound. It performs with respect to the compression part 260 (step S1006).
  • the control unit 240 sets the variable and the resolution related to the compression processing for improving the definition.
  • the image / sound compression unit 260 is controlled to perform the change.
  • the control unit 240 sets a variable related to the compression processing for reducing the definition.
  • control for changing the resolution is performed on the image / sound compression unit 260.
  • control unit 240 determines whether or not the control signal receiving unit 230 has received a transmission stop request from the information processing apparatus 300 on the receiving side (step S1007). When a transmission stop request is received (step S1007), the control unit 240 performs control for ending transmission of image data and audio data (step S1008). On the other hand, if a transmission stop request has not been received (step S1007), the process returns to step S1002.
  • the information processing apparatus 200 on the transmission side temporarily interrupts the previous transmission before transmitting the image / audio stream reset in steps S1004 and S1006, and “streams another type of stream”. You may make it notify to the information processing apparatus 300 of a receiving side.
  • the encoding parameter change can be explicitly notified from the transmission-side information processing device 200 to the reception-side information processing device 300 via another path.
  • notification can be made by a mechanism called Capability Re-negotiation.
  • Capability Re-negotiation notifies WFD Sink in advance of changes in image (video) resolution and frame rate from WFD Source.
  • WFD Source can appropriately update parameters in WFD Session using RTSP protocol.
  • the Wi-Fi CERTIFIED Miracast standard can be extended independently and various parameters can be updated using the RTSP protocol.
  • the transmitting device can receive a request from the receiving device that the user views and operates, and can dynamically change and transmit the transmission stream.
  • FIG. 11 is a flowchart illustrating an example of a processing procedure of data reception control processing by the information processing device 300 according to the first embodiment of the present technology.
  • wireless communication is performed between the information processing apparatus 200 on the transmission side and the information processing apparatus 300 on the reception side.
  • the information processing apparatus 300 on the receiving side prepares for image / sound reception (step S1011).
  • This preparation includes, for example, initialization of the stream reception unit 330, the image / sound development unit 340, the image / sound output unit 350, and the control signal transmission unit 380.
  • the stream reception unit 330 and the control signal transmission unit 380 are controlled to establish a network connection with the information processing apparatus 200 on the transmission side. Also good. Further, as described above, depending on the image / sound transmission method, the setting information may be exchanged with the information processing apparatus 200 on the transmission side at this time.
  • the information processing apparatus 300 on the receiving side initializes the user information acquisition unit 360 and the control signal generation unit 370, and performs an operation of detecting a user's situation and operation and an operation of calculating a signal to be controlled. Start (step S1012).
  • the information processing apparatus 300 on the receiving side starts receiving compressed image data and audio data (step S1013).
  • the image / sound output unit 350 changes the display content based on the received content and outputs image data and sound data (step S1014).
  • the stream (image stream and audio stream) transmitted from the information processing apparatus 200 on the transmission side is received by the stream reception unit 330 via the antenna 310 and the wireless communication unit 320 (step S1013). Then, the received stream is input to the image / sound developing unit 340 and developed, and the developed image data and sound data is output from the image / sound output unit 350 (step S1014).
  • the display content is changed according to the change. For example, when the user's attention level ⁇ sn is large with reference to the threshold value q, as described above, the image corresponding to the received image stream is displayed with improved clarity. On the other hand, when the user's attention level ⁇ sn is small with reference to the threshold value p, as described above, the image corresponding to the received image stream is displayed with reduced clarity.
  • the image / sound development unit 340 or the image is generated based on the notification information.
  • the audio output unit 350 may be re-initialized.
  • control signal generation unit 370 calculates the user attention level ⁇ sn and the user attention position change vector ⁇ sn (step S1015).
  • the attention degree ⁇ sn and the change vector ⁇ sn are calculated based on the user information acquired by the user information acquisition unit 360.
  • the attention degree ⁇ sn and the change vector ⁇ sn may be calculated only when there is a change in the operation or intention of the user who is operating / viewing.
  • the control signal generation unit 370 determines whether or not the user attention level ⁇ sn is larger than the threshold value q (step S1016).
  • the control signal generation unit 370 generates a control signal related to the change request for improving the definition of the received image / audio stream sn. (Step S1017).
  • the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310 (step S1017).
  • the control signal generation unit 370 determines whether or not the change vector ⁇ sn of the user's attention position satisfies a predetermined condition (step S1018). When the change vector ⁇ sn of the user's attention position does not satisfy the predetermined condition (step S1018), the process returns to step S1013. On the other hand, when the change vector ⁇ sn of the user's attention position satisfies a predetermined condition (step S1018), the control signal generation unit 370 generates a control signal related to a change request for changing the image region (step S1019).
  • a control signal related to a change request for changing the image coordinates (that is, changing the image area) by an amount equivalent to the change vector ⁇ sn of the user's attention position is generated.
  • the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310 (step S1019).
  • step S1016 determines whether or not the user's attention level ⁇ sn is smaller than the threshold value p (step S1020). If the user's attention level ⁇ sn is greater than or equal to the threshold value p (step S1020), the process returns to step S1013.
  • the control signal generation unit 370 determines whether or not the user's attention degree ⁇ sn is 0 continuously for a predetermined time (Ste S1021). If the user's attention level ⁇ sn does not become 0 for a predetermined time (step S1021), the control signal generation unit 370 makes a change request to reduce the definition of the image / audio stream sn being received. Such a control signal is generated (step S1022). Then, the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310 (step S1022).
  • step S1021 When the user attention level ⁇ sn is 0 for a predetermined time (step S1021), the control signal generation unit 370 performs control for requesting transmission stop of the currently received image / audio stream sn. A signal is generated (step S1023). Then, the control signal transmission unit 380 transmits the generated control signal to the information processing apparatus 200 via the wireless communication unit 320 and the antenna 310 (step S1023).
  • step S1015 is an example of an acquisition procedure described in the claims.
  • Steps S1016 to S1023 are an example of a control procedure described in the claims.
  • the user's operation / situation / intent it is possible to perform appropriate transmission band control according to the above. For example, it is possible to limit the transmission amount appropriately according to the user's operation / situation / intention.
  • the transmission band control for example, it is possible to change the resolution of the image and the image area.
  • the band used for voice transmission can be controlled dynamically and automatically appropriately.
  • a desired image region can be appropriately viewed. can do.
  • the receiving device receives and displays a part of the image of the transmitting device, so that the bandwidth can be saved compared to the case of receiving the whole.
  • the partial image from the transmission device can be changed in accordance with an operation given to the reception device, it is possible to facilitate access to an area to be viewed.
  • the bandwidth of the image / sound transmission can be automatically reduced to save the network bandwidth.
  • the image / sound data expansion process or display process of the receiving device Can reduce the load.
  • the load of data compression processing can be reduced for the transmitting device.
  • power consumption in both the transmitting device and the receiving device can be reduced.
  • Wi-Fi CERTIFIED Miracast While Wi-Fi CERTIFIED Miracast is being executed, it is assumed that other work is being performed on the same screen. In such a case, if a bandwidth is used for the work, control can be performed so as to reduce the streaming bandwidth accordingly.
  • FIG. 12 is a diagram illustrating a configuration example of the communication system 500 according to the first embodiment of the present technology.
  • Communication system 500 is a communication system in which a part of communication system 100 is modified.
  • the transmitting device is an imaging device (for example, a digital still camera or a digital video camera (for example, a camera-integrated recorder)) and the receiving device is a portable information processing device (for example, a smartphone).
  • Indicates. 12A to 12C show transition examples of images displayed on the display unit 521 of the information processing apparatus 520.
  • the communication system 500 includes information processing apparatuses 510 and 520. Note that the information processing apparatus 510 corresponds to the information processing apparatus 200 illustrated in FIG. 1, and the information processing apparatus 520 corresponds to the information processing apparatus 300 illustrated in FIG.
  • the information processing device 520 includes a touch panel that receives an operation input by a user, and a sensor (for example, an acceleration sensor) that detects a movement of the information processing device 520 and a change in the posture of the information processing device 520.
  • This touch panel and sensor correspond to the user information acquisition unit 360 shown in FIG.
  • an image based on the stream transmitted from the information processing apparatus 510 can be displayed on the display unit 521 of the information processing apparatus 520.
  • the information processing apparatus 510 generates an image stream in which the entire captured image is reduced in order to match the display surface of the display unit 521 of the information processing apparatus 520, and the image stream is transmitted to the information processing apparatus 520. Transmit (step S1002 shown in FIG. 10).
  • the user operates the touch panel to enlarge a specific area in the image displayed on the display unit 521 of the information processing device 520.
  • the user operates the touch panel in order to enlarge “B” in “ABCDEF” shown in FIG.
  • the user's attention degree ⁇ sn becomes larger than the threshold value q (step S1016 shown in FIG. 10), and the change vector ⁇ sn of the user's attention position satisfies a predetermined condition (step S1018 shown in FIG. 10).
  • the information processing device 520 transmits to the information processing device 510 a control signal related to a sharpness change request for improving the sharpness (for example, resolution) of the received image / audio stream sn (FIG. 10).
  • Step S1017 Further, the information processing apparatus 520 processes the control signal related to the image area change request for changing the center of the image by the amount corresponding to the change vector ⁇ sn of the user's attention position for the received image / audio stream sn. It transmits to the apparatus 510 (step S1019 shown in FIG. 10).
  • the information processing apparatus 510 When these change requests are received, the information processing apparatus 510 performs setting to change the center position of the image based on the control signal related to the image region change request (step S1004 shown in FIG. 10). Further, the information processing apparatus 510 sets a high resolution based on the control signal related to the sharpness change request (step S1006 shown in FIG. 10). Then, the information processing apparatus 510 transmits the new stream in which these settings are made to the information processing apparatus 520 (step S1002 shown in FIG. 10). An image display example based on this new stream is shown in FIG.
  • the display unit 521 of the information processing device 520 has an enlarged image of a part of the image transmitted from the information processing device 510 with the region (B) designated by the user as the center. (Image with improved sharpness) is displayed.
  • the user who operates the information processing apparatus 520 moves the information processing apparatus 520 to the right in the left-right direction. Further, by this moving operation, the user's attention degree ⁇ sn becomes larger than the threshold value q (step S1016 shown in FIG. 10), and the change vector ⁇ sn of the user's attention position satisfies a predetermined condition (step shown in FIG. 10). S1018). Note that the movement direction and movement amount of the information processing device 520 are detected by, for example, an acceleration sensor.
  • the information processing device 520 transmits to the information processing device 510 a control signal related to a sharpness change request for improving the sharpness (for example, resolution) of the received image / audio stream sn (FIG. 10).
  • Step S1017 Further, the information processing apparatus 520 processes the control signal related to the image area change request for changing the center of the image by the amount corresponding to the change vector ⁇ sn of the user's attention position for the received image / audio stream sn. It transmits to the apparatus 510 (step S1019 shown in FIG. 10).
  • the change vector ⁇ sn of the user's attention position is calculated in response to the user's attention moving to the right in the left-right direction. Then, a control signal related to the change request for moving the image to the right in the left-right direction is transmitted to the information processing apparatus 510.
  • the information processing apparatus 510 When these change requests are received, the information processing apparatus 510 performs setting to change the center position of the image based on the control signal related to the image region change request (step S1004 shown in FIG. 10). Further, the information processing apparatus 510 sets a high resolution based on the control signal related to the sharpness change request (step S1006 shown in FIG. 10). In the example shown in FIG. 12b, since the resolution is already set high, this resolution is maintained. Then, the information processing apparatus 510 transmits the new stream in which these settings are made to the information processing apparatus 520 (step S1002 shown in FIG. 10). An image display example based on the new stream is shown in FIG.
  • a part of the image transmitted from the information processing apparatus 510 is enlarged on the display unit 521 of the information processing apparatus 520 around the area (C) designated by the moving operation by the user.
  • the displayed image (image maintaining the sharpness) is displayed.
  • a specific area for example, “B” or “C” in an image transmitted from the transmission device is easily enlarged and displayed while automatically reducing the data amount of the stream based on a user operation. be able to. Thereby, user operation can be made still easier.
  • Second Embodiment> In the first embodiment of the present technology, an example in which wireless communication is performed between two information processing apparatuses has been described. Here, for example, it is assumed that wireless communication is performed between three or more information processing apparatuses.
  • FIG. 13 is a block diagram illustrating a system configuration example of the communication system 600 according to the second embodiment of the present technology.
  • the communication system 600 is a communication system in which an information processing device 610 is added to the communication system 100 shown in FIG. Except for the addition of the information processing device 610, the communication system 100 is the same as the communication system 100 shown in FIG.
  • the information processing device 610 is, for example, a display device (for example, a personal computer) having a wireless communication function or a portable information processing device (for example, a smartphone or a tablet terminal). Further, it is assumed that the information processing apparatus 200 and the information processing apparatus 610 are transmitting apparatuses having a wireless communication function, and the information processing apparatus 300 is a receiving apparatus having a wireless communication function.
  • the information processing apparatus 200 uses image data and audio data generated by the imaging operation as transmission targets.
  • the information processing device 610 uses an image displayed on the display unit 611 and audio output from an audio output unit (not shown) as transmission targets.
  • FIG. 14 is a diagram illustrating a transition example of images displayed on the display unit 351 of the information processing device 300 according to the second embodiment of the present technology.
  • FIG. 14 will be described together with the operation of the communication system 600 with reference to FIGS. 10 and 11.
  • the information processing apparatus 200 and the information processing apparatus 610 transmit a standard definition stream (image data and audio data) to the information processing apparatus 300 (steps S1001 and S1002).
  • the information processing apparatus 300 displays the images corresponding to the two streams transmitted from the information processing apparatus 200 and the information processing apparatus 610 on the display unit 351 with the same size.
  • the information processing apparatus 300 starts monitoring the images 621 and 622 such as which is being watched by the viewer and which is indicated by the remote controller (steps S1012, S1015).
  • the image 622 is being watched by the viewer, or the portion of the image 622 in the display unit 351 is pointed by the remote controller.
  • the attention level ⁇ sn regarding the image 622 is increased, and the attention level ⁇ sn regarding the image 621 is decreased.
  • the difference between the attention level ⁇ sn related to the image 621 and the attention level ⁇ sn related to the image 622 increases, and the attention level ⁇ sn ⁇ threshold p regarding the image 621 or the attention level ⁇ sn related to the image 622> threshold q It is assumed that
  • the information processing apparatus 300 makes a change request for reducing the sharpness (for example, a request to lower the resolution or the bit rate of sound). ) Is transmitted to the information processing apparatus 200 (step S1022). Further, when the degree of attention ⁇ sn> threshold value q regarding the image 622 is satisfied (step S1016), the information processing apparatus 300 makes a change request (for example, a request to increase the resolution or the bit rate of sound) to improve the clarity. ) Is transmitted to the information processing device 610 (step S1017).
  • the images corresponding to the two streams transmitted from the information processing apparatus 200 and the information processing apparatus 610 are reduced and the entire images (images 621 and 622) are displayed on the display unit 351.
  • An example is shown.
  • the setting is made so that the image area is fixed, and the processing relating to the change of the image area (steps S1018 and S1019) can be omitted.
  • step S1005 when the information processing apparatus 610 receives a change request for improving the sharpness (step S1005), the information processing apparatus 610 resets the sharpness of the image and the sound in response to the change request (step S1006). That is, according to the change request, setting for generating an image and sound with high definition is performed (step S1006). Subsequently, the information processing device 610 transmits the stream of image data and audio data generated after the resetting to the information processing device 300 (step S1002).
  • step S1005 when the information processing apparatus 200 receives a change request for reducing the sharpness (step S1005), the information processing apparatus 200 resets the sharpness of the image and the sound in response to the change request (step S1006). That is, according to the change request, settings for generating an image and sound with low definition are performed (step S1006). Subsequently, the information processing apparatus 200 transmits a stream of image data and audio data generated after the resetting to the information processing apparatus 300 (step S1002).
  • the information processing apparatus 300 receives two streams transmitted from the information processing apparatus 200 and the information processing apparatus 610 (step S1013). Subsequently, the information processing apparatus 300 displays each image corresponding to the received two streams on the display unit 351 (step S1014). In this case, the information processing apparatus 300 changes and displays the display content of each image according to the content of the received image data (step S1014). For example, as shown in FIG. 14b, the image 621 corresponding to the stream transmitted from the information processing apparatus 200 that has been set in accordance with the change request for reducing the sharpness is reduced and displayed (step S1014). On the other hand, the image 622 corresponding to the stream transmitted from the information processing apparatus 610 set according to the change request for improving the definition is enlarged and displayed (step S1014).
  • the information processing apparatus 300 transmits a stream transmission stop request (image data and audio data transmission stop request) to the information processing apparatus 200 (step S1023).
  • the information processing apparatus 200 receives a stream transmission stop request (step S1007)
  • the information processing apparatus 200 ends the stream transmission (step S1008).
  • step S1014 since the stream is not transmitted from the information processing apparatus 200, only the image 622 corresponding to the stream transmitted from the information processing apparatus 610 is displayed on the display unit 351 (step S1014). For example, the image 622 is displayed on the entire surface of the display unit 351 (step S1014).
  • control signal generation unit 370 of the information processing device 300 is based on the user information acquired by the user information acquisition unit 360, and the two streams transmitted from the information processing device 200 and the information processing device 610, respectively. Bandwidth control can be performed.
  • control may be performed so that the total bandwidth of the two streams transmitted from the information processing apparatus 200 and the information processing apparatus 610 is minimized.
  • the maximum allowable value of the total band is set in the control signal generation unit 370 of the information processing apparatus 300 on the reception side. Then, the control signal generation unit 370 transmits the change request for reducing the bit rate to the information processing apparatus 200, and then determines the bit rates of the two streams transmitted from each of the information processing apparatuses 200 and 610 as the stream reception unit. From 330. Subsequently, the control signal generation unit 370 calculates the total bandwidth of the two acquired streams.
  • control signal generation unit 370 determines the bit rate of the stream transmitted from the information processing device 610 within a range that does not exceed the set maximum allowable value, and receives a change request for improving the bit rate. Transmit to the processing device 610.
  • the second embodiment of the present technology even when a plurality of images / sounds transmitted from a plurality of transmitting devices are received by one receiving device, according to the user's operation / situation / intent.
  • appropriate transmission band control can be performed. For example, depending on the user's operation / situation / intent, a part of the plurality of image / audio streams can be reduced, and the remaining streams can be increased.
  • a receiving device receives and displays a plurality of image / sound streams, it is possible to automatically enjoy high-quality images / sounds that are important to the user from time to time. For other images and sounds, the band can be adjusted automatically.
  • FIG. 15 is a block diagram illustrating a system configuration example of a communication system 700 according to the third embodiment of the present technology.
  • the communication system 700 includes information processing apparatuses 710, 720, 730, 740, and 750.
  • the information processing devices 710, 720, 730, and 740 are transmitting devices having a wireless communication function, and correspond to the information processing device 200 illustrated in FIG.
  • the information processing device 750 is a receiving device having a wireless communication function, and corresponds to the information processing device 300 illustrated in FIG.
  • the information processing device 750 is, for example, a display device (for example, a television, a projector, a personal computer) having a wireless communication function or a portable information processing device (for example, a smartphone or a tablet terminal).
  • the information processing devices 710, 720, 730, and 740 are, for example, a display device (for example, a personal computer) or a portable information processing device (for example, a smartphone or a tablet terminal) having a wireless communication function.
  • the information processing devices 710, 720, 730, and 740 are intended to transmit images displayed on the display units 715, 725, 735, and 745 and audio output from an audio output unit (not shown).
  • FIG. 16 is a block diagram illustrating a functional configuration example of the information processing device 710 according to the third embodiment of the present technology.
  • the internal configuration of the information processing devices 720, 730, and 740 is the same as that of the information processing device 710. Therefore, only the information processing device 710 will be described here, and the description of the information processing devices 720, 730, and 740 will be omitted. To do.
  • the information processing apparatus 710 is obtained by modifying a part of the information processing apparatus 200 illustrated in FIG. For this reason, portions common to the information processing apparatus 200 are denoted by the same reference numerals, a part of these descriptions are omitted, and the description will focus on differences from the information processing apparatus 200.
  • the information processing apparatus 710 includes a user information acquisition unit 711 and a control signal generation unit 712.
  • the user information acquisition unit 711 acquires information about the user (user information) and outputs the acquired user information to the control signal generation unit 712.
  • the user information acquisition unit 711 corresponds to the user information acquisition unit 360 illustrated in FIG.
  • the control signal generation unit 712 performs band control of a stream to be transmitted to another information processing apparatus (for example, the information processing apparatus 750) based on the user information output from the user information acquisition unit 711. Specifically, the control signal generation unit 712 generates a control signal for performing the band control of the stream based on the user information output from the user information acquisition unit 711, and the generated control signal is transmitted to the control unit. Output to 240. Then, the control unit 240 controls the image / audio signal generation unit 250 and the image / audio compression unit 260 based on the generated control signal.
  • FIG. 17 is a block diagram illustrating a functional configuration example of the information processing device 750 according to the third embodiment of the present technology.
  • the information processing apparatus 750 is a modification of a part of the information processing apparatus 300 shown in FIG. For this reason, portions common to the information processing apparatus 300 are denoted by the same reference numerals, a part of the description thereof is omitted, and the description will focus on differences from the information processing apparatus 300.
  • the information processing device 750 is obtained by omitting the user information acquisition unit 360, the control signal generation unit 370, and the control signal transmission unit 380 in the information processing device 300 illustrated in FIG.
  • each user 11 to 14 who owns the information processing devices 710, 720, 730, and 740 performs a touch operation on the display units 715, 725, 735, and 745.
  • the content of the display screen displayed on each display unit is transmitted from each information processing device to the information processing device 750, and the display screen is assigned to the display screen of the display unit 351 of the information processing device 750 and displayed. Is done.
  • the content (A) of the display screen displayed on the display unit 715 is transmitted from the information processing device 710 to the information processing device 750, and the content (A) of the display screen is displayed on the display unit 351 of the information processing device 750. It is assigned and displayed on the screen (upper left).
  • each user 11 to 14 displays the content of the display screen displayed on the display unit 351 of the information processing device 750 by causing the display screen 351 of the information processing device 750 to display the content of the display screen. Can be shown to other users.
  • the calculation is performed based on the operation status of each user 11 to 14.
  • the attention degrees to be given are ⁇ A to ⁇ D. That is, the attention degree calculated based on the operation situation of the user 11 is ⁇ A, and the attention degree calculated based on the operation situation of the user 12 is ⁇ B. Also, let the attention degree calculated based on the operation status of the user 13 be ⁇ C, and the attention level calculated based on the operation status of the user 14 be ⁇ D.
  • the user 11 wants the other users 12 to 14 to pay attention to his display screen.
  • the user 11 notifies the other users 12 to 14 to that effect, and asks the other users 12 to 14 to interrupt the operation of the information processing apparatuses 720, 730, and 740. Then, the user 11 continues to operate the information processing apparatus 710, but allows other users 12 to 14 to see the display screen of the display unit 351 of the information processing apparatus 750.
  • the attention degree ⁇ A regarding the user 11 calculated by the control signal generation unit 712 increases, and the attention degrees ⁇ B to ⁇ D regarding the other users 12 to 14 decrease.
  • the information processing device 710 transmits an image stream with high definition to the information processing device 750.
  • the attention degrees ⁇ B to ⁇ D are reduced, the information processing devices 720, 730, and 740 transmit image streams with low definition to the information processing device 750.
  • the information processing apparatus 750 When the information processing apparatus 750 receives each of these image streams, the information processing apparatus 750 changes and displays the image corresponding to each image stream according to the definition. For example, since the image (A) corresponding to the image stream transmitted from the information processing device 710 has high definition, it can be displayed in an enlarged display or with an improved image quality than the other images (B to D). it can. By displaying in this way, it becomes easy for each user 11 to 14 to pay attention to the image (A) transmitted from the information processing device 710 naturally.
  • the images (B to D) corresponding to the image streams transmitted from the information processing devices 720, 730, and 740 are displayed with reduced image quality or worse than the image (A) because they have low definition. be able to.
  • a display example in this case is shown in FIG.
  • FIG. 18 is a diagram illustrating a transition example of images displayed on the display unit 351 of the information processing device 750 according to the third embodiment of the present technology. That is, a transition example from the image displayed on the display unit 351 shown in FIG. 15 is shown.
  • the image (A) corresponding to the image stream transmitted from the information processing device 710 is enlarged and displayed, and the other images (B to D) are reduced and displayed.
  • the example which calculates the attention degree for determining the definition based on the operation by the user is shown.
  • the degree of attention may be determined based on an application executed in each of the information processing apparatuses 710, 720, 730, and 740.
  • each information processing apparatus determines whether or not the score of the game of its own device is higher than that of other devices (other players). When the score of the game of the own device is higher than that of other devices (other players), it can be determined that the degree of attention is high. In this way, the information processing apparatus that has been determined to have a high degree of attention transmits a stream with a high image clarity.
  • user information can be acquired in the information processing apparatus on the transmission side, and appropriate transmission band control can be performed based on this user information.
  • appropriate transmission band control according to the user's operation / situation / intention can be performed.
  • the information processing apparatus on the reception side can also perform an operation related to the image transmitted from the information processing apparatus on the transmission side.
  • an operation screen transmission device operation screen
  • various operations can be performed on the transmission device operation screen.
  • an operation screen reception device operation screen
  • an operation screen reception device operation screen
  • various operations are performed on the operation screen of the reception device.
  • a plurality of operation screens can be displayed in this way, the user may not be able to determine which of the transmission device operation screen and the reception device operation screen is displayed.
  • FIG. 19 is a diagram illustrating a configuration example of a communication system 800 according to the fourth embodiment of the present technology.
  • FIG. 19 illustrates an example of a system configuration when two information processing apparatuses (information processing apparatuses 810 and 820) are directly wirelessly connected, as in the first to third embodiments of the present technology.
  • the communication system 800 includes information processing apparatuses 810 and 820.
  • the information processing device 810 is a transmission device having a wireless communication function, and corresponds to the information processing device 200 illustrated in FIG.
  • the information processing device 820 is a receiving device having a wireless communication function, and corresponds to the information processing device 300 illustrated in FIG.
  • the information processing apparatus 810 includes a display unit 811.
  • the information processing device 820 includes a display unit 821, operation members 822 to 824, and an imaging unit 825.
  • the operation members 822 to 824 are operation members for performing various operations.
  • the imaging unit 825 is an imaging unit (for example, a camera) that images a subject and generates image data.
  • the operation members 822 to 824 and the imaging unit 825 correspond to the user information acquisition unit 360 illustrated in FIG.
  • a stream is transmitted from the information processing device 810 to the information processing device 820 and an image corresponding to the stream is displayed on the display unit 821 of the information processing device 820.
  • the information processing apparatus 820 on the reception side can also perform operations on the information processing apparatus 810 on the transmission side.
  • both a transmission device operation screen 831 for performing an operation input to the information processing device 810 and a reception device operation screen 832 for performing an operation input to the information processing device 820 are processed. It can be displayed on the display unit 821 of the device 820.
  • the transmission device operation screen 831 and the reception device operation screen 832 may be displayed side by side, or one of the operation screens may be made translucent and the both operation screens may be displayed in an overlapping manner. Good. Further, only one of the operation screens may be displayed on the entire surface or partially displayed.
  • the transmission device operation screen 831 is displayed based on the stream transmitted from the information processing apparatus 810 on the transmission side.
  • the receiving device operation screen 832 is displayed by control in the information processing device 820.
  • both operation screens are displayed side by side, both operation screens are displayed in a superimposed manner, only one of the operation screens is displayed
  • which device is the operation screen for? May not be easily grasped by the user.
  • the user may not be able to easily grasp which device is the operation screen.
  • the information processing apparatus on the receiving side is a personal computer (PC) and a remote desktop application is executed using this PC.
  • the remote desktop application when the mouse cursor is located in a specific area of the display screen, a switch appears that switches between the image displayed on the display screen and the operation, either on the partner (transmitting device) side or on the own device (receiving device) ) You can choose which side.
  • OS Operating System
  • virtualization software for example, VMware, VirtualBox
  • the input is switched to the partner (guest OS) side after the area drawn by the software is clicked with the mouse, and the input is switched to the host (host OS) side after a special key operation is performed. It is like that.
  • FIG. 20 is a diagram illustrating an example of switching operation screens on the display unit 821 of the information processing device 820 according to the fourth embodiment of the present technology.
  • FIG. 20 shows an example of switching operation screens using a sensor (for example, a gyro sensor) built in the information processing apparatus 820.
  • the sensor corresponds to the user information acquisition unit 360 illustrated in FIG.
  • FIG. 20a shows an example in which the operation screen is switched by rotating the information processing apparatus 820. For example, by rotating 180 degrees about a vertical direction perpendicular to the display surface of the display unit 821 as a rotation axis, a transmission device operation screen for performing operation input to the transmission device and reception for performing operation input to the reception device Switch to the device operation screen. This rotation can be detected by, for example, a gyro sensor.
  • FIG. 20b shows an example of switching the operation screen by vibrating the information processing apparatus 820.
  • a transmission device operation screen for performing an operation input to the transmission device and a reception device operation screen for performing an operation input to the reception device can be switched.
  • This shaking operation can be detected by, for example, a gyro sensor.
  • the transmission device is configured to stop the transmission of the image.
  • An instruction may be issued.
  • FIG. 21 is a diagram illustrating an example in which each operation is switched according to the operation member of the information processing device 820 according to the fourth embodiment of the present technology.
  • FIG. 21 illustrates an example in which each operation is switched according to the display unit 821 and the imaging unit 825 built in the information processing apparatus 820.
  • the display unit 821 and the imaging unit 825 are assigned to an operation member for performing an operation input to the transmission device and an operation member for performing an operation input to the reception device, respectively.
  • the imaging unit 825 of the information processing device 820 is assigned as an operation member for performing an operation input to the transmission device
  • the display unit 821 (touch panel) of the information processing device 820 is an operation member for performing an operation input to the reception device. Assign as.
  • an operation input to the transmission device can be performed.
  • the imaging unit 825 captures the movement of the user's hand 20 and performs pattern matching to determine the operation content corresponding to the movement of the hand 20.
  • a known determination method for example, see Japanese Patent Application Laid-Open No. 2011-85966 can be used.
  • 21A shows an example in which operation input is performed by photographing a user's gesture using the imaging unit 825, but the operation input may be performed by inputting a voice from the user. .
  • the user can perform an operation input to the receiving device by performing an operation on the touch panel using the hand 20.
  • an image transmitted from the transmitting device may be displayed, and a receiving device operation screen may be displayed over the image.
  • a touch panel is provided on two surfaces (for example, the front side and the back side) of the information processing apparatus on the reception side.
  • one surface (touch panel) is assigned as an operation member for performing operation input to the transmitting device
  • the other surface (touch panel) is assigned as an operation member for performing operation input to the receiving device. can do.
  • the operation when an operation input to the transmission device or an operation input to the reception device is performed, the operation can be easily performed without using an operation member such as a mouse or a keyboard. Operation input can be performed.
  • the information processing apparatuses 200, 300, 510, 520, 610, 710, 720, 730, 740, 750, 810, and 820 are smartphones, tablet PCs (Personal Computers), notebook PCs, portable game terminals, digital cameras, and the like. It may be realized as a mobile terminal, a television receiver, a fixed terminal such as a printer, a digital scanner or a network storage, or an in-vehicle terminal such as a car navigation device.
  • the information processing devices 200, 300, 510, 520, 610, 710, 720, 730, 740, 750, 810, and 820 are smart meters, vending machines, remote monitoring devices, POS (Point Of Sale) terminals, and the like. It may be realized as a terminal (also referred to as an MTC (Machine Type Communication) terminal) that performs M2M (Machine To Machine) communication. Further, the information processing apparatuses 200, 300, 510, 520, 610, 710, 720, 730, 740, 750, 810, and 820 are wireless communication modules (for example, integrated configurations formed by one die) mounted on these terminals. Circuit module).
  • MTC Machine Type Communication
  • FIG. 22 is a block diagram illustrating an example of a schematic configuration of a smartphone 900 to which the technology according to the present disclosure may be applied.
  • the smartphone 900 includes a processor 901, a memory 902, a storage 903, an external connection interface 904, a camera 906, a sensor 907, a microphone 908, an input device 909, a display device 910, a speaker 911, a wireless communication interface 913, an antenna switch 914, an antenna 915, A bus 917, a battery 918, and an auxiliary controller 919 are provided.
  • the processor 901 may be a CPU (Central Processing Unit) or a SoC (System on Chip), for example, and controls the functions of the application layer and other layers of the smartphone 900.
  • the memory 902 includes a RAM (Random Access Memory) and a ROM (Read Only Memory), and stores programs executed by the processor 901 and data.
  • the storage 903 can include a storage medium such as a semiconductor memory or a hard disk.
  • the external connection interface 904 is an interface for connecting an external device such as a memory card or a USB (Universal Serial Bus) device to the smartphone 900.
  • the camera 906 includes, for example, an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and generates a captured image.
  • the sensor 907 may include a sensor group such as a positioning sensor, a gyro sensor, a geomagnetic sensor, and an acceleration sensor.
  • the microphone 908 converts sound input to the smartphone 900 into an audio signal.
  • the input device 909 includes, for example, a touch sensor that detects a touch on the screen of the display device 910, a keypad, a keyboard, a button, or a switch, and receives an operation or information input from a user.
  • the display device 910 has a screen such as a liquid crystal display (LCD) or an organic light emitting diode (OLED) display, and displays an output image of the smartphone 900.
  • the speaker 911 converts an audio signal output from the smartphone 900 into audio.
  • the wireless communication interface 913 supports one or more wireless LAN standards such as IEEE802.11a, 11b, 11g, 11n, 11ac, and 11ad, and performs wireless communication.
  • the wireless communication interface 913 can communicate with other devices via a wireless LAN access point in the infrastructure mode.
  • the wireless communication interface 913 can directly communicate with other devices in the ad hoc mode.
  • the wireless communication interface 913 can typically include a baseband processor, an RF (Radio Frequency) circuit, a power amplifier, and the like.
  • the wireless communication interface 913 may be a one-chip module in which a memory that stores a communication control program, a processor that executes the program, and related circuits are integrated.
  • the wireless communication interface 913 may support other types of wireless communication methods such as a short-range wireless communication method, a proximity wireless communication method, or a cellular communication method in addition to the wireless LAN method.
  • the antenna switch 914 switches the connection destination of the antenna 915 among a plurality of circuits (for example, circuits for different wireless communication schemes) included in the wireless communication interface 913.
  • the antenna 915 includes a single antenna element or a plurality of antenna elements (for example, a plurality of antenna elements constituting a MIMO antenna), and is used for transmission and reception of radio signals by the radio communication interface 913.
  • the smartphone 900 is not limited to the example in FIG. 22, and may include a plurality of antennas (for example, an antenna for a wireless LAN and an antenna for a proximity wireless communication method). In that case, the antenna switch 914 may be omitted from the configuration of the smartphone 900.
  • the bus 917 connects the processor 901, memory 902, storage 903, external connection interface 904, camera 906, sensor 907, microphone 908, input device 909, display device 910, speaker 911, wireless communication interface 913, and auxiliary controller 919 to each other.
  • the battery 918 supplies power to each block of the smartphone 900 illustrated in FIG. 22 through a power supply line partially illustrated by a broken line in the drawing.
  • the auxiliary controller 919 operates the minimum necessary functions of the smartphone 900 in the sleep mode.
  • control unit 240 described with reference to FIG. 2 may be implemented in the wireless communication interface 913.
  • control signal generation unit 370 described with reference to FIG. 3 may be implemented in the wireless communication interface 913.
  • control unit 240 and the control signal generation unit 712 described with reference to FIG. 16 may be implemented in the wireless communication interface 913.
  • at least a part of these functions may be implemented in the processor 901 or the auxiliary controller 919.
  • the smartphone 900 may operate as a wireless access point (software AP) when the processor 901 executes the access point function at the application level. Further, the wireless communication interface 913 may have a wireless access point function.
  • FIG. 23 is a block diagram illustrating an example of a schematic configuration of a car navigation device 920 to which the technology according to the present disclosure can be applied.
  • the car navigation apparatus 920 includes a processor 921, a memory 922, a GPS (Global Positioning System) module 924, a sensor 925, a data interface 926, a content player 927, a storage medium interface 928, an input device 929, a display device 930, a speaker 931, and wireless communication.
  • An interface 933, an antenna switch 934, an antenna 935, and a battery 938 are provided.
  • the processor 921 may be a CPU or SoC, for example, and controls the navigation function and other functions of the car navigation device 920.
  • the memory 922 includes RAM and ROM, and stores programs and data executed by the processor 921.
  • the GPS module 924 measures the position (for example, latitude, longitude, and altitude) of the car navigation device 920 using GPS signals received from GPS satellites.
  • the sensor 925 may include a sensor group such as a gyro sensor, a geomagnetic sensor, and an atmospheric pressure sensor.
  • the data interface 926 is connected to the in-vehicle network 941 through a terminal (not shown), for example, and acquires data generated on the vehicle side such as vehicle speed data.
  • the content player 927 reproduces content stored in a storage medium (for example, CD or DVD) inserted into the storage medium interface 928.
  • the input device 929 includes, for example, a touch sensor, a button, or a switch that detects a touch on the screen of the display device 930, and receives an operation or information input from the user.
  • the display device 930 has a screen such as an LCD or an OLED display, and displays a navigation function or an image of content to be reproduced.
  • the speaker 931 outputs the navigation function or the audio of the content to be played back.
  • the wireless communication interface 933 supports one or more wireless LAN standards such as IEEE802.11a, 11b, 11g, 11n, 11ac, and 11ad, and executes wireless communication.
  • the wireless communication interface 933 can communicate with other devices via a wireless LAN access point in the infrastructure mode.
  • the wireless communication interface 933 can directly communicate with other devices in the ad hoc mode.
  • the wireless communication interface 933 may typically include a baseband processor, an RF circuit, a power amplifier, and the like.
  • the wireless communication interface 933 may be a one-chip module in which a memory that stores a communication control program, a processor that executes the program, and related circuits are integrated.
  • the wireless communication interface 933 may support other types of wireless communication systems such as a short-range wireless communication system, a proximity wireless communication system, or a cellular communication system.
  • the antenna switch 934 switches the connection destination of the antenna 935 among a plurality of circuits included in the wireless communication interface 933.
  • the antenna 935 includes a single antenna element or a plurality of antenna elements, and is used for transmission and reception of a radio signal by the radio communication interface 933.
  • the car navigation device 920 is not limited to the example of FIG. 23 and may include a plurality of antennas. In that case, the antenna switch 934 may be omitted from the configuration of the car navigation device 920.
  • the battery 938 supplies power to each block of the car navigation device 920 shown in FIG. 23 through a power supply line partially shown by broken lines in the drawing. Further, the battery 938 stores electric power supplied from the vehicle side.
  • control unit 240 described with reference to FIG. 2 may be implemented in the wireless communication interface 933.
  • the control signal generation unit 370 described with reference to FIG. 3 may be implemented in the wireless communication interface 933.
  • the control unit 240 and the control signal generation unit 712 described with reference to FIG. 16 may be implemented in the wireless communication interface 933. Further, at least a part of these functions may be implemented in the processor 921.
  • the technology according to the present disclosure may be realized as an in-vehicle system (or vehicle) 940 including one or more blocks of the car navigation device 920 described above, an in-vehicle network 941, and a vehicle side module 942.
  • vehicle-side module 942 generates vehicle-side data such as vehicle speed, engine speed, or failure information, and outputs the generated data to the in-vehicle network 941.
  • a communication system that transmits an image and sound output from the information processing apparatus (or an image and sound generated by an imaging operation of the information processing apparatus) to another information processing apparatus in real time through a network and outputs them. think of.
  • image / audio information is compressed and transmitted over the network.
  • the image / sound information has a larger capacity than the character information, and the higher the definition of the image / sound before compression, the greater the processing amount required for compression and transmission. Furthermore, the transmitted information requires a wide network bandwidth.
  • the processing amount required for reception / development / output becomes large as in the information processing apparatus on the transmission side.
  • the processing capacity per unit time of the information processing apparatus and the network bandwidth between the information processing apparatuses on the transmission side and the reception side are limited. For this reason, in the communication system (or the environment where the communication system exists), it is necessary to reduce the processing amount and the network bandwidth depending on the usage state of the information processing apparatus. For example, when other processing is performed in the information processing apparatus on the transmission side and the reception side, or when the information processing apparatus (transmission side or reception side) separately uses the network bandwidth on the connected network Needs to reduce the amount of processing and network bandwidth.
  • the sharpness can be adjusted by the user who is viewing the content operating the “image quality” option.
  • the operation content is notified to the moving image distribution server via the network.
  • This notification it is possible to increase the sharpness (increase the processing amount and the bandwidth) and decrease the sharpness (to reduce the processing amount and the bandwidth).
  • This method requires a unique judgment by the user who is viewing, and requires an operation of the information processing apparatus on the receiving side accordingly.
  • the user's own judgment is, for example, confirming that the moving image is caught during playback, and empirically determining whether the CPU time allocation necessary for expanding / displaying the moving image is insufficient or the network quality is poor. That is.
  • the sharpness of an image transmitted from a transmission device is lowered in order to reduce the bandwidth and the processing amount.
  • the image displayed (or photographed) on the transmission device has a larger amount of information and resolution than the image displayed on the reception device. For this reason, it is necessary to change the area of the image to be received by operating the display screen of the receiving device, and display a desired image so as to match the display screen of the receiving device. It becomes.
  • user information (for example, user operation / situation / intention) is acquired by a transmitting device or a receiving device, and the bandwidth control of a stream output from the receiving device is performed on the user information. It can be used for. That is, according to the embodiment of the present technology, it is possible to perform appropriate transmission band control according to the user's operation / situation / intention.
  • the display device having the wireless communication function, the portable information processing device, and the like have been described as examples.
  • the present technology may be applied to other information processing devices having the wireless communication function.
  • Forms can be applied.
  • the present invention can be applied to information processing devices such as home game devices, portable video processing devices, portable game devices, and digital photo frames.
  • an information processing apparatus for example, a personal computer that does not have a wireless communication function capable of performing wireless communication by mounting a wireless communication device having a wireless communication function is also an embodiment of the present technology. Can be applied.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray (registered trademark) Disc, or the like can be used.
  • this technique can also take the following structures.
  • An acquisition unit that acquires user information generated by a user operation when information based on a stream communicated with another information processing apparatus using wireless communication is output from the output unit;
  • An information processing apparatus comprising: a control unit that performs bandwidth control of the stream based on the acquired user information.
  • the information processing apparatus further includes the output unit, The output unit outputs information based on the stream transmitted from the other information processing apparatus;
  • the output unit outputs information based on each stream transmitted from the plurality of other information processing devices, The information processing apparatus according to (2), wherein the control unit performs bandwidth control of each stream based on the acquired user information.
  • the output unit is a display unit that displays an image based on the stream, The information processing apparatus according to any one of (1) to (4), wherein the acquisition unit acquires user information generated by a user operation relating to the image displayed on the display unit. (6) The information processing apparatus according to (5), wherein the control unit performs control for changing a definition of the image based on the acquired user information.
  • the information processing apparatus performs control for changing a display area of the image on the display unit based on the acquired user information.
  • the control unit performs control for changing a size of the image in the display unit based on the acquired user information.
  • the acquisition unit acquires user information generated based on a user's gaze point in the image displayed on the display unit.
  • the acquisition unit acquires user information generated based on a user operation related to the image displayed on the display unit.
  • the other information processing apparatus further includes the output unit, The output unit outputs information based on the stream transmitted from the information processing apparatus; The information processing apparatus according to (1), wherein the control unit performs bandwidth control of the stream to be transmitted to the other information processing apparatus based on the acquired user information.
  • An acquisition procedure for acquiring user information generated by a user operation when information based on a stream communicated with another information processing apparatus using wireless communication is output from the output unit; An information processing method comprising: a control procedure for performing bandwidth control of the stream based on the acquired user information.
  • An acquisition procedure for acquiring user information generated by a user operation when information based on a stream communicated with another information processing apparatus using wireless communication is output from the output unit;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　適切な伝送帯域制御を行う。　情報処理装置は、取得部および制御部を具備する。ここで、取得部は、無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得するものである。また、制御部は、その取得部より取得されたユーザ情報に基づいて、無線通信を利用して他の情報処理装置との間で通信されるストリームの帯域制御を行うものである。

Description

情報処理装置、情報処理方法およびプログラム
　本技術は、情報処理装置に関する。詳しくは、無線通信を利用して各種情報のやり取りを行う情報処理装置および情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　従来、無線通信を利用して各種データのやり取りを行う無線通信技術が存在する。例えば、２つの無線通信装置間において無線通信により各種データのやり取りを行う情報交換装置が提案されている（例えば、特許文献１参照。）。
特開２００８－２７８３８８号公報
　上述の従来技術によれば、有線回線で接続しなくても無線通信により２つの無線通信装置間において各種データのやり取りを行うことができる。例えば、送信側の情報処理装置から送信された画像データに基づく画像を、受信側の情報処理装置の表示部に表示させることができる。
　このように、送信側の情報処理装置から送信された画像データに基づく画像を、受信側の情報処理装置が表示部に表示している場合に、ユーザは、その画像の一部のみに注目していることも想定される。また、ユーザは、その画像の視聴以外のことを行うことも想定される。このため、ユーザの状況に応じた適切な伝送帯域制御を行うことが重要である。
　本技術はこのような状況に鑑みて生み出されたものであり、適切な伝送帯域制御を行うことを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得部と、上記取得されたユーザ情報に基づいて上記ストリームの帯域制御を行う制御部とを具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、取得されたユーザ情報に基づいてストリームの帯域制御を行うという作用をもたらす。
　また、この第１の側面において、上記情報処理装置は、上記出力部をさらに具備し、上記出力部は、上記他の情報処理装置から送信された上記ストリームに基づく情報を出力し、上記制御部は、上記取得されたユーザ情報に基づいて上記他の情報処理装置から送信される上記ストリームの帯域制御を行うようにしてもよい。これにより、取得されたユーザ情報に基づいて、他の情報処理装置から送信されるストリームの帯域制御を行うという作用をもたらす。
　また、この第１の側面において、上記出力部は、複数の上記他の情報処理装置から送信された各ストリームに基づく情報をそれぞれ出力し、上記制御部は、上記取得されたユーザ情報に基づいて上記各ストリームの帯域制御を行うようにしてもよい。これにより、取得されたユーザ情報に基づいて、各ストリームの帯域制御を行うという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記他の情報処理装置から送信される上記ストリームの帯域制御を行うための制御信号を上記他の情報処理装置に送信するようにしてもよい。これにより、他の情報処理装置から送信されるストリームの帯域制御を行うための制御信号を他の情報処理装置に送信するという作用をもたらす。
　また、この第１の側面において、上記出力部は、上記ストリームに基づく画像を表示する表示部であり、上記取得部は、上記表示部に表示されている上記画像に関するユーザ動作により生じるユーザ情報を取得するようにしてもよい。これにより、表示部に表示されている画像に関するユーザ動作により生じるユーザ情報を取得するという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記取得されたユーザ情報に基づいて上記画像の鮮明度を変更するための制御を行うようにしてもよい。これにより、取得されたユーザ情報に基づいて、画像の鮮明度を変更するための制御を行うという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記取得されたユーザ情報に基づいて上記表示部における上記画像の表示領域を変更するための制御を行うようにしてもよい。これにより、取得されたユーザ情報に基づいて、表示部における画像の表示領域を変更するための制御を行うという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記取得されたユーザ情報に基づいて上記表示部における上記画像のサイズを変更するための制御を行うようにしてもよい。これにより、取得されたユーザ情報に基づいて、表示部における画像のサイズを変更するための制御を行うという作用をもたらす。
　また、この第１の側面において、上記取得部は、上記表示部に表示されている上記画像におけるユーザの注視点に基づいて生成されるユーザ情報を取得するようにしてもよい。これにより、表示部に表示されている画像におけるユーザの注視点に基づいて生成されるユーザ情報を取得するという作用をもたらす。
　また、この第１の側面において、上記取得部は、上記表示部に表示されている上記画像に関するユーザ操作に基づいて生成されるユーザ情報を取得するようにしてもよい。これにより、表示部に表示されている画像に関するユーザ操作に基づいて生成されるユーザ情報を取得するという作用をもたらす。
　また、この第１の側面において、上記他の情報処理装置は、上記出力部をさらに具備し、上記出力部は、上記情報処理装置から送信された上記ストリームに基づく情報を出力し、上記制御部は、上記取得されたユーザ情報に基づいて上記他の情報処理装置に送信する上記ストリームの帯域制御を行うようにしてもよい。これにより、取得されたユーザ情報に基づいて、他の情報処理装置に送信するストリームの帯域制御を行うという作用をもたらす。
　本技術によれば、適切な伝送帯域制御を行うことができるという優れた効果を奏し得る。
本技術の第１の実施の形態における通信システム１００の構成例を示す図である。 本技術の第１の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。 本技術の実施の形態における情報処理装置３００の機能構成例を示すブロック図である。 本技術の第１の実施の形態におけるユーザ情報取得部３６０によるユーザの注視点の検出方法の一例を模式的に示す図である。 本技術の第１の実施の形態におけるユーザ情報取得部３６０によるユーザの注視点の検出方法の一例を模式的に示す図である。 本技術の第１の実施の形態における制御信号生成部３７０によるユーザの注目度の算出方法の一例を模式的に示す図である。 本技術の第１の実施の形態における表示部３５１に表示される画像の遷移例を示す図である。 本技術の第１の実施の形態における制御信号生成部３７０によるユーザの注目位置の変化ベクトルの算出方法の一例を模式的に示す図である。 本技術の第１の実施の形態における表示部３５１に表示される画像の遷移例を示す図である。 本技術の第１の実施の形態における情報処理装置２００によるデータ送信制御処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における情報処理装置３００によるデータ受信制御処理の処理手順の一例を示すフローチャートである。 本技術の第１の実施の形態における通信システム５００の構成例を示す図である。 本技術の第２の実施の形態における通信システム６００のシステム構成例を示すブロック図である。 本技術の第２の実施の形態における情報処理装置３００の表示部３５１に表示される画像の遷移例を示す図である。 本技術の第３の実施の形態における通信システム７００のシステム構成例を示すブロック図である。 本技術の第３の実施の形態における情報処理装置７１０の機能構成例を示すブロック図である。 本技術の第３の実施の形態における情報処理装置７５０の機能構成例を示すブロック図である。 本技術の第３の実施の形態における情報処理装置７５０の表示部３５１に表示される画像の遷移例を示す図である。 本技術の第４の実施の形態における通信システム８００の構成例を示す図である。 本技術の第４の実施の形態における情報処理装置８２０の表示部８２１における操作画面の切り替え例を示す図である。 本技術の第４の実施の形態における情報処理装置８２０の操作部材に応じて各操作を切り替える例を示す図である。 スマートフォンの概略的な構成の一例を示すブロック図である。 カーナビゲーション装置の概略的な構成の一例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（帯域制御：受信側の情報処理装置においてユーザ情報を取得し、このユーザ情報に基づいて帯域制御を行う例）
　２．第２の実施の形態（帯域制御：３つの情報処理装置間において無線通信を行う場合に、ユーザ情報に基づいて帯域制御を行う例）
　３．第３の実施の形態（帯域制御：送信側の情報処理装置においてユーザ情報を取得し、このユーザ情報に基づいて帯域制御を行う例）
　４．第４の実施の形態（帯域制御：送信機器および受信機器に関する操作を容易に行う例）
　５．応用例
　＜１．第１の実施の形態＞
　［通信システムの構成例］
　図１は、本技術の第１の実施の形態における通信システム１００の構成例を示す図である。図１では、２つの情報処理装置（情報処理装置２００および３００）を直接無線接続する際におけるシステム構成の一例を示す。
　通信システム１００は、情報処理装置２００および３００を備える。情報処理装置２００は、例えば、無線通信機能を備える送信機器（例えば、画像（映像）および音声をネットワークを通じて送信する電子機器）である。また、情報処理装置３００は、例えば、無線通信機能を備える受信機器（例えば、ネットワークから受信した画像および音声を出力する電子機器）である。
　例えば、情報処理装置２００および３００は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１仕様に準拠した無線通信装置である。そして、情報処理装置２００および３００は、無線通信機能を利用して各種情報のやり取りを行うことができる。
　ここで、通信システム１００に用いられる無線通信として、例えば、無線ＬＡＮ（Local Area Network）を用いることができる。この無線ＬＡＮとして、例えば、Ｗｉ－Ｆｉ（Wireless Fidelity）　Ｄｉｒｅｃｔ、ＴＤＬＳ（Tunneled Direct Link Setup）、アドホックネットワークを用いることができる。また、通信システム１００に用いられる近距離無線ＡＶ（Audio Visual）伝送通信として、例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔを用いることができる。なお、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔは、Ｗｉ－Ｆｉ　ＤｉｒｅｃｔやＴＤＬＳの技術を利用して、一方の端末で再生される音声や表示映像を他の端末に送信し、他の端末でも同様にその音声、映像データを出力させるミラーリング技術である。
　また、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）上でＵＩＢＣ（User Input Back Channel）を実現している。ＵＩＢＣは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。なお、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの代わりに、他のリモートデスクトップソフトウェア（例えば、ＶＮＣ（Virtual Network Computing））を適用するようにしてもよい。
　情報処理装置２００は、被写体を撮像して画像データを生成するとともに、この画像データの生成時における周囲の音声を取得する。そして、情報処理装置２００は、その生成された画像データと、その取得された音声に関するデータ（音声データ）とを情報処理装置３００に送信する。例えば、図１では、情報処理装置２００は、ペンギンの人形と、蟹の人形とを被写体として情報処理装置２００により生成された画像データと、この生成時に取得された音声に関するデータ（音声データ）とを情報処理装置３００に送信する。そして、情報処理装置３００は、情報処理装置２００から送信された画像データに基づく画像（ペンギンの人形、蟹の人形）を表示部３５１に表示する。また、情報処理装置３００は、情報処理装置２００から送信された音声データに基づく音声を音声出力部３５２（図３に示す）から出力する。この場合に、情報処理装置３００のユーザ情報取得部３６０（図３に示す）は、ユーザに関する情報（ユーザ情報）を取得する。例えば、撮像部３６１によりユーザの顔が撮像されて画像データが生成され、この画像データに基づいてユーザの注視点が検出される。
　なお、情報処理装置２００は、例えば、無線通信機能を備える撮像装置（例えば、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））である。また、情報処理装置３００は、例えば、無線通信機能を備える表示装置（例えば、テレビジョン、プロジェクタ、パーソナルコンピュータ）や携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。なお、図１では、情報処理装置２００として、無線通信機能を備える撮像装置を例にして説明するが、情報処理装置２００として、カメラを搭載した電子機器（例えば、パソコン、ゲーム機、スマートフォン、タブレット端末）を用いるようにしてもよい。また、図１では、情報処理装置３００として、無線通信機能を備える表示装置を例にして説明するが、情報処理装置３００として、表示部を備える他の電子機器（例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末）を用いるようにしてもよい。
　ここで、例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、画像（映像）はＨ．２６４を用いて圧縮・展開すると定められている。また、例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔでは、Ｈ．２６４を送信側で調整することができる。
　［情報処理装置（送信側）の構成例］
　図２は、本技術の第１の実施の形態における情報処理装置２００の機能構成例を示すブロック図である。
　情報処理装置２００は、アンテナ２１０と、無線通信部２２０と、制御信号受信部２３０と、制御部２４０と、画像・音声信号生成部２５０と、画像・音声圧縮部２６０と、ストリーム送信部２７０とを備える。
　無線通信部２２０は、無線通信を利用して、他の情報処理装置（例えば、情報処理装置３００）との間で各情報（例えば、画像データ（映像データ）および音声データ）の送受信をアンテナ２１０を介して行うものである。例えば、画像データの送信処理が行われる場合には、画像・音声信号生成部２５０により生成された画像データが画像・音声圧縮部２６０により圧縮され、この圧縮された画像データ（画像ストリーム）が無線通信部２２０を経由してアンテナ２１０から送信される。
　制御信号受信部２３０は、無線通信部２２０により受信された各情報のうちから、他の情報処理装置（例えば、情報処理装置３００）から送信された制御信号を取得するものであり、取得された制御信号を制御部２４０に出力する。
　制御部２４０は、情報処理装置２００から送信される各情報に関する制御を行うものである。例えば、制御部２４０は、制御信号受信部２３０により受信された制御信号に基づいて、画像・音声信号生成部２５０および画像・音声圧縮部２６０に対する制御を行う。例えば、制御部２４０は、送信対象となる画像データの鮮明度を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行う。すなわち、制御部２４０は、制御信号受信部２３０により受信された制御信号に基づいて、送信対象となるストリームの帯域制御を行う。
　ここで、帯域は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、鮮明度は、画像データの解像度（縦・横のピクセル数）、画像データのビットレート（圧縮率）等の要素から構成される画質の指標である。また、鮮明度は、設定対象となる情報として把握することができる。
　画像・音声信号生成部２５０は、出力対象となるデータ（画像データ、音声データ）を生成するものであり、生成されたデータを画像・音声圧縮部２６０に出力する。例えば、画像・音声信号生成部２５０は、撮像部（図示せず）および音声取得部（図示せず）を備える。この撮像部（例えば、レンズ、撮像素子、信号処理回路）は、被写体を撮像して画像（画像データ）を生成するものである。また、音声取得部（例えば、マイク）は、その画像データの生成時における周囲の音声を取得するものである。このように生成されたデータは、他の情報処理装置（例えば、情報処理装置３００）への送信対象となる。
　画像・音声圧縮部２６０は、制御部２４０の制御に基づいて、画像・音声信号生成部２５０により生成されたデータ（画像データおよび音声データ）を圧縮（エンコード）するものである。そして、画像・音声圧縮部２６０は、その圧縮されたデータ（画像データおよび音声データ）をストリーム送信部２７０に出力する。なお、画像・音声圧縮部２６０は、ソフトウェアによるエンコードの実行により実現するようにしてもよく、ハードウエアによるエンコードの実行により実現するようにしてもよい。
　ストリーム送信部２７０は、画像・音声圧縮部２６０により圧縮されたデータ（画像データおよび音声データ）をストリームとして無線通信部２２０を経由してアンテナ２１０から送信する送信処理を行うものである。
　なお、情報処理装置２００は、上述した各部以外にも、表示部、音声出力部、操作受付部等を備えることができるが、これらについては、図２での図示を省略する。また、情報処理装置２００が、送信対象となる画像データおよび音声データを生成する例を示すが、情報処理装置２００は、送信対象となる画像データおよび音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置２００は、マイクロフォン付きのＷｅｂカメラから、送信対象となる画像データおよび音声データを取得するようにしてもよい。
　表示部（図示せず）は、例えば、画像・音声信号生成部２５０により生成された画像を表示する表示部である。なお、表示部として、例えば、有機ＥＬ（Electro Luminescence）、ＬＣＤ（Liquid Crystal Display）等の表示パネルを用いることができる。
　音声出力部（図示せず）は、例えば、画像・音声信号生成部２５０により生成された音声を出力する音声出力部（例えば、スピーカ）である。なお、画像については、送信機器および受信機器の双方から出力することもできるが、音声については何れか一方のみから出力することが好ましい。
　操作受付部（図示せず）は、ユーザにより行われた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクである。なお、操作受付部および表示部については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。
　［情報処理装置（受信側）の構成例］
　図３は、本技術の実施の形態における情報処理装置３００の機能構成例を示すブロック図である。
　情報処理装置３００は、アンテナ３１０と、無線通信部３２０と、ストリーム受信部３３０と、画像・音声展開部３４０と、画像・音声出力部３５０と、ユーザ情報取得部３６０と、制御信号生成部３７０と、制御信号送信部３８０とを備える。
　無線通信部３２０は、無線通信を利用して、他の情報処理装置（例えば、情報処理装置２００）との間で各情報（例えば、画像データおよび音声データ）の送受信をアンテナ３１０を介して行うものである。例えば、画像データの受信処理が行われる場合には、アンテナ３１０により受信された画像データが、無線通信部３２０、ストリーム受信部３３０を経由して画像・音声展開部３４０により展開（復号）される。そして、その展開された画像データが画像・音声出力部３５０に供給され、その展開された画像データに応じた画像が画像・音声出力部３５０から出力される。すなわち、その展開された画像データに応じた画像が表示部３５１に表示される。
　ストリーム受信部３３０は、無線通信部３２０により受信された各情報のうちから、ストリーム（画像ストリーム（映像ストリーム）、音声ストリーム）を受信するものであり、受信したストリームを画像・音声展開部３４０および制御信号生成部３７０に出力する。
　画像・音声展開部３４０は、他の情報処理装置（例えば、情報処理装置２００）から送信されたデータ（ストリーム（（画像データおよび音声データ））を展開（デコード）するものである。そして、画像・音声展開部３４０は、その展開されたデータ（画像データおよび音声データ）を画像・音声出力部３５０に出力する。なお、画像・音声展開部３４０は、ソフトウェアによるデコードの実行により実現するようにしてもよく、ハードウエアによるデコードの実行により実現するようにしてもよい。
　画像・音声出力部３５０は、表示部３５１および音声出力部３５２を備える。
　表示部３５１は、画像・音声展開部３４０により展開された画像データに基づく各画像（例えば、図１に示す表示画面）を表示する表示部である。なお、表示部３５１として、例えば、有機ＥＬパネル、ＬＣＤパネル等の表示パネルを用いることができる。なお、表示部３５１として、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いるようにしてもよい。
　音声出力部３５２は、画像・音声展開部３４０により展開された音声データに基づく各種音声（表示部３５１に表示された画像に関する音声等）を出力する音声出力部（例えば、スピーカ）である。
　ユーザ情報取得部３６０は、ユーザに関する情報（ユーザ情報）を取得するものであり、その取得されたユーザ情報を制御信号生成部３７０に出力する。例えば、ユーザ情報取得部３６０は、撮像部３６１（図１に示す）、顔検出部、黒目検出部、操作受付部（キーボード、マウス、リモコン、ゲームパッド、タッチパネル）、マイク、各種センサ（例えば、ジャイロセンサ、人体を感知するセンサ）を備える。そして、ユーザ情報取得部３６０は、これらの各部によりユーザ情報を取得する。なお、操作受付部は、例えば、表示部３５１に表示される画像における任意の領域を指定するための操作部材である。
　例えば、ユーザ情報取得部３６０は、無線通信を利用して他の情報処理装置（例えば、情報処理装置２００）から受信したストリームに基づく情報が画像・音声出力部３５０から出力されている際におけるユーザ動作により生じるユーザ情報を取得する。このユーザ情報は、例えば、表示部３５１に表示されている画像に関するユーザ動作により生じるユーザ情報である。例えば、ユーザ情報は、表示部３５１に表示されている画像におけるユーザの注視点に基づいて生成されるユーザ情報である。また、例えば、ユーザ情報は、表示部３５１に表示されている画像に関するユーザ操作に基づいて生成される情報である。なお、ユーザ情報取得部３６０は、請求の範囲に記載の取得部の一例である。
　制御信号生成部３７０は、ユーザ情報取得部３６０から出力されたユーザ情報に基づいて、他の情報処理装置（例えば、情報処理装置２００）から送信されるストリームの帯域制御を行うものである。具体的には、制御信号生成部３７０は、ユーザ情報取得部３６０から出力されたユーザ情報に基づいて、ストリームの帯域制御を行うための制御信号を生成し、この生成された制御信号を制御信号送信部３８０に出力する。例えば、制御信号生成部３７０は、ユーザ情報取得部３６０から出力されたユーザ情報に基づいて、表示部３５１に表示される画像の鮮明度を変更するための制御信号を生成する。また、例えば、制御信号生成部３７０は、ユーザ情報取得部３６０から出力されたユーザ情報に基づいて、表示部３５１における画像の表示領域を変更するための制御信号を生成する。また、例えば、制御信号生成部３７０は、ユーザ情報取得部３６０から出力されたユーザ情報に基づいて、表示部３５１における画像のサイズを変更するための制御信号を生成する。なお、制御信号生成部３７０は、請求の範囲に記載の制御部の一例である。
　制御信号送信部３８０は、制御信号生成部３７０から出力された制御信号を無線通信部３２０、アンテナ３１０を介して、他の無線通信装置に送信する送信処理を行うものである。
　［注視点の検出例］
　図４および図５は、本技術の第１の実施の形態におけるユーザ情報取得部３６０によるユーザの注視点の検出方法の一例を模式的に示す図である。
　図４のａには、ユーザ情報取得部３６０により生成される画像（画像４００）を簡略化して示す。画像４００は、撮像部３６１により生成される画像（画像データ）の一例であり、例えば、図１に示す情報処理装置３００の前に存在するユーザ５０の顔が含まれているものとする。なお、画像４００に含まれているユーザ５０の顔は、顔検出部（図示せず）により検出される。また、画像４００に含まれているユーザ５０の両眼（右眼５１および左眼５２）における黒目は、黒目検出部（図示せず）により検出される。
　顔検出部は、撮像部３６１により生成された画像データに含まれる人物の顔を検出するものである。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４－１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像データ（画像）上における位置およびサイズが含まれる。なお、検出された顔の画像データ上における位置は、例えば、画像データ上における顔画像の左上の位置とし、検出された顔の画像データ上におけるサイズは、例えば、画像データ上における顔画像の水平方向および垂直方向の長さとすることができる。この顔検出情報により、画像データ上における顔の少なくとも一部を含む矩形状の画像データである顔画像を特定することができる。
　黒目検出部は、撮像部３６１から出力された画像データに含まれる顔の両眼における黒目を検出するものである。すなわち、黒目検出部は、撮像部３６１から出力された画像データにおいて、顔検出部から出力された顔検出情報（位置およびサイズ）を用いて、顔検出部により検出された顔に対応する顔画像を抽出する。そして、この抽出された顔画像における黒目を検出する。この黒目検出方法として、例えば、顔検出方法と同様に、黒目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる黒目検出方法等を用いることができる。また、黒目情報には、検出された黒目の顔画像における位置が含まれる。この黒目情報により、画像データ上における両目における黒目の位置を特定することができる。この黒目の位置は、例えば、黒目の中心位置とすることができる。
　また、本技術の実施の形態では、左眼における黒目の中心位置を、左眼における黒目の位置とし、右眼における黒目の中心位置を、右眼における黒目の位置とする例を示す。また、本技術の実施の形態では、左眼における黒目の中心位置と、右眼における黒目の中心位置との距離を黒目間隔とする例を示す。すなわち、図４に示す例では、左眼５２における黒目の中心位置と、右眼５１における黒目の中心位置との距離が黒目間隔（実際の黒目間隔ｅ１０に対応する値となるため、図４では、「ｅ１０」として仮想的に示す）となる。なお、黒目間隔ｅ１０は、例えば、被写体距離（レンズからユーザ５０の顔までの距離）と、撮像部３６１におけるレンズから撮像素子までの距離と、撮像素子の撮像面に結像される黒目の間隔の値とに基づいて算出することができる。また、黒目間隔ｅ１０として、固定値（例えば、６５ｍｍ）を用いるようにしてもよい。
　図４のｂには、表示部３５１に表示される画像の視聴位置と、その画像を見ているユーザ５０の両眼（右眼５１および左眼５２）との関係を模式的に示す。
　具体的には、画像を見ている場合におけるユーザの眼球およびこれに対応する輻輳角θ１０を示す。図４のｂにおいて、画像が表示される位置（表示部３５１の表示面）を表示面の位置４０１とし、表示部３５１に表示される画像を視聴する場合におけるユーザの視聴位置を視聴位置４０３とする。
　例えば、表示面の位置４０１に表示されている画像をユーザが見る場合には、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われるとともに、両眼の焦点が表示面の位置４０１に調節される。具体的には、ユーザの両眼（右眼５１および左眼５２）の各黒目と、表示面の位置４０１とを結ぶ直線が作り出す交点（注視点４０２）が、ユーザが注目している画像の位置に合うように、ユーザの眼球の水平方向の角度調整が行われる。また、その角度調整とともに、両眼の焦点が表示面の位置４０１（注視点４０２）に調節される。なお、注視点４０２における角度θ１０は、一般に輻輳角と称されている。このように、表示面の位置４０１に表示されている画像をユーザが見る場合には、ユーザの両眼（右眼５１および左眼５２）の焦点および視点ともに、表示面の位置４０１に存在することになる。
　ここで、輻輳角θ１０の算出方法について説明する。例えば、表示面の位置４０１および視聴位置４０３間の距離をＬ１とし、画像を視聴しているユーザの両眼間隔をｅ１０とする。この場合には、次の式１が成り立つ。
　　ｔａｎ（θ１０／２）＝（ｅ１０／２）／Ｌ１　　…式１
　そして、次の式２により、輻輳角θ１０を求めることができる。
　　θ１０＝２ｔａｎ－１（（ｅ１０／２）／Ｌ１）＝　　…式２
　なお、距離Ｌ１は、撮像部３６１から出力される被写体距離を用いることができる。また、距離Ｌ１として、視聴位置を想定した固定値（例えば、２ｍ）を用いるようにしてもよく、ユーザによる手動入力により距離Ｌ１を取得するようにしてもよい。また、他の距離測定方法により距離Ｌ１を取得するようにしてもよい。例えば、ユーザ５０が手に持っているリモコンにＵＷＢ（Ultra Wide Band）を設け、ＵＷＢの位置測定機能を使用することにより距離Ｌ１を測定する距離測定方法を用いることができる。また、赤外線、超音波等に基づいて距離を測定する距離測定装置を用いて、距離Ｌ１を測定するようにしてもよい。
　図５のａおよびｂには、注視点４０２から、両眼における黒目の中心位置までの距離（水平方向における距離）ｅ１１、ｅ１２と、ユーザの眼球の中心点から、両眼における黒目の中心位置までの距離（水平方向における距離）ｅ２１、ｅ２２との関係を示す。
　ここで、ｅ１１とｅ１２とｅ２１とｅ２２との合計値は、一定である。また、ｅ１２／ｅ１１＝ｅ２２／ｅ２１である。そこで、例えば、最初に、ｅ１１＝ｅ１２となる注視点４０２の位置を設定する。続いて、両眼における黒目の中心位置が移動した場合には、距離ｅ２１、ｅ２２を算出し、この距離ｅ２１、ｅ２２と、距離ｅ１１、ｅ１２との関係に基づいて、移動後の注視点４０２の位置を算出することができる。
　また、垂直方向における注視点４０２の位置についても、ユーザの眼球の中心点から、両眼における黒目の中心位置までの距離（垂直方向における距離）を用いて算出することができる。
　この例では、注視点から、両眼における黒目の中心位置までの距離と、ユーザの眼球の中心点から、両眼における黒目の中心位置までの距離との関係に基づいて、注視点の位置を算出する例を示す。ただし、他の方法により、注視点の位置を検出するようにしてもよい。例えば、アイトラッキング（視線解析）方法により、注視点の位置を検出することができる。
　［ユーザの注目度の算出例］
　図６は、本技術の第１の実施の形態における制御信号生成部３７０によるユーザの注目度の算出方法の一例を模式的に示す図である。
　ここで、受信側の情報処理装置３００の表示部３５１に表示される画像に対応するストリーム（すなわち、受信中の画像・音声ストリーム）をｓｎ（なお、ｎは正の整数）とし、ストリームｓｎに対するユーザの注目度をαｓｎとする。なお、ストリームｓｎは、各設定の変更（例えば、鮮明度の設定変更、領域の設定変更）がされていない一期間に対応するストリームを意味するものとする。例えば、最初に送信対象となるストリームをｓ１とし、最初の設定変更がされた直後から送信されるストリームをｓ２とし、次に設定変更がされた直後から送信されるストリームをｓ３とすることができる。
　ユーザの注目度αｓｎは、ユーザの注視点およびユーザが操作を与える表示画面における位置に基づいて算出することができる。具体的には、次の式３に基づいて算出することができる。
　　αｓｎ＝Ｇ１＋Ｄ１　…式３
　ここで、Ｇ１は、注視による注目度を示す値であり、Ｄ１は、操作による注目度を示す値である。
　ここで、注視による注目度Ｇ１の算出方法について説明する。
　例えば、図６に示すように、ユーザ情報取得部３６０は、表示部３５１の表示面におけるユーザの注視点ＧＰ１を求める。また、制御信号生成部３７０は、ユーザ情報取得部３６０により取得されたユーザ情報（ユーザの注視点ＧＰ１の軌跡）を所定時間（例えば、現在までの直近１０秒間）保持する。そして、制御信号生成部３７０は、次の式４を用いて、注視による注目度Ｇ１を算出する。
　　Ｇ１＝２Ｌ／Ｌ０　…式４
　ここで、Ｌは、図６に示すように、表示部３５１の表示面の４頂点から、直近の所定時間（例えば、１０秒間）におけるユーザの注視点ＧＰ１の軌跡までの距離のうち、最短の距離を示す値である。また、Ｌ０は、表示部３５１の表示面の対角線の長さを示す値である。
　次に、操作による注目度Ｄ１の算出方法について説明する。
　制御信号生成部３７０は、ユーザ情報取得部３６０により取得されたユーザ情報（ユーザの注視点ＧＰ１の軌跡）に基づいて、次の式５を用いて、操作による注目度Ｄ１を算出する。
　　Ｄ１＝ｔ１×ｒ　…式５
　ここで、ｔ１は、表示部３５１に表示されている画像（画像ストリームｓｎに対応する画像）について、直近の所定時間（例えば、１０秒間）内にユーザより操作された合計時間を示す値である。また、ｒは、ユーザが設定可能な注視と操作との比重を示す値である。なお、ｒは、固定値（例えば、１）とするようにしてもよく、可変値とするようにしてもよい。例えば、入力操作機器（例えば、マウス、リモコン、タッチパネル）の種類が複数となる場合には、ｒを可変値とするようにしてもよい。この場合には、例えば、操作に用いられた入力操作機器の種類に応じてｒの値が設定される。例えば、マウスのｒとしてｒ１が設定され、リモコンのｒとしてｒ２が設定され、タッチパネルのｒとしてｒ３が設定される。
　このように算出されるユーザの注目度αｓｎを用いて、制御信号生成部３７０は、鮮明度を向上させるか、低下させるかを判断する。そして、制御信号生成部３７０は、ユーザの注目度αｓｎに応じた要求を行うための制御信号を生成する。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する。
　例えば、鮮明度を現在よりも高めるのに十分な注目度の閾値をｑとし、現在受信中の鮮明度を維持するために必要な注目度の閾値をｐ（ただし、ｐ＜ｑ）とする。そして、制御信号生成部３７０は、例えば、ユーザの注目度αｓｎと、閾値ｐおよびｑとの比較結果に基づいて、鮮明度を向上させるか、低下させるかを判断することができる。
　具体的には、操作中または視聴中のユーザの操作や意図に変化があった場合、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎに対応するユーザの注目度αｓｎを算出する。なお、操作中または視聴中のユーザの操作や意図に変化があった場合は、例えば、ユーザ情報取得部３６０により取得されたユーザ情報に変化があった場合である。そして、ユーザの注目度αｓｎが閾値ｑよりも大きい場合（すなわち、αｓｎ＞ｑである場合）には、受信中の画像・音声ストリームｓｎに対するユーザの注目度αｓｎが特に高いと判断することができる。このため、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎの鮮明度を向上させる変更要求に係る制御信号を生成する。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する。
　一方、ユーザの注目度αｓｎが閾値ｐよりも小さい場合（すなわち、αｓｎ＜ｐである場合）には、受信中の画像・音声ストリームｓｎに対するユーザの注目度αｓｎが特に低いと判断することができる。このため、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎの鮮明度を低下させる変更要求に係る制御信号を生成する。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する。
　また、ユーザの注目度αｓｎが０である場合（すなわち、αｓｎ＝０である場合）には、受信中の画像・音声ストリームｓｎに対するユーザの注目度αｓｎが全くない状態であると判断することができる。このため、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎの送信停止要求を行うための制御信号を生成する。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する。
　このように送信された制御信号を、送信側の情報処理装置２００が受信した場合には、送信側の情報処理装置２００の制御部２４０は、送信対象となるデータ（画像データおよび音声データ）のデータ量を変更するための制御を行う。例えば、受信中の画像・音声ストリームｓｎの鮮明度を向上させる変更要求に係る制御信号を受信した場合には、制御部２４０は、送信対象となるデータ（画像データおよび音声データ）のデータ量を増加させる。この場合には、受信側の情報処理装置３００は、そのデータ量を増加に応じて、送信側の情報処理装置２００から受信した画像データに基づく画像表示を行う。すなわち、受信中の画像・音声ストリームｓｎに対応するユーザの注目度αｓｎが特に高い場合には、送信側の情報処理装置２００から受信した画像データに基づく画像の鮮明度を向上させて表示させることができる。この場合には、表示領域についての変更は行わない。また、この場合における表示遷移例を図７に示す。また、音声データについても、高音質にするようにしてもよい。
　ここで、例えば、表示部３５１の解像度（例えば、液晶パネル解像度）が１９２０×１０８０ドットであり、元の画像データの解像度が６４０×３６０ドットであり、元の画像データのビットレートが２Ｍｂｐｓである場合を想定する。この場合には、元の画像データについて２Ｍｂｐｓの圧縮データに応じた伸張が行われ、この伸張が行われた画像が３倍に拡大表示される。また、鮮明度を向上させる変更要求に応じて送信された画像データ（データ量が増加された画像データ）の解像度が１９２０×１０８０ドットであり、この画像データのビットレートが１２Ｍｂｐｓである場合を想定する。この場合には、鮮明度を向上させる変更要求に応じて送信された画像データについて１２Ｍｂｐｓの圧縮データに応じた伸張が行われ、この伸張が行われた画像がそのまま表示される。
　また、例えば、受信中の画像・音声ストリームｓｎの鮮明度を低下させる変更要求に係る制御信号を受信した場合には、送信側の情報処理装置２００の制御部２４０は、送信対象となるデータ（画像データおよび音声データ）のデータ量を低下させる。この場合には、受信側の情報処理装置３００は、そのデータ量を低下に応じて、送信側の情報処理装置２００から受信した画像データに基づく画像表示を行う。すなわち、受信中の画像・音声ストリームｓｎに対応するユーザの注目度αｓｎが特に低い場合には、送信側の情報処理装置２００から受信した画像データに基づく画像の鮮明度を低下させて表示させることができる。また、送信側の情報処理装置２００から受信した画像データに基づく画像の画質を劣化させて表示させるようにしてもよい。また、音声データについても、低音質にするようにしてもよい。
　また、例えば、受信中の画像・音声ストリームｓｎの送信停止要求に係る制御信号を受信した場合には、送信側の情報処理装置２００の制御部２４０は、データ（画像データおよび音声データ）の送信を停止する。
　ここで、ユーザの注目度αｓｎが閾値ｐ以上であり、かつ、閾値ｑ以下である場合（すなわち、ｐ≦αｓｎ≦ｑである場合）には、受信中の画像・音声ストリームｓｎに対するユーザの注目度αｓｎはあまり変化がない状態であると判断することができる。この場合には、受信中の画像・音声ストリームｓｎの受信を継続して行うことが好ましい。このため、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎに関する要求を行うための制御信号を生成しない。
　ここで、閾値ｐおよびｑについては、固定値とするようにしてもよく、ユーザ操作により設定を変更可能とするようにしてもよい。
　例えば、操作による注目度Ｄ１の算出に用いる所定時間を１０秒とし、ｒを固定値（ｒ＝１）とする場合には、０≦Ｄ１≦１０となる。この場合に、注視による注目度Ｇ１は１以下となるため（すなわち、Ｇ１≦１）、ユーザの注目度αｓｎは、次の値を取り得ることになる。
　　０≦αｓｎ≦１１
　この場合には、例えば、閾値ｐ＝０．５、閾値ｑ＝３とすることができる。
　［表示遷移例］
　図７は、本技術の第１の実施の形態における表示部３５１に表示される画像の遷移例を示す図である。図７では、上述したように、ユーザの注目度αｓｎが閾値ｑよりも大きい場合における表示遷移例を示す。
　図７のａに示す表示内容は、図１と同様である。ただし、図７のａでは、説明の容易のため、表示部３５１に表示される画像の鮮明度を低くした状態を示す。図７のｂには、送信側の情報処理装置２００から受信した画像データに基づいて表示された画像の表示例を示す。例えば、図７のａに示す画像の鮮明度が向上して表示される。この場合に、例えば、鮮明度の向上に応じて、画像を拡大して表示するようにしてもよい。
　［注目位置の変化ベクトルの算出例］
　図８は、本技術の第１の実施の形態における制御信号生成部３７０によるユーザの注目位置の変化ベクトルの算出方法の一例を模式的に示す図である。
　ここで、受信側の情報処理装置３００の表示部３５１に表示される画像に対応するストリーム（すなわち、受信中の画像・音声ストリーム）ｓｎに対するユーザの注目位置の変化ベクトルをδｓｎとする。例えば、ユーザの注目位置の変化ベクトルδｓｎは、情報処理装置３００の表示部３５１の表示面においてユーザの注目度の変化を示すベクトルである。例えば、ユーザの注目位置の変化ベクトルδｓｎは、表示部３５１に表示されている画像の中心位置からの変化量（ユーザの注目位置の変化量）に相当する。
　例えば、ユーザの注目位置の変化ベクトルδｓｎは、ユーザの注視点またはユーザが操作を与える表示画面における位置に基づいて算出することができる。図８のａには、ユーザの注視点に基づいて、ユーザの注目位置の変化ベクトルδｓｎを算出する例を示す。また、図８のｂには、ユーザが操作を与える表示画面における位置に基づいて、ユーザの注目位置の変化ベクトルδｓｎを算出する例を示す。
　最初に、ユーザの注視点に基づいて、ユーザの注目位置の変化ベクトルδｓｎを算出する算出方法について説明する。例えば、図８のａに示すように、表示画面の中心Ｃ１から７０％の面積となる領域４６０（矩形の点線）を設定する。この場合には、ユーザの注視点Ｃ２が領域４６０の外側となっている場合における中心Ｃ１から注視点Ｃ２までの方向と距離をδｓｎとすることができる。なお、領域４６０については、固定とするようにしてもよく、可変とするようにしてもよい。例えば、画像領域が変更されている間は、領域４６０を大きくするように可変とすることができる。また、領域４６０の形状は、矩形以外の形状としてもよい。
　ここで、ユーザの注視点については、頻繁に移動することも想定される。そこで、ユーザの注視点に基づいて、ユーザの注目位置の変化ベクトルδｓｎを算出する場合には、表示画面の中心Ｃ１から大きく外れたことを算出条件とすることができる。
　次に、ユーザが操作を与える表示画面における位置に基づいて、ユーザの注目位置の変化ベクトルδｓｎを算出する算出方法について説明する。例えば、図８のｂに示すように、表示画面の中心Ｃ１から、ユーザから与えられた操作の中心点となる位置Ｃ３までの方向と距離をδｓｎとすることができる。なお、ユーザから与えられた操作は、例えば、タッチパネルによる拡大・縮小・スライド操作、マウスやリモコンによる領域の選択、キーボードによる文字入力等である。
　このように算出されるユーザの注目位置の変化ベクトルδｓｎを用いて、制御信号生成部３７０は、その変化に対応させるように画像の座標（すなわち、画像領域）を変更させることができる。すなわち、制御信号生成部３７０は、ユーザの注目位置の変化ベクトルδｓｎに応じた要求を行うための制御信号を生成する。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する。
　具体的には、操作中または視聴中のユーザの操作や意図に変化があった場合、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎに対応するユーザの注目位置の変化ベクトルδｓｎを算出する。そして、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす場合には、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎに対応する画像の画像領域を変更させる変更要求に係る制御信号を生成する。例えば、ユーザの注目位置の変化ベクトルδｓｎの相当量だけ、画像座標を変更（すなわち、画像領域の変更）させる変更要求に係る制御信号が生成される。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する。
　ここで、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす場合は、例えば、変化ベクトルδｓｎが閾値以上となる場合である。また、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす場合は、例えば、受信中の画像・音声ストリームｓｎが表示される表示面においてユーザが特定領域の操作を行った場合、または、ユーザが特定領域を注視した場合である。
　このように送信された制御信号を、送信側の情報処理装置２００が受信した場合には、送信側の情報処理装置２００の制御部２４０は、送信対象となるデータ（画像データおよび音声データ）に対応する画像の画像領域を変更するための制御を行う。例えば、制御部２４０は、送信対象となるデータ（画像データおよび音声データ）に対応する画像の画像領域を、ユーザの注目位置の変化ベクトルδｓｎにより特定される距離および方向に応じて移動させる。この場合には、受信側の情報処理装置３００は、送信側の情報処理装置２００から受信した画像データに基づく画像を移動させて表示させることができる。この場合における表示遷移例を図９に示す。また、音声データについても、その移動に応じて変更（例えば、左右のスピーカの割合を変更）するようにしてもよい。
　［表示遷移例］
　図９は、本技術の第１の実施の形態における表示部３５１に表示される画像の遷移例を示す図である。図９では、上述したように、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす場合における表示遷移例を示す。
　図９のａに示す表示例は、図１と同様である。ここで、図９のａの矢印（白抜き丸Ｃ１から白抜き丸Ｃ４までの矢印）に示すように、ユーザの注目位置がペンギンの人形から蟹の人形に移動したものとする。この場合に、ユーザの注目位置の変化ベクトルδｓｎが算出され、この変化ベクトルδｓｎが所定条件を満たすものとする。この場合におけるユーザの注目位置の変化ベクトルδｓｎにより特定される位置をＣ４で示す。
　図９のｂには、送信側の情報処理装置２００から受信した画像データに基づいて、画像領域が変更された画像の表示例を示す。例えば、図９のａに示すように、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす場合には、この変化ベクトルδｓｎにより特定される距離および方向に応じて画像領域が変更して表示される。例えば、表示部３５１の表示画面の中心位置に蟹の人形が配置されるように、画像領域が変更される。
　［画像・音声ストリームの変更要求の通知例］
　ここで、本技術の第１の実施の形態では、受信側の情報処理装置３００にユーザ情報取得部３６０を備える例を示す。この場合には、受信側の情報処理装置３００は、ユーザ情報取得部３６０により取得されたユーザ情報に基づいて生成されるストリームの変更要求を送信側の情報処理装置２００に送信する必要がある。そこで、以下では、ストリームの変更要求を送信側の情報処理装置２００に送信する送信方法の一例を示す。
　一般には、画像・音声を伝達するものとは別の伝送路を用意し、この伝送路上で独自のプロトコルを用いてストリームの変更要求（例えば、帯域を上げる・下げる等の指示）を行うことが考えられる。なお、別の伝送路の用意は、例えば、別のＴＣＰ／ＩＰセッションを確立することを意味する。
　また、既存の仕組みを流用する場合には、次の（１）乃至（３）の方法が考えられる。
　（１）画像・音声の伝達の制御にＲＴＳＰ（Real Time Streaming Protocol）を用いる場合には、送信機器が受信機器に対して定期的に生存確認のコマンドを発行し、受信機器が応答を返すことがある。これは、Ｋｅｅｐ－Ａｌｉｖｅと称されている。その際に、受信機器がコマンドを受けてから応答を返すまでの時間を、帯域の大きさに比例させる。例えば、帯域を１０Ｍｂｐｓにする場合には、応答を１０秒後に返すようにする。この場合に、受信機器は、応答が返ってくるまでの時間を計測することにより、受信機器で取得したユーザの意図を汲み取ることができる。
　（２）画像・音声の伝達にＷｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔのプロトコルを用いている場合には、独自にパラメータを定義し、受信機器から送信機器に定期的にＲＴＳＰ　ＳＥＴ＿ＰＡＲＡＭＥＴＥＲコマンドで送信することが考えられる。
　（３）送信機器および受信機器が何れもＲＴＣＰ（ＲＴＰ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）を用いて画像・音声伝達に関するレポートをやりとりしている場合を想定する。この場合には、受信機器が送信機器に対して送信するＲＴＣＰ受信レポートの内容を意図的に変化させることにより、送信機器が帯域を変化させることを期待することができる。具体的には、帯域を下げる場合には、受信機器は受信レポート内の「累積欠落パケット数」と「欠落率」の値を意図的に上げ、ネットワーク全体が混雑しているかのように送信機器にレポートする。この場合には、送信機器は、ネットワークの混雑に対応しようとするため、画像・音声伝達の帯域を下げることになる。
　［情報処理装置（送信側）の動作例］
　図１０は、本技術の第１の実施の形態における情報処理装置２００によるデータ送信制御処理の処理手順の一例を示すフローチャートである。なお、この例では、送信側の情報処理装置２００および受信側の情報処理装置３００間で無線通信を行う例を示す。
　最初に、送信側の情報処理装置２００は、受信側の情報処理装置３００に画像データおよび音声データを送信するための画像および音声の初期設定を行う（ステップＳ１００１）。この初期設定には、例えば、制御信号受信部２３０、画像・音声信号生成部２５０、画像・音声圧縮部２６０、ストリーム送信部２７０の初期化が含まれる。
　ここで、使用するネットワークの種別によっては、この時点で制御信号受信部２３０およびストリーム送信部２７０を制御し、受信側の情報処理装置３００との画像・音声ストリームおよび制御信号を送受信するためのネットワーク接続をそれぞれ確立してもよい。例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの場合には、ＷＦＤ（Wi-Fi Display）　Ｃｏｎｎｅｃｔｉｏｎ　Ｓｅｔｕｐ等の一連の動作において、受信機器とのネットワーク接続を確立することができる。その一連の動作は、例えば、ＷＦＤ　Ｄｅｖｉｃｅ　Ｄｉｓｃｏｖｅｒｙ、ＷＦＤ　Ｓｅｒｖｉｃｅ　Ｄｉｓｃｏｖｅｒｙ（Ｏｐｔｉｏｎａｌ）、ＷＦＤ　Ｃｏｎｎｅｃｔｉｏｎ　Ｓｅｔｕｐである。なお、ＷＦＤ　Ｄｅｖｉｃｅ　Ｄｉｓｃｏｖｅｒｙは、相手機器を発見する処理である。また、ＷＦＤ　Ｓｅｒｖｉｃｅ　Ｄｉｓｃｏｖｅｒｙは、相手機器の詳細情報を取得する処理である。また、ＷＦＤ　Ｃｏｎｎｅｃｔｉｏｎ　Ｓｅｔｕｐは、相手機器とのネットワーク接続を確立する処理である。
　また、画像データおよび音声データの伝送方式によっては、この時点で受信側の情報処理装置３００との間で設定情報を交換するようにしてもよい。例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔに準拠した方式を用いる場合には、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎと呼ばれる事前設定をこの時点で行う。ここで、Ｃａｐａｂｉｌｉｔｙ　Ｎｅｇｏｔｉａｔｉｏｎは、ＷＦＤのコネクションセットアップが完了した後、ＷＦＤ　ｓｅｓｓｉｏｎ　ｅｓｔａｂｌｉｓｈｍｅｎｔの前に、ＷＦＤ　ＳｏｕｒｃｅとＷＦＤ　Ｓｉｎｋ間でＲＴＳＰプロトコルを用いたメッセージシーケンスの交換を行う処理である。
　続いて、送信側の情報処理装置２００は、受信側の情報処理装置３００に対して画像・音声ストリームの送信を開始する（ステップＳ１００２）。この送信開始と同時に、送信側の情報処理装置２００は、受信側の情報処理装置３００からの変更要求に応じた設定変更を行うため、制御部２４０の動作を開始させる。
　続いて、制御部２４０は、受信側の情報処理装置３００からの画像領域の変更要求を制御信号受信部２３０により受信したか否かを判断する（ステップＳ１００３）。そして、画像領域の変更要求を受信した場合には（ステップＳ１００３）、制御部２４０は、その画像領域の変更要求に基づいて、画像・音声信号生成部２５０を制御する（ステップＳ１００４）。すなわち、制御部２４０は、その画像領域の変更要求に含まれる画像の座標情報を画像・音声信号生成部２５０に出力する。また、画像・音声信号生成部２５０は、その画像の座標情報に基づいて、送信対象となる画像データの領域を再設定する（ステップＳ１００４）。例えば、画像・音声信号生成部２５０は、その画像の座標情報により特定される位置が表示面の中心となるように、送信対象となる画像データの領域を再設定する（ステップＳ１００４）。そして、画像・音声信号生成部２５０は、その再設定された領域を基準として、画像信号および音声信号を生成する。
　また、制御部２４０は、受信側の情報処理装置３００からの画像および音声の鮮明度の変更要求を制御信号受信部２３０により受信したか否かを判断する（ステップＳ１００５）。そして、画像および音声の鮮明度の変更要求を受信した場合には（ステップＳ１００５）、制御部２４０は、その画像および音声の鮮明度の変更要求に基づいて、画像・音声圧縮部２６０を制御する（ステップＳ１００６）。すなわち、制御部２４０は、その画像および音声の鮮明度の変更要求に基づいて、鮮明度を向上または低下させるための圧縮処理に係る変数の設定や解像度の変更を行うための制御を画像・音声圧縮部２６０に対して行う（ステップＳ１００６）。例えば、その画像および音声の鮮明度の変更要求が、鮮明度を向上させるための変更要求である場合には、制御部２４０は、鮮明度を向上させるための圧縮処理に係る変数の設定や解像度の変更を行うための制御を画像・音声圧縮部２６０に対して行う。一方、例えば、その画像および音声の鮮明度の変更要求が、鮮明度を低下させるための変更要求である場合には、制御部２４０は、鮮明度を低下させるための圧縮処理に係る変数の設定や解像度の変更を行うための制御を画像・音声圧縮部２６０に対して行う。
　また、制御部２４０は、受信側の情報処理装置３００からの送信停止要求を制御信号受信部２３０により受信したか否かを判断する（ステップＳ１００７）。そして、送信停止要求を受信した場合には（ステップＳ１００７）、制御部２４０は、画像データおよび音声データの送信を終了するための制御を行う（ステップＳ１００８）。一方、送信停止要求を受信していない場合には（ステップＳ１００７）、ステップＳ１００２に戻る。
　なお、送信側の情報処理装置２００は、ステップＳ１００４、Ｓ１００６で再設定された画像・音声ストリームを伝送する前に、これ以前の送信を一時的に中断し、「別の種類のストリームを流す」旨を受信側の情報処理装置３００に通知するようにしてもよい。
　また、例えば、伝送方式によっては、明示的にエンコードパラメータの変更を、別の経路で、送信側の情報処理装置２００から受信側の情報処理装置３００に通知することもできる。例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの場合には、Ｃａｐａｂｉｌｉｔｙ　Ｒｅ－ｎｅｇｏｔｉａｔｉｏｎと呼ばれる仕組みにより通知することができる。ここで、Ｃａｐａｂｉｌｉｔｙ　Ｒｅ－ｎｅｇｏｔｉａｔｉｏｎは、ＷＦＤ　ＳｏｕｒｃｅからＷＦＤ　Ｓｉｎｋに対して、画像（映像）の解像度やフレームレートの変更を事前に通知するものである。また、ＷＦＤ　Ｓｏｕｒｃｅは、ＷＦＤ　Ｓｅｓｓｉｏｎにおけるパラメータを、ＲＴＳＰプロトコルを用いて適宜アップデートすることができる。例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔの規格を独自に拡張し、ＲＴＳＰプロトコルでさらに様々なパラメータをアップデートすることができる。
　このように、送信機器は、ユーザが視聴・操作する受信機器からの要求を受信して、伝送ストリームを動的に変更して送信することが可能になる。
　［情報処理装置（受信側）の動作例］
　図１１は、本技術の第１の実施の形態における情報処理装置３００によるデータ受信制御処理の処理手順の一例を示すフローチャートである。なお、この例では、送信側の情報処理装置２００および受信側の情報処理装置３００間で無線通信を行う例を示す。
　最初に、受信側の情報処理装置３００は、画像・音声受信の準備を行う（ステップＳ１０１１）。この準備には、例えば、ストリーム受信部３３０、画像・音声展開部３４０、画像・音声出力部３５０、制御信号送信部３８０の初期化が含まれる。ここで、上述したように、使用するネットワークの種別によっては、この時点でストリーム受信部３３０および制御信号送信部３８０を制御し、送信側の情報処理装置２００とのネットワーク接続を確立するようにしてもよい。また、上述したように、画像・音声の伝送方式によっては、この時点で送信側の情報処理装置２００と設定情報を交換するようにしてもよい。
　続いて、受信側の情報処理装置３００は、ユーザ情報取得部３６０および制御信号生成部３７０の初期化を行い、ユーザの状況や操作を検出する動作と、制御を行う信号を算出する動作とを開始する（ステップＳ１０１２）。
　続いて、受信側の情報処理装置３００は、圧縮された画像データおよび音声データの受信を開始する（ステップＳ１０１３）。この場合に、例えば、データ用および制御用の２つのコネクションをはるようにしてもよい。続いて、画像・音声出力部３５０は、その受信内容に基づいて、表示内容を変更して画像データおよび音声データを出力する（ステップＳ１０１４）。
　具体的には、送信側の情報処理装置２００から送信されたストリーム（画像ストリームおよび音声ストリーム）が、アンテナ３１０、無線通信部３２０を介してストリーム受信部３３０により受信される（ステップＳ１０１３）。そして、その受信したストリームが画像・音声展開部３４０に入力されて展開され、この展開された画像データおよび音声データが画像・音声出力部３５０から出力される（ステップＳ１０１４）。
　例えば、送信側の情報処理装置２００において、ストリーム伝送中に対象となる画像・音声ストリームやそのデータ量が変更された場合には、その変更に応じて表示内容が変更される。例えば、ユーザの注目度αｓｎが閾値ｑを基準として大きい場合には、上述したように、受信した画像ストリームに対応する画像の鮮明度を向上させて表示する。一方、ユーザの注目度αｓｎが閾値ｐを基準として小さい場合には、上述したように、受信した画像ストリームに対応する画像の鮮明度を低下させて表示する。
　なお、例えば、送信側の情報処理装置２００が、画像の座標変更、データ量の変更等のストリーム更新を明示的に通知した場合には、その通知情報に基づいて画像・音声展開部３４０や画像・音声出力部３５０の再初期化を行うようにしてもよい。
　また、制御信号生成部３７０は、ユーザの注目度αｓｎおよびユーザの注目位置の変化ベクトルδｓｎを算出する（ステップＳ１０１５）。この注目度αｓｎおよび変化ベクトルδｓｎの算出は、ユーザ情報取得部３６０により取得されたユーザ情報に基づいて算出される。また、この注目度αｓｎおよび変化ベクトルδｓｎは、操作・視聴中のユーザの操作や意図に変化があった場合にのみ算出するようにしてもよい。
　続いて、制御信号生成部３７０は、ユーザの注目度αｓｎが閾値ｑよりも大きいか否かを判断する（ステップＳ１０１６）。そして、ユーザの注目度αｓｎが閾値ｑよりも大きい場合には（ステップＳ１０１６）、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎの鮮明度を向上させる変更要求に係る制御信号を生成する（ステップＳ１０１７）。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する（ステップＳ１０１７）。
　続いて、制御信号生成部３７０は、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たすか否かを判断する（ステップＳ１０１８）。そして、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たさない場合には（ステップＳ１０１８）、ステップＳ１０１３に戻る。一方、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす場合には（ステップＳ１０１８）、制御信号生成部３７０は、画像領域を変更させる変更要求に係る制御信号を生成する（ステップＳ１０１９）。例えば、ユーザの注目位置の変化ベクトルδｓｎの相当量だけ、画像座標を変更（すなわち、画像領域の変更）させる変更要求に係る制御信号が生成される。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する（ステップＳ１０１９）。
　また、ユーザの注目度αｓｎが閾値ｑ以下である場合には（ステップＳ１０１６）、制御信号生成部３７０は、ユーザの注目度αｓｎが閾値ｐよりも小さいか否かを判断する（ステップＳ１０２０）。そして、ユーザの注目度αｓｎが閾値ｐ以上である場合には（ステップＳ１０２０）、ステップＳ１０１３に戻る。
　一方、ユーザの注目度αｓｎが閾値ｑよりも小さい場合には（ステップＳ１０２０）、制御信号生成部３７０は、所定時間継続してユーザの注目度αｓｎが０となっているか否かを判断する（ステップＳ１０２１）。そして、所定時間継続してユーザの注目度αｓｎが０となっていない場合には（ステップＳ１０２１）、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎの鮮明度を低下させる変更要求に係る制御信号を生成する（ステップＳ１０２２）。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する（ステップＳ１０２２）。
　また、所定時間継続してユーザの注目度αｓｎが０となっている場合には（ステップＳ１０２１）、制御信号生成部３７０は、受信中の画像・音声ストリームｓｎの送信停止要求を行うための制御信号を生成する（ステップＳ１０２３）。そして、制御信号送信部３８０は、その生成された制御信号を、無線通信部３２０、アンテナ３１０を介して情報処理装置２００に送信する（ステップＳ１０２３）。なお、ステップＳ１０１５は、請求の範囲に記載の取得手順の一例である。また、ステップＳ１０１６乃至Ｓ１０２３は、請求の範囲に記載の制御手順の一例である。
　このように、本技術の実施の形態によれば、画像データや音声データを圧縮してネットワークを経由して他の情報処理装置に送信して出力させる通信システムにおいて、ユーザの操作・状況・意図に応じた適切な伝送帯域制御を行うことができる。例えば、ユーザの操作・状況・意図に応じた適切な伝送量制限を行うことができる。伝送帯域制御として、例えば、画像の解像度の変更、画像領域の変更を行うことができる。
　また、例えば、ユーザの操作・状況・意図に応じて、自動的にストリームのデータ量を変化させることにより、「解像度を上げる・下げる」、「拡大・縮小」、「帯域を増やす・減らす」等の操作をしなくてもユーザにとって最適な帯域配分を実現することができる。
　また、例えば、画像・音声を視聴しているユーザの状況や意図を取得し、これらに応じて注目されている部分の抽出や、注目されていない部分の縮小表示等を行うことにより、画像・音声伝送に使われる帯域を、適切に動的かつ自動的に制御することができる。
　また、例えば、送信機器で撮影または生成される画像のうちの一部の領域を、ユーザの操作・状況・意図に応じて限定して送信することができるため、所望の画像領域を適切に視聴することができる。このように、受信機器が、送信機器の画像のうちの一部を受信して表示することにより、全体を受信する場合に比べて帯域を節約することができる。また、受信機器に与える操作に応じて送信機器からの部分画像を変化させることができるため、鑑賞したい領域へのアクセスを容易にすることができる。
　また、例えば、ユーザが画像・音声を視聴していないという状況では、画像・音声の伝送の帯域を自動的に下げ、ネットワーク帯域を節約することができる。このように、ユーザの操作・状況・意図に応じて画像・音声の伝送の帯域を自動的に下げることにより、ユーザにとって必要のない場合は、受信機器の画像・音声データの伸張処理や表示処理の負荷を下げることができる。また、送信機器についても同様にデータの圧縮処理の負荷を下げることができる。このように、送信機器および受信機器の双方における消費電力を削減することができる。
　例えば、Ｗｉ－Ｆｉ　ＣＥＲＴＩＦＩＥＤ　Ｍｉｒａｃａｓｔを実行中に、他の作業も同一の画面で行っていることも想定される。このような場合に、その作業に帯域が使用されている場合には、その分だけストリーミングの帯域を減らすように制御を行うことができる。
　［通信システムの変形例］
　図１２は、本技術の第１の実施の形態における通信システム５００の構成例を示す図である。なお、通信システム５００は、通信システム１００の一部を変形した通信システムである。具体的には、送信機器を、撮像装置（例えば、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））とし、受信機器を、携帯型の情報処理装置（例えば、スマートフォン）とする例を示す。また、図１２のａ乃至ｃには、情報処理装置５２０の表示部５２１に表示される画像の遷移例を示す。
　通信システム５００は、情報処理装置５１０および５２０を備える。なお、情報処理装置５１０は、図１に示す情報処理装置２００に対応し、情報処理装置５２０は、図１に示す情報処理装置３００に対応する。
　ここで、情報処理装置５１０により撮影される画像は略同一の情報量であり、情報処理装置５２０の表示部５２１に表示される画像よりも情報量が多く、高解像度であるものとする。また、情報処理装置５２０は、ユーザによる操作入力を受け付けるタッチパネルと、情報処理装置５２０の移動や情報処理装置５２０の姿勢の変化を検出するセンサ（例えば、加速度センサ）とを備える。このタッチパネルおよびセンサは、図３に示すユーザ情報取得部３６０に対応する。
　図１２のａに示すように、情報処理装置５１０から送信されるストリームに基づく画像を、情報処理装置５２０の表示部５２１に表示させることができる。この場合に、情報処理装置５１０は、情報処理装置５２０の表示部５２１の表示面に適合させるため、撮影された画像の全体を縮小した画像ストリームを生成し、この画像ストリームを情報処理装置５２０に送信する（図１０に示すステップＳ１００２）。
　ここで、情報処理装置５２０の表示部５２１に表示されている画像のうちの特定の領域を拡大するため、ユーザがタッチパネルを操作する場合を想定する。例えば、図１２のａに示す「ＡＢＣＤＥＦ」のうちの「Ｂ」を拡大するため、ユーザがタッチパネルを操作する場合を想定する。また、この操作により、ユーザの注目度αｓｎが閾値ｑよりも大きくなり（図１０に示すステップＳ１０１６）、かつ、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす状態（図１０に示すステップＳ１０１８）となったものとする。
　この場合には、情報処理装置５２０は、受信中の画像・音声ストリームｓｎの鮮明度（例えば、解像度）を向上させる鮮明度の変更要求に係る制御信号を情報処理装置５１０に送信する（図１０に示すステップＳ１０１７）。また、情報処理装置５２０は、受信中の画像・音声ストリームｓｎについて、画像の中心を、ユーザの注目位置の変化ベクトルδｓｎに対応する量だけ変化させる画像領域の変更要求に係る制御信号を情報処理装置５１０に送信する（図１０に示すステップＳ１０１９）。
　これらの変更要求を受信した場合には、情報処理装置５１０は、画像領域の変更要求に係る制御信号に基づいて、画像の中心位置を変化させる設定を行う（図１０に示すステップＳ１００４）。また、情報処理装置５１０は、鮮明度の変更要求に係る制御信号に基づいて、解像度を高く設定する（図１０に示すステップＳ１００６）。そして、情報処理装置５１０は、それらの設定がされた新たなストリームを情報処理装置５２０に送信する（図１０に示すステップＳ１００２）。この新たなストリームに基づく画像の表示例を図１２のｂに示す。
　図１２のｂに示すように、情報処理装置５２０の表示部５２１には、ユーザにより指定された領域（Ｂ）を中心として、情報処理装置５１０から送信された画像の一部が拡大された画像（鮮明度が向上した画像）が表示される。
　次に、情報処理装置５２０を操作するユーザが、情報処理装置５２０を左右方向の右側に移動させた場合を想定する。また、この移動操作により、ユーザの注目度αｓｎが閾値ｑよりも大きくなり（図１０に示すステップＳ１０１６）、かつ、ユーザの注目位置の変化ベクトルδｓｎが所定条件を満たす状態（図１０に示すステップＳ１０１８）となったものとする。なお、情報処理装置５２０の移動方向および移動量については、例えば、加速度センサにより検出される。
　この場合には、情報処理装置５２０は、受信中の画像・音声ストリームｓｎの鮮明度（例えば、解像度）を向上させる鮮明度の変更要求に係る制御信号を情報処理装置５１０に送信する（図１０に示すステップＳ１０１７）。また、情報処理装置５２０は、受信中の画像・音声ストリームｓｎについて、画像の中心を、ユーザの注目位置の変化ベクトルδｓｎに対応する量だけ変化させる画像領域の変更要求に係る制御信号を情報処理装置５１０に送信する（図１０に示すステップＳ１０１９）。
　すなわち、ユーザの注目が左右方向の右側に移動したことに応じて、ユーザの注目位置の変化ベクトルδｓｎが算出される。そして、画像を左右方向の右側に移動させるための変更要求に係る制御信号が情報処理装置５１０に送信される。
　これらの変更要求を受信した場合には、情報処理装置５１０は、画像領域の変更要求に係る制御信号に基づいて、画像の中心位置を変化させる設定を行う（図１０に示すステップＳ１００４）。また、情報処理装置５１０は、鮮明度の変更要求に係る制御信号に基づいて、解像度を高く設定する（図１０に示すステップＳ１００６）。なお、図１２のｂに示す例では、既に解像度が高く設定されているため、この解像度が維持される。そして、情報処理装置５１０は、それらの設定がされた新たなストリームを情報処理装置５２０に送信する（図１０に示すステップＳ１００２）。この新たなストリームに基づく画像の表示例を図１２のｃに示す。
　図１２のｃに示すように、情報処理装置５２０の表示部５２１には、ユーザによる移動操作により指定された領域（Ｃ）を中心として、情報処理装置５１０から送信された画像の一部が拡大された画像（鮮明度が維持された画像）が表示される。
　このように、ユーザ操作に基づいて、自動的にストリームのデータ量を削減しながら、送信機器から送信される画像における特定領域（例えば、「Ｂ」や「Ｃ」）の拡大表示を容易に行うことができる。これにより、ユーザ操作をさらに容易にすることができる。
　＜２．第２の実施の形態＞
　本技術の第１の実施の形態では、２つの情報処理装置間において無線通信を行う例を示した。ここで、例えば、３以上の情報処理装置間で無線通信を行うことも想定される。
　そこで、本技術の第２の実施の形態では、３以上の情報処理装置間で無線通信を行う例を示す。
　［通信システムの構成例］
　図１３は、本技術の第２の実施の形態における通信システム６００のシステム構成例を示すブロック図である。
　通信システム６００は、図１に示す通信システム１００において情報処理装置６１０を追加した通信システムである。なお、情報処理装置６１０を追加した点以外は、図１に示す通信システム１００と同様であるため、ここでは、通信システム１００と異なる点を中心にして説明する。
　情報処理装置６１０は、例えば、無線通信機能を備える表示装置（例えば、パーソナルコンピュータ）や携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。また、情報処理装置２００および情報処理装置６１０は、無線通信機能を備える送信機器であり、情報処理装置３００は、無線通信機能を備える受信機器であるものとする。
　また、情報処理装置２００は、撮像動作により生成された画像データおよび音声データを送信対象とする。また、情報処理装置６１０は、表示部６１１に表示される画像と、音声出力部（図示せず）から出力される音声とを送信対象とする。
　［複数の情報処理装置から送信された画像の表示遷移例］
　図１４は、本技術の第２の実施の形態における情報処理装置３００の表示部３５１に表示される画像の遷移例を示す図である。図１４については、図１０および図１１を参照して、通信システム６００の動作とともに説明する。
　最初に、情報処理装置２００および情報処理装置６１０は、標準的な鮮明度のストリーム（画像データおよび音声データ）を情報処理装置３００に送信する（ステップＳ１００１、Ｓ１００２）。
　また、情報処理装置３００は、図１４のａに示すように、情報処理装置２００および情報処理装置６１０のそれぞれから送信された２つのストリームに対応する各画像を同一のサイズで表示部３５１に表示させる（ステップＳ１０１１乃至Ｓ１０１４）。なお、図１３、図１４では、情報処理装置２００から送信されたストリームに対応する画像を画像６２１とし、情報処理装置６１０から送信されたストリームに対応する画像を画像６２２とする。
　また、情報処理装置３００は、画像６２１および６２２について、視聴者が何れを注視しているか、リモコンはどちらを指しているか等の監視を開始する（ステップＳ１０１２、Ｓ１０１５）。
　ここで、画像６２２が視聴者により注視されているか、または、リモコンにより表示部３５１における画像６２２の部分が指されているものとする。この場合には、画像６２２に関する注目度αｓｎが大きくなり、画像６２１に関する注目度αｓｎは小さくなる。そして、さらに時間が経過すると、画像６２１に関する注目度αｓｎと、画像６２２に関する注目度αｓｎとの差が大きくなり、画像６２１に関する注目度αｓｎ＜閾値ｐ、または、画像６２２に関する注目度αｓｎ＞閾値ｑとなることが想定される。
　例えば、画像６２１に関する注目度αｓｎ＜閾値ｐとなった場合には（ステップＳ１０２０）、情報処理装置３００は、鮮明度を低下するための変更要求（例えば、解像度や音声のビットレートを低くする要求）を情報処理装置２００に送信する（ステップＳ１０２２）。また、画像６２２に関する注目度αｓｎ＞閾値ｑとなった場合には（ステップＳ１０１６）、情報処理装置３００は、鮮明度を向上するための変更要求（例えば、解像度や音声のビットレートを高くする要求）を情報処理装置６１０に送信する（ステップＳ１０１７）。
　なお、図１４では、情報処理装置２００および情報処理装置６１０のそれぞれから送信された２つのストリームに対応する各画像を縮小して各画像（画像６２１、６２２）の全体を表示部３５１に表示する例を示す。この場合には、画像領域を固定とする設定とし、画像領域の変更に関する処理（ステップＳ１０１８、Ｓ１０１９）については省略することができる。
　また、情報処理装置６１０は、鮮明度を向上するための変更要求を受信すると（ステップＳ１００５）、その変更要求に応じて、画像および音声の鮮明度を再設定する（ステップＳ１００６）。すなわち、その変更要求に応じて、鮮明度の高い画像および音声を生成するための設定が行われる（ステップＳ１００６）。続いて、情報処理装置６１０は、再設定後に生成された画像データおよび音声データのストリームを情報処理装置３００に送信する（ステップＳ１００２）。
　また、情報処理装置２００は、鮮明度を低下するための変更要求を受信すると（ステップＳ１００５）、その変更要求に応じて、画像および音声の鮮明度を再設定する（ステップＳ１００６）。すなわち、その変更要求に応じて、鮮明度の低い画像および音声を生成するための設定が行われる（ステップＳ１００６）。続いて、情報処理装置２００は、再設定後に生成された画像データおよび音声データのストリームを情報処理装置３００に送信する（ステップＳ１００２）。
　また、情報処理装置３００は、再設定後に、情報処理装置２００および情報処理装置６１０のそれぞれから送信された２つのストリームを受信する（ステップＳ１０１３）。続いて、情報処理装置３００は、受信した２つのストリームに対応する各画像を表示部３５１に表示させる（ステップＳ１０１４）。この場合に、情報処理装置３００は、受信した画像データの内容に応じて、各画像の表示内容を変更して表示させる（ステップＳ１０１４）。例えば、図１４のｂに示すように、鮮明度を低下するための変更要求に応じた設定が行われた情報処理装置２００から送信されたストリームに対応する画像６２１は、縮小表示される（ステップＳ１０１４）。一方、鮮明度を向上するための変更要求に応じた設定が行われた情報処理装置６１０から送信されたストリームに対応する画像６２２は、拡大表示される（ステップＳ１０１４）。
　ここで、画像６２１に関する注目度αｓｎ＝０となり、これが所定時間継続している場合を想定する（ステップＳ１０２１）。この場合には、情報処理装置３００は、ストリームの送信停止要求（画像データおよび音声データの送信停止要求）を情報処理装置２００に送信する（ステップＳ１０２３）。また、情報処理装置２００は、ストリームの送信停止要求を受信すると（ステップＳ１００７）、ストリームの送信を終了する（ステップＳ１００８）。この場合には、情報処理装置２００からストリームが送信されなくなるため、情報処理装置６１０から送信されたストリームに対応する画像６２２のみが表示部３５１に表示される（ステップＳ１０１４）。例えば、画像６２２が表示部３５１の全面に表示される（ステップＳ１０１４）。
　このように、情報処理装置３００の制御信号生成部３７０は、ユーザ情報取得部３６０により取得されたユーザ情報に基づいて、情報処理装置２００および情報処理装置６１０のそれぞれから送信された２つのストリームの帯域制御を行うことができる。
　なお、情報処理装置２００および情報処理装置６１０のそれぞれから送信された２つのストリームの合計帯域を最小にするように制御を行うようにしてもよい。例えば、その合計帯域の最大許容値を受信側の情報処理装置３００の制御信号生成部３７０に設定する。そして、制御信号生成部３７０は、ビットレートを低下するための変更要求を情報処理装置２００に送信した後に、情報処理装置２００および６１０のそれぞれから送信された２つのストリームのビットレートをストリーム受信部３３０から取得する。続いて、制御信号生成部３７０は、取得された２つのストリームの合計帯域を計算する。続いて、制御信号生成部３７０は、設定された最大許容値を超えない範囲で、情報処理装置６１０から送信されるストリームのビットレートを決定し、このビットレートに向上させるための変更要求を情報処理装置６１０に送信する。
　このように、本技術の第２の実施の形態によれば、複数の送信機器から送信された複数の画像・音声を１つの受信機器で受信する場合でも、ユーザの操作・状況・意図に応じた適切な伝送帯域制御を行うことができる。例えば、ユーザの操作・状況・意図に応じて、複数の画像・音声ストリームのうち一部の帯域を減らし、残りのストリームの帯域を増加させることができる。
　また、例えば、受信機器が複数の画像・音声ストリームを受信して表示しているような場合には、その時々に応じてユーザにとって重要な画像・音声を自動的に高品質で楽しむことができ、そうでない画像・音声は帯域を自動的に調節することができる。
　＜３．第３の実施の形態＞
　本技術の第１および第２の実施の形態では、受信側の情報処理装置においてユーザ情報を取得し、このユーザ情報に基づいて帯域制御を行う例を示した。ここで、送信側の情報処理装置においてユーザ情報を取得し、このユーザ情報に基づいて帯域制御を行うようにしてもよい。
　そこで、本技術の第３の実施の形態では、送信側の情報処理装置においてユーザ情報を取得し、このユーザ情報に基づいて帯域制御を行う例を示す。
　［通信システムの構成例］
　図１５は、本技術の第３の実施の形態における通信システム７００のシステム構成例を示すブロック図である。
　通信システム７００は、情報処理装置７１０、７２０、７３０、７４０、７５０を備える。なお、情報処理装置７１０、７２０、７３０、７４０は、無線通信機能を備える送信機器であり、図１に示す情報処理装置２００に対応する。また、情報処理装置７５０は、無線通信機能を備える受信機器であり、図１に示す情報処理装置３００に対応する。
　情報処理装置７５０は、例えば、無線通信機能を備える表示装置（例えば、テレビジョン、プロジェクタ、パーソナルコンピュータ）や携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。また、情報処理装置７１０、７２０、７３０、７４０は、例えば、無線通信機能を備える表示装置（例えば、パーソナルコンピュータ）や携帯型の情報処理装置（例えば、スマートフォン、タブレット端末）である。
　また、情報処理装置７１０、７２０、７３０、７４０は、表示部７１５、７２５、７３５、７４５に表示される画像と、音声出力部（図示せず）から出力される音声とを送信対象とする。
　［情報処理装置（送信側）の構成例］
　図１６は、本技術の第３の実施の形態における情報処理装置７１０の機能構成例を示すブロック図である。なお、情報処理装置７２０、７３０、７４０の内部構成については、情報処理装置７１０と同一であるため、ここでは、情報処理装置７１０についてのみ説明し、情報処理装置７２０、７３０、７４０の説明を省略する。また、情報処理装置７１０は、図２に示す情報処理装置２００の一部を変形したものである。このため、情報処理装置２００と共通する部分については同一の符号を付し、これらの説明の一部を省略し、情報処理装置２００と異なる点を中心にして説明する。
　情報処理装置７１０は、ユーザ情報取得部７１１および制御信号生成部７１２を備える。
　ユーザ情報取得部７１１は、ユーザに関する情報（ユーザ情報）を取得するものであり、その取得されたユーザ情報を制御信号生成部７１２に出力する。なお、ユーザ情報取得部７１１は、図３に示すユーザ情報取得部３６０に対応するものである。
　制御信号生成部７１２は、ユーザ情報取得部７１１から出力されたユーザ情報に基づいて、他の情報処理装置（例えば、情報処理装置７５０）に送信するストリームの帯域制御を行うものである。具体的には、制御信号生成部７１２は、ユーザ情報取得部７１１から出力されたユーザ情報に基づいて、ストリームの帯域制御を行うための制御信号を生成し、この生成された制御信号を制御部２４０に出力する。そして、制御部２４０は、その生成された制御信号に基づいて、画像・音声信号生成部２５０および画像・音声圧縮部２６０に対する制御を行う。
　［情報処理装置（受信側）の構成例］
　図１７は、本技術の第３の実施の形態における情報処理装置７５０の機能構成例を示すブロック図である。なお、情報処理装置７５０は、図３に示す情報処理装置３００の一部を変形したものである。このため、情報処理装置３００と共通する部分については同一の符号を付し、これらの説明の一部を省略し、情報処理装置３００と異なる点を中心にして説明する。
　すなわち、情報処理装置７５０は、図３に示す情報処理装置３００において、ユーザ情報取得部３６０、制御信号生成部３７０および制御信号送信部３８０を省略したものである。
　ここで、図１５を参照して通信システム７００の動作について説明する。
　図１５では、情報処理装置７１０、７２０、７３０、７４０を所有する各ユーザ１１乃至１４が、表示部７１５、７２５、７３５、７４５においてタッチ操作をする場合を想定する。この場合に、各表示部に表示される表示画面の内容が、各情報処理装置から情報処理装置７５０に送信され、その表示画面が情報処理装置７５０の表示部３５１の表示画面に割り当てられて表示される。例えば、表示部７１５に表示される表示画面の内容（Ａ）が、情報処理装置７１０から情報処理装置７５０に送信され、その表示画面の内容（Ａ）が情報処理装置７５０の表示部３５１の表示画面（左上）に割り当てられて表示される。
　このように、各ユーザ１１乃至１４は、所有する情報処理装置の表示部に表示される表示画面の内容を、情報処理装置７５０の表示部３５１に表示させることにより、その表示画面の内容を他のユーザに見せることができる。
　ここで、各情報処理装置の表示部に表示される表示画面の内容が、情報処理装置７５０の表示部３５１に表示されている場合に、各ユーザ１１乃至１４のそれぞれの操作状況に基づいて算出される注目度を、αＡ乃至αＤとする。すなわち、ユーザ１１の操作状況に基づいて算出される注目度をαＡとし、ユーザ１２の操作状況に基づいて算出される注目度をαＢとする。また、ユーザ１３の操作状況に基づいて算出される注目度をαＣとし、ユーザ１４の操作状況に基づいて算出される注目度をαＤとする。
　このような場合に、例えば、ユーザ１１が他のユーザ１２乃至１４に自分の表示画面に注目してもらいたいと考えた場合を想定する。この場合には、ユーザ１１は、その旨を他のユーザ１２乃至１４に伝え、情報処理装置７２０、７３０、７４０の操作を行うことを他のユーザ１２乃至１４に中断してもらう。そして、ユーザ１１は、情報処理装置７１０の操作を継続して行うが、他のユーザ１２乃至１４には、情報処理装置７５０の表示部３５１の表示画面を見てもらうようにする。
　このように、各ユーザ１１乃至１４が行動すると、制御信号生成部７１２により算出されるユーザ１１に関する注目度αＡは大きくなり、他のユーザ１２乃至１４に関する注目度αＢ乃至αＤは小さくなる。このように注目度αＡが大きくなった場合には、情報処理装置７１０は、鮮明度の高い画像ストリームを情報処理装置７５０に送信する。一方、注目度αＢ乃至αＤが小さくなった場合には、情報処理装置７２０、７３０、７４０は、鮮明度の低い画像ストリームを情報処理装置７５０に送信する。
　情報処理装置７５０は、これらの各画像ストリームを受信すると、各画像ストリームに対応する画像を、鮮明度に応じて変更して表示する。例えば、情報処理装置７１０から送信される画像ストリームに対応する画像（Ａ）は、鮮明度が高いため、拡大表示や、他の画像（Ｂ乃至Ｄ）よりも画質を向上させて表示することができる。このように表示することにより、各ユーザ１１乃至１４は、情報処理装置７１０から送信される画像（Ａ）に自然と注目し易くなる。
　一方、情報処理装置７２０、７３０、７４０から送信される画像ストリームに対応する画像（Ｂ乃至Ｄ）は、鮮明度が低いため、縮小表示や、画像（Ａ）よりも画質を悪化させて表示することができる。この場合における表示例を図１８に示す。
　［複数の情報処理装置から送信された画像の表示遷移例］
　図１８は、本技術の第３の実施の形態における情報処理装置７５０の表示部３５１に表示される画像の遷移例を示す図である。すなわち、図１５に示す表示部３５１に表示されている画像からの遷移例を示す。
　図１８に示すように、情報処理装置７１０から送信される画像ストリームに対応する画像（Ａ）が拡大表示され、他の画像（Ｂ乃至Ｄ）が縮小表示される。
　なお、この例では、ユーザによる操作に基づいて、鮮明度を決めるための注目度を算出する例を示した。ただし、各情報処理装置７１０、７２０、７３０、７４０のそれぞれにおいて実行されるアプリケーションに基づいて注目度を決定するようにしてもよい。
　例えば、ユーザ１１乃至１４が同一のゲームで遊んでいる場合を想定する。このゲームでは、各情報処理装置７１０、７２０、７３０、７４０のそれぞれからゲーム操作に応じたストリームが各情報処理装置７５０に送信され、各情報処理装置７５０の表示部３５１に表示されるものとする。この場合に、各情報処理装置（ユーザ情報取得部７１１、制御信号生成部７１２）は、自機器のゲームの得点が他の機器（他のプレーヤー）よりも高いか否かを判断する。そして、自機器のゲームの得点が他の機器（他のプレーヤー）よりも高い場合には、注目度が高いと判断することができる。このように注目度が高いと判断された情報処理装置は、画像の鮮明度を高くしたストリームを送信する。
　このように、本技術の第３の実施の形態では、送信側の情報処理装置においてユーザ情報を取得し、このユーザ情報に基づいて適切な伝送帯域制御を行うことができる。この場合に、複数の送信機器から送信された複数の画像・音声を１つの受信機器で受信する場合でも、ユーザの操作・状況・意図に応じた適切な伝送帯域制御を行うことができる。
　＜４．第４の実施の形態＞
　本技術の第１乃至第３の実施の形態では、ユーザ情報を取得し、このユーザ情報に基づいて帯域制御を行う例を示した。ここで、受信側の情報処理装置では、送信側の情報処理装置から送信された画像に関する操作を行うことも可能である。例えば、送信側の情報処理装置から送信された画像を操作するための操作画面（送信機器操作画面）を、受信側の情報処理装置に表示させ、その送信機器操作画面において各種操作を行うことが想定される。また、受信側の情報処理装置を操作するための操作画面（受信機器操作画面）を、受信側の情報処理装置に表示させ、その受信機器操作画面において各種操作を行うことも想定される。しかしながら、このように複数の操作画面を表示することが可能な場合には、送信機器操作画面および受信機器操作画面の何れかが表示されているかをユーザが判断することができないおそれもある。
　そこで、本技術の第４の実施の形態では、送信機器および受信機器に関する操作を容易に行う例を示す。
　［通信システムの構成例］
　図１９は、本技術の第４の実施の形態における通信システム８００の構成例を示す図である。図１９では、本技術の第１乃至第３の実施の形態と同様に、２つの情報処理装置（情報処理装置８１０および８２０）を直接無線接続する際におけるシステム構成の一例を示す。
　通信システム８００は、情報処理装置８１０および８２０を備える。また、情報処理装置８１０は、無線通信機能を備える送信機器であり、図１に示す情報処理装置２００に対応する。また、情報処理装置８２０は、無線通信機能を備える受信機器であり、図１に示す情報処理装置３００に対応する。
　情報処理装置８１０は、表示部８１１を備える。また、情報処理装置８２０は、表示部８２１と、操作部材８２２乃至８２４と、撮像部８２５とを備える。
　操作部材８２２乃至８２４は、各種操作を行うための操作部材である。
　撮像部８２５は、被写体を撮像して画像データを生成する撮像部（例えば、カメラ）である。なお、操作部材８２２乃至８２４と、撮像部８２５とは、図３に示すユーザ情報取得部３６０に対応する。
　例えば、情報処理装置８１０から情報処理装置８２０にストリームを送信し、このストリームに対応する画像を情報処理装置８２０の表示部８２１に表示させる場合を想定する。この場合には、受信側の情報処理装置８２０においても、送信側の情報処理装置８１０に対する操作を行うことができる。例えば、図１９に示すように、情報処理装置８１０に対する操作入力を行うための送信機器操作画面８３１と、情報処理装置８２０に対する操作入力を行うための受信機器操作画面８３２との双方を、情報処理装置８２０の表示部８２１に表示させることができる。このように、送信機器操作画面８３１および受信機器操作画面８３２を並べて表示するようにしてもよく、何れか一方の操作画面を半透明にして、双方の操作画面を重ねて表示するようにしてもよい。また、何れか一方の操作画面のみを全面に表示または一部に表示するようにしてもよい。なお、送信機器操作画面８３１は、送信側の情報処理装置８１０から送信されるストリームに基づいて表示される。一方、受信機器操作画面８３２は、情報処理装置８２０における制御により表示される。
　このように操作画面を表示する場合（双方の操作画面を並べて表示、双方の操作画面を重ねて表示、何れか一方の操作画面のみを表示）には、何れの機器についての操作画面であるかをユーザが容易に把握することができないおそれがある。特に、何れか一方の操作画面のみが表示されている場合には、何れの機器についての操作画面であるかをユーザが容易に把握することができないおそれがある。
　ここで、例えば、受信側の情報処理装置をパーソナルコンピュータ（ＰＣ）とし、このＰＣを用いてリモートデスクトップアプリケーションを実行する場合を想定する。リモートデスクトップアプリケーションでは、マウスカーソルが表示画面の特定の領域に位置した場合に、その表示画面に表示される画像と操作を切り替えるスイッチが出現し、相手（送信機器）側か、自機（受信機器）側かを選択することができる。また、ＯＳ（Operating System）仮想化ソフトウェア（例えば、ＶＭｗａｒｅ、ＶｉｒｔｕａｌＢｏｘ）を実行する場合を想定する。この場合には、ソフトウェアにより描画される領域がマウスによりクリックされた後には相手（ゲストＯＳ）側に入力が切り替わり、特殊なキー操作が行われた後には自分（ホストＯＳ）側に入力が切り替わるようになっている。
　しかしながら、スマートフォンやタブレット端末等の携帯型の情報処理装置は、マウスやキーボードを備えていないものが多く、タッチパネルと数個の操作部材のみが操作受付部として備えられていることが多い。このように、タッチパネルと数個の操作部材のみが操作受付部として備えられている機器を受信機器とする場合には、上述した入力の切り替えが困難となることが想定される。そこで、以下では、タッチパネルと数個の操作部材のみが操作受付部として備えられている機器を受信機器とする場合でも、入力の切り替えを容易にする例を示す。
　［送信機器操作画面および受信機器操作画面の切り替え例］
　図２０は、本技術の第４の実施の形態における情報処理装置８２０の表示部８２１における操作画面の切り替え例を示す図である。図２０では、情報処理装置８２０に内蔵されているセンサ（例えば、ジャイロセンサ）を用いて操作画面の切り替え例を示す。なお、センサは、図３に示すユーザ情報取得部３６０に対応する。
　図２０のａには、情報処理装置８２０を回転させることにより操作画面を切り替える例を示す。例えば、表示部８２１の表示面に垂直する垂直方向を回転軸として、１８０度回転させることにより、送信機器に対する操作入力を行うための送信機器操作画面と、受信機器に対する操作入力を行うための受信機器操作画面とを切り替えることができる。この回転については、例えば、ジャイロセンサにより検出することができる。
　図２０のｂには、情報処理装置８２０を振動させることにより操作画面を切り替える例を示す。例えば、情報処理装置８２０をユーザが振る操作を行うことにより、送信機器に対する操作入力を行うための送信機器操作画面と、受信機器に対する操作入力を行うための受信機器操作画面とを切り替えることができる。この振る操作については、例えば、ジャイロセンサにより検出することができる。
　なお、受信機器に対する操作入力を行うための受信機器操作画面のみを表示するための操作（例えば、回転操作、振る操作）が行われた場合には、画像の送信を停止するように、送信機器に指示を行うようにしてもよい。
　［操作部材に応じて各操作を切り替える例］
　図２１は、本技術の第４の実施の形態における情報処理装置８２０の操作部材に応じて各操作を切り替える例を示す図である。図２１では、情報処理装置８２０に内蔵されている表示部８２１および撮像部８２５に応じて各操作を切り替える例を示す。
　具体的には、表示部８２１および撮像部８２５を、送信機器に対する操作入力を行うための操作部材と、受信機器に対する操作入力を行うための操作部材とにそれぞれ割り当てるようにする。
　例えば、情報処理装置８２０の撮像部８２５を、送信機器に対する操作入力を行うための操作部材として割り当て、情報処理装置８２０の表示部８２１（タッチパネル）を、受信機器に対する操作入力を行うための操作部材として割り当てる。
　例えば、図２１のａに示すように、ユーザが手２０を用いて所定のジェスチャを行うことにより、送信機器に対する操作入力を行うことができる。例えば、ユーザの手２０の動きを撮像部８２５が撮影し、パターンマッチングを行うことにより、その手２０の動きに対応する操作内容を判定することができる。この操作内容の判定方法については、公知の判定方法（例えば、特開２０１１－８５９６６号参照。）を用いることができる。
　なお、図２１のａでは、撮像部８２５を用いてユーザによるジェスチャを撮影することにより操作入力を行う例を示したが、ユーザからの音声を入力することにより操作入力を行うようにしてもよい。
　また、例えば、図２１のｂに示すように、ユーザが手２０を用いてタッチパネルにおいて操作を行うことにより、受信機器に対する操作入力を行うことができる。この場合には、送信機器から送信された画像を表示させるとともに、この画像に重ねて受信機器操作画面を表示するようにしてもよい。このように表示することにより、送信機器から送信された画像の表示を中断せずに、受信機器の操作を行うことができる。
　ここで、例えば、受信側の情報処理装置の２面（例えば、正面側および背面側）にタッチパネルが備えられることも想定される。この場合には、一方の面（タッチパネル）を、送信機器に対する操作入力を行うための操作部材として割り当て、他方の面（タッチパネル）を、受信機器に対する操作入力を行うための操作部材として割り当てるようにすることができる。
　このように、本技術の第４の実施の形態によれば、送信機器に対する操作入力、または、受信機器に対する操作入力を行う場合に、マウスやキーボード等の操作部材を使用せずに容易にその操作入力を行うことができる。
　＜５．応用例＞
　本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置２００、３００、５１０、５２０、６１０、７１０、７２０、７３０、７４０、７５０、８１０、８２０は、スマートフォン、タブレットＰＣ（Personal Computer）、ノートＰＣ、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。また、情報処理装置２００、３００、５１０、５２０、６１０、７１０、７２０、７３０、７４０、７５０、８１０、８２０は、スマートメータ、自動販売機、遠隔監視装置又はＰＯＳ（Point Of Sale）端末などの、Ｍ２Ｍ（Machine To Machine）通信を行う端末（ＭＴＣ（Machine Type Communication）端末ともいう）として実現されてもよい。さらに、情報処理装置２００、３００、５１０、５２０、６１０、７１０、７２０、７３０、７４０、７５０、８１０、８２０は、これら端末に搭載される無線通信モジュール（例えば、１つのダイで構成される集積回路モジュール）であってもよい。
　［５－１．第１の応用例］
　図２２は、本開示に係る技術が適用され得るスマートフォン９００の概略的な構成の一例を示すブロック図である。スマートフォン９００は、プロセッサ９０１、メモリ９０２、ストレージ９０３、外部接続インタフェース９０４、カメラ９０６、センサ９０７、マイクロフォン９０８、入力デバイス９０９、表示デバイス９１０、スピーカ９１１、無線通信インタフェース９１３、アンテナスイッチ９１４、アンテナ９１５、バス９１７、バッテリー９１８及び補助コントローラ９１９を備える。
　プロセッサ９０１は、例えばＣＰＵ（Central Processing Unit）又はＳｏＣ（System on Chip）であってよく、スマートフォン９００のアプリケーションレイヤ及びその他のレイヤの機能を制御する。メモリ９０２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０３は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。外部接続インタフェース９０４は、メモリーカード又はＵＳＢ（Universal Serial Bus）デバイスなどの外付けデバイスをスマートフォン９００へ接続するためのインタフェースである。
　カメラ９０６は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、撮像画像を生成する。センサ９０７は、例えば、測位センサ、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。マイクロフォン９０８は、スマートフォン９００へ入力される音声を音声信号へ変換する。入力デバイス９０９は、例えば、表示デバイス９１０の画面上へのタッチを検出するタッチセンサ、キーパッド、キーボード、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス９１０は、液晶ディスプレイ（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの画面を有し、スマートフォン９００の出力画像を表示する。スピーカ９１１は、スマートフォン９００から出力される音声信号を音声に変換する。
　無線通信インタフェース９１３は、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ及び１１ａｄなどの無線ＬＡＮ標準のうちの１つ以上をサポートし、無線通信を実行する。無線通信インタフェース９１３は、インフラストラクチャーモードにおいては、他の装置と無線ＬＡＮアクセスポイントを介して通信し得る。また、無線通信インタフェース９１３は、アドホックモードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース９１３は、典型的には、ベースバンドプロセッサ、ＲＦ（Radio Frequency）回路及びパワーアンプなどを含み得る。無線通信インタフェース９１３は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース９１３は、無線ＬＡＮ方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ９１４は、無線通信インタフェース９１３に含まれる複数の回路（例えば、異なる無線通信方式のための回路）の間でアンテナ９１５の接続先を切り替える。アンテナ９１５は、単一の又は複数のアンテナ素子（例えば、ＭＩＭＯアンテナを構成する複数のアンテナ素子）を有し、無線通信インタフェース９１３による無線信号の送信及び受信のために使用される。
　なお、図２２の例に限定されず、スマートフォン９００は、複数のアンテナ（例えば、無線ＬＡＮ用のアンテナ及び近接無線通信方式用のアンテナ、など）を備えてもよい。その場合に、アンテナスイッチ９１４は、スマートフォン９００の構成から省略されてもよい。
　バス９１７は、プロセッサ９０１、メモリ９０２、ストレージ９０３、外部接続インタフェース９０４、カメラ９０６、センサ９０７、マイクロフォン９０８、入力デバイス９０９、表示デバイス９１０、スピーカ９１１、無線通信インタフェース９１３及び補助コントローラ９１９を互いに接続する。バッテリー９１８は、図中に破線で部分的に示した給電ラインを介して、図２２に示したスマートフォン９００の各ブロックへ電力を供給する。補助コントローラ９１９は、例えば、スリープモードにおいて、スマートフォン９００の必要最低限の機能を動作させる。
　図２２に示したスマートフォン９００において、図２を用いて説明した制御部２４０は、無線通信インタフェース９１３において実装されてもよい。また、図３を用いて説明した制御信号生成部３７０は、無線通信インタフェース９１３において実装されてもよい。また、図１６を用いて説明した制御部２４０、制御信号生成部７１２は、無線通信インタフェース９１３において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ９０１又は補助コントローラ９１９において実装されてもよい。
　なお、スマートフォン９００は、プロセッサ９０１がアプリケーションレベルでアクセスポイント機能を実行することにより、無線アクセスポイント（ソフトウェアＡＰ）として動作してもよい。また、無線通信インタフェース９１３が無線アクセスポイント機能を有していてもよい。
　［５－２．第２の応用例］
　図２３は、本開示に係る技術が適用され得るカーナビゲーション装置９２０の概略的な構成の一例を示すブロック図である。カーナビゲーション装置９２０は、プロセッサ９２１、メモリ９２２、ＧＰＳ（Global Positioning System）モジュール９２４、センサ９２５、データインタフェース９２６、コンテンツプレーヤ９２７、記憶媒体インタフェース９２８、入力デバイス９２９、表示デバイス９３０、スピーカ９３１、無線通信インタフェース９３３、アンテナスイッチ９３４、アンテナ９３５及びバッテリー９３８を備える。
　プロセッサ９２１は、例えばＣＰＵ又はＳｏＣであってよく、カーナビゲーション装置９２０のナビゲーション機能及びその他の機能を制御する。メモリ９２２は、ＲＡＭ及びＲＯＭを含み、プロセッサ９２１により実行されるプログラム及びデータを記憶する。
　ＧＰＳモジュール９２４は、ＧＰＳ衛星から受信されるＧＰＳ信号を用いて、カーナビゲーション装置９２０の位置（例えば、緯度、経度及び高度）を測定する。センサ９２５は、例えば、ジャイロセンサ、地磁気センサ及び気圧センサなどのセンサ群を含み得る。データインタフェース９２６は、例えば、図示しない端子を介して車載ネットワーク９４１に接続され、車速データなどの車両側で生成されるデータを取得する。
　コンテンツプレーヤ９２７は、記憶媒体インタフェース９２８に挿入される記憶媒体（例えば、ＣＤ又はＤＶＤ）に記憶されているコンテンツを再生する。入力デバイス９２９は、例えば、表示デバイス９３０の画面上へのタッチを検出するタッチセンサ、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス９３０は、ＬＣＤ又はＯＬＥＤディスプレイなどの画面を有し、ナビゲーション機能又は再生されるコンテンツの画像を表示する。スピーカ９３１は、ナビゲーション機能又は再生されるコンテンツの音声を出力する。
　無線通信インタフェース９３３は、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ及び１１ａｄなどの無線ＬＡＮ標準のうちの１つ以上をサポートし、無線通信を実行する。無線通信インタフェース９３３は、インフラストラクチャーモードにおいては、他の装置と無線ＬＡＮアクセスポイントを介して通信し得る。また、無線通信インタフェース９３３は、アドホックモードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース９３３は、典型的には、ベースバンドプロセッサ、ＲＦ回路及びパワーアンプなどを含み得る。無線通信インタフェース９３３は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース９３３は、無線ＬＡＮ方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ９３４は、無線通信インタフェース９３３に含まれる複数の回路の間でアンテナ９３５の接続先を切り替える。アンテナ９３５は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース９３３による無線信号の送信及び受信のために使用される。
　なお、図２３の例に限定されず、カーナビゲーション装置９２０は、複数のアンテナを備えてもよい。その場合に、アンテナスイッチ９３４は、カーナビゲーション装置９２０の構成から省略されてもよい。
　バッテリー９３８は、図中に破線で部分的に示した給電ラインを介して、図２３に示したカーナビゲーション装置９２０の各ブロックへ電力を供給する。また、バッテリー９３８は、車両側から給電される電力を蓄積する。
　図２３に示したカーナビゲーション装置９２０において、図２を用いて説明した制御部２４０は、無線通信インタフェース９３３において実装されてもよい。また、図３を用いて説明した制御信号生成部３７０は、無線通信インタフェース９３３において実装されてもよい。また、図１６を用いて説明した制御部２４０、制御信号生成部７１２は、無線通信インタフェース９３３において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ９２１において実装されてもよい。
　また、本開示に係る技術は、上述したカーナビゲーション装置９２０の１つ以上のブロックと、車載ネットワーク９４１と、車両側モジュール９４２とを含む車載システム（又は車両）９４０として実現されてもよい。車両側モジュール９４２は、車速、エンジン回転数又は故障情報などの車両側データを生成し、生成したデータを車載ネットワーク９４１へ出力する。
　ここで、情報処理装置から出力されている画像および音声（または、情報処理装置による撮像動作により生成された画像および音声）を、ネットワークを通じてリアルタイムに他の情報処理装置に送信して出力させる通信システムを考える。
　一般的に、画像・音声情報は、圧縮されてからネットワーク上に送信される。また、画像・音声情報は、文字情報と比較すると容量が大きく、圧縮前の画像・音声の鮮明度が高ければ高いほど圧縮および送信に要する処理量が大きくなる。さらに、伝送される情報は、広いネットワーク帯域を必要とする。
　また、画像・音声を受信して出力する受信側の情報処理装置では、受信・展開・出力に必要な処理量は、送信側の情報処理装置と同様に大きくなる。
　ここで、情報処理装置の単位時間あたりの処理能力および送信側および受信側の情報処理装置間のネットワークの帯域は有限なものである。このため、通信システム（または、通信システムが存在する環境）において、情報処理装置の使用状態によっては、処理量やネットワーク帯域を削減する必要がある。例えば、送信側および受信側の情報処理装置内で他の処理を行っている場合や、接続されたネットワーク上で情報処理装置（送信側または受信側）がネットワーク帯域を別途使用している場合には、処理量やネットワーク帯域を削減する必要がある。
　ここで、画像・音声を受信している情報処理装置を操作することにより、その情報処理装置の処理量や使用ネットワーク帯域を削減する方法は、広く知られている。例えば、動画視聴アプリケーションでは、視聴中のユーザが「画質」オプションを操作することにより、鮮明度を調整することが可能である。例えば、視聴中のユーザが「画質」オプションを操作することにより、その操作内容がネットワークを通じて動画配信サーバに通知される。この通知により、鮮明度を高くすること（処理量と帯域を大きくする）や、鮮明度を低くすること（処理量と帯域を小さくする）が可能である。この方法では、視聴中のユーザによる独自の判断が必要であり、かつ、それに応じた受信側の情報処理装置の操作が必要となる。ここで、ユーザ独自の判断は、例えば、動画が再生中にひっかかる様子を確認し、動画の展開・表示に必要なＣＰＵ時間割り当ての不足や、ネットワーク品質が悪い等を、経験則的に判断することである。
　そこで、ネットワークの状況（伝送品質）に応じて、画像・音声の単位時間あたりの情報量（ビットレート）を自動的に変更する仕組みが広く普及している。例えば、Ａｄａｐｔｉｖｅ　ｂｉｔｒａｔｅ　ｓｔｒｅａｍｉｎｇやＲＴＣＰ（ＲＴＰ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）を用いた占有帯域の制御がある。これらの仕組みを適用したシステムでは、ユーザの意思とは関係なく画像・音声のビットレートが決定されることがある。
　例えば、これらの仕組みを適用したシステムにおいて、受信機器を視聴中のユーザが表示画面を注視しなった場合や、その受信機器（または、ネットワーク上の他の端末）を用いて他のアプリケーションを動作させる行動をユーザがとった場合を想定する。この場合には、受信機器で受信中の画像・音声は高いビットレートのままとなり、別のアプリケーションに十分なネットワーク帯域が割り当てられないことが想定される。
　また、例えば、帯域と処理量の削減のため、送信機器から送信される画像の鮮明度を低くする場合を想定する。この場合には、例えば、送信機器で表示（または撮影）されている画像は、受信機器で表示されている画像に対して情報量・解像度が大きいことになる。このため、受信機器の表示画面を操作することにより、受信する画像の領域を変更し、所望の画像を受信機器の表示画面に適合するように表示させることが必要となるため、その操作が煩雑となる。
　これに対して、本技術の実施の形態では、ユーザ情報（例えば、ユーザの操作・状況・意図）を送信機器または受信機器が取得し、このユーザ情報を受信機器から出力されるストリームの帯域制御に活用することができる。すなわち、本技術の実施の形態によれば、ユーザの操作・状況・意図に応じた適切な伝送帯域制御を行うことができる。
　なお、本技術の実施の形態では、無線通信機能を備える表示装置、携帯型の情報処理装置等を例にして説明したが、無線通信機能を備える他の情報処理装置についても本技術の実施の形態を適用することができる。例えば、家庭用ゲーム機器、携帯用映像処理装置、携帯用ゲーム機器、デジタルフォトフレーム等の情報処理装置に適用することができる。また、例えば、無線通信機能を備える無線通信機器を装着することにより、無線通信を行うことが可能な情報処理装置（例えば、無線通信機能を備えていないパーソナルコンピュータ）についても本技術の実施の形態を適用することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray（登録商標） Disc）等を用いることができる。
　なお、本技術は以下のような構成もとることができる。
（１）
　無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得部と、
　前記取得されたユーザ情報に基づいて前記ストリームの帯域制御を行う制御部と
を具備する情報処理装置。
（２）
　前記情報処理装置は、前記出力部をさらに具備し、
　前記出力部は、前記他の情報処理装置から送信された前記ストリームに基づく情報を出力し、
　前記制御部は、前記取得されたユーザ情報に基づいて前記他の情報処理装置から送信される前記ストリームの帯域制御を行う
前記（１）に記載の情報処理装置。
（３）
　前記出力部は、複数の前記他の情報処理装置から送信された各ストリームに基づく情報をそれぞれ出力し、
　前記制御部は、前記取得されたユーザ情報に基づいて前記各ストリームの帯域制御を行う
前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記他の情報処理装置から送信される前記ストリームの帯域制御を行うための制御信号を前記他の情報処理装置に送信する前記（２）または（３）に記載の情報処理装置。
（５）
　前記出力部は、前記ストリームに基づく画像を表示する表示部であり、
　前記取得部は、前記表示部に表示されている前記画像に関するユーザ動作により生じるユーザ情報を取得する
前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
　前記制御部は、前記取得されたユーザ情報に基づいて前記画像の鮮明度を変更するための制御を行う前記（５）に記載の情報処理装置。
（７）
　前記制御部は、前記取得されたユーザ情報に基づいて前記表示部における前記画像の表示領域を変更するための制御を行う前記（５）に記載の情報処理装置。
（８）
　前記制御部は、前記取得されたユーザ情報に基づいて前記表示部における前記画像のサイズを変更するための制御を行う前記（５）に記載の情報処理装置。
（９）
　前記取得部は、前記表示部に表示されている前記画像におけるユーザの注視点に基づいて生成されるユーザ情報を取得する前記（５）から（８）のいずれかに記載の情報処理装置。
（１０）
　前記取得部は、前記表示部に表示されている前記画像に関するユーザ操作に基づいて生成されるユーザ情報を取得する前記（５）から（８）のいずれかに記載の情報処理装置。
（１１）
　前記他の情報処理装置は、前記出力部をさらに具備し、
　前記出力部は、前記情報処理装置から送信された前記ストリームに基づく情報を出力し、
　前記制御部は、前記取得されたユーザ情報に基づいて前記他の情報処理装置に送信する前記ストリームの帯域制御を行う
前記（１）に記載の情報処理装置。
（１２）
　無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得手順と、
　前記取得されたユーザ情報に基づいて前記ストリームの帯域制御を行う制御手順と
を具備する情報処理方法。
（１３）
　無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得手順と、
　前記取得されたユーザ情報に基づいて前記ストリームの帯域制御を行う制御手順と
をコンピュータに実行させるプログラム。
　１００、５００、６００、７００、８００　通信システム
　２００、３００、５１０、５２０、６１０、７１０、７２０、７３０、７４０、７５０、８１０、８２０　情報処理装置
　２１０、３１０　アンテナ
　２２０、３２０　無線通信部
　２３０　制御信号受信部
　２４０　制御部
　２５０　画像・音声信号生成部
　２６０　画像・音声圧縮部
　２７０　ストリーム送信部
　３３０　ストリーム受信部
　３４０　画像・音声展開部
　３５０　画像・音声出力部
　３５１、５２１、６１１、７１５、８１１、８２１　表示部
　３５２　音声出力部
　３６０、７１１　ユーザ情報取得部
　３６１、８２５　撮像部
　３７０、７１２　制御信号生成部
　３８０　制御信号送信部
　９００　スマートフォン
　９０１　プロセッサ
　９０２　メモリ
　９０３　ストレージ
　９０４　外部接続インタフェース
　９０６　カメラ
　９０７　センサ
　９０８　マイクロフォン
　９０９　入力デバイス
　９１０　表示デバイス
　９１１　スピーカ
　９１３　無線通信インタフェース
　９１４　アンテナスイッチ
　９１５　アンテナ
　９１７　バス
　９１８　バッテリー
　９１９　補助コントローラ
　９２０　カーナビゲーション装置
　９２１　プロセッサ
　９２２　メモリ
　９２４　ＧＰＳモジュール
　９２５　センサ
　９２６　データインタフェース
　９２７　コンテンツプレーヤ
　９２８　記憶媒体インタフェース
　９２９　入力デバイス
　９３０　表示デバイス
　９３１　スピーカ
　９３３　無線通信インタフェース
　９３４　アンテナスイッチ
　９３５　アンテナ
　９３８　バッテリー
　９４１　車載ネットワーク
　９４２　車両側モジュール

Claims (13)

  1. 　無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得部と、
    　前記取得されたユーザ情報に基づいて前記ストリームの帯域制御を行う制御部と
    を具備する情報処理装置。
  2. 　前記情報処理装置は、前記出力部をさらに具備し、
    　前記出力部は、前記他の情報処理装置から送信された前記ストリームに基づく情報を出力し、
    　前記制御部は、前記取得されたユーザ情報に基づいて前記他の情報処理装置から送信される前記ストリームの帯域制御を行う
    請求項１記載の情報処理装置。
  3. 　前記出力部は、複数の前記他の情報処理装置から送信された各ストリームに基づく情報をそれぞれ出力し、
    　前記制御部は、前記取得されたユーザ情報に基づいて前記各ストリームの帯域制御を行う
    請求項２記載の情報処理装置。
  4. 　前記制御部は、前記他の情報処理装置から送信される前記ストリームの帯域制御を行うための制御信号を前記他の情報処理装置に送信する請求項２記載の情報処理装置。
  5. 　前記出力部は、前記ストリームに基づく画像を表示する表示部であり、
    　前記取得部は、前記表示部に表示されている前記画像に関するユーザ動作により生じるユーザ情報を取得する
    請求項１記載の情報処理装置。
  6. 　前記制御部は、前記取得されたユーザ情報に基づいて前記画像の鮮明度を変更するための制御を行う請求項５記載の情報処理装置。
  7. 　前記制御部は、前記取得されたユーザ情報に基づいて前記表示部における前記画像の表示領域を変更するための制御を行う請求項５記載の情報処理装置。
  8. 　前記制御部は、前記取得されたユーザ情報に基づいて前記表示部における前記画像のサイズを変更するための制御を行う請求項５記載の情報処理装置。
  9. 　前記取得部は、前記表示部に表示されている前記画像におけるユーザの注視点に基づいて生成されるユーザ情報を取得する請求項５記載の情報処理装置。
  10. 　前記取得部は、前記表示部に表示されている前記画像に関するユーザ操作に基づいて生成されるユーザ情報を取得する請求項５記載の情報処理装置。
  11. 　前記他の情報処理装置は、前記出力部をさらに具備し、
    　前記出力部は、前記情報処理装置から送信された前記ストリームに基づく情報を出力し、
    　前記制御部は、前記取得されたユーザ情報に基づいて前記他の情報処理装置に送信する前記ストリームの帯域制御を行う
    請求項１記載の情報処理装置。
  12. 　無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得手順と、
    　前記取得されたユーザ情報に基づいて前記ストリームの帯域制御を行う制御手順と
    を具備する情報処理方法。
  13. 　無線通信を利用して他の情報処理装置との間で通信されたストリームに基づく情報が出力部から出力されている際におけるユーザ動作により生じるユーザ情報を取得する取得手順と、
    　前記取得されたユーザ情報に基づいて前記ストリームの帯域制御を行う制御手順と
    をコンピュータに実行させるプログラム。
PCT/JP2013/078771 2013-01-28 2013-10-24 情報処理装置、情報処理方法およびプログラム WO2014115387A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/762,306 US10365874B2 (en) 2013-01-28 2013-10-24 Information processing for band control of a communication stream

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-013458 2013-01-28
JP2013013458 2013-01-28

Publications (1)

Publication Number Publication Date
WO2014115387A1 true WO2014115387A1 (ja) 2014-07-31

Family

ID=51227192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/078771 WO2014115387A1 (ja) 2013-01-28 2013-10-24 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10365874B2 (ja)
WO (1) WO2014115387A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016220149A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 通信装置、制御方法、及びプログラム
EP3091747A4 (en) * 2014-11-27 2017-03-08 Sony Corporation Information processing device and information processing method
JPWO2016072128A1 (ja) * 2014-11-04 2017-08-10 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2991301A4 (en) * 2013-04-26 2016-10-19 Hitachi Maxell VIDEO PROJECTION DEVICE
JP2015045945A (ja) * 2013-08-27 2015-03-12 株式会社リコー 情報処理装置、プログラム及び情報処理システム
WO2015049931A1 (ja) * 2013-10-04 2015-04-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015127944A (ja) * 2013-11-28 2015-07-09 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム
EP3124330B1 (en) * 2014-03-25 2019-11-27 Clarion Co., Ltd. Apparatus for vehicle
US9594970B2 (en) 2014-08-28 2017-03-14 Lenovo (Singapore) Pte. Ltd. Device with camera at or near junction of first panel and second panel
US9860452B2 (en) * 2015-05-13 2018-01-02 Lenovo (Singapore) Pte. Ltd. Usage of first camera to determine parameter for action associated with second camera
US10530856B2 (en) * 2016-02-09 2020-01-07 Qualcomm Incorporated Sharing data between a plurality of source devices that are each connected to a sink device
WO2024059958A1 (en) * 2022-09-19 2024-03-28 Citrix Systems, Inc. Switch between multiple screens by detecting cursor movement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099253A (ja) * 1995-06-19 1997-01-10 Toshiba Corp 画像圧縮通信装置
JP2001333430A (ja) * 2000-05-23 2001-11-30 Canon Inc 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2002016920A (ja) * 1999-08-09 2002-01-18 Sony Corp 送信装置および送信方法、受信装置および受信方法、送受信装置および送受信方法、記録媒体、並びに信号
JP2004534261A (ja) * 2001-03-28 2004-11-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 人の目の注視を考慮したスマート表示の方法及び装置
JP2006054830A (ja) * 2004-08-16 2006-02-23 Sony Corp 画像圧縮通信方法及び装置
JP2011504339A (ja) * 2007-11-15 2011-02-03 ソニー エリクソン モバイル コミュニケーションズ， エービー 可変画質を有する写真を生成するシステム及び方法
JP2012124784A (ja) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333029A (en) * 1990-10-12 1994-07-26 Nikon Corporation Camera capable of detecting eye-gaze
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7499594B2 (en) * 2002-04-15 2009-03-03 At&T Intellectual Property 1, L.P. Multi-resolution predictive foveation for bandwidth reduction of moving images
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
KR100866482B1 (ko) * 2004-01-29 2008-11-03 삼성전자주식회사 감시 시스템 및 그 사용 방법
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information
US7962637B2 (en) * 2006-11-03 2011-06-14 Apple Computer, Inc. Dynamic adjustments of video streams
JP2008288767A (ja) * 2007-05-16 2008-11-27 Sony Corp 情報処理装置および方法、並びにプログラム
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US7556377B2 (en) * 2007-09-28 2009-07-07 International Business Machines Corporation System and method of detecting eye fixations using adaptive thresholds
US20090110245A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for rendering and selecting a discrete portion of a digital image for manipulation
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
US8606952B2 (en) * 2008-01-15 2013-12-10 International Business Machines Corporation Method and system for optimizing bandwidth usage in remote visualization
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8074181B2 (en) * 2008-09-15 2011-12-06 Microsoft Corporation Screen magnifier panning model with dynamically resizable panning regions
CN101742282A (zh) * 2008-11-24 2010-06-16 深圳Tcl新技术有限公司 一种调整显示设备视频内容参数的方法、系统及设备
CN101946274B (zh) * 2008-12-16 2013-08-28 松下电器产业株式会社 信息显示装置以及信息显示方法
DK2389095T3 (da) * 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
JP5208810B2 (ja) * 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US8966556B2 (en) * 2009-03-06 2015-02-24 Alcatel Lucent Real-time multi-media streaming bandwidth management
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US20110202843A1 (en) * 2010-02-15 2011-08-18 Robert Paul Morris Methods, systems, and computer program products for delaying presentation of an update to a user interface
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8311279B2 (en) * 2010-02-23 2012-11-13 Fuji Xerox Co., Ltd. System and method for improved image analysis through gaze data feedback
US8908008B2 (en) * 2010-07-16 2014-12-09 Hewlett-Packard Development Company, L.P. Methods and systems for establishing eye contact and accurate gaze in remote collaboration
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US9071727B2 (en) * 2011-12-05 2015-06-30 Cisco Technology, Inc. Video bandwidth optimization
US9766700B2 (en) * 2011-12-14 2017-09-19 Intel Corporation Gaze activated content transfer system
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
KR101850034B1 (ko) * 2012-01-06 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
US9253229B1 (en) * 2013-01-07 2016-02-02 Cox Communications, Inc. Correlating video quality with video playback view

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099253A (ja) * 1995-06-19 1997-01-10 Toshiba Corp 画像圧縮通信装置
JP2002016920A (ja) * 1999-08-09 2002-01-18 Sony Corp 送信装置および送信方法、受信装置および受信方法、送受信装置および送受信方法、記録媒体、並びに信号
JP2001333430A (ja) * 2000-05-23 2001-11-30 Canon Inc 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2004534261A (ja) * 2001-03-28 2004-11-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 人の目の注視を考慮したスマート表示の方法及び装置
JP2006054830A (ja) * 2004-08-16 2006-02-23 Sony Corp 画像圧縮通信方法及び装置
JP2011504339A (ja) * 2007-11-15 2011-02-03 ソニー エリクソン モバイル コミュニケーションズ， エービー 可変画質を有する写真を生成するシステム及び方法
JP2012124784A (ja) * 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016072128A1 (ja) * 2014-11-04 2017-08-10 ソニー株式会社 情報処理装置、通信システム、情報処理方法およびプログラム
EP3091747A4 (en) * 2014-11-27 2017-03-08 Sony Corporation Information processing device and information processing method
US10004061B2 (en) 2014-11-27 2018-06-19 Sony Corporation Information processing device and information processing method
US10383098B2 (en) 2014-11-27 2019-08-13 Sony Corporation Information processing device and information processing method
JP2016220149A (ja) * 2015-05-25 2016-12-22 キヤノン株式会社 通信装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
US10365874B2 (en) 2019-07-30
US20150363153A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
WO2014115387A1 (ja) 情報処理装置、情報処理方法およびプログラム
US10383098B2 (en) Information processing device and information processing method
US10034234B2 (en) Information processing device, information processing system, and information processing method
RU2656230C2 (ru) Устройство обработки информации и способ обработки информации
US10805672B2 (en) Information processing device, information processing system, and information processing method
JP6669076B2 (ja) 通信システム、情報処理方法およびプログラム
WO2022121775A1 (zh) 一种投屏方法及设备
US10306043B2 (en) Information processing apparatus and method to control a process based on control information
US10085068B2 (en) Information processing apparatus and information processing method
US11068148B2 (en) Information processing device
US10795831B2 (en) Information processing device, communication system, information processing method
EP4007229A1 (en) Bandwidth determination method and apparatus, and terminal, and storage medium
JP2016143954A (ja) 無線通信装置及び無線通信方法
JP2014107865A (ja) ソース装置及び拡張装置に基づく双方向通信システム並びにその方法
US12137399B2 (en) Short-distance information transmission method and electronic device
KR102269520B1 (ko) 무선 av 시스템에서 세컨드 장치를 이용한 연속 시청 기능을 제공하는 장치 및 방법
US20220191668A1 (en) Short-Distance Information Transmission Method and Electronic Device
CN115426338A (zh) 一种媒体文件传输方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13872695

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14762306

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13872695

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP