WO2015037310A1 - 情報処理装置、および情報処理方法 - Google Patents
情報処理装置、および情報処理方法 Download PDFInfo
- Publication number
- WO2015037310A1 WO2015037310A1 PCT/JP2014/067433 JP2014067433W WO2015037310A1 WO 2015037310 A1 WO2015037310 A1 WO 2015037310A1 JP 2014067433 W JP2014067433 W JP 2014067433W WO 2015037310 A1 WO2015037310 A1 WO 2015037310A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- operator
- information processing
- processing apparatus
- determined
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Definitions
- This disclosure relates to an information processing apparatus and an information processing method.
- an apparatus that performs processing based on the user's line of sight is based on which user's line of sight, that is, an operator who performs the operation based on the line of sight (hereinafter, simply “operator” Need to be determined and processed.
- an operator Need to be determined and processed.
- a method for determining an operator in the apparatus as described above has not been established.
- the present disclosure proposes a new and improved information processing apparatus and information processing method capable of determining an operator who performs an operation with a line of sight and performing processing based on the determined line of sight of the operator. .
- an imaging acquisition unit that acquires a captured image of a user, a determination unit that determines an operator from among users included in the acquired captured image, and a user's line of sight corresponding to the determined operator
- An information processing apparatus includes a processing unit that performs processing based on the information regarding the information.
- the step of acquiring a captured image of the user the step of determining an operator from among the users included in the acquired captured image, and the line of sight of the user corresponding to the determined operator
- an information processing method executed by an information processing apparatus including a step of performing processing based on information.
- FIG. 1 Overview of processing related to information processing method according to this embodiment
- the operator according to the present embodiment refers to a user who performs an operation that affects the behavior of an apparatus (or an application being executed), for example.
- the information processing apparatus according to the present embodiment is based on, for example, a device ( Alternatively, it is possible to perform processing that does not affect the behavior of the application being executed.
- the information processing apparatus acquires a captured image of the user (imaging acquisition process), and determines an operator from the users included in the acquired captured image (determination process). Then, the information processing apparatus according to the present embodiment performs processing based on information regarding the line of sight of the user corresponding to the determined operator (execution processing).
- the captured image of the user according to the present embodiment is, for example, a captured image that can include the user.
- the captured image of the user according to the present embodiment is simply referred to as “captured image”.
- the captured image according to the present embodiment is generated by, for example, imaging in an imaging unit (described later) included in the information processing apparatus according to the present embodiment or an external imaging device. Examples of captured images according to the present embodiment include moving images and still images.
- the display screen according to the present embodiment is a display screen on which various images are displayed and the user turns his / her line of sight, for example.
- a display screen according to the present embodiment for example, a display screen (to be described later) included in the information processing apparatus according to the present embodiment, or an information processing apparatus according to the present embodiment is connected wirelessly or by wire. Examples include a display screen of an external display device (or an external display device).
- the information related to the user's line of sight according to the present embodiment is information (data) related to the user's eyes, such as the position of the user's line of sight on the display screen and the user's eye movement.
- Examples of information regarding the user's line of sight according to the present embodiment include information regarding the position of the user's line of sight and information regarding the user's eye movement.
- the information regarding the position of the user's line of sight is, for example, data indicating the position of the user's line of sight, or data that can be used for specifying the position of the user's line of sight (or the user's line of sight) Data that can be used to estimate the position of the line of sight. The same shall apply hereinafter).
- the data indicating the position of the user's line of sight according to the present embodiment includes, for example, coordinate data indicating the position of the user's line of sight on the display screen.
- the position of the user's line of sight on the display screen is represented by coordinates in a coordinate system with the reference position on the display screen as the origin, for example.
- the data indicating the position of the user's line of sight according to the present embodiment may include data indicating the direction of the line of sight (for example, data indicating an angle with respect to the display screen).
- the information processing apparatus uses, for example, a line of sight detection technique.
- the position of the user's line of sight on the display screen is specified using the coordinate data indicating the position of the user's line of sight on the display screen acquired from the external device that specified (or estimated) the line of sight.
- the information processing apparatus displays the direction of the line of sight acquired from the external device. The direction of the user's line of sight is specified using the data shown.
- the line of sight detected using the line of sight detection technique and the position of the user with respect to the display screen detected from the captured image obtained by capturing the direction in which the image is displayed on the display screen, the face orientation, and the like are used.
- the position of the user's line of sight on the display screen and the direction of the user's line of sight can be specified.
- the method for specifying the position of the user's line of sight and the direction of the user's line of sight on the display screen according to the present embodiment is not limited to the above.
- the information processing apparatus and the external apparatus according to the present embodiment can use any technique that can specify the position of the user's line of sight and the direction of the user's line of sight on the display screen.
- a line-of-sight detection technique for example, an eye moving point (for example, an iris or a pupil) with respect to an eye reference point (for example, a point corresponding to a non-moving part of the eye such as the eye head or corneal reflection).
- an eye moving point for example, an iris or a pupil
- an eye reference point for example, a point corresponding to a non-moving part of the eye such as the eye head or corneal reflection
- a method of detecting a line of sight based on the position of a point corresponding to a moving part of the eye.
- the line-of-sight detection technique according to the present embodiment is not limited to the above, and may be any line-of-sight detection technique capable of detecting the line of sight, for example.
- data that can be used for specifying the position of the user's line of sight for example, captured image data obtained by capturing a direction in which an image (moving image or still image) is displayed on the display screen is captured. Can be mentioned.
- the data that can be used for specifying the position of the user's line of sight according to the present embodiment further includes the user's line of sight, such as detection data of an infrared sensor that detects infrared rays in the direction in which the image is displayed on the display screen.
- the detection data of any sensor that obtains a detection value that can be used to improve the estimation accuracy of the position may be included.
- the information processing apparatus is, for example, An information processing apparatus according to the embodiment (hereinafter the same) is used, and captured image data acquired from an imaging unit (described later) or an external imaging device is used.
- the information processing apparatus is, for example, a sensor that can be used to improve the estimation accuracy of the position of the user's line of sight provided in the apparatus, or detection data acquired from an external sensor. (An example of data that can be used to specify the position of the user's line of sight) may be used.
- the information processing apparatus uses, for example, data that can be used for specifying the position of the user's line of sight acquired as described above, and the position of the user's line of sight on the display screen according to the present embodiment Processing related to the method for specifying the direction of the user's line of sight is performed, and the position of the user's line of sight on the display screen and the direction of the user's line of sight are specified.
- the information related to the user's eye movement is, for example, data indicating the user's eye movement, or data that can be used for specifying the user's eye movement (or the user's eye movement). Data that can be used for estimation of the same.
- the data indicating the user's eye movement includes, for example, data indicating a predetermined eye movement such as a single blinking action, a plurality of continuous blinking actions, a winking action (for example, a predetermined blinking action). Data indicating the number corresponding to the operation). Further, as data that can be used to specify the eye movement of the user according to the present embodiment, for example, captured image data obtained by capturing the direction in which an image (moving image or still image) is displayed on the display screen is captured. Can be mentioned.
- the information processing apparatus specifies, for example, the user's eye movement based on the captured image. Using the data indicating the user's eye movement acquired from the (or estimated) external device, it is determined that the predetermined eye movement has been performed.
- a change in the shape of the eye detected from a moving image (or a plurality of still images) in which the direction in which the image is displayed on the display screen is captured corresponds to a predetermined eye shape. It is possible to determine that a predetermined eye movement has been performed when the change is true.
- the method for determining a predetermined eye movement according to the present embodiment is not limited to the above.
- the information processing apparatus according to the present embodiment and the external apparatus can use any technique that can determine that a predetermined eye operation has been performed.
- the information processing apparatus includes, for example, imaging included in the own apparatus. Captured image data (an example of data that can be used to identify the user's eye movement) acquired from a unit (described later) or an external imaging device.
- the information processing apparatus uses the data that can be used for specifying the user's eye movement acquired as described above, for example, in the predetermined eye movement determination method according to the present embodiment. This process is performed to determine that a predetermined eye operation has been performed.
- Imaging acquisition process The information processing apparatus according to the present embodiment acquires a captured image according to the present embodiment.
- the information processing apparatus acquires, for example, a captured image according to the present embodiment by controlling imaging in an imaging unit (described later) included in the information processing apparatus according to the present embodiment or an external imaging device. To do.
- the information processing apparatus according to the present embodiment for example, sends a control command related to imaging to an imaging unit (described later) or an external imaging device via a communication unit (described later) or an external communication device connected thereto. To control the imaging in an imaging unit (described later) or the like.
- the imaging acquisition process according to the present embodiment is not limited to the above.
- the information processing apparatus according to the present embodiment can passively acquire a captured image according to the present embodiment transmitted from an imaging unit (described later) or an external imaging device.
- the information processing apparatus determines an operator from among users included in the captured image acquired by the process (1) (imaging acquisition process).
- the information processing apparatus according to the present embodiment determines one user or a plurality of users as operators from among users included in the captured image.
- the information processing apparatus determines an operator based on the size of a face area detected from a captured image, for example.
- the face area according to the present embodiment is an area including the face portion of the user in the captured image.
- the information processing apparatus according to the present embodiment detects, for example, feature points such as a user's eyes, nose, mouth, and skeleton from a captured image, and detects a region similar to the luminance distribution and structure pattern of a face from the captured image. By doing so, the face area is detected.
- the face area detection method according to the present embodiment is not limited to the above, and the information processing apparatus according to the present embodiment can use any technique capable of detecting a face from a captured image. .
- the information processing apparatus is, for example, a face area detected from the captured image Among them, one user corresponding to the face area having the largest face area size is determined as the operator.
- the face area detected from the captured image may include an area having the same (or substantially the same) size of the face area.
- the information processing apparatus is detected earlier, for example, when there are a plurality of face areas having the largest face area size in the face area detected from the captured image.
- a user corresponding to the face area is determined as an operator.
- the information processing apparatus by determining a user corresponding to a face area detected earlier as an operator, the information processing apparatus according to the present embodiment has the same (or substantially the same) size of the face area. Even if it is the magnitude
- the method of determining the operator when the face area detected from the captured image includes a plurality of face areas having the largest face area size is not limited to the above.
- the information processing apparatus may determine a user corresponding to a face area detected later as an operator, or a rule set from the face areas detected from the captured image It is also possible to determine one user as an operator according to (for example, random).
- the information processing apparatus combines, for example, one or more of the determination processing according to the second example described later to the determination processing according to the fifth example described later.
- a human user may be determined as an operator.
- the information processing apparatus determines one user as an operator based on the size of a face area detected from a captured image.
- the information processing apparatus can determine that the user who has been determined as the operator is not the operator based on the size of the face area detected from the captured image.
- the information processing apparatus is based on the size of the face area corresponding to a user (hereinafter referred to as “another user”) that is not determined as an operator among users included in the captured image.
- the first difference value indicating the difference in size of the face area corresponding to the user determined as the operator is calculated.
- the information processing apparatus according to the present embodiment is determined as an operator when the first difference value is equal to or greater than the set first threshold (or when the first difference value is greater than the first threshold).
- the determined user is determined not to be an operator.
- the first threshold value for example, a preset fixed value or a variable value that can be appropriately set by a user operation or the like can be cited.
- the degree to which the user determined as the operator continues to be an operator varies depending on the magnitude of the set first threshold value. Specifically, for example, when the value of the first threshold is 0 (zero), the size of the face area corresponding to the user determined as the operator is the size of the face area corresponding to another user. Is determined as an operator when the size of the face area corresponding to the user determined as the operator is equal to or smaller than the size of the face area corresponding to another user. The user who has been determined is not the operator.
- the value of the first threshold value increases, so that the user is determined as the operator. The user who has been more difficult to be determined unless it is an operator.
- the information processing apparatus for example, detects a face area detected from the captured image. Users within the set number of people are determined as operators in descending order of size. More specifically, the information processing apparatus according to the present embodiment is, for example, from a user within a set number of people or a set number of people in descending order of the size of a face area detected from a captured image. A small number of users are determined as operators.
- the set number of persons in the determination process according to the first example may be fixed or may be changed by a user operation or the like.
- the information processing apparatus does not determine, as an operator, a user corresponding to a face area detected later among face areas having the same face area size.
- the determination method of the operator in said case is not restricted above.
- the information processing apparatus determines a plurality of users as operators based on the size of the face area detected from the captured image, for example, as described above.
- the information processing apparatus is, for example, a distance from a user's display screen corresponding to a face area detected from a captured image (hereinafter referred to as “corresponding to a face area”).
- the operator is determined on the basis of “the distance to be performed”.
- the information processing apparatus determines one user or a plurality of users as operators from among users included in the captured image.
- the “distance from the display screen of the user corresponding to the face area included in the captured image” according to the present embodiment is specified based on a distance image captured by a method such as TOF (Time Of Flight), for example. (Or estimated).
- the information processing apparatus according to the present embodiment is included in the “captured image” according to the present embodiment based on, for example, the face area detected from the captured image and the detection value of the depth sensor using infrared rays or the like. It is also possible to specify (or estimate) the distance “from the display screen” of the user corresponding to the face area.
- the information processing apparatus specifies (or estimates) the coordinates of the face region using an arbitrary technique, and calculates the distance between the coordinates of the reference position and “imaging”
- the distance from the display screen of the user corresponding to the face area included in the image may be specified.
- the coordinates of the face area and the coordinates of the reference position are represented by coordinates of a three-dimensional coordinate system including, for example, two axes indicating a plane corresponding to the display screen and one axis indicating a vertical direction with respect to the display screen.
- the method of specifying (or estimating) the “distance from the display screen of the user corresponding to the face area included in the captured image” according to the present embodiment is not limited to the above.
- the information processing apparatus has the largest distance corresponding to the face area, for example. One user corresponding to the short face area is determined as an operator.
- the distance corresponding to the face area is the same (or substantially the same) distance. May be included.
- the information processing apparatus includes, for example, a plurality of distances corresponding to the face area according to the present embodiment having the same (or substantially the same) distance corresponding to the face area.
- the user corresponding to the face area detected earlier is determined as the operator.
- the information processing apparatus by determining a user corresponding to a face area detected earlier as an operator, the information processing apparatus according to the present embodiment has the same distance (or substantially the same distance) corresponding to the face area. Even if there are a plurality of items having a distance of (), one user can be determined as an operator.
- a plurality of distances corresponding to the face area according to the present embodiment corresponding to the face area detected from the captured image have the same (or substantially the same) distance corresponding to the face area.
- the operator determination method is not limited to the above.
- the information processing apparatus may determine a user corresponding to a face area detected later as an operator, or a rule set from the face areas detected from the captured image It is also possible to determine one user as an operator according to (for example, random).
- the information processing apparatus is, for example, one of the determination process according to the first example, the determination process according to the third example described later to the determination process according to the fifth example described later.
- One user may be determined as an operator by combining two or more processes. By determining the operator by a process combining the determination process according to the third example and the determination process according to another example, for example, it is possible to prevent the operator from changing frequently.
- the information processing apparatus operates one user on the basis of the distance corresponding to the face area according to the present embodiment corresponding to the face area detected from the captured image. As a person.
- the process in the case of determining one user as an operator in the determination process which concerns on the 2nd example which concerns on this embodiment is not restricted above.
- the information processing apparatus according to this embodiment is a user who has been determined as an operator based on the length of the distance corresponding to the face area according to this embodiment corresponding to the face area detected from the captured image. It is also possible to determine that the user is not an operator.
- the information processing apparatus includes the second difference indicating a difference in distance corresponding to the face area corresponding to another user from the distance corresponding to the face area corresponding to the user determined as the operator. Calculate the value.
- the information processing apparatus is determined as an operator when the second difference value is equal to or greater than the set second threshold (or when the second difference value is greater than the second threshold). The determined user is determined not to be an operator.
- the second threshold value for example, a fixed value set in advance or a variable value that can be appropriately set by a user operation or the like can be cited.
- the degree to which the user determined as the operator continues to be an operator varies depending on the magnitude of the set second threshold value. Specifically, for example, when the value of the second threshold value is 0 (zero), the distance corresponding to the face area corresponding to the user determined as the operator is the distance corresponding to the face area corresponding to another user. When the distance is shorter than the corresponding distance (or when the distance corresponding to the face area corresponding to the user determined as the operator is equal to or less than the distance corresponding to the face area corresponding to another user) The user who has been determined as an operator is determined not to be an operator. Further, as the second threshold value increases, the second difference value required for determining that the user who has been determined as the operator is not the operator increases. The user who has been more difficult to be determined unless it is an operator.
- the information processing apparatus for example, in ascending order of the distance corresponding to the face area A user within the set number of persons is determined as an operator. More specifically, the information processing apparatus according to the present embodiment, for example, selects a user within a set number of people or a number of users less than the set number of people in order of increasing distance corresponding to the face area. Determine as the operator.
- the set number of persons in the determination process according to the second example may be fixed or may be changed by a user operation or the like.
- the information processing apparatus selects a user corresponding to a face area detected later among face areas having the same distance corresponding to the face area. Do not decide as an operator. In addition, it cannot be overemphasized that the determination method of the operator in said case is not restricted above.
- the information processing apparatus assigns a plurality of users to the operator based on the distance corresponding to the face area according to the present embodiment corresponding to the face area detected from the captured image. Determine as.
- the information processing apparatus determines an operator based on, for example, a predetermined gesture detected from a captured image.
- examples of the predetermined gesture according to the present embodiment include various gestures such as a gesture of raising a hand and a gesture of waving.
- the information processing apparatus when detecting a gesture of raising a hand, the information processing apparatus according to the present embodiment detects a face area and a hand from the captured image. Then, the information processing apparatus according to the present embodiment, when the detected hand exists in an area corresponding to the face area (an area set for determining that the hand is raised) By determining that the user corresponding to 1 raised his hand, a hand raising gesture is detected.
- the information processing apparatus when detecting a gesture of waving, detects a face area and a hand from the captured image.
- the information processing apparatus according to the present embodiment detects the detected hand in an area corresponding to the face area (an area set to determine that the hand is shaken), and the brightness in the captured image
- the change frequency is equal to or higher than the predetermined frequency set (or when the luminance change frequency is higher than the predetermined frequency)
- the information processing apparatus may detect an arbitrary gesture such as a gesture indicating a finger by using an arbitrary method that can be detected from a captured image.
- the information processing apparatus receives, for example, a predetermined gesture from the captured image.
- the previously detected user is determined as the operator.
- the process of determining one user as an operator is not limited to the above.
- the information processing apparatus may determine, for example, a user whose predetermined gesture is detected later as an operator. Good.
- the information processing apparatus according to the present embodiment is, for example, one user in accordance with a rule (for example, random) set from among users whose predetermined gesture is detected from a captured image. Can be determined as an operator.
- the information processing apparatus according to the present embodiment includes, for example, the determination process according to the first example, the determination process according to the second example, the determination process according to a fourth example described later, One user may be determined as an operator by combining determination processing according to a fifth example described later.
- the information processing apparatus detects, for example, a predetermined gesture from a captured image.
- a predetermined gesture from a captured image.
- users within the set number of persons are determined as operators.
- the information processing apparatus includes, for example, a user within a set number of people or a number less than the set number of people in the order in which a predetermined gesture is detected from a captured image. The user is determined as an operator.
- the set number of persons in the determination process according to the third example may be fixed or may be changed by a user operation or the like.
- the process of determining a plurality of users as operators is not limited to the above.
- the information processing apparatus sets the set number of people selected according to a set rule (for example, random) from users whose predetermined gestures are detected from the captured image. May be determined as an operator.
- a set rule for example, random
- the information processing apparatus uses, for example, the position of the user's line of sight on the display screen indicated by the information regarding the user's line of sight according to the present embodiment.
- the set area on the display screen according to the present embodiment for example, a fixed area set in advance on the display screen, an area in which a predetermined object such as an icon or a character image is displayed on the display screen, An area set by a user operation or the like on the display screen may be used.
- the information processing apparatus is, for example, within a set area on the display screen. The user whose position of the user's line of sight is detected earlier is determined as the operator.
- the process of determining one user as an operator is not limited to the above.
- the information processing apparatus when there are a plurality of users whose line of sight is detected in a set area on the display screen, the information processing apparatus according to the present embodiment, for example, displays the user's line of sight in the set area on the display screen. A user whose position is detected later may be determined as an operator.
- the information processing apparatus for example, is a rule in which the position of the user's line of sight is set from among users included in a set area on the display screen (for example, random) In accordance with the above, it is possible to determine one user as an operator.
- the information processing apparatus for example, the determination process according to the first example, the determination process according to the second example, the determination process according to the third example, which will be described later.
- One user may be determined as an operator by combining the determination processes according to the fifth example.
- the information processing apparatus is, for example, within a set area on the display screen. Users in the set number of persons are determined as operators in the order in which the position of the user's line of sight is detected. More specifically, the information processing apparatus according to the present embodiment, for example, a user within the set number of people or the setting in the order in which the position of the user's line of sight is detected in the set area on the display screen. The number of users that is smaller than the number of users is determined as operators.
- the set number of persons in the determination process according to the fourth example may be fixed or may be changed by a user operation or the like.
- the process of determining a plurality of users as operators is not limited to the above.
- the information processing apparatus is selected according to a set rule (for example, random) from among users whose position of the user's line of sight is included in a set area on the display screen.
- a set rule for example, random
- users within the set number of people may be determined as operators.
- the information processing apparatus specifies a user included in a captured image based on the captured image, for example. Then, the information processing apparatus according to the present embodiment determines the operator based on the priority associated with the identified user.
- the priority according to the present embodiment is, for example, a value indicating an index for the information processing apparatus according to the present embodiment to preferentially determine the operator.
- the priority according to the present embodiment may be higher as the value is smaller, or may be higher as the value is larger.
- the information processing apparatus detects, for example, a face area from a captured image, performs face recognition processing on the detected face area, and shows face information indicating the features of the user's face (Data) is extracted. Then, the information processing apparatus according to the present embodiment uses, for example, a face region by using a table (or database) in which a user ID uniquely indicating a user and face information are associated with each other and extracted face information. The user is specified by specifying the user ID corresponding to.
- the user ID that uniquely indicates the user according to the present embodiment may be further associated with, for example, information related to the application execution state and / or UI (User Interface) calibration.
- information relating to UI calibration include data indicating a position where an object such as an icon is arranged on the display screen.
- the user identification method based on the captured image according to the present embodiment is not limited to the above.
- the information processing apparatus includes a table (or database) in which a user ID indicating a user type such as an ID indicating whether the user is an adult or a child, and face information are associated with each other.
- the user type may be specified by specifying the user ID corresponding to the face area using the extracted face information.
- the information processing apparatus When the user is specified, the information processing apparatus according to the present embodiment is specified using a table (or database) in which the user ID and the priority value are associated with each other and the specified user ID. The priority corresponding to the selected user is specified. Then, the information processing apparatus according to the present embodiment determines an operator based on the identified priority.
- the information processing apparatus determines the operator based on the priority, thereby realizing the following.
- an example of the determination process according to the fifth example is not limited to the example shown below.
- the information processing apparatus specifies the father from the captured image. The father is determined as an operator during the period (an example in which the information processing apparatus according to the present embodiment determines an operator of a device used at home).
- the information processing apparatus when the priority of the adult is higher than the child, the information processing apparatus according to the present embodiment And an adult user are included, the adult is determined as the operator while the adult is specified from the captured image.
- the information processing apparatus is, for example, a user identified based on the captured image The user with the highest priority associated with is determined as the operator.
- the process of determining one user as an operator is not limited to the above.
- the information processing apparatus when there are a plurality of users with the highest priority, the information processing apparatus according to the present embodiment, for example, among users with the highest priority, the user whose face area is detected earlier from the captured image, The user specified earlier based on the captured image may be determined as the operator.
- the information processing apparatus determines one user as an operator according to a rule (for example, random) set from among the users with the highest priority. It is also possible to do.
- the information processing apparatus is set, for example, in descending order of priority. Users within a certain number are determined as operators. More specifically, the information processing apparatus according to the present embodiment operates, for example, a user within a set number of people or a user with a number less than the set number as an operator in descending order of priority. decide.
- the set number of persons in the determination process according to the fifth example may be fixed or may be changed by a user operation or the like.
- the information processing apparatus when the priority is the same and the operator candidates are selected in the order of high priority, the information processing apparatus according to the present embodiment, when the number of set persons is exceeded, For example, among users having the same priority level, a user whose face area is detected later from the captured image or a user specified later based on the captured image is not determined as an operator. In addition, it cannot be overemphasized that the determination method of the operator in said case is not restricted above.
- the information processing apparatus is, for example, the determination process according to the first example shown in (2-1) to the second example shown in (2-5).
- the user who is determined to be the operator in each of the determination processes according to the example 5 may be determined as the operator when a voice indicating the set predetermined utterance content is detected.
- the information processing apparatus detects a voice indicating the predetermined utterance content by performing voice recognition using sound source separation or sound source localization, for example.
- the sound source separation according to the present embodiment refers to a technique for extracting only a target sound from various sounds.
- the sound source localization according to the present embodiment refers to a technique for measuring the position (angle) of a sound source.
- the information processing apparatus includes, for example, the determination process according to the first example shown in (2-1) to the sixth example shown in (2-6) as the determination process according to the present embodiment.
- the process of determining the operator from the users included in the captured image based on the captured image is the determination process according to the first example shown in (2-1) above.
- the determination process is not limited to the sixth example shown in (2-6) above.
- the information processing apparatus according to the present embodiment can determine the operator according to the detection order of the faces detected from the captured image.
- the face detection order for example, the user whose face is first detected is the operator, or the number of users set in the face detection order is the operator. Etc.
- the determination process according to the present embodiment is not limited to the process of determining the operator from among the users included in the captured image.
- the information processing apparatus according to the present embodiment performs, for example, one or more processes among the determination process according to the seventh example described below to the determination process according to the tenth example described below. It is also possible to perform the determination process according to the above.
- the information processing apparatus sets the degree of operation for the user determined as the operator.
- the operation degree according to the present embodiment is, for example, a value indicating an index related to a range of operations that can be performed by the determined operator using the line of sight.
- the degree of operation according to the present embodiment is performed using the line of sight, for example, using a table (or database) in which the degree of operation according to the present embodiment and information regarding operations that can be performed using the line of sight are associated with each other. Is associated with a range of possible operations.
- Examples of the information related to the operation according to the present embodiment include data indicating instructions and parameters related to the operation, data for executing the application related to the operation (for example, an address where the application is stored, a parameter, and the like) And various data for realizing the operation.
- the information processing apparatus uses the execution process according to the present embodiment, which will be described later, to change the line of sight of the operator based on the set degree of operation. Perform the corresponding process.
- the information processing apparatus can be performed by the determined operator based on the set operation level, for example. Possible processing can be changed dynamically.
- the information processing apparatus sets, for example, the set operation level for the user determined as the operator.
- the information processing apparatus may set an operation degree corresponding to the specified user.
- the information processing apparatus is specified using, for example, a table (or database) in which user IDs and operation degrees are associated with each other and a user ID corresponding to the user specified based on the captured image. The degree of operation corresponding to the selected user is set.
- the information processing apparatus may determine that the user who has been determined as the operator is not the operator as the determination process according to the present embodiment. Is possible.
- the information processing apparatus for example, when the information regarding the user's line of sight corresponding to the user determined as the operator cannot be acquired from the captured image, It is decided not to.
- the information processing apparatus is, for example, the user determined as the operator Determines that the user who has been determined as the operator is not the operator when the user stops directing his / her line of sight to the display screen.
- a factor that information regarding the user's line of sight corresponding to the user determined as the operator is not acquired from the captured image is, for example, “the user determined as the operator is no longer included in the captured image”, “The user determined as the operator is included in the captured image, but the user does not see the display screen”.
- the processing device determines that the user who has been determined as the operator is not the operator, the convenience of the user determined as the operator may be impaired.
- the information processing apparatus for example, even when the information regarding the user's line of sight corresponding to the user determined as the operator cannot be acquired from the captured image, When the head is detected, the user who has been determined as the operator is not determined as the operator.
- the information processing apparatus detects, for example, a captured image by detecting a shape (for example, a circle or an ellipse) corresponding to the head from the captured image, or detecting a luminance change in the captured image. To detect the user's head.
- the information processing apparatus detects, for example, a user's head with respect to a partial area of a captured image including an area in which a face area corresponding to a user determined as an operator is detected. By performing such processing, the head of the user determined as the operator is detected.
- the process which concerns on the detection of the user's head which concerns on this embodiment, and the detection method of the user's head determined as an operator are not restricted above.
- the information processing apparatus uses an arbitrary method and process capable of detecting the user's head determined as an operator, such as a method using detection results of various sensors such as an infrared sensor.
- the user's head determined as the operator may be detected.
- the head of the user determined as the operator when the head of the user determined as the operator is detected, the user who has been determined as the operator is not determined as the operator, and thus is determined as the operator. Even if the user who has been taking his eyes off the display screen, the user remains the operator. Therefore, as described above, when the head of the user determined as the operator is detected, the user determined as the operator is determined not to be an operator and thus determined as the operator. It is possible to prevent a decrease in user convenience.
- the information processing apparatus is a user who has been determined as an operator based on information about the user's line of sight The process of determining that the user is not an operator is shown.
- information regarding the user's line of sight is not acquired by hiding the face of the user who is the operator, or the captured image is captured by the user who is the operator. It is possible to change the operator determined by the information processing apparatus according to the present embodiment by moving the head to a position where the head is not detected.
- the method for changing the operator according to the present embodiment is not limited to the method using the determination process according to the eighth example.
- the information processing apparatus according to the present embodiment can change an operator from a user who has been determined as an operator to another user based on a combination of predetermined gestures between the user determined as the operator and another user. It is also possible to change actively.
- the information processing apparatus detects, for example, a predetermined combination of gestures between a user determined as an operator and another user.
- the information processing apparatus uses, for example, a method related to any gesture recognition technology such as a method using image processing on a captured image or a method using a detection value of an arbitrary sensor such as a depth sensor. A combination of the predetermined gestures is detected.
- the information processing apparatus determines the operator as the operator when a combination of predetermined gestures between the user determined as the operator and another user is detected from the captured image. Change from one user to another.
- FIG. 1 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
- a and B shown in FIG. 1 show examples of combinations of predetermined gestures between a user determined as an operator and another user, which are detected by the information processing apparatus according to the present embodiment.
- a user U1 indicates a user determined as an operator
- a user U2 indicates another user.
- the information processing apparatus is, for example, a predetermined operation between a user determined as an operator and another user, such as a high-touch gesture shown in FIG.
- a predetermined operation between a user determined as an operator and another user such as a high-touch gesture shown in FIG.
- the operator is changed from the user U1 to the user U2.
- an example of a combination of predetermined gestures of a user determined as an operator and another user according to the present embodiment is not limited to the example shown in FIG.
- the information processing apparatus When the information processing apparatus according to the present embodiment performs the determination process according to the ninth example as described above, for example, the number of users determined as operators reaches a set upper limit. Even so, the user can intentionally change the operator by performing a gesture.
- processing related to the determination of the operator when the number of users determined as the operator does not reach the set upper limit is not limited to the above.
- the information processing apparatus can perform, for example, a user operation from among the above-described “process for determining a user newly included in a captured image as an operator” or the following processes: It is also possible to perform processing selected by the above.
- a user who is newly included in a captured image is not determined as an operator until a set time has elapsed since the application was executed.
- a user who is newly included in the captured image is selectively determined as an operator according to the execution state of the application.
- the information processing apparatus performs processing based on information regarding the user's line of sight corresponding to the operator determined in the processing (determination processing) of (2) above.
- processing based on information about the user's line of sight for example, an object that exists at the position of the line of sight indicated by “information about the position of the user's line of sight (an example of information about the user's line of sight)” is selected.
- Processing “ processing for moving an object according to the position of the line of sight indicated by the information regarding the position of the user ’s line of sight ”, and“ the movement of the eye indicated by the information regarding the movement of the user's eyes (an example of information regarding the line of sight of the user) ”
- Corresponding process a process for controlling the execution state of the application corresponding to the position of the line of sight indicated by the information regarding the position of the user's line of sight based on the eye movement indicated by the information regarding the eye movement of the user, etc.
- Various processes using information related to the user's line of sight according to the present embodiment can be given.
- an icon or a cursor a message box, such as a character string or an image for performing notification to the user, include various objects displayed on the display screen.
- the information processing apparatus includes, for example, information on the line of sight of the user corresponding to the operator to an external apparatus that can communicate via a communication unit (described later) or a connected external communication device.
- the control process for performing the process based on the process may be performed as a process based on information on the user's line of sight according to the present embodiment.
- the information processing apparatus for example, information on the user's line of sight corresponding to the operator determined in the process (determination process) of (2) above and a command for performing the process Control data including these are transmitted to an external device via a communication unit (described later).
- the information processing apparatus When performing the control process as the execution process according to the present embodiment, the information processing apparatus according to the present embodiment, for example, obtains “information relating to the user's line of sight corresponding to the operator performed in the external apparatus” acquired from the external apparatus. It is possible to use data indicating the “result of processing based on”.
- execution processing according to the present embodiment is not limited to the above.
- the information processing apparatus according to the present embodiment can also execute the execution process according to the first example shown below or the execution process according to the second example shown below as the execution process according to the present embodiment. It is.
- the information processing apparatus For example, based on the degree of operation set for the user determined as the operator, processing based on information about the user's line of sight is performed within the range of processing associated with the degree of operation. That is, when performing the execution process according to the first example, the information processing apparatus according to the present embodiment can be performed based on, for example, the degree of operation set for the user determined as the operator. Processing can be changed dynamically.
- the information processing apparatus uses the table (or database) in which the operation degree according to the present embodiment and information regarding operations that can be performed using a line of sight are associated with each other (2)
- the information regarding the operation corresponding to the operation degree set in the process (determination process) is specified.
- the information processing apparatus which concerns on this embodiment performs a process based on the information regarding a user's eyes
- the example of the execution process according to the first example is not limited to the example shown above.
- the information processing apparatus uses, for example, another user's line of sight that has not been determined as an operator in the process (decision process) of (2) above.
- the processing is performed based on information regarding the line of sight of the user corresponding to the other user.
- processing based on the information regarding the line of sight of the user corresponding to another user according to the present embodiment for example, processing excluding processing that affects the behavior of the device can be cited. This is because the other users according to the present embodiment are not users determined as operators.
- the processing based on the information on the user's line of sight corresponding to the other user includes, for example, the position of the line of sight indicated by the information on the user's line of sight corresponding to the other user.
- There is a process for displaying an object indicating a position As described above, by displaying the object indicating the position of the line of sight at the position of the line of sight indicated by the information regarding the line of sight of the user corresponding to the other user, the point of the line of sight of the other user is visually displayed on the display screen. Can be represented.
- execution processing according to the second example is not limited to the above.
- the information processing apparatus may selectively perform processing based on information regarding the line of sight of a user corresponding to another user. For example, in the present embodiment, the information processing apparatus according to the present embodiment displays an object indicating the position of the line of sight at the position of the line of sight indicated by the information regarding the line of sight of the user corresponding to another user. For example, the information processing apparatus selectively displays an object indicating the position of the line of sight at the position of the line of sight indicated by the information regarding the line of sight of the user corresponding to the other user.
- the information processing apparatus for example, when a predetermined voice uttered by another user is recognized as a result of voice recognition performed on the acquired voice signal, Processing is performed based on information about the user's line of sight. Further, the information processing apparatus according to the present embodiment does not perform processing based on information regarding the user's line of sight when a predetermined voice uttered by another user is not recognized.
- the audio signal according to the present embodiment is generated by, for example, a voice input device included in the information processing apparatus according to the present embodiment or a voice input device external to the information processing apparatus according to the present embodiment.
- the information processing apparatus according to the aspect processes an audio signal acquired from an audio input device.
- a voice signal corresponding to a voice of a specific user such as a voice input device capable of performing sound source separation or a voice input device capable of performing sound source localization.
- examples of the predetermined voice according to the present embodiment include a voice indicating a word such as “this” or “it”. Needless to say, the predetermined sound according to the present embodiment is not limited to the sound indicating the word.
- FIG. 2 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
- FIG. 2 shows an example of a case where processing based on information regarding the line of sight of a user corresponding to another user according to the present embodiment is selectively performed.
- the user U1 indicates a user determined as an operator, and the user U2 indicates another user.
- the information processing apparatus when the predetermined voice spoken by the user U2 is not recognized, such as when the user U2 who is another user is not speaking, the information processing apparatus according to the present embodiment Processing based on information about the user's line of sight corresponding to U2 is not performed.
- the information processing apparatus when a predetermined voice such as “this” uttered by the user U2 as another user is recognized, the information processing apparatus according to the present embodiment, for example, The object O is displayed at the position of the line of sight indicated by the information regarding the line of sight of the user corresponding to U2.
- the point of view of the user U2 who is another user is visually displayed, so that the user U2 can display the display screen to the user U1 who is the operator. You can tell what you are interested in.
- the information processing apparatus since the information processing apparatus according to the present embodiment selectively displays the object O when a predetermined sound is recognized, the possibility that the operator or other users feel annoyance, or , The annoyance can be reduced.
- the information processing apparatus can display the object O shown in B of FIG. 2 and then hide the object O, for example.
- the information processing apparatus according to the present embodiment may hide the object O after the time set after the display of the object O has elapsed, or the line of sight of the user corresponding to the user U2 who is another user The object O may be hidden when the position of the line of sight indicated by the information regarding the object does not move for a set time.
- the information processing apparatus includes, for example, the process (1) (imaging acquisition process), the process (2) (determination process), and the process as a process related to the information processing method according to the present embodiment.
- the process (3) (execution process) is performed.
- the information processing apparatus in the process (2) (determination process), looks from the user included in the captured image acquired by the process (1) (imaging acquisition process). The operator who performs the operation is determined.
- the information processing apparatus performs processing based on the line of sight of the operator determined in the processing (determination processing) in (2) in the processing (execution processing) in (3) above.
- the information processing apparatus includes, for example, the process (1) (imaging acquisition process), the process (2) (determination process), as the process related to the information processing method according to the present embodiment.
- the process (1) imaging acquisition process
- the process (2) determination process
- the process related to the information processing method according to the present embodiment includes, for example, the process (1) (imaging acquisition process), the process (2) (determination process), as the process related to the information processing method according to the present embodiment.
- the process (execution process) of (3) above it is possible to determine an operator who performs an operation based on the line of sight and perform the process based on the determined line of sight of the operator.
- FIG. 3 shows a first application example of processing according to the information processing method according to the present embodiment. It is the explanation for explaining.
- FIG. 3 shows an example of a case where the processing related to the information processing method according to the present embodiment is applied to a game.
- U1 to U3 shown in FIG. 3 indicate users determined as operators, that is, in the example of FIG. 3, users determined as participants in the game.
- the information processing apparatus determines from the determination process according to the first example shown in (2-1) to the sixth example shown in (2-6).
- a participant (operator) is determined by performing any one of the determination processes according to the above.
- the information processing apparatus when the game is joined or exited in the middle of the game, the information processing apparatus according to the present embodiment performs, for example, the following processes (a) and (b).
- the information processing apparatus according to the present embodiment can perform face recognition (a-1)
- the information processing apparatus according to the present embodiment can use the detection result of the user's head. If there is a participant user whose face cannot be detected in the middle of the game (for example, the user turned sideways or turned back), the information processing apparatus according to the present embodiment Participants in the game are determined according to the mode set from the modes shown below. -Add other users as participants until the number of people at the start of the game is met. -A user other than a user who has been determined as a participant is not newly determined as a participant (that is, a user other than a user who has been determined as a participant is not newly participated in the game).
- the information processing apparatus When the information processing apparatus according to the present embodiment can use the detection result of the user's head When there is a participant user whose face cannot be detected during the game, the user When the user's head is detected (when the user exists within the angle of view of the imaging device or the like), the information processing apparatus according to the present embodiment maintains a state in which the user is a participant. In addition, when there is a participant user whose face cannot be detected in the middle of the game and the head of the user is not detected, the information processing apparatus according to the present embodiment is the user who was the participant. To leave the game. For example, in the example of FIG. 3, by deleting an object (an object represented by reference numerals U1 to U3) indicating the user displayed on the display screen, the user who was a participant is removed from the game.
- an object an object represented by reference numerals U1 to U3
- the information processing apparatus according to the present embodiment cannot perform face recognition (b-1)
- the information processing apparatus according to the present embodiment cannot use the detection result of the user's head.
- the information processing apparatus according to the present embodiment determines n users (n is a set integer of 1 or more) as participants in the order in which faces are detected.
- the information processing apparatus When there is a participant user who can no longer detect a face (for example, the user faces sideways or back), the information processing apparatus according to the present embodiment, for example, The candidate user is determined as a game participant. Further, when the number of users (number of participants) from which the current face is detected does not satisfy n when a face is detected again, the information processing apparatus according to the present embodiment As a participant. When the face is detected again and the number of users (number of participants) from which the current face is detected satisfies n, the information processing apparatus according to the present embodiment Is not determined as a participant.
- the information processing apparatus performs, for example, the determination process according to the first example shown in (2-1) above, the determination process according to the second example shown in (2-2) above, and the like.
- the participant (operator) may be determined.
- FIG. 4 illustrates a second processing according to the information processing method according to the present embodiment. It is description for demonstrating the example of application of.
- FIG. 4 shows an example of the case where the processing according to the information processing method according to the present embodiment is applied to the operation of digital signage.
- U1 to U5 shown in FIG. 4 indicate users who can be determined as operators.
- the display screen D related to digital signage has three small screens SD1 to SD3, and the information processing apparatus according to the present embodiment has one small screen from SD1 to SD3 for each small screen SD1 to SD3.
- An example in which the nearest person (user) is determined as an operator is shown.
- an operation example in the case shown in A of FIG. 4 for example, an operation example of a department store guide plate as shown below is given.
- Each of the users U1 to U3 determined as an operator performs an operation such as pointing to an object to be operated with a line of sight and making a determination with a gesture such as pointing.
- the information processing apparatus according to the present embodiment does not perform processing corresponding to the operation of the small screen by another user, Other users cannot perform interrupt operations.
- FIG. 4B illustrates an example in which the display screen D related to digital signage is one screen, and the information processing apparatus according to the present embodiment can determine a plurality of people (users) as operators. Show.
- Examples of operations in the case shown in FIG. 4A include the following examples.
- an operation example in the case shown in B of FIG. 4 for example, an operation example of an advertisement display such as a station yard as shown below can be given.
- the information processing apparatus according to the present embodiment determines the child (user U4) as an operator. Then, for example, the thing that the child (user U4) is looking at is enlarged and displayed.
- the information processing apparatus determines the parent (user U5) as an operator, for example, the price of the object Display.
- FIG. 5 shows a third example of processing related to the information processing method according to this embodiment. 3 is an explanation for explaining an application example of No. 3.
- FIG. 5 shows an example when the processing according to the information processing method according to the present embodiment is applied to the operation of the television receiver.
- U1 to U3 shown in FIG. 5 indicate users who can be determined as operators.
- the users U1 to U3 can perform the following operations using the line of sight, for example. ⁇ Operations for viewing photos (still images) and moving images ⁇ Channel operations ⁇ Operations for displaying the program guide
- Examples of application of the processing related to the information processing method according to the present embodiment include, for example, the first example shown in (I) to the third example shown in (III). Needless to say, the application example of the processing related to the information processing method according to the present embodiment is not limited to the first example shown in (I) to the third example shown in (III).
- FIG. 6 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
- the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
- the information processing apparatus 100 includes, for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and a user-operable operation unit (see FIG. And a display unit (not shown) for displaying various screens on the display screen.
- the information processing apparatus 100 connects the above-described constituent elements by, for example, a bus as a data transmission path.
- the ROM (not shown) stores control data such as programs and calculation parameters used by the control unit 104.
- a RAM (not shown) temporarily stores a program executed by the control unit 104.
- the storage unit (not shown) is a storage unit included in the information processing apparatus 100.
- the storage unit (not shown) includes a table (or database) in which a user ID uniquely indicating a user and face information are associated with each other. Data related to the information processing method and various data such as applications are stored.
- examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
- an operation input device to be described later can be cited.
- a display part (not shown), the display device mentioned later is mentioned.
- FIG. 7 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
- the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, an imaging device 164, and a communication interface 166.
- the information processing apparatus 100 connects each component with a bus 168 as a data transmission path, for example.
- the MPU 150 includes, for example, a processor configured with various arithmetic circuits such as an MPU (Micro Processing Unit), various processing circuits, and the like, and functions as the control unit 104 that controls the entire information processing apparatus 100.
- the MPU 150 serves as, for example, an imaging acquisition unit 110, a determination unit 112, and a processing unit 114 described later in the information processing apparatus 100.
- the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
- the RAM 154 temporarily stores a program executed by the MPU 150, for example.
- the recording medium 156 functions as a storage unit (not shown), for example, an information processing method according to the present embodiment, such as a table (or database) in which a user ID that uniquely identifies a user is associated with face information.
- Various data such as data related to the application and applications are stored.
- examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
- the input / output interface 158 connects, for example, the operation input device 160, the display device 162, and the imaging device 164.
- the operation input device 160 functions as an operation unit (not shown)
- the display device 162 functions as a display unit (not shown).
- the imaging device 164 functions as an imaging unit (not shown).
- examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits. .
- the operation input device 160 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
- Examples of the operation input device 160 include a button, a direction key, a rotary selector such as a jog dial, or a combination thereof.
- the display device 162 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
- Examples of the display device 162 include a liquid crystal display (Liquid Crystal Display), an organic EL display (Organic Electro-Luminescence Display, or an OLED display (Organic Light Emitting Diode Display)), and the like.
- the imaging device 164 is provided on the information processing apparatus 100, for example, and is connected to the input / output interface 158 inside the information processing apparatus 100.
- the information processing apparatus 100 processes, for example, a captured image generated by imaging in the imaging device to determine an operator, or information on the user's line of sight based on the captured image. Can be obtained.
- the information processing apparatus 100 displays a captured image (or a part of the captured image) generated by imaging in the imaging device, for example, as indicated by U1 to U3 illustrated in FIG. It can also be displayed on the screen.
- examples of the imaging device include a lens / imaging device and a signal processing circuit.
- the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
- the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the image sensor into a digital signal (image data). Further, the signal processing circuit may perform various signal processing such as, for example, White Balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
- the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse), a display device, or an imaging device as an external device of the information processing apparatus 100.
- an operation input device for example, a keyboard or a mouse
- a display device for example, a liquid crystal display
- an imaging device as an external device of the information processing apparatus 100.
- the display device 162 may be a device capable of display and user operation, such as a touch screen.
- the communication interface 166 is a communication unit included in the information processing apparatus 100, and is connected to an external device or an external device such as an external imaging device, an external display device, or an external sensor via a network (or directly). And function as a communication unit 102 for performing wireless or wired communication.
- examples of the communication interface 166 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11 port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
- a wired network such as a LAN or a WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network) or a wireless WAN via a base station (WWAN: Wireless Wide Area Area).
- a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
- the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration illustrated in FIG. Note that the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG. 4.
- the information processing apparatus 100 further includes one or more sensors that serve as a detection unit (not shown) that obtains data that can be used in the processing related to the information processing method according to the present embodiment. May be.
- data that can be used in the processing related to the information processing method according to the present embodiment include data that can be used to improve the estimation accuracy of the position of the user's line of sight, and the distance from the user's display screen. Data that can be used for identification (or estimation) are included.
- an arbitrary sensor capable of obtaining data that can be used in the processing according to the information processing method according to the present embodiment such as an infrared sensor or a depth sensor, can be cited.
- the information processing apparatus 100 may not include the communication device 164 if the information processing apparatus 100 is configured to perform stand-alone processing, for example. Further, the information processing apparatus 100 can be configured not to include the storage medium 156, the operation device 160, and the display device 162.
- the communication unit 102 is a communication unit included in the information processing apparatus 100, and is connected to an external device or an external device such as an external imaging device, an external display device, or an external sensor via a network (or directly). And wirelessly or wiredly.
- the communication of the communication unit 102 is controlled by the control unit 104, for example.
- examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
- the communication unit 102 can take a configuration corresponding to an arbitrary standard capable of performing communication, such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network.
- the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
- the control unit 104 includes, for example, an imaging acquisition unit 110, a determination unit 112, and a processing unit 114, and plays a role of leading the processing related to the information processing method according to the present embodiment.
- the imaging acquisition unit 110 plays a leading role in performing the process (1) (imaging acquisition process), and acquires a captured image according to the present embodiment.
- the determination unit 112 plays a role of leading the process (2) (determination process).
- the determination unit 112 determines an operator from among users included in the captured image acquired by the imaging acquisition unit 110, for example. More specifically, for example, the determination unit 112 selects any one of the determination process according to the first example shown in (2-1) to the determination process according to the sixth example shown in (2-6). By performing the process, an operator is determined from the users included in the captured image based on the captured image.
- the determination unit 112 includes one or more of the determination processes according to the seventh example shown in (2-7) to the determination processes according to the tenth example shown in (2-10) above. You may perform the process of.
- the processing unit 114 plays a role of leading the processing (execution processing) of (3) above, and performs processing based on information on the user's line of sight corresponding to the operator determined by the determination unit 112.
- processing unit 114 may perform, for example, the execution process according to the first example shown in (3-1) above or the execution process according to the second example shown in (3-2) above.
- the control unit 104 includes, for example, an imaging acquisition unit 110, a determination unit 112, and a processing unit 114, thereby leading the processing related to the information processing method according to the present embodiment.
- the information processing apparatus 100 has, for example, the configuration shown in FIG. 6, and processes related to the information processing method according to the present embodiment (for example, the process (1) (imaging acquisition process) and the process (2) (determination process). And the process (execution process) of (3) above.
- the information processing apparatus 100 can determine an operator who performs an operation with a line of sight, for example, with the configuration illustrated in FIG. 6, and perform processing based on the determined line of sight of the operator.
- the information processing apparatus 100 can exhibit the effects exhibited by performing the processing related to the information processing method according to the present embodiment as described above, for example.
- the information processing apparatus includes one or more of the imaging acquisition unit 110, the determination unit 112, and the processing unit 114 illustrated in FIG. Can be realized with a processing circuit).
- the communication unit 102 communicates with an external device or an external device via an external communication device having the same function and configuration as the communication unit 102, or is configured to perform stand-alone processing, this implementation is performed.
- the information processing apparatus according to the embodiment may not include the communication unit 102.
- the information processing apparatus may further include, for example, an imaging unit (not shown) configured by an imaging device.
- an imaging unit not shown
- the information processing apparatus determines an operator by processing a captured image generated by imaging in the imaging unit (not shown), for example. It is possible to obtain information on the user's line of sight based on the captured image.
- the imaging unit not shown
- the information processing apparatus for example, as shown in U1 to U3 shown in FIG. 3, the captured image generated in the imaging unit (not shown). It is also possible to display (or part of the captured image) on the display screen.
- the information processing apparatus includes, for example, a detection unit (not illustrated) configured by an arbitrary sensor that can obtain data that can be used in processing related to the information processing method according to the present embodiment. May be further provided.
- the detection unit not shown
- the information processing apparatus uses, for example, the detection value in the detection unit (not shown) in the processing related to the information processing method according to the present embodiment.
- the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
- the present embodiment is, for example, a television receiver, a display device, a tablet-type device, a communication device such as a mobile phone or a smartphone, a video / music playback device (or video / music recording / playback device), a game machine, a PC (Personal It can be applied to various devices such as computers.
- the present embodiment can be applied to, for example, a processing IC (Integrated Circuit) that can be incorporated in the above devices.
- a processing IC Integrated Circuit
- the present embodiment may be realized by a system including a plurality of devices on the premise of connection to a network (or communication between devices) such as cloud computing. That is, the information processing apparatus according to this embodiment described above can be realized as an information processing system including a plurality of apparatuses, for example.
- a program for causing a computer to function as the information processing apparatus according to the present embodiment (for example, the process (1) (imaging acquisition process), the process (2) (determination process), and the process (3) (Execution process) and the like (a program capable of executing a process related to the information processing method according to the present embodiment) is executed by a processor or the like in a computer to determine an operator who performs an operation with a line of sight The processing can be performed based on the determined line of sight of the operator.
- an effect produced by the processing related to the information processing method according to the above-described embodiment by executing a program for causing the computer to function as the information processing apparatus according to the present embodiment by a processor or the like in the computer. Can be played.
- a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
- the present embodiment further includes a recording in which the program is stored.
- a medium can also be provided.
- An imaging acquisition unit for acquiring a captured image of the user; A determination unit for determining an operator from among users included in the acquired captured image; A processing unit for performing processing based on information on the line of sight of the user corresponding to the determined operator;
- An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the determination unit determines the operator based on a size of a face area including a face portion for a user detected from the captured image. (3) The information processing apparatus according to (2), wherein the determination unit determines, as the operator, one user corresponding to the face area having the largest face area size.
- the determination unit determines a user corresponding to the face area detected earlier as the operator when there are a plurality of the face areas having the largest face area size, (3) The information processing apparatus described in 1. (5) The determination unit is Of the user included in the captured image, the size of the face area corresponding to the user determined as the operator from the size of the face area corresponding to another user who is not determined as the operator.
- the information processing apparatus according to (3) or (4), wherein the user who has been determined as the operator is determined not to be the operator.
- the information processing apparatus determines a user within a set number of people as the operator in descending order of the size of the face area.
- the determination unit determines the operator based on a distance from a display screen of a user corresponding to a face area including a face portion as a user detected from the captured image. apparatus.
- the determination unit determines, as the operator, one user corresponding to the face area having the shortest distance corresponding to the face area.
- the determination unit determines a user corresponding to the face area detected earlier as the operator.
- the information processing apparatus according to (8).
- the determination unit is The face area corresponding to another user who is not determined as the operator among the users included in the captured image from the distance corresponding to the face area corresponding to the user determined as the operator.
- the second difference value indicating the difference in distance corresponding to is greater than or equal to the set second threshold value, or when the second difference value is greater than the second threshold value.
- the information processing apparatus determines a user within a set number of persons as the operator in order of increasing distance corresponding to the face area.
- the determination unit determines the operator based on a predetermined gesture detected from the captured image.
- the determination unit selects a user corresponding to the line of sight when the position of the line of sight of the user on the display screen indicated by the information on the line of sight of the user based on the captured image is included in the set area on the display screen.
- the information processing apparatus is determined as an operator.
- the said determination part specifies the user contained in the said captured image based on the said captured image, and determines the said operator based on the priority matched with the specified user, (1).
- Information processing device (15) The determination unit sets an operation level for a user determined as the operator, Any one of (1) to (14), wherein the processing unit dynamically changes a process that can be performed based on the degree of operation set for the user determined as the operator.
- the processor is As a result of performing speech recognition on the acquired speech signal, a predetermined speech uttered by another user who is not determined as the operator among the users included in the captured image is recognized In The information processing apparatus according to any one of (1) to (15), wherein processing is performed based on information related to a user's line of sight corresponding to the other user. (17) The determination unit determines that a user who has been determined as the operator is not the operator when information regarding the line of sight of the user corresponding to the user determined as the operator cannot be acquired from the captured image. The information processing apparatus according to any one of (1) to (16), which is determined.
- the determination unit is Even when information regarding the user's line of sight corresponding to the user determined as the operator cannot be acquired from the captured image, the head of the user determined as the operator is detected from the captured image. in case of, The information processing apparatus according to (17), wherein the user who has been determined as the operator is not determined to be the operator. (19) The determination unit is When a predetermined combination of gestures between the user determined as the operator and another user who is not determined as the operator among the users included in the captured image is detected, The information processing apparatus according to any one of (1) to (18), wherein the operator is changed from a user who has been determined as the operator to the other user. (20) Obtaining a captured image of the user; Determining an operator from among users included in the acquired captured image; A step of performing processing based on information on the line of sight of the user corresponding to the determined operator; An information processing method executed by the information processing apparatus.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
ユーザの撮像画像を取得する撮像取得部と、取得された撮像画像に基づいて、撮像画像に含まれるユーザの中から操作者を決定する決定部と、決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う処理部とを備える、情報処理装置が提供される。
Description
本開示は、情報処理装置、および情報処理方法に関する。
近年、アイトラッキング技術などの視線検出技術を利用し、ユーザが視線により操作を行うことが可能なユーザインタフェースが登場している。ユーザが視線により操作を行うことが可能なユーザインタフェースに関する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
例えば、ユーザの視線により操作が行われる場合、ユーザの視線に基づき処理を行う装置は、どのユーザの視線に基づき処理を行うか、すなわち、視線により操作を行う操作者(以下、単に「操作者」と示す場合がある。)を決定して、処理を行う必要がある。しかしながら、上記のような装置における操作者の決定方法は、確立されていない。
本開示では、視線により操作を行う操作者を決定して、決定された操作者の視線に基づいて処理を行うことが可能な、新規かつ改良された情報処理装置、および情報処理方法を提案する。
本開示によれば、ユーザの撮像画像を取得する撮像取得部と、取得された撮像画像に含まれるユーザの中から操作者を決定する決定部と、決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う処理部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの撮像画像を取得するステップと、取得された撮像画像に含まれるユーザの中から操作者を決定するステップと、決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行うステップと、を有する、情報処理装置により実行される情報処理方法が提供される。
本開示によれば、視線により操作を行う操作者を決定して、決定された操作者の視線に基づいて処理を行うことができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
1.本実施形態に係る情報処理方法
2.本実施形態に係る情報処理装置
3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理方法に係る処理を、本実施形態に係る情報処理装置が行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る情報処理方法に係る処理の概要
上述したように、ユーザの視線に基づき処理を行う装置における、視線により操作を行う操作者の決定方法は、確立されていない。ここで、本実施形態に係る操作者とは、例えば、装置(または、実行されているアプリケーション)の挙動に影響を与える動作を行うユーザをいう。なお、後述するように、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理の一例として、例えば、操作者として決定されていないユーザの視線に基づいて、装置(または、実行されているアプリケーション)の挙動に影響を与えない処理を行うことも可能である。
上述したように、ユーザの視線に基づき処理を行う装置における、視線により操作を行う操作者の決定方法は、確立されていない。ここで、本実施形態に係る操作者とは、例えば、装置(または、実行されているアプリケーション)の挙動に影響を与える動作を行うユーザをいう。なお、後述するように、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理の一例として、例えば、操作者として決定されていないユーザの視線に基づいて、装置(または、実行されているアプリケーション)の挙動に影響を与えない処理を行うことも可能である。
そこで、本実施形態に係る情報処理装置は、ユーザの撮像画像を取得し(撮像取得処理)、取得された撮像画像に含まれるユーザの中から操作者を決定する(決定処理)。そして、本実施形態に係る情報処理装置は、決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う(実行処理)。
ここで、本実施形態に係るユーザの撮像画像とは、例えば、ユーザが含まれうる撮像された画像である。以下では、本実施形態に係るユーザの撮像画像を、単に「撮像画像」と示す。本実施形態に係る撮像画像としては、例えば、表示画面を見ることが可能なユーザが撮像された画像などが挙げられる。また、本実施形態に係る撮像画像は、例えば、本実施形態に係る情報処理装置が備える撮像部(後述する)や外部の撮像デバイスにおける撮像により生成される。本実施形態に係る撮像画像としては、例えば、動画像や、静止画像が挙げられる。
また、本実施形態に係る表示画面とは、例えば、様々な画像が表示され、ユーザが視線を向ける表示画面である。本実施形態に係る表示画面としては、例えば、本実施形態に係る情報処理装置が備える表示部(後述する)の表示画面や、本実施形態に係る情報処理装置と無線または有線で接続されている外部の表示装置(または、外部の表示デバイス)の表示画面などが挙げられる。
また、本実施形態に係るユーザの視線に関する情報とは、例えば、表示画面におけるユーザの視線の位置やユーザの目の動作など、ユーザの目に関連する情報(データ)である。本実施形態に係るユーザの視線に関する情報としては、例えば、ユーザの視線の位置に関する情報や、ユーザの目の動作に関する情報が挙げられる。
ここで、本実施形態に係るユーザの視線の位置に関する情報とは、例えば、ユーザの視線の位置を示すデータ、または、ユーザの視線の位置の特定に用いることが可能なデータ(または、ユーザの視線の位置の推定に用いることが可能なデータ。以下、同様とする。)である。
本実施形態に係るユーザの視線の位置を示すデータとしては、例えば、表示画面におけるユーザの視線の位置を示す座標データが挙げられる。表示画面におけるユーザの視線の位置は、例えば、表示画面における基準位置を原点とする座標系における座標で表される。また、本実施形態に係るユーザの視線の位置を示すデータには、視線の方向を示すデータ(例えば、表示画面に対する角度を示すデータなど)が含まれていてもよい。
本実施形態に係るユーザの視線の位置に関する情報として、表示画面におけるユーザの視線の位置を示す座標データが用いられる場合、本実施形態に係る情報処理装置は、例えば、視線検出技術を用いてユーザの視線の位置を特定(または推定)した外部装置から取得された、表示画面におけるユーザの視線の位置を示す座標データを用いて、表示画面におけるユーザの視線の位置を特定する。また、本実施形態に係るユーザの視線の位置に関する情報として、視線の方向を示すデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、上記外部装置から取得された視線の方向を示すデータを用いて、ユーザの視線の方向を特定する。
ここで、例えば、視線検出技術を用いて検出された視線と、表示画面において画像が表示される方向が撮像された撮像画像から検出される表示画面に対するユーザの位置や顔の向きなどとを用いることによって、表示画面におけるユーザの視線の位置や、ユーザの視線の方向を特定することが可能である。なお、本実施形態に係る表示画面におけるユーザの視線の位置やユーザの視線の方向の特定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、表示画面におけるユーザの視線の位置やユーザの視線の方向を特定することが可能な任意の技術を用いることが可能である。
また、本実施形態に係る視線検出技術としては、例えば、目の基準点(例えば、目頭や角膜反射などの目における動かない部分に対応する点)に対する、目の動点(例えば、虹彩や瞳孔などの目における動く部分に対応する点)の位置に基づいて、視線を検出する方法が挙げられる。なお、本実施形態に係る視線検出技術は、上記に限られず、例えば、視線を検出することが可能な任意の視線検出技術であってもよい。
また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータとしては、例えば、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像データが挙げられる。また、本実施形態に係るユーザの視線の位置の特定に用いることが可能なデータには、さらに、表示画面において画像が表示される方向の赤外線を検出する赤外線センサの検出データなど、ユーザの視線の位置の推定精度の向上に用いることが可能な検出値を得る、任意のセンサの検出データが含まれていてもよい。
本実施形態に係るユーザの視線の位置に関する情報として、ユーザの視線の位置の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置(本実施形態に係る情報処理装置。以下、同様とする。)が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データを用いる。また、上記の場合、本実施形態に係る情報処理装置は、例えば、自装置が備えるユーザの視線の位置の推定精度の向上に用いることが可能なセンサや、外部のセンサから取得された検出データ(ユーザの視線の位置の特定に用いることが可能なデータの一例)を用いてもよい。本実施形態に係る情報処理装置は、例えば上記のように取得されたユーザの視線の位置の特定に用いることが可能なデータを用いて、本実施形態に係る表示画面におけるユーザの視線の位置やユーザの視線の方向の特定方法に係る処理を行い、表示画面におけるユーザの視線の位置やユーザの視線の方向を特定する。
本実施形態に係るユーザの目の動作に関する情報とは、例えば、ユーザの目の動作を示すデータ、または、ユーザの目の動作の特定に用いることが可能なデータ(または、ユーザの目の動作の推定に用いることが可能なデータ。以下、同様とする。)である。
本実施形態に係るユーザの目の動作を示すデータとしては、例えば、1回のまばたき動作や、複数回の連続したまばたき動作、ウィンク動作など、所定の目の動作を示すデータ(例えば、所定の動作に対応する番号などを示すデータ)が挙げられる。また、本実施形態に係るユーザの目の動作の特定に用いることが可能なデータとしては、例えば、表示画面において画像(動画像または静止画像)が表示される方向が撮像された撮像画像データが挙げられる。
本実施形態に係るユーザの目の動作に関する情報として、ユーザの目の動作を示すデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、撮像画像に基づきユーザの目の動作を特定(または推定)した外部装置から取得された、ユーザの目の動作を示すデータを用いて、所定の目の動作が行われたことを判定する。
ここで、例えば、表示画面において画像が表示される方向が撮像された動画像(または、複数の静止画像)から検出される目の形状の変化が、所定の目の動作に対応する目の形状の変化に該当する場合に、所定の目の動作が行われたと判定することが可能である。なお、本実施形態に係る所定の目の動作の判定方法は、上記に限られない。例えば、本実施形態に係る情報処理装置や、外部装置は、所定の目の動作が行われたことを判定することが可能な任意の技術を用いることが可能である。
本実施形態に係るユーザの目の動作に関する情報として、ユーザの目の動作の特定に用いることが可能なデータが用いられる場合、本実施形態に係る情報処理装置は、例えば、自装置が備える撮像部(後述する)や外部の撮像デバイスから取得された撮像画像データ(ユーザの目の動作の特定に用いることが可能なデータの一例)を用いる。本実施形態に係る情報処理装置は、例えば上記のように取得されたユーザの目の動作の特定に用いることが可能なデータを用いて、本実施形態に係る所定の目の動作の判定方法に係る処理を行い、所定の目の動作が行われたことを判定する。
以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
[2]本実施形態に係る情報処理方法に係る処理
(1)撮像取得処理
本実施形態に係る情報処理装置は、本実施形態に係る撮像画像を取得する。
本実施形態に係る情報処理装置は、本実施形態に係る撮像画像を取得する。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える撮像部(後述する)や外部の撮像デバイスにおける撮像を制御することによって、本実施形態に係る撮像画像を取得する。本実施形態に係る情報処理装置は、例えば、撮像に係る制御命令を、通信部(後述する)や接続されている外部の通信デバイスを介して、撮像部(後述する)や外部の撮像デバイスなどに送信することによって、撮像部(後述する)などにおける撮像を制御する。
なお、本実施形態に係る撮像取得処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、撮像部(後述する)や外部の撮像デバイスから送信された本実施形態に係る撮像画像を、受動的に取得することも可能である。
(2)決定処理
本実施形態に係る情報処理装置は、上記(1)の処理(撮像取得処理)により取得された撮像画像に含まれるユーザの中から操作者を決定する。本実施形態に係る情報処理装置は、撮像画像に含まれるユーザの中から、1人のユーザ、または、複数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、上記(1)の処理(撮像取得処理)により取得された撮像画像に含まれるユーザの中から操作者を決定する。本実施形態に係る情報処理装置は、撮像画像に含まれるユーザの中から、1人のユーザ、または、複数のユーザを、操作者として決定する。
(2-1)決定処理の第1の例
本実施形態に係る情報処理装置は、例えば、撮像画像から検出される顔領域の大きさに基づいて、操作者を決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から検出される顔領域の大きさに基づいて、操作者を決定する。
ここで、本実施形態に係る顔領域とは、撮像画像におけるユーザを顔部分を含む領域である。本実施形態に係る情報処理装置は、例えば、撮像画像からユーザの目、鼻、口、骨格などの特徴点を検出することや、撮像画像から顔の輝度分布および構造パターンと類似した領域を検出することによって、顔領域を検出する。なお、本実施形態に係る顔領域の検出方法は、上記に限られず、本実施形態に係る情報処理装置は、撮像画像から顔を検出することが可能な任意の技術を用いることが可能である。
(2-1-1)撮像画像に含まれるユーザの中から、1人のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域のうち、顔領域の大きさが最も大きい顔領域に対応する1人のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域のうち、顔領域の大きさが最も大きい顔領域に対応する1人のユーザを、操作者として決定する。
ここで、撮像画像から検出された顔領域の中には、顔領域の大きさが同一(または略同一)である領域が含まれうる。
そこで、本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域の中に、顔領域の大きさが最も大きな顔領域が複数存在する場合には、より先に検出された顔領域に対応するユーザを、操作者として決定する。
例えば上記のように、より先に検出された顔領域に対応するユーザを、操作者として決定することによって、本実施形態に係る情報処理装置は、顔領域の大きさが同一(または略同一)の大きさである場合であっても、1人のユーザを操作者として決定することができる。
なお、撮像画像から検出された顔領域の中に、顔領域の大きさが最も大きな顔領域が複数存在する場合における、操作者の決定方法は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、より後に検出された顔領域に対応するユーザを操作者として決定してもよいし、撮像画像から検出された顔領域の中から設定されているルール(例えば、ランダムなど)に則って1人のユーザを操作者として決定することも可能である。
また、本実施形態に係る情報処理装置は、例えば、後述する第2の例に係る決定処理~後述する第5の例に係る決定処理のうちの1または2以上の処理を組み合わせることによって、1人のユーザを操作者として決定してもよい。第1の例に係る決定処理と他の例に係る決定処理とを組み合わせた処理により、操作者を決定することによって、例えば、操作者が頻繁に変わることを防止することが可能となる。
本実施形態に係る情報処理装置は、例えば上記のように、撮像画像から検出される顔領域の大きさに基づいて、1人のユーザを、操作者として決定する。
なお、本実施形態に係る第1の例に係る決定処理における、1人のユーザを操作者として決定する場合の処理は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、撮像画像から検出される顔領域の大きさに基づいて、操作者として決定されていたユーザを、操作者ではないと決定することも可能である。
例えば、本実施形態に係る情報処理装置は、撮像画像に含まれるユーザのうち操作者として決定されていないユーザ(以下、「他のユーザ」と示す。)に対応する顔領域の大きさからの、操作者として決定されたユーザに対応する顔領域の大きさの差を示す第1差分値を算出する。そして、本実施形態に係る情報処理装置は、第1差分値が設定されている第1閾値以上である場合(または、第1差分値が第1閾値より大きい場合)に、操作者として決定されていたユーザを、操作者ではないと決定する。
本実施形態に係る第1閾値としては、例えば、予め設定されている固定値や、ユーザ操作などにより適宜設定することが可能な可変値が挙げられる。設定されている第1閾値の値の大きさによって、操作者として決定されたユーザが、操作者であり続けられる程度が変わる。具体的には、例えば、第1閾値の値が0(ゼロ)である場合には、操作者として決定されたユーザに対応する顔領域の大きさが、他のユーザに対応する顔領域の大きさよりも小さくなったとき(または、操作者として決定されたユーザに対応する顔領域の大きさが、他のユーザに対応する顔領域の大きさ以下となったとき)に、操作者として決定されていたユーザは、操作者ではないと決定される。また、第1閾値の値が大きくなればなる程、操作者として決定されていたユーザが操作者ではないと決定されるのに要する第1差分値の値が大きくなるので、操作者として決定されていたユーザは、より操作者ではないと決定され難くなる。
(2-1-2)撮像画像に含まれるユーザの中から、複数のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域の大きさが大きい順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域の大きさが大きい順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域の大きさが大きい順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、撮像画像から検出された顔領域の大きさが大きい順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
ここで、第1の例に係る決定処理における上記設定されている人数は、固定であってもよいし、ユーザ操作などにより可変してもよい。
また、顔領域の大きさが同一であることによって、撮像画像から検出された顔領域の大きさが大きい順に操作者の候補が選ばれた結果、設定されている人数を超える場合には、本実施形態に係る情報処理装置は、例えば、顔領域の大きさが同一の顔領域のうち、より後に検出された顔領域に対応するユーザを、操作者として決定しない。なお、上記の場合における操作者の決定方法が、上記に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、例えば上記のように、撮像画像から検出される顔領域の大きさに基づいて、複数のユーザを、操作者として決定する。
(2-2)決定処理の第2の例
本実施形態に係る情報処理装置は、例えば、撮像画像から検出される顔領域に対応するユーザの表示画面からの距離(以下、「顔領域に対応する距離」と示す。)に基づいて、操作者を決定する。本実施形態に係る情報処理装置は、撮像画像に含まれるユーザの中から、1人のユーザ、または、複数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から検出される顔領域に対応するユーザの表示画面からの距離(以下、「顔領域に対応する距離」と示す。)に基づいて、操作者を決定する。本実施形態に係る情報処理装置は、撮像画像に含まれるユーザの中から、1人のユーザ、または、複数のユーザを、操作者として決定する。
ここで、本実施形態に係る“撮像画像に含まれる顔領域に対応するユーザの、表示画面からの距離”は、例えば、TOF(Time Of Flight)などの方式により撮像された距離画像に基づき特定(または、推定)される。また、本実施形態に係る情報処理装置は、例えば、撮像画像から検出される顔領域と、赤外線などを利用した深度センサの検出値とに基づいて、本実施形態に係る“撮像画像に含まれる顔領域に対応するユーザの、表示画面からの距離”を特定(または、推定)することも可能である。また、本実施形態に係る情報処理装置は、例えば、任意の技術を用いて顔領域の座標を特定(または、推定)し、基準位置の座標との間の距離を算出することによって、“撮像画像に含まれる顔領域に対応するユーザの、表示画面からの距離”を特定してもよい。ここで、上記顔領域の座標や基準位置の座標は、例えば、表示画面に対応する平面を示す2軸と、表示画面に対する垂直方向を示す1軸とからなる3次元座標系の座標で表される。なお、本実施形態に係る“撮像画像に含まれる顔領域に対応するユーザの、表示画面からの距離”の特定方法(または、推定方法)が、上記に限られないことは、言うまでもない。
(2-2-1)撮像画像に含まれるユーザの中から、1人のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が最も短い顔領域に対応する1人のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が最も短い顔領域に対応する1人のユーザを、操作者として決定する。
ここで、撮像画像から検出される顔領域に対応する、本実施形態に係る顔領域に対応する距離の中には、顔領域に対応する距離が同一(または略同一)の距離であるものが含まれうる。
そこで、本実施形態に係る情報処理装置は、例えば、本実施形態に係る顔領域に対応する距離の中に、顔領域に対応する距離が同一(または略同一)の距離であるものが複数存在する場合には、より先に検出された顔領域に対応するユーザを、操作者として決定する。
例えば上記のように、より先に検出された顔領域に対応するユーザを、操作者として決定することによって、本実施形態に係る情報処理装置は、顔領域に対応する距離が同一(または略同一)の距離であるものが複数存在する場合であっても、1人のユーザを操作者として決定することができる。
なお、撮像画像から検出される顔領域に対応する、本実施形態に係る顔領域に対応する距離の中に、顔領域に対応する距離が同一(または略同一)の距離であるものが複数存在する場合における、操作者の決定方法は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、より後に検出された顔領域に対応するユーザを操作者として決定してもよいし、撮像画像から検出された顔領域の中から設定されているルール(例えば、ランダムなど)に則って1人のユーザを操作者として決定することも可能である。
また、本実施形態に係る情報処理装置は、例えば、上記第1の例に係る決定処理、後述する第3の例に係る決定処理~後述する第5の例に係る決定処理のうちの1または2以上の処理を組み合わせることによって、1人のユーザを操作者として決定してもよい。第3の例に係る決定処理と他の例に係る決定処理とを組み合わせた処理により、操作者を決定することによって、例えば、操作者が頻繁に変わることを防止することが可能となる。
本実施形態に係る情報処理装置は、例えば上記のように、撮像画像から検出される顔領域に対応する、本実施形態に係る顔領域に対応する距離に基づいて、1人のユーザを、操作者として決定する。
なお、本実施形態に係る第2の例に係る決定処理における、1人のユーザを操作者として決定する場合の処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、撮像画像から検出される顔領域に対応する、本実施形態に係る顔領域に対応する距離の長さに基づいて、操作者として決定されていたユーザを、操作者ではないと決定することも可能である。
例えば、本実施形態に係る情報処理装置は、操作者として決定されたユーザに対応する顔領域に対応する距離からの、他のユーザに対応する顔領域に対応する距離の差を示す第2差分値を算出する。そして、本実施形態に係る情報処理装置は、第2差分値が設定されている第2閾値以上である場合(または、第2差分値が第2閾値より大きい場合)に、操作者として決定されていたユーザを、操作者ではないと決定する。
本実施形態に係る第2閾値としては、例えば、予め設定されている固定値や、ユーザ操作などにより適宜設定することが可能な可変値が挙げられる。設定されている第2閾値の値の大きさによって、操作者として決定されたユーザが、操作者であり続けられる程度が変わる。具体的には、例えば、第2閾値の値が0(ゼロ)である場合には、操作者として決定されたユーザに対応する顔領域に対応する距離が、他のユーザに対応する顔領域に対応する距離よりも短くなったとき(または、操作者として決定されたユーザに対応する顔領域に対応する距離が、他のユーザに対応する顔領域に対応する距離以下となったとき)に、操作者として決定されていたユーザは、操作者ではないと決定される。また、第2閾値の値が大きくなればなる程、操作者として決定されていたユーザが操作者ではないと決定されるのに要する第2差分値の値が大きくなるので、操作者として決定されていたユーザは、より操作者ではないと決定され難くなる。
(2-2-2)撮像画像に含まれるユーザの中から、複数のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が短い順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が短い順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が短い順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が短い順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
ここで、第2の例に係る決定処理における上記設定されている人数は、固定であってもよいし、ユーザ操作などにより可変してもよい。
また、撮像画像から検出される顔領域に対応する、本実施形態に係る顔領域に対応する距離が同一であることによって、顔領域に対応する距離が短い順に操作者の候補が選ばれた結果、設定されている人数を超える場合には、本実施形態に係る情報処理装置は、例えば、顔領域に対応する距離が同一の顔領域のうち、より後に検出された顔領域に対応するユーザを、操作者として決定しない。なお、上記の場合における操作者の決定方法が、上記に限られないことは、言うまでもない。
本実施形態に係る情報処理装置は、例えば上記のように、撮像画像から検出される顔領域に対応する、本実施形態に係る顔領域に対応する距離に基づいて、複数のユーザを、操作者として決定する。
(2-3)決定処理の第3の例
本実施形態に係る情報処理装置は、例えば、撮像画像から検出される所定のジェスチャに基づいて、操作者を決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から検出される所定のジェスチャに基づいて、操作者を決定する。
ここで、本実施形態に係る所定のジェスチャとしては、例えば、手を挙げるジェスチャや、手を振るジェスチャなど様々なジェスチャが挙げられる。
例えば、手を挙げるジェスチャを検出する場合には、本実施形態に係る情報処理装置は、撮像画像から顔領域と手とをそれぞれ検出する。そして、本実施形態に係る情報処理装置は、検出された手が、顔領域に対応する領域(手を挙げたことを判定するために設定される領域)内に存在する場合に、当該顔領域に対応するユーザが手を挙げたと判定することによって、手を挙げるジェスチャを検出する。
また、例えば、手を振るジェスチャを検出する場合には、本実施形態に係る情報処理装置は、撮像画像から顔領域と手とをそれぞれ検出する。そして、本実施形態に係る情報処理装置は、検出された手が、顔領域に対応する領域(手振ったことを判定するために設定される領域)内で検出され、かつ、撮像画像における輝度変化の周波数が、設定されている所定の周波数以上である場合(または、当該輝度変化の周波数が当該所定の周波数より大きい場合)に、当該顔領域に対応するユーザが手を振ったと判定することによって、手を振るジェスチャを検出する。
なお、本実施形態に係る所定のジェスチャ、および本実施形態に係る所定のジェスチャの検出方法は、上記に限られない。本実施形態に係る情報処理装置は、例えば、撮像画像から検出することが可能な任意の方法を用いて、指を指すジェスチャなどの任意のジェスチャを検出してもよい。
(2-3-1)撮像画像に含まれるユーザの中から、1人のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャがより先に検出されたユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャがより先に検出されたユーザを、操作者として決定する。
なお、第3の例に係る決定処理において、1人のユーザを操作者として決定する処理は、上記に限られない。
例えば、撮像画像から所定のジェスチャが検出されたユーザが、複数存在する場合、本実施形態に係る情報処理装置は、例えば、所定のジェスチャがより後に検出されたユーザを操作者として決定してもよい。また、上記の場合、本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャが検出されたユーザの中から設定されているルール(例えば、ランダムなど)に則って1人のユーザを操作者として決定することも可能である。さらに、上記の場合、本実施形態に係る情報処理装置は、例えば、上記第1の例に係る決定処理や、上記第2の例に係る決定処理、後述する第4の例に係る決定処理、後述する第5の例に係る決定処理を組み合わせることによって、1人のユーザを操作者として決定してもよい。
(2-3-2)撮像画像に含まれるユーザの中から、複数のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャが検出された順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャが検出された順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャが検出された順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、撮像画像から所定のジェスチャが検出された順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
ここで、第3の例に係る決定処理における上記設定されている人数は、固定であってもよいし、ユーザ操作などにより可変してもよい。
なお、第3の例に係る決定処理において、複数のユーザを操作者として決定する処理は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、撮像画像から所定のジェスチャが検出されたユーザの中から、設定されているルール(例えば、ランダムなど)に則って選択された、設定されている人数内のユーザを、操作者として決定してもよい。
(2-4)決定処理の第4の例
本実施形態に係る情報処理装置は、例えば、表示画面におけるユーザの視線の位置が、表示画面における設定された領域に含まれる場合に、当該視線に対応するユーザを操作者として決定する。
本実施形態に係る情報処理装置は、例えば、表示画面におけるユーザの視線の位置が、表示画面における設定された領域に含まれる場合に、当該視線に対応するユーザを操作者として決定する。
ここで、本実施形態に係る情報処理装置は、例えば、本実施形態に係るユーザの視線に関する情報が示す、表示画面におけるユーザの視線の位置を用いる。また、本実施形態に係る表示画面における設定された領域としては、例えば、表示画面において予め設定されている固定の領域や、アイコンやキャラクター画像などの所定のオブジェクトが表示画面において表示される領域、表示画面においてユーザ操作などにより設定される領域などが挙げられる。
(2-4-1)撮像画像に含まれるユーザの中から、1人のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内において、ユーザの視線の位置がより先に検出されたユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内において、ユーザの視線の位置がより先に検出されたユーザを、操作者として決定する。
なお、第4の例に係る決定処理において、1人のユーザを操作者として決定する処理は、上記に限られない。
例えば、表示画面における設定された領域内において視線が検出されたユーザが、複数存在する場合、本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内において、ユーザの視線の位置がより後に検出されたユーザを操作者として決定してもよい。また、上記の場合、本実施形態に係る情報処理装置は、例えば、ユーザの視線の位置が表示画面における設定された領域内に含まれるユーザの中から設定されているルール(例えば、ランダムなど)に則って1人のユーザを操作者として決定することも可能である。さらに、上記の場合、本実施形態に係る情報処理装置は、例えば、上記第1の例に係る決定処理や、上記第2の例に係る決定処理、上記第3の例に係る決定処理、後述する第5の例に係る決定処理を組み合わせることによって、1人のユーザを操作者として決定してもよい。
(2-4-2)撮像画像に含まれるユーザの中から、複数のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内においてユーザの視線の位置が検出された順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内においてユーザの視線の位置が検出された順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内においてユーザの視線の位置が検出された順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、表示画面における設定された領域内においてユーザの視線の位置が検出された順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
ここで、第4の例に係る決定処理における上記設定されている人数は、固定であってもよいし、ユーザ操作などにより可変してもよい。
なお、第4の例に係る決定処理において、複数のユーザを操作者として決定する処理は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、ユーザの視線の位置が表示画面における設定された領域内に含まれるユーザの中から、設定されているルール(例えば、ランダムなど)に則って選択された、設定されている人数内のユーザを、操作者として決定してもよい。
(2-5)決定処理の第5の例
本実施形態に係る情報処理装置は、例えば、撮像画像に基づいて撮像画像に含まれるユーザを特定する。そして、本実施形態に係る情報処理装置は、特定されたユーザに対応付けられている優先度に基づいて、操作者を決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像に基づいて撮像画像に含まれるユーザを特定する。そして、本実施形態に係る情報処理装置は、特定されたユーザに対応付けられている優先度に基づいて、操作者を決定する。
ここで、本実施形態に係る優先度とは、例えば、本実施形態に係る情報処理装置が優先的に操作者として決定するための指標を示す値である。本実施形態に係る優先度は、例えば、値が小さい程優先順位が高くてもよいし、値が大きい程優先順位が高くてもよい。
より具体的には、本実施形態に係る情報処理装置は、例えば、撮像画像から顔領域を検出し、検出された顔領域に対して顔認識処理を行ってユーザの顔の特徴を示す顔情報(データ)を抽出する。そして、本実施形態に係る情報処理装置は、例えば、ユーザを一意に示すユーザIDと顔情報とが対応付けられているテーブル(またはデータベース)と、抽出された顔情報とを用いて、顔領域に対応するユーザIDを特定することによって、ユーザを特定する。
ここで、本実施形態に係るユーザを一意に示すユーザIDは、例えば、アプリケーションの実行状態、および/または、UI(User Interface)のキャリブレーションに係る情報と、さらに対応付けられていてもよい。UIのキャリブレーションに係る情報としては、例えば、表示画面におけるアイコンなどのオブジェクトが配置される位置を示すデータなどが挙げられる。本実施形態に係るユーザを一意に示すユーザIDが、アプリケーションの実行状態などとさらに対応付けられることによって、本実施形態に係る情報処理装置は、特定することが可能なユーザをより詳細に管理することができ、また、特定することが可能なユーザに対して、当該ユーザに対応する様々なサービスを提供することが可能となる。
なお、本実施形態に係る撮像画像に基づくユーザの特定方法は、上記に限られない。
例えば、本実施形態に係る情報処理装置は、ユーザが大人であるか子供であるかを示すIDなどのユーザの種別を示すユーザID、および顔情報が対応付けられているテーブル(またはデータベース)と、抽出された顔情報とを用いて、顔領域に対応するユーザIDを特定することによって、ユーザの種別を特定してもよい。
ユーザが特定されると、本実施形態に係る情報処理装置は、ユーザIDと優先度の値とが対応付けられているテーブル(またはデータベース)と、特定されたユーザIDとを用いて、特定されたユーザに対応する優先度を特定する。そして、本実施形態に係る情報処理装置は、特定された優先度に基づいて、操作者を決定する。
本実施形態に係る情報処理装置が、例えば上記のように、優先度に基づき操作者を決定することによって、下記のようなことを実現することができる。なお、第5の例に係る決定処理の一例が、下記に示す例に限られないことは、言うまでもない。
・本実施形態に係る情報処理装置が特定することが可能なユーザの中で、父親の優先度が最も高い場合には、本実施形態に係る情報処理装置は、撮像画像から父親が特定されている間、父親を操作者として決定する(本実施形態に係る情報処理装置が、家庭で使用される機器の操作者を決定する場合の一例)。
・本実施形態に係る情報処理装置が特定することが可能なユーザの中で、子供よりも大人の優先度が高い場合には、本実施形態に係る情報処理装置は、撮像画像に子供のユーザと大人のユーザとが含まれる場合には、撮像画像から大人が特定されている間、大人を操作者として決定する。
・本実施形態に係る情報処理装置が特定することが可能なユーザの中で、父親の優先度が最も高い場合には、本実施形態に係る情報処理装置は、撮像画像から父親が特定されている間、父親を操作者として決定する(本実施形態に係る情報処理装置が、家庭で使用される機器の操作者を決定する場合の一例)。
・本実施形態に係る情報処理装置が特定することが可能なユーザの中で、子供よりも大人の優先度が高い場合には、本実施形態に係る情報処理装置は、撮像画像に子供のユーザと大人のユーザとが含まれる場合には、撮像画像から大人が特定されている間、大人を操作者として決定する。
(2-5-1)撮像画像に含まれるユーザの中から、1人のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、撮像画像に基づき特定されたユーザに対応付けられている優先度が最も高いユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、撮像画像に基づき特定されたユーザに対応付けられている優先度が最も高いユーザを、操作者として決定する。
なお、第5の例に係る決定処理において、1人のユーザを操作者として決定する処理は、上記に限られない。
例えば、優先度が最も高いユーザが、複数存在する場合、本実施形態に係る情報処理装置は、例えば、優先度が最も高いユーザのうち、撮像画像からより先に顔領域が検出されたユーザや、撮像画像に基づきより先に特定されたユーザを、操作者として決定してもよい。また、上記の場合、本実施形態に係る情報処理装置は、例えば、優先度が最も高いユーザの中から設定されているルール(例えば、ランダムなど)に則って1人のユーザを操作者として決定することも可能である。
(2-5-2)撮像画像に含まれるユーザの中から、複数のユーザを操作者として決定する場合の処理
本実施形態に係る情報処理装置は、例えば、優先度が高い順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、優先度が高い順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
本実施形態に係る情報処理装置は、例えば、優先度が高い順に、設定されている人数内のユーザを、操作者として決定する。より具体的には、本実施形態に係る情報処理装置は、例えば、優先度が高い順に、設定されている人数以内のユーザ、または、設定されている人数より少ない数のユーザを、操作者として決定する。
ここで、第5の例に係る決定処理における上記設定されている人数は、固定であってもよいし、ユーザ操作などにより可変してもよい。
また、優先度の高さが同一であることによって、優先度が高い順に操作者の候補が選ばれた結果、設定されている人数を超える場合には、本実施形態に係る情報処理装置は、例えば、優先度の高さが同一のユーザのうち、撮像画像からより後に顔領域が検出されたユーザや、撮像画像に基づきより後に特定されたユーザを、操作者として決定しない。なお、上記の場合における操作者の決定方法が、上記に限られないことは、言うまでもない。
(2-6)決定処理の第6の例
本実施形態に係る情報処理装置は、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-5)に示す第5の例に係る決定処理それぞれにおいて操作者と決定されるユーザについて、さらに、設定されている所定の発話内容を示す音声が検出された場合に、操作者として決定してもよい。
本実施形態に係る情報処理装置は、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-5)に示す第5の例に係る決定処理それぞれにおいて操作者と決定されるユーザについて、さらに、設定されている所定の発話内容を示す音声が検出された場合に、操作者として決定してもよい。
本実施形態に係る情報処理装置は、例えば、音源分離や音源定位を利用して音声認識を行うことによって、上記所定の発話内容を示す音声を検出する。ここで、本実施形態に係る音源分離とは、様々な音の中から目的の音声のみを抽出する技術をいう。また、本実施形態に係る音源定位とは、音源の位置(角度)を測定する技術をいう。
本実施形態に係る情報処理装置は、本実施形態に係る決定処理として、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-6)に示す第6の例に係る決定処理のいずれかの処理を行うことによって、撮像画像に基づいて、撮像画像に含まれるユーザの中から操作者を決定する。
なお、本実施形態に係る決定処理における、撮像画像に基づいて撮像画像に含まれるユーザの中から操作者を決定する処理は、上記(2-1)に示す第1の例に係る決定処理~上記(2-6)に示す第6の例に係る決定処理に限られない。例えば、本実施形態に係る情報処理装置は、撮像画像から検出された顔の検出順序に応じて操作者を決定することも可能である。顔の検出順序に応じた操作者の決定例としては、例えば、最初に顔が検出されたユーザを操作者とすることや、顔の検出順に設定された人数分のユーザを操作者とすることなどが挙げられる。
また、本実施形態に係る決定処理は、上記撮像画像に含まれるユーザの中から操作者を決定する処理に限られない。本実施形態に係る情報処理装置は、例えば、下記に示す第7の例に係る決定処理~下記に示す第10の例に係る決定処理のうちの、1または2以上の処理を、本実施形態に係る決定処理として行うことも可能である。
(2-7)決定処理の第7の例
例えば、本実施形態に係る情報処理装置は、操作者として決定されたユーザに対して操作度を設定する。
例えば、本実施形態に係る情報処理装置は、操作者として決定されたユーザに対して操作度を設定する。
ここで、本実施形態に係る操作度とは、例えば、決定された操作者が、視線を用いて行うことが可能な操作の範囲に係る指標を示す値である。本実施形態に係る操作度は、例えば、本実施形態に係る操作度と視線を用いて行うことが可能な操作に関する情報とが対応付けられているテーブル(またはデータベース)によって、視線を用いて行うことが可能な操作の範囲と対応付けられる。本実施形態に係る操作に関する情報としては、例えば、操作に係る命令やパラメータを示すデータや、操作に係るアプリケーションを実行するためのデータ(例えば、アプリケーションが記憶されているアドレスや、パラメータなど)など、操作を実現するための様々なデータが挙げられる。
本実施形態に係る決定処理において操作度が設定される場合、本実施形態に係る情報処理装置は、後述する本実施形態に係る実行処理において、設定された操作度に基づいて操作者の視線に対応する処理を行う。つまり、本実施形態に係る決定処理において操作度が設定される場合には、本実施形態に係る情報処理装置は、例えば、設定された操作度に基づいて、決定された操作者が行うことが可能な処理を動的に変えることができる。
本実施形態に係る情報処理装置は、例えば、設定されている操作度を、操作者として決定されたユーザに対して設定する。
また、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザが撮像画像に基づき特定されている場合には、特定されたユーザに対応する操作度を設定してもよい。本実施形態に係る情報処理装置は、例えば、ユーザIDと操作度とが対応付けられているテーブル(またはデータベース)と、撮像画像に基づき特定されたユーザに対応するユーザIDとを用いて、特定されたユーザに対応する操作度を設定する。
(2-8)決定処理の第8の例
本実施形態に係る情報処理装置は、本実施形態に係る決定処理として、操作者として決定されていたユーザを、操作者ではないと決定することも可能である。
本実施形態に係る情報処理装置は、本実施形態に係る決定処理として、操作者として決定されていたユーザを、操作者ではないと決定することも可能である。
本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対応するユーザの視線に関する情報が、撮像画像から取得できない場合に、操作者として決定されていたユーザを、操作者ではないと決定する。上記のように、操作者として決定されたユーザに対応するユーザの視線に関する情報に基づき操作者ではないと決定する場合、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザが表示画面に視線を向けなくなったときに、操作者として決定されていたユーザを、操作者ではないと決定する。
なお、本実施形態に係る、操作者として決定されていたユーザを操作者ではないと決定する処理は、上記に限られない。
例えば、操作者として決定されたユーザに対応するユーザの視線に関する情報が、撮像画像から取得されない要因には、例えば、“操作者として決定されたユーザが撮像画像に含まれなくなったこと”と、“操作者として決定されたユーザが撮像画像に含まれるが、当該ユーザが表示画面をみていないこと”とがありうる。また、“操作者として決定されたユーザが撮像画像に含まれるが、当該ユーザが表示画面をみていないこと”によって、ユーザの視線に関する情報が撮像画像から取得されないときに、本実施形態に係る情報処理装置が、操作者として決定されていたユーザを操作者ではないと決定した場合には、操作者として決定されていたユーザの利便性を損ねる恐れがある。
そこで、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対応するユーザの視線に関する情報が、撮像画像から取得できないときであっても、操作者として決定されたユーザの頭部が検出された場合には、操作者として決定されていたユーザを、操作者ではないとは決定しない。
本実施形態に係る情報処理装置は、例えば、撮像画像から頭部に対応する形状(例えば、円形や楕円形など)を検出することや、撮像画像における輝度変化などを検出することによって、撮像画像からユーザの頭部を検出する。本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対応する顔領域が検出された領域を含む、撮像画像の一部の領域に対して、ユーザの頭部の検出に係る処理を行うことによって、操作者として決定されたユーザの頭部を検出する。なお、本実施形態に係るユーザの頭部の検出に係る処理や、操作者として決定されたユーザの頭部の検出方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、赤外線センサなどの各種センサの検出結果を用いる方法など、操作者として決定されたユーザの頭部を検出することが可能な任意の方法、処理を用いて、操作者として決定されたユーザの頭部を検出してもよい。
上記のように、操作者として決定されたユーザの頭部が検出された場合に、操作者として決定されていたユーザを、操作者ではないとは決定しないことによって、仮に、操作者として決定されていたユーザが表示画面から目を離したとしても、当該ユーザは操作者のままとなる。よって、上記のように、操作者として決定されたユーザの頭部が検出された場合に、操作者として決定されていたユーザを操作者ではないとは決定しないことによって、操作者として決定されていたユーザの利便性の低下を防止することができる。
(2-9)決定処理の第9の例
上記第8の例に係る決定処理では、本実施形態に係る情報処理装置が、ユーザの視線に関する情報に基づいて、操作者として決定されていたユーザを操作者ではないと決定する処理を示した。上記第8の例に係る決定処理が用いられる場合、例えば、操作者であるユーザが顔を隠すことなどによりユーザの視線に関する情報が取得されないようにすることや、操作者であるユーザが撮像画像から頭部が検出されない位置に移動することなどによって、本実施形態に係る情報処理装置により決定される操作者を変えることが可能である。
上記第8の例に係る決定処理では、本実施形態に係る情報処理装置が、ユーザの視線に関する情報に基づいて、操作者として決定されていたユーザを操作者ではないと決定する処理を示した。上記第8の例に係る決定処理が用いられる場合、例えば、操作者であるユーザが顔を隠すことなどによりユーザの視線に関する情報が取得されないようにすることや、操作者であるユーザが撮像画像から頭部が検出されない位置に移動することなどによって、本実施形態に係る情報処理装置により決定される操作者を変えることが可能である。
しかしながら、本実施形態に係る、操作者を変える方法は、上記第8の例に係る決定処理を用いる方法に限られない。例えば、本実施形態に係る情報処理装置は、操作者として決定されたユーザと他のユーザとの所定のジェスチャの組み合わせに基づいて、操作者を、操作者として決定されていたユーザから他のユーザへと能動的に変更することも可能である。
より具体的には、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザと他のユーザとの所定のジェスチャの組み合わせを検出する。本実施形態に係る情報処理装置は、例えば、撮像画像に対する画像処理を用いる方法や、深度センサなどの任意のセンサの検出値を利用した方法など、任意のジェスチャ認識技術に係る方法を用いて、上記所定のジェスチャの組み合わせを検出する。
そして、本実施形態に係る情報処理装置は、操作者として決定されたユーザと他のユーザとの所定のジェスチャの組み合わせが撮像画像から検出された場合に、操作者を、操作者として決定されていたユーザから他のユーザへと変更する。
図1は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図1に示すA、Bは、それぞれ本実施形態に係る情報処理装置が検出する、操作者として決定されたユーザと他のユーザとの所定のジェスチャの組み合わせの一例を示している。図1では、ユーザU1が、操作者として決定されたユーザを示し、ユーザU2が他のユーザを示している。
本実施形態に係る情報処理装置は、例えば、図1のAに示すハイタッチのジェスチャや、図1のBに示す手を挙げるジェスチャなど、操作者として決定されたユーザと他のユーザとの所定のジェスチャの組み合わせが、撮像画像から検出された場合に、操作者を、ユーザU1からユーザU2へと変更する。なお、本実施形態に係る操作者として決定されたユーザと他のユーザとの所定のジェスチャの組み合わせの例が、図1に示す例に限られないことは、言うまでもない。
本実施形態に係る情報処理装置が、上記にような第9の例に係る決定処理を行うことによって、例えば、操作者として決定されるユーザの数が、設定されている上限に達している場合であっても、ユーザは、ジェスチャを行うことによって操作者を意図的に変えることができる。
(2-10)決定処理の第10の例
操作者として決定されるユーザの数が設定されている上限に達していない場合(または、操作者として決定されるユーザの数に上限が設定されていない場合。以下、同様とする。)、本実施形態に係る情報処理装置は、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-6)に示す第6の例に係る決定処理における、複数のユーザを操作者として決定する場合の処理を行うことによって、新たに撮像画像に含まれることとなったユーザを、操作者として決定する。
操作者として決定されるユーザの数が設定されている上限に達していない場合(または、操作者として決定されるユーザの数に上限が設定されていない場合。以下、同様とする。)、本実施形態に係る情報処理装置は、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-6)に示す第6の例に係る決定処理における、複数のユーザを操作者として決定する場合の処理を行うことによって、新たに撮像画像に含まれることとなったユーザを、操作者として決定する。
なお、操作者として決定されるユーザの数が設定されている上限に達していない場合における操作者の決定に係る処理は、上記に限られない。
例えば後述する本実施形態に係る実行処理において実行されるアプリケーションによっては、新たに撮像画像に含まれることとなったユーザを即座に操作者として決定することが望まれない場合もありうる。そこで、本実施形態に係る情報処理装置は、例えば、操作者として決定されるユーザの数が設定されている上限に達していないときにおいて、ユーザが新たに撮像画像に含まれることとなった場合、例えば下記に示すような処理を行ってもよい。また、本実施形態に係る情報処理装置は、例えば、上記“新たに撮像画像に含まれることとなったユーザを、操作者として決定する処理”や下記に示すような処理の中から、ユーザ操作などにより選択された処理を行うことも可能である。
・アプリケーションが実行されてから設定されている時間が経過するまでは、新たに撮像画像に含まれることとなったユーザを、操作者として決定しない。
・アプリケーションの実行状態に応じて、新たに撮像画像に含まれることとなったユーザを、選択的に操作者として決定する。
・アプリケーションが実行されてから設定されている時間が経過するまでは、新たに撮像画像に含まれることとなったユーザを、操作者として決定しない。
・アプリケーションの実行状態に応じて、新たに撮像画像に含まれることとなったユーザを、選択的に操作者として決定する。
(3)実行処理
本実施形態に係る情報処理装置は、上記(2)の処理(決定処理)において決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う。
本実施形態に係る情報処理装置は、上記(2)の処理(決定処理)において決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う。
ここで、本実施形態に係るユーザの視線に関する情報に基づく処理としては、例えば、“ユーザの視線の位置に関する情報(ユーザの視線に関する情報の一例)が示す視線の位置に存在するオブジェクトを選択する処理”や、“ユーザの視線の位置に関する情報が示す視線の位置に応じてオブジェクトを移動させる処理”、“ユーザの目の動作に関する情報(ユーザの視線に関する情報の一例)が示す目の動作に対応付けられている処理”、ユーザの視線の位置に関する情報が示す視線の位置に対応するアプリケーションなどの実行状態を、ユーザの目の動作に関する情報が示す目の動作に基づき制御する処理”など、本実施形態に係るユーザの視線に関する情報を用いた様々な処理が挙げられる。また、本実施形態に係る上記オブジェクトとしては、例えば、アイコンや、カーソル、メッセージボックス、ユーザに対するノーティフィケーションを行うための文字列や画像など、表示画面に表示される様々なオブジェクトが挙げられる。
また、本実施形態に係る情報処理装置は、例えば、通信部(後述する)や接続されている外部の通信デバイスを介して通信可能な外部装置に、操作者に対応するユーザの視線に関する情報に基づく処理を行わせる制御処理を、本実施形態に係るユーザの視線に関する情報に基づく処理として行ってもよい。上記制御処理を行う場合、本実施形態に係る情報処理装置は、例えば、上記(2)の処理(決定処理)において決定された操作者に対応するユーザの視線に関する情報と、処理を行わせる命令とを含む制御データを、通信部(後述する)などに、外部装置へと送信させる。
本実施形態に係る実行処理として上記制御処理を行う場合、本実施形態に係る情報処理装置は、例えば、外部装置から取得された“外部装置において行われた操作者に対応するユーザの視線に関する情報に基づく処理の結果”を示すデータを、利用することが可能である。
なお、本実施形態に係る実行処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、下記に示す第1の例に係る実行処理や、下記に示す第2の例に係る実行処理を、本実施形態に係る実行処理として行うことも可能である。
(3-1)実行処理の第1の例
上記(2)の処理(決定処理)において操作者として決定されたユーザに対して操作度が設定される場合、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対して設定された操作度に基づいて、当該操作度に対応付けられている処理の範囲内で、ユーザの視線に関する情報に基づく処理を行う。つまり、第1の例に係る実行処理を行う場合、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対して設定された操作度に基づいて、行うことが可能な処理を動的に変えることができる。
上記(2)の処理(決定処理)において操作者として決定されたユーザに対して操作度が設定される場合、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対して設定された操作度に基づいて、当該操作度に対応付けられている処理の範囲内で、ユーザの視線に関する情報に基づく処理を行う。つまり、第1の例に係る実行処理を行う場合、本実施形態に係る情報処理装置は、例えば、操作者として決定されたユーザに対して設定された操作度に基づいて、行うことが可能な処理を動的に変えることができる。
本実施形態に係る情報処理装置は、例えば、本実施形態に係る操作度と視線を用いて行うことが可能な操作に関する情報とが対応付けられているテーブル(またはデータベース)によって、上記(2)の処理(決定処理)において設定された操作度に対応する操作に関する情報を特定する。操作度に対応する操作に関する情報が特定されることによって、操作度に対応付けられている処理の範囲を認識することが可能となる。そして、本実施形態に係る情報処理装置は、操作度に対応付けられている処理の範囲内で、ユーザの視線に関する情報に基づいて、処理を行う。なお、第1の例に係る実行処理の例が、上記に示す例に限られないことは、言うまでもない。
(3-2)実行処理の第2の例
本実施形態に係る情報処理装置は、例えば、上記(2)の処理(決定処理)において操作者として決定されなかった他のユーザの視線を利用し、他のユーザに対応するユーザの視線に関する情報に基づいて、処理を行う。
本実施形態に係る情報処理装置は、例えば、上記(2)の処理(決定処理)において操作者として決定されなかった他のユーザの視線を利用し、他のユーザに対応するユーザの視線に関する情報に基づいて、処理を行う。
ここで、本実施形態に係る、他のユーザに対応するユーザの視線に関する情報に基づく処理としては、例えば、装置の挙動に影響する処理を除く処理が挙げられる。本実施形態に係る他のユーザは、操作者として決定されたユーザではないからである。
具体例を挙げると、本実施形態に係る他のユーザに対応するユーザの視線に関する情報に基づく処理としては、例えば、他のユーザに対応するユーザの視線に関する情報が示す視線の位置に、視線の位置を示すオブジェクトを表示させる処理が挙げられる。上記のように、他のユーザに対応するユーザの視線に関する情報が示す視線の位置に、視線の位置を示すオブジェクトを表示させることによって、他のユーザの視線の先を表示画面上で視覚的に表すことが可能となる。
なお、第2の例に係る実行処理は、上記に限られない。
例えば、本実施形態に係る他のユーザに対応するユーザの視線に関する情報に基づく処理として、他のユーザに対応するユーザの視線に関する情報が示す視線の位置に視線の位置を示すオブジェクトを表示させるときにおいて、他のユーザの視線の先が表示画面上に常時表されている場合には、操作者や当該他のユーザなどが鬱陶しさを感じる恐れがある。
そこで、本実施形態に係る情報処理装置は、他のユーザに対応するユーザの視線に関する情報に基づく処理を、選択的に行ってもよい。“本実施形態に係る情報処理装置が、他のユーザに対応するユーザの視線に関する情報が示す視線の位置に、視線の位置を示すオブジェクトを表示させる場合”を例に挙げると、本実施形態に係る情報処理装置は、例えば、他のユーザに対応するユーザの視線に関する情報が示す視線の位置に、視線の位置を示すオブジェクトを選択的に表示させる。
より具体的には、本実施形態に係る情報処理装置は、例えば、取得された音声信号に対して音声認識が行われた結果、他のユーザが発話した所定の音声が認識された場合に、ユーザの視線に関する情報に基づいて処理を行う。また、本実施形態に係る情報処理装置は、他のユーザが発話した所定の音声が認識されない場合には、ユーザの視線に関する情報に基づく処理を行わない。
ここで、本実施形態に係る音声信号は、例えば、本実施形態に係る情報処理装置が備える音声入力デバイス、または、本実施形態に係る情報処理装置の外部の音声入力デバイスにより生成され、本実施形態に係る情報処理装置は、音声入力デバイスから取得された音声信号を処理する。ここで、本実施形態に係る音声入力デバイスとしては、音源分離を行うことが可能な音声入力デバイスや、音源定位を行うことが可能な音声入力デバイスなど、特定のユーザの音声に対応する音声信号を生成することが可能な音声入力デバイスが挙げられる。
また、本実施形態に係る所定の音声としては、「これ」「それ」などのこそあど言葉などを示す音声が挙げられる。なお、本実施形態に係る所定の音声が、こそあど言葉を示す音声に限られないことは、言うまでもない。
図2は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図2は、本実施形態に係る他のユーザに対応するユーザの視線に関する情報に基づく処理を、選択的に行う場合の一例を示している。図2では、ユーザU1が、操作者として決定されたユーザを示し、ユーザU2が他のユーザを示している。
図2のAに示すように、他のユーザであるユーザU2が発話していないときなど、ユーザU2が発話した所定の音声が認識されない場合には、本実施形態に係る情報処理装置は、ユーザU2に対応するユーザの視線に関する情報に基づく処理を行わない。
また、図2のBに示すように、他のユーザであるユーザU2が発話した「この」などの所定の音声が認識された場合には、本実施形態に係る情報処理装置は、例えば、ユーザU2に対応するユーザの視線に関する情報が示す視線の位置に、オブジェクトOを表示させる。
例えば図2のBにおけるオブジェクトOのように、他のユーザであるユーザU2の視線の先が視覚的に表されることによって、ユーザU2は、操作者であるユーザU1などに対して、表示画面に表示されているものの中で気になるものを知らせることができる。また、本実施形態に係る情報処理装置は、所定の音声が認識された場合にオブジェクトOを選択的に表示させるので、操作者や他のユーザなどが鬱陶しさを感じる可能性を低減し、または、当該鬱陶しさを軽減することができる。
なお、図2では示していないが、本実施形態に係る情報処理装置は、例えば、図2のBに示すオブジェクトOを表示した後、当該オブジェクトOを非表示とすることも可能である。本実施形態に係る情報処理装置は、例えば、オブジェクトOの表示後設定されている時間が経過した後に、オブジェクトOを非表示としてもよいし、他のユーザであるユーザU2に対応するユーザの視線に関する情報が示す視線の位置が、設定されている時間動かない場合に、オブジェクトOを非表示としてもよい。
本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(撮像取得処理)、上記(2)の処理(決定処理)、および上記(3)の処理(実行処理)を行う。ここで、本実施形態に係る情報処理装置は、上記(2)の処理(決定処理)において、上記(1)の処理(撮像取得処理)により取得された撮像画像に含まれるユーザの中から視線により操作を行う操作者を決定する。そして、本実施形態に係る情報処理装置は、上記(3)の処理(実行処理)において、上記(2)の処理(決定処理)において決定された操作者の視線に基づいて処理を行う。
したがって、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(撮像取得処理)、上記(2)の処理(決定処理)、および上記(3)の処理(実行処理)を行うことによって、視線により操作を行う操作者を決定して、決定された操作者の視線に基づいて処理を行うことができる。
[3]本実施形態に係る情報処理方法に係る処理の適用例
次に、上述した本実施形態に係る情報処理方法に係る処理の適用例について説明する。
次に、上述した本実施形態に係る情報処理方法に係る処理の適用例について説明する。
(I)本実施形態に係る情報処理方法に係る処理の第1の適用例:ゲームへの適用する場合の一例
図3は、本実施形態に係る情報処理方法に係る処理の第1の適用例を説明するための説明である。図3は、本実施形態に係る情報処理方法に係る処理が、ゲームに適用された場合の一例を示している。図3に示すU1~U3は、それぞれ操作者として決定されたユーザ、すなわち、図3の例では、ゲームへの参加者として決定されたユーザを示している。
図3は、本実施形態に係る情報処理方法に係る処理の第1の適用例を説明するための説明である。図3は、本実施形態に係る情報処理方法に係る処理が、ゲームに適用された場合の一例を示している。図3に示すU1~U3は、それぞれ操作者として決定されたユーザ、すなわち、図3の例では、ゲームへの参加者として決定されたユーザを示している。
ゲームの参加者を決定する場合、本実施形態に係る情報処理装置は、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-6)に示す第6の例に係る決定処理のいずれかの処理を行うことによって、参加者(操作者)を決定する。
また、ゲームの途中参加や退場が行われる場合には、本実施形態に係る情報処理装置は、例えば、下記の(a)、(b)に示すような処理を行う。
(a)本実施形態に係る情報処理装置が、顔認識を行うことが可能である場合
(a-1)本実施形態に係る情報処理装置が、ユーザの頭部の検出結果を用いることが可能ではない場合
ゲームの途中で顔が検出できなくなった参加者のユーザがいた場合(例えば、当該ユーザが横を向いた、後ろを向いたなど)には、本実施形態に係る情報処理装置は、下記に示すモードのうちから設定されているモードに応じて、ゲームへの参加者を決定する。
・ゲーム開始時の人数を満たすまで、他のユーザを参加者として追加する。
・参加者として決定されていたユーザ以外は、新たに参加者として決定させないようにする(すなわち、参加者として決定されていたユーザ以外は、新たにゲームに参加させない。)
(a-1)本実施形態に係る情報処理装置が、ユーザの頭部の検出結果を用いることが可能ではない場合
ゲームの途中で顔が検出できなくなった参加者のユーザがいた場合(例えば、当該ユーザが横を向いた、後ろを向いたなど)には、本実施形態に係る情報処理装置は、下記に示すモードのうちから設定されているモードに応じて、ゲームへの参加者を決定する。
・ゲーム開始時の人数を満たすまで、他のユーザを参加者として追加する。
・参加者として決定されていたユーザ以外は、新たに参加者として決定させないようにする(すなわち、参加者として決定されていたユーザ以外は、新たにゲームに参加させない。)
(a-2)本実施形態に係る情報処理装置が、ユーザの頭部の検出結果を用いることが可能な場合
ゲームの途中で顔が検出できなくなった参加者のユーザがいたときにおいて、当該ユーザの頭部が検出された場合(撮像デバイスなどの画角内に、当該ユーザが存在する場合)には、本実施形態に係る情報処理装置は、当該ユーザが参加者である状態を維持する。また、ゲームの途中で顔が検出できなくなった参加者のユーザがいたときにおいて、当該ユーザの頭部が検出されない場合には、本実施形態に係る情報処理装置は、参加者であった当該ユーザを、ゲームから退場させる。例えば図3の例では、表示画面に表示されているユーザを示すオブジェクト(符号U1~U3で表されているオブジェクト)を削除することによって、参加者であったユーザを、ゲームから退場させる。
ゲームの途中で顔が検出できなくなった参加者のユーザがいたときにおいて、当該ユーザの頭部が検出された場合(撮像デバイスなどの画角内に、当該ユーザが存在する場合)には、本実施形態に係る情報処理装置は、当該ユーザが参加者である状態を維持する。また、ゲームの途中で顔が検出できなくなった参加者のユーザがいたときにおいて、当該ユーザの頭部が検出されない場合には、本実施形態に係る情報処理装置は、参加者であった当該ユーザを、ゲームから退場させる。例えば図3の例では、表示画面に表示されているユーザを示すオブジェクト(符号U1~U3で表されているオブジェクト)を削除することによって、参加者であったユーザを、ゲームから退場させる。
(b)本実施形態に係る情報処理装置が、顔認識を行うことが可能でない場合
(b-1)本実施形態に係る情報処理装置が、ユーザの頭部の検出結果を用いることが可能ではない場合
ゲーム中、本実施形態に係る情報処理装置は、例えば、顔が検出された順にn人(nは、1以上の設定された整数)のユーザを参加者として決定する。
(b-1)本実施形態に係る情報処理装置が、ユーザの頭部の検出結果を用いることが可能ではない場合
ゲーム中、本実施形態に係る情報処理装置は、例えば、顔が検出された順にn人(nは、1以上の設定された整数)のユーザを参加者として決定する。
顔を検出することができなくなった参加者のユーザがいた場合(例えば、当該ユーザが横を向いた、後ろを向いたなど)には、本実施形態に係る情報処理装置は、例えば、次の候補者のユーザをゲームの参加者として決定する。また、再度顔が検出されたとき、現在の顔が検出されたユーザ数(参加者数)がn人を満たしていない場合には、本実施形態に係る情報処理装置は、再度検出されたユーザを参加者として決定する。また、再度顔が検出されたとき、現在の顔が検出されたユーザ数(参加者数)がn人を満たしている場合には、本実施形態に係る情報処理装置は、再度検出されたユーザを参加者として決定しない。
なお、本実施形態に係る情報処理装置は、例えば、上記(2-1)に示す第1の例に係る決定処理や上記(2-2)に示す第2の例に係る決定処理などを行うことによって、参加者(操作者)を決定してもよい。
(b-2)本実施形態に係る情報処理装置が、ユーザの頭部の検出結果を用いることが可能な場合
本実施形態に係る情報処理装置は、例えば、上記(a-2)と同様の処理を行う。
本実施形態に係る情報処理装置は、例えば、上記(a-2)と同様の処理を行う。
(II)本実施形態に係る情報処理方法に係る処理の第2の適用例:デジタルサイネージの操作への適用する場合の一例
図4は、本実施形態に係る情報処理方法に係る処理の第2の適用例を説明するための説明である。図4は、本実施形態に係る情報処理方法に係る処理が、デジタルサイネージの操作に適用された場合の一例を示している。図4に示すU1~U5は、それぞれ操作者として決定されうるユーザを示している。
図4は、本実施形態に係る情報処理方法に係る処理の第2の適用例を説明するための説明である。図4は、本実施形態に係る情報処理方法に係る処理が、デジタルサイネージの操作に適用された場合の一例を示している。図4に示すU1~U5は、それぞれ操作者として決定されうるユーザを示している。
図4のAは、デジタルサイネージに係る表示画面Dが、3つの小画面SD1~SD3を有し、本実施形態に係る情報処理装置が、小画面SD1~SD3ごとに小画面SD1~SD3から一番近くの人(ユーザ)を操作者として決定する場合の一例を示している。図4のAに示す場合における操作例としては、例えば下記に示すような、デパートの案内板の操作例が挙げられる。
・操作者として決定されたユーザU1~U3それぞれは、視線で操作対象のオブジェクトを指し、指さしなどのジェスチャなどで決定を行うなどの操作を行う。
・ある小画面に対して、1人のユーザが操作を行っている場合には、本実施形態に係る情報処理装置は、他のユーザによる当該小画面の操作に対応する処理は行わず、当該他のユーザは、割り込み操作を行うことはできない。
・操作者として決定されたユーザU1~U3それぞれは、視線で操作対象のオブジェクトを指し、指さしなどのジェスチャなどで決定を行うなどの操作を行う。
・ある小画面に対して、1人のユーザが操作を行っている場合には、本実施形態に係る情報処理装置は、他のユーザによる当該小画面の操作に対応する処理は行わず、当該他のユーザは、割り込み操作を行うことはできない。
図4のBは、デジタルサイネージに係る表示画面Dが1つの画面であり、本実施形態に係る情報処理装置が、複数の人(ユーザ)を操作者として決定することが可能な場合の一例を示している。図4のAに示す場合における操作例としては、例えば下記に示す例が挙げられる。図4のBに示す場合における操作例としては、例えば下記に示すような、駅構内などの広告ディスプレイの操作例が挙げられる。
・子供(ユーザU4)が「あれが欲しい」と言いながら、表示画面Dに表示されている欲しいモノを見ると、本実施形態に係る情報処理装置は、子供(ユーザU4)を操作者として決定し、例えば子供(ユーザU4)が見ているモノを拡大表示する。子供(ユーザU4)が見ているモノが拡大表示されることによって、子供(ユーザU4)と一緒にいる親(ユーザU5)の視界に当該モノが入るようにさせることが可能となる。
・親(ユーザU5)が、「いくらするの?」とモノを見ながら言うと、本実施形態に係る情報処理装置は、親(ユーザU5)を操作者として決定し、例えば当該モノの値段を表示させる。
・子供(ユーザU4)が「あれが欲しい」と言いながら、表示画面Dに表示されている欲しいモノを見ると、本実施形態に係る情報処理装置は、子供(ユーザU4)を操作者として決定し、例えば子供(ユーザU4)が見ているモノを拡大表示する。子供(ユーザU4)が見ているモノが拡大表示されることによって、子供(ユーザU4)と一緒にいる親(ユーザU5)の視界に当該モノが入るようにさせることが可能となる。
・親(ユーザU5)が、「いくらするの?」とモノを見ながら言うと、本実施形態に係る情報処理装置は、親(ユーザU5)を操作者として決定し、例えば当該モノの値段を表示させる。
(III)本実施形態に係る情報処理方法に係る処理の第3の適用例:テレビ受像機の操作への適用する場合の一例
図5は、本実施形態に係る情報処理方法に係る処理の第3の適用例を説明するための説明である。図5は、本実施形態に係る情報処理方法に係る処理が、テレビ受像機の操作に適用された場合の一例を示している。図5に示すU1~U3は、それぞれ操作者として決定されうるユーザを示している。
図5は、本実施形態に係る情報処理方法に係る処理の第3の適用例を説明するための説明である。図5は、本実施形態に係る情報処理方法に係る処理が、テレビ受像機の操作に適用された場合の一例を示している。図5に示すU1~U3は、それぞれ操作者として決定されうるユーザを示している。
本実施形態に係る情報処理方法に係る処理が、テレビ受像機の操作に適用される場合、ユーザU1~U3は、例えば下記に示すような操作を、視線を用いて行うことができる。
・写真(静止画像)や動画像の閲覧する操作
・チャンネル操作
・番組表を表示させる操作
・写真(静止画像)や動画像の閲覧する操作
・チャンネル操作
・番組表を表示させる操作
本実施形態に係る情報処理方法に係る処理の適用例としては、例えば、上記(I)に示す第1の例~上記(III)に示す第3の例が挙げられる。なお、本実施形態に係る情報処理方法に係る処理の適用例が、上記(I)に示す第1の例~上記(III)に示す第3の例に限られないことは、言うまでもない。
(本実施形態に係る情報処理装置)
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
図6は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、ユーザを一意に示すユーザIDと顔情報とが対応付けられているテーブル(またはデータベース)などの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
操作部(図示せず)としては、後述する操作入力デバイスが挙げられる。また、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
図7は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、撮像デバイス164と、通信インタフェース166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
図7は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、撮像デバイス164と、通信インタフェース166とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス168で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)などの各種演算回路などで構成されたプロセッサや各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する撮像取得部110、決定部112、および処理部114の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、ユーザを一意に示すユーザIDと顔情報とが対応付けられているテーブル(またはデータベース)などの本実施形態に係る情報処理方法に係るデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162、撮像デバイス164を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。また、撮像デバイス164は、撮像部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。
操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display)や有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。
撮像デバイス164は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。撮像デバイスを備える場合には、情報処理装置100では、例えば、撮像デバイスにおいて撮像により生成された撮像画像を処理して、操作者を決定することや、当該撮像画像に基づいてユーザの視線に関する情報を得ることなどが可能となる。また、撮像デバイスを備える場合、情報処理装置100は、例えば、図3に示すU1~U3に示すように、撮像デバイスにおいて撮像により生成された撮像画像(または、撮像画像の一部)を、表示画面に表示させることも可能である。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース166は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサなどの、外部デバイスや外部装置と、無線または有線で通信を行うための通信部102として機能する。ここで、通信インタフェース166としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11ポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、LANやWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
情報処理装置100は、例えば図7に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図4に示す構成に限られない。
例えば、情報処理装置100は、本実施形態に係る情報処理方法に係る処理において用いることが可能なデータを得る検出部(図示せず)の役目を果たす、1または2以上のセンサをさらに備えていてもよい。本実施形態に係る情報処理方法に係る処理において用いることが可能なデータとしては、例えば、ユーザの視線の位置の推定精度の向上に用いることが可能なデータや、ユーザの表示画面からの距離を特定(または、推定)に用いることが可能なデータなどが挙げられる。
本実施形態に係るセンサとしては、例えば、赤外線センサや、深度センサなど、本実施形態に係る情報処理方法に係る処理において用いることが可能なデータを得ることが可能な任意のセンサが挙げられる。
また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス164を備えていなくてもよい。また、情報処理装置100は、記憶媒体156や、操作デバイス160、表示デバイス162を備えない構成をとることも可能である。
再度図6を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、外部の撮像デバイスや、外部の表示デバイス、外部のセンサなどの、外部デバイスや外部装置と、無線または有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。
ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、撮像取得部110と、決定部112と、処理部114とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
撮像取得部110は、上記(1)の処理(撮像取得処理)を主導的に行う役目を果たし、本実施形態に係る撮像画像を取得する。
決定部112は、上記(2)の処理(決定処理)を主導的に行う役目を果たす。
決定部112は、例えば、撮像取得部110により取得された撮像画像に含まれるユーザの中から操作者を決定する。より具体的には、決定部112は、例えば、上記(2-1)に示す第1の例に係る決定処理~上記(2-6)に示す第6の例に係る決定処理のいずれかの処理を行うことによって、撮像画像に基づいて、撮像画像に含まれるユーザの中から操作者を決定する。
また、決定部112は、例えば、上記(2-7)に示す第7の例に係る決定処理~上記(2-10)に示す第10の例に係る決定処理のうちの、1または2以上の処理を行ってもよい。
処理部114は、上記(3)の処理(実行処理)を主導的に行う役目を果たし、決定部112において決定された操作者に対応する、ユーザの視線に関する情報に基づいて処理を行う。
また、処理部114は、例えば、上記(3-1)に示す第1の例に係る実行処理や、上記(3-2)に示す第2の例に係る実行処理を行ってもよい。
制御部104は、例えば、撮像取得部110、決定部112、および処理部114を備えることによって、本実施形態に係る情報処理方法に係る処理を主導的に行う。
情報処理装置100は、例えば図6に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、上記(1)の処理(撮像取得処理)、上記(2)の処理(決定処理)、および上記(3)の処理(実行処理))を行う。
したがって、情報処理装置100は、例えば図6に示す構成によって、視線により操作を行う操作者を決定して、決定された操作者の視線に基づいて処理を行うことができる。
また、例えば図6に示す構成によって、情報処理装置100は、例えば上述したような、本実施形態に係る情報処理方法に係る処理が行われることにより奏される効果を奏することができる。
なお、本実施形態に係る情報処理装置の構成は、図6に示す構成に限られない。
例えば、本実施形態に係る情報処理装置は、図6に示す撮像取得部110、決定部112、および処理部114のうちの1または2以上を、制御部104とは個別に備える(例えば、個別の処理回路で実現する)ことができる。
また、例えば、通信部102と同様の機能、構成を有する外部の通信デバイスを介して、外部のデバイスや外部装置と通信を行う場合や、スタンドアロンで処理を行う構成である場合には、本実施形態に係る情報処理装置は、通信部102を備えていなくてもよい。
また、本実施形態に係る情報処理装置は、例えば、撮像デバイスで構成される撮像部(図示せず)を、さらに備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置では、例えば、撮像部(図示せず)において撮像により生成された撮像画像を処理して、操作者を決定することや、当該撮像画像に基づいてユーザの視線に関する情報を得ることなどが可能となる。また、撮像部(図示せず)を備える場合、本実施形態に係る情報処理装置は、例えば、図3に示すU1~U3に示すように、撮像部(図示せず)において生成された撮像画像(または、撮像画像の一部)を、表示画面に表示させることも可能である。
また、本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理方法に係る処理において用いることが可能なデータを得ることが可能な任意のセンサで構成される検出部(図示せず)を、さらに備えていてもよい。検出部(図示せず)を備える場合、本実施形態に係る情報処理装置は、例えば、検出部(図示せず)における検出値を本実施形態に係る情報処理方法に係る処理において用いる。
以上、本実施形態として、情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、テレビ受像機や、表示装置、タブレット型の装置、携帯電話やスマートフォンなどの通信装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、PC(Personal Computer)などのコンピュータなど、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理IC(Integrated Circuit)に適用することもできる。
また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、上記(1)の処理(撮像取得処理)、上記(2)の処理(決定処理)、および上記(3)の処理(実行処理)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、視線により操作を行う操作者を決定して、決定された操作者の視線に基づいて処理を行うことができる。
コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、上記(1)の処理(撮像取得処理)、上記(2)の処理(決定処理)、および上記(3)の処理(実行処理)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、視線により操作を行う操作者を決定して、決定された操作者の視線に基づいて処理を行うことができる。
また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る情報処理方法に係る処理によって奏される効果を奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの撮像画像を取得する撮像取得部と、
取得された撮像画像に含まれるユーザの中から操作者を決定する決定部と、
決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う処理部と、
を備える、情報処理装置。
(2)
前記決定部は、前記撮像画像から検出されるユーザを顔部分を含む顔領域の大きさに基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(3)
前記決定部は、前記顔領域の大きさが最も大きい前記顔領域に対応する1人のユーザを、前記操作者として決定する、(2)に記載の情報処理装置。
(4)
前記決定部は、前記顔領域の大きさが最も大きな前記顔領域が複数存在する場合には、より先に検出された前記顔領域に対応するユーザを、前記操作者として決定する、(3)に記載の情報処理装置。
(5)
前記決定部は、
前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザに対応する前記顔領域の大きさからの、前記操作者として決定されたユーザに対応する前記顔領域の大きさの差を示す第1差分値が、設定されている第1閾値以上である場合、または、前記第1差分値が前記第1閾値より大きい場合に、
前記操作者として決定されていたユーザを、前記操作者ではないと決定する、(3)、または(4)に記載の情報処理装置。
(6)
前記決定部は、前記顔領域の大きさが大きい順に、設定されている人数内のユーザを、前記操作者として決定する、(2)に記載の情報処理装置。
(7)
前記決定部は、前記撮像画像から検出されるユーザを顔部分を含む顔領域に対応するユーザの、表示画面からの距離に基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(8)
前記決定部は、前記顔領域に対応する距離が最も短い前記顔領域に対応する1人のユーザを、前記操作者として決定する、(7)に記載の情報処理装置。
(9)
前記決定部は、前記顔領域に対応する距離が最も短い前記顔領域に対応する距離が複数存在する場合には、より先に検出された前記顔領域に対応するユーザを、前記操作者として決定する、(8)に記載の情報処理装置。
(10)
前記決定部は、
前記操作者として決定されたユーザに対応する前記顔領域に対応する距離からの、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザに対応する前記顔領域に対応する距離の差を示す第2差分値が、設定されている第2閾値以上である場合、または、前記第2差分値が前記第2閾値より大きい場合に、
前記操作者として決定されていたユーザを、前記操作者ではないと決定する、(8)、または(9)に記載の情報処理装置。
(11)
前記決定部は、前記顔領域に対応する距離が短い順に、設定されている人数内のユーザを、前記操作者として決定する、(7)に記載の情報処理装置。
(12)
前記決定部は、前記撮像画像から検出される所定のジェスチャに基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(13)
前記決定部は、前記撮像画像に基づく前記ユーザの視線に関する情報が示す、表示画面におけるユーザの視線の位置が、前記表示画面における設定された領域に含まれる場合に、前記視線に対応するユーザを操作者として決定する、(1)に記載の情報処理装置。
(14)
前記決定部は、前記撮像画像に基づいて前記撮像画像に含まれるユーザを特定し、特定されたユーザに対応付けられている優先度に基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(15)
前記決定部は、前記操作者として決定されたユーザに対して操作度を設定し、
前記処理部は、前記操作者として決定されたユーザに対して設定された前記操作度に基づいて、行うことが可能な処理を動的に変える、(1)~(14)のいずれか1項に記載の情報処理装置。
(16)
前記処理部は、
取得された音声信号に対して音声認識が行われた結果、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザが発話した所定の音声が認識された場合には、
前記他のユーザに対応するユーザの視線に関する情報に基づいて、処理を行う、(1)~(15)のいずれか1項に記載の情報処理装置。
(17)
前記決定部は、前記操作者として決定されたユーザに対応する前記ユーザの視線に関する情報が、前記撮像画像から取得できない場合に、前記操作者として決定されていたユーザを、前記操作者ではないと決定する、(1)~(16)のいずれか1項に記載の情報処理装置。
(18)
前記決定部は、
前記操作者として決定されたユーザに対応する前記ユーザの視線に関する情報が、前記撮像画像から取得できないときであっても、前記撮像画像から前記操作者として決定されたユーザの頭部が検出された場合には、
前記操作者として決定されていたユーザを、前記操作者ではないとは決定しない、(17)に記載の情報処理装置。
(19)
前記決定部は、
前記操作者として決定されたユーザと、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザとの所定のジェスチャの組み合わせが検出された場合には、
前記操作者を、前記操作者として決定されていたユーザから前記他のユーザへと変更する、(1)~(18)のいずれか1項に記載の情報処理装置。
(20)
ユーザの撮像画像を取得するステップと、
取得された撮像画像に含まれるユーザの中から操作者を決定するステップと、
決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行うステップと、
を有する、情報処理装置により実行される情報処理方法。
(1)
ユーザの撮像画像を取得する撮像取得部と、
取得された撮像画像に含まれるユーザの中から操作者を決定する決定部と、
決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う処理部と、
を備える、情報処理装置。
(2)
前記決定部は、前記撮像画像から検出されるユーザを顔部分を含む顔領域の大きさに基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(3)
前記決定部は、前記顔領域の大きさが最も大きい前記顔領域に対応する1人のユーザを、前記操作者として決定する、(2)に記載の情報処理装置。
(4)
前記決定部は、前記顔領域の大きさが最も大きな前記顔領域が複数存在する場合には、より先に検出された前記顔領域に対応するユーザを、前記操作者として決定する、(3)に記載の情報処理装置。
(5)
前記決定部は、
前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザに対応する前記顔領域の大きさからの、前記操作者として決定されたユーザに対応する前記顔領域の大きさの差を示す第1差分値が、設定されている第1閾値以上である場合、または、前記第1差分値が前記第1閾値より大きい場合に、
前記操作者として決定されていたユーザを、前記操作者ではないと決定する、(3)、または(4)に記載の情報処理装置。
(6)
前記決定部は、前記顔領域の大きさが大きい順に、設定されている人数内のユーザを、前記操作者として決定する、(2)に記載の情報処理装置。
(7)
前記決定部は、前記撮像画像から検出されるユーザを顔部分を含む顔領域に対応するユーザの、表示画面からの距離に基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(8)
前記決定部は、前記顔領域に対応する距離が最も短い前記顔領域に対応する1人のユーザを、前記操作者として決定する、(7)に記載の情報処理装置。
(9)
前記決定部は、前記顔領域に対応する距離が最も短い前記顔領域に対応する距離が複数存在する場合には、より先に検出された前記顔領域に対応するユーザを、前記操作者として決定する、(8)に記載の情報処理装置。
(10)
前記決定部は、
前記操作者として決定されたユーザに対応する前記顔領域に対応する距離からの、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザに対応する前記顔領域に対応する距離の差を示す第2差分値が、設定されている第2閾値以上である場合、または、前記第2差分値が前記第2閾値より大きい場合に、
前記操作者として決定されていたユーザを、前記操作者ではないと決定する、(8)、または(9)に記載の情報処理装置。
(11)
前記決定部は、前記顔領域に対応する距離が短い順に、設定されている人数内のユーザを、前記操作者として決定する、(7)に記載の情報処理装置。
(12)
前記決定部は、前記撮像画像から検出される所定のジェスチャに基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(13)
前記決定部は、前記撮像画像に基づく前記ユーザの視線に関する情報が示す、表示画面におけるユーザの視線の位置が、前記表示画面における設定された領域に含まれる場合に、前記視線に対応するユーザを操作者として決定する、(1)に記載の情報処理装置。
(14)
前記決定部は、前記撮像画像に基づいて前記撮像画像に含まれるユーザを特定し、特定されたユーザに対応付けられている優先度に基づいて、前記操作者を決定する、(1)に記載の情報処理装置。
(15)
前記決定部は、前記操作者として決定されたユーザに対して操作度を設定し、
前記処理部は、前記操作者として決定されたユーザに対して設定された前記操作度に基づいて、行うことが可能な処理を動的に変える、(1)~(14)のいずれか1項に記載の情報処理装置。
(16)
前記処理部は、
取得された音声信号に対して音声認識が行われた結果、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザが発話した所定の音声が認識された場合には、
前記他のユーザに対応するユーザの視線に関する情報に基づいて、処理を行う、(1)~(15)のいずれか1項に記載の情報処理装置。
(17)
前記決定部は、前記操作者として決定されたユーザに対応する前記ユーザの視線に関する情報が、前記撮像画像から取得できない場合に、前記操作者として決定されていたユーザを、前記操作者ではないと決定する、(1)~(16)のいずれか1項に記載の情報処理装置。
(18)
前記決定部は、
前記操作者として決定されたユーザに対応する前記ユーザの視線に関する情報が、前記撮像画像から取得できないときであっても、前記撮像画像から前記操作者として決定されたユーザの頭部が検出された場合には、
前記操作者として決定されていたユーザを、前記操作者ではないとは決定しない、(17)に記載の情報処理装置。
(19)
前記決定部は、
前記操作者として決定されたユーザと、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザとの所定のジェスチャの組み合わせが検出された場合には、
前記操作者を、前記操作者として決定されていたユーザから前記他のユーザへと変更する、(1)~(18)のいずれか1項に記載の情報処理装置。
(20)
ユーザの撮像画像を取得するステップと、
取得された撮像画像に含まれるユーザの中から操作者を決定するステップと、
決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行うステップと、
を有する、情報処理装置により実行される情報処理方法。
100 情報処理装置
102 通信部
104 制御部
110 撮像取得部
112 判定部
114 処理部
102 通信部
104 制御部
110 撮像取得部
112 判定部
114 処理部
Claims (20)
- ユーザの撮像画像を取得する撮像取得部と、
取得された撮像画像に含まれるユーザの中から操作者を決定する決定部と、
決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行う処理部と、
を備える、情報処理装置。 - 前記決定部は、前記撮像画像から検出されるユーザを顔部分を含む顔領域の大きさに基づいて、前記操作者を決定する、請求項1に記載の情報処理装置。
- 前記決定部は、前記顔領域の大きさが最も大きい前記顔領域に対応する1人のユーザを、前記操作者として決定する、請求項2に記載の情報処理装置。
- 前記決定部は、前記顔領域の大きさが最も大きな前記顔領域が複数存在する場合には、より先に検出された前記顔領域に対応するユーザを、前記操作者として決定する、請求項3に記載の情報処理装置。
- 前記決定部は、
前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザに対応する前記顔領域の大きさからの、前記操作者として決定されたユーザに対応する前記顔領域の大きさの差を示す第1差分値が、設定されている第1閾値以上である場合、または、前記第1差分値が前記第1閾値より大きい場合に、
前記操作者として決定されていたユーザを、前記操作者ではないと決定する、請求項3に記載の情報処理装置。 - 前記決定部は、前記顔領域の大きさが大きい順に、設定されている人数内のユーザを、前記操作者として決定する、請求項2に記載の情報処理装置。
- 前記決定部は、前記撮像画像から検出されるユーザを顔部分を含む顔領域に対応するユーザの、表示画面からの距離に基づいて、前記操作者を決定する、請求項1に記載の情報処理装置。
- 前記決定部は、前記顔領域に対応する距離が最も短い前記顔領域に対応する1人のユーザを、前記操作者として決定する、請求項7に記載の情報処理装置。
- 前記決定部は、前記顔領域に対応する距離が最も短い前記顔領域に対応する距離が複数存在する場合には、より先に検出された前記顔領域に対応するユーザを、前記操作者として決定する、請求項8に記載の情報処理装置。
- 前記決定部は、
前記操作者として決定されたユーザに対応する前記顔領域に対応する距離からの、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザに対応する前記顔領域に対応する距離の差を示す第2差分値が、設定されている第2閾値以上である場合、または、前記第2差分値が前記第2閾値より大きい場合に、
前記操作者として決定されていたユーザを、前記操作者ではないと決定する、請求項8に記載の情報処理装置。 - 前記決定部は、前記顔領域に対応する距離が短い順に、設定されている人数内のユーザを、前記操作者として決定する、請求項7に記載の情報処理装置。
- 前記決定部は、前記撮像画像から検出される所定のジェスチャに基づいて、前記操作者を決定する、請求項1に記載の情報処理装置。
- 前記決定部は、前記撮像画像に基づく前記ユーザの視線に関する情報が示す、表示画面におけるユーザの視線の位置が、前記表示画面における設定された領域に含まれる場合に、前記視線に対応するユーザを操作者として決定する、請求項1に記載の情報処理装置。
- 前記決定部は、前記撮像画像に基づいて前記撮像画像に含まれるユーザを特定し、特定されたユーザに対応付けられている優先度に基づいて、前記操作者を決定する、請求項1に記載の情報処理装置。
- 前記決定部は、前記操作者として決定されたユーザに対して操作度を設定し、
前記処理部は、前記操作者として決定されたユーザに対して設定された前記操作度に基づいて、行うことが可能な処理を動的に変える、請求項1に記載の情報処理装置。 - 前記処理部は、
取得された音声信号に対して音声認識が行われた結果、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザが発話した所定の音声が認識された場合には、
前記他のユーザに対応するユーザの視線に関する情報に基づいて、処理を行う、請求項1に記載の情報処理装置。 - 前記決定部は、前記操作者として決定されたユーザに対応する前記ユーザの視線に関する情報が、前記撮像画像から取得できない場合に、前記操作者として決定されていたユーザを、前記操作者ではないと決定する、請求項1に記載の情報処理装置。
- 前記決定部は、
前記操作者として決定されたユーザに対応する前記ユーザの視線に関する情報が、前記撮像画像から取得できないときであっても、前記撮像画像から前記操作者として決定されたユーザの頭部が検出された場合には、
前記操作者として決定されていたユーザを、前記操作者ではないとは決定しない、請求項17に記載の情報処理装置。 - 前記決定部は、
前記操作者として決定されたユーザと、前記撮像画像に含まれるユーザのうち前記操作者として決定されていないユーザである他のユーザとの所定のジェスチャの組み合わせが検出された場合には、
前記操作者を、前記操作者として決定されていたユーザから前記他のユーザへと変更する、請求項1に記載の情報処理装置。 - ユーザの撮像画像を取得するステップと、
取得された撮像画像に含まれるユーザの中から操作者を決定するステップと、
決定された操作者に対応するユーザの視線に関する情報に基づいて、処理を行うステップと、
を有する、情報処理装置により実行される情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201480048803.2A CN105518579A (zh) | 2013-09-13 | 2014-06-30 | 信息处理设备和信息处理方法 |
EP14843497.0A EP3046004A4 (en) | 2013-09-13 | 2014-06-30 | Information processing device and information processing method |
US14/917,244 US10120441B2 (en) | 2013-09-13 | 2014-06-30 | Controlling display content based on a line of sight of a user |
US16/154,331 US10928896B2 (en) | 2013-09-13 | 2018-10-08 | Information processing apparatus and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013190715A JP2015056141A (ja) | 2013-09-13 | 2013-09-13 | 情報処理装置、および情報処理方法 |
JP2013-190715 | 2013-09-13 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/917,244 A-371-Of-International US10120441B2 (en) | 2013-09-13 | 2014-06-30 | Controlling display content based on a line of sight of a user |
US16/154,331 Continuation US10928896B2 (en) | 2013-09-13 | 2018-10-08 | Information processing apparatus and information processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015037310A1 true WO2015037310A1 (ja) | 2015-03-19 |
Family
ID=52665434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/067433 WO2015037310A1 (ja) | 2013-09-13 | 2014-06-30 | 情報処理装置、および情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10120441B2 (ja) |
EP (1) | EP3046004A4 (ja) |
JP (1) | JP2015056141A (ja) |
CN (1) | CN105518579A (ja) |
WO (1) | WO2015037310A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915001A (zh) * | 2015-06-03 | 2015-09-16 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
CN104978029A (zh) * | 2015-06-30 | 2015-10-14 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
CN105094319A (zh) * | 2015-06-30 | 2015-11-25 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
CN113031464A (zh) * | 2021-03-22 | 2021-06-25 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9674663B2 (en) * | 2014-12-31 | 2017-06-06 | Qirfiraz A Siddiqui | Proximity-enabled digital gesture tracking |
JP2017134558A (ja) * | 2016-01-27 | 2017-08-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US10015539B2 (en) | 2016-07-25 | 2018-07-03 | DISH Technologies L.L.C. | Provider-defined live multichannel viewing events |
JP6953818B2 (ja) * | 2016-11-14 | 2021-10-27 | 株式会社アイシン | 動作判定装置 |
US10021448B2 (en) * | 2016-11-22 | 2018-07-10 | DISH Technologies L.L.C. | Sports bar mode automatic viewing determination |
KR102565977B1 (ko) * | 2018-02-08 | 2023-08-11 | 삼성전자주식회사 | 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치 |
JP7075237B2 (ja) * | 2018-02-23 | 2022-05-25 | ラピスセミコンダクタ株式会社 | 操作判定装置及び操作判定方法 |
JP7064952B2 (ja) * | 2018-05-17 | 2022-05-11 | オリンパス株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN108810627B (zh) * | 2018-07-05 | 2021-05-07 | 京东方科技集团股份有限公司 | 一种显示装置及其显示方法 |
JP7468360B2 (ja) * | 2018-12-03 | 2024-04-16 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
CN110708519B (zh) * | 2019-11-05 | 2020-12-08 | 太原理工大学 | 一种面向工业现场环境的交互式监控方法 |
KR20210061638A (ko) * | 2019-11-20 | 2021-05-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
BR112022018723A2 (pt) * | 2020-03-20 | 2022-12-27 | Huawei Tech Co Ltd | Métodos e sistemas para o controle de um dispositivo com base em gestos manuais |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
JP2009064395A (ja) | 2007-09-10 | 2009-03-26 | Hiroshima Univ | ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010231355A (ja) * | 2009-03-26 | 2010-10-14 | Sanyo Electric Co Ltd | 情報表示装置 |
JP2010238145A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 情報出力装置、遠隔制御方法、及びプログラム |
JP2014086085A (ja) * | 2012-10-19 | 2014-05-12 | Samsung Electronics Co Ltd | ディスプレイ装置及びその制御方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69830295T2 (de) | 1997-11-27 | 2005-10-13 | Matsushita Electric Industrial Co., Ltd., Kadoma | Steuerungsverfahren |
JP3847753B2 (ja) * | 2004-01-30 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
CN1293446C (zh) * | 2005-06-02 | 2007-01-03 | 北京中星微电子有限公司 | 一种非接触式目控操作系统和方法 |
US9250703B2 (en) * | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
US8615112B2 (en) * | 2007-03-30 | 2013-12-24 | Casio Computer Co., Ltd. | Image pickup apparatus equipped with face-recognition function |
JP2009076982A (ja) * | 2007-09-18 | 2009-04-09 | Toshiba Corp | 電子機器および顔画像表示方法 |
WO2009125481A1 (ja) * | 2008-04-10 | 2009-10-15 | パイオニア株式会社 | 画面表示システム及び画面表示プログラム |
JP2010004118A (ja) * | 2008-06-18 | 2010-01-07 | Olympus Corp | デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 |
US10282563B2 (en) * | 2009-02-06 | 2019-05-07 | Tobii Ab | Video-based privacy supporting system |
KR20120045667A (ko) * | 2010-10-29 | 2012-05-09 | 삼성전자주식회사 | 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법 |
US20120257035A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
EP2742403A4 (en) * | 2011-09-16 | 2015-07-15 | Landmark Graphics Corp | METHOD AND SYSTEMS FOR GESTRO-BASED CONTROL OF A PETROTECHNICAL APPLICATION |
US9164579B2 (en) * | 2011-11-15 | 2015-10-20 | Lg Electronics Inc. | Electronic device for granting authority based on context awareness information |
US20130243270A1 (en) * | 2012-03-16 | 2013-09-19 | Gila Kamhi | System and method for dynamic adaption of media based on implicit user input and behavior |
US9823742B2 (en) | 2012-05-18 | 2017-11-21 | Microsoft Technology Licensing, Llc | Interaction and management of devices using gaze detection |
JP6295534B2 (ja) * | 2013-07-29 | 2018-03-20 | オムロン株式会社 | プログラマブル表示器、制御方法、およびプログラム |
JP2015087824A (ja) * | 2013-10-28 | 2015-05-07 | オムロン株式会社 | 画面操作装置および画面操作方法 |
CN105824400A (zh) * | 2015-01-06 | 2016-08-03 | 索尼公司 | 电子设备的控制方法、控制装置以及电子设备 |
-
2013
- 2013-09-13 JP JP2013190715A patent/JP2015056141A/ja active Pending
-
2014
- 2014-06-30 CN CN201480048803.2A patent/CN105518579A/zh active Pending
- 2014-06-30 US US14/917,244 patent/US10120441B2/en active Active
- 2014-06-30 WO PCT/JP2014/067433 patent/WO2015037310A1/ja active Application Filing
- 2014-06-30 EP EP14843497.0A patent/EP3046004A4/en not_active Ceased
-
2018
- 2018-10-08 US US16/154,331 patent/US10928896B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11327753A (ja) * | 1997-11-27 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 制御方法及びプログラム記録媒体 |
JP2009064395A (ja) | 2007-09-10 | 2009-03-26 | Hiroshima Univ | ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010231355A (ja) * | 2009-03-26 | 2010-10-14 | Sanyo Electric Co Ltd | 情報表示装置 |
JP2010238145A (ja) * | 2009-03-31 | 2010-10-21 | Casio Computer Co Ltd | 情報出力装置、遠隔制御方法、及びプログラム |
JP2014086085A (ja) * | 2012-10-19 | 2014-05-12 | Samsung Electronics Co Ltd | ディスプレイ装置及びその制御方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3046004A4 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915001A (zh) * | 2015-06-03 | 2015-09-16 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
CN104978029A (zh) * | 2015-06-30 | 2015-10-14 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
CN105094319A (zh) * | 2015-06-30 | 2015-11-25 | 北京嘿哈科技有限公司 | 一种屏幕操控方法及装置 |
CN113031464A (zh) * | 2021-03-22 | 2021-06-25 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
CN113031464B (zh) * | 2021-03-22 | 2022-11-22 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10928896B2 (en) | 2021-02-23 |
EP3046004A4 (en) | 2017-04-19 |
US20160195926A1 (en) | 2016-07-07 |
US10120441B2 (en) | 2018-11-06 |
US20190041985A1 (en) | 2019-02-07 |
EP3046004A1 (en) | 2016-07-20 |
JP2015056141A (ja) | 2015-03-23 |
CN105518579A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015037310A1 (ja) | 情報処理装置、および情報処理方法 | |
JP6221535B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10180718B2 (en) | Information processing apparatus and information processing method | |
JP6398987B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6011165B2 (ja) | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム | |
JP6252409B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN106303029A (zh) | 一种画面的旋转控制方法、装置及移动终端 | |
JP2017518691A (ja) | 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法 | |
US9823815B2 (en) | Information processing apparatus and information processing method | |
JP5900161B2 (ja) | 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 | |
US9361316B2 (en) | Information processing apparatus and phrase output method for determining phrases based on an image | |
JP2016149660A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2012058884A (ja) | 情報処理装置、および情報処理方法 | |
US20170003933A1 (en) | Information processing device, information processing method, and computer program | |
WO2020078319A1 (zh) | 基于手势的操控方法及终端设备 | |
US20170371524A1 (en) | Information processing apparatus, picture processing method, and program | |
WO2017169158A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPWO2015118756A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
TW201337644A (zh) | 資訊處理裝置、資訊處理方法、及記錄媒體 | |
US11386870B2 (en) | Information processing apparatus and information processing method | |
JP6409948B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2016134730A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14843497 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2014843497 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014843497 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14917244 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |