WO2017104272A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2017104272A1
WO2017104272A1 PCT/JP2016/081755 JP2016081755W WO2017104272A1 WO 2017104272 A1 WO2017104272 A1 WO 2017104272A1 JP 2016081755 W JP2016081755 W JP 2016081755W WO 2017104272 A1 WO2017104272 A1 WO 2017104272A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
user operation
range
information processing
recognition
Prior art date
Application number
PCT/JP2016/081755
Other languages
English (en)
French (fr)
Inventor
遼 深澤
邦在 鳥居
貴広 岡山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020187015818A priority Critical patent/KR20180094875A/ko
Priority to EP16875257.4A priority patent/EP3392740A4/en
Priority to JP2017556401A priority patent/JP6841232B2/ja
Priority to CN201680072636.4A priority patent/CN108369451B/zh
Priority to US15/772,243 priority patent/US10963063B2/en
Publication of WO2017104272A1 publication Critical patent/WO2017104272A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 a user wearing a head-mounted display (HMD) having a camera causes the camera to capture (sense) various gestures using his / her hand, and operates the HMD by gesture recognition. Techniques to do this are disclosed.
  • HMD head-mounted display
  • recognition of user operations based on sensing such as gestures may fail.
  • the recognition accuracy may be reduced depending on the user's situation, surrounding environment, device performance, and the like. For example, if the operation method is the same when the recognition accuracy is low and the recognition accuracy is high, the operation is often not recognized, and the user repeats the same operation many times until the operation is recognized. The burden is great for the user.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program that can be operated by a user operation according to recognition accuracy.
  • an acquisition unit that acquires recognition accuracy related to recognition based on sensing data, and when the recognition accuracy is included in a first range, the first user operation can be recognized, and the recognition When the accuracy is included in a second range different from the first range, the second user operation related to the first user operation can be recognized differently from the first user operation.
  • an information processing apparatus including the unit.
  • an information processing method including control by a processor.
  • the computer can recognize the first user operation when the computer has an acquisition function for acquiring recognition accuracy related to recognition based on sensing data and the recognition accuracy is included in the first range.
  • the recognition accuracy is included in a second range different from the first range, unlike the first user operation, a second user operation related to the first user operation is performed.
  • a control function for enabling recognition is provided, and a program for realizing the control function is provided.
  • FIG. 3 is an explanatory diagram for describing an overview of an information processing apparatus according to an embodiment of the present disclosure. It is a block diagram which shows the structure of the information processing apparatus 1 by the embodiment.
  • FIG. 6 is a flowchart for explaining an operation example of the information processing apparatus 1 according to the embodiment. It is explanatory drawing for demonstrating the 1st specific example of user operation which concerns on the embodiment. It is explanatory drawing for demonstrating the 1st specific example of user operation which concerns on the embodiment. It is explanatory drawing for demonstrating the 1st specific example of user operation which concerns on the embodiment. It is explanatory drawing for demonstrating the 1st specific example of user operation which concerns on the embodiment. It is explanatory drawing for demonstrating the 2nd specific example of user operation which concerns on the embodiment. It is explanatory drawing for demonstrating the 2nd specific example of user operation which concerns on the embodiment.
  • FIG. 1 is an explanatory diagram for describing an overview of an information processing apparatus according to an embodiment of the present disclosure.
  • the information processing apparatus 1 is a head mounted display (HMD).
  • the information processing apparatus 1 has a see-through display unit that is mounted on the user's head and is disposed in front of one or both of the user's eyes.
  • the information processing apparatus 1 includes a sensor unit (not shown) that performs sensing, and recognizes an operation by a user.
  • the information processing apparatus 1 is arranged so that the rear axis is substantially parallel to the user's line of sight, and includes a camera that acquires an image that overlaps the user's field of view as a sensor unit, and user operations are recognized based on the acquired image. May be.
  • the user operation may be performed using an operation body such as a user's own hand, a finger, a real object held by the hand, or a foot. Further, the user operation may be performed using a line of sight or sound as will be described later.
  • the display unit of the information processing apparatus 1 displays a virtual object V1 that is a virtual object and a user interface U1 that indicates a recognition result of the operating tool H1 that is a user's hand.
  • the user interface U1 is displayed so as to be superimposed on the operating tool H1 as shown in FIG.
  • the operation body H1 is recognized including five fingers that can be operated independently, and various operations can be realized.
  • the recognition accuracy regarding the operation tool H1 or the user operation using the operation tool H1 may be lowered depending on the user's situation, surrounding environment, device performance, and the like. For example, if the image used for recognition is acquired in a dark place, the recognition accuracy of the position and orientation of each finger of the operating tool H1 may be lowered. As a result, the operation intended by the user may not be recognized and the process may not be performed, or a process different from the process intended by the user may be performed. Therefore, from the next section, a mechanism that can be operated by a user operation (operation method) according to recognition accuracy will be described.
  • FIG. 1 shows an example in which the information processing apparatus 1 is an HMD and has a see-through display unit
  • the information processing apparatus 1 is not limited to this example, and the user is based on sensing. Any device capable of recognizing an operation can be realized in various forms.
  • the display unit included in the information processing apparatus 1 may be a see-through type or a non-see-through type.
  • the information processing apparatus 1 may be a helmet type or a car windshield (head-up display) type display device.
  • the information processing apparatus 1 may be a table top type display device in which an image is projected onto a plane such as a table by a projection apparatus such as a projector.
  • the information processing apparatus 1 may be a PC (personal computer), a smartphone, a tablet PC, a PND (Portable / Personal Navigation Device), or the like.
  • FIG. 2 is a block diagram illustrating a configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 is an information processing apparatus including a sensor unit 110, a recognition unit 120, an acquisition unit 130, a range setting unit 140, a control unit 150, a storage unit 160, and a display unit 170.
  • the sensor unit 110 performs sensing on the user and the environment in which the user is placed, and acquires a sensing result (sensing data).
  • the sensor unit 110 may include a camera that obtains a captured image by imaging a real space using an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the sensor unit 110 may include a stereo camera that includes a plurality of imaging elements and acquires a plurality of images simultaneously.
  • the plurality of image pickup devices are arranged horizontally, and the three-dimensional shape information (depth information) in the real space is acquired by analyzing a plurality of images acquired by the recognition unit 120 described later by a stereo matching method or the like. It becomes possible to do.
  • the sensor unit 110 is not limited to the camera, and may include various sensors.
  • the sensor unit 110 includes a microphone, a GPS (Global Positioning System) sensor, an acceleration sensor, a visual (gaze, gaze point, focus, blink, etc.) sensor, a living body (heart rate, body temperature, blood pressure, brain wave, etc.) sensor, a gyro sensor, Various sensors such as an illuminance sensor and an infrared camera may be included.
  • the sensor unit 110 provides the acquired sensing data to the recognition unit 120 and the acquisition unit 130.
  • the recognition unit 120 analyzes sensing data acquired by sensing of the sensor unit 110 and recognizes (acquires) various information. For example, the recognition unit 120 may recognize user information about the user and environment information about the environment where the user is placed based on the sensing data.
  • the user information may include, for example, behavior information indicating the user's behavior, motion information indicating the user's movement, biological information, gaze information, and the like.
  • the behavior information is information indicating a user's current behavior, for example, at rest, walking, running, driving a car, and climbing stairs, and by analyzing sensing data such as acceleration acquired by the sensor unit 110. It may be recognized.
  • the movement information is information such as a moving speed, a moving direction, a moving acceleration, and an approach to a content position, and may be recognized from acceleration data acquired by the sensor unit 110, sensing data such as GPS data, and the like.
  • the biological information is information such as the user's heart rate, body temperature sweating, blood pressure, pulse, respiration, blink, eye movement, brain wave, and the like, and is recognized based on sensing data from the biological sensor included in the sensor unit 110. Also good.
  • the gaze information is information related to the user's gaze, such as a line of sight, a gaze point, a focal point, and binocular convergence, and may be recognized based on sensing data from a visual sensor included in the sensor unit 110.
  • the line-of-sight recognition processing by the recognition unit 120 will be described later.
  • the environmental information may include information such as surrounding conditions, location, illuminance, altitude, temperature, wind direction, air volume, time, and the like.
  • the information on the surrounding situation may be information on whether or not a person other than the user or a vehicle exists in the vicinity, information on the degree of congestion, and the like, and the sensing data from the camera or microphone included in the sensor unit 110 is analyzed. May be recognized.
  • the location information may be information indicating the characteristics of the location where the user is located, for example, indoor, outdoor, underwater, dangerous location, etc., or the user of the location such as home, company, familiar location, first-time location, etc. It may be information indicating the meaning for the person.
  • the location information may be recognized by analyzing sensing data from a camera, a microphone, a GPS sensor, an illuminance sensor, or the like included in the sensor unit 110. Similarly, information on illuminance, altitude, temperature, wind direction, air volume, and time (for example, GPS time) may be recognized based on sensing data acquired by various sensors included in the sensor unit 110.
  • the recognition unit 120 may analyze a captured image acquired by a camera included in the sensor unit 110 and perform a recognition process of a real object such as an operation body existing in the real space.
  • the recognizing unit 120 compares the image feature amount extracted from the captured image with, for example, the image feature amount of a known real object (for example, an operating body such as a hand) stored in the storage unit 160 to be described later.
  • the real object inside is identified and the position in the captured image is recognized.
  • the recognizing unit 120 may analyze a captured image acquired by a camera included in the sensor unit 110 and acquire three-dimensional shape information in real space. For example, the recognition unit 120 performs a three-dimensional real space by performing a stereo matching method for a plurality of images acquired simultaneously, a SfM (Structure from Motion) method, a SLAM method, or the like for a plurality of images acquired in time series. The shape may be recognized and the three-dimensional shape information may be acquired. In addition, when the recognition unit 120 can acquire the three-dimensional shape information of the real space, the recognition unit 120 may recognize the three-dimensional position, shape, size, and orientation of the real object.
  • a stereo matching method for a plurality of images acquired simultaneously
  • a SfM (Structure from Motion) method a SLAM method, or the like
  • the shape may be recognized and the three-dimensional shape information may be acquired.
  • the recognition unit 120 may recognize the three-dimensional position, shape, size, and orientation of the real object.
  • the recognition unit 120 may recognize a user operation based on sensing data or user information.
  • the recognition unit 120 according to the present embodiment performs gesture operation recognition, line-of-sight operation recognition, voice operation recognition, and the like.
  • the recognition unit 120 recognizes the gesture operation performed by the user using the operation body as follows.
  • the gesture recognition process executed by the recognition unit 120 can include cutting out a partial image including an operating tool, scaling of the cut out partial image, temporary storage of the partial image, calculation of a difference between frames, and the like.
  • the recognition unit 120 tracks attributes such as the position, shape, or size of the operating body obtained by the above-described processing, and collates temporal changes of these attributes with known gesture patterns stored in advance in the storage unit 160. By doing so, the gesture operation expressed by the operating body may be recognized.
  • the term “gesture” includes a static pose (shape) that is not accompanied by a temporal change in the attribute of the operation tool.
  • the recognition unit 120 recognizes the line-of-sight operation based on the user's line-of-sight position as follows. For example, the recognizing unit 120 associates the position of a light spot indicating the reflection of infrared light irradiated to the pupil of the user with a plurality of infrared LEDs and the position of the known infrared LED, so that the line-of-sight position used for the line-of-sight operation is used. May be recognized. Note that the position of the light spot indicating the reflection of infrared light may be detected by the sensor unit 110 or detected by the recognition unit 120 from an image obtained by photographing the pupil with an infrared camera included in the sensor unit 110. May be.
  • the recognizing unit 120 recognizes the line-of-sight operation by collating the line-of-sight position, the line-of-sight track obtained by tracking the line-of-sight position in time series with the known line-of-sight pattern stored in the storage unit 160. Good. Note that some non-limiting specific examples of the line-of-sight operation using the line-of-sight position recognized by the recognition unit 120 will be described later with reference to the drawings.
  • the recognition unit 120 recognizes the voice operation by the user's voice as follows.
  • the recognition unit 120 may recognize the voice operation by collating an input voice acquired by a microphone included in the sensor unit 110 with a known voice pattern stored in the storage unit 160.
  • the voice input by the user by voice operation may be a predetermined voice command (Yes / No, etc.), a word or keyword, or a sentence that is conversing with an agent displayed on the display unit 170. Note that some non-limiting specific examples of the voice operation recognized by the recognition unit 120 will be described later with reference to the drawings.
  • information related to the user operation (such as a gesture pattern, a line-of-sight pattern, and a voice pattern) stored in the storage unit 160 described above is appropriate information according to the user operation specified by the control unit 150 described later. It may be provided to the recognition unit 120 via 150.
  • the acquisition unit 130 has an acquisition function for acquiring user information and recognition accuracy related to user operation recognition.
  • the acquisition unit 130 may specify the recognition accuracy based on the reliability of the recognition performed by the recognition unit 120 or the error or accuracy of sensing data estimated from the sensing data used for operation recognition.
  • the reliability in recognition of the gesture operation is It may be the number of feature points.
  • the reliability in the recognition of the gesture operation may be a matching score in the collation between the recognized temporal change of the attribute of the operation object and a known gesture pattern.
  • the line-of-sight position used for the line-of-sight operation is recognized based on the light spot detected by the recognition unit 120 from the user's pupil, so that the line-of-sight position increases as the number of detected light spots increases.
  • the estimation results tend to be more reliable. Therefore, the reliability in the recognition of the line-of-sight operation may be the number of light spots detected in the user's pupil. Further, the reliability in the recognition of the line-of-sight operation may be a difference in line-of-sight position recognized from each of the left and right eyes.
  • the reliability in recognition of voice operation may be, for example, a noise level estimated from a known noise estimation technique from the input voice, or a matching score in matching between the input voice and a known voice pattern.
  • the recognition accuracy reflects the degree to which the recognition result can be trusted, and the convenience of the user by selecting the user operation according to the recognition accuracy. Will increase.
  • the error and accuracy of sensing data can be estimated by various methods.
  • the acquisition unit 130 calculates the variance of the sensing data for the past predetermined time, and estimates that the error is large (the accuracy is low) when the variance is large or when there is a large change in the variance. Also good.
  • the recognition accuracy reflects the recognition accuracy as a result, and user convenience is selected by selecting the user operation according to the recognition accuracy. Will increase.
  • the reliability, error, or accuracy described above may be used alone or in combination to specify the recognition accuracy.
  • the identification method of the recognition accuracy by the acquisition part 130 is not limited to the above, You may identify by various methods according to the sensing data obtained and user operation.
  • acquisition of recognition accuracy by the acquisition unit 130 is not limited to acquisition by specifying the recognition accuracy as described above.
  • the recognition unit 120 may specify the recognition accuracy described above in the course of the recognition process, and the acquisition unit 130 may acquire the recognition accuracy by receiving the recognition accuracy from the recognition unit 120.
  • the information processing device 1 may cooperate with other sensor devices, and sensor data obtained from the sensor device instead of or in addition to sensing data by the sensor unit 110 and a recognition result based on the sensing data.
  • the recognition result may be used.
  • the acquisition unit 130 may be an interface that acquires recognition accuracy specified by the sensor device from the sensor device, for example.
  • the range setting unit 140 sets a range used by the control unit 150 described later for specifying an operation method.
  • the range setting unit 140 may set a predetermined number of ranges using one or more threshold values. For example, when the range setting unit sets one threshold value, the first range that is equal to or greater than the threshold value, and the second value that is less than the threshold value, that is, the upper limit value is less than or equal to the lower limit value of the first range. A range may be set. Similarly, the range setting unit sets the second threshold, so that the first range, the second range in which the upper limit value is equal to or lower than the lower limit value of the first range, and the upper limit value of the second range are set. A third range that is less than or equal to the lower limit value may be set. In the following, the upper limit of the second range is less than or equal to the lower limit of the first range, the first range is higher than the second range, or the second range is lower than the first range. And so on.
  • the range setting unit 140 may set a range using a predetermined threshold, or may set a range using a dynamically obtained threshold.
  • the threshold value is determined in advance, for example, the developer of the information processing device 1 or the developer of the application executed on the information processing device 1 may specify the threshold value in advance according to the interaction.
  • the range setting unit 140 increases the threshold value, for example, in a situation that is severer for the user (for example, difficult to operate and visually recognize) (simpler by the control unit 150 described later).
  • the threshold value may be specified so that an operation method is easily selected.
  • the range setting unit 140 may set a range by specifying a threshold based on user information regarding the user or environment information regarding the environment where the user is placed.
  • the range setting unit 140 may specify a threshold value according to information on the moving speed of the user (an example of user information), and specify the threshold value so that the threshold value increases as the moving speed of the user increases. Also good.
  • the range setting unit 140 may specify a threshold value according to the user's biological information (an example of user information), for example, the user's heart rate, and the threshold value increases so that the higher the user's heart rate, the greater the threshold value. May be specified.
  • the range setting unit 140 may specify a threshold value according to illuminance information (an example of environmental information) around the user, and specifies the threshold value such that the threshold value increases as the illuminance around the user decreases. Also good.
  • the range setting unit 140 may specify a threshold value according to information on the degree of congestion around the user (an example of environmental information). The threshold value is specified such that the threshold value increases as the degree of congestion around the user increases. May be.
  • the range setting unit 140 may specify a threshold value according to the distance from the information processing apparatus 1 to the operating tool, and may specify the threshold value such that the threshold value increases as the distance increases. According to this configuration, when the operation and visual recognition are difficult, if the recognition accuracy is reduced, a simpler operation method is easily selected, and thus the user can operate with an operation method according to the situation. As a result, since the operation is not recognized, repeating the same operation is suppressed, and the user can operate more comfortably.
  • the control unit 150 has a control function for controlling each unit of the information processing apparatus 1.
  • the control unit 150 identifies an appropriate user operation (operation method) based on the recognition accuracy acquired by the acquisition unit 130 and the range set by the range setting unit 140, and the user operation Control is performed so that the processing corresponding to the case where is recognized.
  • control unit 150 may control the recognition unit 120 so that the first user operation can be recognized when the recognition accuracy is included in the first range.
  • the control unit 150 controls the recognition unit 120, and when the recognition accuracy is included in a second range different from the first range, the first user operation is different from the first user operation.
  • the related second user operation may be made recognizable.
  • the control of the recognition unit 120 by the control unit 150 is not limited to the above. For example, when the range setting unit 140 sets a range of 3 or more, the control unit 150 is similarly based on the recognition accuracy and the range of 3 or more. You may control.
  • the second user operation is related to the first user operation is, for example, a user operation in which the first user operation and the second user operation are recognized based on sensing data related to the same target. It may include that.
  • both the first user operation and the second user operation may be recognized based on sensing data related to the user's hand, fingertip, line of sight, or sound.
  • the second user operation is different from the first user operation, for example, that the recognition unit 120 recognizes the first user operation and the second user operation as different operations. May be included.
  • the first user operation is recognized as an operation using an operation body including five fingers that can operate independently, and the second user operation does not include a finger (a finger is not recognized). This includes that the first user operation is different from the second user operation.
  • the control unit 150 may perform a predetermined process based on the user operation.
  • the types of processing that can be performed based on user operations that can be recognized when the recognition accuracy is included in the first range are based on user operations that can be recognized when the recognition accuracy is included in the second range.
  • the type of processing that can be performed may be included.
  • the user operation that can be recognized when the recognition accuracy is included in the first range may be a more complicated operation than the user operation that can be recognized when the recognition accuracy is included in the second range. With such a configuration, even when the recognition accuracy is low, the user can perform processing by a simple user operation, and when the recognition accuracy is high, the user can be more flexible by a complicated user operation. It is possible to execute highly diverse processes.
  • control unit 150 may extract information related to one or more user operations corresponding to the recognition accuracy and range from the storage unit 160 and provide the information to the recognition unit 120 so that the user operation can be recognized. Good.
  • the recognition unit 120 can selectively recognize a user operation based on the recognition accuracy. For example, compared to a case where all the user operations that can be recognized by the recognition unit 120 are recognized, The processing load related to the recognition process is reduced.
  • the control unit 150 when the recognition accuracy is included in the first range, the control unit 150 notifies the user that the first user operation is recognizable, and when the recognition accuracy is included in the second range. The user may be notified that the second user operation can be recognized.
  • the control unit 150 controls the display unit 170 to display different user interfaces, effects, texts, and the like for each recognizable user operation, thereby notifying the user that the user operation can be recognized. Also good.
  • the notification method by the control unit 150 is not limited to the above, and the control unit 150 may notify a voice by controlling a speaker (not shown), or may be notified by vibration by controlling a vibration unit (not shown). Also good.
  • the storage unit 160 stores a program and data for processing by the information processing apparatus 1.
  • the storage unit 160 may store an image feature amount used for operation body recognition, a gesture pattern, a line-of-sight pattern, an audio pattern, and the like used for operation recognition.
  • the above-described information stored in the storage unit 160 is provided to the recognition unit 120 via the control unit 150 in accordance with the user operation specified by the control unit 150.
  • the display unit 170 is a display that displays various information. As shown in FIG. 1, the display unit 170 may be a transmissive (optical see-through) display or a non-transmissive display. Further, the display unit 170 may be controlled by the control unit 150 to perform display for notifying about recognizable user operations.
  • FIG. 3 is a flowchart for explaining an operation example of the information processing apparatus 1 according to the present embodiment.
  • sensing is performed by the sensor unit 110 (S10).
  • the recognizing unit 120 analyzes the sensing result (sensing data) by the sensor unit 110 and recognizes various information such as user information, environmental information, and information related to operation (S20).
  • the acquisition unit 130 acquires recognition accuracy information based on reliability in recognition, an error or accuracy of sensing data, and the like (S30).
  • the range setting unit 140 sets a range used for specifying an operation method based on user information, environment information, and the like (S40). Based on the set range and the recognition accuracy, the control unit 150 identifies an operation method (user operation) (S50).
  • control unit 150 controls the recognition unit 120 to update the recognition setting so that the operation according to the specified operation method is recognized (S60). Further, the control unit 150 controls the display unit 170 to notify the user that the specified user operation (operation method) is possible (S70).
  • steps S10 to S70 may be repeatedly executed as soon as the series of processing is completed or periodically.
  • any one specific example may be applied to the present embodiment, or a plurality of specific examples may be combined and applied to the present embodiment. Also, any one of the specific examples described below may be selected by the user or automatically and applied to the present embodiment.
  • each user operation is a user operation that is recognized based on sensing data related to the user's hand (an example of an operating tool), and the number of recognized fingers varies depending on the recognition accuracy.
  • the range setting unit 140 sets three ranges and decreases in the order of the first range, the second range, and the third range (the lower limit value of the second range is the first range).
  • the lower limit value of the third range is equal to or lower than the upper limit value of the first range).
  • FIG. 4A is an explanatory diagram for explaining user operations that can be recognized when the recognition accuracy is included in the first range in this specific example.
  • the user interface U12 indicating the recognition result of the operating tool H10 that is the user's hand is displayed on the display unit 170 of the information processing apparatus 1.
  • the display unit 170 is a transmissive display, and when viewed by the user through the display unit 170, the user interface U12 is displayed so as to be superimposed on the operating tool H10 as shown in FIG. 4A.
  • the user interface U12 is displayed including five fingers U121 to U129 that can be operated independently, and the user can realize various operations.
  • the information processing apparatus 1 performs processing such as selection, movement, enlargement / reduction, rotation, and deformation related to editing and browsing of a virtual object (not shown). It may be done.
  • the virtual object to be operated may be, for example, a 3D model, a GUI (graphical user interface) such as an icon, a button, or a control panel, an image such as a photograph or an illustration, a text such as a description or a label. It may be the content that has been made.
  • the user can select the virtual object by performing a gesture of hitting the virtual object with any finger.
  • the user can grab and move the virtual object by performing a gesture of moving the virtual object with two fingers.
  • the user can enlarge or reduce the virtual object by opening and closing five fingers on the virtual object.
  • the user can deform the virtual object by performing a gesture such as pushing, pulling, twisting, dividing, or breaking the virtual object with one or more fingers.
  • gesture operation according to the present disclosure is not limited to the above-described gesture, and may be an operation performed using an operation body, for example.
  • the gesture operation according to the present disclosure may include so-called tap, flick, swipe, drag, pinch-in, pinch-out, rotation, and the like.
  • FIG. 4B is an explanatory diagram for explaining user operations that can be recognized when the recognition accuracy is included in the second range in this specific example. Also in the example illustrated in FIG. 4B, the display unit 170 of the information processing apparatus 1 displays the user interface U14 indicating the recognition result of the operating tool H10 that is the user's hand so as to be superimposed on the operating tool H10.
  • the user interface U14 has a shape like a two-finger arm.
  • the user's hand is recognized as an operation body including two fingers.
  • the recognition unit 120 may recognize the opening degree of the user's hand, and the control unit 150 may display the opening degree of the user's hand as the opening degree of the finger U142 and the finger U144 illustrated in FIG. 4B.
  • the virtual object selection and movement processing is performed based on the gesture operation of hitting the virtual object with the arm and the gesture operation of moving the virtual object with the arm. It may be broken.
  • FIG. 4C is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the third range in this specific example. Also in the example illustrated in FIG. 4C, the user interface U ⁇ b> 16 indicating the recognition result of the operating tool H ⁇ b> 10 that is the user's hand is displayed on the display unit 170 of the information processing apparatus 1 so as to be superimposed on the operating tool H ⁇ b> 10.
  • the user interface U16 includes a circular portion U162 without a finger, and in this user operation, the position of the user's hand (operation body) is recognized, but the finger is not recognized.
  • the user interface U16 has an attractive force, and the user can cause the virtual object to be attracted to the user interface U16 by moving the operating tool H10 to bring the user interface U16 closer to the virtual object.
  • the process which moves the attracted virtual object may be performed because a user moves operation body H10 and moves user interface U16.
  • other user operations for example, voice recognition
  • voice recognition may be used to cancel the adsorption of the adsorbed virtual object.
  • the first user operation in the example shown in FIG. 4A and the second user operation in the example shown in FIG. 4B are both the same process (hereinafter referred to as the first process in some cases). It may be a user operation for performing (A).
  • A a user operation for performing
  • the control unit 150 enables recognition of a user operation for performing a second process different from the first process, and the recognition accuracy is the second. If it is included in the range, it is not necessary to make the user operation for performing the second process recognizable.
  • the user can perform enlargement / reduction processing (an example of the second processing) by overlapping and opening and closing five fingers on the virtual object. Is possible.
  • the control unit 150 may perform control so that a user operation for performing the enlargement / reduction process is not recognized (the enlargement / reduction process cannot be performed).
  • the same control may be performed when the recognition accuracy is included in the third range (example shown in FIG. 4C).
  • the recognition accuracy is included in the third range (example shown in FIG. 4C).
  • the number of fingers of the user's hand recognized in the user operation corresponding to the higher range is a lower range (a range where the upper limit value is smaller than the lower limit value of other ranges). ) More than the number of fingers of the user's hand recognized in the user operation corresponding to. Since the number of fingers recognized in the user operation is different, each user operation is recognized as a different operation, and a user interface corresponding to the number of recognized fingers is displayed. With such a configuration, the user can grasp the recognition accuracy of the hand and the recognizable operation by the number of fingers indicated by the displayed user interface. Further, when the recognition accuracy is higher, the user can perform a more complicated operation and can execute a process with a higher degree of freedom.
  • Second Example> In the first specific example described above, an example has been described in which the number of fingers to be recognized differs according to the recognition accuracy in a user operation based on hand recognition.
  • an operation region to be operated is specified based on the position of the fingertip, and recognized.
  • An example in which the size of the operation area varies depending on the accuracy will be described.
  • 5A and 5B are explanatory diagrams for explaining a second specific example of the user operation according to the present embodiment.
  • the range setting unit 140 sets two ranges, and the second range is lower than the first range.
  • FIG. 5A is an explanatory diagram for explaining a first user operation when the recognition accuracy is included in a first range with higher recognition accuracy in this specific example.
  • FIG. 5B is an explanatory diagram for describing a second user operation when the recognition accuracy is included in the second range in this specific example.
  • control unit 150 may set the operation area so that the operation area to be operated in the second user operation is larger than the operation area to be operated in the first user operation. .
  • the recognition accuracy is high, a strict operation region that matches the shape of the user's fingertip is set, and more accurate operation is possible.
  • the recognition accuracy is low, the area around the fingertip is wider. An operation area is set in the area, and it becomes difficult to feel uncomfortable due to recognition errors.
  • control unit 150 may cause the display unit 170 to display an operation area indicator indicating the operation area.
  • the operation area indicator may be displayed in a size corresponding to the size of the operation area, or may be displayed in a position corresponding to the position of the operation area. With this configuration, the user can grasp the operation area.
  • a user interface (operation area indicator) U 22 and a user interface (operation area indicator) U 24 each indicating an operation area are displayed on the display unit 170 of the information processing apparatus 1. Is displayed.
  • the display unit 170 is a transmissive display.
  • the user interface U22 and the user interface U24 are placed on the fingertip of the operating tool H20 as shown in FIGS. 5A and 5B. It is displayed so as to be superimposed.
  • the user interface U24 is larger than the user interface U22 as shown in FIGS. 5A and 5B. .
  • the virtual object selection process is performed by the user operating the operating tool H20 so that the virtual object stays within the range of the user interface U22 or the user interface U24 for a predetermined time. Also good.
  • a three-dimensional finger position is recognized, and a stepped touch operation is recognized based on the degree of contact with the virtual object (touch strength). May be.
  • the deformation process of the virtual object may be performed depending on the degree of contact.
  • the control unit 150 displays a small operation area indicator indicating the smaller operation area.
  • the recognition accuracy is low, the operation area that is the target of the user operation is recognized larger, and the control unit 150 displays a large operation area indicator that indicates the larger operation area. Since the operation area recognized in the user operation is different, each user operation is recognized as a different operation by the recognition unit 120, and a user interface corresponding to the recognized operation area is displayed. With such a configuration, when the recognition accuracy is high, the user interface is displayed in accordance with the shape of the user's fingertip, and the user can grasp that the fingertip position is recognized with high accuracy and based on a complicated operation.
  • Processing with a high degree of freedom can be executed.
  • the recognition accuracy is low, the user interface in a wider range is displayed around the fingertip, so that the user's discomfort with respect to the fingertip position recognition error is reduced.
  • the recognizable user operation corresponds to the size of the operation area indicator, the user can grasp the recognizable user operation based on the size of the operation area indicator.
  • the size of the operation area indicator indicating the operation area of the fingertip and the operation area is different is not limited to the above.
  • the operation area of the fingertip may be set smaller as the recognition accuracy increases, and an operation area indicator indicating the operation area of the fingertip may be displayed with a size corresponding to the operation area.
  • 6A to 6C are explanatory diagrams for explaining a third specific example of the user operation according to the present embodiment.
  • the range setting unit 140 sets three ranges, and decreases in the order of the first range, the second range, and the third range.
  • 6A to 6C are screens displayed on the display unit 170 under the control of the control unit 150.
  • the display unit 170 may be a transmissive display or a non-transmissive type. It may be a display.
  • FIG. 6A is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the first range in this specific example.
  • a user interface (operation area indicator) U32 indicating an operation area centered on the user's line-of-sight position is displayed on the screen W32.
  • the user can execute the selection process by moving the user interface U32 by moving the line of sight, for example, and gazing at a fixed time (stopping the line-of-sight position).
  • the user operation in FIG. 6A may be recognized by the recognition unit 120 as an operation in which the user is looking at one point, and the user interface U32 may be used as a so-called pointer.
  • FIG. 6B is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the second range in this specific example.
  • a user interface (operation area indicator) U34 that is larger than the user interface U32 shown in FIG. 6A and that shows an operation area (gaze area) centered on the user's line-of-sight position is displayed on the screen W34.
  • the user operation in FIG. 6B may be recognized by the recognition unit 120 as an operation in which the user is viewing an area larger than a point.
  • the user can execute a process of moving the user interface U34 by moving the line of sight, for example.
  • a virtual object exists in the area of the user interface U34, for example, a hint or an option may be displayed. For example, even when the user speaks “Determine” in such a state, the selection process is executed. Good.
  • FIG. 6C is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the third range in this specific example.
  • the screen W36 is divided into nine areas A10 to A90 and displayed, and the user interface indicating the operation region is larger than the user interface U34 shown in FIG. 6B in the area where the user's line-of-sight position exists. (Operation area indicator) U36 is displayed.
  • the user operation in FIG. 6C may be recognized by the recognition unit 120 as an operation in which the user is viewing a larger area.
  • 7A to 7C are explanatory diagrams for explaining a fourth specific example of the user operation according to the present embodiment.
  • the range setting unit 140 sets three ranges, and decreases in the order of the first range, the second range, and the third range.
  • 7A to 7C are screens displayed on the display unit 170 under the control of the control unit 150.
  • the display unit 170 may be a transmissive display or a non-transmissive type. It may be a display.
  • FIG. 7A is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the first range in this specific example.
  • an agent (character) U42 is displayed on the screen W42.
  • the user may freely input voice so as to converse with the agent U42, and the information processing apparatus 1 may output voice as if the agent U42 is speaking from a speaker (not shown).
  • the user operation in FIG. 7A may be recognized by the recognizing unit 120 as an operation using a sentence uttered by the user.
  • FIG. 7B is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the second range in this specific example.
  • a user interface U44 including a question sentence that the user can reply with a word or keyword is displayed on the screen W44.
  • the user can perform voice input using words or keywords, and a confirmation message for the input content may be displayed according to the recognition result of the input voice.
  • the user operation in FIG. 7B may be recognized by the recognition unit 120 as an operation with a word or keyword uttered by the user.
  • the number of recognized speech patterns is smaller and the recognition accuracy is lower than in the example of FIG. However, it becomes easier to accept user input smoothly.
  • FIG. 7C is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the third range in this specific example.
  • user interfaces U462 and U464 including predetermined voice commands such as Yes / No and a user interface U466 including a question sentence that can be answered by the voice commands are displayed on the screen W46.
  • the user can input voice by a predetermined voice command.
  • the user operation in FIG. 7C may be recognized by the recognition unit 120 as an operation by a predetermined voice command uttered by the user, unlike the user operation in FIGS. 7A and 7B.
  • FIG. 7C is an explanatory diagram for explaining a user operation when the recognition accuracy is included in the third range in this specific example.
  • user interfaces U462 and U464 including predetermined voice commands such as Yes / No
  • a user interface U466 including a question sentence that can be answered by the voice commands are displayed on the screen W46.
  • the user can input voice by a predetermined voice command.
  • the notification regarding the user operation is performed by, for example, displaying the user interface including the question text.
  • a similar question text may be output and notified by voice.
  • FIG. 8 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 1.
  • the information processing apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, an input device 14, an output device 15, and the like.
  • the CPU 11 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 1 according to various programs.
  • the CPU 11 may be a microprocessor.
  • the ROM 12 stores a program used by the CPU 11, calculation parameters, and the like.
  • the RAM 13 temporarily stores programs used in the execution of the CPU 11, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus composed of a CPU bus or the like.
  • the functions of the recognition unit 120, the acquisition unit 130, the range setting unit 140, and the control unit 150 are realized mainly by the cooperation of the CPU 11, the ROM 12, the RAM 13, and the software.
  • the input device 14 includes an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 11. Etc.
  • a user of the information processing apparatus 1 can input various data or instruct a processing operation to the information processing apparatus 1 by operating the input device 14.
  • the output device 15 includes a display device such as a liquid crystal display (LCD) device, an OLED device, a see-through display, and a lamp. Furthermore, the output device 15 includes an audio output device such as a speaker and headphones. For example, the display device displays a captured image, a generated image, and the like. On the other hand, the audio output device converts audio data or the like into audio and outputs it.
  • the output device 15 corresponds to the display unit 170 described with reference to FIG.
  • the storage device 16 is a device for storing data.
  • the storage device 16 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 16 stores programs executed by the CPU 11 and various data.
  • the storage device 16 corresponds to the storage unit 160 described with reference to FIG.
  • the imaging device 17 includes an imaging optical system such as a photographing lens and a zoom lens that collects light, and a signal conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging optical system collects light emitted from the subject and forms a subject image in the signal conversion unit, and the signal conversion element converts the formed subject image into an electrical image signal.
  • the imaging device 17 is included in the sensor unit 110 described with reference to FIG.
  • the communication device 18 is a communication interface configured with, for example, a communication device for connecting to a communication network. Further, the communication device 18 may include a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, a wire communication device that performs wired communication, or a Bluetooth (registered trademark) communication device.
  • a wireless LAN Local Area Network
  • LTE Long Term Evolution
  • wire communication device that performs wired communication
  • Bluetooth registered trademark
  • the user operation according to the recognition accuracy is specified and the user operation according to the recognition accuracy is notified to the user.
  • the user can operate more comfortably.
  • the information processing apparatus 1 includes the sensor unit 110, the recognition unit 120, the storage unit 160, and the like has been described, but the present technology is not limited to such an example.
  • the information processing device 1 receives information such as sensing data, recognition results, and recognition accuracy directly from another device or via a network, identifies a user operation, and outputs a control signal to the other device. May be.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the first user operation and the second user operation are recognized based on sensing data related to the same object. (3) The information processing apparatus according to (1) or (2), wherein an upper limit value of the second range is equal to or less than a lower limit value of the first range.
  • the control unit performs a predetermined process based on a recognized user operation, The type of processing performed based on a user operation that can be recognized when the recognition accuracy is included in the first range is performed based on a user operation that can be recognized when the recognition accuracy is included in the second range.
  • the information processing apparatus according to (3) including a type of processing to be performed.
  • the control unit notifies the user that the first user operation can be recognized, and the recognition accuracy is included in the second range. In this case, the information processing apparatus according to (4), wherein a user is notified that the second user operation is recognizable.
  • the information processing apparatus according to any one of (1) to (6), wherein the recognition accuracy is specified based on an error or accuracy of the sensing data.
  • the first user operation and the second user operation are user operations recognized based on sensing data regarding the user's hand, and the user's hand fingers recognized in the first user operation are The information processing apparatus according to any one of (1) to (7), wherein the number is greater than the number of fingers of the user's hand recognized in the second user operation.
  • the first user operation and the second user operation are user operations for performing a first process
  • the control unit enables recognition of a user operation for performing a second process different from the first process, and the recognition accuracy is
  • the information processing apparatus according to (8) wherein when included in the second range, the user operation for performing the second process is not made recognizable.
  • the control unit sets the operation area so that the operation area to be operated in the second user operation is larger than the operation area to be operated in the first user operation.
  • the information processing apparatus according to any one of (9) to (9).
  • (11) The information processing unit according to (10), wherein the control unit displays an operation region indicator indicating the operation region, and the operation region indicator is displayed in a size corresponding to a size of the operation region.
  • the first user operation and the second user operation are user operations recognized based on sensing data related to a user's fingertip or sensing data related to a user's line of sight, The information processing apparatus according to (10), wherein the information processing apparatus is specified based on a position or a position of a line of sight of the user.
  • the first user operation and the second user operation are user operations recognized based on voice pattern recognition, and the number of voice patterns recognized in the first user operation is the second user operation.
  • the range setting unit is the information processing apparatus according to (14), wherein the first range and the second range are set based on user information about a user.
  • the user information includes user movement speed information or user biological information.
  • the range setting unit sets the first range and the second range based on environmental information relating to an environment where the user is placed. Processing equipment.
  • the processor controls the second user operation related to the first user operation so that the second user operation can be recognized.
  • the recognition accuracy is included in the first range, the first user operation can be recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】センシングデータに基づく認識に係る認識精度を取得する取得部と、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　近年、センシングに基づく認識により、機器の操作を可能とする技術が用いられている。例えば、下記特許文献１には、カメラを有するヘッドマウントディスプレイ（ＨＭＤ）を装着したユーザが、自身の手を用いて様々なジェスチャを当該カメラに撮像（センシング）させ、ジェスチャ認識により当該ＨＭＤを操作する技術が開示されている。
特開２０１４‐１８６３６１号公報
　しかし、ジェスチャ等のセンシングに基づくユーザ操作の認識は失敗することもあり、例えば、ユーザの状況や周辺の環境、デバイスの性能等により認識精度が低下する恐れがある。例えば、認識精度が低い場合と認識精度が高い場合とで操作方法が同一であると、操作が認識されないことが多く、ユーザは操作が認識されるまで何度も同じ操作を繰り返してしまうため、ユーザにとって負担が大きい。
　そこで、本開示では、認識精度に応じたユーザ操作により操作することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、センシングデータに基づく認識に係る認識精度を取得する取得部と、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、センシングデータに基づく認識に係る認識精度を取得することと、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせるように、プロセッサが制御することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、センシングデータに基づく認識に係る認識精度を取得する取得機能と、前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御機能と、を実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、認識精度に応じたユーザ操作により操作することが可能である。
　　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概要について説明するための説明図である。 同実施形態による情報処理装置１の構成を示すブロック図である。 同実施形態に係る情報処理装置１の動作例を説明するためのフローチャート図である。 同実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第二の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第二の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。 同実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。 本開示に係る情報処理装置のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．構成＞＞
　＜＜３．動作＞＞
　＜＜４．ユーザ操作の具体例＞＞
　　＜４－１．第一の具体例＞
　　＜４－２．第二の具体例＞
　　＜４－３．第三の具体例＞
　　＜４－４．第四の具体例＞
　＜＜５．ハードウェア構成例＞＞
　＜＜６．むすび＞
　＜＜１．概要＞＞
　本開示に係る技術は、様々な形態の装置に適用可能である。図１は、本開示の一実施形態に係る情報処理装置の概要について説明するための説明図である。図１に示す例において、情報処理装置１は、ヘッドマウントディスプレイ（ＨＭＤ）である。情報処理装置１は、ユーザの頭部に装着され、ユーザの目の一方、または双方の前方に配置されるシースルー型の表示部を有する。
　本実施形態に係る情報処理装置１は、センシングを行うセンサ部（不図示）を有し、ユーザによる操作を認識する。例えば、情報処理装置１は後軸がユーザの視線と略平行になるように配置され、ユーザの視界に重なる画像を取得するカメラをセンサ部として備え、取得された画像に基づいてユーザ操作が認識されてもよい。例えば、ユーザ操作は、ユーザ自身の手、指、手で把持する実オブジェクト、または足等の操作体を用いて行われてもよい。また、ユーザ操作は、後述するように視線や音声を用いて行われてもよい。
　図１の例において、情報処理装置１の表示部には、仮想的なオブジェクトである仮想オブジェクトＶ１と、ユーザの手である操作体Ｈ１の認識結果を示すユーザインタフェースＵ１が表示される。ユーザが透過型の表示部を通して見た場合、ユーザインタフェースＵ１は、図１に示すように操作体Ｈ１に重畳されるように表示される。
　図１に示すユーザインタフェースＵ１のように、操作体Ｈ１は独立して動作可能な５本の指を含んで認識されており、多様な操作を実現し得る。
　上述したような情報処理装置１において、ユーザの状況や周辺の環境、デバイスの性能等により操作体Ｈ１や、操作体Ｈ１を用いたユーザ操作に関する認識精度が低下する場合がある。例えば、認識に用いられる画像が暗い場所で取得されると、操作体Ｈ１の各指の位置や向きの認識精度が低くなる場合がある。その結果、ユーザの意図した操作が認識されず、処理が行われない、またはユーザの意図した処理と異なる処理が行われる恐れがある。そこで、次節より、認識精度に応じたユーザ操作（操作方法）により操作可能な仕組みを説明する。
　なお、図１では情報処理装置１がＨＭＤであり、シースルー型の表示部を有する例を示しているが、本実施形態に係る情報処理装置１は係る例に限定されず、センシングに基づいてユーザ操作を認識可能な装置であれば様々な形態で実現され得る。例えば、情報処理装置１が有する表示部は、シースルー型であっても非シースルー型であってもよい。また、情報処理装置１は、ヘルメット型や車のフロントガラス（ヘッドアップディスプレイ）型の表示デバイスであってもよい。また、情報処理装置１は、プロジェクタ等の投影装置によりテーブル等の平面に画像が投影されるテーブルトップ型の表示デバイスであってもよい。また、情報処理装置１は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレットＰＣ、ＰＮＤ（Portable／Personal　Navigation　Device）等であってもよい。
　＜＜２．構成＞＞
　以上、本実施形態による情報処理装置１の概要を説明した。続いて、図２を参照して、本開示の一実施形態による情報処理装置１の構成例について説明する。図２は、本実施形態による情報処理装置１の構成を示すブロック図である。図１に示すように、情報処理装置１は、センサ部１１０、認識部１２０、取得部１３０、範囲設定部１４０、制御部１５０、記憶部１６０、及び表示部１７０を備える情報処理装置である。
　センサ部１１０は、ユーザやユーザの置かれた環境に関するセンシングを行い、センシング結果（センシングデータ）を取得する。例えば、センサ部１１０はＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像素子を用いて実空間を撮像することにより撮像画像を取得するカメラを含んでもよい。また、センサ部１１０は複数の撮像素子を有し、複数の画像を同時に取得するステレオカメラを含んでもよい。かかる場合、当該複数の撮像素子は水平に並べられ、後述する認識部１２０が取得された複数の画像をステレオマッチング法等により解析することで、実空間の三次元形状情報（深度情報）を取得することが可能となる。
　もちろんセンサ部１１０はカメラに限定されず、様々なセンサを含んでよい。例えば、センサ部１１０はマイク、ＧＰＳ（Global　Positioning　System）センサ、加速度センサ、視覚（視線、注視点、焦点、瞬目等）センサ、生体（心拍、体温、血圧、脳波等）センサ、ジャイロセンサ、照度センサ、赤外線カメラ等の各種センサを含んでもよい。センサ部１１０は、取得したセンシングデータを認識部１２０と取得部１３０に提供する。
　認識部１２０は、センサ部１１０のセンシングにより取得されたセンシングデータを解析し、多様な情報を認識（取得）する。例えば、認識部１２０は、センシングデータに基づいてユーザに関するユーザ情報、及びユーザの置かれた環境に関する環境情報を認識してもよい。
　ここで、ユーザ情報は、例えば、ユーザの行動を示す行動情報、ユーザの動きを示す動き情報、生体情報、注視情報等を含んでもよい。行動情報は、例えば、静止中、歩行中、走行中、自動車運転中、階段昇降中等ユーザの現在の行動を示す情報であり、センサ部１１０により取得された加速度等のセンシングデータを解析することで認識されてもよい。また、動き情報は、移動速度、移動方向、移動加速度、コンテンツの位置への接近等の情報であり、センサ部１１０により取得された加速度、ＧＰＳデータ等のセンシングデータ等から認識されてもよい。また、生体情報は、ユーザの心拍数、体温発汗、血圧、脈拍、呼吸、瞬目、眼球運動、脳波等の情報であり、センサ部１１０に含まれる生体センサによるセンシングデータに基づいて認識されてもよい。また、注視情報は、視線、注視点、焦点、両眼の輻輳等のユーザの注視に関する情報であり、センサ部１１０に含まれる視覚センサによるセンシングデータに基づいて認識されてもよい。なお、認識部１２０による視線の認識処理については後述する。
　また、環境情報は、例えば、周辺状況、場所、照度、高度、気温、風向き、風量、時刻等の情報を含んでもよい。周辺状況の情報は、ユーザ以外の人物や自動車が周辺に存在するか否かという情報や、混雑度等の情報であってもよく、センサ部１１０に含まれるカメラやマイクによるセンシングデータを解析することで認識されてもよい。また、場所の情報は、例えば、屋内、屋外、水中、危険な場所等、ユーザがいる場所の特性を示す情報でもよいし、自宅、会社、慣れた場所、初めて訪れる場所等、当該場所のユーザにとっての意味を示す情報でもよい。場所の情報は、センサ部１１０に含まれるカメラやマイク、ＧＰＳセンサ、照度センサ等によるセンシングデータを解析することで認識されてもよい。また、照度、高度、気温、風向き、風量、時刻（例えばＧＰＳ時刻）の情報も同様に、センサ部１１０に含まれる各種センサにより取得されるセンシングデータに基づいて認識されてもよい。
　また、認識部１２０は、センサ部１１０に含まれるカメラによって取得される撮像画像を解析し、実空間に存在する操作体等の実オブジェクトの認識処理を行ってもよい。認識部１２０は、例えば撮像画像から抽出される画像特徴量を、後述する記憶部１６０に記憶される既知の実オブジェクト（例えば手等の操作体）の画像特徴量と照合することにより、撮像画像中の実オブジェクトを識別し、撮像画像における位置を認識する。
　さらに、認識部１２０は、センサ部１１０に含まれるカメラによって取得される撮像画像を解析し、実空間の三次元形状情報を取得してもよい。例えば、認識部１２０は、同時に取得された複数画像に対するステレオマッチング法や、時系列的に取得された複数画像に対するＳｆＭ（Structure　from　Motion）法、ＳＬＡＭ法等を行うことで、実空間の三次元形状を認識し、三次元形状情報を取得してもよい。また、認識部１２０が実空間の三次元形状情報を取得可能な場合、認識部１２０は、実オブジェクトの三次元的な位置、形状、サイズ、及び姿勢を認識してもよい。
　また、認識部１２０は、センシングデータやユーザ情報に基づいて、ユーザ操作の認識を行ってもよい。例えば、本実施形態に係る認識部１２０は、ジェスチャ操作の認識、視線操作の認識、音声操作の認識等を行う。
　例えば、認識部１２０は、操作体を用いてユーザにより演じられるジェスチャ操作を以下のように認識する。認識部１２０により実行されるジェスチャ認識処理は、操作体を含む部分画像の切り出し、切り出した部分画像のスケーリング、部分画像の一時的な保存、フレーム間の差分の計算などを含み得る。認識部１２０は、例えば、上述の処理で得られた操作体の位置、形状又はサイズなどの属性を追跡し、それら属性の時間的変化を記憶部１６０に予め記憶される既知のジェスチャパターンと照合することにより、操作体が表現するジェスチャ操作を認識してもよい。また、本明細書において、ジェスチャとの用語は、操作体の属性の時間的変化を伴わない、静的なポーズ（形状）をも含むものとする。なお、認識部１２０により認識されるジェスチャ操作の非限定的ないくつかの具体例について、後に図面を用いて説明する。
　また、認識部１２０は、ユーザの視線位置による視線操作を以下のように認識する。認識部１２０は、例えば複数の赤外線ＬＥＤによりユーザの瞳孔に照射される赤外光の反射を示す光点の位置と、既知の当該赤外線ＬＥＤの位置を対応付けることで、視線操作に用いられる視線位置を認識してもよい。なお、赤外光の反射を示す光点の位置は、センサ部１１０により検出されてもよいし、センサ部１１０に含まれる赤外線カメラで瞳孔を撮影して得た画像から、認識部１２０により検出されてもよい。また、認識部１２０は、視線位置や、当該視線位置を時系列的に追跡した視線の軌跡と、記憶部１６０に記憶される既知の視線パターンと照合することにより、視線操作を認識してもよい。なお、認識部１２０により認識される視線位置を用いた視線操作の非限定的ないくつかの具体例について、後に図面を用いて説明する。
　また、認識部１２０は、ユーザの音声による音声操作を以下のように認識する。認識部１２０は、例えばセンサ部１１０に含まれるマイクにより取得される入力音声と、記憶部１６０に記憶される既知の音声パターンと照合することにより、音声操作を認識してもよい。音声操作でユーザにより入力される音声は、所定の音声コマンド（Ｙｅｓ／Ｎｏ等）や、単語やキーワード、または表示部１７０に表示されるエージェントと会話するような文章、であってもよい。なお、認識部１２０により認識される音声操作の非限定的ないくつかの具体例について、後に図面を用いて説明する。
　なお、上述した記憶部１６０に記憶されるユーザ操作に係る情報（ジェスチャパターン、視線パターン、音声パターン等）は、後述する制御部１５０により特定されたユーザ操作に応じた適切な情報が、制御部１５０を介して認識部１２０に提供されてもよい。
　取得部１３０は、ユーザ情報、及びユーザ操作の認識に係る認識精度を取得する取得機能を有する。例えば、取得部１３０は、認識部１２０が行う認識における信頼度や、操作の認識に用いられるセンシングデータから推定されるセンシングデータの誤差または精度に基づいて認識精度を特定してもよい。
　例えば、ジェスチャ操作に用いられる操作体の認識において、画像から検出される特徴点の数が多い程、操作体の認識結果がより信頼できる傾向にあるため、ジェスチャ操作の認識における信頼度は、当該特徴点の数であってもよい。また、ジェスチャ操作の認識における信頼度は、認識された操作体の属性の時間的変化と既知のジェスチャパターンとの照合におけるマッチングスコアであってもよい。
　また、上述したように、視線操作に用いられる視線位置は、認識部１２０がユーザの瞳孔中から検出した光点に基づいて認識されるため、検出される光点の数が多い程、視線位置の推定結果はより信頼できる傾向にある。したがって、視線操作の認識における信頼度は、ユーザの瞳孔中に検出された光点の数であってもよい。また、視線操作の認識における信頼度は、左右の目のそれぞれから認識される視線位置の差であってもよい。
　また、音声操作の認識における信頼度は、例えば入力音声から周知のノイズ推定技術により推定されるノイズの小ささや、入力音声と既知の音声パターンとの照合におけるマッチングスコアであってもよい。
　上述のように、信頼度に基づいて認識精度を特定することで、認識精度は認識結果が信頼できる度合を反映したものとなり、認識精度に応じたユーザ操作が選択されることによるユーザの利便性が高まる。
　また、センシングデータの誤差、及び精度は様々な方法で推定され得る。例えば、取得部１３０は、過去所定時間分のセンシングデータの分散を算出し、当該分散が大きい場合、または分散に大きな変化があった場合に、誤差が大きい（精度が低い）、と推定してもよい。センシングデータの誤差、または精度に基づいて認識精度を特定することで、認識精度は、結果として認識の精度を反映したものとなり、認識精度に応じたユーザ操作が選択されることによるユーザの利便性が高まる。
　上記で説明した信頼度や誤差、または精度は、単独で用いられて、または組み合わされて認識精度が特定されてもよい。また、取得部１３０による認識精度の特定方法は、上記に限定されず、得られるセンシングデータやユーザ操作に応じて様々な方法で特定されてもよい。
　なお、取得部１３０による認識精度の取得は、上述したような認識精度の特定による取得に限定されない。例えば、認識部１２０が、認識処理の過程において上述した認識精度を特定し、取得部１３０は認識部１２０から認識精度を受け取ることで認識精度を取得してもよい。
　また、本実施形態では情報処理装置１が有するセンサ部１１０により取得されるセンシングデータに基づいた認識精度を取得する例について説明したが、本開示は係る例に限定されない。例えば、情報処理装置１は、他のセンサ装置と連携してもよく、センサ部１１０によるセンシングデータや、当該センシングデータに基づく認識結果に代えて、または加えて、当該センサ装置から得られるセンサデータや認識結果を用いてもよい。係る場合、取得部１３０は、例えば当該センサ装置により特定される認識精度を当該センサ装置から取得するインタフェースであってもよい。
　範囲設定部１４０は後述する制御部１５０が操作方法の特定に用いる範囲の設定を行う。範囲設定部１４０は、一または複数の閾値を用いて、所定数の範囲を設定してもよい。例えば、範囲設定部が一の閾値を設定することで、当該閾値以上の第一の範囲と、当該閾値未満、すなわち、上限値が、第一の範囲の下限値以下となるような第二の範囲と、が設定されてもよい。また、同様に、範囲設定部が二の閾値を設定することで、第一の範囲、上限値が第一の範囲の下限値以下となる第二の範囲、及び上限値が第二の範囲の下限値以下となる第三の範囲が設定されてもよい。なお、以下では、第二の範囲の上限値が第一の範囲の下限値以下であることを、第一の範囲は第二の範囲より高い、または第二の範囲は第一の範囲より低い等と表現する場合がある。
　また、範囲設定部１４０は、予め定められた閾値を用いて範囲を設定してもよいし、動的に得られた閾値を用いて範囲を設定してもよい。予め閾値が定められる場合には、例えば、情報処理装置１の開発者や、情報処理装置１で実行されるアプリケーションの開発者が、インタラクションに応じて予め閾値を特定してもよい。
　また、動的に閾値が得られる場合、範囲設定部１４０は、例えば、ユーザにとって厳しい（例えば操作や視認が困難な）状況である程、より閾値が大きくなる（後述する制御部１５０により単純な操作方法が選択されやすくなる）ように閾値を特定してもよい。例えば、範囲設定部１４０は、ユーザに関するユーザ情報、または、ユーザの置かれた環境に関する環境情報に基づいて、閾値を特定することで、範囲を設定してもよい。
　範囲設定部１４０は、例えば、ユーザの移動速度の情報（ユーザ情報の一例）に応じて閾値を特定してもよく、ユーザの移動速度が速い程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、ユーザの生体情報（ユーザ情報の一例）、例えばユーザの心拍数に応じて閾値を特定してもよく、ユーザの心拍数が高い程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、ユーザ周囲の照度の情報（環境情報の一例）に応じて閾値を特定してもよく、ユーザ周囲の照度が暗い程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、ユーザ周囲の混雑度の情報（環境情報の一例）に応じて閾値を特定してもよく、ユーザ周囲の混雑度が大きい程、閾値が大きくなるように閾値を特定してもよい。また、範囲設定部１４０は、情報処理装置１から操作体までの距離に応じて閾値を特定してもよく、当該距離が大きい程、閾値が大きくなるように閾値を特定してもよい。係る構成によれば、操作や視認が困難な場合に、認識精度が低下すると、より単純な操作方法が選択されやすくなるため、ユーザは状況に応じた操作方法で操作することが可能となる。その結果、操作が認識されないために同じ操作を繰り返すことが抑制され、ユーザはより快適に操作することが出来る。
　制御部１５０は、情報処理装置１が有する各部を制御する制御機能を有する。特に本実施形態に係る制御部１５０は、取得部１３０により取得される認識精度と、範囲設定部１４０により設定される範囲に基づいて、適切なユーザ操作（操作方法）を特定し、当該ユーザ操作が認識された場合に対応する処理が行われるように制御する。
　例えば、制御部１５０は、認識部１２０を制御し、認識精度が第一の範囲に含まれる場合には第一のユーザ操作を認識可能にさせてもよい。また、制御部１５０は、認識部１２０を制御し、認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせてもよい。なお、制御部１５０による認識部１２０の制御は、上記に限定されず、例えば、範囲設定部１４０が３以上の範囲を設定する場合、制御部１５０は認識精度と３以上の範囲に基づいて同様の制御を行ってもよい。
　本開示において、第一のユーザ操作に第二のユーザ操作が関連するとは、例えば、第一のユーザ操作と第二のユーザ操作が同一対象に関するセンシングデータに基づいて認識されるユーザ操作である、ということを含んでもよい。例えば、第一のユーザ操作と第二のユーザ操作は、共にユーザの手、指先、視線、または音声に関するセンシングデータに基づいて認識されてもよい。係る構成により、制御部１５０により受け付けられるユーザ操作が変更されても、ユーザはセンサ部１１０にセンシングさせる対象を変更しなくてもよく、スムーズに操作を継続することが可能である。
　また、本開示において、第二のユーザ操作が第一のユーザ操作とは異なるとは、例えば、認識部１２０が第一のユーザ操作と、第二のユーザ操作を異なる操作として認識する、ということを含んでもよい。例えば、第一のユーザ操作が独立して動作可能な５本の指を含む操作体を用いた操作として認識され、第二のユーザ操作が指を含まない（指が認識されていない）操作体を用いた操作として認識されて、第一のユーザ操作と第二のユーザ操作が異なることを含む。
　また、制御部１５０は、認識部１２０によりユーザ操作が認識された場合に、当該ユーザ操作に基づいて所定の処理を行わせてもよい。例えば、認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われ得る処理の種類は、認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われ得る処理の種類を含んでもよい。また、認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作は、認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作よりも複雑な操作であってもよい。係る構成により、ユーザは、認識精度が低い場合であっても、単純なユーザ操作により処理を行わせることが可能であると共に、認識精度が高い場合には複雑なユーザ操作により、より自由度の高い多様な処理を実行させることが可能である。
　また、制御部１５０は、認識精度と範囲に応じた一または複数のユーザ操作に係る情報を記憶部１６０から抽出して認識部１２０に提供することで、当該ユーザ操作を認識可能にさせてもよい。係る構成によれば、認識部１２０は、認識精度に基づいたユーザ操作を選択的に認識することが可能となり、例えば、認識部１２０が認識し得るユーザ操作を全て認識する場合と比較して、認識処理に係る処理負荷が軽減される。
　また、制御部１５０は、認識精度が第一の範囲に含まれる場合には第一のユーザ操作が認識可能であることをユーザに通知させ、認識精度が第二の範囲に含まれる場合には第二のユーザ操作が認識可能であることをユーザに通知させてもよい。例えば、制御部１５０は、表示部１７０を制御し、認識可能なユーザ操作ごとに異なるユーザインタフェースやエフェクト、テキスト等を表示させることで、当該ユーザ操作が認識可能であることをユーザに通知させてもよい。また、制御部１５０による通知方法は上記に限定されず、制御部１５０は不図示のスピーカを制御して音声により通知させてもよいし、不図示の振動部を制御して振動により通知させてもよい。
　なお、ユーザ操作、ユーザ操作に基づく処理、及びユーザ操作が認識可能であることの通知の具体例については、後に図面を用いて説明する。
　記憶部１６０は、情報処理装置１による処理のためのプログラムやデータを記憶する。例えば、記憶部１６０は、操作体の認識に用いられる画像特徴量や、操作の認識に用いられるジェスチャパターン、視線パターン、音声パターン等を記憶していてもよい。記憶部１６０に記憶される上述した情報は、制御部１５０により特定されたユーザ操作に応じて、制御部１５０を介して認識部１２０に提供される。
　表示部１７０は、種々の情報を表示するディスプレイである。表示部１７０は、図１に示したように、透過型（光学シースルー型）のディスプレイであってもよいし、非透過型のディスプレイであってもよい。また、表示部１７０は、制御部１５０に制御されて、認識可能なユーザ操作について通知するための表示を行ってもよい。
　＜＜３．動作＞＞
　以上、本開示の一実施形態に係る情報処理装置１の構成例について説明した。続いて、図３を参照して、本実施形態に係る情報処理装置１の動作例ついて説明する。図３は、本実施形態に係る情報処理装置１の動作例を説明するためのフローチャート図である。
　まず、センサ部１１０により、センシングが行われる（Ｓ１０）。続いて、認識部１２０が、センサ部１１０によるセンシング結果（センシングデータ）を解析して、ユーザ情報や環境情報、操作に係る情報等、様々な情報を認識する（Ｓ２０）。続いて、取得部１３０が、認識における信頼度や、センシングデータの誤差または精度等に基づいて、認識精度情報を取得する（Ｓ３０）。
　続いて、範囲設定部１４０が、ユーザ情報や環境情報等に基づいて、操作方法の特定に用いられる範囲の設定を行う（Ｓ４０）。設定された範囲と、認識精度に基づいて、制御部１５０は、操作方法（ユーザ操作）を特定する（Ｓ５０）。
　続いて、制御部１５０は、認識部１２０を制御して、特定された操作方法に応じた操作の認識が行われるように、認識設定を更新する（Ｓ６０）。さらに、制御部１５０は、表示部１７０を制御して、特定されたユーザ操作（操作方法）が可能であることをユーザに通知させる（Ｓ７０）。
　なお、上述した一連の処理（ステップＳ１０～Ｓ７０）は、当該一連の処理が終了次第、または定期的に、繰り返し実行されてもよい。
　＜＜４．ユーザ操作の具体例＞＞
　以上、本実施形態に係る情報処理装置１の構成例、及び動作例について説明した。以下では、ユーザ操作の具体例をいくつか挙げて説明する。
　なお、以下に説明する具体例のうち、いずれか一つの具体例が本実施形態に適用されてもよいし、複数の具体例が組み合わされて本実施形態に適用されてもよい。また、以下に説明する具体例のうち、いずれか一つがユーザにより、または自動的に選択されて本実施形態に適用されてもよい。
　　＜４－１．第一の具体例＞
　図４Ａ～Ｃは、本実施形態に係るユーザ操作の第一の具体例を説明するための説明図である。本具体例において、各ユーザ操作は、ユーザの手（操作体の一例）に関するセンシングデータに基づいて認識されるユーザ操作であり、認識精度に応じて、認識される指の数が異なる。また、本具体例において、範囲設定部１４０は３つの範囲を設定し、第一の範囲、第二の範囲、第三の範囲の順に低くなる（第二の範囲の下限値は第一の範囲の上限値以下であり、第三の範囲の下限値は第一の範囲の上限値以下である）ものとする。
　図４Ａは、本具体例において認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作を説明するための説明図である。図４Ａに示す例では、情報処理装置１の表示部１７０に、ユーザの手である操作体Ｈ１０の認識結果を示すユーザインタフェースＵ１２が表示される。本具体例において、表示部１７０は透過型のディスプレイであり、ユーザが表示部１７０を通して見た場合、ユーザインタフェースＵ１２は、図４Ａに示すように操作体Ｈ１０に重畳されるように表示される。
　また、図４Ａに示すように、ユーザインタフェースＵ１２は、独立して動作可能な５本の指Ｕ１２１～Ｕ１２９を含んで表示されており、ユーザは多様な操作を実現し得る。例えば、ユーザは操作体Ｈ１０を用いて所定のジェスチャ操作を行うことで、仮想オブジェクト（不図示）の編集、閲覧に係る選択、移動、拡大縮小、回転、変形等の処理を情報処理装置１に行わせてもよい。操作対象となる仮想オブジェクトは、例えば、３Ｄモデルであってもよいし、アイコン、ボタン、コントロールパネル等のＧＵＩ（グラフィカルユーザインタフェース）、写真やイラスト等の画像、説明文やラベル等のテキストで構成されたコンテンツであってもよい。
　例えば、ユーザは、仮想オブジェクトをいずれかの指で叩くようなジェスチャを行うことで、当該仮想オブジェクトを選択することができる。また、ユーザは、二本の指で仮想オブジェクトを挟んで移動させるようなジェスチャを行うことで、当該仮想オブジェクトをつかんで移動させることが可能である。また、ユーザは５本の指を仮想オブジェクトに重ねて、開いたり閉じたりすることで、当該仮想オブジェクトを拡大したり縮小したりさせることが可能である。また、ユーザは、一または複数の指で仮想オブジェクトを押す、引っ張る、ひねる、分割する、壊す等の変形させるようなジェスチャを行うことで、当該仮想オブジェクトを変形させることが可能である。
　なお、本開示に係るジェスチャ操作は上記のジェスチャに限定されず、例えば操作体を用いて行われる操作であればよい。本開示に係るジェスチャ操作には、いわゆるタップ、フリック、スワイプ、ドラッグ、ピンチイン、ピンチアウト、回転等が含まれてもよい。
　図４Ｂは、本具体例において認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作を説明するための説明図である。図４Ｂに示す例においても、情報処理装置１の表示部１７０に、ユーザの手である操作体Ｈ１０の認識結果を示すユーザインタフェースＵ１４が、操作体Ｈ１０に重畳されるように表示される。
　図４Ｂに示すように、ユーザインタフェースＵ１４は、２本指のアームのような形状をしており、本ユーザ操作では、ユーザの手が２本の指を含む操作体として認識されている。例えば、認識部１２０がユーザの手の開き具合を認識し、制御部１５０は、ユーザの手の開き具合を図４Ｂに示す指Ｕ１４２と指Ｕ１４４の開き具合として表示させてもよい。
　また、図４Ｂに示す例において、上記アームで仮想オブジェクトを叩くようなジェスチャ操作、及び上記アームで仮想オブジェクトを挟んで移動させるようなジェスチャ操作に基づき、仮想オブジェクトの選択、及び移動の処理が行われてもよい。
　図４Ｃは、本具体例において認識精度が第三の範囲に含まれる場合のユーザ操作を説明するための説明図である。図４Ｃに示す例においても、情報処理装置１の表示部１７０に、ユーザの手である操作体Ｈ１０の認識結果を示すユーザインタフェースＵ１６が、操作体Ｈ１０に重畳されるように表示される。
　図４Ｃに示すように、ユーザインタフェースＵ１６は、指が無い円形部Ｕ１６２を含み、本ユーザ操作では、ユーザの手（操作体）の位置は認識されるが、指は認識されていない。図４Ｃに示す例において、例えばユーザインタフェースＵ１６は吸着力を有し、ユーザは操作体Ｈ１０を移動させてユーザインタフェースＵ１６を仮想オブジェクトに近づけることで、仮想オブジェクトをユーザインタフェースＵ１６に吸着させることができる。また、ユーザが操作体Ｈ１０を移動させてユーザインタフェースＵ１６を移動させることで、吸着させた仮想オブジェクトを移動させる処理が行われてもよい。なお、吸着させた仮想オブジェクトの吸着を解除するためには、他のユーザ操作（例えば音声認識）が用いられてもよい。
　上述したように、本具体例では、図４Ａに示す例における第一のユーザ操作、及び図４Ｂに示す例における第二のユーザ操作は、共に同じ処理（以下、第一の処理と呼ぶ場合がある）を行わせるためのユーザ操作であってもよい。例えば、図４Ａに示す例において二本の指で仮想オブジェクトを挟んで移動させるようなジェスチャ操作と、図４Ａに示す例においてアームで仮想オブジェクトを叩くようなジェスチャ操作は、共に選択処理（第一の処理の一例）を行わせるためのユーザ操作である。
　また、制御部１５０は、認識精度が第一の範囲に含まれる場合には、第一の処理とは異なる第二の処理を行わせるためのユーザ操作を認識可能にさせ、認識精度が第二の範囲に含まれる場合には、当該第二の処理を行わせるためのユーザ操作を認識可能にさせなくてもよい。例えば、上述したように図４Ａに示す例では、ユーザは５本の指を仮想オブジェクトに重ねて、開いたり閉じたりすることで、拡大縮小処理（第二の処理の一例）を行わせることが可能である。一方、図４Ｂに示す例において、拡大縮小処理を行わせるためのユーザ操作が認識されない（拡大縮小処理を行わせることが出来ない）ように、制御部１５０は制御してもよい。もちろん、認識精度が第三の範囲に含まれる場合（図４Ｃに示す例）についても、同様の制御が行われてもよい。係る構成により、認識精度が低い場合には認識可能なユーザ操作が限定されることで、誤認識を減少させることが可能である。また、認識精度が高い場合、ユーザはより多様なユーザ操作により、より多様な処理を行わせることが可能である。
　また、上述したように、本具体例では、より高い範囲に対応するユーザ操作において認識されるユーザの手の指の数は、より低い範囲（他の範囲の下限値よりも上限値が小さい範囲）に対応するユーザ操作において認識されるユーザの手の指の数よりも多い。ユーザ操作において認識される指の数が異なることで、各ユーザ操作は異なる操作として認識され、認識される指の数に応じたユーザインタフェースが表示される。係る構成により、ユーザは表示されるユーザインタフェースが示す指の数で、手の認識精度と認識可能な操作を把握することが可能である。また、認識精度がより高い場合には、ユーザはより複雑な操作が可能であり、より自由度の高い処理を実行させることが出来る。
　　＜４－２．第二の具体例＞
　上述した第一の具体例では、手の認識に基づくユーザ操作において、認識精度に応じて、認識される指の数が異なる例を説明した。以下では、第二の具体例として、ユーザの指先（例えば人差し指の指先）に関するセンシングデータに基づいて認識されるユーザ操作において、指先の位置に基づいて操作の対象となる操作領域が特定され、認識精度に応じて当該操作領域の大きさが異なる例を説明する。
　図５Ａ、Ｂは、本実施形態に係るユーザ操作の第二の具体例を説明するための説明図である。本具体例において、範囲設定部１４０は２つの範囲を設定し、第一の範囲より第二の範囲の方が低いものとする。
　図５Ａは、本具体例において認識精度がより高い第一の範囲に含まれる場合の第一のユーザ操作を説明するための説明図である。また、図５Ｂは、本具体例において認識精度が第二の範囲に含まれる場合の第二のユーザ操作を説明するための説明図である。
　ここで、制御部１５０は、第一のユーザ操作において操作の対象となる操作領域より、第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定してもよい。係る構成により、認識精度が高い場合には、ユーザの指先の形状に合わせた厳密な操作領域が設定されて、より正確に操作可能であり、認識精度が低い場合には、指先周囲のより広い領域に操作領域が設定されて、認識誤差による違和感を受け難くなる。
　また、制御部１５０は、操作領域を示す操作領域指示子を表示部１７０に表示させてもよい。操作領域指示子は、操作領域の大きさに応じた大きさで表示されてもよく、操作領域の位置に応じた位置に表示されてもよい。係る構成により、ユーザは操作領域を把握することが可能である。
　図５Ａ、図５Ｂに示す例では、情報処理装置１の表示部１７０に、それぞれ操作領域を示すユーザインタフェース（操作領域指示子）Ｕ２２、ユーザインタフェース（操作領域指示子）Ｕ２４が制御部１５０の制御により表示される。本具体例において、表示部１７０は透過型のディスプレイであり、ユーザが表示部１７０を通して見た場合、ユーザインタフェースＵ２２、ユーザインタフェースＵ２４は、図５Ａ、図５Ｂに示すように操作体Ｈ２０の指先に重畳されるように表示される。本具体例では、第一のユーザ操作における操作領域より、第二のユーザ操作における操作領域の方が大きいため、図５Ａ、図５Ｂに示すようにユーザインタフェースＵ２２より、ユーザインタフェースＵ２４の方が大きい。
　本具体例において、例えばユーザが操作体Ｈ２０を用いて、ユーザインタフェースＵ２２、またはユーザインタフェースＵ２４の範囲内に仮想オブジェクトが所定時間停留するように操作することで、仮想オブジェクトの選択処理が行われてもよい。また、認識精度がより高い状態である図５Ａに示す例においては、三次元的な指の位置が認識され、仮想オブジェクトに対する接触度合（タッチの強さ）によって、段階的なタッチ操作が認識されてもよい。係る場合、例えば、接触度合によって、仮想オブジェクトの変形処理が行われてもよい。
　上述したように、本具体例では、認識精度が高い場合にはユーザ操作の対象となる操作領域がより小さく認識され、制御部１５０は、より小さい操作領域を示す小さな操作領域指示子を表示させる。また、認識精度が低い場合にはユーザ操作の対象となる操作領域がより大きく認識され、制御部１５０は、より大きい操作領域を示す大きな操作領域指示子を表示させる。ユーザ操作において認識される操作領域が異なることで、各ユーザ操作は異なる操作として認識部１２０により認識され、認識される操作領域に応じたユーザインタフェースが表示される。係る構成により、認識精度が高い場合に、ユーザの指先の形状に合わせたユーザインタフェースの表示が行われ、ユーザは高精度に指先位置が認識されていることを把握できると共に、複雑な操作に基づき自由度の高い処理を実行させることが出来る。また、認識精度が低い場合には、指先の周囲により広い範囲のユーザインタフェースが表示されるため、指先位置の認識誤差に対するユーザの違和感が小さくなる。また、認識可能なユーザ操作と操作領域指示子の大きさが対応するため、ユーザは、操作領域指示子の大きさに基づいて、認識可能なユーザ操作を把握することが可能である。
　なお、指先の操作領域、及び操作領域を示す操作領域指示子の大きさが異なる例は上記に限定されない。例えば、指先の操作領域は、認識精度が大きくなる程小さく設定され、操作領域に応じた大きさで指先の操作領域を示す操作領域指示子が表示されてもよい。
　　＜４－３．第三の具体例＞
　上述した第一の具体例、及び第二の具体例では、ユーザ操作が手、または指先の認識に基づく操作である例を説明した。続いて、以下では、第三の具体例として、ユーザの視線に関するセンシングデータに基づいて認識されるユーザ操作の例を説明する。本具体例では、視線の位置に基づいて操作の対象となる操作領域が特定される。
　図６Ａ～Ｃは、本実施形態に係るユーザ操作の第三の具体例を説明するための説明図である。本具体例において、範囲設定部１４０は３つの範囲を設定し、第一の範囲、第二の範囲、第三の範囲の順に低くなるものとする。また、図６Ａ～Ｃに示す画面Ｗ３２～Ｗ３６は、制御部１５０の制御により表示部１７０に表示される画面であり、表示部１７０は透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。
　図６Ａは、本具体例において認識精度が第一の範囲に含まれる場合のユーザ操作を説明するための説明図である。図６Ａに示す例では画面Ｗ３２に、ユーザの視線位置を中心とした操作領域を示すユーザインタフェース（操作領域指示子）Ｕ３２が表示される。図６Ａに示す例において、ユーザは、例えば視線を移動させることでユーザインタフェースＵ３２を移動させ、一定時間の注視（視線位置を停留させること）により、選択処理を実行させることが可能である。例えば、図６Ａにおけるユーザ操作は、ユーザが一点を見ている操作として認識部１２０により認識されてもよく、ユーザインタフェースＵ３２は、所謂ポインタとして用いられ得る。
　図６Ｂは、本具体例において認識精度が第二の範囲に含まれる場合のユーザ操作を説明するための説明図である。図６Ｂに示す例では画面Ｗ３４に、図６Ａに示したユーザインタフェースＵ３２よりも大きく、ユーザの視線位置を中心とした操作領域（注視エリア）を示すユーザインタフェース（操作領域指示子）Ｕ３４が表示される。例えば、図６Ｂにおけるユーザ操作は、図６Ａにおけるユーザ操作と異なり、ユーザが点よりも大きい領域を見ている操作として認識部１２０により認識されてもよい。図６Ｂに示す例において、ユーザは、例えば視線を移動させることでユーザインタフェースＵ３４を移動させる処理を実行することが可能であるが、選択処理を実行させるためには、他のユーザ操作（例えば音声認識に基づく操作）を要してもよい。なお、ユーザインタフェースＵ３４のエリア内に仮想オブジェクトが存在した場合には、例えばヒントや選択肢が表示されてもよく、例えば係る状態においてユーザが「決定」と発話することで選択処理が実行されてもよい。
　図６Ｃは、本具体例において、認識精度が第三の範囲に含まれる場合のユーザ操作を説明するための説明図である。図６Ｃに示す例では画面Ｗ３６が九つのエリアＡ１０～Ａ９０に分割されて表示され、ユーザの視線位置が存在するエリアに、図６Ｂに示したユーザインタフェースＵ３４よりも大きく、操作領域を示すユーザインタフェース（操作領域指示子）Ｕ３６が表示される。例えば、図６Ｃにおけるユーザ操作は、図６Ａ、及び図６Ｂにおけるユーザ操作と異なり、ユーザがさらに大きい領域を見ている操作として認識部１２０により認識されてもよい。ユーザインタフェースＵ３６が存在するエリアに応じて、例えば、上（エリアＡ２０）、下（エリアＡ８０）、左（エリアＡ４０）、右（エリアＡ６０）、正面（エリアＡ５０）等の方向に応じた入力処理が実行されてもよい。例えば、図６Ｃに示す例では、エリアＡ４０にユーザインタフェースＵ３６が表示されているため、左方向（左方向キー）の入力処理が実行される。
　　＜４－４．第四の具体例＞
　上記では、手の認識に基づくユーザ操作と、視線認識に基づくユーザ操作の具体例を説明した。続いて、以下では、第四の具体例として、音声パターンの認識に基づいて認識されるユーザ操作の例を説明する。
　図７Ａ～Ｃは、本実施形態に係るユーザ操作の第四の具体例を説明するための説明図である。本具体例において、範囲設定部１４０は３つの範囲を設定し、第一の範囲、第二の範囲、第三の範囲の順に低くなるものとする。また、図７Ａ～Ｃに示す画面Ｗ４２～Ｗ４６は、制御部１５０の制御により表示部１７０に表示される画面であり、表示部１７０は透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。
　図７Ａは、本具体例において認識精度が第一の範囲に含まれる場合のユーザ操作を説明するための説明図である。図７Ａに示す例では画面Ｗ４２に、エージェント（キャラクタ）Ｕ４２が表示される。ユーザは、エージェントＵ４２と会話するように自由に音声を入力し、情報処理装置１は不図示のスピーカからエージェントＵ４２が話しているように音声を出力してもよい。例えば、図７Ａにおけるユーザ操作は、ユーザが発声した文章による操作として、認識部１２０により認識されてもよい。
　図７Ｂは、本具体例において認識精度が第二の範囲に含まれる場合のユーザ操作を説明するための説明図である。図７Ｂに示す例では画面Ｗ４４に、単語やキーワードでユーザが返答可能な質問文を含むユーザインタフェースＵ４４が表示される。ユーザは、単語やキーワードにより音声入力を行うことが可能であり、入力された音声の認識結果に応じて、入力内容の確認メッセージが表示されてもよい。例えば、図７Ｂにおけるユーザ操作は、図７Ａにおけるユーザ操作とは異なり、ユーザが発声した単語またはキーワードによる操作として、認識部１２０により認識されてもよい。図７Ｂの例では入力が単語やキーワードに限定されるため、自由に会話可能な図７Ａの例と比較して、認識される音声のパターンの数が少なくなり、より認識精度が低い場合であってもスムーズにユーザの入力を受け付け易くなる。
　図７Ｃは、本具体例において、認識精度が第三の範囲に含まれる場合のユーザ操作を説明するための説明図である。図７Ｃに示す例では画面Ｗ４６に、Ｙｅｓ／Ｎｏ等の所定の音声コマンドを含むユーザインタフェースＵ４６２、Ｕ４６４と当該音声コマンドで返答可能な質問文を含むユーザインタフェースＵ４６６が表示される。ユーザは、所定の音声コマンドにより音声入力を行うことが可能である。例えば、図７Ｃにおけるユーザ操作は、図７Ａ、及び図７Ｂにおけるユーザ操作とは異なり、ユーザが発声した所定の音声コマンドによる操作として、認識部１２０により認識されてもよい。図７Ｃの例では入力が所定の音声コマンドに限定されるため、図７Ａ、及び図７Ｂの例と比較して、認識される音声のパターンの数がさらに少なくなり、より認識精度が低い場合であってもスムーズにユーザの入力を受け付け易くなる。
　なお、上記では、ユーザ操作に関する通知が、例えば質問文を含むユーザインタフェースの表示により行われる例を説明したが、音声により同様の質問文が出力されて、通知されてもよい。
　＜＜５．ハードウェア構成例＞＞
　以上、本開示の各実施形態を説明した。上述した表示形態選択処理、表示制御処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置１のハードウェアとの協働により実現される。
　図８は、情報処理装置１のハードウェア構成の一例を示す説明図である。図８に示したように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、入力装置１４と、出力装置１５と、ストレージ装置１６と、撮像装置１７と、通信装置１８とを備える。
　ＣＰＵ１１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、ＣＰＵ１１は、マイクロプロセッサであってもよい。ＲＯＭ１２は、ＣＰＵ１１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１３は、ＣＰＵ１１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３とソフトウェアとの協働により、認識部１２０、取得部１３０、範囲設定部１４０、制御部１５０、の機能が実現される。
　入力装置１４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１１に出力する入力制御回路等から構成されている。情報処理装置１のユーザは、該入力装置１４を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置、シースルーディスプレイ、及びランプ等の表示装置を含む。さらに、出力装置１５は、スピーカ及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置１５は、図２を参照して説明した表示部１７０に対応する。
　ストレージ装置１６は、データ格納用の装置である。ストレージ装置１６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１６は、ＣＰＵ１１が実行するプログラムや各種データを格納する。ストレージ装置１６は、図２を参照して説明した記憶部１６０に対応する。
　撮像装置１７は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置１７は、図２を参照して説明したセンサ部１１０に含まれる。
　通信装置１８は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１８は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。
　＜＜６．むすび＞
　以上、説明したように、本開示の実施形態によれば、認識精度に応じたユーザ操作が特定されると共に、認識精度に応じたユーザ操作がユーザに通知されるため、ユーザは認識精度に応じたユーザ操作により、より快適に操作することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、情報処理装置１がセンサ部１１０や認識部１２０、記憶部１６０等を備える例を説明したが、本技術はかかる例に限定されない。例えば、情報処理装置１は、センシングデータや、認識結果、認識精度等の情報を他の装置から直接、またはネットワーク等を介して受け取って、ユーザ操作を特定し、制御信号を他の装置に出力してもよい。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上述した情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　センシングデータに基づく認識に係る認識精度を取得する取得部と、
　前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、
　を備える情報処理装置。
（２）
　前記第一のユーザ操作と前記第二のユーザ操作は、同一対象に関するセンシングデータに基づいて認識される、前記（１）に記載の情報処理装置。
（３）
　前記第二の範囲の上限値は、前記第一の範囲の下限値以下である、前記（１）または（２）に記載の情報処理装置。
（４）
　前記制御部は、認識されるユーザ操作に基づいて所定の処理を行わせ、
　前記認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類は、前記認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類を含む、前記（３）に記載の情報処理装置。
（５）
　前記制御部は、前記認識精度が前記第一の範囲に含まれる場合には前記第一のユーザ操作が認識可能であることをユーザに通知させ、前記認識精度が前記第二の範囲に含まれる場合には前記第二のユーザ操作が認識可能であることをユーザに通知させる、前記（４）に記載の情報処理装置。
（６）
　前記認識精度は、前記認識における信頼度に基づいて特定される、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記認識精度は、前記センシングデータの誤差または精度に基づいて特定される、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの手に関するセンシングデータに基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される前記ユーザの手の指の数は、前記第二のユーザ操作において認識される前記ユーザの手の指の数よりも多い、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記第一のユーザ操作、及び前記第二のユーザ操作は、第一の処理を行わせるためのユーザ操作であり、
　前記制御部は前記認識精度が前記第一の範囲に含まれる場合には、前記第一の処理とは異なる第二の処理を行わせるためのユーザ操作を認識可能にさせ、前記認識精度が前記第二の範囲に含まれる場合には、前記第二の処理を行わせるためのユーザ操作を認識可能にさせない、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記第一のユーザ操作において操作の対象となる操作領域より、前記第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定する、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記制御部は、前記操作領域を示す操作領域指示子を表示させ、前記操作領域指示子は、前記操作領域の大きさに応じた大きさで表示される、前記（１０）に記載の情報処理装置。
（１２）
　前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの指先に関するセンシングデータ、またはユーザの視線に関するセンシングデータに基づいて認識されるユーザ操作であり、前記操作領域は前記ユーザの指先の位置、または前記ユーザの視線の位置に基づいて特定される、前記（１０）に記載の情報処理装置。
（１３）
　前記第一のユーザ操作、及び前記第二のユーザ操作は、音声パターンの認識に基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される音声パターンの数は、前記第二のユーザ操作において認識される音声パターンの数よりも多い、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記第一の範囲と前記第二の範囲を設定する範囲設定部をさらに備える、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　範囲設定部は、ユーザに関するユーザ情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、前記（１４）に記載の情報処理装置。
（１６）
　前記ユーザ情報は、ユーザの移動速度情報、またはユーザの生体情報を含む、前記（１５）に記載の情報処理装置。
（１７）
　範囲設定部は、ユーザの置かれた環境に関する環境情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、前記（１４）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記環境情報は、照度の情報、または混雑度の情報を含む、前記（１７）に記載の情報処理装置。
（１９）
　センシングデータに基づく認識に係る認識精度を取得することと、
　前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせるように、プロセッサが制御することと、を含む情報処理方法。
（２０）
　コンピュータに、
　センシングデータに基づく認識に係る認識精度を取得する取得機能と、
　前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御機能と、を実現させるためのプログラム。
　１　情報処理装置
　１１０　センサ部
　１２０　認識部
　１３０　取得部
　１４０　範囲設定部
　１５０　制御部
　１６０　記憶部
　１７０　表示部

Claims (20)

  1. 　センシングデータに基づく認識に係る認識精度を取得する取得部と、
    　前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御部と、
    　を備える情報処理装置。
  2. 　前記第一のユーザ操作と前記第二のユーザ操作は、同一対象に関するセンシングデータに基づいて認識される、請求項１に記載の情報処理装置。
  3. 　前記第二の範囲の上限値は、前記第一の範囲の下限値以下である、請求項１に記載の情報処理装置。
  4. 　前記制御部は、認識されるユーザ操作に基づいて所定の処理を行わせ、
    　前記認識精度が第一の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類は、前記認識精度が第二の範囲に含まれる場合に認識可能なユーザ操作に基づいて行われる処理の種類を含む、請求項３に記載の情報処理装置。
  5. 　前記制御部は、前記認識精度が前記第一の範囲に含まれる場合には前記第一のユーザ操作が認識可能であることをユーザに通知させ、前記認識精度が前記第二の範囲に含まれる場合には前記第二のユーザ操作が認識可能であることをユーザに通知させる、請求項４に記載の情報処理装置。
  6. 　前記認識精度は、前記認識における信頼度に基づいて特定される、請求項１に記載の情報処理装置。
  7. 　前記認識精度は、前記センシングデータの誤差または精度に基づいて特定される、請求項１に記載の情報処理装置。
  8. 　前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの手に関するセンシングデータに基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される前記ユーザの手の指の数は、前記第二のユーザ操作において認識される前記ユーザの手の指の数よりも多い、請求項１に記載の情報処理装置。
  9. 　前記第一のユーザ操作、及び前記第二のユーザ操作は、第一の処理を行わせるためのユーザ操作であり、
    　前記制御部は前記認識精度が前記第一の範囲に含まれる場合には、前記第一の処理とは異なる第二の処理を行わせるためのユーザ操作を認識可能にさせ、前記認識精度が前記第二の範囲に含まれる場合には、前記第二の処理を行わせるためのユーザ操作を認識可能にさせない、請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記第一のユーザ操作において操作の対象となる操作領域より、前記第二のユーザ操作において操作の対象となる操作領域の方が大きいように操作領域を設定する、請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記操作領域を示す操作領域指示子を表示させ、前記操作領域指示子は、前記操作領域の大きさに応じた大きさで表示される、請求項９に記載の情報処理装置。
  12. 　前記第一のユーザ操作、及び前記第二のユーザ操作は、ユーザの指先に関するセンシングデータ、またはユーザの視線に関するセンシングデータに基づいて認識されるユーザ操作であり、前記操作領域は前記ユーザの指先の位置、または前記ユーザの視線の位置に基づいて特定される、請求項１０に記載の情報処理装置。
  13. 　前記第一のユーザ操作、及び前記第二のユーザ操作は、音声パターンの認識に基づいて認識されるユーザ操作であり、前記第一のユーザ操作において認識される音声パターンの数は、前記第二のユーザ操作において認識される音声パターンの数よりも多い、請求項１に記載の情報処理装置。
  14. 　前記第一の範囲と前記第二の範囲を設定する範囲設定部をさらに備える、請求項１に記載の情報処理装置。
  15. 　範囲設定部は、ユーザに関するユーザ情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、請求項１４に記載の情報処理装置。
  16. 　前記ユーザ情報は、ユーザの移動速度情報、またはユーザの生体情報を含む、請求項１５に記載の情報処理装置。
  17. 　範囲設定部は、ユーザの置かれた環境に関する環境情報に基づいて、前記第一の範囲と前記第二の範囲を設定する、請求項１４に記載の情報処理装置。
  18. 　前記環境情報は、照度の情報、または混雑度の情報を含む、請求項１７に記載の情報処理装置。
  19. 　センシングデータに基づく認識に係る認識精度を取得することと、
    　前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせるように、プロセッサが制御することと、を含む情報処理方法。
  20. 　コンピュータに、
    　センシングデータに基づく認識に係る認識精度を取得する取得機能と、
    　前記認識精度が第一の範囲に含まれる場合には、第一のユーザ操作を認識可能にさせ、前記認識精度が第一の範囲とは異なる第二の範囲に含まれる場合には、前記第一のユーザ操作とは異なり、前記第一のユーザ操作に関連する第二のユーザ操作を認識可能にさせる制御機能と、を実現させるためのプログラム。
PCT/JP2016/081755 2015-12-18 2016-10-26 情報処理装置、情報処理方法、及びプログラム WO2017104272A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020187015818A KR20180094875A (ko) 2015-12-18 2016-10-26 정보 처리 장치, 정보 처리 방법, 및 프로그램
EP16875257.4A EP3392740A4 (en) 2015-12-18 2016-10-26 Information processing device, information processing method, and program
JP2017556401A JP6841232B2 (ja) 2015-12-18 2016-10-26 情報処理装置、情報処理方法、及びプログラム
CN201680072636.4A CN108369451B (zh) 2015-12-18 2016-10-26 信息处理装置、信息处理方法及计算机可读存储介质
US15/772,243 US10963063B2 (en) 2015-12-18 2016-10-26 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015247184 2015-12-18
JP2015-247184 2015-12-18

Publications (1)

Publication Number Publication Date
WO2017104272A1 true WO2017104272A1 (ja) 2017-06-22

Family

ID=59056538

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081755 WO2017104272A1 (ja) 2015-12-18 2016-10-26 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US10963063B2 (ja)
EP (1) EP3392740A4 (ja)
JP (1) JP6841232B2 (ja)
KR (1) KR20180094875A (ja)
CN (1) CN108369451B (ja)
WO (1) WO2017104272A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188721A1 (ja) * 2019-03-18 2020-09-24 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
WO2021199408A1 (ja) * 2020-04-02 2021-10-07 日本電信電話株式会社 擬似触覚制御装置、擬似触覚制御方法、およびプログラム
WO2024090299A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193422A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd 対話型の情報処理システム、およびサービス・シナリオ用のヘルプ・シナリオを提供する方法
JP2008299866A (ja) * 2004-03-23 2008-12-11 Fujitsu Ltd 携帯装置の傾斜及び並進運動成分の識別
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体

Family Cites Families (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3180655B2 (ja) * 1995-06-19 2001-06-25 日本電信電話株式会社 パターンマッチングによる単語音声認識方法及びその方法を実施する装置
JP2780676B2 (ja) * 1995-06-23 1998-07-30 日本電気株式会社 音声認識装置及び音声認識方法
US20090273574A1 (en) * 1995-06-29 2009-11-05 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP3627299B2 (ja) * 1995-07-19 2005-03-09 ソニー株式会社 音声認識方法及び装置
DE60033733T2 (de) * 1999-05-31 2007-12-06 Nippon Telegraph And Telephone Corp. Datenbankabfragesystem basierend auf Spracherkennung
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US20020184019A1 (en) * 2001-05-31 2002-12-05 International Business Machines Corporation Method of using empirical substitution data in speech recognition
EP1271346A1 (en) * 2001-06-28 2003-01-02 Nokia Corporation Method for searching data in at least two databases
US7200270B2 (en) * 2001-12-13 2007-04-03 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method using distributed model representation of partial images
JP2003308480A (ja) * 2002-04-16 2003-10-31 Fujitsu Ltd オンライン手書き文字パターン認識編集装置及び方法並びに当該方法を実現するコンピュータ実行可能なプログラム
JP3919617B2 (ja) * 2002-07-09 2007-05-30 キヤノン株式会社 文字認識装置および文字認識方法、プログラムおよび記憶媒体
US7548651B2 (en) * 2003-10-03 2009-06-16 Asahi Kasei Kabushiki Kaisha Data process unit and data process unit control program
US7508986B2 (en) * 2003-11-28 2009-03-24 Canon Kabushiki Kaisha Document recognition device, document recognition method and program, and storage medium
JP4040573B2 (ja) * 2003-12-12 2008-01-30 キヤノン株式会社 音声認識装置および方法
KR20050059766A (ko) * 2003-12-15 2005-06-21 엘지전자 주식회사 동적 시간 워핑을 이용한 음성 인식 방법
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP3714350B2 (ja) * 2004-01-27 2005-11-09 セイコーエプソン株式会社 画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラム
JP4297798B2 (ja) * 2004-01-29 2009-07-15 富士通株式会社 移動体情報管理プログラム
CN100573548C (zh) * 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
KR100705563B1 (ko) * 2004-12-07 2007-04-10 삼성전자주식회사 입력 레벨 자동 조절을 위한 음성 인식 시스템 및 이를이용한 음성 인식 방법
US7895039B2 (en) * 2005-02-04 2011-02-22 Vocollect, Inc. Methods and systems for optimizing model adaptation for a speech recognition system
KR100679044B1 (ko) * 2005-03-07 2007-02-06 삼성전자주식회사 사용자 적응형 음성 인식 방법 및 장치
US7865018B2 (en) * 2005-06-02 2011-01-04 Microsoft Corporation Personalized implicit and explicit character shape adaptation and recognition
JP4765461B2 (ja) * 2005-07-27 2011-09-07 日本電気株式会社 雑音抑圧システムと方法及びプログラム
JP2007233871A (ja) * 2006-03-02 2007-09-13 Fuji Xerox Co Ltd 画像処理装置、コンピュータの制御方法及びプログラム
JP2007233873A (ja) * 2006-03-02 2007-09-13 Toshiba Corp パターン認識装置及びその方法
JP4786384B2 (ja) * 2006-03-27 2011-10-05 株式会社東芝 音声処理装置、音声処理方法および音声処理プログラム
US7869657B2 (en) * 2006-06-12 2011-01-11 D & S Consultants, Inc. System and method for comparing images using an edit distance
US7734094B2 (en) * 2006-06-28 2010-06-08 Microsoft Corporation Techniques for filtering handwriting recognition results
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US7966274B2 (en) * 2006-08-14 2011-06-21 Neural Id Llc Enhanced learning and recognition operations for radial basis functions
JP4393494B2 (ja) * 2006-09-22 2010-01-06 株式会社東芝 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
KR101312625B1 (ko) * 2006-11-03 2013-10-01 삼성전자주식회사 동작 추적 장치 및 방법
JP4321645B2 (ja) * 2006-12-08 2009-08-26 ソニー株式会社 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
JP4845755B2 (ja) * 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8612225B2 (en) * 2007-02-28 2013-12-17 Nec Corporation Voice recognition device, voice recognition method, and voice recognition program
KR101247147B1 (ko) * 2007-03-05 2013-03-29 디지털옵틱스 코포레이션 유럽 리미티드 디지털 영상 획득 장치에서의 얼굴 탐색 및 검출
WO2008131201A1 (en) * 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
US8311296B2 (en) * 2007-11-21 2012-11-13 Parascript, Llc Voting in mammography processing
US8195220B2 (en) * 2008-02-01 2012-06-05 Lg Electronics Inc. User interface for mobile devices
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8364481B2 (en) * 2008-07-02 2013-01-29 Google Inc. Speech recognition with parallel recognition tasks
JP5116608B2 (ja) * 2008-08-20 2013-01-09 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
US9058746B2 (en) * 2008-10-02 2015-06-16 Hitachi Automotive Systems, Ltd. Information processing device associated with vehicle traveling
JP5175754B2 (ja) * 2009-02-04 2013-04-03 株式会社東芝 線形変換行列算出装置、その方法、及び、そのプログラム
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
KR101411593B1 (ko) * 2009-09-14 2014-06-25 삼성전자주식회사 Ｕｉ 제공방법 및 이를 적용한 디스플레이 장치
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
US8515763B2 (en) * 2009-11-24 2013-08-20 Honeywell International Inc. Methods and systems for utilizing voice commands onboard an aircraft
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
WO2011078264A1 (ja) * 2009-12-25 2011-06-30 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
JP2011180843A (ja) * 2010-03-01 2011-09-15 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
US9053393B2 (en) * 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
US9477324B2 (en) * 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
JP5675145B2 (ja) * 2010-03-30 2015-02-25 キヤノン株式会社 パターン認識装置及びパターン認識方法
US9891820B2 (en) * 2010-04-23 2018-02-13 Handscape Inc. Method for controlling a virtual keyboard from a touchpad of a computerized device
US20170017393A1 (en) * 2010-04-23 2017-01-19 Handscape Inc., A Delaware Corporation Method for controlling interactive objects from a touchpad of a computerized device
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
JP5675233B2 (ja) * 2010-09-09 2015-02-25 キヤノン株式会社 情報処理装置、その認識方法及びプログラム
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
US10456209B2 (en) * 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
JP5617581B2 (ja) * 2010-12-08 2014-11-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体
KR20120080072A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
US8965049B2 (en) * 2011-02-01 2015-02-24 Panasonic Intellectual Property Corporation Of America Function extension device, function extension method, computer-readable recording medium, and integrated circuit
JP5017466B1 (ja) * 2011-02-28 2012-09-05 株式会社東芝 情報処理装置およびプログラム
JP5779641B2 (ja) * 2011-02-28 2015-09-16 株式会社Pfu 情報処理装置、方法およびプログラム
US9189068B2 (en) * 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
EP2923638B1 (en) * 2011-03-18 2019-02-20 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
JP5668587B2 (ja) * 2011-04-19 2015-02-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5755046B2 (ja) * 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
JP5786495B2 (ja) * 2011-06-30 2015-09-30 富士通株式会社 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム
WO2013022135A1 (en) * 2011-08-11 2013-02-14 Lg Electronics Inc. Electronic device and method of controlling the same
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
JP5879877B2 (ja) * 2011-09-28 2016-03-08 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法
WO2013080739A1 (ja) * 2011-12-02 2013-06-06 ソニー株式会社 画像処理装置、画像認識装置、画像認識方法およびプログラム
JP2013140529A (ja) * 2012-01-06 2013-07-18 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013145463A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013164834A (ja) * 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
JP2013161209A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR101330810B1 (ko) * 2012-02-24 2013-11-18 주식회사 팬택 원거리 제스쳐 인식 기능을 갖는 디바이스 및 그 방법
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
US8861802B2 (en) * 2012-03-13 2014-10-14 Honeywell International Inc. Face image prioritization based on face quality analysis
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
JP5900161B2 (ja) * 2012-05-29 2016-04-06 ソニー株式会社 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
JP6044819B2 (ja) * 2012-05-30 2016-12-14 日本電気株式会社 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP6039248B2 (ja) * 2012-06-04 2016-12-07 キヤノン株式会社 情報処理装置およびその制御方法
JP6095283B2 (ja) * 2012-06-07 2017-03-15 キヤノン株式会社 情報処理装置、およびその制御方法
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9349366B2 (en) * 2012-06-13 2016-05-24 Wearsafe Labs Llc Systems and methods for managing an emergency situation
US9704377B2 (en) * 2012-06-13 2017-07-11 Wearsafe Labs, Llc Systems and methods for managing an emergency situation
KR102040857B1 (ko) * 2012-07-17 2019-11-06 삼성전자주식회사 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
JP6112801B2 (ja) * 2012-08-22 2017-04-12 キヤノン株式会社 画像認識装置及び画像認識方法
JP6019947B2 (ja) * 2012-08-31 2016-11-02 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP6015250B2 (ja) * 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140062864A1 (en) * 2012-09-03 2014-03-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting three-dimensional distance information from recognition target
EP2894573B1 (en) * 2012-09-06 2020-07-08 Sony Corporation Information processing device, information processing method, and program
KR101984683B1 (ko) * 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US9959865B2 (en) * 2012-11-13 2018-05-01 Beijing Lenovo Software Ltd. Information processing method with voice recognition
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5652886B2 (ja) * 2012-11-28 2015-01-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 顔認証装置、認証方法とそのプログラム、情報機器
JP6202810B2 (ja) * 2012-12-04 2017-09-27 アルパイン株式会社 ジェスチャ認識装置および方法ならびにプログラム
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US9589197B2 (en) * 2012-12-20 2017-03-07 Unicredit S.P.A. Method for biometric recognition with clustering of registered data for POS/ATM applications
EP2936283A1 (en) * 2012-12-21 2015-10-28 Harman Becker Automotive Systems GmbH Input device for a motor vehicle
US9619021B2 (en) * 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
JP2014153663A (ja) * 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US10295826B2 (en) * 2013-02-19 2019-05-21 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
JP6075110B2 (ja) * 2013-02-21 2017-02-08 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9292923B2 (en) * 2013-03-06 2016-03-22 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor environments
JP2014182748A (ja) * 2013-03-21 2014-09-29 Fujitsu Ltd 信号処理装置、信号処理方法、及び信号処理プログラム
JP6051991B2 (ja) * 2013-03-21 2016-12-27 富士通株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
WO2014157757A1 (ko) * 2013-03-29 2014-10-02 엘지전자 주식회사 이동식 입력 장치 및 그를 이용한 명령 입력 방법
EP2983064B1 (en) * 2013-04-02 2019-11-27 Sony Corporation Information processing apparatus, information processing method, and program
US20140354602A1 (en) * 2013-04-12 2014-12-04 Impression.Pi, Inc. Interactive input system and method
KR20140131093A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 음성 인식을 위한 방법 및 그 전자 장치
US9934451B2 (en) * 2013-06-25 2018-04-03 Microsoft Technology Licensing, Llc Stereoscopic object detection leveraging assumed distance
US9218811B2 (en) * 2013-06-28 2015-12-22 Google Technology Holdings LLC Electronic device and method for managing voice entered text using gesturing
US20160132124A1 (en) * 2013-08-02 2016-05-12 Mitsubishi Electric Corporation Gesture determination apparatus and method, gesture operation apparatus, program, and recording medium
CN104423578B (zh) * 2013-08-25 2019-08-06 杭州凌感科技有限公司 交互式输入系统和方法
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
CN103530060B (zh) * 2013-10-31 2016-06-22 京东方科技集团股份有限公司 显示装置及其控制方法、手势识别方法
CN103530061B (zh) * 2013-10-31 2017-01-18 京东方科技集团股份有限公司 显示装置及控制方法
JP6194777B2 (ja) * 2013-11-29 2017-09-13 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
CN103616994A (zh) * 2013-12-09 2014-03-05 珠海金山办公软件有限公司 电子设备控制方法及装置
KR101700817B1 (ko) * 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
CN105899966B (zh) * 2014-01-14 2019-05-07 松下知识产权经营株式会社 距离图像生成装置以及距离图像生成方法
JPWO2015108112A1 (ja) * 2014-01-15 2017-03-23 株式会社Ｊｕｉｃｅ Ｄｅｓｉｇｎ 操作判定装置、操作判定方法、および、プログラム
JP2015138449A (ja) * 2014-01-23 2015-07-30 キヤノン株式会社 個人認証装置、個人認証方法及びプログラム
JP6349800B2 (ja) * 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP5861072B2 (ja) * 2014-03-06 2016-02-16 パナソニックＩｐマネジメント株式会社 表示制御装置、表示装置および表示制御プログラム
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
US10162955B2 (en) * 2014-03-13 2018-12-25 Lg Electronics Inc. Mobile terminal and method for controlling same
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9990046B2 (en) * 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
US20150294639A1 (en) * 2014-04-14 2015-10-15 Sony Corporation Method and system for switching a mode of an electronic device
KR101655810B1 (ko) * 2014-04-22 2016-09-22 엘지전자 주식회사 차량용 디스플레이 장치
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 音声認識機能を用いた情報提供方法および機器の制御方法
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
KR102185564B1 (ko) * 2014-07-09 2020-12-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6750500B2 (ja) * 2014-08-27 2020-09-02 日本電気株式会社 情報処理装置および認識支援方法
CN104317391B (zh) * 2014-09-24 2017-10-03 华中科技大学 一种基于立体视觉的三维手掌姿态识别交互方法和系统
JP2016091383A (ja) * 2014-11-06 2016-05-23 富士通株式会社 携帯端末装置、画面制御方法及び画面制御プログラム
US9911235B2 (en) * 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
KR101643573B1 (ko) * 2014-11-21 2016-07-29 한국과학기술연구원 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
US9750420B1 (en) * 2014-12-10 2017-09-05 Amazon Technologies, Inc. Facial feature selection for heart rate detection
US10347108B2 (en) * 2015-01-16 2019-07-09 City University Of Hong Kong Monitoring user activity using wearable motion sensing device
US10289192B2 (en) * 2015-03-01 2019-05-14 Tactical Haptics Embedded grasp sensing devices, systems, and methods
JP6651705B2 (ja) * 2015-03-31 2020-02-19 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US20180046254A1 (en) * 2015-04-20 2018-02-15 Mitsubishi Electric Corporation Information display device and information display method
JP6596376B2 (ja) * 2015-04-22 2019-10-23 パナソニック株式会社 話者識別方法及び話者識別装置
JP6618276B2 (ja) * 2015-05-29 2019-12-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
CN107615334B (zh) * 2015-06-10 2020-11-06 株式会社日立制作所 物体识别装置以及物体识别系统
US10360441B2 (en) * 2015-11-25 2019-07-23 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus
EP3389009A4 (en) * 2015-12-10 2018-12-19 Ricoh Company, Ltd. Image processing device, object recognition device, apparatus control system, image processing method and program
US10318008B2 (en) * 2015-12-15 2019-06-11 Purdue Research Foundation Method and system for hand pose detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299866A (ja) * 2004-03-23 2008-12-11 Fujitsu Ltd 携帯装置の傾斜及び並進運動成分の識別
JP2007193422A (ja) * 2006-01-17 2007-08-02 Fujitsu Ltd 対話型の情報処理システム、およびサービス・シナリオ用のヘルプ・シナリオを提供する方法
WO2012147960A1 (ja) * 2011-04-28 2012-11-01 Ｎｅｃシステムテクノロジー株式会社 情報処理装置、情報処理方法及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3392740A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188721A1 (ja) * 2019-03-18 2020-09-24 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JPWO2020188721A1 (ja) * 2019-03-18 2020-09-24
JP7236529B2 (ja) 2019-03-18 2023-03-09 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP2023065528A (ja) * 2019-03-18 2023-05-12 マクセル株式会社 ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
US11972037B2 (en) 2019-03-18 2024-04-30 Maxell, Ltd. Head mounted information processing apparatus and head mounted display system
WO2021199408A1 (ja) * 2020-04-02 2021-10-07 日本電信電話株式会社 擬似触覚制御装置、擬似触覚制御方法、およびプログラム
JPWO2021199408A1 (ja) * 2020-04-02 2021-10-07
WO2024090299A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US10963063B2 (en) 2021-03-30
CN108369451A (zh) 2018-08-03
US20180299963A1 (en) 2018-10-18
CN108369451B (zh) 2021-10-29
EP3392740A1 (en) 2018-10-24
EP3392740A4 (en) 2018-12-19
JP6841232B2 (ja) 2021-03-10
JPWO2017104272A1 (ja) 2018-10-04
KR20180094875A (ko) 2018-08-24

Similar Documents

Publication Publication Date Title
US11093045B2 (en) Systems and methods to augment user interaction with the environment outside of a vehicle
EP3549109B1 (en) Virtual user input controls in a mixed reality environment
JP7465952B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2024509722A (ja) エクステンデッドリアリティにおけるユーザ相互作用
US11017257B2 (en) Information processing device, information processing method, and program
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
JP6848881B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10133407B2 (en) Display apparatus, display system, method for controlling display apparatus, and program
WO2017104272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021524629A (ja) ウェアラブルシステムのためのトランスモード入力融合
EP4172736A1 (en) Integration of artificial reality interaction modes
US11803233B2 (en) IMU for touch detection
US20180150133A1 (en) Glasses-type terminal and control method therefor
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20230086766A1 (en) Attention tracking to augment focus transitions
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
CN116940915A (zh) 虚拟现实中的部分透视
US11768535B1 (en) Presenting computer-generated content based on extremity tracking
JP2021140195A (ja) 情報処理装置、情報処理方法およびプログラム
JP7504180B2 (ja) ウェアラブルシステムのためのトランスモード入力融合
WO2022064881A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2024039666A1 (en) Devices, methods, and graphical user interfaces for improving accessibility of interactions with three-dimensional environments
WO2023049746A1 (en) Attention tracking to augment focus transitions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16875257

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15772243

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017556401

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187015818

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016875257

Country of ref document: EP