WO2020166351A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2020166351A1
WO2020166351A1 PCT/JP2020/003350 JP2020003350W WO2020166351A1 WO 2020166351 A1 WO2020166351 A1 WO 2020166351A1 JP 2020003350 W JP2020003350 W JP 2020003350W WO 2020166351 A1 WO2020166351 A1 WO 2020166351A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
hand
touch
control unit
shape
Prior art date
Application number
PCT/JP2020/003350
Other languages
English (en)
French (fr)
Inventor
誠史 友永
哲男 池田
英佑 藤縄
健志 後藤
淳 入江
純二 大塚
優伍 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20755209.2A priority Critical patent/EP3926585A4/en
Priority to US17/428,520 priority patent/US20220129109A1/en
Priority to JP2020572158A priority patent/JPWO2020166351A1/ja
Priority to CN202080013110.5A priority patent/CN113412501A/zh
Publication of WO2020166351A1 publication Critical patent/WO2020166351A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a recording medium, and particularly to an information processing device, an information processing method, and a recording medium that enable more natural operation to be realized.
  • Patent Document 1 when a real object such as a cup or a dish is placed on the top surface of a table, the displayed virtual object is displayed according to the positional relationship with the real object.
  • a system for controlling movement is disclosed.
  • the operation of the virtual object as described above is realized by recognizing a touch or gesture by the user's hand or arm.
  • it is impossible to realize a natural operation because the conventional technique does not consider finely setting the location of the operation of the hand and the determination criteria of the operation at the location.
  • the present disclosure has been made in view of such a situation, and is intended to realize a more natural operation.
  • the information processing apparatus of the present disclosure determines an action area on which an operation by the operation body is applied, based on the shape information of the operation body that operates the operation surface, which is acquired from a captured image, and determines the operation area in the operation area.
  • the information processing apparatus includes a control unit that sets a parameter used to determine the operation.
  • an information processing device determines an action area on which an operation by the operation body is applied, based on shape information of an operation body that operates on an operation surface, which is acquired from a captured image.
  • An information processing method for setting a parameter used for determining the operation in the action area is provided.
  • a recording medium determines, in a computer, an action area on which an operation by the operation body is applied, based on shape information of an operation body that operates on an operation surface, which is acquired from a captured image, and the operation is performed. It is a recording medium in which a program for executing a process of setting a parameter used for determining the operation in the area is recorded.
  • the operating area on which the operation by the operating body is applied is determined, and the operation area in the operating area is determined.
  • the parameters used for the determination are set.
  • FIG. 19 is a block diagram illustrating a configuration example of a computer.
  • FIG. 1 is a diagram showing an overview of an information processing device according to an embodiment of the present disclosure.
  • the information processing device 10 is supported above the table 20 by, for example, an arm member extending from a part of the table 20, and is provided in a state of being separated from the top surface 21 of the table 20. ..
  • the information processing apparatus 10 uses the top surface 21 of the table 20 as an operation surface, projects an image on the top surface 21, and causes a user to operate a projection image displayed on the top surface 21 (hereinafter, also referred to as a display object).
  • the information processing apparatus 10 includes a small projector, a camera, and an image recognition function, projects a display object on the top surface 21, and determines the angle of movement or tilt of the user's finger operating the display object. Recognize touches and gestures and reflect them on the display object.
  • a curve 31 corresponding to the trajectory of the finger is drawn on the top surface 21 by recognizing a gesture by the user's hand H1 with respect to the top surface 21 which is the operation surface. Further, by recognizing the touch and gesture of the user's hand H2 on the top surface 21, the object 32 displayed on the top surface 21 moves on the top surface 21 in accordance with the movement of the finger.
  • Such operation of the display object is realized, for example, by recognizing a touch or gesture by the user's hand or arm.
  • detailed setting of a portion in the hand where an operation is applied (reflected) and a determination criterion of the operation by the portion are not considered in the related art, and a natural operation cannot be realized. could not.
  • the information processing apparatus 10 is based on the shape and posture of the operating body such as a finger or arm, and places where the operation is performed on the operating body (fingertip, whole hand, etc.), and the location thereof. Allows the user to set criteria for determining the operation (effective range, threshold, etc.).
  • FIG. 3 is a block diagram showing a configuration example of the information processing device 10.
  • the information processing device 10 includes a control unit 51, a photographing unit 52, an input unit 53, a storage unit 54, a display unit 55, and an output unit 56.
  • the control unit 51 is configured by a CPU (Central Processing Unit) and the like, and controls each unit of the information processing device 10. Details of the configuration of the control unit 51 will be described later.
  • CPU Central Processing Unit
  • the image capturing unit 52 includes a monocular camera, a stereo camera, a distance sensor, and the like. Under the control of the control unit 51, the image capturing unit 52 captures an image of an operating body such as a user's finger or arm on the operating surface (top surface 21). The captured image acquired by capturing is supplied to the control unit 51.
  • the imaging unit 52 is configured as, for example, a stereo camera or a depth sensor, under the control of the control unit 51, the imaging unit 52 acquires a distance image having distance information with the imaging unit 52 for each pixel as a captured image, and the control unit 51. Supply to.
  • the input unit 53 is configured to include, for example, a microphone, physical buttons and switches.
  • the input unit 53 supplies to the control unit 51, as input information, voice information such as a voice uttered by the user picked up by a microphone and ambient environmental sound, and an electric signal generated by operating a button or a switch. ..
  • the storage unit 54 is configured by a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and for example, information and parameters (hereinafter, determination information) for determining the type of operation by an operating tool such as a finger or arm. (Also called).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the display unit 55 is configured as a projector, for example, and projects a display object (projection image) on the top surface 21 under the control of the control unit 51.
  • the display unit 55 may be configured not only as a projector but also as a display provided on the top surface 21 or the like. In this case, the display unit 55 displays an image corresponding to the projected image.
  • the output unit 56 is configured as, for example, a speaker, and outputs a sound or a sound effect under the control of the control unit 51.
  • FIG. 4 is a block diagram showing a functional configuration example of the control unit 51.
  • the control unit 51 includes a photographing control unit 71, an image processing unit 72, an operating tool detection unit 73, an operation recognition unit 74, and an execution control unit 75.
  • the image capturing control unit 71 controls the image capturing unit 52 to acquire a captured image and supplies the captured image to the image processing unit 72.
  • the image processing unit 72 performs image processing on the captured image from the imaging control unit 71, and supplies the result of the image processing to the operating body detection unit 73. For example, the image processing unit 72 removes the background from the captured image or generates distance information indicating the distance to the operating body from the distance image.
  • the operating body detection unit 73 detects an operating body (a part of the user's body (for example, a user's finger or arm)) in the captured image after the image processing from the image processing unit 72.
  • the operating tool detection unit 73 acquires the feature points (skeleton information, joint information) of the operating tool by detecting the skeleton of the operating tool in the captured image after image processing.
  • a pattern matching method, deep learning, or the like may be used to detect the operation body.
  • the operating tool detection unit 73 represents, based on the extracted characteristic points of the operating tool, shape information indicating the shape of the operating tool with respect to the operating surface (top surface 21) and the attitude of the operating tool that operates on the operating surface. Posture information is generated and supplied to the operation recognition unit 74.
  • the operation recognition unit 74 uses the determination information stored in the storage unit 54 based on the detection result (shape information, posture information) of the operating body from the operating body detection unit 73 to determine the type of operation performed by the operating body. recognize.
  • the operation recognition unit 74 includes a setting unit 81.
  • the setting unit 81 causes the operation surface (top surface 21) to act on the operation surface (top surface 21) with respect to the type of operation recognized by the operation recognition unit 74 based on the shape information and the posture information acquired from the captured image. (Fingertip, whole hand, etc.) is set (determined).
  • a portion where the operation is applied is referred to as an action area.
  • the action area includes a line segment connecting points and two points.
  • the setting unit 81 sets parameters (such as an effective range or a threshold value that is a reference for determining whether or not the operation is valid) that is used to determine the operation in the set action area based on the shape information and the posture information. To do.
  • the action area and parameters set by the setting unit 81 are stored in the storage unit 54 as determination information, and are read from the storage unit 54 according to the shape information and the posture information.
  • the operation recognition unit 74 determines whether the operation on the operation body (action area) is valid based on the parameter set by the setting unit 81. When the operation recognition unit 74 determines that the operation is valid, the operation recognition unit 74 supplies operation information indicating the operation to the execution control unit 75.
  • the execution control unit 75 controls the execution of processing by the output unit 56 according to the operation information (operation in the action area) from the operation recognition unit 74 based on the parameters set by the setting unit 81. For example, the execution control unit 75 controls the display by the display unit 55 according to the operation in the action area based on the parameter.
  • each block of the control unit 51 may be configured separately, or at least one of them may be integrally configured, or at least one of them may be configured on a network and connected to each other. Either may be configured as a cloud service on the Internet.
  • step S11 the shooting control unit 71 controls the shooting unit 52 to obtain a shot image of the operating body on the operation surface.
  • step S12 the image processing unit 72 performs image processing on the captured image acquired by the capturing control unit 71.
  • step S13 the operating tool detection unit 73 detects the operating tool in the captured image after the image processing from the image processing unit 72 to generate shape information and posture information of the operating tool.
  • the operation recognition unit 74 recognizes the type of operation performed by the operation tool based on the shape information and the posture information (at least shape information) from the operation tool detection unit 73.
  • the type of operation recognized here may be a specific one type of operation in addition to a touch operation, a drag operation, a rotation operation of the operating body on the operation surface.
  • step S15 the setting unit 81 sets the action area and parameters of the operating tool based on the shape information and the posture information from the operating tool detection unit 73.
  • step S16 the operation recognition unit 74 determines, based on the parameter, whether the operation by the action area is valid.
  • step S16 If it is determined in step S16 that the operation is valid, the process proceeds to step S17, and the execution control unit 75 executes processing according to the operation in the action area based on the parameter.
  • step S16 determines whether the operation is valid. If it is determined in step S16 that the operation is not valid, the execution control unit 75 does nothing and returns to step S11, and the subsequent processing is repeated.
  • the action area on which the operation by the operation body is applied and the parameters used for the determination of the operation by the operation area are finely set based on the shape of the operation body, so that a more natural operation can be realized. Is possible.
  • FIG. 6 is a flowchart illustrating the flow of touch operation control processing. The process of FIG. 6 is executed by the image capturing unit 52, for example, in a state where the hand of the user who operates the display object displayed on the top surface 21 is captured.
  • step S31 the photographing control unit 71 controls the photographing unit 52 to acquire a photographed image of the hand of the user on the top surface 21.
  • step S32 the image processing unit 72 performs image processing on the captured image acquired by the capturing control unit 71.
  • step S33 the operation tool detection unit 73 generates the shape information of the finger by detecting the finger of the user in the captured image after the image processing from the image processing unit 72.
  • step S34 the operation recognition unit 74 recognizes the type of operation by the finger based on the shape information from the operation body detection unit 73.
  • step S35 the operation recognition unit 74 determines whether the recognized operation type is a touch operation. That is, it is determined whether or not the hand shape represented by the shape information is the hand shape of the touch operation.
  • step S35 If it is determined in step S35 that the type of operation is not a touch operation, the process returns to step S31 and the subsequent processing is repeated.
  • step S35 determines whether the type of operation is a touch operation, that is, if the hand shape represented by the shape information is a touch operation hand shape. If it is determined in step S35 that the type of operation is a touch operation, that is, if the hand shape represented by the shape information is a touch operation hand shape, the process proceeds to step S36.
  • step S36 the setting unit 81, based on the shape information from the operating body detection unit 73, sets the touch point and the touch effective range (the top surface 21 with the touch point as a reference, as the finger action area and the parameter for the touch operation. Set the area range above).
  • the touch points and the touch effective range corresponding to the hand shape represented by the shape information will be described. As shown in FIG. 7, the touch point and the touch effective range are set according to the hand shape represented by the shape information.
  • the touch point indicated by the cross mark in the figure is set at the tip of the index finger, and the effective touch range is It is set to a (relatively) "narrow" range.
  • the touch point is set to the tip of the index finger and the effective touch range is set to the "narrow" range.
  • the touch point is set to the center of gravity of the entire fingers (near the second joint of the middle finger) excluding the thumb, and the effective touch range is (relative To) "wide” range.
  • the touch point is set to the center of gravity of the entire finger excluding the thumb (near the second joint of the middle finger), and touch
  • the effective range is set to a "wide" range.
  • the touch point is set to the center of gravity of the entire hand (clenched fist) (near the first joint of the middle finger with the finger held), and the touch effective range is set. Is set to a "wide" range.
  • the touch point is set to the center of gravity of the entire hand (fist) (near the base of the little finger with the finger held)
  • the touch effective range is set to a “wide” range.
  • the touch point and the touch effective range are set according to the hand shape, the user can change the hand shape, for example, when performing a fine operation or when performing a rough operation. You will be able to use different hand shapes.
  • the operation recognition unit 74 determines whether the operation by the touch point is valid based on the touch effective range. Specifically, the touch operation is effective depending on whether or not the display object to be operated exists within the touch effective range and the distance between the touch point and the top surface 21 is shorter than a predetermined constant distance. Is determined. The distance between the touch point and the top surface 21 is obtained from the distance image acquired by the image capturing unit 52 or the distance information generated by the image processing unit 72 based on the captured image acquired by the image capturing unit 52. It is possible to calculate using the distance between the unit 52 and the top surface 21 and the distance between the imaging unit 52 and the touch point (finger of the user).
  • step S38 the execution control unit 75 executes processing according to the touch operation by the touch point based on the touch effective range.
  • the touch operation is effective not only when the user's finger directly touches the top surface 21 but also when the user's finger does not touch it directly.
  • the execution control unit 75 causes the display unit 55 to perform feedback display according to the touch operation (for example, the shape or color change of the touched display object), or a command according to the touch operation (for example, an effect).
  • the output unit 56 is caused to execute the output of sound).
  • step S37 when it is determined in step S37 that the touch operation is not valid, that is, there is no display object to be operated within the touch valid range, or the distance between the touch point and the top surface 21 is longer than a certain distance. In this case, nothing is executed, the process returns to step S31, and the subsequent processes are repeated.
  • the touch point on which the touch operation with the fingers is applied and the touch effective range used for determining the touch operation based on the touch point are finely set based on the hand shape, so that a more natural and intuitive touch is performed.
  • the operation can be realized.
  • the touch point and the touch effective range are set based on the shape information indicating the hand shape. However, based on the shape information and the attitude information indicating the attitude of the finger with respect to the top surface 21. Alternatively, the touch point and the touch effective range may be set.
  • FIG. 8 is a diagram illustrating a hand shape represented by shape information, a touch point corresponding to the posture of a finger represented by posture information, and a touch effective range. As shown in FIG. 8, the touch point and the touch effective range are set according to the hand shape represented by the shape information and the posture of the finger represented by the posture information.
  • the touch point is the thumb. It is set to the center of gravity of the entire finger excluding it, and the effective touch range is set to a "wide" range.
  • the touch point is the center of gravity of the entire hand.
  • the touch effective range is set to the “wide” range.
  • the touch point and the effective touch range are set according to the shape of the hand and the posture of the finger, so that even if the posture of the finger is changed, the user can perform a touch operation that is more natural and less burdensome. Can be realized.
  • the touch effective range is set as the parameter for the touch operation.
  • a touch threshold value that is a threshold value of the distance between the touch point and the top surface 21 may be set in addition to the touch effective range.
  • FIG. 9 is a flowchart illustrating a flow of touch operation control processing in which a touch effective range and a touch threshold are set as parameters for a touch operation.
  • steps S51 to S55 of the flowchart of FIG. 9 are similar to the processes of steps S31 to S35 of the flowchart of FIG. 6, so description thereof will be omitted.
  • step S55 if it is determined in step S55 that the type of operation is a touch operation, that is, if the hand shape represented by the shape information is a touch operation hand shape, the process proceeds to step S56.
  • step S56 the setting unit 81 sets the touch point, the touch effective range, and the touch threshold as the action area and parameters of the finger for the touch operation based on the shape information from the operation body detection unit 73.
  • a touch threshold value corresponding to the hand shape represented by the shape information will be described with reference to FIG.
  • a touch threshold value is set in addition to a touch point and a touch effective range (not shown) according to the hand shape represented by the shape information.
  • the touch threshold is set to 5 mm.
  • the touch threshold is set to 5 mm.
  • the touch threshold is set to 10 mm.
  • the touch threshold is set to 10 mm.
  • the touch threshold is set to 20 mm.
  • the touch threshold is set to 20 mm.
  • the touch threshold is set in addition to the touch point and the touch effective range according to the hand shape, so that the user can, for example, perform a detailed operation and a rough operation, Can be used more finely.
  • the operation recognition unit 74 determines whether the operation by the touch point is valid based on the touch valid range and the touch threshold. Specifically, the touch operation is effective depending on whether or not the display object to be operated exists within the touch effective range and whether or not the distance between the touch point and the top surface 21 is shorter than the touch threshold value described above. It is determined whether or not.
  • step S57 When it is determined in step S57 that the touch operation is valid, that is, when the display object to be operated exists within the touch valid range and the distance between the touch point and the top surface 21 is shorter than the touch threshold, the step is performed.
  • step S58 the execution control unit 75 executes processing according to the touch operation with the touch point based on the touch effective range and the touch threshold.
  • step S57 if it is determined in step S57 that the operation is not valid, that is, if there is no display object to be operated within the touch effective range, or if the distance between the touch point and the top surface 21 is longer than the touch threshold value. , nothing is executed, the process returns to step S51, and the subsequent processing is repeated.
  • the touch threshold which is the threshold of the distance range between the touch point and the top surface 21, is set finely based on the hand shape, in addition to the touch point and the touch effective range, so that a more natural and finer setting is achieved. It is possible to realize touch operation.
  • the effective touch range and the touch threshold are set to be larger than in the case where the size of the hand is equal to or larger than a certain size. As a result, even if the child performs a rough operation, a more reliable touch operation can be realized.
  • the control unit 51 As the input information from the input unit 53, specific information for identifying the user may be supplied to the control unit 51. In this case, the location of the touch point, the touch effective range, and the touch threshold may be set for each user identified by the identification information.
  • the dominant hand information indicating the dominant hand of the user may be registered in the storage unit 54 or the like in advance.
  • the location of the touch point, the effective touch range, or the value of the touch threshold may be set based on the dominant hand information, depending on whether or not the user is the dominant hand.
  • the user may be allowed to register the hand shape of the touch operation before the touch operation control process is started. In this case, it is determined whether or not the hand shape represented by the shape information is the registered hand shape of the touch operation.
  • the hand shape of the touch operation is registered, for example, for each application such as a game provided by the display object projected by the display unit 55, or by selecting the hand shape from a prepared menu screen or the like. To be done.
  • the hand shape of the touch operation may be registered by voice input to the input unit 53 or the like, or may be registered by causing the user to perform the touch operation in advance and storing the hand shape recognized at that time. Good.
  • the hand shape at that time is recognized. Then, the recognized hand shape may be registered as the hand shape of the touch operation.
  • FIG. 11 is a flowchart illustrating the flow of drag operation control processing. The process of FIG. 11 is executed in the state where the above-described touch operation is performed.
  • steps S71 to S74 of the flowchart of FIG. 11 are the same as the processes of steps S31 to S34 of the flowchart of FIG. 6, so description thereof will be omitted.
  • step S75 the operation recognition unit 74 determines whether the recognized operation type is a drag operation. Specifically, it is determined whether or not the hand shape represented by the shape information is the hand shape of the drag operation which is the same hand shape as the touch operation.
  • step S75 If it is determined in step S75 that the type of operation is not a drag operation, the process returns to step S71 and the subsequent processing is repeated.
  • step S75 if it is determined in step S75 that the type of operation is the drag operation, that is, if the hand shape represented by the shape information is the hand shape of the drag operation, the process proceeds to step S76.
  • the drag operation validity/invalidity and the drag threshold are set according to the hand shape represented by the shape information.
  • the valid/invalid of the drag operation and the drag threshold according to the shape information are set at the same time when the touch point and the touch effective range are set in the touch operation control process, for example.
  • the touch point set in the touch operation becomes the action area.
  • the drag operation is "valid" and the drag threshold is set to 5 mm.
  • the drag operation is "valid" and the drag threshold is set to 5 mm.
  • the drag operation is "valid" and the drag threshold is set to 10 mm.
  • the drag operation is "invalid" and the drag threshold is not set.
  • the drag operation is “invalid” and the drag threshold is not set.
  • the drag operation is “valid” and the drag threshold is set to 30 mm.
  • step S76 the operation recognition unit 74 determines whether the drag operation by the touch point is valid. Specifically, it is determined whether the drag operation is valid or not depending on whether the movement distance of the touch point is larger than the drag threshold value.
  • step S76 When it is determined in step S76 that the drag operation is valid, that is, when the movement distance of the touch point is larger than the drag threshold, the process proceeds to step S77, and the execution control unit 75 drags the touch point based on the drag threshold. Perform processing according to the operation.
  • the execution control unit 75 moves the display object displayed on the top surface 21 in accordance with the drag operation, similarly to the drag operation on the normal GUI. Further, for example, the execution control unit 75 may cause the display unit 55 to display a display corresponding to the drag operation for each hand shape.
  • FIG. 13 is a diagram showing an example of a display according to a drag operation for each hand shape.
  • the execution control unit 75 causes the display object to display the display object. To move.
  • the drag operation is performed while the display object displayed on the top surface 21 is being touched while holding the hand with the little finger facing down (fist). If so, the execution control unit 75 stretches the display object in the dragged direction.
  • the drag operation is performed on the display object displayed on the top surface 21 with the little finger facing downward and the finger closed (hand sword). If so, the execution control unit 75 disconnects the display object.
  • step S76 determines whether the drag operation is valid, that is, if the movement distance of the touch point is smaller than the drag threshold, nothing is executed, the process returns to step S71, and the subsequent processes are repeated.
  • the drag operation is enabled/disabled based on the hand shape, and the drag threshold value indicating the movement distance of the touch point at which the drag operation starts to be set finely, so that a more natural and intuitive drag can be performed.
  • the operation can be realized.
  • the same hand shape as the touch operation is changed to the drag operation, but the hand operation may be changed to a different hand shape from the touch operation.
  • the touch operation with the "one index finger” may be changed to the drag operation with the "open hand”.
  • FIG. 14 is a flowchart illustrating the flow of the rotation operation control process. The process of FIG. 14 is executed by the image capturing unit 52, for example, in a state where the hand of the user who operates the display object displayed on the top surface 21 is captured.
  • steps S91 to S94 of the flowchart of FIG. 14 are the same as the processes of steps S31 to S34 of the flowchart of FIG. 6, so description thereof will be omitted.
  • step S95 the operation recognition unit 74 determines whether the recognized operation type is a rotation operation. Specifically, it is determined whether or not the hand shape represented by the shape information is the hand shape of the rotation operation.
  • step S95 If it is determined in step S95 that the type of operation is not the rotation operation, the process returns to step S91 and the subsequent processing is repeated.
  • step S95 if it is determined in step S95 that the type of operation is a rotation operation, that is, if the hand shape represented by the shape information is a rotation operation hand shape, the process proceeds to step S96.
  • step S96 the setting unit 81 sets predetermined two points (specifically, a line segment connecting the two points) of the finger as the action area of the finger for the rotation operation based on the shape information from the operating body detection unit 73. ) Is set as the rotation angle acquisition point.
  • the rotation angle acquisition point corresponding to the hand shape represented by the shape information will be described with reference to FIG. As shown in FIG. 15, the rotation angle acquisition point is set according to the hand shape represented by the shape information.
  • the rotation angle acquisition point is set to a line segment that connects the base and tip of the extended finger (index finger).
  • the extended finger is not limited to the index finger.
  • the rotation angle acquisition point is set to the line segment connecting the tips of the two fingers.
  • the extended two fingers are not limited to the thumb and the index finger.
  • the rotation angle acquisition point is set to the line segment connecting the wrist and the tip of any one of the fingers such as the middle finger.
  • the rotation angle acquisition point is set according to the shape of the hand, the user can change the shape of the hand, for example, when performing a detailed operation or when performing a rough operation. You will be able to use different shapes.
  • step S97 the execution control unit 75 executes processing according to the rotation operation based on the rotation angle acquisition point. Specifically, the execution control unit 75 executes processing according to the rotation angle of rotation of the set rotation angle acquisition point (a line segment connecting the two points) about the normal direction of the top surface 21 as an axis. ..
  • the execution control unit 75 causes the display unit 55 to display the rotation operation.
  • the execution control unit 75 rotates, for example, the rotary knob displayed on the top surface 21 as a display object according to the rotation angle of the rotation angle acquisition point.
  • the rotation angle acquisition point is set as the action area of the finger for the rotation operation.
  • a rotation angle multiple that is a multiple of the rotation angle of the rotation angle acquisition point when the rotation of the rotation angle acquisition point acts may be set as a parameter for the rotation operation.
  • FIG. 16 is a flowchart illustrating the flow of the rotation operation control process in which the rotation angle multiple is set as the parameter for the rotation operation.
  • step S115 if it is determined in step S115 that the type of operation is a rotation operation, that is, if the hand shape represented by the shape information is a rotation operation hand shape, the process proceeds to step S116.
  • step S116 the setting unit 81 sets the rotation angle acquisition point and the rotation angle multiple as the action area of the finger and the parameter for the rotation operation based on the shape information from the operation body detection unit 73.
  • the rotation angle multiple corresponding to the hand shape represented by the shape information will be described with reference to FIG. As shown in FIG. 17, the rotation angle multiple is set according to the hand shape represented by the shape information.
  • the rotation angle acquisition point is set to the line segment connecting the base and tip of the extended finger, and the rotation angle The multiple is set to 1.3.
  • the rotation angle acquisition point is set to the line segment connecting the tips of the two fingers, and the rotation angle multiple is set to 1.0 times. ..
  • the rotation angle acquisition point is set to the line segment that connects the wrist and the tip of the middle finger, for example, and the rotation angle multiple is set to 2.0 times. To be done.
  • FIG. 18 is a diagram illustrating a rotation angle multiple and a rotation range of motion for each hand shape.
  • the operation of the rotary knob 210 as the display object shown in the upper part of the figure will be described as an example.
  • the rotation range of the rotation angle acquisition point is slightly narrower than when the hand shape is “two fingers.” Therefore, as shown in the lower left side of the figure, when the shape of the hand is "one finger", the rotation angle multiple when operating the rotary knob 210 is set to 1.3 times, so that the angle change is slightly small. Even in this case, the rotary knob 210 can be operated with a small load.
  • the range of rotation of the rotation angle acquisition point is considerably narrower than when the hand shape is "two fingers". Therefore, as shown in the lower right side of the drawing, when the shape of the hand is an "open hand", the rotation angle multiple when operating the rotary knob 210 is set to 2.0 times, so that a small angle change can be achieved. Even if there is, the rotary knob 210 can be operated with a small load.
  • the rotation angle multiple is set according to the hand shape, so that the user can perform the rotating operation with high operability for each hand shape.
  • step S117 the execution control unit 75 executes processing according to the rotation operation at the rotation angle acquisition point based on the rotation angle multiple. Specifically, the execution control unit 75 executes processing according to the rotation angle based on the rotation angle multiple of the set rotation angle acquisition point (the line segment connecting the two points).
  • steps S131 to S138 of the flowchart of FIG. 19 is basically the same as the processing of steps S31 to S38 of the flowchart of FIG. 6, so description thereof will be omitted.
  • step S135 determines whether the recognized operation type is the touch operation. If it is determined in step S135 that the recognized operation type is not the touch operation, the process proceeds to step S139.
  • step S136 based on the shape information from the operating tool detection unit 73, the drag threshold value is set as a parameter for the drag operation, as the finger action area and the parameter for the touch operation, together with the touch point and the touch effective range. Is set.
  • steps S139 to S141 Since the processing of steps S139 to S141 is the same as the processing of steps S75 to S77 in the flowchart of FIG. 11, the description thereof will be omitted.
  • step S139 determines whether the recognized operation type is the drag operation. If it is determined in step S139 that the recognized operation type is not the drag operation, the process proceeds to step S142.
  • steps S142 to S144 Since the processing of steps S142 to S144 is the same as the processing of steps S95 to S97 in the flowchart of FIG. 14, description thereof will be omitted.
  • the hand shape represented by the shape information is a touch-operated hand shape, it depends on whether the belly of the hand (the part of the palm on the wrist side) or the elbow is in contact with the operation surface (top surface 21). Then, a touch point, a touch effective range, and a touch threshold may be set. Whether the abdomen or elbow of the hand is in contact with the top surface 21 is recognized by detecting the skeleton of the hand or arm to recognize the position of the abdomen or elbow of the hand. It can be determined by calculating the distance from the top surface 21.
  • the operation to be accepted (operation to be determined) may be changed depending on whether the belly or elbow of the hand is in contact with the top surface 21.
  • the touch operation with the finger is not accepted, and the pointing operation pointing to the display object in the distance is accepted.
  • the pointing operation for example, a straight arrow is drawn from a fingertip toward a display object located at a distance.
  • the touch point, touch effective range, and touch threshold may be set depending on whether or not it is detected that there is tremor in the finger due to convulsions or the like.
  • the shaking of the fingers may be detected before the touch operation control process is started or may be detected during the process.
  • the time from when it is determined that the operation is a touch operation to when it is determined that the touch operation is valid is set to be longer than usual. ..
  • a user who has a tremor in his/her finger can receive the touch operation even if the touch operation takes more time than necessary.
  • hand shape, touch point, touch effective range, and touch threshold that are determined to be touch operations may be set according to the region, ethnic culture, and customs.
  • the determination criterion of the hand shape may be changed depending on whether or not it is detected that the fingers are different from normal.
  • the gesture recognition may be performed by ignoring the missing finger. Specifically, all fingers are recognized to be open in a state where fingers other than the missing finger are open.
  • the operation determination criteria may be relaxed.
  • the user may confirm that the operation is intentional, and then newly register the operation corresponding to the hand shape. Good.
  • the hand shape at that time is recognized.
  • the recognized hand shape may be registered as the hand shape of a specific operation.
  • the registered hand shape operation may be enabled only within the certain range, or the registered hand shape operation may be enabled even outside the range.
  • the action area and parameters may be set based on information other than the shape of the hand and the posture of the fingers. For example, the action area and parameters are set based on whether the user is sitting (sitting) or standing (standing), bending/extending state of the arm, distance to the operation target, size of the operation target, etc. To do.
  • the top surface 21 of the table 20 is used as the operation surface, and the action area and the parameters are set based on the hand shape and the posture of the fingers with respect to the operation surface. It may be a flat surface such as a ceiling.
  • operation body is not limited to the fingers, but may be any part of the user's body capable of touch and gesture recognition, and may be the arm, upper body, leg, or even the whole body.
  • the user is not limited to humans, and may be animals such as monkeys, orangutans, dogs and cats.
  • the series of processes described above can be executed by hardware or software.
  • a program forming the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 22 is a block diagram showing a configuration example of hardware of a computer that executes the series of processes described above by a program.
  • a CPU 1001, a ROM 1002, and a RAM 1003 are connected to each other by a bus 1004.
  • An input/output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a storage unit 1008, a communication unit 1009, and a drive 1010 are connected to the input/output interface 1005.
  • the input unit 1006 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 1007 includes a display, a speaker and the like.
  • the storage unit 1008 includes a hard disk, a non-volatile memory, or the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004 and executes the program, thereby performing the above-described series of operations. Is processed.
  • the program executed by the computer (CPU 1001) can be provided, for example, by recording it on a removable medium 1011 such as a package medium. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input/output interface 1005 by mounting the removable medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in the ROM 1002 or the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in time series in the order described in this specification, or in parallel, or at a required timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present disclosure may have a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processes.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present disclosure may have the following configurations.
  • An information processing apparatus including a control unit that sets the.
  • the operating body is a user's hand
  • the operation recognition unit recognizes the type of operation based on the shape of the finger indicated by the shape information
  • the information processing apparatus according to (3) wherein the control unit determines a part of the finger as the action area.
  • the control unit determines at least one of the tip of any one of the fingers, the center of gravity of the entire plurality of fingers, and the center of gravity of the entire hand as the action area.
  • the control unit sets, as the parameter, an effective range in which the operation in the operation area acts on the operation surface.
  • the effective range includes an area range on the operation surface.
  • the control unit further sets, as the parameter, a threshold value of a distance between the operation area and the operation surface on which the operation in the operation area acts on the operation surface.
  • the operation includes a drag operation.
  • the control unit determines at least one of the tip of any one finger, the center of gravity of the entire plurality of fingers, and the center of gravity of the entire hand as the action area.
  • the information processing apparatus sets, as the parameter, a movement distance of the operation area where the operation in the operation area starts to act on the operation surface.
  • the information processing apparatus includes a rotation operation.
  • the control unit includes at least one of a line segment that connects the tips of two fingers, a line segment that connects the tip of any one finger to the wrist, and a line segment that connects the tip of any one finger to the base. Or the information processing apparatus according to (13).
  • the control unit sets, as the parameter, a multiple of a rotation angle of the action area when the rotation of the action area about the normal direction of the operation surface acts on the operation surface (14). The information processing device described.
  • the control unit determines the action area based on the shape information and the posture information of the operating body acquired from the captured image, and sets the parameter (1) to (15) The information processing device described.
  • the information processing device A parameter used for determining the operation region in which the operation by the operation body is applied, based on the shape information of the operation body that operates the operation surface, which is acquired from the captured image, and used for determining the operation in the operation region. Information processing method to set.
  • a parameter used for determining the operation region in which the operation by the operation body is applied based on the shape information of the operation body that operates the operation surface, which is acquired from the captured image, and used for determining the operation in the operation region.

Abstract

本開示は、より自然な操作を実現することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。 設定部は、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、操作体による操作を作用させる作用領域を決定し、作用領域における操作の判定に用いられるパラメータを設定する。本開示は、例えば、投影画像をユーザに操作させる表示システムに適用することができる。

Description

情報処理装置、情報処理方法、および記録媒体
　本開示は、情報処理装置、情報処理方法、および記録媒体に関し、特に、より自然な操作を実現することができるようにする情報処理装置、情報処理方法、および記録媒体に関する。
　近年、テーブルの天面や天井、壁など、スクリーン以外の面に画像を投影し、表示された表示情報（仮想物体）をユーザが操作することが可能な表示システムが普及しつつある。
　このような表示システムとして、例えば、特許文献１には、テーブルの天面にコップや皿などの実物体が置かれた場合、実物体との位置関係に応じて、表示されている仮想物体の移動を制御するシステムが開示されている。
特開２０１６－５１４３６号公報
　上述したような仮想物体の操作は、例えばユーザの手や腕などによるタッチやジェスチャが認識されることで実現される。しかしながら、例えば手のなかで操作を作用させる箇所や、その箇所による操作の判定基準を細かく設定することは、従来の技術では考慮されておらず、自然な操作を実現することはできなかった。
　本開示は、このような状況に鑑みてなされたものであり、より自然な操作を実現することができるようにするものである。
　本開示の情報処理装置は、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部を備える情報処理装置である。
　本開示の情報処理方法は、情報処理装置が、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する情報処理方法である。
　本開示の記録媒体は、コンピュータに、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する処理を実行させるためのプログラムが記録された記録媒体である。
　本開示においては、撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータが設定される。
　本開示によれば、より自然な操作を実現することが可能となる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示の実施の形態に係る情報処理装置の概観を示す図である。 操作面に対する操作の例を示す図である。 情報処理装置の構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 操作制御処理の流れについて説明するフローチャートである。 タッチ操作制御処理の流れについて説明するフローチャートである。 手形状によるタッチ点とタッチ有効範囲の例を示す図である。 手形状と手指の姿勢によるタッチ点とタッチ有効範囲の例を示す図である。 タッチ操作制御処理の流れについて説明するフローチャートである。 手形状によるタッチ閾値の例を示す図である。 ドラッグ操作制御処理の流れについて説明するフローチャートである。 手形状によるドラッグ点とドラッグ閾値の例を示す図である。 手形状毎のドラッグ操作に応じた表示の例を示す図である。 回転操作制御処理の流れについて説明するフローチャートである。 手形状による回転角取得点の例を示す図である。 回転操作制御処理の流れについて説明するフローチャートである。 手形状による回転角取得点と回転角倍数の例を示す図である。 手形状毎の回転角倍数と回転可動域について説明する図である。 操作制御処理の全体の流れについて説明するフローチャートである。 タッチ操作の変形例について説明する図である。 タッチ操作の変形例について説明する図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．本開示の実施の形態に係る情報処理装置の構成と動作
　２．タッチ操作の例
　３．ドラッグ操作の例
　４．回転操作の例
　５．その他
＜１．本開示の実施の形態に係る情報処理装置の構成と動作＞
　まず、本開示の実施の形態に係る情報処理装置の構成と動作について説明する。
（情報処理装置の概観）
　図１は、本開示の実施の形態に係る情報処理装置の概観を示す図である。
　図１に示されるように、情報処理装置１０は、テーブル２０の上方に、例えばテーブル２０の一部から延在するアーム部材で支持され、テーブル２０の天面２１とは離隔した状態で設けられる。
　情報処理装置１０は、テーブル２０の天面２１を操作面として、天面２１に画像を投影し、天面２１に表示された投影画像（以下、表示物体ともいう）をユーザに操作させる。
　具体的には、情報処理装置１０は、小型のプロジェクタやカメラ、画像認識機能を備え、天面２１に表示物体を投影するとともに、その表示物体を操作するユーザの手指の動きや傾きの角度からタッチやジェスチャを認識して、表示物体に反映させる。
　例えば、図２に示されるように、操作面である天面２１に対するユーザの手Ｈ１によるジェスチャが認識されることで、指の軌跡に対応した曲線３１が天面２１上に描かれる。また、天面２１に対するユーザの手Ｈ２によるタッチとジェスチャが認識されることで、天面２１に表示されたオブジェクト３２が、指の動きに合わせて天面２１上を移動する。
　このような表示物体の操作は、例えばユーザの手や腕などによるタッチやジェスチャが認識されることで実現される。しかしながら、例えば手のなかで操作を作用させる（反映させる）箇所や、その箇所による操作の判定基準を細かく設定することは、従来の技術では考慮されておらず、自然な操作を実現することはできなかった。
　そこで、本開示の実施の形態に係る情報処理装置１０は、手指や腕などの操作体の形状や姿勢に基づいて、操作体において操作を作用させる箇所（指先や手全体など）とともに、その箇所による操作の判定基準（有効範囲や閾値など）を設定できるようにする。
（情報処理装置の構成）
　図３は、情報処理装置１０の構成例を示すブロック図である。
　図３に示されるように、情報処理装置１０は、制御部５１、撮影部５２、入力部５３、記憶部５４、表示部５５、および出力部５６を備えている。
　制御部５１は、ＣＰＵ（Central Processing Unit）などにより構成され、情報処理装置１０の各部を制御する。制御部５１の構成の詳細については後述する。
　撮影部５２は、単眼カメラやステレオカメラ、距離センサなどで構成される。撮影部５２は、制御部５１の制御の下、操作面（天面２１）に対するユーザの手指や腕などの操作体を撮影する。撮影により取得された撮影画像は、制御部５１に供給される。撮影部５２は、例えばステレオカメラやデプスセンサなどとして構成される場合、制御部５１の制御の下、撮影画像として、画素毎に撮影部５２との距離情報を有する距離画像を取得し、制御部５１に供給する。
　入力部５３は、例えばマイクロフォン、物理的なボタンやスイッチなどを含むように構成される。入力部５３は、マイクロフォンにより収音されたユーザが発する音声や周囲の環境音などの音声情報、ボタンやスイッチなどが操作されることで発生する電気信号を、入力情報として制御部５１に供給する。
　記憶部５４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などにより構成され、例えば、手指や腕などの操作体による操作の種類などを判定するための情報やパラメータ（以下、判定情報ともいう）を記憶する。
　表示部５５は、例えばプロジェクタとして構成され、制御部５１の制御の下、天面２１に表示物体（投影画像）を投影する。表示部５５は、プロジェクタとして構成される以外にも、天面２１などの上に設けられるディスプレイとして構成されてもよい。この場合、表示部５５には、投影画像に相当する画像が表示される。
　出力部５６は、例えばスピーカなどとして構成され、制御部５１の制御の下、音声や効果音などを出力する。
（制御部の構成）
　図４は、制御部５１の機能構成例を示すブロック図である。
　制御部５１は、撮影制御部７１、画像処理部７２、操作体検出部７３、操作認識部７４、および実行制御部７５から構成される。
　撮影制御部７１は、撮影部５２を制御することで撮影画像を取得し、画像処理部７２に供給する。
　画像処理部７２は、撮影制御部７１からの撮影画像に対して画像処理を施し、その画像処理の結果を、操作体検出部７３に供給する。例えば、画像処理部７２は、撮影画像において背景を除去したり、距離画像から操作体との距離を表す距離情報を生成する。
　操作体検出部７３は、画像処理部７２からの画像処理後の撮影画像において、操作体（ユーザの身体の部位（例えばユーザの手指や腕など））を検出する。
　具体的には、操作体検出部７３は、画像処理後の撮影画像において操作体の骨格を検出することで、操作体の特徴点（骨格情報、関節情報）を取得する。操作体の検出には、マーカ方式の他、パターンマッチング方式やディープラーニングなどが用いられてもよい。
　操作体検出部７３は、抽出した操作体の特徴点に基づいて、操作面（天面２１）に対する操作体の形状を表す形状情報と、操作面に対して操作を行う操作体の姿勢を表す姿勢情報を生成し、操作認識部７４に供給する。
　操作認識部７４は、操作体検出部７３からの操作体の検出結果（形状情報、姿勢情報）に基づいて、記憶部５４に記憶されている判定情報を用いて、操作体による操作の種類を認識する。
　操作認識部７４は、設定部８１を備えている。
　設定部８１は、撮影画像から取得された形状情報や姿勢情報に基づいて、操作認識部７４により認識された種類の操作について、操作体による操作を操作面（天面２１）に作用させる箇所（指先、手全体など）を設定（決定）する。以下、操作体において、その操作を作用させる箇所を作用領域という。作用領域は、撮影画像において面積を有する領域の他、点、２点を結ぶ線分を含むものとする。
　また、設定部８１は、形状情報や姿勢情報に基づいて、設定した作用領域における操作の判定に用いられるパラメータ（操作が有効であるか否かの判定基準となる有効範囲や閾値など）を設定する。
　設定部８１により設定される作用領域とパラメータは、判定情報として記憶部５４に記憶されており、形状情報や姿勢情報に応じて、記憶部５４から読み出される。
　操作認識部７４は、設定部８１により設定されたパラメータに基づいて、操作体（作用領域）における操作が有効であるか否かを判定する。操作が有効であると判定した場合、操作認識部７４は、その操作を表す操作情報を、実行制御部７５に供給する。
　実行制御部７５は、設定部８１により設定されたパラメータに基づいて、操作認識部７４からの操作情報（作用領域における操作）に応じた、出力部５６による処理の実行を制御する。例えば、実行制御部７５は、パラメータに基づいて、作用領域における操作に応じた、表示部５５による表示を制御する。
　なお、制御部５１の各ブロックは、それぞれ別個に構成される以外にも、少なくともいずれかが一体として構成されてもよいし、少なくともいずれかがネットワーク上に構成され、相互に接続されたり、そのいずれかがインターネット上のクラウドサービスとして構成されてもよい。
（操作制御処理の流れ）
　次に、図５のフローチャートを参照して、情報処理装置１０による操作制御処理の流れについて説明する。
　ステップＳ１１において、撮影制御部７１は、撮影部５２を制御することで、操作面に対する操作体を撮影した撮影画像を取得する。
　ステップＳ１２において、画像処理部７２は、撮影制御部７１により取得された撮影画像に対して画像処理を施す。
　ステップＳ１３において、操作体検出部７３は、画像処理部７２からの画像処理後の撮影画像において、操作体を検出することで、操作体の形状情報と姿勢情報を生成する。
　ステップＳ１４において、操作認識部７４は、操作体検出部７３からの形状情報と姿勢情報（少なくとも形状情報）に基づいて、操作体による操作の種類を認識する。ここで認識される操作の種類は、操作面に対する操作体のタッチ操作やドラッグ操作、回転操作の他、特定の１種類の操作であればよい。
　ステップＳ１５において、設定部８１は、操作体検出部７３からの形状情報と姿勢情報に基づいて、操作体の作用領域とパラメータを設定する。
　ステップＳ１６において、操作認識部７４は、パラメータに基づいて、作用領域による操作が有効であるか否かを判定する。
　ステップＳ１６において操作が有効であると判定された場合、ステップＳ１７に進み、実行制御部７５は、パラメータに基づいて、作用領域による操作に応じた処理を実行する。
　一方、ステップＳ１６において操作が有効でないと判定された場合、実行制御部７５は何もせず、ステップＳ１１に戻り、以降の処理が繰り返される。
　以上の処理によれば、操作体の形状に基づいて、操作体による操作を作用させる作用領域と、作用領域による操作の判定に用いるパラメータが細かく設定されるので、より自然な操作を実現することが可能となる。
　以下においては、ユーザの手指による操作として、タッチ操作、ドラッグ操作、および回転操作を認識する例について説明する。
＜２．タッチ操作の例＞
　図６は、タッチ操作制御処理の流れについて説明するフローチャートである。図６の処理は、撮影部５２により、例えば天面２１に表示された表示物体を操作するユーザの手が撮影されている状態で実行される。
　ステップＳ３１において、撮影制御部７１は、撮影部５２を制御することで、天面２１に対するユーザの手を撮影した撮影画像を取得する。
　ステップＳ３２において、画像処理部７２は、撮影制御部７１により取得された撮影画像に対して画像処理を施す。
　ステップＳ３３において、操作体検出部７３は、画像処理部７２からの画像処理後の撮影画像において、ユーザの手指を検出することで、手指の形状情報を生成する。
　ステップＳ３４において、操作認識部７４は、操作体検出部７３からの形状情報に基づいて、手指による操作の種類を認識する。
　ステップＳ３５において、操作認識部７４は、認識された操作の種類がタッチ操作であるか否かを判定する。すなわち、形状情報で表される手形状が、タッチ操作の手形状であるか否かが判定される。
　ステップＳ３５において、操作の種類がタッチ操作でないと判定された場合、ステップＳ３１に戻り、以降の処理が繰り返される。
　一方、ステップＳ３５において、操作の種類がタッチ操作であると判定された場合、すなわち、形状情報で表される手形状が、タッチ操作の手形状である場合、ステップＳ３６に進む。
　ステップＳ３６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点とタッチ有効範囲（タッチ点を基準とした天面２１上での面積範囲）を設定する。
　ここで、図７を参照して、形状情報で表される手形状に対応するタッチ点とタッチ有効範囲について説明する。図７に示されるように、形状情報で表される手形状に応じて、タッチ点とタッチ有効範囲が設定される。
　具体的には、手形状が、人差し指を１本だけ伸ばした状態の「１本人差し指」である場合、図中、十字マークで示されるタッチ点は、人差し指の先端に設定され、タッチ有効範囲は（相対的に）「狭い」範囲に設定される。
　手形状が、手指を開いた状態の「開いた手」である場合、タッチ点は、人差し指の先端に設定され、タッチ有効範囲は「狭い」範囲に設定される。
　手形状が、手指を閉じた状態の「閉じた手」である場合、タッチ点は、親指を除いた指全体の重心（中指の第２関節近傍）に設定され、タッチ有効範囲は（相対的に）「広い」範囲に設定される。
　手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、タッチ点は、親指を除いた指全体の重心（中指の第２関節近傍）に設定され、タッチ有効範囲は「広い」範囲に設定される。
　手形状が、手指を握った状態の「握りこぶし」である場合、タッチ点は、手（握りこぶし）全体の重心（手指を握った状態での中指の第１関節近傍）に設定され、タッチ有効範囲は「広い」範囲に設定される。
　手形状が、小指側を下に向けて手指を握った状態の「握りこぶし」である場合、タッチ点は、手（握りこぶし）全体の重心（手指を握った状態での小指の付け根近傍）に設定され、タッチ有効範囲は「広い」範囲に設定される。
　このように、手形状に応じて、タッチ点とタッチ有効範囲が設定されるので、ユーザは、手形状を変えることによって、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状を使い分けることができるようになる。
　図６のフローチャートに戻り、ステップＳ３７において、操作認識部７４は、タッチ有効範囲に基づいて、タッチ点による操作が有効であるか否かを判定する。具体的には、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離が、あらかじめ決められた一定距離より近いか否かによって、タッチ操作が有効であるか否かが判定される。タッチ点と天面２１との距離は、撮影部５２により取得された距離画像、または、撮影部５２により取得された撮影画像に基づいて画像処理部７２により生成された距離情報から求められる、撮影部５２と天面２１との距離と、撮影部５２とタッチ点（ユーザの手指）との距離を用いて算出することが可能である。
　ステップＳ３７においてタッチ操作が有効であると判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離が一定距離より近い場合、ステップＳ３８に進み、実行制御部７５は、タッチ有効範囲に基づいて、タッチ点によるタッチ操作に応じた処理を実行する。このように、タッチ操作は、ユーザの手指が天面２１に直接触れている場合はもちろん、直接触れていなくとも有効となる。
　例えば、実行制御部７５は、タッチ操作に応じたフィードバック表示（例えば、タッチされた表示物体の形状や色の変化など）を表示部５５に行わせたり、タッチ操作に応じたコマンド（例えば、効果音の出力など）を出力部５６に実行させたりする。
　一方、ステップＳ３７においてタッチ操作が有効でないと判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在しないか、または、タッチ点と天面２１との距離が一定距離より遠い場合、何も実行されずステップＳ３１に戻り、以降の処理が繰り返される。
　以上の処理によれば、手形状に基づいて、手指によるタッチ操作を作用させるタッチ点と、タッチ点によるタッチ操作の判定に用いるタッチ有効範囲が細かく設定されるので、より自然で直感的なタッチ操作を実現することが可能となる。
　上述した処理においては、手形状を表す形状情報に基づいて、タッチ点とタッチ有効範囲が設定されるものとしたが、その形状情報と、天面２１に対する手指の姿勢を表す姿勢情報に基づいて、タッチ点とタッチ有効範囲が設定されるようにしてもよい。
　図８は、形状情報で表される手形状と、姿勢情報で表される手指の姿勢に対応するタッチ点とタッチ有効範囲について説明する図である。図８に示されるように、形状情報で表される手形状と、姿勢情報で表される手指の姿勢に応じて、タッチ点とタッチ有効範囲が設定される。
　具体的には、手形状が、手指を閉じた状態の「閉じた手」で、かつ、手指の姿勢が、手の甲に対して指を反った「反り」である場合、タッチ点は、親指を除いた指全体の重心に設定され、タッチ有効範囲は「広い」範囲に設定される。
　一方、手形状が、手指を閉じた状態の「閉じた手」で、かつ、手指の姿勢が、手の甲に対して指を伸ばした「水平」である場合、タッチ点は、手全体の重心に設定され、タッチ有効範囲は「広い」範囲に設定される。
　このように、手形状と手指の姿勢に応じて、タッチ点とタッチ有効範囲が設定されるので、ユーザは、手指の姿勢を変えた場合であっても、より自然で負荷の少ないタッチ操作を実現することができる。
　また、上述した処理においては、形状情報で表される手形状が、タッチ操作の手形状である場合に、タッチ操作についてのパラメータとして、タッチ有効範囲が設定されるものとした。これに限らず、タッチ操作についてのパラメータとして、タッチ有効範囲に加えて、タッチ点と天面２１との距離の閾値であるタッチ閾値が設定されるようにしてもよい。
　図９は、タッチ操作についてのパラメータとして、タッチ有効範囲とタッチ閾値を設定するようにしたタッチ操作制御処理の流れについて説明するフローチャートである。
　なお、図９のフローチャートのステップＳ５１乃至Ｓ５５の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３５の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ５５において、操作の種類がタッチ操作であると判定された場合、すなわち、形状情報で表される手形状が、タッチ操作の手形状である場合、ステップＳ５６に進む。
　ステップＳ５６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点、タッチ有効範囲、およびタッチ閾値を設定する。
　ここで、図１０を参照して、形状情報で表される手形状に対応するタッチ閾値について説明する。図１０に示されるように、形状情報で表される手形状に応じて、図示せぬタッチ点とタッチ有効範囲に加え、タッチ閾値が設定される。
　具体的には、手形状が、人差し指を１本だけ伸ばした状態の「１本人差し指」である場合、タッチ閾値は５ｍｍに設定される。
　手形状が、手指を開いた状態の「開いた手」である場合、タッチ閾値は５ｍｍに設定される。
　手形状が、手指を閉じた状態の「閉じた手」である場合、タッチ閾値は１０ｍｍに設定される。
　手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、タッチ閾値は１０ｍｍに設定される。
　手形状が、手指を握った状態の「握りこぶし」である場合、タッチ閾値は２０ｍｍに設定される。
　手形状が、小指側を下に向けて手指を握った状態の「握りこぶし」である場合、タッチ閾値は２０ｍｍに設定される。
　このように、手形状に応じて、タッチ点とタッチ有効範囲に加え、タッチ閾値が設定されるので、ユーザは、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状をより細かく使い分けることができるようになる。
　図９のフローチャートに戻り、ステップＳ５７において、操作認識部７４は、タッチ有効範囲とタッチ閾値に基づいて、タッチ点による操作が有効であるか否かを判定する。具体的には、タッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離が、上述したタッチ閾値より近いか否かによって、タッチ操作が有効であるか否かが判定される。
　ステップＳ５７においてタッチ操作が有効であると判定された場合、すなわちタッチ有効範囲内に操作対象となる表示物体が存在し、かつ、タッチ点と天面２１との距離がタッチ閾値より近い場合、ステップＳ５８に進み、実行制御部７５は、タッチ有効範囲とタッチ閾値に基づいて、タッチ点によるタッチ操作に応じた処理を実行する。
　一方、ステップＳ５７において操作が有効でないと判定された場合、すなわち、タッチ有効範囲内に操作対象となる表示物体が存在しないか、または、タッチ点と天面２１との距離がタッチ閾値より遠い場合、何も実行されずステップＳ５１に戻り、以降の処理が繰り返される。
　以上の処理によれば、手形状に基づいて、タッチ点とタッチ有効範囲に加え、タッチ点と天面２１との距離範囲の閾値であるタッチ閾値が細かく設定されるので、より自然で微細なタッチ操作を実現することが可能となる。
　上述した処理において、手形状だけでなく、手の大きさが判定されるようにしてもよい。手の大きさが一定の大きさより小さいと判定された場合、ユーザが子供である可能性が高い。この場合、手の大きさが一定の大きさ以上ある場合と比較して、タッチ有効範囲やタッチ閾値が大きく設定されるようにする。これにより、子供が雑な操作を行った場合であっても、より確実なタッチ操作を実現することができる。
　また、入力部５３からの入力情報として、ユーザを特定する特定情報が制御部５１に供給されるようにしてもよい。この場合、特定情報によって特定されるユーザ毎に、タッチ点の箇所、タッチ有効範囲やタッチ閾値が設定されるようにしてもよい。
　さらに、ユーザの利き手を表す利き手情報が、事前に記憶部５４などに登録されるようにしてもよい。この場合、利き手情報に基づいて、利き手であるか否かによって、タッチ点の箇所、タッチ有効範囲やタッチ閾値の値が設定されるようにしてもよい。
　以上においては、形状情報で表される手形状が、タッチ操作の手形状であるか否かの判定は、記憶部５４にあらかじめ記憶されている判定情報に基づいて行われるものとした。
　これ以外にも、例えば、タッチ操作制御処理が開始される前に、ユーザが、タッチ操作の手形状を登録できるようにしてもよい。この場合、形状情報で表される手形状が、登録されたタッチ操作の手形状であるか否かの判定が行われる。
　タッチ操作の手形状は、例えば、表示部５５により投影される表示物体により提供される、ゲームなどのアプリケーション毎に登録されたり、あらかじめ用意されたメニュー画面などから手形状が選択されることで登録されるようにする。
　また、タッチ操作の手形状が、入力部５３に対する音声入力などにより登録されてもよいし、事前にユーザにタッチ操作を行わせ、そのときに認識された手形状を記憶することで登録されてもよい。
　さらに、例えば、ユーザの手が、タッチ操作の操作対象となる表示物体に接近したり、その表示物体を基準とした所定範囲内に入ってきた場合に、そのときの手形状が認識されるようにし、認識された手形状が、タッチ操作の手形状として登録されてもよい。
＜３．ドラッグ操作の例＞
　図１１は、ドラッグ操作制御処理の流れについて説明するフローチャートである。図１１の処理は、上述したタッチ操作が行われた状態で実行される。
　なお、図１１のフローチャートのステップＳ７１乃至Ｓ７４の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ７５において、操作認識部７４は、認識された操作の種類がドラッグ操作であるか否かを判定する。具体的には、形状情報で表される手形状が、タッチ操作と同じ手形状であるドラッグ操作の手形状であるか否かが判定される。
　ステップＳ７５において、操作の種類がドラッグ操作でないと判定された場合、ステップＳ７１に戻り、以降の処理が繰り返される。
　一方、ステップＳ７５において、操作の種類がドラッグ操作であると判定された場合、すなわち、形状情報で表される手形状が、ドラッグ操作の手形状である場合、ステップＳ７６に進む。
　ここで、図１２を参照して、形状情報で表される手形状によって判定されるドラッグ操作の有効／無効と、タッチ点によるドラッグ操作が作用し始めるタッチ点の移動距離を表すドラッグ閾値について説明する。図１２に示されるように、形状情報で表される手形状に応じて、ドラッグ操作の有効／無効とドラッグ閾値が設定される。
　なお、形状情報に応じたドラッグ操作の有効／無効とドラッグ閾値は、例えば、タッチ操作制御処理において、タッチ点とタッチ有効範囲が設定されると同時に設定されるものとする。また、ドラッグ操作においては、タッチ操作において設定されたタッチ点が作用領域となる。
　手形状が、人差し指を１本だけ伸ばした状態の「１本人差し指」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は５ｍｍに設定される。
　手形状が、手指を開いた状態の「開いた手」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は５ｍｍに設定される。
　手形状が、手指を閉じた状態の「閉じた手」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は１０ｍｍに設定される。
　手形状が、手の甲を下に向けて手指を閉じた状態の「閉じた手」である場合、ドラッグ操作は「無効」とされ、ドラッグ閾値は設定されない。
　手形状が、手を握った状態の「握りこぶし」である場合、ドラッグ操作は「無効」とされ、ドラッグ閾値は設定されない。
　手形状が、小指側を下に向けて手を握った状態の「握りこぶし」である場合、ドラッグ操作は「有効」とされ、ドラッグ閾値は３０ｍｍに設定される。
　このように、手形状によって、タッチ操作からドラッグ操作へ移行するか否かが設定され、ドラッグ操作が作用し始めるための移動距離であるドラッグ閾値が設定される。
　図１１のフローチャートに戻り、ステップＳ７６において、操作認識部７４は、タッチ点によるドラッグ操作が有効であるか否かを判定する。具体的には、タッチ点の移動距離がドラッグ閾値より大きいか否かによって、ドラッグ操作が有効であるか否かが判定される。
　ステップＳ７６においてドラッグ操作が有効であると判定された場合、すなわち、タッチ点の移動距離がドラッグ閾値より大きい場合、ステップＳ７７に進み、実行制御部７５は、ドラッグ閾値に基づいて、タッチ点によるドラッグ操作に応じた処理を実行する。
　具体的には、実行制御部７５は、ドラッグ操作に応じて、通常のＧＵＩ上のドラッグ操作と同様に、天面２１に表示されている表示物体を移動させる。また、例えば、実行制御部７５は、手形状毎にドラッグ操作に応じた表示を表示部５５に行わせるようにしてもよい。
　図１３は、手形状毎のドラッグ操作に応じた表示の例を示す図である。
　例えば、図１３のＡに示されるように、天面２１に表示されている表示物体が１本指でタッチされている状態でドラッグ操作が行われた場合、実行制御部７５は、その表示物体を移動させる。
　また、図１３のＢに示されるように、天面２１に表示されている表示物体が小指側を下に向けて手を握った状態（握りこぶし）でタッチされている状態でドラッグ操作が行われた場合、実行制御部７５は、その表示物体をドラッグされた方向に引き伸ばす。
　さらに、変形例として、図１３のＣに示されるように、天面２１に表示されている表示物体上で、小指側を下に向けて手指を閉じた状態（手刀）でドラッグ操作が行われた場合、実行制御部７５は、その表示物体を切断する。
　このように、手形状毎にドラッグ操作に応じて異なる表示が行われるようにしてもよい。
　一方、ステップＳ７６においてドラッグ操作が有効でないと判定された場合、すなわち、タッチ点の移動距離がドラッグ閾値より小さい場合、何も実行されずステップＳ７１に戻り、以降の処理が繰り返される。
　以上の処理によれば、手形状に基づいて、ドラッグ操作の有効／無効と、ドラッグ操作が作用し始めるタッチ点の移動距離を表すドラッグ閾値が細かく設定されるので、より自然で直感的なドラッグ操作を実現することが可能となる。
　上述した処理においては、タッチ操作と同じ手形状からドラッグ操作へ移行するものとしたが、タッチ操作の手形状とは異なる手形状に変化しながらドラッグ操作へ移行するようにしてもよい。例えば、「１本人差し指」でのタッチ操作から「開いた手」でのドラッグ操作へ移行するようにしてもよい。
＜４．回転操作の例＞
　図１４は、回転操作制御処理の流れについて説明するフローチャートである。図１４の処理は、撮影部５２により、例えば天面２１に表示された表示物体を操作するユーザの手が撮影されている状態で実行される。
　なお、図１４のフローチャートのステップＳ９１乃至Ｓ９４の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３４の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ９５において、操作認識部７４は、認識された操作の種類が回転操作であるか否かを判定する。具体的には、形状情報で表される手形状が、回転操作の手形状であるか否かが判定される。
　ステップＳ９５において、操作の種類が回転操作でないと判定された場合、ステップＳ９１に戻り、以降の処理が繰り返される。
　一方、ステップＳ９５において、操作の種類が回転操作であると判定された場合、すなわち、形状情報で表される手形状が、回転操作の手形状である場合、ステップＳ９６に進む。
　ステップＳ９６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、回転操作についての手指の作用領域として、手指の所定の２点（具体的には、２点を結ぶ線分）を、回転角取得点として設定する。
　ここで、図１５を参照して、形状情報で表される手形状に対応する回転角取得点について説明する。図１５に示されるように、形状情報で表される手形状に応じて、回転角取得点が設定される。
　具体的には、手形状が、例えば人差し指を１本だけ伸ばした状態の「１本指」である場合、回転角取得点は、伸ばした指（人差し指）の付け根と先端を結ぶ線分に設定される。なお、伸ばした指は、人差し指に限られない。
　手形状が、例えば親指と人差し指などの２本を伸ばした状態の「２指」である場合、回転角取得点は、２指の先端を結ぶ線分に設定される。なお、伸ばした２指は、親指と人差し指に限られない。
　手形状が、手指を開いた状態の「開いた」である場合、回転角取得点は、手首と例えば中指などのいずれか１本の指の先端を結ぶ線分に設定される。
　このように、手形状に応じて、回転角取得点が設定されるので、ユーザは、手の形状を変えることによって、例えば、細かい操作をしたい場合と、おおまかな操作をしたい場合とで、手形状を使い分けることができるようになる。
　図１４のフローチャートに戻り、ステップＳ９７において、実行制御部７５は、回転角取得点による回転操作に応じた処理を実行する。具体的には、実行制御部７５は、設定された回転角取得点（２点を結ぶ線分）の、天面２１の法線方向を軸とした回転の回転角に応じた処理を実行する。
　例えば、実行制御部７５は、回転操作に応じた表示を表示部５５に行わせる。実行制御部７５は、回転角取得点の回転角に応じて、例えば、表示物体として天面２１に表示されている回転つまみを回転させる。
　以上の処理によれば、手形状に基づいて、回転角取得点が設定されるので、より自然な回転操作を実現することが可能となる。
　上述した処理においては、形状情報で表される手形状が、回転操作の手形状である場合に、回転操作についての手指の作用領域として、回転角取得点が設定されるものとした。これに加えて、回転操作についてのパラメータとして、回転角取得点の回転が作用する際の、回転角取得点の回転角の倍数である回転角倍数が設定されるようにしてもよい。
　図１６は、回転操作についてのパラメータとして、回転角倍数を設定するようにした回転操作制御処理の流れについて説明するフローチャートである。
　なお、図１６のフローチャートのステップＳ１１１乃至Ｓ１１５の処理は、図１４のフローチャートのステップＳ９１乃至Ｓ９５の処理と同様であるので、その説明は省略する。
　すなわち、ステップＳ１１５において、操作の種類が回転操作であると判定された場合、すなわち、形状情報で表される手形状が、回転操作の手形状である場合、ステップＳ１１６に進む。
　ステップＳ１１６において、設定部８１は、操作体検出部７３からの形状情報に基づいて、回転操作についての手指の作用領域とパラメータとして、回転角取得点と回転角倍数を設定する。
　ここで、図１７を参照して、形状情報で表される手形状に対応する回転角倍数について説明する。図１７に示されるように、形状情報で表される手形状に応じて、回転角倍数が設定される。
　具体的には、手形状が、指を１本だけ伸ばした状態の「１本指」である場合、回転角取得点は、伸ばした指の付け根と先端を結ぶ線分に設定され、回転角倍数は、１．３倍に設定される。
　手形状が、２本を伸ばした状態の「２指」である場合、回転角取得点は、２指の先端を結ぶ線分に設定され、回転角倍数は、１．０倍に設定される。
　手形状が、手指を開いた状態の「開いた手」である場合、回転角取得点は、手首と例えば中指の先端を結ぶ線分に設定され、回転角倍数は、２．０倍に設定される。
　図１８は、手形状毎の回転角倍数と回転可動域について説明する図である。ここでは、図中上段に示される、表示物体としての回転つまみ２１０の操作を例に挙げて説明する。
　図１８においては、図中下段中央に示されるように、手形状が「２指」である場合の、回転つまみ２１０を操作するときの回転角倍数が基準（１．０倍）とされる。
　手形状が「１本指」である場合、手形状が「２指」である場合と比較して、回転角取得点の回転可動域はやや狭い。そこで、図中下段左側に示されるように、手形状が「１本指」である場合の、回転つまみ２１０を操作するときの回転角倍数を１．３倍とすることで、やや小さい角度変化であっても、回転つまみ２１０を少ない負荷で操作することができる。
　また、手形状が「開いた手」である場合、手形状が「２指」である場合と比較して、回転角取得点の回転可動域はかなり狭い。そこで、図中下段右側に示されるように、手形状が「開いた手」である場合の、回転つまみ２１０を操作するときの回転角倍数を２．０倍とすることで、小さい角度変化であっても、回転つまみ２１０を少ない負荷で操作することができる。
　このように、手形状に応じて回転角倍数が設定されるので、ユーザは、それぞれの手形状毎に高い操作性で回転操作を行うことができるようになる。
　図１６のフローチャートに戻り、ステップＳ１１７において、実行制御部７５は、回転角倍数に基づいて、回転角取得点による回転操作に応じた処理を実行する。具体的には、実行制御部７５は、設定された回転角取得点（２点を結ぶ線分）の回転角倍数に基づいた回転角に応じた処理を実行する。
　以上の処理によれば、手形状に基づいて回転角倍数が設定されるので、より自然で少ない負荷の回転操作を実現することが可能となる。
＜５．その他＞
（操作制御処理の全体の流れ）
　以上においては、タッチ操作、ドラッグ操作、および回転操作の各操作についての処理の流れについて説明したが、これらの操作が１つの処理の中で認識されるようにしてもよい。
　そこで、図１９を参照して、操作制御処理の全体の流れについて説明する。
　図１９のフローチャートのステップＳ１３１乃至Ｓ１３８の処理は、図６のフローチャートのステップＳ３１乃至Ｓ３８の処理と基本的に同様であるので、その説明は省略する。
　ただし、ステップＳ１３５において、認識された操作の種類がタッチ操作でないと判定された場合、ステップＳ１３９に進む。
　また、ステップＳ１３６においては、操作体検出部７３からの形状情報に基づいて、タッチ操作についての手指の作用領域とパラメータとして、タッチ点とタッチ有効範囲とともに、ドラッグ操作についてのパラメータとして、ドラッグ閾値が設定される。
　ステップＳ１３９乃至Ｓ１４１の処理は、図１１のフローチャートのステップＳ７５乃至Ｓ７７の処理と同様であるので、その説明は省略する。
　ただし、ステップＳ１３９において、認識された操作の種類がドラッグ操作でないと判定された場合、ステップＳ１４２に進む。
　ステップＳ１４２乃至Ｓ１４４の処理は、図１４のフローチャートのステップＳ９５乃至Ｓ９７の処理と同様であるので、その説明は省略する。
　このように、タッチ操作、ドラッグ操作、および回転操作の各操作を１つの処理の中で判定することができる。
（タッチ操作の変形例）
　形状情報で表される手形状が、タッチ操作の手形状である場合に、手の腹（手のひらの手首側の部分）やひじが操作面（天面２１）に接触しているか否かに応じて、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。手の腹やひじが天面２１に接触しているか否かは、手や腕の骨格を検出することで手の腹やひじの位置を認識し、距離画像に基づいて手の腹やひじと天面２１との距離を算出することで判定することができる。
　また、手の腹やひじが天面２１に接触しているか否かに応じて、受け付ける操作（判定される操作）を変えるようにしてもよい。
　例えば、図２０のＡに示されるように、手の腹が天面２１に接触している状態では、指でのタッチ操作を受け付けるようにする。
　一方、図２０のＢに示されるように、手の腹が天面２１に接触していない状態では、複数の指でのピンチ操作（拡大や縮小、回転）を受け付けるようにする。なお、図２０のＡのように、手の腹が天面２１に接触している状態で、複数の指でのピンチ操作が行われても、そのピンチ操作は受け付けられないものとする。
　また、図２１のＡに示されるように、ひじが天面２１に接触している状態では、指でのタッチ操作を受け付けるようにする。
　一方、図２１のＢに示されるように、ひじが天面２１に接触していない状態では、指でのタッチ操作を受け付けないようにし、遠方にある表示物体を指す指差し操作を受け付けるようにする。指差し操作によれば、遠方にある表示物体に向けて、例えば指先から直線状の矢印が描かれるようになる。
　また、痙攣などにより手指に震えがあることが検知されたか否かに応じて、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。手指に震えがあることは、タッチ操作制御処理が開始される前に検出されてもよいし、処理中に検知されてもよい。
　例えば、手指に震えがあることが検知された場合には、操作がタッチ操作であることが判定されてから、タッチ操作が有効であることが判定されるまでの時間を、通常より長く設定する。これにより、手指に震えがあるユーザが、必要以上にタッチ操作に時間を要した場合であっても、そのタッチ操作を受け付けることができるようになる。
　さらに、地域や民族の文化、風習に応じて、タッチ操作であると判定される手形状、タッチ点やタッチ有効範囲、タッチ閾値が設定されるようにしてもよい。
（全ての操作の変形例）
　手指が通常と異なることが検知されたか否かに応じて、手形状の判定基準を変化させるようにしてもよい。
　例えば、ユーザの手に手袋や包袋が装着されている場合には、手指の開き具合についての判定基準を緩和させるようにする。また、指に欠損がある場合には、欠損している指を無視してジェスチャ認識が行われるようにしてもよい。具体的には、欠損している指以外の指が開いている状態で、全ての指が開いていると認識されるようにする。
　さらに、ユーザの手指の爪が長い場合や手が汚れている場合には、操作が判定されにくくなることから、操作の判定基準を緩和してもよい。
　また、登録されていない手形状が繰り返し検出された場合に、ユーザに対して意図的な操作であることを確認させた上で、その手形状と対応する操作を新たに登録するようにしてもよい。
　さらに、ユーザの手が、特定の操作の操作対象となる表示物体に接近したり、その表示物体を基準とした所定範囲内に入ってきた場合に、そのときの手形状が認識されるようにし、認識された手形状が、特定の操作の手形状として登録されてもよい。この場合、その一定範囲内においてのみ、登録された手形状の操作を有効にしてもよいし、その範囲外であっても、登録された手形状の操作を有効にしてもよい。
　さらに、手形状や手指の姿勢以外の情報に基づいて、作用領域やパラメータが設定されるようにしてもよい。例えば、ユーザが座っているか（座位）または立っているか（立位）、腕の屈伸状態、操作対象との距離、操作対象の大きさなどに基づいて、作用領域やパラメータが設定されるようにする。
（その他の適用例）
　上述した実施の形態では、テーブル２０の天面２１を操作面として、その面に対する手形状や手指の姿勢に基づいて、作用領域やパラメータが設定されるものとしたが、操作面は、壁や天井などの平面であってもよい。
　また、操作体は、手指に限らず、タッチやジェスチャ認識が可能なユーザの身体の部位であればよく、腕や上半身、脚、さらには全身であってもよい。
　さらに、ユーザは、人間に限らず、サルやオランウータン、犬や猫などの動物であってもよい。
（コンピュータの構成例）
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、ＣＰＵ１００１，ＲＯＭ１００２，ＲＡＭ１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、およびドライブ１０１０が接続されている。
　入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５およびバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディアなどとしてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
（本開示がとり得る他の構成）
　さらに、本開示は以下のような構成をとることができる。
（１）
　撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部
　を備える情報処理装置。
（２）
　前記形状情報に基づいて、前記操作の種類を認識する操作認識部をさらに備え、
　前記制御部は、認識された種類の前記操作についての前記作用領域を決定し、前記パラメータを設定する
　（１）に記載の情報処理装置。
（３）
　前記操作体は、ユーザの身体の部位である
　（２）に記載の情報処理装置。
（４）
　前記操作体は、ユーザの手であり、
　前記操作認識部は、前記形状情報で示される手指の形状に基づいて前記操作の種類を認識し、
　前記制御部は、前記手指の一部を前記作用領域に決定する
　（３）に記載の情報処理装置。
（５）
　前記操作は、タッチ操作を含む
　（４）に記載の情報処理装置。
（６）
　前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
　（５）に記載の情報処理装置。
（７）
　前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する有効範囲を設定する
　（６）に記載の情報処理装置。
（８）
　前記有効範囲は、前記操作面上での面積範囲を含む
　（７）に記載の情報処理装置。
（９）
　前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する、前記作用領域と前記操作面との距離の閾値をさらに設定する
　（８）に記載の情報処理装置。
（１０）
　前記操作は、ドラッグ操作を含む
　（４）に記載の情報処理装置。
（１１）
　前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
　（１０）に記載の情報処理装置。
（１２）
　前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用し始める、前記作用領域の移動距離を設定する
　（１１）に記載の情報処理装置。
（１３）
　前記操作は、回転操作を含む
　（４）に記載の情報処理装置。
（１４）
　前記制御部は、２本の指の先端を結ぶ線分、いずれか１本の指の先端と手首を結ぶ線分、および、いずれか１本の指の先端と付け根を結ぶ線分の少なくともいずれかを、前記作用領域に決定する
　（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記パラメータとして、前記操作面の法線方向を軸とした前記作用領域の回転が前記操作面に作用する際の、前記作用領域の回転角の倍数を設定する
　（１４）に記載の情報処理装置。
（１６）
　前記制御部は、前記形状情報と、前記撮影画像から取得された前記操作体の姿勢情報に基づいて、前記作用領域を決定し、前記パラメータを設定する
　（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記パラメータに基づいて、前記作用領域における前記操作に応じた処理の実行を制御する実行制御部をさらに備える
　（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記実行制御部は、前記パラメータに基づいて、前記作用領域における前記操作に応じた表示を制御する
　（１７）に記載の情報処理装置。
（１９）
　情報処理装置が、
　撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
　情報処理方法。
（２０）
　コンピュータに、
　撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
　処理を実行させるためのプログラムが記録された記録媒体。
　１０　情報処理装置，　２０　テーブル，　２１　天面，　５１　制御部，　５２　撮影部，　５３　入力部，　５４　記憶部，　５５　表示部，　５６　出力部，　７１　撮影制御部，　７２　画像処理部，　７３　操作体検出部，　７４　操作認識部，　７５　実行制御部，　８１　設定部

Claims (20)

  1. 　撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する制御部
    　を備える情報処理装置。
  2. 　前記形状情報に基づいて、前記操作の種類を認識する操作認識部をさらに備え、
    　前記制御部は、認識された種類の前記操作についての前記作用領域を決定し、前記パラメータを設定する
    　請求項１に記載の情報処理装置。
  3. 　前記操作体は、ユーザの身体の部位である
    　請求項２に記載の情報処理装置。
  4. 　前記操作体は、ユーザの手であり、
    　前記操作認識部は、前記形状情報で示される手指の形状に基づいて前記操作の種類を認識し、
    　前記制御部は、前記手指の少なくとも一部を前記作用領域に決定する
    　請求項３に記載の情報処理装置。
  5. 　前記操作は、タッチ操作を含む
    　請求項４に記載の情報処理装置。
  6. 　前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する有効範囲を設定する
    　請求項６に記載の情報処理装置。
  8. 　前記有効範囲は、前記操作面上での面積範囲を含む
    　請求項７に記載の情報処理装置。
  9. 　前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用する、前記作用領域と前記操作面との距離の閾値をさらに設定する
    　請求項８に記載の情報処理装置。
  10. 　前記操作は、ドラッグ操作を含む
    　請求項４に記載の情報処理装置。
  11. 　前記制御部は、いずれか１本の指の先端、複数本の指全体の重心、および、手全体の重心の少なくともいずれかを、前記作用領域に決定する
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、前記パラメータとして、前記作用領域における前記操作が前記操作面に作用し始める、前記作用領域の移動距離を設定する
    　請求項１１に記載の情報処理装置。
  13. 　前記操作は、回転操作を含む
    　請求項４に記載の情報処理装置。
  14. 　前記制御部は、２本の指の先端を結ぶ線分、いずれか１本の指の先端と手首を結ぶ線分、および、いずれか１本の指の先端と付け根を結ぶ線分の少なくともいずれかを、前記作用領域に決定する
    　請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記パラメータとして、前記操作面の法線方向を軸とした前記作用領域の回転が前記操作面に作用する際の、前記作用領域の回転角の倍数を設定する
    　請求項１４に記載の情報処理装置。
  16. 　前記制御部は、前記形状情報と、前記撮影画像から取得された前記操作体の姿勢情報に基づいて、前記作用領域を決定し、前記パラメータを設定する
    　請求項１に記載の情報処理装置。
  17. 　前記パラメータに基づいて、前記作用領域における前記操作に応じた処理の実行を制御する実行制御部をさらに備える
    　請求項１に記載の情報処理装置。
  18. 　前記実行制御部は、前記パラメータに基づいて、前記作用領域における前記操作に応じた表示を制御する
    　請求項１７に記載の情報処理装置。
  19. 　情報処理装置が、
    　撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
    　情報処理方法。
  20. 　コンピュータに、
    　撮影画像から取得された、操作面に対して操作を行う操作体の形状情報に基づいて、前記操作体による操作を作用させる作用領域を決定し、前記作用領域における前記操作の判定に用いられるパラメータを設定する
    　処理を実行させるためのプログラムが記録された記録媒体。
PCT/JP2020/003350 2019-02-13 2020-01-30 情報処理装置、情報処理方法、および記録媒体 WO2020166351A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20755209.2A EP3926585A4 (en) 2019-02-13 2020-01-30 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
US17/428,520 US20220129109A1 (en) 2019-02-13 2020-01-30 Information processing apparatus, information processing method, and recording medium
JP2020572158A JPWO2020166351A1 (ja) 2019-02-13 2020-01-30 情報処理装置、情報処理方法、および記録媒体
CN202080013110.5A CN113412501A (zh) 2019-02-13 2020-01-30 信息处理装置、信息处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-023225 2019-02-13
JP2019023225 2019-02-13

Publications (1)

Publication Number Publication Date
WO2020166351A1 true WO2020166351A1 (ja) 2020-08-20

Family

ID=72044668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003350 WO2020166351A1 (ja) 2019-02-13 2020-01-30 情報処理装置、情報処理方法、および記録媒体

Country Status (5)

Country Link
US (1) US20220129109A1 (ja)
EP (1) EP3926585A4 (ja)
JP (1) JPWO2020166351A1 (ja)
CN (1) CN113412501A (ja)
WO (1) WO2020166351A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138949A (ja) * 1997-07-15 1999-02-12 Sony Corp 描画装置、描画方法及び記録媒体
JP2015522195A (ja) * 2012-07-13 2015-08-03 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
JP2016051436A (ja) 2014-09-02 2016-04-11 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2016103137A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 ユーザインタフェース装置、画像処理装置及び制御用プログラム
WO2016092656A1 (ja) * 2014-12-10 2016-06-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018018474A (ja) * 2016-07-14 2018-02-01 株式会社リコー 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6121534B2 (ja) * 2013-08-02 2017-04-26 三菱電機株式会社 ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体
JP6303772B2 (ja) * 2014-04-25 2018-04-04 富士通株式会社 入力制御装置、制御方法および制御プログラム
JP6562752B2 (ja) * 2015-07-30 2019-08-21 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138949A (ja) * 1997-07-15 1999-02-12 Sony Corp 描画装置、描画方法及び記録媒体
JP2015522195A (ja) * 2012-07-13 2015-08-03 ソフトキネティック ソフトウェア 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
JP2016051436A (ja) 2014-09-02 2016-04-11 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2016103137A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 ユーザインタフェース装置、画像処理装置及び制御用プログラム
WO2016092656A1 (ja) * 2014-12-10 2016-06-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2018018474A (ja) * 2016-07-14 2018-02-01 株式会社リコー 画像処理装置、画像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3926585A4

Also Published As

Publication number Publication date
EP3926585A4 (en) 2022-03-30
CN113412501A (zh) 2021-09-17
EP3926585A1 (en) 2021-12-22
US20220129109A1 (en) 2022-04-28
JPWO2020166351A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
US10642371B2 (en) Sessionless pointing user interface
US8666115B2 (en) Computer vision gesture based control of a device
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
WO2018113740A1 (en) Combining virtual reality and augmented reality
JP6360050B2 (ja) 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム
US20110102570A1 (en) Vision based pointing device emulation
US20140139429A1 (en) System and method for computer vision based hand gesture identification
US9063573B2 (en) Method and system for touch-free control of devices
US20140053115A1 (en) Computer vision gesture based control of a device
JP6618276B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2021035646A1 (zh) 可穿戴设备及其控制方法、识别手势的方法和控制系统
JPWO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2016071546A (ja) 情報処理装置とその制御方法、プログラム、記憶媒体
US20220019288A1 (en) Information processing apparatus, information processing method, and program
WO2020166351A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US9761009B2 (en) Motion tracking device control systems and methods
JP2013134549A (ja) データ入力装置およびデータ入力方法
WO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755209

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572158

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020755209

Country of ref document: EP

Effective date: 20210913