WO2021246089A1 - ジェスチャ認識装置、システム及びそのプログラム - Google Patents

ジェスチャ認識装置、システム及びそのプログラム Download PDF

Info

Publication number
WO2021246089A1
WO2021246089A1 PCT/JP2021/016697 JP2021016697W WO2021246089A1 WO 2021246089 A1 WO2021246089 A1 WO 2021246089A1 JP 2021016697 W JP2021016697 W JP 2021016697W WO 2021246089 A1 WO2021246089 A1 WO 2021246089A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
unit
input
gesture recognition
image data
Prior art date
Application number
PCT/JP2021/016697
Other languages
English (en)
French (fr)
Inventor
育士 依田
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to EP21817106.4A priority Critical patent/EP4160530A1/en
Priority to US17/999,737 priority patent/US11893161B2/en
Priority to JP2022528488A priority patent/JP7489048B2/ja
Publication of WO2021246089A1 publication Critical patent/WO2021246089A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • the present invention relates to a gesture recognition device, a system, and a program thereof, which makes it possible to control an interface of a personal computer or the like by making the gesture to be used for interface operation close to the camera. be.
  • Non-Patent Document 1 since there are individual differences in the size and movement of gestures, we consider gestures that can minimize individual differences, and make gestures that are natural and intuitive for everyone to ensure gestures. A technique for performing lighting control by detection is disclosed.
  • Non-Patent Document 1 since the gesture is easy for the system side to recognize, it is necessary to perform the gesture according to the specifications of the system side. Therefore, it was not possible to memorize gestures that differ from person to person and use them for interface control.
  • the present invention has been made in view of the above-mentioned problems of the prior art, and it is possible to measure and register the gesture used for the interface control and use it for the interface control by performing the gesture in the closest contact with the camera.
  • the purpose is to provide a gesture recognition device.
  • the present invention is a gesture recognition device that recognizes a user's gesture and controls an interface associated with the recognized gesture, and is an image capture unit that sequentially captures distance image data captured by the image pickup device.
  • the interface input is switched on / off based on the recent contact detection unit that detects the latest contact from the image pickup device from the distance image data and the locus of the latest contact that is the gesture of the user detected from a plurality of distance image data.
  • a gesture measurement unit that calculates the input switching boundary, a gesture recognition unit that determines whether the input is on or off according to the input switching boundary, and an interface control associated with the gesture when it is recognized that the input has been turned on.
  • a gesture recognition device having an interface control unit for performing the above.
  • the gesture measurement unit further has a tracking area determination unit that determines a range in which a contact can exist recently as a tracking area in the distance image data, and the tracking area determination unit detects from a plurality of distance image data.
  • the tracking area including the recent contact may be determined, and at the time of gesture recognition, the recent contact detection unit may be configured to detect the latest contact in the tracking area determined by the tracking area determination unit.
  • the interface control unit may be configured to control to press and hold the predetermined interface. ..
  • long-press input by gesture becomes possible, and even a person with a disability who has difficulty in long-press input can easily perform keyboard input freely.
  • the gesture recognition unit corresponds to any gesture when a contact is recently detected when a plurality of gestures are stored. It may be configured to perform gesture recognition by comparing with the input switching boundary.
  • the gesture measurement unit calculates the gesture guideline based on the trajectory of the recently detected contact
  • the gesture recognition unit is configured to display the gesture guideline on the display unit, so that the user can easily recognize the gesture. It will be easier to do.
  • the gesture measurement unit detects the origin on the off side of the input, and the gesture recognition unit determines whether the detected recent contact is in the same space as the origin with respect to the input switching boundary, thereby turning the input on. , May be configured to determine off.
  • a gesture that calculates an input switching boundary that switches interface input on / off based on the trajectory of the latest contact, which is the user's gesture, detected from the recent contact detector that detects the latest contact from the device and multiple distance image data.
  • a gesture recognition program characterized by operating a computer as a gesture recognition device having the above.
  • the gesture recognition system having an image pickup device that captures distance image data and a gesture recognition device that recognizes the user's gesture and controls an interface associated with the recognized gesture, and the image pickup device is the user's body.
  • the gesture recognition device includes an image capture unit that sequentially captures the distance image data captured by the image pickup device, a recent contact detection unit that detects the latest contact from the image pickup device from the distance image data, and a plurality of distance images. Based on the trajectory of the recent contact that is the user's gesture detected from the data, the gesture measurement unit that calculates the input switching boundary that switches the interface input on / off, and the input on / off judgment according to the input switching boundary.
  • a gesture recognition system having a gesture recognition unit and an interface control unit that controls an interface associated with the gesture when it is recognized that an input has been turned on.
  • the gesture that the user wants to use for the interface can be easily used for interface control without being aware of the body part. can do.
  • the user can use the gesture for interface control simply by performing the gesture he / she wants to use multiple times and measuring the gesture, even a user with a limited range of motion can register a gesture according to the range of motion of each individual. However, it can be used for interface control.
  • FIG. 1 is a block diagram showing an example of a gesture recognition system including a gesture recognition device in the present invention.
  • FIG. 2 is a flow chart showing an example of a flow of processing for measuring a user's gesture in the gesture measurement stage performed by the gesture recognition device 20 of the present invention.
  • FIG. 3 is a drawing showing an example of the data storage contents of the setting information storage unit 264 stored in the storage unit 260.
  • FIG. 4 is a drawing showing an example of the data storage contents of the corresponding gesture storage unit 266 stored in the storage unit 260 of the present invention.
  • FIG. 5 is a flow chart showing an example of a flow of processing for recognizing a user's gesture in the gesture recognition stage performed by the gesture recognition device 20 of the present invention.
  • FIG. 1 is a block diagram showing an example of a gesture recognition system including a gesture recognition device in the present invention.
  • FIG. 2 is a flow chart showing an example of a flow of processing for measuring a user's gesture in the gesture measurement stage performed by the gesture
  • FIG. 6 is an example of a screen in which the locus of the latest contact detected from a plurality of distance image data and the distance image data currently captured are displayed on the display device 40 in the gesture measurement stage.
  • FIG. 7 is an example of a display screen displayed on the display device 40 during gesture recognition.
  • FIG. 8 is an example of the gesture operation in which the input is turned on and the distance image data in which the input is turned off in the gesture recognition stage.
  • FIG. 9 is an example of a hardware configuration diagram of the gesture recognition device 20.
  • the gesture measurement stage in which the gesture for performing the interface control is measured and stored, and when it is recognized whether or not the gesture has been performed and it is determined that the gesture has been performed It is divided into a gesture recognition stage that controls the interface corresponding to the gesture.
  • the gestures corresponding to the interface controls are individually measured and stored, and in the gesture recognition stage, which of the plurality of stored gestures corresponds to is recognized.
  • FIG. 1 is a block diagram showing an example of a gesture recognition system including the gesture recognition device in the present invention.
  • the gesture recognition device 20 is connected to an image pickup device 10, an interface 30, and a display device 40.
  • the image pickup device 10 is a camera that captures a three-dimensional distance image, for example, a so-called stereo camera having two cameras, or a camera that can acquire a three-dimensional distance image composed of a camera and a distance image sensor. good.
  • the image pickup apparatus 10 images a user who is performing a gesture used for interface control, such as a gesture of moving a finger.
  • the image pickup device 10 acquires moving image data by shooting and sends it to the gesture recognition device 20.
  • the interface 30 is an interface controlled by the gesture recognition device 20, and is, for example, a button 310, a key 320, a switch 330, an alarm 340, etc., but is not limited to this, and may be a mouse, a keyboard, a touch panel, or the like. good.
  • the display device 40 is a display and displays an image or the like captured by the image pickup device 10.
  • the gesture recognition device 20 has an image acquisition unit 210, a recent contact detection unit 220, a gesture measurement unit 230, a gesture recognition unit 240, an interface control unit 250, and a storage unit 260.
  • the image capture unit 210 captures, for example, the distance image data captured by the user captured by the image pickup device 10.
  • the captured distance image data is moving image data, which is two or more frame image data and has parallax or distance data. That is, two image data may be acquired from the image pickup apparatus 10 which is a stereo camera, and the parallax may be calculated by the image acquisition unit 210. Further, although the parallax data is used, if the image pickup device is not a stereo camera but a camera having a range finder, image data and distance data may be captured.
  • the "distance image data" referred to here is image data (one-frame image) at each time point in the moving image data which is a time-series image.
  • the image acquisition unit 210 outputs the input image data and distance data to the contact detection unit 220 recently. Further, the distance image data captured by the image acquisition unit 210 is stored in the distance image storage unit 262.
  • the recent contact detection unit 220 detects the latest contact from the image pickup device 10 in order to measure or recognize the gesture from the distance image data captured by the image capture unit 210.
  • the recent contact detection unit 220 searches for a point having the closest distance data from the image pickup apparatus 10 based on the distance data and the like included in the distance image data in each of the position frame image data of the distance image data, and recently contacts. Detect as.
  • the user makes the gesture performed at the position where the body part to perform the recognized gesture is closest to the image pickup apparatus 10. For example, like a gesture of pointing, only the index finger is raised, and the position is such that the tip of the index finger of the hand becomes the contact point recently. Then, by moving the index finger up and down several times, the up and down movement by the index finger is measured as the first gesture. By measuring and storing the movement of shaking left and right with the same index finger or the index finger of a different hand as a second gesture, different gestures can be registered and used for different interface control. Since the recent contact detection unit 220 detects the tip of the index finger as the recent contact, the movement of the gesture can be detected. Although the vertical movement and the left-right movement by the index finger have been described here as an example, the movement is not limited to this, and the movement may be limited to the movement of the elbow forward and the movement of the arm, the movement of the toe, and the like.
  • the recent contact detection unit 220 may detect a point having the closest distance data from the entire distance image data as the recent contact.
  • the entire distance image data is searched and detected only for the first frame image, and after the next frame image, only the vicinity of the coordinates where the contact point was recently detected in the previous frame is searched. It may be configured to detect.
  • the gesture recognition stage when the tracking area is stored in the setting information storage unit 264 as the range in which the user's gesture can exist, that is, the range in which the contact can exist recently, the recent contact is detected in the tracking area. It may be configured.
  • the recent contact detection unit 220 detects the latest contact for the number of tracking area determination frames stored in the setting information storage unit 264 in the tracking area determination at the time of gesture measurement.
  • the nearest point which is the value of the minimum distance from the image pickup device 10 of the tracking area and the latest contact and the farthest point which is the value of the maximum distance are stored by the gesture measurement. Therefore, the recent contact detection unit 220 reads the tracking area, the nearest point, the farthest point, and the margin value from the setting information storage unit 264 at the time of gesture recognition, and detects the latest contact, and the search range is reduced by the tracking area.
  • the latest contact is detected at a distance within a range calculated by adding a margin value to the nearest point and the farthest point, erroneous detection can be prevented.
  • the gesture measurement unit 230 calculates an input switching boundary for switching the interface input on / off based on the locus which is a collection of recent contacts detected from a plurality of distance image data by the user's gesture operation. do.
  • the locus due to the gesture operation can be acquired.
  • the gesture measurement unit 230 calculates, for example, the two points having the largest distance based on the locus of the latest contact by the distance image data for a plurality of frames acquired by the user performing the same gesture operation a plurality of times, and the two points.
  • the gesture measurement unit 230 may be configured to set the start point of the gesture operation as the origin, calculate the input switching boundary, and then set the space on the side where the origin exists as input off.
  • the gesture measurement unit 230 stores the calculated input switching boundary, gesture guideline, and origin in the corresponding gesture storage unit 266 in association with a predetermined interface.
  • the gesture measurement unit 230 has a tracking area determination unit 232.
  • the tracking area determination unit 232 determines a tracking area including the latest contact detected from a plurality of distance image data at the time of gesture measurement.
  • the tracking area is a range in which a contact can exist recently, and it takes a long time to search the entire distance image data in order to detect the contact recently, and the possibility of erroneous detection increases. Therefore, by determining the tracking area at the time of gesture measurement, it is possible to search only within the tracking area range at the time of gesture recognition, thereby reducing the processing time.
  • the tracking area determination unit 232 determines the range of the distance image data in which the contact can exist recently as the tracking area at the time of gesture measurement.
  • the tracking area determination unit 232 may determine the tracking area by obtaining the sum of the differences between the frames in the number of tracking area determination frames stored in the setting information storage unit 264, for example. For example, for distance image data, after calculating the frame-to-frame difference from the previous frame and reducing noise by morphology calculation, the contour is extracted from the sum of the frame-to-frame differences for a predetermined number of frames, and a rectangle that covers the contour group is created.
  • the tracking area may be calculated by calculation.
  • the tracking area determination may be performed manually.
  • the locus of recent contacts which is a set of recent contacts acquired at the time of gesture measurement, is displayed, and the user specifies a rectangle including the locus of recent contacts on the display screen of the display device 40 with a touch panel, a mouse, or the like.
  • the tracking area may be set by the tracking area determination unit 232 accepting the designation.
  • the tracking area determined by the tracking area determination unit 232 is stored in the setting information storage unit 264, for example, with the coordinate values of the four corners of the rectangle.
  • the gesture recognition unit 240 determines whether the input is on or off according to the input switching boundary calculated by the gesture measurement unit 230. Specifically, the gesture recognition unit 240 registers a plurality of gestures based on the recent contact detected by the recent contact detection unit 220 and the input switching boundary stored in the corresponding gesture storage unit 266 in the gesture recognition stage. If so, gesture recognition is performed by comparing which gesture corresponds to the plurality of input switching boundaries. For example, the gesture recognition unit 240 may be configured to recognize which gesture by acquiring the coordinate points of the recent contact points for a plurality of frames and determining which input switching boundary plane corresponds to the coordinate point.
  • the input when it is determined that the space is on the input-on side, the input may be turned on when it is determined that the space is on the input-on side for a plurality of frames in succession. Further, when it is determined that the space is on the input off side, the input may be turned off immediately when it is determined that the space is on the off side. Further, a point to be the origin of the input may be set, and the gesture recognition unit 240 may be configured to recognize the space on the side where the origin is located with respect to the input switching boundary plane as the input off. In addition, in order to prevent frequent on / off input when a contact is recently detected so as to come and go at the input switching boundary, it is configured not to input for a predetermined time after the input on is detected. May be good.
  • the gesture recognition unit 240 reads the gesture guideline calculated by the gesture measurement unit 230 at the start of gesture recognition from the corresponding gesture storage unit 266 and displays it on the display device 40. By displaying the gesture guideline, the user can easily perform the gesture for performing the desired interface control.
  • the gesture recognition unit 240 determines that the time to detect the latest contact in the space on the on side of the input based on the on / off input switching boundary is a predetermined time or longer. Upon detection, the interface control unit 250 may be configured to press and hold a predetermined interface for long-press control. In addition, when the gesture recognition unit 240 stores a long press and a non-long press as a corresponding interface for one gesture in the corresponding gesture storage unit 266, the contact point is recently in the space on the on side of the input switching boundary. The detected time may be measured, and if it is longer than the predetermined time, it may be long-pressed, and if it is less than the predetermined time, it may be configured to control the predetermined interface as a normal input that is not long-pressed.
  • the interface control unit 250 performs interface control associated with the gesture recognized by the gesture recognition unit 240. Specifically, the corresponding gesture storage unit 266 of the storage unit 260 is read out, the interface control corresponding to the predetermined gesture content is read out, and the interface 30 is controlled. For example, when the gesture corresponding to the channel 1 is recognized, the interface control unit 250 reads out the corresponding gesture storage unit 266 and turns on the interface control corresponding to the gesture of the channel, for example, a switch. Further, when the interface stored in the corresponding gesture storage unit 266 is long-pressed, when it is determined that the gesture recognition unit 240 is on the on side for a predetermined time or longer, the interface control corresponding to the long-press is performed.
  • the storage unit 260 has a distance image storage unit 262, a setting information storage unit 264, and a corresponding gesture storage unit 266.
  • the distance image storage unit 262 stores the distance image data captured by the image acquisition unit 210 from the image pickup device 10.
  • the distance image stored in the distance image storage unit 262 is appropriately read out by the gesture measurement unit 230 or the gesture recognition unit 240.
  • the setting information storage unit 264 stores the number of tracking area determination frames, the minimum and maximum values of the depth filter, the front margin and the back margin of the gesture, and the tracking area.
  • the number of tracking area determination frames is the number of frames required for determination of the tracking area.
  • the depth filter is a distance that can be recognized by the image pickup apparatus 10, and stores the minimum value and the maximum value thereof.
  • the gesture margin is a margin for the measured gesture, and stores the front side margin value and the back side margin value.
  • the setting information storage unit 264 stores the tracking area.
  • the tracking area determined by the tracking area determination unit 232 is stored for each gesture. For example, as the tracking area, it is the screen coordinates of the four corners of the rectangle and the minimum value of the distance recently measured at the time of gesture measurement. The nearest point and the farthest point, which is the maximum value, are stored.
  • the corresponding gesture storage unit 266 is a storage unit that stores the contents of the interface control associated with the gesture operation in association with each other.
  • the interface control unit 250 reads out the corresponding gesture storage unit 266 and performs interface control corresponding to the recognized gesture.
  • the corresponding gesture storage unit 266 stores the gesture input switching boundary, the origin, the gesture guideline, and the contents of the corresponding interface control corresponding to the gesture measured by the gesture measurement unit 230 for each gesture.
  • FIG. 2 is a flow chart showing an example of a flow of processing for measuring a user's gesture in the gesture measurement stage performed by the gesture recognition device 20 of the present invention.
  • the gesture to be used for the interface control is measured a plurality of times at a position closest to the image pickup device 10.
  • the recent contact detection unit 220 detects the latest contact from the distance image data captured by the image capture unit 210 when the gesture measurement is started (step S201).
  • the recent contact detection unit 220 detects the latest contact having the closest distance to the image pickup device 10 from the distance image data.
  • the recent contact detection unit 220 detects the latest contact in the frame image every time a frame image which is distance image data is captured.
  • the recent contact detection unit 220 refers to the minimum value and the maximum value of the depth filter stored in the setting information storage unit 264, and detects the latest contact within the range of the stored minimum and maximum values.
  • the entire image data may be searched in order. For example, only the first frame image is searched for the entire distance image data to detect the latest contact, and the next frame image and subsequent frames are the previous frames.
  • the search is started from the vicinity of the coordinates where the latest contact of the image is detected, the vector of the latest contact of the previous frame image and the latest contact of the current frame image is calculated, and the latest contact of the next frame image is searched based on the vector. It may be configured as follows.
  • the gesture measurement unit 230 detects the start point which is the latest contact point at the start of the gesture (step S202).
  • the start point is the most recent contact point when the user starts a gesture, and usually the start point is the origin and is located on the off side of the interface input.
  • the detected start point is stored in the corresponding gesture storage unit 266.
  • the gesture measurement unit 230 determines the tracking area and detects the locus of the latest contact (step S203).
  • the tracking area determination unit 232 of the gesture measurement unit 230 determines the tracking area. Since it takes a long time to search all the distance image data for the detection of the recent contact in the tracking area, in order to speed up the processing, the range in which the recent contact may exist is determined as the tracking area. , In the gesture recognition stage, it is set so that the latest contact can be easily detected.
  • the tracking area determination unit 232 determines as a tracking area a rectangle including the latest contact point of each distance image data which is a frame image to be sequentially received.
  • the tracking area determination unit 232 reads the number of tracking area determination frames stored as basic setting information from the setting information storage unit 264, and collects distance image data corresponding to the number of frames.
  • the tracking area determination unit 232 calculates the inter-frame difference between the previous frame and the current frame for the number of collected frames, reduces noise by morphology calculation, calculates the sum of the inter-frame differences, and calculates the sum of the contours in the sum image.
  • the tracking area is determined by extracting a set and calculating a rectangle that includes the set of contours.
  • the tracking area determination unit 232 may use another method as long as there is a method of collecting the loci of the latest contacts detected from each frame image and calculating a rectangle including the loci. It should be noted that the tracking area may be set by manually designating a rectangle including the trajectory of the recent contact point by the user. The calculated tracking area is stored in the setting information storage unit 264.
  • the gesture measurement unit 230 detects the locus of recent contacts from the distance image data for a predetermined number of frames. Of the recently detected contacts, the point closest to the image pickup device 10 is stored in the setting information storage unit 264 as the nearest point and the farthest point as the farthest point. This is because there is not always a recent contact at the same distance from the image pickup device 10 when performing a gesture operation.
  • the stored minimum and maximum values are used together with the margin value of the basic setting information when the recent contact detection unit 220 searches for the latest contact during gesture recognition.
  • the gesture measurement unit 230 generates and calculates the gesture guideline and the on / off input switching boundary of the interface input (step S204).
  • the gesture measurement unit 230 obtains the two points having the largest distance from the locus, which is a set of recent contacts acquired from the distance image data for a predetermined number of frames obtained by the gesture measurement, and determines the line segment connecting these two points.
  • Gesture guidelines are used and stored in the corresponding gesture storage unit 266. At this time, if the start point detected in step S202 is close to the midpoint of the line segment connecting the two points, it may be corrected so that the point closer to the start point among the two points is the origin.
  • the gesture measurement unit 230 calculates a plane that is an input switching boundary for switching on / off of interface input by calculating a perpendicular bisector plane passing through the midpoint of two points.
  • the corrected origin, gesture guideline, and input switching boundary are stored in the corresponding gesture storage unit 266 in association with the interface.
  • FIG. 3 is a drawing showing an example of the data storage contents of the setting information storage unit 264 stored in the storage unit 260.
  • the setting information storage unit 264 stores basic setting information and tracking area information.
  • the basic setting information the number of tracking area determination frames, the depth filter, and the gesture margin are stored.
  • the number of tracking area determination frames which is the number of frames required for tracking area determination, and the minimum and maximum values of the depth filter, which is the distance that the image pickup apparatus 10 can recognize.
  • the gesture margin is a margin value added to the value of the nearest point and the value of the farthest point of the nearest contact measured at the time of gesture measurement.
  • the screen coordinates of the four corners of the rectangle of the tracking area determined by the tracking area determination unit 232, the value of the nearest point of the latest contact detected at the time of gesture measurement, and the value of the farthest point are stored.
  • the coordinate values of the four corners are stored, but for example, the coordinate values of one point and the vertical and horizontal lengths may be stored.
  • the nearest point is the distance value of the point closest to the image pickup device 10 among the recent contacts measured by the gesture measuring unit 230.
  • the farthest point is the distance value of the most recently measured contact point farthest from the image pickup apparatus 10. These are used for detecting the latest contact by reading the tracking area information at the time of gesture recognition.
  • FIG. 4 is a drawing showing an example of the data storage contents of the corresponding gesture storage unit 266 stored in the storage unit 260.
  • the corresponding gesture storage unit 266 stores the gesture and the interface in association with each other. Each gesture is stored for each channel so that multiple gestures and interfaces can be registered. Each gesture is specified by storing the gesture guideline, input switching boundary plane, and origin. Further, as an interface, a long press may be stored. Further, as an interface, a normal case and a long press case may be stored for one gesture.
  • the gesture guideline is a guideline similar to the gesture measured in the gesture measurement stage, and is displayed in the gesture recognition stage to facilitate the user to perform a desired gesture. Here, the three-dimensional coordinates of two points for specifying the line segment of the gesture guideline are stored.
  • the input switching boundary is a plane that serves as a boundary for switching on / off of the interface input.
  • the input switching boundary is a perpendicular bisector that passes through the midpoint of the gesture guideline, and for example, the equation of the plane that vertically bisects the three-dimensional coordinates of the two points that define the gesture guideline is stored.
  • the origin is a gesture start point existing on the input off side, and in principle, the coordinates of the start point at the time of gesture recognition are stored as the origin.
  • FIG. 5 is a flow chart showing an example of a flow of processing for recognizing a user's gesture in the gesture recognition stage performed by the gesture recognition device 20 of the present invention.
  • the gesture recognition device 20 recognizes and recognizes which of the gestures in which the gesture performed at the position closest to the image pickup device 10 corresponds to the stored gesture. Performs interface control corresponding to the gesture.
  • the gesture recognition unit 240 displays the gesture guideline, the origin, and the input switching boundary of all channels (step S501).
  • the gesture recognition unit 240 reads out all the gesture guidelines, origins, and input switching boundaries stored from the corresponding gesture storage unit 266, and displays them on the display device 40.
  • the recent contact detection unit 220 searches for and detects the latest contact in any of the tracking areas (step S502).
  • the recent contact detection unit 220 reads out the minimum value, the maximum value, and the margin value of the distance between the tracking area and the recent contact stored in each channel from the setting information storage unit 264, and the distance image data captured by the image acquisition unit 210.
  • the latest contact is searched and detected based on the minimum value, the maximum value, and the margin value of the distance of the recent contact.
  • the latest contact is searched for and detected based on the minimum value, the maximum value, and the margin value of the distance of the latest contact within the range of the tracking area, and the tracking is performed after the next frame image.
  • the search is started from the vicinity of the coordinates where the latest contact of the previous frame image is detected, and further, with the latest contact of the previous frame image.
  • the vector with the latest contact of the current frame image may be calculated, and the next frame may be configured to search for the latest contact of the image in the vicinity of the recent contact in the previous frame based on the vector.
  • the gesture recognition unit 240 determines on which input switching boundary plane the detected recent contact is on (step S503).
  • the gesture recognition unit 240 reads out one or more input switching boundary planes stored in the corresponding gesture storage unit 266, and determines on which input switching boundary plane the recent contact recently detected by the contact detection unit 220 is. .. In this determination, in order to avoid erroneous determination, it is determined which input switching boundary plane is on the latest contacts of a plurality of consecutive frames, and when it is determined that they are all on the same input switching boundary plane, the input switching is performed. It may be determined that it is on the boundary plane.
  • the gesture recognition unit 240 determines whether or not the contact point is on the input side in the input switching boundary plane (step S504). More specifically, the gesture recognition unit 240 recently determines whether or not the contact is in the space on the origin side with respect to the input switching boundary plane, and if it is in the space on the origin side with respect to the input switching boundary plane, If the input is off and not on the origin side, it may be determined that the input is on. If it is not on the on side (No), it continues to determine whether the contact is on the input side recently.
  • the gesture recognition unit 240 reads the interface corresponding to the gesture from the corresponding gesture storage unit 266 and controls the interface (step S505). For example, when the corresponding gesture storage unit 266 stores the switch when it is pressed, the interface is controlled so that the switch is pressed when it is determined that the switch is on.
  • the gesture recognition unit 240 is configured to perform the interface control of the long press when the contact is recently detected for a predetermined time or longer on the input on side. May be good. Not limited to this, if the contact is recently detected on the input-on side and long press is associated as an interface, the long press control may be performed even if the input is less than a predetermined time.
  • the gesture recognition unit 240 has recently contacted the space on the input-on side for a predetermined time. It may be configured to determine whether or not there is more than that, and perform interface control corresponding to a normal input if it is less than a predetermined time and a long press input if it is more than a predetermined time.
  • FIG. 6 is an example of a screen in which the locus of the latest contact detected from a plurality of distance image data and the distance image data currently captured are displayed on the display device 40 in the gesture measurement stage.
  • the gesture measurement unit 230 displays the past recent contacts detected by the recent contact detection unit 220 together with the distance image data currently captured as the locus of the recent contacts.
  • FIG. 7 is an example of a display screen displayed on the display device 40 during gesture recognition.
  • all tracking areas, gesture guidelines, origins, and input switching boundaries corresponding to recognizable gestures stored in the corresponding gesture storage unit 266 are currently detected along with the distance image data currently captured. It is displayed on the display device 40 together with the recent contacts.
  • FIG. 8 is an example of the gesture operation in which the input is turned on and the distance image data in which the input is turned off in the gesture recognition stage.
  • the gesture recognition unit 240 determines that the input is off.
  • the gesture recognition unit 240 sets the input on. judge.
  • FIG. 9 is an example of a hardware configuration diagram of the gesture recognition device 20.
  • the gesture recognition device 20 may be configured as a personal computer owned by the system user and a program executed on the personal computer.
  • the personal computer is a computer-readable recording medium such as a CPU (central processing unit) 901, a RAM (Random Access Memory) 903 connected to the CPU 901 via a bus, a ROM (Read Only Memory) 905, and a hard disk drive.
  • An external storage device 907, an I / O interface 909, a communication interface 911 for connecting to a communication network line, and the like are provided, and the I / O interface 909 includes a camera 10 which is an image pickup device, buttons and keys which are interfaces 30. , A switch, an alarm, and a display 40, which is a display device, are connected.
  • the functions of the image acquisition unit 210, the recent contact detection unit 220, the gesture measurement unit 230, the gesture recognition unit 240, and the interface control unit 250 of the gesture recognition device 20 are realized by a program executed on the personal computer.
  • the function of the storage unit 260 is realized by the external storage device 907.
  • the program that realizes various functions is stored in the external storage device 907, read out in the RAM 903, and then executed by the CPU 901.
  • Imaging device 20 Gesture recognition device 30 Interface 40
  • Display device 210
  • Recent contact extraction unit 230
  • Gesture measurement unit 240
  • Gesture recognition unit 250
  • Interface control unit 260 Storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、インターフェース操作に使用したいジェスチャをカメラの最近接で行うようにすることで、そのジェスチャをインターフェース制御に用いることを可能とするジェスチャ認識装置を提供する。 【解決手段】　本発明のジェスチャ認識装置は、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有する。

Description

ジェスチャ認識装置、システム及びそのプログラム
　本発明は、インターフェース操作に使用したいジェスチャをカメラの最近接で行うようにすることで、そのジェスチャをパーソナルコンピュータなどのインターフェース制御を行うことを可能とするジェスチャ認識装置、システム及びそのプログラムに関するものである。
　従来から、特に身体が不自由な障害者が、自身が動かせる範囲で自由にコンピュータが使えるよう、様々なインターフェースが開発されている。たとえば、指先が動く人用のスイッチや、呼気で使う呼気スイッチ、音声入力ソフトなどである。しかし、個々人によって可動できる身体部位、可動域が異なるうえ、日々状態が異なるため、個々人の状態に合わせたオーダーメードでインターフェースを開発することが必要となる場合も多く、必ずしも多くの障害者が快適に使えるインターフェースが十分に提供できていないという問題があった。
　また、画像データによるジェスチャ認識においては、距離画像データを利用したジェスチャ認識システムによるジェスチャ検出が提案されている。非特許文献１においては、ジェスチャの大きさや動作に個人差があることから、個人差が最小化できるようなジェスチャを検討し、誰もが自然で直観的なジェスチャとすることで、確実にジェスチャ検出による照明制御を行うための技術が開示されている。
三木光範　外３名著、「Kinectを用いたジェスチャ検出による照明の制御」、２０１２年度人工知能学会全国大会（第２６回）、２０１２年６月１２日、p.1-3
　しかし、非特許文献１に開示された技術では、システム側が認識しやすいジェスチャであるため、システム側の仕様に従ったジェスチャを行う必要がある。従って、個々人によって異なるジェスチャを記憶させてインターフェース制御に使うことができなかった。
　本発明は、上述した従来技術の課題に鑑みてなされたもので、ジェスチャをカメラの最近接で行うようにすることでインターフェース制御に使用するジェスチャを計測、登録し、インターフェース制御に用いることが可能な、ジェスチャ認識装置を提供することを目的とする。
　上記目的に鑑み、本発明はユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置であって、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置を提供する。
　なお、ジェスチャ計測部は、さらに、距離画像データのうち、最近接点が存在しうる範囲を追跡領域として判定する追跡領域判定部を有し、追跡領域判定部は、複数の距離画像データから検出した最近接点を包含する追跡領域を判定し、ジェスチャ認識時には、最近接点検出部は、前記追跡領域判定部が判定した追跡領域内において最近接点を検出するよう構成してもよい。追跡領域を設定することで、距離画像データ全体から最近接点を探索する必要がなくなり、誤検出を防止でき、また処理時間を低減することができる。
　前記ジェスチャ認識部は、入力のオン側で最近接点を検出する時間が所定時間以上であることを検出すると、前記インターフェース制御部は、所定のインターフェースを長押しするよう制御するよう構成してもよい。これにより、ジェスチャによる長押し入力が可能となり、長押し入力が難しい障がい者であっても、容易にキーボード入力が自在に行えるようになる。
さらに、ジェスチャとジェスチャに対応するインターフェースとを記憶する対応ジェスチャ記憶部を有し、ジェスチャ認識部は、複数のジェスチャが記憶されている場合、最近接点が検出されると、いずれのジェスチャに対応するかを前記入力切替境界と比較してジェスチャ認識を行うよう構成してもよい。
また、ジェスチャ計測部は、検出した最近接点の軌跡に基づき、ジェスチャガイドラインを算出し、ジェスチャ認識部は、前記ジェスチャガイドラインを表示部へ表示させるよう構成することで、認識が容易なジェスチャをユーザが行いやすくなる。
ジェスチャ計測部は、入力のオフ側となる原点を検出し、ジェスチャ認識部は、検出された最近接点が入力切替境界に対して原点と同じ空間にあるかどうかを判定することで、入力のオン、オフを判定するよう構成してもよい。
ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うためのジェスチャ認識プログラムであって、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置としてコンピュータを機能させることを特徴とする、ジェスチャ認識プログラムを提供する。
　距離画像データを撮像する撮像装置と、ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置と、を有するジェスチャ認識システムであって、撮像装置は、ユーザの身体を撮像し、ジェスチャ認識装置は、撮像装置が撮像した距離画像データを順次取り込む画像取込部と、距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、複数の距離画像データから検出した、ユーザのジェスチャである最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部とを有するジェスチャ認識システムを提供する。
　本発明によれば、ユーザにジェスチャをカメラの最近接で行わせ、その軌跡をジェスチャ認識に用いることで、身体部位を意識することなく、ユーザがインターフェースに使用したいジェスチャを簡便にインターフェース制御に利用することができる。
また、ユーザは使用したいジェスチャを複数回行ってジェスチャ計測するだけでそのジェスチャをインターフェース制御に用いることができるため、可動域に制限があるユーザであっても個々人の可動域にあわせたジェスチャを登録し、インターフェース制御に用いることができる。
図１は本発明におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。 図２は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ計測段階におけるユーザのジェスチャを計測する処理の流れの一例を示すフロー図である。 図３は、記憶部２６０に記憶されている設定情報記憶部２６４のデータ記憶内容の一例を示す図面である。 図４は、本発明の記憶部２６０に記憶されている対応ジェスチャ記憶部２６６のデータ記憶内容の一例を示す図面である。 図５は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ認識段階におけるユーザのジェスチャを認識する処理の流れの一例を示すフロー図である。 図６は、ジェスチャ計測段階において、複数の距離画像データから検出した最近接点の軌跡と現在撮像されている距離画像データとが表示装置４０に表示された画面の一例である。 図７は、ジェスチャ認識中において表示装置４０に表示される表示画面の一例である 図８は、ジェスチャ認識段階において入力オンとなるジェスチャ動作と入力オフとなる距離画像データの一例である。 図９は、ジェスチャ認識装置２０のハードウェア構成図の一例である。
　ジェスチャに対応するインターフェース制御を行うためには、インターフェース制御を行うためのジェスチャを計測して記憶するジェスチャ計測段階と、ジェスチャが行われたかどうかを認識し、ジェスチャが行われたと判定されたときにそのジェスチャに対応するインターフェース制御を行うジェスチャ認識段階とにわかれる。複数のインターフェース制御を行う場合は、インターフェース制御に対応するジェスチャを個別に計測して記憶し、ジェスチャ認識段階においては、記憶されている複数のジェスチャのうちのいずれに対応するジェスチャかを認識する。以下、本発明における実施の形態を、図面を用いて説明する。
　図１は本発明におけるジェスチャ認識装置を含むジェスチャ認識システム例を示すブロック図である。図１において、ジェスチャ認識装置２０は、撮像装置１０、インターフェース３０、表示装置４０と接続されている。撮像装置１０は、３次元距離画像を撮像するカメラであり、例えば２つのカメラを有するいわゆるステレオカメラでもよく、またカメラと距離画像センサとで構成した３次元距離画像を取得できるカメラであってもよい。たとえば、撮像装置１０は、指を動かすジェスチャなど、インターフェース制御に利用するジェスチャを行っているユーザを撮像する。撮像装置１０は、撮影により動画像データを取得し、ジェスチャ認識装置２０へと送る。インターフェース３０は、ジェスチャ認識装置２０によって制御されるインターフェースであって、例えば、ボタン３１０、キー３２０、スイッチ３３０、アラーム３４０などであるが、これに限らず、マウス、キーボード、タッチパネルなどであってもよい。表示装置４０は、ディスプレイであって、撮像装置１０が撮像した画像等を表示する。
　ジェスチャ認識装置２０は、画像取込部２１０、最近接点検出部２２０、ジェスチャ計測部２３０、ジェスチャ認識部２４０、インターフェース制御部２５０、記憶部２６０を有する。
　画像取込部２１０は、たとえば撮像装置１０が撮像したユーザを撮像した距離画像データを取り込む。取り込んだ距離画像データは動画像データであり、２以上のフレーム画像データであるとともに、視差又は距離データを有する。つまり、ステレオカメラである撮像装置１０から２つの画像データを取り込み、画像取込部２１０で視差を算出してもよい。また、視差データとしているが、撮像装置がステレオカメラではなく、距離計を有するカメラである場合には、画像データ及び距離データを取り込んでもよい。ここでいう「距離画像データ」は、時系列画像である動画像データのうちの各時点の画像データ（一フレーム画像）である。画像取込部２１０は、入力される画像データ及び距離データを最近接点検出部２２０へと出力する。また、画像取込部２１０が取り込んだ距離画像データは、距離画像記憶部２６２へ記憶される。
　最近接点検出部２２０は、画像取込部２１０が取り込んだ距離画像データから、ジェスチャを計測又は認識するため、撮像装置１０からの最近接点を検出する。最近接点検出部２２０は、距離画像データの位置フレーム画像データ各々において、距離画像データに含まれている距離データ等に基づいて、撮像装置１０から最も近い距離データを有する点を探索し、最近接点として検出する。
ユーザは、認識させたジェスチャを行う身体部位が撮像装置１０に対して最も近い位置においてジェスチャを行うようにする。例えば、指差しのジェスチャのように人差し指だけを立てて、手の人差し指の先端が最近接点となるような位置とする。そして、人差し指を上下に数回動かすことで、人差し指による上下動作を第一のジェスチャとして計測する。なお、同じ人差し指または異なる手の人差し指で左右に振る動作を第二のジェスチャとして計測、記憶するなどすることで、異なるジェスチャを登録し、異なるインターフェース制御に用いることができる。最近接点検出部２２０は、人差し指の先端を最近接点として検出するため、ジェスチャの動きを検出できる。なお、ここでは人差し指による上下動作、左右動作を例に説明したが、これに限らず、肘を前に出して腕を動かす動作、足の指を動かす動作等であってもよい。
　最近接点検出部２２０は、距離画像データ全体から最も近い距離データを有する点を最近接点として検出してもよい。また、誤検出防止、処理時間低減のために、最初のフレーム画像についてのみ距離画像データ全体を探索して検出し、次フレーム画像以降は、前フレームで最近接点を検出した座標近傍のみを探索して検出するよう構成してもよい。さらに、ジェスチャ認識段階においては、ユーザのジェスチャが存在しうる範囲、つまり最近接点が存在しうる範囲として追跡領域が設定情報記憶部２６４に記憶されている場合、追跡領域において最近接点を検出するよう構成してもよい。
　最近接点検出部２２０は、ジェスチャ計測時の追跡領域判定においては、設定情報記憶部２６４に記憶されている追跡領域判定フレーム数分、最近接点の検出を行う。また、ジェスチャ計測により追跡領域や最近接点の撮像装置１０からの最小距離の値である最近傍点や最大距離の値である最遠点が記憶される。このため、最近接点検出部２２０は、ジェスチャ認識時には、設定情報記憶部２６４から追跡領域、最近傍点、最遠点、マージン値を読みだして、最近接点を検出する、追跡領域により探索範囲を小さくすることができ、また最近傍点と最遠点にマージン値を加えて算出された範囲の距離において最近接点を検出するため、誤検出を防止することができる。
　ジェスチャ計測部２３０は、ジェスチャを計測するため、ユーザのジェスチャ動作により複数の距離画像データから検出された、最近接点の集まりである軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出する。ジェスチャ計測時に最近接点検出部２２０が過去に検出した各距離画像データにおける最近接点の座標点を現在の距離画像データにおける最近接点とともに並べて表示することで、ジェスチャ動作による軌跡が取得できる。ジェスチャ計測部２３０は、例えば、ユーザが複数回同じジェスチャ動作を行うことにより取得した複数フレーム分の距離画像データによる最近接点の軌跡に基づき、最も距離が大きくなる２点を算出し、その二点を結ぶ線分の中点を通り、垂直な平面を算出することで、入力切替境界を算出するように構成してもよい。なお、これに限らず、ジェスチャ動作による軌跡を取得し、軌跡を近似する直線を算出し、その垂直二等分平面を算出するように構成してもよい。また、ジェスチャ計測部２３０は、ジェスチャ動作の開始点を原点とし、入力切替境界を算出後、原点が存在する側の空間を入力オフと設定するよう構成してもよい。
　ジェスチャ計測部２３０は、算出した入力切替境界とジェスチャガイドライン、原点とを、所定のインターフェースに対応付けて対応ジェスチャ記憶部２６６に記憶する。
　ジェスチャ計測部２３０は、追跡領域判定部２３２を有する。追跡領域判定部２３２は、ジェスチャ計測時に複数の距離画像データから検出した最近接点を包含する追跡領域を判定する。追跡領域とは、最近接点が存在しうる範囲であり、最近接点を検出するために距離画像データ全体を探索することは処理時間がかかり、また誤検出の可能性も大きくなる。このため、ジェスチャ計測時に、追跡領域の判定を行うことで、ジェスチャ認識時には追跡領域範囲内のみを探索できるようにすることで処理時間の低減を図るものである。
　追跡領域判定部２３２は、ジェスチャ計測時に距離画像データのうち、最近接点が存在しうる範囲を追跡領域として判定を行う。追跡領域判定部２３２は、例えば、設定情報記憶部２６４に記憶された追跡領域判定フレーム数において、フレーム間差分の総和を求めることにより追跡領域を判定してもよい。例えば、距離画像データについて、前フレームとのフレーム間差分を計算し、モルフォロジー演算でノイズを削減後、所定フレーム数分のフレーム間差分の総和から輪郭を抽出し、その輪郭群を包括する矩形を計算することで追跡領域を算出してもよい。
なお、追跡領域判定を手動で行うようにしてもよい。たとえば、ジェスチャ計測時に取得された最近接点の集合である最近接点の軌跡を表示させ、ユーザが表示装置４０の表示画面上において、最近接点の軌跡を包含する矩形をタッチパネル又はマウス等で指定し、追跡領域判定部２３２がその指定を受け付けることで追跡領域を設定してもよい。追跡領域判定部２３２が判定した追跡領域は、設定情報記憶部２６４に、例えば矩形の四隅の座標値で記憶される。
　ジェスチャ認識部２４０は、ジェスチャ計測部２３０が算出した入力切替境界に従って、入力のオンまたはオフの判定を行う。具体的には、ジェスチャ認識部２４０は、ジェスチャ認識段階において、最近接点検出部２２０が検出した最近接点と、対応ジェスチャ記憶部２６６に記憶されている入力切替境界に基づき、複数のジェスチャが登録されている場合は、どのジェスチャに対応するかを複数の前記入力切替境界と比較してジェスチャ認識を行う。たとえば、ジェスチャ認識部２４０は、最近接点の座標点を複数フレーム分取得し、どの入力切替境界平面に対応する座標点かを判定することでどのジェスチャかを認識するよう構成してもよい。また、入力オン側の空間にあると判定する場合に、複数フレーム連続して入力オン側にあると判定した場合に入力オンとするよう構成してもよい。また、入力オフ側の空間にあると判定する場合は、オフ側にあると判定した場合にすぐ入力オフとするよう構成してもよい。また、入力の原点となる点を設定しておき、入力切替境界平面に対して原点がある側の空間を入力のオフとして、ジェスチャ認識部２４０は認識するよう構成してもよい。また、入力切替境界で行き来するように最近接点が検出された場合、頻繁なオン・オフ入力となることを防止するため、入力オンが検出されたあと、所定時間は、入力しないよう構成してもよい。
　ジェスチャ認識部２４０は、ジェスチャ認識開始時にジェスチャ計測部２３０が算出したジェスチャガイドラインを対応ジェスチャ記憶部２６６から読み出して表示装置４０に表示させる。ジェスチャガイドラインを表示させることで、ユーザが所望のインターフェース制御を行うためのジェスチャを容易に行うことができる。
　ジェスチャ認識部２４０は、対応インターフェースとして長押し入力が記憶されている場合、オン・オフの入力切替境界に基づいて入力のオン側の空間で最近接点を検出する時間が所定時間以上であることを検出すると、インターフェース制御部２５０は所定のインターフェースを長押し制御するよう構成してもよい。なお、ジェスチャ認識部２４０は、一つのジェスチャに対して対応インターフェースとして長押しと長押しでない場合とが対応ジェスチャ記憶部２６６に記憶されている場合、最近接点が入力切替境界のオン側の空間で検出される時間を計測し、所定時間以上である場合は長押し、所定時間未満の場合は長押しではない通常の入力として所定のインターフェースを制御するよう構成してもよい。
　インターフェース制御部２５０は、ジェスチャ認識部２４０が、認識したジェスチャに関連づけられたインターフェース制御を行う。具体的には、記憶部２６０の対応ジェスチャ記憶部２６６を読み出し、所定のジェスチャ内容に対応するインターフェース制御を読み出し、インターフェース３０を制御する。例えば、チャンネル１に該当するジェスチャが認識された場合、インターフェース制御部２５０は、対応ジェスチャ記憶部２６６を読み出し、チャンネルのジェスチャに対応するインターフェース制御、例えば、スイッチをオンする。また、対応ジェスチャ記憶部２６６に記憶されているインターフェースが長押しの場合、ジェスチャ認識部２４０が所定時間以上オン側にあると判定した場合、長押しに対応するインターフェース制御を行う。
　記憶部２６０は、距離画像記憶部２６２、設定情報記憶部２６４、対応ジェスチャ記憶部２６６を有している。距離画像記憶部２６２は、撮像装置１０から、画像取込部２１０が取り込んだ距離画像データを記憶している。距離画像記憶部２６２に記憶されている距離画像は、適宜、ジェスチャ計測部２３０又はジェスチャ認識部２４０によって読み出される。
　設定情報記憶部２６４は、追跡領域判定フレーム数、深度フィルタの最小値、最大値、ジェスチャ手前マージンと奥マージン、追跡領域を記憶する。追跡領域判定フレーム数とは、追跡領域の判定に必要なフレーム数である。また深度フィルタとは、撮像装置１０が認識可能な距離であり、その最小値、最大値を記憶している。ジェスチャマージンとは、計測したジェスチャに対するマージンであり、手前側のマージン値と、奥側のマージン値とを記憶する。また、設定情報記憶部２６４は、追跡領域を記憶する。追跡領域判定部２３２が判定した追跡領域をジェスチャ毎に記憶しており、例えば、追跡領域として、矩形の四隅の画面座標と、ジェスチャ計測時に最近接点を計測したなかでの距離の最小値である最近傍点と最大値である最遠点を記憶している。
　対応ジェスチャ記憶部２６６は、ジェスチャの動作に関連付けられたインターフェース制御の内容を対応づけて記憶している記憶部である。インターフェース制御部２５０は、ジェスチャ認識部２４０が所定のジェスチャがされたことを認識すると、対応ジェスチャ記憶部２６６を読み出し、認識されたジェスチャに対応するインターフェース制御を行う。対応ジェスチャ記憶部２６６は、ジェスチャ毎にジェスチャ計測部２３０が計測したジェスチャに対応するジェスチャ入力切替境界、原点、ジェスチャガイドラインと対応するインターフェース制御の内容を記憶する。
図２は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ計測段階におけるユーザのジェスチャを計測する処理の流れの一例を示すフロー図である。ジェスチャ計測段階においては、インターフェース制御に用いたいジェスチャを、撮像装置１０に対して最近接となるような位置で複数回行うことで、ジェスチャを計測する。
　最近接点検出部２２０は、ジェスチャ計測が開始されると、画像取込部２１０が取り込んだ距離画像データから最近接点を検出する（ステップＳ２０１）。最近接点検出部２２０は、距離画像データから撮像装置１０に最も近い距離を有する最近接点を検出する。最近接点検出部２２０は、距離画像データであるフレーム画像が取り込まれるごとにそのフレーム画像における最近接点を検出する。
　最近接点検出部２２０は、設定情報記憶部２６４に記憶されている深度フィルタの最小値及び最大値を参照し、記憶されている最小値と最大値の範囲内で最近接点を検出する。最近接点の検出方法として、画像データ全体を順に探索してもよいが、例えば、最初のフレーム画像についてのみ、距離画像データ全体を探索して最近接点を検出し、次フレーム画像以降は、前フレーム画像の最近接点を検出した座標近傍から探索を開始し、さらに、前フレーム画像の最近接点と現フレーム画像の最近接点とのベクトルを計算し、ベクトルに基づいて次フレーム画像の最近接点を探索するよう構成してもよい。
　ジェスチャ計測部２３０は、ジェスチャ計測が開始されるとジェスチャ開始時の最近接点である始点を検出する（ステップＳ２０２）。始点はユーザがジェスチャを開始する時の最近接点であり、通常は、始点が原点となり、インターフェース入力のオフ側に位置することとなる。検出した始点は、対応ジェスチャ記憶部２６６に記憶する。
ジェスチャ計測部２３０は、ジェスチャ計測が開始され、ユーザがジェスチャ動作を行うと、追跡領域判定と最近接点の軌跡を検出する（ステップＳ２０３）。ジェスチャ計測部２３０の追跡領域判定部２３２が追跡領域判定を行う。追跡領域は、距離画像データすべてを最近接点の検出のために探索することは処理時間がかかることから、処理を高速化するために、最近接点が存在しうる範囲を追跡領域として判定することで、ジェスチャ認識段階において、容易に最近接点を検出できるように設定するものである。
追跡領域判定部２３２は、順次受信するフレーム画像である各距離画像データの最近接点を包含する矩形を追跡領域として判定する。追跡領域判定部２３２は、設定情報記憶部２６４から基本設定情報として記憶されている追跡領域判定フレーム数を読み出し、そのフレーム数分の距離画像データを収集する。追跡領域判定部２３２は、収集したフレーム数分、前フレームと現フレームとのフレーム間差分を計算し、モルフォロジー演算でノイズを削減後、フレーム間差分の総和を計算し、総和の画像において輪郭の集合を抽出し、その輪郭の集合を包括する矩形を計算することで追跡領域を判定する。なお、これに限らず、追跡領域判定部２３２は、各フレーム画像から検出した最近接点の軌跡を収集し、軌跡を包含する矩形を計算する方法があれば、他の方法でもよい。なお、手動で最近接点の軌跡を包含する矩形をユーザが指定することで追跡領域を設定してもよい。算出された追跡領域は、設定情報記憶部２６４へ記憶される。
　ジェスチャ計測部２３０は、所定のフレーム数分の距離画像データから最近接点の軌跡を検出する。検出した最近接点のうち撮像装置１０からの距離が最も近い点を最近傍点、最も遠い点を最遠点として設定情報記憶部２６４へ記憶する。ジェスチャ動作を行う際に常に撮像装置１０から同じ距離に最近接点があるとは限らないからである。記憶した最小値及び最大値は、基本設定情報のマージンの値とともに最近接点検出部２２０がジェスチャ認識時に最近接点を探索する際に用いられる。
　ジェスチャ計測部２３０は、ジェスチャガイドラインとインターフェース入力のオンとオフの入力切替境界を生成し算出する（ステップＳ２０４）。ジェスチャ計測部２３０は、ジェスチャ計測によって得られた所定のフレーム数分の距離画像データから取得した最近接点の集合である軌跡から最も距離が大きくなる２点を求め、この２点を結ぶ線分をジェスチャガイドラインし、対応ジェスチャ記憶部２６６へ記憶する。このとき、ステップＳ２０２で検出した始点が２点を結ぶ線分の中点に近い場合、２点のうち、始点に近い点を原点とするよう補正してもよい。
　ジェスチャ計測部２３０は、２点の中点を通る垂直二等分平面を算出することで、インターフェース入力のオン・オフを切り替える入力切替境界である平面を算出する。補正された原点、ジェスチャガイドライン、入力切替境界は、対応ジェスチャ記憶部２６６にインターフェースに対応づけて記憶される。
　図３は、記憶部２６０に記憶されている設定情報記憶部２６４のデータ記憶内容の一例を示す図面である。
　設定情報記憶部２６４には、基本設定情報と追跡領域情報とが記憶されている。基本設定情報として、追跡領域判定フレーム数、深度フィルタ、ジェスチャマージンが記憶される。追跡領域判定に必要なフレーム数である追跡領域判定フレーム数、撮像装置１０が認識可能な距離である深度フィルタの最小値と最大値である。ジェスチャマージンとは、ジェスチャ計測時に計測された最近接点の最近傍点の値と最遠点の値に加えるマージン値である。
　追跡領域情報として、追跡領域判定部２３２が判定した追跡領域の矩形の四隅の画面座標とジェスチャ計測時に検出した最近接点の最近傍点の値と最遠点の値とを記憶する。ここでは、四隅の座標値を記憶しているが、例えば、一点の座標値と縦横の長さを記憶するよう構成してもよい。また、最近傍点とは、ジェスチャ計測部２３０が計測した最近接点のうち最も撮像装置１０に近い点の距離値である。同様に、最遠点は、計測した最近接点のうち最も撮像装置１０に遠い点の距離値である。これらは、ジェスチャ認識時に、追跡領域情報を読み出して最近接点の検出に用いる。
　図４は、記憶部２６０に記憶されている対応ジェスチャ記憶部２６６のデータ記憶内容の一例を示す図面である。
対応ジェスチャ記憶部２６６は、ジェスチャとインターフェースとを対応付けて記憶する。複数のジェスチャとインターフェースとを登録することができるよう、各ジェスチャは、チャンネルごとに記憶する。各ジェスチャは、ジェスチャガイドライン、入力切替境界平面、原点を記憶することで特定する。また、インターフェースとして、長押しを記憶してもよい。また、インターフェースとして、一つのジェスチャに対して通常の場合と長押しの場合とを記憶してもよい。ジェスチャガイドラインは、ジェスチャ計測段階で計測されたジェスチャに近似したガイドラインであり、ジェスチャ認識段階に表示させることで、所望のジェスチャをユーザが行いやすくする。ここでは、ジェスチャガイドラインの線分を特定するための二点の三次元座標が記憶される。
入力切替境界は、インターフェース入力のオン・オフを切り替える境界となる平面である。入力切替境界は、ジェスチャガイドラインの中点を通る垂直二等分平面であり、例えば、ジェスチャガイドラインを規定する２点の三次元座標を垂直二等分する平面の式が記憶される。また、原点は、入力オフ側に存在するジェスチャ開始点であり、原則としてジェスチャ認識時の始点の座標が原点として記憶される。
　図５は、本発明のジェスチャ認識装置２０において行われる、ジェスチャ認識段階におけるユーザのジェスチャを認識する処理の流れの一例を示すフロー図である。ジェスチャ認識段階においては、ジェスチャ認識装置２０は、撮像装置１０に対して最近接となる位置で行われたジェスチャが記憶されているジェスチャのいずれに該当するかをジェスチャ認識部２４０が認識し、認識されたジェスチャに対応するインターフェース制御を行う。
　ジェスチャ認識が開始されると、ジェスチャ認識部２４０は、全チャンネルのジェスチャガイドラインと原点、入力切替境界を表示する（ステップＳ５０１）。ジェスチャ認識部２４０は、対応ジェスチャ記憶部２６６から記憶されているすべてのジェスチャガイドラインと原点、入力切替境界を読み出し、表示装置４０へ表示させる。
　最近接点検出部２２０は、いずれかの追跡領域内で最近接点を探索、検出する（ステップＳ５０２）。最近接点検出部２２０は、設定情報記憶部２６４から各チャンネルに記憶されている追跡領域と最近接点の距離の最小値と最大値、マージン値を読み出し、画像取込部２１０が取り込んだ距離画像データから追跡領域の範囲内において、最近接点の距離の最小値、最大値、マージン値に基づいて最近接点を探索、検出する。なお、このとき、最初のフレーム画像については、追跡領域の範囲内において、最近接点の距離の最小値、最大値、マージン値に基づいて最近接点を探索、検出し、次フレーム画像以降は、追跡領域の範囲内において、最近接点の距離の最小値、最大値、マージン値の範囲内において、前フレーム画像の最近接点を検出した座標近傍から探索を開始し、さらに、前フレーム画像の最近接点と現フレーム画像の最近接点とのベクトルを計算し、ベクトルに基づいて次フレームでは前フレームでの最近接点の近傍で画像の最近接点を探索するよう構成してもよい。
　ジェスチャ認識部２４０は、検出された最近接点がどの入力切替境界平面上にあるか判定する（ステップＳ５０３）。ジェスチャ認識部２４０は、対応ジェスチャ記憶部２６６に記憶されている１又は２以上の入力切替境界平面を読み出し、最近接点検出部２２０が検出した最近接点がどの入力切替境界平面上にあるか判定する。この判定において、誤判定を避けるため、連続する複数フレーム分の最近接点においてどの入力切替境界平面上にあるか判定を行い、すべて同じ入力切替境界平面上にあると判定された場合にその入力切替境界平面にあると判定してもよい。
　ジェスチャ認識部２４０は、どの入力切替境界平面であるか決定すると、その入力切替境界平面において最近接点が入力のオン側かどうかを判定する（ステップＳ５０４）。より具体的には、ジェスチャ認識部２４０は、最近接点が入力切替境界平面に対して原点側の空間にあるかどうかを判定し、入力切替境界平面に対して原点側の空間にある場合は、入力オフ、原点側ではない場合は、入力オンと判定してもよい。オン側ではない場合（Ｎｏ）、引き続き、最近接点が入力のオン側かどうかの判定を継続する。
オン側である場合（Ｙｅｓ）、ジェスチャ認識部２４０は対応ジェスチャ記憶部２６６からジェスチャに対応するインターフェースを読み出し、インターフェース制御を行う（ステップＳ５０５）。例えば、対応ジェスチャ記憶部２６６に、スイッチを押すと記憶されている場合は、オン側であると判定された場合、スイッチを押すようインターフェース制御がされる。対応ジェスチャ記憶部２６６に、長押しが記憶されている場合、ジェスチャ認識部２４０は、入力オン側で所定時間以上、最近接点を検出した場合に、長押しのインターフェース制御を行うように構成してもよい。なお、これに限らず、入力オン側で最近接点を検出し、長押しがインターフェースとして対応づけられている場合に、所定時間未満の入力でも長押し制御するように構成してもよい。さらに、一つのジェスチャに対して通常のインターフェースと長押しのインターフェースとを対応づけて対応ジェスチャ記憶部２６６に記憶している場合、ジェスチャ認識部２４０は、入力オン側の空間に最近接点が所定時間以上あるかどうかを判定し、所定時間未満の場合は、通常の入力、所定時間以上の場合は長押し入力に対応するインターフェース制御を行うように構成してもよい。
図６は、ジェスチャ計測段階において、複数の距離画像データから検出した最近接点の軌跡と現在撮像されている距離画像データとが表示装置４０に表示された画面の一例である。ジェスチャ計測段階においてジェスチャ計測部２３０は、最近接点検出部２２０により検出された過去の最近接点を現在撮像されている距離画像データとともに最近接点の軌跡として表示させる。
図７は、ジェスチャ認識中において表示装置４０に表示される表示画面の一例である。ジェスチャ認識段階においては、現在撮像されている距離画像データとともに、対応ジェスチャ記憶部２６６に記憶された認識可能なジェスチャに対応するすべての追跡領域、ジェスチャガイドライン、原点、入力切替境界が、現在検出されている最近接点とともに表示装置４０に表示される。
　図８は、ジェスチャ認識段階において入力オンとなるジェスチャ動作と入力オフとなる距離画像データの一例である。（ａ）は、現在の距離画像データから検出される最近接点がジェスチャガイドライン上であり、かつ入力切替境界の原点側の空間にあるため、ジェスチャ認識部２４０は入力オフと判定する。（ｂ）は、現在の距離画像データから検出される最近接点がジェスチャガイドライン上にあり、かつ原点とは入力切替境界を挟んで反対側の空間にあるため、ジェスチャ認識部２４０は、入力オンと判定する。
　図９は、ジェスチャ認識装置２０のハードウェア構成図の一例である。ジェスチャ認識装置２０は、システム使用者の所有するパーソナルコンピュータと、パーソナルコンピュータ上で実行されるプログラムとして構成されてもよい。
パーソナルコンピュータは、ＣＰＵ（中央演算装置）９０１と、ＣＰＵ９０１にバスを介して接続されているＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０５、ハードディスクドライブなどのコンピュータ読み取り可能な記録媒体である外部記憶装置９０７、Ｉ／Ｏインターフェース９０９、通信ネットワーク回線に接続するための通信インターフェース９１１などとを備え、Ｉ／Ｏインターフェース９０９には、撮像装置であるカメラ１０、インターフェース３０であるボタン、キー、スイッチ、アラームと、表示装置であるディスプレイ４０が接続されている。この場合、例えば、ジェスチャ認識装置２０の画像取込部２１０、最近接点検出部２２０、ジェスチャ計測部２３０、ジェスチャ認識部２４０、インターフェース制御部２５０の機能が、パーソナルコンピュータ上で実行されるプログラムによって実現され、記憶部２６０の機能が外部記憶装置９０７によって実現される。各種機能を実現するプログラムは、外部記憶装置９０７に記憶され、ＲＡＭ９０３に読みだされた後に、ＣＰＵ９０１によって実行される。
　　１０　撮像装置
　　２０　ジェスチャ認識装置
　　３０　インターフェース
　　４０　表示装置
　２１０　画像取込部
　２２０　最近接点抽出部
　２３０　ジェスチャ計測部
　２４０　ジェスチャ認識部
　２５０　インターフェース制御部
　２６０　記憶部

Claims (8)

  1. ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置であって、
    撮像装置が撮像した距離画像データを順次取り込む画像取込部と、
    前記距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、
    複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、
    前記入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、
    入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置。
     
  2. 前記ジェスチャ計測部は、さらに、前記距離画像データのうち、最近接点が存在しうる範囲を追跡領域として判定する追跡領域判定部を有し、
    前記追跡領域判定部は、複数の距離画像データから検出した最近接点を包含する追跡領域を判定し、
    ジェスチャ認識時には、前記最近接点検出部は、前記追跡領域判定部が判定した追跡領域内において最近接点を検出する、
    請求項１記載のジェスチャ認識装置。
     
  3. 前記ジェスチャ認識部は、入力のオン側で最近接点を検出する時間が所定時間以上であることを検出すると、前記インターフェース制御部は、所定のインターフェースを長押しするよう制御する、請求項１～２記載のジェスチャ認識装置。
     
  4. さらに、ジェスチャとジェスチャに対応するインターフェースとを記憶する対応ジェスチャ記憶部を有し、
    前記ジェスチャ認識部は、複数のジェスチャが記憶されている場合、最近接点が検出されると、いずれのジェスチャに対応するかを前記入力切替境界と比較してジェスチャ認識を行う、請求項１～３記載のジェスチャ認識装置。
     
  5. 前記ジェスチャ計測部は、検出した最近接点の軌跡に基づき、ジェスチャガイドラインを算出し、
    前記ジェスチャ認識部は、前記ジェスチャガイドラインを表示部へ表示させる、請求項１～４記載のジェスチャ認識装置。
     
  6. 前記ジェスチャ計測部は、入力のオフ側となる原点を検出し、
    前記ジェスチャ認識部は、検出された最近接点が入力切替境界に対して原点と同じ空間にあるかどうかを判定することで、入力のオン、オフを判定する、請求項１～５記載のジェスチャ認識装置。
     
  7. ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うためのジェスチャ認識プログラムであって、
    撮像装置が撮像した距離画像データを順次取り込む画像取込部と、
    前記距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、
    複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、
    前記入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、
    入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部と、を有するジェスチャ認識装置としてコンピュータを機能させることを特徴とする、ジェスチャ認識プログラム。
     
  8. 　距離画像データを撮像する撮像装置と、
    　ユーザのジェスチャを認識し、認識されたジェスチャに関連付けられたインターフェース制御を行うジェスチャ認識装置と、を有するジェスチャ認識システムであって、
    　前記撮像装置は、ユーザの身体を撮像し、
    　前記ジェスチャ認識装置は、
    　撮像装置が撮像した距離画像データを順次取り込む画像取込部と、
    前記距離画像データから前記撮像装置からの最近接点を検出する最近接点検出部と、
    複数の距離画像データから検出した、ユーザのジェスチャである前記最近接点の軌跡に基づき、インターフェース入力のオン・オフを切り替える入力切替境界を算出するジェスチャ計測部と、
    前記入力切替境界に従って、入力のオンまたはオフの判定を行うジェスチャ認識部と、
    入力のオンが行われたと認識されると、そのジェスチャに関連付けられたインターフェース制御を行うインターフェース制御部とを有するジェスチャ認識システム。
PCT/JP2021/016697 2020-06-01 2021-04-27 ジェスチャ認識装置、システム及びそのプログラム WO2021246089A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21817106.4A EP4160530A1 (en) 2020-06-01 2021-04-27 Gesture recognition device, system, and program for same
US17/999,737 US11893161B2 (en) 2020-06-01 2021-04-27 Gesture recognition based on user proximity to a camera
JP2022528488A JP7489048B2 (ja) 2020-06-01 2021-04-27 ジェスチャ認識装置、システム及びそのプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020095436 2020-06-01
JP2020-095436 2020-06-01

Publications (1)

Publication Number Publication Date
WO2021246089A1 true WO2021246089A1 (ja) 2021-12-09

Family

ID=78830845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/016697 WO2021246089A1 (ja) 2020-06-01 2021-04-27 ジェスチャ認識装置、システム及びそのプログラム

Country Status (4)

Country Link
US (1) US11893161B2 (ja)
EP (1) EP4160530A1 (ja)
JP (1) JP7489048B2 (ja)
WO (1) WO2021246089A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258837A (ja) * 2003-02-25 2004-09-16 Nippon Hoso Kyokai <Nhk> カーソル操作装置、その方法およびそのプログラム
WO2013137412A1 (ja) * 2012-03-15 2013-09-19 オムロン株式会社 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体
JP2015195020A (ja) * 2014-03-20 2015-11-05 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム
JP2017033397A (ja) * 2015-08-04 2017-02-09 日本放送協会 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
JP5665140B2 (ja) * 2012-08-17 2015-02-04 Ｎｅｃソリューションイノベータ株式会社 入力装置、入力方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258837A (ja) * 2003-02-25 2004-09-16 Nippon Hoso Kyokai <Nhk> カーソル操作装置、その方法およびそのプログラム
WO2013137412A1 (ja) * 2012-03-15 2013-09-19 オムロン株式会社 制御装置、電子機器、制御方法、制御プログラム、および、制御プログラムを格納したコンピュータ読取可能な記録媒体
JP2015195020A (ja) * 2014-03-20 2015-11-05 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム
JP2017033397A (ja) * 2015-08-04 2017-02-09 日本放送協会 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MITSUNORI MIKI: "Controlling lighting by gesture detection using Kinect", THE 26TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 2012, 12 June 2012 (2012-06-12), pages 1 - 3

Also Published As

Publication number Publication date
JPWO2021246089A1 (ja) 2021-12-09
US20230168745A1 (en) 2023-06-01
JP7489048B2 (ja) 2024-05-23
EP4160530A1 (en) 2023-04-05
US11893161B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
EP2577426B1 (en) Information processing apparatus and method and program
US9405373B2 (en) Recognition apparatus
WO2013180151A1 (ja) 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
US8897490B2 (en) Vision-based user interface and related method
JP2013250882A5 (ja)
US10198627B2 (en) Gesture identification with natural images
WO2015104257A1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
JPH0844490A (ja) インターフェイス装置
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR100692526B1 (ko) 시스템 자동제어용 제스처 인식 장치 및 그 방법
US9836130B2 (en) Operation input device, operation input method, and program
CN106547338A (zh) 指令生成方法及装置
TWI571772B (zh) 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
KR20140105809A (ko) 제스처 인식 방법 및 제스처 검출기
JP3657463B2 (ja) 動作認識システムおよび動作認識プログラムを記録した記録媒体
CN105426091B (zh) 一种控制黑屏手势处理的方法及终端
CN107168637A (zh) 一种通过缩放手势进行显示缩放的智能终端
KR20120028248A (ko) 이동장치의 제스처 제어장치 및 방법
KR101404018B1 (ko) 손동작 인식 장치 및 그 방법
JP2009211563A (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
JP2013161406A (ja) データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム
CN111986229A (zh) 视频目标检测方法、装置及计算机系统
WO2021246089A1 (ja) ジェスチャ認識装置、システム及びそのプログラム
JP2000276577A (ja) 画像感応型イベント発生装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21817106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022528488

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021817106

Country of ref document: EP

Effective date: 20230102