WO2017191909A1 - 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 - Google Patents

제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 Download PDF

Info

Publication number
WO2017191909A1
WO2017191909A1 PCT/KR2017/003985 KR2017003985W WO2017191909A1 WO 2017191909 A1 WO2017191909 A1 WO 2017191909A1 KR 2017003985 W KR2017003985 W KR 2017003985W WO 2017191909 A1 WO2017191909 A1 WO 2017191909A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
information
point
finger
extracting
Prior art date
Application number
PCT/KR2017/003985
Other languages
English (en)
French (fr)
Inventor
조진수
윤홍찬
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Publication of WO2017191909A1 publication Critical patent/WO2017191909A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Definitions

  • the present invention relates to a gesture recognition method, an apparatus and a non-transitory computer-readable medium, and more particularly, to classify gestures having similar shapes in detail by extracting detailed information such as an extended finger and a finger sticking from an input image. And a gesture recognition method, apparatus and non-transitory computer-readable medium capable of reducing processing load in recognition at the same time.
  • the difficulty of using the computer by the visually impaired is the cause of falling behind the intellectual competition with the general public, and the information gap phenomenon that disadvantages such as securing the knowledge resources and economic opportunities when the computer, which is an essential means in the knowledge information society, cannot be used. Occurs. This phenomenon is directly related to the negative result of low quality of employment for the blind, neglect of job development or job related research.
  • visually impaired people should be provided with equal access to information with the general public while promoting their social participation and activities by suggesting new information access methods for computers.
  • assistive technology devices used by the visually impaired there is no technology that can enable the visually impaired to interact with the computer similarly to the general public, and research is insignificant both at home and abroad.
  • the first condition is the sense of touch (braille and graphic tactile map) and hearing (speech), so that the visually impaired person can easily recognize the output information of the computer, such as the general person recognizes the output information (characters and graphics) through the computer monitor. Information should be provided.
  • the second condition is that the visually impaired person can control the data input and computer through a method suitable for the information-cognitive characteristics of the visually impaired, similar to the way in which the general person controls the computer through data input and graphics through the keyboard and mouse. It should be intuitive and easy to use.
  • the conventional method of recognizing hand gestures simplifies the shape of the hand and at the same time removes detailed information of the hand. This can extract only the core information from a lot of information, but has a big disadvantage that the fine information of the hand is removed by the simplification. Therefore, the conventional hand gesture recognition method in which the detailed information is removed by considering various gestures in which detailed motions are defined is not only a finger extended to implement the gesture but also a fine feature of sticking the finger. Difficult to recognize, there was a problem that the case of recognizable hand gestures is very limited.
  • the conventional method of recognizing hand gestures using invariant moments can also easily extract feature extraction from gestures of a complex model, but similar gestures have a disadvantage in that similar invariant moment values are extracted. This is because the defined gestures have similar models between gestures of different meanings, and thus the method of recognizing hand gestures using invariant moments having similar problems of gesture classification is very limited. There was this.
  • Patent Document 1 Korean Patent No. 10-1559502 “A non-contact input interface method and recording medium through real time hand pose recognition”
  • An object of the present invention is to extract the detailed information, such as the extended finger and the finger pasting from the input image can be classified in detail gestures having a similar form, and at the same time gesture recognition method that can reduce the processing load in recognition, It is to provide an apparatus and a non-transitory computer-readable medium.
  • the present invention provides a gesture recognition method performed in a computing device including at least one processor and a main memory for storing instructions executable by the processor, the image input step of receiving an image; A hand region extraction step of extracting a hand region from the image; A hand feature information extraction step of extracting hand feature information from the hand region; And a gesture discrimination step of determining a gesture from the hand feature information.
  • the hand region extracting step may include: a motion image extracting step of extracting an image of a moving object from the image received in the image input step; A hand candidate group image extracting step of extracting a hand candidate group image from the image of the moving object; And a noise removing step of removing noise from the hand candidate group image.
  • the hand feature information may include one or more of information on a boundary point between fingers, information on a fingertip point, and information on an attached finger.
  • the hand feature information may include information about the attached finger.
  • the hand feature information extraction step includes a finger boundary point extraction step for extracting information on the boundary point between the fingers, the boundary point extraction step between the fingers, hand outline extraction process for extracting the hand outline from the hand area ; Wrist center point extraction process for extracting the wrist center point from the hand region; A hand outline curvature information extraction process of extracting curvature information between a plurality of adjacent points among the points forming the hand outline; And a finger-to-finger point extraction process for extracting a boundary point between fingers from the curvature information.
  • the hand feature information extraction step includes a fingertip point extraction step of extracting information on the fingertip point, the fingertip point extraction step, the outer feature point extraction process for extracting the outer feature point from the hand area; A finger point extraction process of extracting a finger point among the outer feature points; A hand contour point extraction process for extracting a hand contour point among the surgical feature points; And a fingertip point extraction process for extracting the fingertip point by excluding the fingertip point and the handtip point from the outer feature point.
  • the hand feature information extracting step further includes an unfolded finger extraction step of extracting information on the unfolded finger by determining whether the finger is extended with respect to the extracted fingertip point, and the unfolded finger extracting step comprises a hand center point. Based on whether or not the distance to the fingertip point corresponds to a predetermined criterion can be determined whether the finger is an extended finger.
  • the hand feature information extraction step includes an attached finger extraction step of extracting information on the attached finger, wherein the attached finger extraction step includes a determination range for the finger end point which is a determination target of the attached finger; Extraction process; Extracting a boundary point between fingers existing in an area of the determination range; Based on the number of boundary points between the fingers existing in the region of the determination range, it may include the attached finger extraction process for extracting the number of the attached fingers.
  • the hand feature information includes two or more pieces of information
  • the gesture determining step comprises: a gesture group determining step of determining a gesture group based on one of the hand feature information; And determining a detailed gesture belonging to the gesture group based on the remaining information of the hand feature information.
  • the one piece of information is information about the fingertip point
  • the remaining information may be one or more of information about the boundary point between the fingers and information about the attached finger.
  • the one piece of information is information on the fingertip point
  • the gesture group determination step is a threshold discrimination process for determining whether the movement of the fingertip point satisfies the threshold of the threshold model for each predetermined direction ; And a maximum probability determining process of determining whether a direction having the highest probability in the movement of the fingertip point corresponds to a direction satisfying the threshold.
  • the present invention provides a computer-readable medium, wherein the computer-readable medium stores instructions for causing a computer to perform the following steps.
  • Image input step A hand region extraction step of extracting a hand region from the image;
  • a hand feature information extraction step of extracting hand feature information from the hand region;
  • a gesture discrimination step of determining a gesture from the hand feature information.
  • the hand feature information may include one or more of information on a boundary point between fingers, information on a fingertip point, and information on an attached finger.
  • the hand feature information includes two or more pieces of information
  • the gesture determining step comprises: a gesture group determining step of determining a gesture group based on one of the hand feature information; And determining a detailed gesture belonging to the gesture group based on the remaining information of the hand feature information.
  • the present invention is a hand feature information extraction method performed in a computing device including at least one processor and a main memory for storing instructions executable by the processor, wherein the hand feature information is a boundary point between fingers;
  • a hand outline extraction process including information on a hand outline and extracting a hand outline from an image of the hand region; Wrist center point extraction process for extracting the wrist center point from the image of the hand region;
  • a finger-to-finger point extraction process for extracting a boundary point between fingers from the curvature information.
  • the present invention is a hand feature information extraction method performed in a computing device including at least one processor and a main memory for storing instructions that can be executed in the processor, the hand feature information at the fingertips
  • An outer feature extraction process including information on the information and extracting the outer feature from the image of the hand region;
  • a fingertip point extraction process for extracting the fingertip point by excluding the fingertip point and the handtip point from the outer feature point.
  • the hand feature information further comprises information on the attached finger, the process of extracting the determination range for the fingertip point that is the target of discrimination of the attached finger; Extracting a boundary point between fingers existing in an area of the determination range;
  • the method may further include an attached finger extracting process of extracting the number of attached fingers based on the number of boundary points between the fingers existing in the determination range.
  • the gesture recognition method, apparatus, and non-transitory computer-readable medium according to the present invention can exert the effect of more accurately recognizing gestures in applying voice over and toggle back gestures familiar to the visually impaired.
  • the gesture recognition method, apparatus, and non-transitory computer-readable medium according to the present invention can exert an effect of accurately extracting detailed information such as an extended finger and a finger sticking.
  • the gesture recognition method, apparatus and non-transitory computer-readable medium according to the present invention can exert the effect of accurate classification in gestures having a similar form.
  • the gesture recognition method, apparatus and non-transitory computer-readable medium according to the present invention can exert the effect of high recognition rate gesture recognition.
  • the gesture recognition method, apparatus, and non-transitory computer-readable medium according to the present invention can exert an effect of performing accurate recognition of a plurality of recognizable gestures.
  • the gesture recognition method, apparatus, and non-transitory computer-readable medium according to the present invention extract the information about the attached finger, which has not been extracted by the existing method, and thereby can recognize the more various gestures defined. Can be.
  • the gesture recognition method, apparatus, and non-transitory computer-readable medium according to the present invention can exert an effect of reducing the processing load of a processor while performing gesture recognition by a high recognition rate.
  • FIG. 1 is a three-dimensional view schematically showing an apparatus for recognizing a gesture according to an embodiment of the present invention.
  • FIG. 2 is a diagram schematically illustrating steps of a gesture recognition method according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating a hand region extraction step of a gesture recognition method according to an embodiment of the present invention.
  • FIG. 4 is a view schematically showing hand feature information according to an embodiment of the present invention.
  • FIG. 5 is a diagram schematically illustrating a hand feature information extraction step of a gesture recognition method according to an embodiment of the present invention.
  • FIG. 6 is a view schematically showing a boundary point extraction step between the fingers of the gesture recognition method according to an embodiment of the present invention.
  • FIG. 7A and 7B are diagrams for explaining the boundary point extraction step between the fingers of the gesture recognition method according to an embodiment of the present invention.
  • FIG. 8 is a view schematically showing a fingertip extraction step of the gesture recognition method according to an embodiment of the present invention.
  • 9A, 9B, and 9C are diagrams for explaining a fingertip extraction step of a gesture recognition method according to an embodiment of the present invention.
  • FIG. 10 is a diagram schematically illustrating an attached finger extraction step of a gesture recognition method according to an embodiment of the present invention.
  • 11 is a view for explaining the attached finger extraction step of the gesture recognition method according to an embodiment of the present invention.
  • FIG. 12 is a diagram schematically illustrating a gesture discrimination step of a gesture recognition method according to an embodiment of the present invention.
  • FIG. 13 is a diagram schematically illustrating a gesture group discrimination step of a gesture recognition method according to an embodiment of the present invention.
  • 14A, 14B, 14C, 14D, 14E, and 14F illustrate examples of zesters that may be recognized in accordance with one embodiment of the present invention.
  • FIG. 15 shows an example of a gesture discrimination step according to an embodiment of the present invention.
  • 16 is a diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.
  • FIG. 1 is a three-dimensional view schematically showing an apparatus for recognizing a gesture according to an embodiment of the present invention.
  • the camera B may be used as a device capable of recognizing a gesture.
  • a method of recognizing a gesture of the present invention an example of receiving an image of the user's hand A from a camera in a non-contact manner as shown in FIG. 1 and an example of recognizing a gesture performed by the input hand may be considered.
  • the camera may be connected to the user terminal in a wired or wireless manner, or may be formed integrally.
  • Such a user terminal includes a tactile interface device, a smart phone, a tablet personal computer (PC), a mobile phone, a video phone, and an electronic device.
  • An e-book reader, desktop PC, laptop PC, netbook PC, personal digital assistant (PDA) will be referred to as "PDA”.
  • PDA personal digital assistant
  • a portable multimedia player (PMP, hereinafter referred to as 'PMP') an mp3 player, a mobile medical device, a camera, a wearable device (an example) Head-mounted devices (HMDs, for example referred to as 'HMD'), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, or smart Smart watch, etc. Number, and it may include one or more processors and memory, and an electronic device with computing capabilities that correspond to this.
  • the gesture recognition method of the present invention is generally preferably performed by a processor in the user terminal, or may be performed in the camera when the camera has sufficient computing power.
  • FIG. 2 is a diagram schematically illustrating steps of a gesture recognition method according to an embodiment of the present invention.
  • the gesture recognition method is a gesture recognition method performed in a computing device including one or more processors and a main memory storing instructions that can be executed by the processor.
  • Step S100 A hand region extraction step (S200) of extracting a hand region from the image;
  • Such a gesture recognition method of the present invention can increase the usability and convenience of the electronic device by allowing the visually impaired to input a variety of gestures, as well as the user in the device, such as driving a car, ship, airplane, etc. In the case of inputting more intuitively and quickly, new applications and applications are possible even in electronic entertainment.
  • the gesture recognition method of the present invention may be combined with a touch tactile display-based input / output interface system to enable immediate input and feedback reception when a visually impaired person uses another interface.
  • the gesture recognition method of the present invention may perform a similar role as a shortcut key. Therefore, the gestures to be used in this gesture function can be defined as the gestures of the voiceover of the iPhone and the talkback of the Android that are familiar with the visually impaired user, and the visually impaired person controls the computer through gesture recognition. .
  • the hand region extraction step S200 may include a motion image extraction process S210 for extracting an image of a moving object from an image received in the image input step S100; A hand candidate group image extraction process of extracting a hand candidate group image from the image of the moving object (S220); And noise removal processes S230 and S240 for removing noise from the hand candidate group image.
  • the hand region extraction step (S200) is a process of extracting a hand region from a plurality of objects included in an image to extract hand feature information.
  • the moving image extraction process (S210) for extracting an image including only a moving object performs a calculation of extracting a difference between a currently input image and an initial input image stored in the system.
  • the difference between the images may be performed by extracting an image of a moving object by comparing pixel values of images input based on the existing image without motion.
  • the hand candidate group image extraction process (S220) of extracting the hand candidate group image from the extracted motion image the hand candidate group image is extracted by a skin color range filter to extract a hand candidate group having a skin color among moving objects in the image. Extraction process. More preferably, the candidate hand image, preferably the hand candidate group binarization using an HCbCr skin color range filter combining the previously processed difference image with Cb, Cr and H of the HSV color model except for the luminance component Y of the YCbCr color model Extract the image.
  • the HCbCr skin color range filter can change the range of skin color that can pass filtering by changing the range thresholds for H, Cb and Cr, thereby providing a higher recognition rate to individual users regardless of skin color. have.
  • the hand candidate group image extracted using the HCbCr color model has noise or holes in the image due to light intensity and shadow generation. Therefore, it is preferable to perform the noise removal process (S230, S240) to remove the noise in the hand candidate group image.
  • the noise removing processes S230 and S240 may include a step S230 of replenishing the inside of the hand by performing a closing operation of the morphology operation to fill in the lost portion of the inside of the hand caused by the noise or the hole.
  • the hand candidate group image may include images of a plurality of objects, and in this case, a region other than the hand region may exist.
  • the hand is the bulkiest area among the various areas of the skin color in the input image. Therefore, the noise removing process (S230, S240) may include a process of removing other regions passing through the remaining skin color range filter while leaving only the bulky hand region while having the skin color.
  • the process of removing the other region may remove an area other than the hand region by using a connection component labeling algorithm having an object detection effect in the image.
  • a connection component labeling algorithm having an object detection effect in the image.
  • the hand feature information includes information about the boundary point between the fingers 20, information about the fingertip point 10, and information about the attached finger.
  • the information on the fingertips it includes information on whether the corresponding fingertips correspond to the extended fingers or folded fingers.
  • the hand center point 40 in order to extract the hand feature information as described above, between the finger point 30, the hand center point 40, the area boundary line 50, the wrist center point 60 may be used.
  • the number of gestures that can be defined by only the number of fingers stretched and the moving line information of one extended finger end point is limited, and there is a difficulty in recognition.
  • the number of fingers stretched and the movement of the fingers are the same in the gestures in the left and right screen movement (FIG. 14C) and the fast screen movement (FIG. 14D). Since the fingers are attached differently, they are classified as different gestures.
  • the fast screen movement (FIG. 14D) and the menu call gestures are classified into different gestures because the number of extended fingers and whether the fingers are glued are the same, but the fingers are different.
  • the fingertip point is extended to a finger that is extended with respect to information about a boundary point between fingers, information about a fingertip point, information about an attached finger, and information about the fingertip point. Since the gesture is determined using information on whether it corresponds to the corresponding finger or the folded finger, a more diverse range of gestures can be accurately determined.
  • the hand feature information includes information on the attached finger, it is possible to use the information on the shape of the finger as well as the movement of the finger more extensively. Can exert.
  • FIG. 5 is a diagram schematically illustrating a hand feature information extraction step S300 of a gesture recognition method according to an embodiment of the present invention.
  • the hand feature information extraction step (S300) may include extracting a hand region from an input image and extracting a boundary point between fingers from the extracted hand region (S310); Fingertip point extraction step (S320) for extracting the fingertip point from the extracted hand area; An extended finger extraction step (S330) of extracting whether the finger corresponds to an extended finger with respect to the fingertip point extracted from the extracted hand region; And attached finger extraction step (S340) for extracting whether there is a finger attached to the fingertip point.
  • the boundary point extraction step between the fingers (S310); Fingertip extraction step (S320); Stretched finger extraction step (S330); And the finger extraction step (S340) is preferably to be extracted according to the above order
  • the present invention is not limited to the above order, hand feature information extraction step (S300) by the changed order And a part of the above steps, which are also presented as hand feature information extraction step S300, are omitted, and a method for recognizing a gesture by at least one of the information between the boundary point between the fingers, the fingertip point, the extended finger, and the attached finger.
  • FIG. 6 is a view schematically showing a step of inter-finger point extraction of a gesture recognition method according to an embodiment of the present invention (S310), and FIG. 7 is a point-of-finger point extraction of a gesture recognition method according to an embodiment of the present invention. It is a figure for explaining the step S310.
  • the inter-finger point extraction step (S310) extracts the inter-finger point between the fingers through curvature information between consecutive points of the hand outline. On the other hand, the information about the boundary point between the fingers extracted in this way can be used in determining whether or not the fingers to be described later.
  • the curvature information for the outline of the hand is extracted to obtain the inter-finger point, and the inter-finger point is extracted based on the extracted point.
  • the center of curvature and the hand outline used to determine the curvature must be extracted.
  • the outer contour of the hand may be obtained by applying a Snake (Active Contour Model) algorithm to an image or a binarization image of a hand region extracted from the received image.
  • the curvature center point is to determine the curvature of the hand outline should be extracted from the point constituting the hand outline.
  • the longest of the lines consisting of points within curvature of 0 to 20 degrees among the points P k constituting the hand outline in the image is extracted, and the end points thereof are NP 1 and NP. Specify 2 .
  • NP 1 and NP 2 specified in this way are designated as wrist line regions. This may be considered as the boundary between the fingers where the smallest change in curvature or the smallest curvature of the straight line is included, but in practice, due to the knuckle, the change in curvature is similar to that of the straight line.
  • the length of the continuous line is not very long.
  • the region having the longest straight line that is, the region having low curvature
  • the midpoints of the end points NP1 and NP2 of the line, which are considered to be the wrist line region, are determined as the center point of the wrist , the P wrist center point, and the center point of curvature is used to determine the curvature.
  • Hand contour curvature information is extracted using the extracted center of curvature and the outline of the hand.
  • three points are sequentially extracted at intervals of m (preset value) to determine the concave of the curvature through the condition of Equation (2).
  • the condition of judging in the concave is determined by comparing the length at the three points and the center of curvature and the angular condition of the points.
  • the shape of the hand is convex at the end of the wrist and convex at the end of the wrist. The concave judgment as shown in Eq.
  • P sidecenter which is the center of sequential P k -m , P k , P k + m , P k -m and P k + m with the preset value m of the outlines of the hand.
  • P wrist center which is the wrist center point .
  • the first condition for determining whether the depression according to an embodiment of the present invention is between -m k P, P k, P k + m to the angle is from 0 ⁇ 120 ⁇ forming, in P's center point (wristcenter) to P sidecenter of the distance that they longer than the distance from the center point P s (wristcenter) to P k.
  • the curvature of the concave at the previous point is concave. If the point where the curvature characteristic of is lost and the curvature characteristic of the concave is absent but the curvature characteristic of the concave occurs, it is extracted as a boundary point between the fingers.
  • Equation (2) which is basically used for the concave judgment, is applied, and the outer points P k -1 and P k as shown in Equation (3) below.
  • the point of curvature characteristic of the concave continuously appears while continuously tracking P k +1 , and the point of curvature characteristic of the concave does not appear continuously or the point of curvature characteristic of the concave appears.
  • the boundary point (BP) and extracted (see FIG. 7B).
  • the inter-finger point extraction step (S310) of extracting information on the inter-finger point information includes a hand outline extracting process (S311) for extracting a hand outline from the hand region; Wrist center point extraction process for extracting the wrist center point from the hand region (S312); A hand outline curvature information extraction process (S313) for extracting curvature information between a plurality of adjacent points among the points constituting the hand outline; And a finger-to-finger point extraction process (S314) for extracting a boundary point between fingers from the curvature information.
  • FIG 8 is a view schematically showing a fingertip extraction step (S320) of the gesture recognition method according to an embodiment of the present invention
  • Figure 9 is a fingertip extraction step of the gesture recognition method according to an embodiment of the present invention ( It is a figure for demonstrating S320).
  • the fingertip extraction step (S320) for extracting information about the fingertip As shown in Figure 8, the fingertip extraction step (S320) for extracting information about the fingertip,
  • the fingertip point extraction process (S324) extracts the fingertip point by excluding the fingertip point and the handtip point from the outer feature point.
  • the fingertip extraction step (S320) is a step of extracting the fingertip point by using the simplification of the outline of the hand and the center point of the hand.
  • the outer feature point extraction process (S321) is a process of extracting only the outer feature point from the outline of the hand to obtain the simplified information of the outline of the hand region.
  • a primary outline feature may be extracted by reducing the number of points in a curve composed of continuous points constituting a hand outline and approximating it with a straight line.
  • the points with acute angles in the relationship between the points among the primary outer feature points extracted in this way are the portions where the direction is bent at the hand portion, the extended fingertip point, non-sticky point point, and other hand outline points (acute angle) Wrist points having a) and the secondary outer feature points can be extracted as points having such an acute angle from the primary outer feature points.
  • FIG. 9A shows all of the outer feature points with an acute angle in the relationship between these adjacent points.
  • convex Hull convex Hull
  • a convex hull Convex Hull
  • a polygon connecting the outermost points among the outer feature points can be extracted. Since the vertices constituting this polygon are the outermost points of the hand, it is possible to classify the interdigital points within the points.
  • the points inside the polygon that can be extracted by the convex shell method correspond to the point between the fingers, which corresponds to two points existing in the area indicated by the dotted line in FIG. 9 (a).
  • the fingertip point can be extracted by excluding the hand outline from the remaining feature points.
  • the finger area where the finger point point is distributed and the outline area where the hand outline point corresponding to the wrist point are distributed are distinguished. Derived area boundary line.
  • the area boundary line may be derived by using a normal line in a direction in which the hand extends after passing through the center of the hand (P center ) .
  • the hand center point is obtained using the center of gravity of the hand area or the following distance transformation matrix.
  • the equation for obtaining such an area boundary line is as follows.
  • the area boundary line that classifies the finger area and the outer area becomes a normal of the direction of the hand while passing through the center point of the hand.
  • the direction of the hand refers to the direction in which the hand extends from the center of the hand.
  • Equation (4) shows the average gradient of the boundary point BP between the outer feature point OP and the finger with an acute angle at the center point. Further, to obtain the normal line of NormalGradient by using the average slope AverageGradient can calculate the area boundary (Borderline) through x, y coordinates of Pcenter_x, Pcenter_y the P center (hand the center point).
  • a region in which more outer feature points exist among the two regions divided by the area boundary lines becomes a finger region, and the outer feature points existing in the finger region may be extracted as the finger end point.
  • 9B shows an example of such a process.
  • two points present in the area of two dotted lines below the area boundary line are determined as the hand outline point, and the three fingertip points FP 1 , FP 2 , and FP 3 are determined as shown in FIG. 9C. Can be extracted.
  • the fingertip point FP can be extracted by classifying the area including the fingertip point FP and other hand outline points (WP points with an acute angle) by using a borderline which is a discrimination function for the region boundary line.
  • the hand feature information extraction step (S300) further comprises an extended finger extraction step (S330) for extracting information about the extended finger by determining whether the finger is an extended finger with respect to the extracted fingertip point,
  • the finger extraction step S330 may determine whether the finger is an extended finger based on whether the distance from the hand center point to the finger end point corresponds to a predetermined determination criterion.
  • the fingertip point the opened fingers point between the finger end point (FP) of the opened up in order to perform an accurate determination as to whether for the end point will hand the center point P center (hand the center point) in the outer feature points (OP) and a finger (AP Using the feature that is longer than the average distance of), it can be identified as the point within the finger region that is larger than the average distance from the center of the hand among the outer feature points.
  • FIG. 10 is a view schematically showing a stuck finger extraction step S340 of a gesture recognition method according to an embodiment of the present invention
  • FIG. 11 is a stuck finger extraction of a gesture recognition method according to an embodiment of the present invention. It is a figure for explaining the step S340.
  • the attached finger extraction step (S340) for extracting information on the attached finger is the determination range for the fingertip point to determine whether the attached finger Discrimination range extraction process for extracting (S341); A process of extracting a boundary point between regions of the finger extracting a boundary point between fingers existing in the region of the determination range (S342); Attached finger extraction process (S343) for extracting the number of the attached finger based on the number of inter-finger boundary points existing in the region of the determination range.
  • the extracted fingertip may correspond to one fingertip in an area composed of a plurality of fingers, and in this case, the recognition of more various gestures by determining how many fingers are attached to the fingertip Can be enabled.
  • the attached finger extraction step (S340) is a step of determining the attached finger based on the information about the boundary point and the fingertip point between the fingers extracted in the above-described steps.
  • the attached finger extraction step (S340) by setting a predetermined region at the fingertip point, the presence and the number of boundary points extracted between the fingers extracted in the step are extracted, and thus the attached finger is determined or Extract.
  • a point between fingers or a wrist point exists at both sides of the extended fingertip point extracted when the user inputs a gesture.
  • the interdigital boundary point is unconditionally around the attached finger, and the interdigital point is between the interdigital points on both sides of the extended finger or between the wrist point (when all five fingers are collected) and the extended fingertip point. It exists in the longitudinal range up to the center of the hand. Therefore, the number of attached fingers can be extracted through the number of boundary points between the fingers included in the area of the discrimination range from the extended finger end point.
  • Equation (5) is referred to to obtain a horizontal range WArea of the area of the determination range.
  • the extended fingertip point FP n , the inter-finger point AP, and the wrist point WP belong to the outer feature point OP.
  • the internal index FN is calculated by locating the elements at the coordinates of the extended finger point FP n and the outer feature point OP. Then, two points, LP and RP, to be the basis of the horizontal length (WLength), are extracted by extracting OP FN - 1 and OP FN +1 right next to the extended finger and determining whether they belong to the finger point AP.
  • the WLength of the region of the attached determination range is calculated from the length between both points LP and RP of the extended fingertip.
  • the WLength may be determined by multiplying a predetermined value J1 ⁇ 1 by the length between the LP and the RP.
  • J1 has a value of 0.7 to 0.95. Since this may include inter-fingerpoint points for other fingers within the length area between LP and RP, it is basically based on the length between LP and RP, but multiplying a preset value therefrom to eliminate errors that are included. To do this.
  • the height (HLength) of the region of the determination range is calculated from the length of the finger between the opened end (FP n) and hand the center point (P center (hand the center point)).
  • the vertical length (HLength) may be determined by multiplying the value (J2 ⁇ 1) set up in the length between the opened end finger (FP n) and hand the center point (P center (hand the center point)).
  • J2 may be set based on pixels of an image.
  • J1 has a value of 0.7 to 0.98.
  • the J1 and J2 may be automatically calculated according to the recognized shape of the hand outline after the first user's hand region is recognized as a flat form.
  • the vertical gradient (HGradient) of the determination range region corresponds to the slope of a straight line passing through the extended fingertip point (FP n ) and the hand center point P center (hand center point) , and the horizontal slope WGradient is vertical.
  • the horizontal slope WGradient is vertical.
  • the upper end of the horizontal area of the discrimination range area is located on a straight line W Area1 having the slope of WGradient passing through the extended fingertip point FP n . Since, W Area1 straight on and focus the stretched finger end FPn while two points between the lengths of two points extracting HP1 and HP2 the length of WLength, and the straight line connecting the HP1 and HP2 upper horizontal line of the region of the determination range Corresponds to
  • the vertical line of the area of the determination range lies on the straight line H Area1 and H Area2 having the slope of HGradient passing through each HP1 and HP2, and two lines corresponding to the extracted HLength correspond to the vertical lines.
  • the lower horizontal line may be determined by the straight line WArea2 having the slope of the WGradient while passing through the extracted JP.
  • the area of the determination range is determined by the upper horizontal line, the lower horizontal line, and the two vertical lines determined as described above, and the number of the attached fingers can be determined by the number of boundary points between the fingers existing within the region of the determination range. .
  • the present invention is not limited to the method of calculating the area of the determination range as described above. It includes everything.
  • an area Area of the discrimination range of the finger extended through the W Area and H Area created in Equation (6) is constructed.
  • the attached finger there is a boundary point between the fingers BP in the area of the discriminating range of each extended finger. Therefore, if the number of inter-finger boundary points BP included in the area of the extended range of the fingers is Countn, the number of attached fingers can be extracted as Countn / 2.
  • FIG. 12 is a diagram schematically illustrating a gesture discrimination step S400 of a gesture recognition method according to an embodiment of the present invention.
  • the gesture discriminating step (S400) includes a gesture group discriminating step (S410) for determining a gesture group based on one of the hand feature information; And a detailed gesture discrimination step (S420) of determining a detailed gesture belonging to the gesture group based on the remaining information of the hand feature information.
  • the gesture discrimination step (S400) is a step of determining whether a gesture is defined or non-gesture based on hand feature information extracted from an image input in real time, and classifying the gesture as a gesture taken by a user among the defined gesture candidates.
  • a start point and an end point of a corresponding gesture are determined in advance from the input data, and only the separated gesture part is sent to the recognizer.
  • the distinction that determines the starting point and the end point of the gesture in the real time state is very important, and if the distinction is not clear, a situation may arise in which the unconscious operation of the person taking the gesture may be recognized as the intended gesture.
  • a threshold model having non-gesture data is used to solve the classification problem
  • HMM Hidden Markov Model
  • the threshold model is characterized by the use of thresholds for the removal of patterns other than gestures from input patterns.
  • This model calculates the critical similarity of the input pattern and uses it to determine how similar the input pattern is to the gesture pattern.
  • This model trains each model using Baum-Welch algorithm, and extracts state and self-transition of each model for all trained gesture models, and then builds a new model in which all states are interconnected. do.
  • each state can reach another state by one transition.
  • the probability of each state and its own transition holds the probability in the gesture model as it is, and the probability of transition to another state can be calculated using its own transition probability from the fact that the sum of the probability of transition in each state is 1. .
  • the threshold model can express all sub-patterns of the reference pattern, and matches well with all combination results using the subpatterns of the reference pattern. It could be.
  • This threshold model solves the problem of distinction between the beginning and the end of a gesture.
  • the HMM is a statistical Markov model, a model that assumes that the system consists of two elements, the hidden state and observable results.
  • the term 'hidden' is used because the direct causes of observable results are hidden states that cannot be observed, and only those results obtained through the Markov process can be observed.
  • each state can produce various results according to a specific probability distribution.
  • the state can be inferred from the results from the hidden states, thereby solving the problem of space-time variation.
  • the threshold model is used based on the above-described HMM, and in this case, the gesture and the non-gesture can be efficiently determined in the image in a real time environment.
  • the present invention unlike the HMM-based threshold model that tracks a point to determine the gesture, it is preferable to track a plurality of fingers in order to extract the defined gestures to be recognized, and at the same time, it is desirable to consider the glued state of the finger. Do.
  • the HMM-based threshold model increases the number of threshold cases in the case of the end points and the attachment of the plurality of fingers. This may lead to performance degradation of the gesture recognition algorithm.
  • a plurality of finger endpoint tracking and finger sticking needs to be taken into account. Therefore, there is a difficulty in recognizing the defined gesture with the HMM-based threshold model.
  • the gesture discrimination step (S400) includes a gesture group discrimination step (S410) for determining a gesture group based on one of the hand feature information; And a gesture determination step (S420) of determining a detailed gesture belonging to the gesture group based on the remaining information of the hand feature information.
  • the gesture determination step (S400) of the present invention uses an existing threshold model for gesture determination, but does not individually determine the number of fingertips and the adhesion of the fingers at the time of gesture determination, and one hand feature information, preferably After determining the gesture group by the information on the fingertips, the detailed gesture is determined by the remaining information.
  • This gesture determination step (S400) uses a HMM-based threshold model for determining gestures and non-gestures, but not only to prevent the increase in complexity in the case of the threshold model due to the tracking of a number of fingertips, but also to determine the stickiness of the fingers. Can be.
  • the gesture group discrimination step (S410) may include a threshold discrimination process (S411) of determining whether the movement of the fingertip point satisfies the threshold of the threshold model for each preset direction; And a maximum probability discrimination process (S412) for determining whether the direction having the highest probability in the movement of the fingertip point corresponds to the direction for satisfying the threshold. same.
  • the gesture group discrimination step S410 of the gesture discrimination step S400 may be classified into upper, lower, left, and right motions as defined in Equation (8).
  • the movement standard is the fingertip point extracted in the hand information feature extraction step. More preferably, it is based on the movement of the fingertip point FP1 which is extracted first among the stretched fingers.
  • the gesture and non-gesture are determined through the threshold model of the threshold model of the movement based on the first finger, and the highest probability of the HMM probabilities of the upper, lower, left, and right of the end point FP1 of the finger is the direction.
  • the threshold determination process S411
  • Equation (9) through the remaining information of the hand feature information of the gesture group of the selected direction, it is determined whether the gesture is a specific gesture.
  • Equation (9) is merely an example of determining the detailed gesture based on the remaining hand feature information, and the present invention is not limited thereto and includes various rules for determining the detailed gesture based on the remaining hand feature information.
  • the gesture defined by the subdividing through the attachability and HMM is determined.
  • the learned data is used for the movement data for the extended fingers other than the first extended fingertip used in the primary classification.
  • the number of attachments of the first finger and the situation Attach1 are determined by using data about the attachability of the finger, and the gestures other than the gestures in which the attachability of the finger exists among the classified gestures are determined. Gestures are selected according to Attach1. If Attach1 is the same, the most probable gesture is selected through the HMM of FP2.
  • This gesture discrimination step (S400) is a plurality of finger endpoint tracking and the finger of the finger generated when using the HMM-based threshold model to recognize the defined gesture in the gesture determination and classification with the feature information input in real time By supplementing the problem of attachment, the effect of recognizing the defined gesture can be achieved.
  • extending only the index finger shown in FIG. 14A and moving it to the left and right is designated as an input for 'focus shifting left and right'
  • extending only the index finger shown in FIG. 14B and moving it up and down is referred to as 'focus'.
  • FIG 15 shows an example of a gesture discrimination step S400 according to an embodiment of the present invention.
  • a gesture group is determined as information on the movement of the fingertip point among the hand feature information, and a detailed gesture belonging to the gesture group is determined based on the remaining hand feature information.
  • the index finger is extended in the remaining hand feature information, it is recognized as 'left one sweep', and if the index finger and middle finger are extended, it is recognized as 'left two swipe', and the index finger, middle finger, And if the ring finger is extended, it is recognized as 'left three swipe', and if the thumb and index finger are separated, it is recognized as 'left turn', and if the index finger and middle finger are extended apart, the left two 'To sweep'.
  • 16 is a block diagram illustrating an example of an internal configuration of a computing device according to an embodiment of the present invention.
  • the computing device 11000 may include at least one processor 11100, a memory 11200, a peripheral interface 11300, and an input / output subsystem ( I / Osubsystem 11400, power circuit 11500, and communication circuit 11600.
  • the computing device 11000 may correspond to the user terminal A connected to the tactile interface device or the computing device B described above.
  • the memory 11200 may include, for example, high-speed random access memory, magnetic disk, SRAM, DRAM, ROM, flash memory, or nonvolatile memory. have.
  • the memory 11200 may include a software module, an instruction set, or other various data necessary for the operation of the computing device 11000.
  • accessing the memory 11200 from another component such as the processor 11100 or the peripheral device interface 11300 may be controlled by the processor 11100.
  • the peripheral interface 11300 may couple the input and / or output peripherals of the computing device 11000 to the processor 11100 and the memory 11200.
  • the processor 11100 may execute a software module or an instruction set stored in the memory 11200 to perform various functions for the computing device 11000 and process data.
  • Input / output subsystem 11400 may couple various input / output peripherals to peripheral interface 11300.
  • the input / output subsystem 11400 may include a controller for coupling a peripheral device such as a monitor or keyboard, a mouse, a printer, or a touch screen or a sensor, as necessary, to the peripheral interface 11300.
  • the input / output peripherals may be coupled to the peripheral interface 11300 without passing through the input / output subsystem 11400.
  • the power circuit 11500 may supply power to all or part of the components of the terminal.
  • power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), charging systems, power failure detection circuits, power converters or inverters, power status indicators or power sources. It can include any other components for creation, management, distribution.
  • power sources such as batteries or alternating current (AC)
  • AC alternating current
  • charging systems power failure detection circuits
  • power converters or inverters power status indicators or power sources. It can include any other components for creation, management, distribution.
  • the communication circuit 11600 may enable communication with another computing device using at least one external port.
  • the communication circuit 11600 may include an RF circuit to transmit and receive an RF signal, also known as an electromagnetic signal, to enable communication with other computing devices.
  • an RF signal also known as an electromagnetic signal
  • FIG. 16 is only one example of the computing device 11000, and the computing device 11000 may include some components shown in FIG. 16, or may include additional components not shown in FIG. It may have a configuration or arrangement that combines two or more components.
  • the computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor, in addition to the components illustrated in FIG. 18, and various communication schemes (WiFi, 3G, LTE) in the communication circuit 1160. , Bluetooth, NFC, Zigbee, etc.) may include a circuit for RF communication.
  • Components that may be included in the computing device 11000 may be implemented in hardware, software, or a combination of both hardware and software, including integrated circuits specialized for one or more signal processing or applications.
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that may be executed by various computing devices and may be recorded in a computer readable medium.
  • the program according to the present embodiment may be configured as a PC-based program or an application dedicated to a mobile terminal.
  • An application to which the present invention is applied may be installed in a user terminal through a file provided by a file distribution system.
  • the file distribution system may include a file transmitter (not shown) for transmitting the file at the request of the user terminal.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments are, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gate arrays (FPGAs). May be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of these, and configure the processing device to operate as desired, or process it independently or in combination. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device for the purpose of interpreting or providing instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computing devices so that they are stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 입력받은 영상으로부터 펴진 손가락 및 손가락의 붙임 등의 상세 정보를 추출함으로써 유사한 형태를 가진 제스처들을 상세하게 분류가 가능하며, 동시에 인식에 있어서 처리부하를 경감할 수 있는 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대한 것으로서, 본 발명의 일 실시예에 따른 제스처 인식 방법은 영상을 입력받는 영상입력단계; 상기 영상에서 손영역을 추출하는 손영역추출단계; 상기 손영역으로부터 손특징정보를 추출하는 손특징정보추출단계; 및 상기 손특징정보로부터 제스처를 판별하는 제스처판별단계를 포함한다.

Description

제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
본 발명은 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대한 것으로서, 더욱 상세하게는 입력받은 영상으로부터 펴진 손가락 및 손가락의 붙임 등의 상세 정보를 추출함으로써 유사한 형태를 가진 제스처들을 상세하게 분류가 가능하며, 동시에 인식에 있어서 처리부하를 경감할 수 있는 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대한 것이다.
정보화 사회 속에서 일반인이 컴퓨터를 이용한 정보소통은 사회 참여 및 활동에 매우 중요한 요소이며, 사회 구성원인 시각장애인에게도 컴퓨터를 이용한 정보소통능력이 요구되고 있다. 하지만 시각장애인은 신체의 오감 중 촉각과 청각을 통해 전달되는 정보를 분석 및 이해할 수 밖에 없는 인지 특성을 가지고 있으므로, 주로 시각을 통해 정보 제공 및 제어 방식을 가지는 컴퓨터의 활용은 시각장애인에게 매우 어려운 문제이다
시각장애인의 컴퓨터 활용에 대한 어려움은 일반인과 지적 경쟁에서 뒤쳐질 수 밖에 없는 원인이 되며, 지식정보화사회에서 필수적인 수단인 컴퓨터를 활용하지 못할 경우 지식자원의 확보와 경제적 기회 등 불이익을 받는 정보 격차 현상을 발생한다. 이러한 현상은 시각장애인들은 낮은 고용의 질, 시각장애인 직종개발이나 직업관련 연구의 소홀이라는 부정적 결과로 직결된다.
이처럼 컴퓨터를 이용한 정보소통의 중요성을 고려할 때, 시각장애인들에게도 컴퓨터에 대한 새로운 정보접근 방법의 제시를 통하여 그들의 사회적 참여와 활동을 촉진시킴과 동시에 일반인과 동등한 수준의 정보접근의 기회를 제공이 필요 시 되고 있지만, 현재 시각장애인이 사용하는 보조공학기기들 중 일반인과 유사하게 시각장애인과 컴퓨터와의 상호작용이 가능하게 해줄 수 있는 기술은 전무할 뿐만 아니라 연구까지도 국내는 물론 해외에서도 미미한 실정이다.
시각장애인의 컴퓨터 활용에 대한 문제를 해결하기 위해서는 일반인들이 사용하는 컴퓨터 인터페이스와는 다르면서, 다음과 같은 조건을 갖춘 시각장애인 전용 컴퓨터 인터페이스가 필요 시 된다.
첫 번째 조건으로는 일반인이 컴퓨터의 모니터를 통하여 출력정보(문자 및 그래픽)를 인지하는 것과 같이 시각장애인이 컴퓨터의 출력정보를 쉽게 인지할 수 있게끔 촉각(점자 및 그래픽 촉각지도)과 청각(음성) 정보로 제공되어야 한다. 두 번째 조건으로는 일반인이 키보드 및 마우스를 통하여 데이터 입력 및 그래픽 위주의 직관적으로 컴퓨터를 제어하는 방식과 유사하게 시각장애인의 정보인지 특성에 적합한 방식을 통해 시각장애인이 데이터 입력 및 컴퓨터를 제어하는데 있어 직관적으로 쉽게 사용할 수 있어야 한다.
그리하여 실질적인 시각장애인의 컴퓨터 활용 문제를 해결하기 위한 언급된 두 가지의 조건을 충족시켜, 시각장애인과 컴퓨터 간의 효율적 상호작용을 가능하게 해주는 효율적인 방법으로는 카메라를 통한 제스처 인식 기능이 제안된 바 있고, 제스처의 종류를 보다 세분화함으로써 입력의 범위를 확장시키는 것이 필요한 실정이다.
종래의 일반 카메라를 통한 손 제스처 인식방법은 손의 동작을 추적하기 위해 손에 특정한 색의 표식을 붙이거나 표식이 있는 장갑을 사용하거나, 단일한 배경으로 제한하는 방법이 사용되었다. 하지만 이러한 방법들은 환경에 대한 사용 제약이 많으면서, 장비를 이용해야만 하는 단점이 존재하였다.
또한, 종래의 손 제스처의 인식방법은 손의 형태를 단순화시킴과 동시에 손이 가지고 있는 상세 정보들이 제거 된다. 이는 수많은 정보들 중 핵심 정보만 추출할 수 있지만, 단순화로 인한 손의 미세한 정보들이 제거된다는 큰 단점을 가지고 있다. 따라서, 세부적인 동작이 정의된 다양한 제스처들은 해당 제스처를 구현하기 위하여 펴진 손가락뿐만 아니라 손가락의 붙임이라는 미세한 특징까지 고려 되어 함으로 상세 정보가 제거되는 종래의 손 제스처 인식방법은 이와 같은 세부적인 제스처 동작을 인식하기가 어렵고, 인식할 수 있는 손 제스처의 경우가 매우 한정되어 있다는 문제점이 있었다.
한편, 종래의 불변 모멘트를 활용하여 손 제스처를 인식하는 방법 역시 복잡한 모형의 제스처에서 특징 추출을 쉽게 추출할 수 있지만, 유사 제스처는 유사한 불변 모멘트 값이 추출되는 단점을 가지고 있다. 이는 정의된 제스처가 다른 의미의 제스처끼리 유사한 모형을 가지고 있음으로, 유사한 제스처 분류의 문제를 가지는 불변모멘트를 활용한 손 제스처를 인식하는 방법 역시 인식할 수 있는 손 제스처의 경우가 매우 한정되어 있다는 문제점이 있었다.
선행기술문헌 : (특허문헌 1) 한국등록특허번호 10-1559502 “실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체”
본 발명의 목적은 입력받은 영상으로부터 펴진 손가락 및 손가락의 붙임 등의 상세 정보를 추출함으로써 유사한 형태를 가진 제스처들을 상세하게 분류가 가능하며, 동시에 인식에 있어서 처리부하를 경감할 수 있는 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체를 제공하는 것이다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 수행되는 제스처 인식 방법으로서, 영상을 입력받는 영상입력단계; 상기 영상에서 손영역을 추출하는 손영역추출단계; 상기 손영역으로부터 손특징정보를 추출하는 손특징정보추출단계; 및 상기 손특징정보로부터 제스처를 판별하는 제스처판별단계를 포함하는 제스처 인식방법을 제공한다.
본 발명에서는, 상기 손영역추출단계는, 상기 영상입력단계에서 입력받은 영상으로부터 움직이는 사물에 대한 영상을 추출하는 움직임영상추출단계; 상기 움직이는 사물에 대한 영상으로부터 손후보군 영상을 추출하는 손후보군영상추출단계; 및 상기 손후보군 영상에서 노이즈를 제거하는 노이즈제거단계를 포함할 수 있다.
본 발명에서는, 상기 손특징정보는 손가락사이 경계점에 대한 정보, 손가락끝점에 대한 정보, 및 붙어있는 손가락에 대한 정보 중 1 이상을 포함할 수 있다.
본 발명에서는, 상기 손특징정보는 붙어있는 손가락에 대한 정보를 포함할 수 있다.
본 발명에서는, 상기 손특징정보추출단계는 손가락사이 경계점에 대한 정보를 추출하는 손가락사이경계점추출단계를 포함하고,상기 손가락사이경계점추출단계는, 상기 손영역으로부터 손외곽선을 추출하는 손외곽선추출과정; 상기 손영역으로부터 손목중심점을 추출하는 손목중심점추출과정; 상기 손외곽선을 구성하는 점들 중 인접하는 복수의 점들 사이의 곡률정보를 추출하는 손외곽곡률정보추출과정; 및 상기 곡률정보로부터 손가락사이경계점을 추출하는 손가락사이겸계점추출과정;을 포함할 수 있다.
본 발명에서는, 상기 손특징정보추출단계는 손가락끝점에 대한 정보를 추출하는 손가락끝점추출단계를 포함하고,상기 손가락끝점추출단계는, 상기 손영역으로부터 외곽특징점을 추출하는 외곽특징점추출과정; 상기 외곽특징점 중 손가락사이점을 추출하는 손가락사이점추출과정; 상기 외과특징점 중 손외곽점을 추출하는 손외곽점추출과정; 및 상기 외곽특징점에서 상기 손가락사이점 및 손외곽점을 제외함으로써 손가락끝점을 추출하는 손가락끝점추출과정을 포함할 수 있다.
본 발명에서는, 상기 손특징정보추출단계는 상기 추출된 손가락끝점에 대하여 펴진손가락인지 여부를 판별하여 펴진손가락에 대한 정보를 추출하는 펴진손가락추출단계를 더 포함하고, 상기 펴진손가락추출단계는 손중심점으로부터 상기 손가락끝점에 대한 거리가 기설정된 판별기준에 해당이 되는 지 여부에 기초하여 펴진손가락인지 여부를 판별할 수 있다.
본 발명에서는, 상기 손특징정보추출단계는 붙어있는 손가락에 대한 정보를 추출하는 붙어있는손가락추출단계를 포함하고, 상기 붙어있는손가락추출단계는 붙어있는 손가락 여부의 판별대상인 손가락끝점에 대한 판별범위를 추출하는 과정; 상기 판별범위의 영역에 존재하는 손가락사이경계점을 추출하는 과정; 상기 판별범위의 영역에 존재하는 손가락사이경계점의 개수에 기초하여, 붙어있는 손가락의 개수를 추출하는 붙어있는손가락추출과정을 포함할 수 있다.
본 발명에서는, 상기 손특징정보는 2 이상의 정보를 포함하고, 상기 제스처판별단계는 상기 손특징정보 중 하나의 정보에 의하여 제스처그룹을 판별하는 제스처그룹판별단계; 및상기 손특징정보 중 나머지 정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별하는 세부제스처판별단계;를 포함할 수 있다.
본 발명에서는, 상기 하나의 정보는 손가락끝점에 대한 정보이고, 상기 나머지 정보는 손가락사이 경계점에 대한 정보 및 붙어있는 손가락에 대한 정보 중 1 이상일 수 있다.
본 발명에서는, 상기 하나의 정보는 손가락끝점에 대한 정보이고, 제스처그룹판별단계는 상기 손가락끝점의 움직임이 기설정된 각 방향에 대한 임계치 모델의 스레스홀드를 만족시키는 지를 판별하는 스레스홀드판별과정; 및 상기 손가락끝점의 움직임에서 확률이 가장 높은 방향이 상기 스레스홀드를 만족시키는 방향에 해당하는 지를 판별하는 최대확률판별과정을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨터로 하여금 이하의 단계를 수행하도록 하는 명령들을 저장하며, 상기 단계는: 영상을 입력받는 영상입력단계; 상기 영상에서 손영역을 추출하는 손영역추출단계; 상기 손영역으로부터 손특징정보를 추출하는 손특징정보추출단계; 및 상기 손특징정보로부터 제스처를 판별하는 제스처판별단계를 포함하는, 컴퓨터-판독가능 매체를 제공한다.
본 발명에서는, 상기 손특징정보는 손가락사이 경계점에 대한 정보, 손가락끝점에 대한 정보, 및 붙어있는 손가락에 대한 정보 중 1 이상을 포함할 수 있다.
본 발명에서는, 상기 손특징정보는 2 이상의 정보를 포함하고, 상기 제스처판별단계는 상기 손특징정보 중 하나의 정보에 의하여 제스처그룹을 판별하는 제스처그룹판별단계; 및상기 손특징정보 중 나머지 정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별하는 세부제스처판별단계;를 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 수행되는 손특징정보추출 방법으로서, 상기 손특징정보는 손가락사이 경계점에 대한 정보를 포함하고, 손영역의 영상으로부터 손외곽선을 추출하는 손외곽선추출과정; 상기 손영역의 영상으로부터 손목중심점을 추출하는 손목중심점추출과정; 상기 손외곽선을 구성하는 점들 중 인접하는 복수의 점들 사이의 곡률정보를 추출하는 손외곽곡률정보추출과정; 및 상기 곡률정보로부터 손가락사이경계점을 추출하는 손가락사이겸계점추출과정;을 포함하는, 손특징정보추출 방법을 제공한다.
상기와 같은 과제를 해결하기 위하여 본 발명은, 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 수행되는 손특징정보추출 방법으로서, 상기 손특징정보는 손가락끝점에 대한 정보에 대한 정보를 포함하고, 손영역의 영상으로부터 외곽특징점을 추출하는 외곽특징점추출과정; 상기 외곽특징점 중 손가락사이점을 추출하는 손가락사이점추출과정; 상기 외과특징점 중 손외곽점을 추출하는 손외곽점추출과정; 및 상기 외곽특징점에서 상기 손가락사이점 및 손외곽점을 제외함으로써 손가락끝점을 추출하는 손가락끝점추출과정을 포함하는, 손특징정보추출 방법을 제공한다.
본 발명에서는, 상기 손특징정보는 붙어있는 손가락에 대한 정보를 더 포함하고, 상기 붙어있는 손가락 여부의 판별대상인 손가락끝점에 대한 판별범위를 추출하는 과정; 상기 판별범위의 영역에 존재하는 손가락사이경계점을 추출하는 과정; 상기 판별범위의 영역에 존재하는 손가락사이경계점의 개수에 기초하여, 붙어있는 손가락의 개수를 추출하는 붙어있는손가락추출과정을 더 포함할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 시각장애인들에게 익숙한 보이스 오버 및 토그백 제스처를 적용하는데 있어 보다 정확하게 제스처를 인식할 수 있는 효과를 발휘할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 펴진 손가락 및 손가락의 붙임 등의 상세 정보를 정확하게 추출할 수 있는 효과를 발휘할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 유사한 형태를 가진 제스처들에 있어서 정확한 분류를 할 수 있는 효과를 발휘할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 높은 인식률의 제스처 인식의 효과를 발휘할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 보다 다수의 인식 가능 제스처에 대한 정확한 인식을 수행할 수 있는 효과를 발휘할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 기존의 방법에서는 추출하지 못했던 붙어있는 손가락에 대한 정보를 추출하고, 이를 통해 정의된 보다 다양한 제스처를 인식할 수 있는 효과를 발휘할 수 있다.
본 발명에 따른 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체는 높은 인식률에 의한 제스처인식을 수행하면서, 프로세서의 처리부하를 감소시킬 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 제스처를 인식하는 장치를 개략적으로 도시한 입체도이다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식 방법의 단계를 개략적으로 도시한 도면이다.
도 3는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손영역추출단계를 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 손특징정보를 개략적으로 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손특징정보추출단계를 개략적으로 도시한 도면이다.
도 6는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락사이경계점추출단계를 개략적으로 도시한 도면이다.
도 7A 및 도 7B는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락사이경계점추출단계를 설명하기 위한 도면이다.
도 8는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락끝점추출단계을 개략적으로 도시한 도면이다.
도 9A, 도 9B, 및 도 9C는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락끝점추출단계를 설명하기 위한 도면이다.
도 10는 본 발명의 일 실시예에 따른 제스처 인식 방법의 붙어있는손가락추출단계을 개략적으로 도시한 도면이다.
도 11는 본 발명의 일 실시예에 따른 제스처 인식 방법의 붙어있는손가락추출단계를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 제스처 인식 방법의 제스처판별단계를 개략적으로 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 제스처 인식 방법의 제스처그룹판별단계를 개략적으로 도시한 도면이다.
도 14A, 도 14B, 도 14C, 도 14D, 도 14E, 및 도 14F는 본 발명의 일 실시예에 따라 인식될 수 있는 제스터들의 예를 도시한다.
도 15는 본 발명의 일 실시예에 따른 제스처판별단계의 예를 도시한다.
도 16은 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하는 도면이다.
본원의 양상들, 특징들 및 이점들은 하기의 실시예들 및 첨부된 도면들을 참고함으로써 이해될 것이다. 다른 도면들의 동일한 참조 번호들은 동일 또는 유사한 요소들을 나타낼 수 있다. 또한, 하기의 서술은 본 발명을 제한하지 않고, 오히려 본 발명의 범위는 첨부된 청구항들 및 등가물들에 의해 정의된다.
도 1은 본 발명의 일 실시예에 따른 제스처를 인식하는 장치를 개략적으로 도시한 입체도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에서는 제스처를 인식할 수 있는 장치로서 카메라(B)를 이용할 수 있다. 본 발명의 제스처를 인식하는 방법이 사용될 수 있는 예로서 도 1과 같이 카메라로부터 비접촉 방식으로 사용자 손(A)의 영상을 입력받고, 이와 같이 입력된 손으로 수행되는 제스처를 인식하는 예가 고려될 수 있다. 한편, 상기 카메라는 사용자 단말기에 유선적 혹은 무선적으로 연결되어 있거나, 일체형으로 형성된 형태가 가능하다.
이와 같은 상기 사용자단말기는 촉각 인터페이스장치, 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있고, 하나 이상의 프로세서와 메모리를 포함하고 컴퓨팅 능력을 가진 전자장치들이 이에 해당할 수 있다.
한편, 본 발명의 제스처 인식 방법은 통상적으로 상기 사용자단말기에서 프로세서에 의하여 수행됨이 바람직하고, 혹은 상기 카메라가 충분한 연산능력을 보유하고 있는 경우에는 상기 카메라에서 수행될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 제스처 인식 방법의 단계를 개략적으로 도시한 도면이다.
도 2에 도시된 바와 같이, 본 발명에 따른 제스처 인식 방법은 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 수행되는 제스처 인식 방법으로서, 영상을 입력받는 영상입력단계(S100); 상기 영상에서 손영역을 추출하는 손영역추출단계(S200); 상기 손영역으로부터 손특징정보를 추출하는 손특징정보추출단계(S300); 및 상기 손특징정보로부터 제스처를 판별하는 제스처판별단계(S400)를 포함한다.
이와 같은 본 발명의 제스처 인식 방법은 시각장애인들이 보다 다양한 제스처를 입력할 수 있게 함으로써 전자기기의 활용성 및 편의성을 높일 수 있을 뿐만 아니라, 자동차, 선박, 비행기 등의 운전 등이 필요한 장치에서 사용자가 보다 직관적이고 빠르게 입력을 수행하는 경우, 전자오락 등에 있어서도 새로운 응용 및 적용이 가능하다.
또한, 본 발명의 다른 적용예로서, 본 발명의 제스처 인식 방법은 터처블 촉각 디스플레이 기반의 입출력 인터페이스 시스템과 결합되어, 시각장애인이 다른 인터페이스를 사용했을 때 보다 즉각적인 입력 및 피드백수신을 가능하게 할 수도 있다. 일반사용자가 컴퓨터 이용 시 주요 기능들은 단축키를 통해 입력되는 것과 같이, 본 발명의 제스처 인식 방법은 단축키와 같은 유사 역할을 수행할 수 있다. 따라서, 이러한 제스처 기능에서 사용될 제스처들은 시각장애인들이 컴퓨터를 사용하는데 있어 익숙한 아이폰의 보이스 오버와 안드로이드의 토크백의 제스처들로 정의될 수 있고, 시각장애인은 제스처 인식을 통해 각 제스처들은 컴퓨터를 제어하게 된다.
도 3는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손영역추출단계(S200)를 개략적으로 도시한 도면이다. 도 3에 도시된 바와 같이 상기 손영역추출단계(S200)는, 상기 영상입력단계(S100)에서 입력받은 영상으로부터 움직이는 사물에 대한 영상을 추출하는 움직임영상추출과정(S210); 상기 움직이는 사물에 대한 영상으로부터 손후보군 영상을 추출하는 손후보군영상추출과정(S220); 및 상기 손후보군 영상에서 노이즈를 제거하는 노이즈제거과정(S230, S240)를 포함한다.
상기 손영역추출단계(S200)는 손특징정보를 추출하기 위해 영상에 포함되어 있는 복수의 사물 중 손영역을 추출하는 과정이다.
제스처는 움직이는 동작이므로 움직이는 사물만 포함된 영상을 추출하기 위한 움직임영상추출과정(S210)은, 현재 입력되는 영상과 시스템에 저장된 초기 입력 영상의 차를 추출하는 연산을 수행한다. 바람직하게는, 이러한 영상 간의 차는 움직임이 없는 기존 영상을 기준으로 입력되는 영상들의 픽셀 값 비교를 통하여 움직이는 사물에 대한 영상을 추출하여 수행될 수 있다.
한편, 상기 추출된 움직임영상으로부터 손후보군 영상을 추출하는 손후보군영상추출과정(S220)은 바람직하게는, 영상 내 움직이는 사물 중 피부색을 가진 손 후보군을 뽑아내기 위해 피부색 범위 필터에 의하여 손 후보군 영상을 추출하는 과정이다. 더욱 바람직하게는, 이전 처리된 상기 차 영상에 YCbCr컬러모델의 휘도 성분인 Y를 제외한 Cb, Cr과 HSV 컬러모델의 H를 결합한 HCbCr 피부색 범위 필터를 사용하여 손 후보군 영상, 바람직하게는 손 후보군 이진화 영상을 추출한다.
상기 HCbCr 피부색 범위 필터는 H, Cb 및 Cr에 대한 범위 임계값들을 변경함으로써 필터링을 통과할 수 있는 피부색의 범위를 변경할 수 있고, 이로써 보다 피부색깔에 관계 없이 개별 사용자에게 보다 높은 인식률을 제공할 수 있다.
한편, HCbCr컬러모델을 사용하여 추출된 손 후보군 영상은 빛의 세기 및 그림자 발생으로 인해 영상 내 노이즈(noise) 또는 홀(hole)이 존재한다. 따라서, 추가적으로 상기 손후보군 영상에서 노이즈를 제거하는 노이즈제거과정(S230, S240)을 수행함이 바람직하다.
상기 노이즈제거과정(S230, S240)은 상기 노이즈 혹은 홀에 의하여 발생한 손 내부의 손실된 부분을 채워주기 위하여 모폴로지 연산의 닫힘 연산을 수행하여 손 내부를 보충하는 과정(S230)을 포함할 수 있다.
혹은, 상기 손후보군 영상은 복수의 객체에 대한 영상을 포함할 수 있고, 이 경우 손영역이 아닌 다른 영역이 존재할 수 있다. 입력되는 영상에서 피부색을 가지는 여러 영역 중 손은 부피가 가장 큰 영역이다. 따라서 상기 노이즈제거과정(S230, S240)은 피부색을 가지면서 부피가 가장 큰 손영역만을 남기고 나머지 피부색 범위 필터를 통과한 다른 영역을 제거하는 과정(S240)을 포함할 수 있다.
이와 같이 다른 영역을 제거하는 과정은 영상 내에서 객체 검출 효과가 있는 연결성분 레이블링 알고리즘을 이용하여 손영역이 아닌 다른 영역을 제거할 수 있다. 구체적으로 상기 연결성분 레이블링을 이용하여 픽셀이 연결된 각 집단을 추출한 후 최대 크기를 가진 집단을 남김으로써 손 영역을 검출할 수 있을 뿐만 아니라 불필요한 영역 제거를 통해 손 영역만 존재하는 영상, 바람직하게는 이진화 영상을 추출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 손특징정보를 개략적으로 도시하는 도면이다. 도 4에 도시된 바와 같이 본 발명의 일 실시예에 따르면 상기 손 특징정보는 손가락사이경계점(20)에 대한 정보, 손가락끝점(10)에 대한 정보, 및 붙어있는 손가락에 대한 정보를 포함하고, 추가적으로 손가락끝점에 대한 정보와 관련하여, 해당 손가락끝점이 펴진 손가락에 해당하는 지 혹은 접은 손가락에 해당하지는 지 여부에 대한 정보를 포함한다. 또한 위와 같은 손특징정보를 추출하기 위하여, 손가락사이점(30), 손중심점(40), 영역경계선(50), 손목중심점(60)이 이용될 수 있다.
단순히 펴진 손가락의 개수와 하나의 펴진 손가락 끝점의 동선 정보만으로는 정의할 수 있는 제스처의 개수가 한정되고, 또한 인식에 있어서도 어려움이 따른다. 예를들어 도 14에 도시된 제스처 중 화면 좌우 이동(도 14의 (C)) 및 빠른 화면 이동(도 14의 (D))의 경우 제스처들에 있어서 펴진 손가락의 개수와 손가락의 동선은 같지만, 손가락이 붙임 여부가 상이하기 때문에 서로 다른 제스처로 분류된다. 반면, 빠른 화면 이동(도 14의 (D))과 메뉴 호출의 제스처는 펴진 손가락의 개수와 손가락의 붙임 여부는 같지만, 손가락의 동선 여부가 상이하기 때문에 서로 다른 제스처로 분류된다.
반면, 본 발명의 제스처 인식 방법의 일 실시예에 따르면 손가락사이 경계점에 대한 정보, 손가락끝점에 대한 정보, 붙어있는 손가락에 대한 정보, 및 손가락끝점에 대한 정보와 관련하여 해당 손가락끝점이 펴진 손가락에 해당하는 지 혹은 접은 손가락에 해당하지는 지 여부에 대한 정보를 이용하여 제스처를 판별하기 때문에, 더욱 다양한 범위의 제스처를 정확하게 판별할 수 있다.
특히, 본 발명의 제스처 인식방법의 일 실시예에 따르면 상기 손특징정보는 붙어있는 손가락에 대한 정보를 포함하기 때문에, 단순히 동선정보뿐만 아니라 손가락의 형태에 대한 정보를 보다 확장적으로 이용할 수 있는 효과를 발휘할 수 있다.
도 5는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손특징정보추출단계(S300)를 개략적으로 도시한 도면이다.
상기 손특징정보추출단계(S300)는 입력받은 영상으로부터 손영역을 추출하고, 추출된 손영역으로부터 손가락사이경계점을 추출하는 손가락사이경계점추출단계(S310); 상기 추출된 손영역으로부터 손가락끝점을 추출하는 손가락끝점추출단계(S320); 상기 추출된 손영역에서 추출된 손가락끝점에 대하여 펴진손가락에 해당하는 지 여부를 추출하는 펴진손가락추출단계(S330); 및 상기 손가락끝점에 대하여 붙어있는 손가락이 있는 지 여부를 추출하는 붙어있는손가락추출단계(S340)를 포함한다.
본 발명에서 상기 손가락사이경계점추출단계(S310); 손가락끝점추출단계(S320); 펴진손가락추출단계(S330); 및 붙어있는손가락추출단계(S340)는 바람직하게는 상기의 순서에 따라 추출을 하는 것이 바람직하지만, 본 발명은 상기의 순서에 한정되지 않고, 바뀌어진 순서에 의한 손특징정보추출단계(S300)를 포함하고, 또한 손특징정보추출단계(S300)로서 제시된 상기의 단계 중 일부가 생략되고, 상기 손가락사이경계점, 손가락끝점, 펴진손가락여부, 붙어있는손가락 중 1 이상의 정보에 의하여 제스처를 인식하는 방법을 포함한다.
도 6는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락사이경계점추출단계(S310)를 개략적으로 도시한 도면이고, 도 7는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락사이경계점추출단계(S310)를 설명하기 위한 도면이다.
이하에서는 도 6 및 도 7을 참조하여 손가락사이경계점추출단계(S310)에 대하여 상세하게 설명하도록 한다.
손가락사이경계점추출단계(S310)는 손외곽선의 연속된 점들 사이의 곡률정보를 통해 손가락사이경계점을 추출한다. 한편, 이와 같이 추출된 손가락사이경계점에 대한 정보는 후술하는 손가락이 붙어있는 지 여부에 대한 판단에 있어서 이용될 수 있다.
상기 손가락사이경계점추출단계(S310)에서는 손가락사이경계점을 얻기 위해서 손외곽선에 대한 곡률 정보를 추출하고 이를 기반으로 손가락사이경계점을 추출한다.
손외곽선에 대한 곡률 정보를 추출하기 위해서는 곡률 판단에 사용되는 곡률 중심점과 손외곽선을 추출하여야 한다. 이와 같은 손 형태를 표현해주는 외곽선을 얻기 위해서는, 바람직하게는 수신된 영상에서 추출된 손영역에 대한 영상, 혹은 이진화영상에 스네이크(Active Contour Model) 알고리즘을 적용하여 손의 바깥 외곽선을 얻을 수 있다.
식 (1)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-104
한편, 곡률 중심점은 상기 손외곽선의 곡률을 판단하기 위하므로 손외곽선을 구성하는 점에서 추출되어야 한다. 식 (1)을 확인하면 영상에서 손외곽선을 구성하는 점인 Pk 중 곡률이 0도 내지 20도 이내에 해당하는 점들로 이루어진 선 중 가장 길이가 긴 선을 추출하고, 이들의 끝점을 NP1과 NP2으로 지정한다. 한편, 이와 같이 지정된 NP1과 NP2는 손목선 영역으로 지정된다. 이는 곡률의 변화가 작거나 혹은 곡률이 낮은 직선의 성향을 가장 많이 포함한 부분은 손가락 사이 경계선으로 고려될 수 있지만, 실제로는 손가락 관절로 인해 사실상 손가락 사이 경계선에 있어서 직선과 유사하게 곡률의 변화가 적은 연속적인 선의 길이는 그리 길지 않다. 즉, 외곽선 중 직선이 가장 긴 영역, 즉 곡률이 낮은 영역은 손목선 영역이 된다. 그리고 손목선 영역이라 판단되는 선의 양 끝점 NP1과 NP2의 중점을 손목의 중심점인 P손목중심점으로 판단하고 이를 곡률 판단에 사용되는 곡률 중심점으로 지정한다.
식 (2)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-109
이와 같이 추출된 곡률 중심점과 손외곽선을 이용하여 손 외곽 곡률 정보를 추출한다. 손외곽선을 구성하는 점들 중 m(기설정된 값) 간격에 3개의 점을 순차적으로 추출하여 식 (2) 조건을 통해 곡률의 오목을 판단한다. 오목에 판단 조건은 세 개의 점과 곡률 중심점에서의 길이 비교 및 점들이 이루는 각도 조건을 통하여 판단한다. 손의 형태는 손목의 중심에서 손가락 끝점 지역은 볼록하며, 손가락사이점 지역은 오목하다. 식(2)와 같은 오목 판단은 손의 외곽들 중 기설정된 값(m)으로 순차적인 Pk -m, Pk, Pk +m, Pk -m와 Pk + m 의 중점인 Psidecenter 및 손목 중심점인 P손목중심점(wristcenter)을 이용한다.
본 발명의 일 실시예에 따르면 오목 여부 판단의 첫번째 조건은 Pk -m, Pk, Pk+m 들이 이루는 각도가 0 ˚ 에서부터 120 ˚ 사이에 있으며, P손목중심점 ( wristcenter ) 에서 Psidecenter 까지의 거리가 P손목중심점 ( wristcenter ) 에서 Pk 까지의 거리보다 더 길어야 한다는 것이다.
또한, 손가락 사이점 지역에서 다수의 오목한 손가락사이점은 존재할 수 있지만, 오목한 점들과 오목하지 않은 점들 사이에 있는 손가락사이경계점은 손가락사이점이 존재하는 영역 당에서 두 개씩 존재한다 (도 4 참조). 따라서, 본 발명의 일실시예에서는 손가락사이경계점을 추출하기 위하여 외곽선을 구성하는 점들에 대하여 상기 식(2)에 대하여 순차적으로 탐색 혹은 판별하는 과정에서, 이전 점에서 오목의 곡률 특징이 있다가 오목의 곡률 특징이 없어지는 점과 오목의 곡률 특징이 없다가 오목의 곡률 특징이 생기는 점에 해당하는 경우, 손가락사이경계점으로 추출된다.
구체적으로, 이와 같은 오목의 곡률 특징이 나타나기 시작하는 점을 판단하기 위하여 기본적으로 오목판단에 사용되었던 식 (2)를 적용하고, 하기의 식 (3)과 같이 외곽점 Pk -1, Pk, Pk +1을 순차적으로 추적하면서 오목의 곡률 특징인 점이 지속적으로 나타나다가 오목의 곡률 특징이 나타나지 않는 점 또는 오목의 곡률 특징인 점이 지속적으로 나타나지 않다가 오목의 곡률 특징이 나타나는 점을 손가락사이경계점(BP)로 정의하고 추출한다 (도 7의 (b) 참조).
식 (3)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-117
즉, 본 발명의 일실시예에 따른 손가락사이 경계점에 대한 정보를 추출하는 손가락사이경계점추출단계(S310)는, 상기 손영역으로부터 손외곽선을 추출하는 손외곽선추출과정(S311); 상기 손영역으로부터 손목중심점을 추출하는 손목중심점추출과정(S312); 상기 손외곽선을 구성하는 점들 중 인접하는 복수의 점들 사이의 곡률정보를 추출하는 손외곽곡률정보추출과정(S313); 및 상기 곡률정보로부터 손가락사이경계점을 추출하는 손가락사이겸계점추출과정(S314);을 포함한다.
도 8는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락끝점추출단계(S320)을 개략적으로 도시한 도면이고, 도 9는 본 발명의 일 실시예에 따른 제스처 인식 방법의 손가락끝점추출단계(S320)를 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, 손가락끝점에 대한 정보를 추출하는 상기 손가락끝점추출단계(S320)는,
상기 손영역으로부터 외곽특징점을 추출하는 외곽특징점추출과정(S321);
상기 외곽특징점 중 손가락사이점을 추출하는 손가락사이점추출과정(S322);
상기 외과특징점 중 손외곽점을 추출하는 손외곽점추출과정(S323); 및
상기 외곽특징점에서 상기 손가락사이점 및 손외곽점을 제외함으로써 손가락끝점을 추출하는 손가락끝점추출과정(S324)을 포함한다.
상기 손가락끝점추출단계(S320)는 손외곽 형태의 단순화 및 손의 중심점을 이용하여 손가락끝점을 추출하는 단계이다.
구체적으로 상기 외곽특징점추출과정(S321)은 손영역의 외곽형태의 단순화 정보를 얻기 위해 상기 손외곽선에서 외곽특징점만 추출하는 과정이다. 구체적으로 손외곽선을 구성하는 연속된 점으로 이루어진 곡선에서 점의 수를 감소시켜 직선으로 근사화함으로써 1차적인 외곽특징점을 추출할 수 있다.
이와 같이 추출된 1차적인 외곽특징점들 중 점들 간에 관계에서 예각을 가지는 점들은 손 부위에서 방향이 꺾어지는 부분이므로 손 부위 중에서 펴진 손가락끝점, 붙어 있지 않은 손가락사이점, 그 외 손 외곽점(예각을 가진 손목 점)들 중 한 곳에 해당하는 점들이고, 상기 1차적인 외곽특징점으로부터 이와 같은 예각을 가지는 점들로서 2차적인 외곽특징점을 추출할 수 있다.
도 9A는 이와 같은 인접한 점들간의 관계에서 예각을 가지는 외곽특징점들을 모두 도시한다. 도 9A에는 2개의 손가락사이점, 3개의 (펴진) 손가락끝점, 및 2개의 손외곽점(손목점)이 존재한다.
한편, 이와 같은 외곽특징점들로부터 손외곽에 있는 손가락끝점, 손 외곽점, 손가락사이점을 각각 분류하기 위해 볼록껍질(Convex Hull) 방법을 적용함이 바람직하다. 상기 볼록껍질방법에 의하면 상기 외곽특징점들 중에서 최외곽의 점들을 연결하는 다각형을 추출할 수 있다. 이 다각형을 구성하는 꼭짓점은 손의 최외곽점이므로, 이를 통해 점들 내부에 있는 손가락사이점들을 분류할 수 있다.
즉, 상기 볼록껍질방법에 의하여 추출할 수 있는 다각형의 내부에 있는 점들은 손가락사이점에 해당되고, 이는 도 9(a)에서 점선으로 표시된 영역에 존재하는 2개의 점이 이에 해당한다.
한편, 상기 추출된 외곽특징점으로부터 상기 손가락사이점을 제외하면, 손가락끝점과 손외곽점이 남는다. 따라서, 손가락끝점은 남아있는 상기 외곽특징점으로부터 상기 손외곽점을 제외함으로써 추출될 수 있다.
바람직하게는, 남아있는 손가락끝점과 손외곽점을 포함하는 외곽특징점으로부터 손외곽점과 손가락끝점을 구분하기 위해 손가락끝점이 분포된 손가락영역과 손목점에 해당하는 손외곽점이 분포된 외곽영역을 구분해주는 영역경계선을 도출한다.
영역경계선을 도출하는 일 예로서, 손중심점 (Pcenter ( 손중심점 ))을 지나고, 손이 뻗어 있는 방향의 법선을 이용하여 상기 영역경계선을 도출할 수 있다. 바람직하게는, 상기 손중심점은 상기 손영역의 무게중심 혹은 하기의 거리변환행렬을 사용하여 얻는다. 한편, 이와 같은 영역경계선을 얻는 식은 다음과 같다.
식 (4)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-140
즉, 손가락영역과 외곽영역을 분류시켜 주는 상기 영역경계선은 손의 중심점을 지나면서 손의 방향의 법선이 된다. 손의 방향은 손 중심점에서 손이 뻗어있는 방향성을 말하며, 식(4)를 보면 중심점에서 예각을 가진 외곽특징점 OP 및 손가락 사이 경계점들 BP의 평균 기울기인 AverageGradient를 구할 수 있다. 또한, 상기 평균 기울기 AverageGradient를 활용하여 법선인 NormalGradient 를 구하고 Pcenter ( 손중심점 ) 의 x,y 좌표인 Pcenter_x , Pcenter_y 를 통해 영역경계선 (Borderline) 을 산출할 수 있다.
한편, 영역경계선을 통해 두 영역으로 나눠지는데, 손외곽점(예각을 가지는 손목 점)이 포함된 영역보다 손가락끝점이 포함된 영역에 더 많은 외곽특징점들이 분포한다.
따라서, 상기 영역경계선에 의하여 구분되는 2개의 영역 중 보다 많은 외곽특징점이 존재하는 영역이 손가락영역이 되고, 이와 같은 손가락영역에 존재하는 외곽특징점들이 손가락끝점으로 추출될 수 있다. 이와 같은 과정에 대하여 도 9B가 이에 대한 예를 도시한다. 도 9B에는 상기 영역경계선의 아래의 2개의 점선의 영역 내부에 존재하는 2점을 손외곽점으로 판단하고, 이를 제외함으로써 상기 도 9C에서와 같이 3개의 손가락끝점 FP1, FP2, FP3 를 추출할 수 있다.
이를 식으로 표현하면, 이러한 특징을 활용하여 외곽중심점에서 예각을 가진 외곽특징점 OP 와 손가락사이경계점인 BP를 상기 식(4)의 Borderline에 넣으면 0보다 큰 양수와 0보다 작은 음수가 나타나게 되고, 양수와 음수의 개수를 세어 더 많은 부호가 존재하는 영역을 손가락 영역으로 판단할 수 있다.
이렇게 영역경계선에 대한 판별함수인 Borderline 을 활용하여 손가락 끝점(FP), 그 외의 손외곽점(예각을 가지는 손목 점)(WP)가 포함된 영역을 분류시켜줌으로 손가락끝점 FP을 추출할 수 있다.
한편, 추가적으로, 상기 손특징정보추출단계(S300)는 상기 추출된 손가락끝점에 대하여 펴진손가락인지 여부를 판별하여 펴진손가락에 대한 정보를 추출하는 펴진손가락추출단계(S330)를 더 포함하고, 상기 펴진손가락추출단계(S330)는 손중심점으로부터 상기 손가락끝점에 대한 거리가 기설정된 판별기준에 해당이 되는 지 여부에 기초하여 펴진손가락인지 여부를 판별할 수 있다.
구체적으로, 손가락끝점이 펴진 손가락끝점에 해당하는 지에 대한 정확한 판별을 수행하기 위하여 펴진 손가락의 손가락끝점(FP)는 손중심점 Pcenter ( 손중심점 ) 에서 외곽특징점(OP) 및 손가락사이점들(AP)의 평균 거리보다 길다는 특징을 이용하여 외곽특징점들 중 손 중심점에서 평균거리보다 크면서 손가락 영역 안에 있는 점으로 판별할 수 있다.
도 10는 본 발명의 일 실시예에 따른 제스처 인식 방법의 붙어있는손가락추출단계(S340)을 개략적으로 도시한 도면이고, 도 11는 본 발명의 일 실시예에 따른 제스처 인식 방법의 붙어있는손가락추출단계(S340)를 설명하기 위한 도면이다.
도 10에 도시된 바와 같이, 붙어있는 손가락에 대한 정보를 추출하는 붙어있는손가락추출단계(S340)는, 상기 붙어있는손가락추출단계(S340)는 붙어있는 손가락 여부의 판별대상인 손가락끝점에 대한 판별범위를 추출하는 판별범위추출과정(S341); 상기 판별범위의 영역에 존재하는 손가락사이경계점을 추출하는 영역존재손가락사이경계점추출과정(S342); 상기 판별범위의 영역에 존재하는 손가락사이경계점의 개수에 기초하여, 붙어있는 손가락의 개수를 추출하는 붙어있는손가락추출과정(S343)을 포함한다.
구체적으로, 상기 추출된 손가락끝점의 경우에는 복수의 손가락으로 구성된 영역에서의 하나의 손가락끝점에 해당될 수 있고, 이 경우 손가락끝점에 몇 개의 손가락이 붙여있는 지 여부를 판단함으로써 보다 다양한 제스처의 인식을 가능하게 할 수 있다.
즉, 상기 붙어있는손가락추출단계(S340)는 전술한 단계들에서 추출된 손가락사이 경계점 및 손가락끝점에 대한 정보에 기초하여 붙여진 손가락을 판별하는 단계이다.
상기 손특징정보를 구성하는 외곽특징점은 외곽선의 기울기가 크게 변하는 영역에서 추출된 점에 해당되기 때문에, 같은 외곽선의 기울기 변화가 작은 붙어있는 손가락 영역은 손가락들의 끝점을 정확하게 추출하기가 어렵다. 따라서, 본 발명의 일 실시예에 따른 붙어있는손가락추출단계(S340)에서는 손가락끝점에 일정 영역을 설정하여 단계에서 추출된 손가락사이경계점의 유무 및 개수를 추출하고, 이에 의하여 붙어있는손가락을 판별 혹은 추출한다.
구체적으로, 사용자가 제스처 입력시 추출된 펴진 손가락끝점의 양쪽에는 손가락사이점 혹은 손목점이 존재한다. 또한, 붙어있는 손가락 주위에는 손가락사이경계점이 무조건 존재하고, 손가락사이경계점은 펴진 손가락의 양쪽에 있는 손가락사이점 사이 혹은 손목점(손가락 5개를 모두 모으는 경우) 사이의 가로 범위 및 펴진 손가락 끝점에서 손중심점까지의 세로범위에서 존재한다. 그러므로 붙어있는 손가락의 개수는 펴진 손가락 끝점에서 판별범위의 영역 안에 포함된 손가락 사이 경계점의 개수를 통하여 추출할 수 있다.
식 (5)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-162
이하에서는, 상기 판별범위의 영역(Area)를 구하는 방법에 대하여 설명하도록 한다. 상기 판별범위의 영역(Area)의 가로범위(WArea)를 구하기 위해서 식(5)를 참조한다. 먼저 펴진 손가락끝점(FPn), 손가락사이점(AP) 및 손목점(WP)는 외곽 특징점(OP)에 속한다.
따라서, 펴진 손가락끝점 중 하나인 FPn 의 좌표와 외곽특징점 OP에서 원소들에 위치확인을 통해 내부인덱스인 FN을 산출한다. 이후, 가로 길이(WLength)의 기준이 될 두 점인 LP 와 RP는 펴진 손가락 바로 옆에 있는 OPFN - 1 과 OPFN +1 를 추출한 뒤 손가락사이점AP 에 속함여부를 판별함으로써 추출한다.
식 (6)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-168
상기 식 (6)을 참조하면, 붙어 있는 판별범위의 영역의 가로 길이(WLength)는 펴진 손가락 끝점의 양쪽 점 LP 와 RP 사이의 길이로부터 산출된다. 바람직하게는 상기 가로 길이(WLength)는 상기 LP와 RP사이의 길이에 대하여 기설정된 값 (J1<1)을 곱함으로써 결정될 수 있다. 바람직하게는 상기 J1 은 0.7 내지 0.95의 값을 갖는다. 이는 LP와 RP 사이의 길이 영역 내부에서 다른 손가락에 대한 손가락사이경계점이 포함될 수 있을 수도 있기 때문에, 기본적으로 LP와 RP사이의 길이에 기초하되 이로부터 기설정된 값을 곱함으로써 이들이 포함되는 오류를 제거하기 위함이다.
한편, 식 (6)을 참조하면, 판별범위의 영역의 세로길이(HLength)는 펴진 손가락끝점(FPn)과 손중심점(Pcenter ( 손중심점 )) 사이의 길이로부터 산출된다. 바람직하게는 상기 세로 길이(HLength)는 펴진 손가락끝점(FPn)과 손중심점(Pcenter ( 손중심점 )) 사이의 길이에 기설정된 값 (J2<1)를 곱함으로써 결정될 수 있다. 상기 J2 는 영상의 화소에 기초하여 설정될 수 있다. 상기 J1 은 0.7 내지 0.98의 값을 가진다.
바람직하게는, 상기 J1 및 J2 는 최초 사용자의 손영역을 기본 형태인 평평한 형태로 인식한 후에, 인식한 손외곽선의 형태에 따라서 자동적으로 계산될 수도 있다.
한편, 식 (6)을 참조하면, 판별범위 영역의 세로 기울기(HGradient)는 펴진 손가락끝점(FPn)과 손중심점 Pcenter(손중심점)을 지나는 직선의 기울기에 해당하고, 가로 기울기WGradient는 세로 기울기의 대한 법선 기울기를 가진다.
한편, 판별범위의 영역의 크기 및 기울기가 결정되면, 판별 범위 영역의 가로 영역 상단은 펴진 손가락 끝점 FPn 을 지나면서 WGradient 의 기울기를 가지는 직선 WArea1에 위치한다. 이후, WArea1 직선 위에 있고 중점이 펴진 손가락 끝점 FPn 이면서 두 점간의 길이가 WLength 의 길이를 가지 두 점 HP1 과 HP2 를 추출하고, 상기 HP1 과 HP2를 연결하는 직선이 상기 판별범위의 영역의 상부가로선에 해당한다.
한편, 판별범위의 영역의 세로선은 각 HP1 과 HP2 를 지나면서 HGradient 의 기울기를 가지는 직선 HArea1와 HArea2 상에 놓여있고, 길이가 상기 추출된 HLength에 해당하는 두개의 선이 세로선에 해당한다.
한편, 판별범위의 영역의 하부가로선은, 펴진 손가락끝점(FPn)과의 기울기가 HGradient 이고, 거리는 HLength 이면서 손중심점(Pcenter ( 손중심점 )) 에서 가장 가까운 점 JP를 추출한다. 그리고 추출된 JP를 지나면서 WGradient 의 기울기를 가지는 직선 WArea2에 의하여, 하부가로선이 결정될 수 있다.
상기와 같이 결정된 상부가로선, 하부가로선, 2개의 세로선에 의하여 판별범위의 영역이 결정되고, 이와 같은 판별범위의 영역 내부에 존재하는 손가락사이경계점의 개수에 의하여 붙어있는 손가락의 개수를 판별할 수 있다. 다만, 본 발명은 상기와 같은 판별범위의 영역을 계산하는 방법에 한정되지 않고, 기설정된 기준에서 구획되는 판별범위의 영역에서 손가락사이경계점을 카운팅하고 이에 의하여 붙어있는 손가락 개수를 추출하는 방법에 대한 것을 모두 포함한다.
식 (7)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-181
식 (7)을 참조하면, 상기 식 (6)에서 만들어진 WArea와 HArea를 통해 펴진 손가락의 판별범위의 영역Area를 구성한다. 붙어 있는 손가락의 경우 각 펴진 손가락이 가지고 있는 판별범위의 영역(Area)안에 손가락사이경계점(BP)가 존재한다. 그러므로 펴진 손가락의 판별범위의 영역(Area)안에 포함되는 손가락사이경계점(BP)의 개수가 Countn 개이면 붙어있는 손가락의 개수는 Countn /2개로 추출할 수 있다.
도 12는 본 발명의 일 실시예에 따른 제스처 인식 방법의 제스처판별단계(S400)를 개략적으로 도시한 도면이다.
도 12에 도시된 바와 같이, 본 발명의 일 실시예에 따른 상기 제스처판별단계(S400)는 상기 손특징정보 중 하나의 정보에 의하여 제스처그룹을 판별하는 제스처그룹판별단계(S410); 및상기 손특징정보 중 나머지 정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별하는 세부제스처판별단계(S420);를 포함한다.
상기 제스처판별단계(S400)는 실시간으로 입력되는 영상으로부터 추출된 손특징정보에 기초하여 정의된 제스처와 비 제스처 여부를 판별하고, 정의된 제스처 후보들 중 사용자가 취한 제스처로 분류하는 단계이다.
제스처를 실시간 인식하기 위해서는 입력되는 데이터에서 해당 제스처의 시작점과 끝점을 미리 결정하고 분리된 제스처 부분만 인식기에 보내 주어야 한다. 실시간 상태에서 제스처의 시작점과 끝점을 결정하는 구분은 매우 중요하며, 이에 대한 구분이 명확하지 않으면 제스처를 취하는 사람의 무의식적인 동작을 의도된 제스처로 인식하려 할 수 있는 상황이 발생할 수 있다.
또한, 각각의 제스처를 취하는 사람이 같은 제스처를 반복할 때마다 그 모양과 동작 시간이 다르다는 시공간적인 변이 문제를 가진다. 이처럼 실시간 환경에서 제스처를 인식하기 위해서는 구분문제와 시공간적인 변이 문제를 가진다.
본 발명에서는 상기 구분문제를 해결하기 위하여 비제스처 데이터를 가지는 임계치 모델을 이용하고, 상기 시공간적인 변이문제를 해결하기 위해서 HMM(Hidden Markov Model)을 이용한다.
임계치 모델은 입력 패턴으로부터 제스처가 아닌 패턴의 제거를 위하여 임계치를 사용하는 특징을 가지고 있다. 이 모델은 입력 패턴의 임계 유사도를 계산하고 이를 이용하여 입력 패턴이 제스처 패턴과 얼마나 유사한지를 판정해 주도록 하는 모델이다. 이 모델은 Baum-Welch 알고리즘을 이용하여 각 모델을 훈련하며, 훈련된 모든 제스처 모델에 대하여 각 모델 내외 상태(state)와 자체전이(self-transition)를 추출한 후 모든 상태가 상호 연결된 모델을 새로 구축한다.
이와 같은 임계치 모델에서 각 상태는 한 번의 전이에 의해 타 상태에 도달할 수 있다. 또한, 각 상태와 자체전이의 확률은 제스처 모델에서의 확률을 그대로 보유하고 있으며, 타 상태로의 전이확률은 각 상태에서의 전이확률의 합이 1이라는 사실로부터 자체 전이 확률을 이용하여 계산할 수 있다.
한편, 각 상태와 자체 전이의 확률을 유지함으로써 임계치 모델이 참조패턴(reference pattern)의 모든 부패턴(sub-pattern)을 표현할 수 있도록 하고, 참조패턴의 부패턴을 이용한 모든 조합결과에 대해서도 잘 매칭될 수 있도록 하였다. 이러한 임계치 모델을 활용하면 제스처의 처음과 끝이 정해야 하는 구분 문제를 해결할 수 있게 된다.
한편, 상기 HMM은 통계적 마르코프(Markov model) 모델의 하나로, 시스템이 은닉된 상태와 관찰가능한 결과의 두 가지 요소로 이루어졌다고 가정하는 모델이다. 관찰 가능한 결과를 야기하는 직접적인 원인은 관측될 수 없는 은닉 상태들이고, 오직 그 상태들이 마르코프 과정을 통해 도출된 결과들만이 관찰될 수 있기 때문에 '은닉'이라는 용어가 사용된다.
단순한 마르코프 모델은 상태를 관찰자가 직접적으로 볼 수 있어 상태가 전이될 확률은 단순히 모수(parameter)들로 표현될 수 있다. 반면 HMM에서는 상태를 직접적으로 볼 수 없고 상태들로부터 야기된 결과들만을 관찰할 수 있다.
한편, 각각의 상태는 특정 확률 분포에 따라 여러가지 결과를 도출해 낼 수 있다. 이처럼 은닉 상태들로부터 야기된 결과들로 상태를 추측할 수 있으므로 시공간적인 변이 문제를 해결할 수 있게 된다.
본 발명에서는 상기와 같은 HMM기반에서 임계치 모델을 사용하고, 이 경우 실시간 환경에서 영상에서 제스처와 비 제스처를 효율적으로 판별할 수 있다.
한편, 본 발명에서는 한 점을 추적하여 제스처를 판별하는 HMM 기반의 임계치 모델과는 달리, 인식하려는 정의된 제스처들을 추출하기 위해서는 복수의 손가락을 추적해야 함과 동시에, 손가락의 붙임 상태도 고려함이 바람직하다.
하지만, 상기 HMM기반의 임계치 모델은 복수의 손가락의 끝점 및 붙임성에 대해 경우에 임계치 경우 수가 많아 지게 된다. 이는 제스처 인식 알고리즘의 성능 저하를 초래할 수 있다. 또한, 정의된 제스처 인식을 위해서는 복수의 손가락 끝점 추적과 손가락들의 붙임성까지 고려되어야 함으로 HMM기반의 임계치 모델로는 정의된 제스처를 인식하는데 어려움이 존재한다.
따라서 본 발명의 일 실시예에 따른 상기 제스처판별단계(S400)는 상기 상기 손특징정보 중 하나의 정보에 의하여 제스처그룹을 판별하는 제스처그룹판별단계(S410); 및상기 손특징정보 중 나머지 정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별하는 세부제스처판별단계(S420)에 의하여, 제스처를 판별한다.
즉, 본 발명의 제스처판별단계(S400)는 제스처 판별을 하기 위해 기존 임계치 모델을 이용하되 제스처 판별 시 개별적으로 다수의 손가락끝점 및 손가락의 붙임성을 판별하지 않고, 하나의 손특징정보, 바람직하게는 손가락끝점에 대한 정보로 제스처그룹을 판별한 후에, 나머지 정보에 의하여 세부제스처를 판별한다.
이와 같은 제스처판별단계(S400)는 제스처와 비 제스처를 판별하는 HMM기반의 임계치 모델을 이용하되, 다수의 손가락 끝점 추적으로 인해 임계치 모델의 경우의 복잡성 증가를 방지할 뿐만 아니라 손가락의 붙임성까지 판별할 수 있다.
구체적으로, 상기 제스처그룹판별단계(S410)는 상기 손가락끝점의 움직임이 기설정된 각 방향에 대한 임계치 모델의 스레스홀드를 만족시키는 지를 판별하는 스레스홀드판별과정(S411); 및 상기 손가락끝점의 움직임에서 확률이 가장 높은 방향이 상기 스레스홀드를 만족시키는 방향에 해당하는 지를 판별하는 최대확률판별과정(S412)을 포함하고, 이에 대한 구체적인 사항은 다음의 식 (8)과 같다.
식 (8)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-210
구체적으로, 제스처판별단계(S400)의 제스처그룹판별단계(S410)는 식 (8)에서 볼 수 있듯이, 정의된 제스처들의 움직임은 일차적으로 상, 하, 좌, 우로 분류될 수 있으며, 바람직하게는 움직임의 기준은 손정보특징추출단계에서 추출된 손가락끝점으로 한다. 더욱 바람직하게는 펴진 손가락 중 첫 번째로 추출되는 손가락끝점(FP1)의 움직임을 기준으로 한다.
즉, 첫 번째 손가락을 기준으로 움직임에 대한 임계치 모델의 스레스홀드(ThreshHold)를 통하여 제스처와 비 제스처를 판별하고 손가락의 끝점 FP1의 상, 하, 좌, 우에 대한 HMM 확률 중 가장 높은 확률이 방향을 선정함으로써, 상기 스레스홀드판별과정(S411)이 수행될 수 있다.
식 (9)
[규칙 제91조에 의한 정정 20.06.2017]　
Figure WO-DOC-FIGURE-217
이후, 상기 식 (9)에서 볼 수 있듯이, 선정된 방향의 제스처그룹 중 손특징정보 중 나머지 정보를 통하여, 인식된 제스처가 구체적으로 어떤 제스처인지 여부를 판별한다. 다만, 식 (9)는 나머지 손특징정보에 의하여 세부제스처를 판별하는 일예에 해당할 뿐, 본 발명은 이에 한정되지 않고, 나머지 손특징정보에 의하여 세부제스처를 판별하는 다양한 규칙들을 포함한다.
본 발명의 일 실시예에서는 붙임성 및 HMM을 통한 세부적 분류로 정의된 제스처를 판별한다. 세부적 분류에서는 일차적 분류에서 사용된 첫 번째 펴진 손가락끝점 외 다른 펴진 손가락들에 대한 움직임 데이터를 학습된 데이터가 사용된다. 먼저, 손가락의 붙임성에 대한 데이터를 이용하여 첫번째 손가락의 붙임 개수 및 상황 Attach1을 판별하고, 분류된 제스처들 중 손가락의 붙임성이 존재하는 제스처와 아닌 제스처를 판단한다. Attach1의 경우에 맞게 제스처를 선정하고, Attach1가 같은 경우는 다른 손가락인 FP2 의HMM을 통해 확률이 가장 높은 제스처를 선정하게 된다.
이와 같은 제스처판별단계(S400)는 실시간으로 입력되는 특징 정보를 가지고 제스처 판단 및 분류를 하는데 있어서 정의된 제스처를 인식하기 위해 HMM기반의 임계치 모델을 사용했을 때 발생하는 복수의 손가락 끝점 추적과 손가락들의 붙임 문제를 보완하여 정의된 제스처를 인식할 수 있는 효과를 발휘할 수 있다.
도 14는 본 발명의 일 실시예에 따라 인식될 수 있는 제스터들의 예를 도시한다.
도 14에 도시된 바와 같이, 본 발명에서와 같이 손가락사이 붙임여부에 대한 정보를 입력할 수 있는 경우 보다 다양하고 세부적인 제스처를 입력할 수 있는 효과를 발휘할 수 있다.
예를들어, 상기 도 14A에 도시된 검지손가락만 펴고 이를 좌우로 이동시키는 것은 '포커스 좌우 이동'에 대한 입력으로 지정하고, 상기 도 14B에 도시된 검지손가락만 펴고 이를 상하로 이동시키는 것은 '포커스 상하 이동'에 대한 입력으로 지정하고, 상기 도 14C에 도시된 검지손가락 및 중지손가락을 붙여서 펴고 이를 좌우로 이동시키는 것은 '화면 좌우 이동(1번 넘김)'에 대한 입력으로 지정하고, 상기 도 14D에 도시된 검지손가락 및 중지손가락을 떨어뜨려서 펴고 이를 좌우로 이동시키는 것은 '빠른 화면 이동(2번 넘김)'에 대한 입력으로 지정하고, 상기 도 14E에 도시된 엄지손가락 및 검지손가락을 떨어뜨려서 펴고 돌리는 것은 '메뉴 호출'에 대한 입력으로 지정하고, 상기 도 14F에 도시된 검지손가락, 중지손가락, 및 약지손가락을 붙여서 펴고 좌우로 움직이는 것은 '좌우스크’' 에 대한 입력으로 지정할 수 있다.
도 15는 본 발명의 일 실시예에 따른 제스처판별단계(S400)의 예를 도시한다.
도 15에서는 상기 손특징정보 중 손가락끝점의 이동에 대한 정보로서 제스처그룹을 판별하고, 나머지 손특징정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별한다.
구체적으로 나머지 손특징정보에 있어서 검지손가락만 펴있는 경우에는 '왼쪽 하나 쓸기'로 인식하고, 검지손가락 및 중지손가락이 펴있는 경우에는 '왼쪽 둘 붙임 쓸기'로 인식하고, 검지손가락, 중지손가락, 및 약지손가락이 펴있는 경우에는 '왼쪽 셋 붙임쓸기'로 인식하고, 엄지손가락 및 검지손가락이 떨어져 있는 경우에는 '왼쪽 회전'으로 인식하고, 검지손가락과 중지손가락이 떨어져서 펴져있는 경우에는 '왼쪽 둘 쓸기'로 인식한다.
도 16은 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 16에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 촉각 인터페이스 장치에 연결된 사용자단말기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 16의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 16에 도시된 일부 컴포넌트가 생략되거나, 도 16에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 18에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 하나 이상의 프로세서 및 상기 프로세서에서 수행 가능한 명령들을 저장하는 메인 메모리를 포함하는 컴퓨팅 장치에서 수행되는 제스처 인식 방법으로서,
    영상을 입력받는 영상입력단계;
    상기 영상에서 손영역을 추출하는 손영역추출단계;
    상기 손영역으로부터 손특징정보를 추출하는 손특징정보추출단계; 및
    상기 손특징정보로부터 제스처를 판별하는 제스처판별단계를 포함하는 제스처 인식방법.
  2. 청구항 1에 있어서,
    상기 손영역추출단계는,
    상기 영상입력단계에서 입력받은 영상으로부터 움직이는 사물에 대한 영상을 추출하는 움직임영상추출과정;
    상기 움직이는 사물에 대한 영상으로부터 손후보군 영상을 추출하는 손후보군영상추출과정; 및
    상기 손후보군 영상에서 노이즈를 제거하는 노이즈제거과정를 포함하는, 제스처 인식방법.
  3. 청구항 1에 있어서,
    상기 손특징정보는 손가락사이 경계점에 대한 정보, 손가락끝점에 대한 정보, 및 붙어있는 손가락에 대한 정보 중 1 이상을 포함하는, 제스처 인식방법.
  4. 청구항 3에 있어서,
    상기 손특징정보는 붙어있는 손가락에 대한 정보를 포함하는, 제스처 인식방법.
  5. 청구항 1에 있어서,
    상기 손특징정보추출단계는 손가락사이 경계점에 대한 정보를 추출하는 손가락사이경계점추출단계를 포함하고,
    상기 손가락사이경계점추출단계는,
    상기 손영역으로부터 손외곽선을 추출하는 손외곽선추출과정;
    상기 손영역으로부터 손목중심점을 추출하는 손목중심점추출과정;
    상기 손외곽선을 구성하는 점들 중 인접하는 복수의 점들 사이의 곡률정보를 추출하는 손외곽곡률정보추출과정; 및
    상기 곡률정보로부터 손가락사이경계점을 추출하는 손가락사이겸계점추출과정;을 포함하는, 제스처 인식방법.
  6. 청구항 1에 있어서,
    상기 손특징정보추출단계는 손가락끝점에 대한 정보를 추출하는 손가락끝점추출단계를 포함하고,
    상기 손가락끝점추출단계는,
    상기 손영역으로부터 외곽특징점을 추출하는 외곽특징점추출과정;
    상기 외곽특징점 중 손가락사이점을 추출하는 손가락사이점추출과정;
    상기 외과특징점 중 손외곽점을 추출하는 손외곽점추출과정; 및
    상기 외곽특징점에서 상기 손가락사이점 및 손외곽점을 제외함으로써 손가락끝점을 추출하는 손가락끝점추출과정을 포함하는, 제스처 인식방법.
  7. 청구항 6에 있어서,
    상기 손특징정보추출단계는 상기 추출된 손가락끝점에 대하여 펴진손가락인지 여부를 판별하여 펴진손가락에 대한 정보를 추출하는 펴진손가락추출단계를 더 포함하고,
    상기 펴진손가락추출단계는 손중심점으로부터 상기 손가락끝점에 대한 거리가 기설정된 판별기준에 해당이 되는 지 여부에 기초하여 펴진손가락인지 여부를 판별하는, 제스처 인식방법.
  8. 청구항 1에 있어서,
    상기 손특징정보추출단계는 붙어있는 손가락에 대한 정보를 추출하는 붙어있는손가락추출단계를 포함하고,
    상기 붙어있는손가락추출단계는 붙어있는 손가락 여부의 판별대상인 손가락끝점에 대한 판별범위를 추출하는 판별범위추출과정;
    상기 판별범위의 영역에 존재하는 손가락사이경계점을 추출하는 영역존재손가락사이경계점추출과정;
    상기 판별범위의 영역에 존재하는 손가락사이경계점의 개수에 기초하여, 붙어있는 손가락의 개수를 추출하는 붙어있는손가락추출과정을 포함하는, 제스처 인식방법.
  9. 청구항 1에 있어서,
    상기 손특징정보는 2 이상의 정보를 포함하고,
    상기 제스처판별단계는 상기 손특징정보 중 하나의 정보에 의하여 제스처그룹을 판별하는 제스처그룹판별단계; 및
    상기 손특징정보 중 나머지 정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별하는 세부제스처판별단계;를 포함하는 제스처 인식방법.
  10. 청구항 9에 있어서,
    상기 하나의 정보는 손가락끝점에 대한 정보이고,
    상기 나머지 정보는 손가락사이 경계점에 대한 정보 및 붙어있는 손가락에 대한 정보 중 1 이상인, 제스처인식방법.
  11. 청구항 9에 있어서,
    상기 하나의 정보는 손가락끝점에 대한 정보이고,
    제스처그룹판별단계는 상기 손가락끝점의 움직임이 기설정된 각 방향에 대한 임계치 모델의 스레스홀드를 만족시키는 지를 판별하는 스레스홀드판별과정; 및
    상기 손가락끝점의 움직임에서 확률이 가장 높은 방향이 상기 스레스홀드를 만족시키는 방향에 해당하는 지를 판별하는 최대확률판별과정을 포함하는, 제스처인식방법.
  12. 비일시적 컴퓨터-판독가능 매체로서,
    상기 비일시적 컴퓨터-판독가능 매체는, 컴퓨터로 하여금 이하의 단계를 수행하도록 하는 명령들을 저장하며, 상기 단계는:
    영상을 입력받는 영상입력단계;
    상기 영상에서 손영역을 추출하는 손영역추출단계;
    상기 손영역으로부터 손특징정보를 추출하는 손특징정보추출단계; 및
    상기 손특징정보로부터 제스처를 판별하는 제스처판별단계를 포함하는, 비일시적 컴퓨터-판독가능 매체.
  13. 청구항 12에 있어서,
    상기 손특징정보는 손가락사이 경계점에 대한 정보, 손가락끝점에 대한 정보, 및 붙어있는 손가락에 대한 정보 중 1 이상을 포함하는, 비일시적 컴퓨터-판독가능 매체.
  14. 청구항 12에 있어서,
    상기 손특징정보는 2 이상의 정보를 포함하고,
    상기 제스처판별단계는 상기 손특징정보 중 하나의 정보에 의하여 제스처그룹을 판별하는 제스처그룹판별단계; 및
    상기 손특징정보 중 나머지 정보에 의하여 상기 제스처그룹에 속하는 세부제스처를 판별하는 세부제스처판별단계;를 포함하는, 비일시적 컴퓨터-판독가능 매체.
  15. 청구항 14에 있어서,
    상기 하나의 정보는 손가락끝점에 대한 정보이고,
    상기 나머지 정보는 손가락사이 경계점에 대한 정보 및 붙어있는 손가락에 대한 정보 중 1 이상인, 비일시적 컴퓨터-판독가능 매체.
  16. 청구항 14에 있어서,
    상기 하나의 정보는 손가락끝점에 대한 정보이고,
    제스처그룹판별단계는 상기 손가락끝점의 움직임이 기설정된 각 방향에 대한 임계치 모델의 스레스홀드를 만족시키는 지를 판별하는 스레스홀드판별과정; 및
    상기 손가락끝점의 움직임에서 확률이 가장 높은 방향이 상기 스레스홀드를 만족시키는 방향에 해당하는 지를 판별하는 최대확률판별과정을 포함하는, 비일시적 컴퓨터-판독가능 매체.
PCT/KR2017/003985 2016-05-03 2017-04-13 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 WO2017191909A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0054468 2016-05-03
KR1020160054468A KR101748579B1 (ko) 2016-05-03 2016-05-03 제스처 인식 방법, 장치 및 컴퓨터-판독가능 매체

Publications (1)

Publication Number Publication Date
WO2017191909A1 true WO2017191909A1 (ko) 2017-11-09

Family

ID=59278900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/003985 WO2017191909A1 (ko) 2016-05-03 2017-04-13 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체

Country Status (2)

Country Link
KR (1) KR101748579B1 (ko)
WO (1) WO2017191909A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626364A (zh) * 2020-05-28 2020-09-04 中国联合网络通信集团有限公司 手势图像分类方法、装置、计算机设备及存储介质
CN111665931A (zh) * 2019-03-07 2020-09-15 纬创资通股份有限公司 手势识别方法以及手势识别装置
US20210342579A1 (en) * 2018-09-05 2021-11-04 Daimler Ag Method for identifying a hand pose in a vehicle
CN117373135A (zh) * 2023-12-07 2024-01-09 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、系统及相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102318661B1 (ko) 2020-02-03 2021-11-03 주식회사 지앤 현장 공간에서의 동작 인식을 통한 만족도 조사 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
JP2010170300A (ja) * 2009-01-22 2010-08-05 Topseed Technology Corp ジェスチャを認識および追跡する方法
KR20110104214A (ko) * 2010-03-16 2011-09-22 원광대학교산학협력단 제스처 인식을 이용한 인터페이스 구성방법
KR20140123900A (ko) * 2013-04-15 2014-10-23 오므론 가부시키가이샤 제스처 인식 장치, 제스처 인식 방법, 전자 기기, 제어 프로그램 및 기록 매체
KR101526426B1 (ko) * 2013-12-31 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
JP2010170300A (ja) * 2009-01-22 2010-08-05 Topseed Technology Corp ジェスチャを認識および追跡する方法
KR20110104214A (ko) * 2010-03-16 2011-09-22 원광대학교산학협력단 제스처 인식을 이용한 인터페이스 구성방법
KR20140123900A (ko) * 2013-04-15 2014-10-23 오므론 가부시키가이샤 제스처 인식 장치, 제스처 인식 방법, 전자 기기, 제어 프로그램 및 기록 매체
KR101526426B1 (ko) * 2013-12-31 2015-06-05 현대자동차 주식회사 제스처 인식 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210342579A1 (en) * 2018-09-05 2021-11-04 Daimler Ag Method for identifying a hand pose in a vehicle
US11887396B2 (en) * 2018-09-05 2024-01-30 Mercedes-Benz Group AG Method for identifying a hand pose in a vehicle
CN111665931A (zh) * 2019-03-07 2020-09-15 纬创资通股份有限公司 手势识别方法以及手势识别装置
CN111665931B (zh) * 2019-03-07 2023-04-21 纬创资通股份有限公司 手势识别方法以及手势识别装置
CN111626364A (zh) * 2020-05-28 2020-09-04 中国联合网络通信集团有限公司 手势图像分类方法、装置、计算机设备及存储介质
CN111626364B (zh) * 2020-05-28 2023-09-01 中国联合网络通信集团有限公司 手势图像分类方法、装置、计算机设备及存储介质
CN117373135A (zh) * 2023-12-07 2024-01-09 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、系统及相关设备
CN117373135B (zh) * 2023-12-07 2024-03-15 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、系统及相关设备

Also Published As

Publication number Publication date
KR101748579B1 (ko) 2017-06-19

Similar Documents

Publication Publication Date Title
WO2017191909A1 (ko) 제스처 인식 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
WO2020159232A1 (en) Method, apparatus, electronic device and computer readable storage medium for image searching
WO2021132927A1 (en) Computing device and method of classifying category of data
WO2020032661A1 (en) Electronic apparatus, method for controlling thereof, and method for controlling a server
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2018048054A1 (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
EP3245644A1 (en) Flexible device and method operating the same
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2015088179A1 (ko) 얼굴의 키 포인트들에 대한 포지셔닝 방법 및 장치
WO2019027258A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE
WO2019004686A1 (ko) 손가락 동작 인식을 이용한 키보드 입력 시스템 및 키보드 입력 방법
WO2020105871A1 (ko) 전자 장치 및 그 제어 방법
WO2019146942A1 (ko) 전자 장치 및 그의 제어방법
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2020180134A1 (ko) 이미지 수정 시스템 및 이의 이미지 수정 방법
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2020218848A1 (en) Electronic device and method for performing biometric authenticaion function and intelligent agent function using user input in electronic device
WO2021054589A1 (en) Electronic apparatus and controlling method thereof
WO2021101051A1 (en) Electronic device for converting handwriting input to text and method of operating the same
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2019231068A1 (en) Electronic device and control method thereof
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17792812

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17792812

Country of ref document: EP

Kind code of ref document: A1