WO2015093827A1 - 뎁스 영상 분석을 통한 사용자 동작 인식 방법, 이를 이용한 사용자 동작 분석 장치 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 - Google Patents

뎁스 영상 분석을 통한 사용자 동작 인식 방법, 이를 이용한 사용자 동작 분석 장치 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 Download PDF

Info

Publication number
WO2015093827A1
WO2015093827A1 PCT/KR2014/012416 KR2014012416W WO2015093827A1 WO 2015093827 A1 WO2015093827 A1 WO 2015093827A1 KR 2014012416 W KR2014012416 W KR 2014012416W WO 2015093827 A1 WO2015093827 A1 WO 2015093827A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
user
depth image
plane
analysis plane
Prior art date
Application number
PCT/KR2014/012416
Other languages
English (en)
French (fr)
Inventor
박현진
윤형식
Original Assignee
(주)골프존
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)골프존 filed Critical (주)골프존
Publication of WO2015093827A1 publication Critical patent/WO2015093827A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to a method for recognizing a user's motion by analyzing a depth image acquired using a depth camera for a user's specific motion, and a user motion analysis apparatus using the same.
  • Techniques for analyzing human motions are implemented in various fields in various fields, for example, in the production of animations based on human motions, motion recognition game machines, and sports motion analysis such as golf swing posture analysis.
  • Typical examples are technologies using inertial sensors, technologies using reflection markers, and image analysis technologies.
  • Technology using inertial sensors or reflection markers has the advantage that accurate user's motion can be detected, but analysis of user's motion due to the fatal shortcoming of attaching several sensors or markers to human body to analyze user's motion It is only used in very limited cases where the inconvenience of attaching sensors or markers to the user's body is not a problem in view of the purpose.
  • image analysis using an image camera that acquires a two-dimensional image has a limitation in analyzing a user's motion in a three-dimensional space, and stereoscopic vision is performed using a plurality of image cameras. system is used to extract three-dimensional information based on two-dimensional images obtained by each camera. Since several cameras are used, it is as inconvenient as attaching a sensor to the user's body and is sensitive to noise or changes in illumination. There is a drawback to unstable results.
  • the device outputs an image including three-dimensional information of x, y and z axes. Unlike the color and illuminance information of the video camera, it provides intuitive information about the structure of an object in the image and outputs stable data that is not sensitive to changes in illuminance.
  • the motion tracking technique using the classifier as described above requires a separate learning process for the object to be recognized and is dependent on the body type and motion characteristics of the specific user to be learned, thus limiting the recognition of any user and any motion. There is.
  • the technique of modeling a skeleton shape using the detected body tip is often difficult to model for a particular posture and motion that is difficult to obtain data necessary for successful modeling.
  • the motion tracking technique through modeling the skeleton shape is useful for the motion recognition that distinguishes the motions with the large discrimination of the postures to be distinguished within the appropriate speed range, but the fast and the posture-changing sports motions such as the golf swing motion, etc.
  • the fast and the posture-changing sports motions such as the golf swing motion, etc.
  • the fast and the posture-changing sports motions such as the golf swing motion, etc.
  • the fast and the posture-changing sports motions such as the golf swing motion, etc.
  • a large amount of data missed by the depth image is incomplete modeling is difficult to apply the technology.
  • the above-described conventional technology has limitations in accurately recognizing the user's motion in any case in consideration of personal characteristics such as a hairstyle, a body, a dress, etc. of the user who is operating, and can be used for a fast and dynamic motion such as golf swing motion. There is a problem that accurate motion recognition is impossible.
  • the present invention does not require a restriction condition for analyzing a depth image and recognizing a user's motion, such as requiring pre-learning, using a predefined body shape, or finding specific data intact, so that normal body modeling is possible. According to the personal characteristics of the user, the user's motion recognition is accurately recognized even in a fast motion such as a golf swing motion as well as a case in which the user appears in an arbitrary shape unpredictably on the depth image or a motion in which several body parts are not completely exposed.
  • the present invention provides a method for recognizing a user's motion through a depth image analysis and a device for analyzing a user's motion using the same.
  • a method of recognizing a user's motion through depth image analysis includes extracting a user part from an acquired depth image; Extracting a body region to be analyzed from the extracted user part; Setting a motion analysis plane for analyzing a motion of the extracted analysis target body region; Projecting 3D data on the extracted analysis target body region onto the motion analysis plane; And analyzing the data on the motion analysis plane to recognize the motion of the user.
  • the user motion recognition method through the depth image analysis a user motion recognition method for recognizing the swing motion of the user swinging the golf through the depth image, the user portion from the acquired depth image Extracting; Extracting an arm region of a user from the extracted user portion; Setting a motion analysis plane for analyzing a motion of the extracted arm region; Projecting three-dimensional data corresponding to the extracted arm region onto the motion analysis plane; And analyzing the data on the motion analysis plane to recognize a swing motion of the user.
  • the user motion analysis apparatus through the depth image analysis according to an embodiment of the present invention
  • Depth image acquisition unit for obtaining a depth image of the user's motion
  • a depth image analyzer configured to extract a user portion from the acquired depth image and detect the extracted user portion as an arm region of the user
  • And setting a motion analysis plane for analyzing the motion of the arm region on the depth image, and analyzing two-dimensional data obtained by projecting three-dimensional data corresponding to the extracted arm region onto the motion analysis plane.
  • a motion recognition unit configured to recognize a swing motion.
  • pre-learning is required or a predefined body shape should be used or specified.
  • Restrictions such as normal body modeling are required only when data is found intact, and according to the user's personal characteristics, the appearance of arbitrary shapes or unpredictable appearance of various body parts on the depth image according to the user's personal characteristics
  • User at processing speed To recognize a real-time operation has a beneficial effect.
  • FIG. 1 is a diagram briefly showing the main configuration of an apparatus for analyzing user motions according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a depth image of a plurality of frames acquired by the depth image acquisition unit illustrated in FIG. 1 when a user performs a golf swing operation.
  • FIG. 3 is a flowchart illustrating a method for recognizing a user's motion through depth image analysis according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of extracting a body center line as a reference for setting a motion analysis plane for user motion recognition according to the present invention.
  • 5 and 6 are diagrams for explaining a process of extracting an upper center point and a lower center point for detecting a body center line from a user part extracted from a depth image according to the flow shown in FIG. 4.
  • FIG. 7A illustrates an example of setting a motion analysis plane based on the trunk centerline extracted according to FIG. 4, and FIG. 7B illustrates a head region in the state shown in FIG. 7A. After the torso area and the lower body area are removed, only the arm area remains.
  • FIG. 8 is a diagram illustrating an example of projecting data on an arm region on a motion analysis plane in a state as shown in FIG. 7B.
  • FIG. 9 is a view for explaining an example of setting an operation section for a user's motion on a motion analysis plane according to a method for recognizing a user's motion according to an embodiment of the present invention and analyzing the position of a motion determination factor therefor; to be.
  • FIG. 10 is a flowchart illustrating a method for recognizing a user's motion through depth image analysis according to another exemplary embodiment of the present invention.
  • 11 to 17 are diagrams showing an example of the position and movement of the motion determination factor on the pupil analysis plane for each step of the swing motion of the user.
  • the method for recognizing a user's motion through the depth image analysis and the user's motion analysis device using the same may be applied to all fields that require a user's motion tracking, for example, a motion tracking based game machine or a sports motion analysis.
  • the method for recognizing a user's motion according to the present invention and the apparatus for analyzing a user's motion using the same are basically based on a method of recognizing a user's swing motion from a depth image when the user performs a golf swing motion.
  • a method of recognizing a user's swing motion, etc. will be described with respect to a case where the user performs a golf swing motion.
  • FIG. 1 is a diagram briefly showing the main configuration of an apparatus for analyzing user motions according to an embodiment of the present invention.
  • a user motion analysis apparatus through depth image analysis includes a depth image acquisition unit 100, a depth image analysis unit 200, and a motion recognition unit 300. It is configured by.
  • the apparatus for analyzing user motions is simple in configuration, and may be implemented as, for example, a single camera device, thereby placing the user U around the user U taking an action. It is very convenient on the user side and highly desirable in terms of space, compared to other motion analysis devices that require a lot of additional complicated equipment because it only needs to be pointed.
  • the depth image acquisition unit 100 is a portion that acquires a depth image of a user and may be implemented as a depth camera that is widely used. That is, since the depth image acquisition unit 100 may acquire a two-dimensional image of the user and at the same time, each pixel of the two-dimensional image may acquire depth information by using ultrasonic waves or infrared rays. It is a part which acquires a depth image which has coordinate information.
  • the depth image acquisition unit 100 continuously acquires depth images of a plurality of frames, and the acquired depth image is transferred to a depth image analyzer 200, and the depth image analyzer 200 transmits the depth image.
  • the program analyzes the depth image received from the acquisition unit 100 to detect and track a specific body part of the user.
  • the depth image analyzer 200 extracts only a user part from the acquired depth image and detects an analysis target body region for recognizing a user's motion from the user part.
  • the depth image analyzer 200 directly detects a specific body part of the user, even when it is difficult to directly detect a body region to be analyzed, the depth image analyzer 200 detects all the body regions except the body region to be analyzed. By detecting the body region to be analyzed fairly easily, the analysis target for recognizing the user's motion even when the user appears in an arbitrary shape unpredictably on the depth image or when various body parts are not intactly displayed according to the user's personal characteristics. The area can be detected simply and accurately.
  • the motion recognition unit 300 analyzes how the analysis target body region detected by the depth image analyzer 200 performs a function of recognizing a user's motion. A detailed function of the gesture recognition unit 300 will be described in detail below.
  • a user motion recognition method and a user motion analysis apparatus aim to recognize a user's motion by analyzing depth images of a plurality of frames as shown in FIG. 2.
  • the user motion recognition method and the user motion analysis apparatus analyze the depth image to recognize the start and the end of the golf swing motion of the user, as well as each of the divided motions as described above in the golf swing motion process.
  • the operation can be recognized.
  • FIG. 3 shows a basic flow of a method for recognizing user motion according to the present invention.
  • the method for recognizing a user's motion first acquires a depth image of a user's motion (S51), extracts a user part from the acquired depth image (S52), and extracts the user's motion. Extracting an analysis target body region for recognizing a user's motion from the user part (S53), setting a 'movement analysis plane' for recognizing a user's motion (S54), and analyzing the 3D data on the analysis target body area Projection on a plane (Projection) (S55), the user motion recognition can be made by analyzing the two-dimensional data on the motion analysis plane obtained by the projection (S56).
  • the above-mentioned 'analysis body region' corresponds to the 'arm area' in the golf swing motion.
  • step S53 is a step of extracting the arm region of the user from the user portion extracted from the depth image.
  • the arm region in the user portion on the depth image is often overlapped with other body parts, so it is very difficult to detect it directly or the accuracy thereof is often inferior.
  • the present invention basically analyzes the two-dimensional data obtained by projecting the data on the arm region to the motion analysis plane, the user moves the arm area when the other body parts including the arm area are projected to the motion analysis plane. Since there is a possibility that an error is recognized in the recognition of a motion, a calculation becomes very complicated, or an error occurs in a recognized motion, the method for recognizing a user motion according to the present invention removes all other body regions and has only 2D data with only the arm region. The analysis was performed to increase the accuracy of the analysis.
  • the head region, the lower body region and the torso region of the user portion on the depth image can be detected by various methods.
  • Korean Patent Application No. 10-2013-0145606 filed by the present applicant discloses a depth image. The method of detecting and analyzing each area of the user's body is disclosed in detail. Since the above-described detection of the body regions itself is not included in the scope of the present invention, a detailed description thereof will be omitted.
  • the method for recognizing a user's motion is not focused on a method of detecting a head region, a lower body region, and a torso region in a user part on a depth image, but by detecting and removing these body regions to detect the body region.
  • the focus is on detecting the user's arm area and recognizing the user's motion through data analysis of the detected arm area.
  • a process of extracting a trunk centerline of a user part extracted from a depth image is preferably performed. This is because the trunk center line serves as a reference for a position or direction for setting the motion analysis plane.
  • FIG. 4 the process of extracting the trunk centerline is shown as a flowchart. The process of extracting the trunk centerline will be described with reference to FIGS. 4, 5, and 6.
  • 5 and 6 are diagrams for explaining a process of extracting an upper center point and a lower center point for detecting a trunk center line from a user part extracted from a depth image.
  • 6 illustrates a user side portion 10S on a y-z plane of a user portion of a depth image for convenience of description.
  • the depth image is acquired by the depth image acquisition unit installed in front of the user (S61), and the user portion is extracted from the acquired depth image (S62).
  • the head region is detected for the extracted user part (S63), and the coordinate information (X G , Y G , Z G ) of the center of gravity is calculated for the user part (S64).
  • the center of gravity may be calculated as an average position of the coordinates of all the data constituting the extracted user part.
  • a region having a preset size is set based on the data located at the lower end of the detected head region and the average position of the data in the set region is extracted (S65).
  • the average position is the average position with respect to the x and y components, and the coordinates thereof will be referred to as (x a , y a ).
  • a region having a predetermined size, ie, an area for extracting an upper center point, is set based on the y a value of the average position, and a value Z UC of the depth direction component of the data most distributed in the set area is set to the upper center point. It extracts as (S66).
  • the Y G value of the extracted center of gravity set the area of a predetermined size, that is, the area for the bottom center point extraction and the value of the depth direction component of the data most distributed in the set area (Z LC ) Is extracted as the bottom center point (S67).
  • the extraction of the upper and lower center points will be described in more detail with reference to FIGS. 5 and 6.
  • a region R u having a preset size including data located at the bottom is set, and the average positions x a and y a of the data existing in the R u region are extracted.
  • the average position (x a , y a ) is a coordinate value on the x-axis and y-axis of the upper center point.
  • the value Z UC of the most distributed depth direction component is shown.
  • the extraction is determined by the coordinate value on the z axis of the upper center point (P TU ).
  • the trunk center line is extracted as a reference line for detecting the trunk region by connecting the upper and lower ends of the detected portion as the trunk region of the user portion on the depth image.
  • the torso centerline extracted as described above is extracted on the assumption that the arm region of the user forms the center of rotation according to the golf swing of the user.
  • the torso centerline is a line passing through the center of the torso region of the user part. have.
  • the motion analysis plane 500 is set as shown in FIG. 7.
  • FIG. 7A illustrates an example of setting the motion analysis plane 500 based on the trunk center line LC
  • FIG. 7B illustrates a head region in the state shown in FIG. 7A.
  • HR torso area
  • LR lower body area
  • AR only arm area
  • the motion analysis plane 500 is preferably set perpendicular to the body center line LC. That is, the motion analysis plane 500 is preferably defined and set as a plane having a vector component parallel to the trunk center line LC as a normal vector component.
  • the motion analysis plane 500 When the motion analysis plane 500 is set as described above, as shown in FIG. 7B, three-dimensional data on the arm region AR are projected onto the motion analysis plane 500.
  • the data on the motion analysis plane 500 that is, the two-dimensional data
  • the motion of the arm region can be analyzed and the user's motion can be recognized according to the movement of the arm region.
  • the method of recognizing a user motion according to the present invention is not necessarily limited to the motion analysis plane being set perpendicular to the body center line, and may include all cases in which the motion analysis plane is set in another manner.
  • the motion analysis plane may be set on a plane (z-x plane) having the y-axis direction as the normal direction or on a plane (x-y plane) having the z-axis direction as the normal direction.
  • the golf swing operation can be made in a variety of ways, such as the user can be leaned back a lot, or shot with almost no waist, depending on the user or the type of golf shot,
  • the motion analysis plane is set on one zx plane or xy plane, the discriminating power of the movement of the arm region may be considerably decreased, and a large error may occur in the analysis result depending on the user or the type of golf shot. There may be a problem.
  • any user or any golf shot is completed by the user rotating the torso and the arm around the torso centerline as a reference axis, and thus, extracting the torso centerline from the user part on the depth image as described above.
  • the motion analysis plane is preferably set to be perpendicular to the body center line as described above.
  • FIG. 8 illustrates an example of projecting data on the arm region AR, that is, three-dimensional data, onto the motion analysis plane 500 in the state shown in FIG. 7B.
  • point C is an operation reference point C projecting a point on the torso centerline extracted for the user portion on the depth image onto the motion analysis plane 500
  • D is the motion analysis plane 500. The projected data are shown.
  • the operation reference point C is a position used as a reference for setting an operation section to be described later.
  • analyzing the two-dimensional data (D) on the motion analysis plane 500 can analyze the movement of the arm region it can recognize the user's swing motion.
  • the motion determining factor may be defined as the center of gravity Pw in the motion analysis plane for the data projected into the motion analysis plane as shown in FIG. 8.
  • a section for the user's motion is divided and set on the motion analysis plane 500 and the motion determination factor Pw is used.
  • Pw operation determination factor
  • the golf swing motion can be divided into an address, a backswing, a downswing, an impact, a palosru, and the like, and an address or an impact section (Ra section) on the motion analysis plane as shown in FIG.
  • An operation section is set to a backswing or downswing section (Rb section) and an impact section (Rc section), respectively, and to which operation section Ra, Rb, or Rc the motion determination factor Pw is located or Which motion section is moved in the motion section (for each depth image of a plurality of frames, the data is projected to the motion analysis plane, and the motion decision factor is moved to a continuous frame by extracting the motion decision factor.
  • Each of the operation sections Ra, Rb, and Rc may be separately set based on the operation reference point C.
  • the motion reference point C is preferably a point at which a point on a trunk centerline is projected, but is not necessarily limited thereto.
  • the point obtained by calculating the center of gravity of a user part on a depth image and projecting the point to a motion analysis plane is operated. It is also possible to set the operation section as a reference point.
  • FIG. 10 a method of recognizing a user's motion through depth image analysis according to an embodiment of the present invention will be described with reference to FIG. 10.
  • the user's motion is a golf swing motion
  • the data on the motion analysis plane obtained in the analysis process will be described with reference to FIG. 9.
  • a depth image is acquired by the depth image acquisition unit 100 (refer to FIG. 1) installed in front of the user (S71), and the depth image analysis unit 200 (refer to FIG. 1) obtains the user portion from the acquired depth image. Extract (S72).
  • the depth image analyzer detects the user's head region, lower body region and torso region from the user portion extracted in step S72 (S73). Then, the remaining part is extracted as the arm area by removing all of the detected head, lower body and torso areas from the user part (S74).
  • the motion recognition unit 300 extracts a torso centerline from the user part (as described above with reference to FIGS. 4 to 6), and sets a plane having a normal vector as a vector parallel to the torso centerline. It sets as a motion analysis plane (S75).
  • the torso centerline may be extracted in the process of detecting a torso region of the user part. In this case, the torso centerline may be extracted by a depth image analyzer rather than the motion recognition unit.
  • the motion recognition unit sets a plurality of motion sections corresponding to the user's motion steps on the motion analysis plane around the motion reference point obtained by projecting a point on the body center line on the motion analysis plane (S76).
  • An example of what is obtained according to the step S76 is shown in FIG. 9.
  • the motion recognition unit projects the data on the arm region extracted in step S74 onto the motion analysis plane (S77).
  • the motion recognition unit extracts a motion determination factor by extracting the center of gravity of the projected data (S78).
  • the motion recognition unit determines whether a swing is currently in progress (S80). When the swing is not currently in progress, that is, when the user stops for a while in the address posture before the golf swing operation, the motion recognition unit determines whether a swing trigger occurs (S90).
  • the swing trigger refers to the moment when the swing starts.
  • the motion determination factor Pw remains in the Ra period for the plurality of depth images acquired continuously, the current user is in an address posture. It is regarded as holding state and the swing trigger has not occurred yet.
  • step S80 the controller recognizes an operation section in which the motion determination factor on the motion analysis plane exists and recognizes the current swing motion of the user from the S82.
  • the motion determination factor Pw moves in the order of Ra section-> Rb section-> Ra section-> Rc section.
  • the motion recognition unit checks a section in which the motion decision factor previously existed or in which direction the motion decision factor was present. It determines whether the current user's motion is the backswing or the downswing by checking whether it is moving to and recognizes the motion.
  • the operation section on the motion analysis plane can be further divided and set, and the user's swing motion can be determined and recognized very specifically according to the position and the moving direction of the motion determination factor with respect to the set operation section.
  • 11 to 17 show the position and movement mode of the motion determination factor on the motion analysis plane for each step of the swing motion of the user.
  • the motion analysis plane 500 includes an address / impact section R1 section, a takeback section R2 section, a backswing top section R3 section, a Palosru section, and an R4 section around the operation reference point C.
  • an operation section is set to an R5 section, which is a finish section, respectively, and the modes in which an operation determination factor moves between operation sections on the motion analysis plane 500 according to a swing motion of the user are illustrated.
  • FIG. 11 illustrates a case in which the motion determination factor Pw1 is located in the R1 section on the motion analysis plane 500.
  • the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as an address motion.
  • FIG. 12 illustrates a case in which the motion determination factor Pw2 moves from the R1 section to the R2 section on the motion analysis plane 500, and the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as a takeback motion. .
  • FIG. 13 illustrates a case in which the motion determination factor Pw3 moves from the R2 section to the R3 section on the motion analysis plane 500.
  • the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as a backswing top motion. .
  • FIG. 14 illustrates a case in which the motion determination factor Pw4 moves from the R3 section to the R2 section on the motion analysis plane 500, and the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as a downswing motion in this case. .
  • FIG. 15 illustrates a case in which the motion determination factor Pw5 moves from the R2 section to the R1 section on the motion analysis plane 500.
  • the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as an impact motion.
  • FIG. 16 illustrates a case in which the motion determination factor Pw6 moves from the R1 section to the R4 section on the motion analysis plane 500.
  • the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as a follow-through motion. .
  • FIG. 17 illustrates a case in which the motion determination factor Pw7 moves from the R4 section to the R5 section on the motion analysis plane 500.
  • the motion recognition unit 300 (see FIG. 1) recognizes the user's motion as the finish motion.
  • the method for recognizing a user's motion through the depth image analysis and the apparatus for analyzing the user's motion using the same can recognize a user's motion by a simple method and appear in an unpredictable shape in the depth image. Even if some body parts do not appear intact, the user's motion can be recognized accurately, and the processing speed can be increased because simple analysis is performed based on two-dimensional data based on the three-dimensional data rather than on the depth image. .
  • the method for recognizing user motion through the depth image analysis and the user motion analysis device using the same are provided in the industrial fields related to sports such as the swing motion analysis of the golf swing of the user, the industrial fields related to the sports map, and the golf based on virtual reality. It can be used in the so-called screen golf industry, where the simulation can be performed to allow a user to enjoy a virtual golf game.

Abstract

본 발명은 뎁스 영상을 분석하여 사용자의 동작을 인식함에 있어 사전 학습이 필요하다거나 미리 정의된 신체 형태가 사용되어야 한다거나 특정 데이터가 온전하게 찾아져야만 정상적인 신체 모델링이 가능하다는 등의 제한 조건이 필요하지 않으며, 사용자의 개인 특성에 따라 뎁스 영상상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 동작의 경우는 물론, 골프 스윙 모션과 같이 빠른 움직임에도 사용자의 동작 인식이 정확하게 이루어질 수 있도록 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치를 제공하기 위한 것이다.

Description

뎁스 영상 분석을 통한 사용자 동작 인식 방법, 이를 이용한 사용자 동작 분석 장치 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체
본 발명은 사용자가 특정 동작을 하는 것에 대해 뎁스 카메라(Depth Camera)를 이용하여 취득한 뎁스 영상을 분석함으로써 사용자의 동작을 인식하는 방법 및 이를 이용한 사용자 동작 분석 장치에 관한 것이다.
사람의 동작을 분석하기 위한 기술은 다양한 분야에서 다양한 기술로 구현되고 있는데, 예컨대 사람의 동작에 기반한 애니메이션의 제작, 모션 인식 게임기는 물론 골프 스윙 자세의 분석과 같은 스포츠 동작 분석 등의 분야에서 이용되고 있으며, 대표적인 것이 관성센서를 이용한 기술, 반사 마커를 이용한 기술, 영상 분석 기술 등이다.
관성센서를 이용한 기술이나 반사 마커를 이용한 기술은 정확한 사용자 동작의 감지가 가능하다는 장점이 있지만 사용자의 동작을 분석하기 위해 사람의 신체에 여러 개의 센서나 마커를 부착하여야 한다는 치명적인 단점 때문에 사용자 동작의 분석을 위한 목적에 비추어 사용자의 신체에 센서나 마커를 부착하는 것에 대한 불편함이 문제가 되지 않는 매우 제한적인 경우에만 이용된다.
상기 영상 분석에 의한 사용자 동작 분석 기술의 경우 2차원 영상을 취득하는 영상 카메라를 이용한 영상 분석은 3차원 공간상에서의 사용자의 동작에 대한 분석에 한계가 있고, 여러 대의 영상 카메라를 스테레오 방식(Stereoscopic vision system)으로 연결하여 각 카메라가 얻은 2차원 영상을 기초로 3차원 정보를 추출하는 방식이 많이 사용되는데 여러 대의 카메라를 사용하므로 사용자 신체에 센서를 부착하는 것만큼이나 불편하고 잡음이나 조도의 변화에 민감하여 불안정한 결과를 보인다는 단점이 있다.
이러한 영상 카메라 기반의 시스템의 단점을 극복하기 위해 뎁스 카메라(Depth Camera)를 이용한 신체 부위 검출 방법에 대한 기술이 활발하게 개발되고 있는 실정인데, 뎁스 카메라는 화소(pixel)가 나타나는 위치까지의 거리 정보 즉, x,y,z축의 3차원 정보를 포함한 영상을 출력하는 기기이다. 이는 영상 카메라의 색상이나 조도 정보 등과는 달리 영상에서 물체의 구조에 대한 직관적인 정보를 제공해주며, 조도의 변화에 민감하지 않은 안정적인 데이터를 출력한다.
뎁스 카메라를 이용한 뎁스 영상의 분석을 통해 사용자의 신체 부위를 검출함으로써 사용자의 동작을 분석하는 기술과 관련한 선행특허문헌으로서 한국등록특허 제10-1227569호(한국과학기술연구원), 미국등록특허 제8,374,423호(마이크로소프트), 미국등록특허 제8,325,984호(마이크로소프트) 등 많은 문헌들이 공개되어 있다.
이들 선행기술들은 뎁스 영상의 각 픽셀별 특징을 구분하는 분류기를 통해 신체 부위를 판별하고 위치 정보를 추적하는 기술에 관한 것이거나(여기서 분류기는 사전 학습을 통해서 픽셀들의 특징을 구분하고 신체 부위를 판별하는 능력을 가짐), 뎁스 정보로부터 취득한 복셀 그리드(Grid of Voxels)를 분석하여 신체의 끝 부분을 검출하고 검출된 끝 부분을 기본 데이터로 이용하여 스켈레톤(Skeleton) 형상을 모델링하고 머리, 손, 발 등 신체 위치를 추정하는 기술에 관한 것이다.
그러나, 상기한 바와 같은 분류기를 사용한 모션 트래킹 기술은 인식하고자 하는 대상에 대한 학습과정이 별도로 필요하고, 학습된 특정 사용자의 체형과 동작 특성에 의존적이므로 임의의 사용자 및 임의의 동작에 대한 인식에 한계가 있다.
또한, 검출된 신체 끝 부분을 이용하여 스켈레톤 형상을 모델링하는 기술은 성공적인 모델링에 필요한 데이터 취득이 곤란한 특정 자세 및 동작에 대해서 모델링이 곤란한 경우가 많다.
즉, 스켈레톤 형상의 모델링을 통한 모션 트래킹 기술의 경우 적당한 운동 속도범위 내에서 구분하고자 하는 자세의 변별력이 큰 동작들을 구분하는 동작 인식에는 유용하지만, 빠르고 자세 변화가 큰 스포츠 동작, 예컨대 골프 스윙 모션 등의 경우에는 뎁스 영상이 놓치는 데이터가 많으므로 온전한 모델링이 어려워 해당 기술을 적용하기에 부적절하다.
상기한 종래의 기술은 동작하는 사용자의 헤어 스타일이나 체형, 복장 등의 개인 특성을 고려하여 어떤 임의의 경우에도 정확하게 사용자의 동작을 인식하는 것에 한계가 있으며, 골프 스윙 모션과 같은 빠르고 역동적인 동작에 대해서는 정확한 동작 인식이 불가능하다는 문제점이 있다.
본 발명은 뎁스 영상을 분석하여 사용자의 동작을 인식함에 있어 사전 학습이 필요하다거나 미리 정의된 신체 형태가 사용되어야 한다거나 특정 데이터가 온전하게 찾아져야만 정상적인 신체 모델링이 가능하다는 등의 제한 조건이 필요하지 않으며, 사용자의 개인 특성에 따라 뎁스 영상상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 동작의 경우는 물론, 골프 스윙 모션과 같이 빠른 움직임에도 사용자의 동작 인식이 정확하게 이루어질 수 있도록 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법은, 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계; 상기 추출된 사용자 부분에서 분석의 대상이 되는 신체 영역을 추출하는 단계; 상기 추출된 분석 대상 신체 영역의 동작을 분석하기 위한 동작 분석 평면을 설정하는 단계; 상기 추출된 분석 대상 신체 영역 상의 3차원 데이터를 상기 동작 분석 평면 상으로 사영하는 단계; 및 상기 동작 분석 평면 상의 데이터를 분석하여 사용자의 동작을 인식하는 단계를 포함한다.
한편, 본 발명의 다른 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법은, 뎁스 영상을 통해 골프 스윙하는 사용자의 스윙 동작을 인식하는 사용자 동작 인식 방법으로서, 획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계; 상기 추출된 사용자 부분에서 사용자의 팔 영역을 추출하는 단계; 상기 추출된 팔 영역의 동작을 분석하기 위한 동작 분석 평면을 설정하는 단계; 상기 추출된 팔 영역에 해당하는 3차원 데이터를 상기 동작 분석 평면 상으로 사영하는 단계; 및 상기 동작 분석 평면 상의 데이터를 분석하여 사용자의 스윙 동작을 인식하는 단계를 포함한다.
한편, 본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 분석 장치는, 사용자의 동작에 대한 뎁스 영상을 취득하는 뎁스 영상 취득부; 상기 취득된 뎁스 영상으로부터 사용자 부분을 추출하며 상기 추출된 사용자 부분에서 사용자의 팔 영역으로서 검출하도록 구성되는 뎁스 영상 분석부; 및 상기 뎁스 영상상에서 상기 팔 영역의 동작을 분석하기 위한 동작 분석 평면을 설정하고, 상기 추출된 팔 영역에 해당하는 3차원 데이터를 상기 동작 분석 평면 상으로 사영하여 얻은 2차원 데이터를 분석하여 사용자의 스윙 동작을 인식하도록 구성되는 동작 인식부를 포함한다.
본 발명에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치는, 뎁스 영상을 분석하여 사용자의 동작을 인식함에 있어 사전 학습이 필요하다거나 미리 정의된 신체 형태가 사용되어야 한다거나 특정 데이터가 온전하게 찾아져야만 정상적인 신체 모델링이 가능하다는 등의 제한 조건이 필요하지 않으며, 사용자의 개인 특성에 따라 뎁스 영상상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 동작의 경우는 물론, 골프 스윙 모션과 같이 빠른 움직임에도 사용자의 동작 인식이 정확하게 이루어질 수 있도록 할 뿐만 아니라, 뎁스 영상상의 3차원 데이터가 아닌 이를 기반으로 한 2차원 데이터로 간소화한 분석을 수행하기 때문에 빠른 처리 속도로 사용자의 실시간 동작 인식을 하는데 유리한 효과를 갖는다.
도 1은 본 발명의 일 실시예에 따른 사용자 동작 분석 장치의 주요 구성을 간략하게 나타낸 도면이다.
도 2는 사용자가 골프 스윙 동작을 취하는 경우 이에 대한 도 1에 도시된 뎁스 영상 취득부에서 취득하는 다수 프레임의 뎁스 영상의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법에 관한 플로우차트를 나타낸 도면이다.
도 4는 본 발명에 따른 사용자 동작 인식을 위해 동작 분석 평면의 설정의 기준이 되는 몸통 중심선을 추출하는 과정을 나타낸 플로우차트이다.
도 5 및 도 6은 도 4에 도시된 플로우에 따라 뎁스 영상으로부터 추출된 사용자 부분에서 몸통 중심선 검출을 위해 상단중심점 및 하단중심점을 추출하는 과정을 설명하기 위한 도면들이다.
도 7의 (a)는 도 4에 따라 추출된 몸통 중심선을 기준으로 동작 분석 평면을 설정하는 일 예를 나타낸 것이고, 도 7의 (b)는 도 7의 (a)에 도시된 상태에서 머리 영역, 몸통 영역 및 하체 영역이 제거된 후 팔 영역만 남은 상태를 나타낸 도면이다.
도 8은 도 7의 (b)에 도시된 바와 같은 상태에서 팔 영역 상의 데이터들을 동작 분석 평면 상으로 사영한 것의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 사용자 동작 인식 방법에 따라 동작 분석 평면상에서 사용자의 동작에 대한 동작 구간을 설정하고 이에 대한 동작 판정 인자의 위치 등의 분석에 관한 일 예를 설명하기 위한 도면이다.
도 10은 본 발명의 다른 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법에 관한 플로우차트를 나타낸 도면이다.
도 11 내지 도 17은 사용자의 스윙 동작 각 단계마다 동자 분석 평면상에서의 동작 판정 인자의 위치 및 이동 양태에 관한 일 예를 나타낸 도면들이다.
본 발명에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치에 관한 구체적인 내용을 도면을 참조하여 설명하도록 한다.
본 발명에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치는 사용자의 모션 트래킹이 필요한 모든 분야, 예컨대 모션 트래킹 기반의 게임기나 스포츠 동작 분석 등의 분야에 적용이 가능하다.
그러나, 본 발명에 따른 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치는 기본적으로 사용자가 골프 스윙 모션을 하는 경우에 이에 대한 뎁스 영상으로부터 사용자의 스윙 동작을 인식하는 방법에 기반하고 있다는 점에서, 이하에서는 각 도면에서 사용자가 골프 스윙 모션을 하는 경우를 대상으로 하여 사용자의 스윙 동작을 인식하는 방법 등을 설명하도록 한다.
먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 분석 장치에 관하여 설명한다. 도 1은 본 발명의 일 실시예에 따른 사용자 동작 분석 장치의 주요 구성을 간략하게 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 분석 장치는 뎁스 영상 취득부(100), 뎁스 영상 분석부(200) 및 동작 인식부(300)를 포함하여 구성된다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 사용자 동작 분석 장치는 구성이 간단하여, 예컨대 하나의 카메라 장치로 구현할 수도 있어서 동작을 취하는 사용자(U)의 주변에 사용자(U)를 향하도록 놓기만 하면 되므로, 여러 가지 부가적인 복잡한 장비가 필요한 다른 모션 분석 장치들에 비해 사용자 측면에서 매우 편리하고 공간적인 측면에서도 매우 바람직하다.
상기 뎁스 영상 취득부(100)는 사용자에 대한 뎁스 영상을 취득하는 부분으로서 일반적으로 널리 이용되는 뎁스 카메라(Depth Camera)로써 구현될 수 있는 부분이다. 즉 상기 뎁스 영상 취득부(100)는, 사용자에 대한 2차원 영상을 취득하는 동시에 초음파 또는 적외선 등을 이용하여 2차원 영상의 각 픽셀이 깊이 정보를 취득할 수 있으므로, 영상 상의 각 픽셀들의 3차원 좌표 정보를 갖는 뎁스 영상을 취득하는 부분이다.
상기 뎁스 영상 취득부(100)는 연속하여 다수의 프레임의 뎁스 영상을 취득하는데, 그 취득된 뎁스 영상은 뎁스 영상 분석부(200)로 전달되며, 상기 뎁스 영상 분석부(200)는 상기 뎁스 영상 취득부(100)로부터 전달받은 뎁스 영상을 분석하여 사용자의 신체 특정 부위를 검출하고 트래킹(tracking)하는 프로그램을 실행한다.
즉, 상기 뎁스 영상 분석부(200)는 취득된 뎁스 영상에서 사용자 부분만 추출하여 그 사용자 부분에서 사용자 동작 인식을 위한 분석 대상 신체 영역을 검출하는 기능을 수행한다.
특히, 상기 뎁스 영상 분석부(200)는 사용자의 특정 신체 부위를 직접적으로 검출하기도 하지만, 분석 대상 신체 영역에 대한 직접적인 검출이 어려운 경우에도 상기 분석 대상 신체 영역을 제외한 나머지 신체 영역을 모두 검출하여 이를 제거함으로써 상당히 용이하게 분석 대상 신체 영역을 검출하기 때문에 사용자의 개인 특성에 따라 뎁스 영상 상에서 사용자가 예측 불가능한 임의의 형상으로 나타나는 경우나 여러 신체 부위가 온전하게 드러나지 않는 경우에도 사용자 동작 인식을 위한 분석 대상 영역을 간단하고 정확하게 검출할 수 있다.
상기 동작 인식부는(300)는 상기 뎁스 영상 분석부(200)에서 검출된 분석 대상 신체 영역이 어떻게 동작하는지를 분석하여 사용자의 동작을 인식하는 기능을 수행한다. 상기 동작 인식부(300)의 구체적인 기능에 관하여는 이하에서 구체적으로 설명하도록 한다.
사용자가 본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 분석 장치가 설치된 소정의 공간에서 골프 스윙 동작을 취하는 경우 이에 대한 뎁스 영상 취득부에서 취득하는 다수 프레임의 뎁스 영상의 일 예를 도 2에서 나타내었다.
본 발명의 일 실시예에 따른 사용자 동작 인식 방법 및 사용자 동작 분석 장치는 도 2에 도시된 바와 같은 다수 프레임의 뎁스 영상을 각각 분석하여 사용자의 동작을 인식하는 것을 목적으로 한다.
골프 스윙 동작은, 일반적으로 어드레스(Address)를 취하고 그 이후에 테이크 백(Take Back), 백스윙(Back Swing), 백스윙 탑(Back Swing Top), 다운스윙(Down Swing), 임팩트(Impact), 팔로스루(Follow Through) 등으로 구분할 수 있다. 물론 이 보다 더 적은 수의 단계로 구분하는 것도 가능하고 이 보다 더 세분화하여 구분하는 것도 가능하다.
본 발명의 일 실시예에 따른 사용자 동작 인식 방법 및 사용자 동작 분석 장치는 뎁스 영상을 분석하여 사용자의 골프 스윙 동작의 시작과 종료를 인식함은 물론 골프 스윙 동작 과정에서 상기한 바와 같은 구분된 각각의 동작을 인식할 수 있다.
도 3은 본 발명에 따른 사용자 동작 인식 방법의 기본적인 플로우를 나타내고 있다.
도 3에 도시된 바와 같이 본 발명에 따른 사용자 동작 인식 방법은, 먼저 사용자의 동작에 대한 뎁스 영상을 취득하고(S51), 그 취득된 뎁스 영상으로부터 사용자 부분을 추출하며(S52), 그 추출된 사용자 부분에서 사용자 동작 인식을 위한 분석 대상 신체 영역을 추출하고(S53), 사용자 동작 인식을 위한 '동작 분석 평면'이라는 것을 설정하며(S54), 상기 분석 대상 신체 영역상의 3차원 데이터를 상기 분석 대상 평면상으로 사영(Projection)하고(S55), 상기 사영에 의해 획득된 동작 분석 평면상의 2차원 데이터를 분석함으로써 사용자 동작인식이 이루어질 수 있다(S56).
골프 스윙 동작의 경우 사용자의 팔의 움직임이 가장 중요하기 때문에 상기한 '분석 대상 신체 영역'은 골프 스윙 동작에 있어서 '팔 영역'에 해당한다.
따라서, 사용자의 골프 스윙 동작을 인식하는 경우, 상기한 S53 단계는 뎁스 영상으로부터 추출된 사용자 부분에서 사용자의 팔 영역을 추출하는 단계가 된다.
그런데, 뎁스 영상 상의 사용자 부분에서 팔 영역은 다른 신체 부위와 중첩되어 나타나는 경우가 많아 이를 직접적으로 검출하는 것은 매우 어렵거나 검출하더라도 그 정확도가 상당히 떨어지는 경우가 많다.
따라서 뎁스 영상상의 사용자 부분에서 상대적으로 검출이 쉬운 사용자의 머리 영역, 하체 영역, 그리고 몸통 영역을 먼저 검출한 후 이들 검출된 신체 영역들을 모두 제거하고 남은 부분을 팔 영역으로서 추출하는 방법이 매우 바람직하다.
또한, 본 발명이 기본적으로 팔 영역상의 데이터들을 동작 분석 평면으로 사영하여 획득된 2차원 데이터를 분석하기 때문에 팔 영역을 포함한 다른 신체 부위들까지 모두 동작 분석 평면으로 사영할 경우 팔 영역의 움직임으로써 사용자의 동작을 인식하는 것에 오류가 생기거나 계산이 매우 복잡해지거나 인식된 동작에 오차가 발생할 여지가 있기 때문에, 본 발명에 따른 사용자 동작 인식 방법에서는 다른 신체 영역들은 모두 제거하고 팔 영역만을 가지고 2차원 데이터 분석을 수행함으로써 분석의 정확도를 높이도록 하였다.
여기서 뎁스 영상상의 사용자 부분에 대한 머리 영역, 하체 영역 및 몸통 영역은 여러 가지 방법으로 검출할 수 있는데, 그 일 예로서 본 출원인에 의해 출원된 한국특허출원 제10-2013-0145606호는 뎁스 영상을 분석하여 사용자의 신체 각 영역을 검출하는 방법에 관하여 상세하게 개시하고 있다. 상기한 신체 영역들의 검출 자체는 본 발명의 범위에 포함되지 않으므로 이에 대한 구체적인 설명은 생략하도록 한다.
본 발명의 일 실시예에 따른 사용자 동작 인식 방법은 뎁스 영상상의 사용자 부분에서 머리 영역, 하체 영역 및 몸통 영역을 검출하는 방법 자체에 초점을 맞춘 것이 아니라 이들 신체 영역들을 검출하여 제거함으로써 분석 대상 신체 영역인 팔 영역을 검출하고 그 검출된 팔 영역의 데이터 분석을 통해 사용자의 동작을 인식한다는 것에 초점을 맞춘 것이다.
한편, 도 4 내지 도 7을 참조하여 상기한 '동작 분석 평면'의 설정 과정에 관하여 구체적으로 설명한다.
상기 동작 분석 평면을 설정하기 위해서는 먼저, 뎁스 영상으로부터 추출된 사용자 부분에 대한 몸통 중심선을 추출하는 과정이 진행됨이 바람직하다. 상기 몸통 중심선은 상기 동작 분석 평면 설정을 위한 위치나 방향의 기준이 되기 때문이다.
도 4에서는 상기한 몸통 중심선을 추출하는 과정을 플로우차트로써 나타내고 있는데, 상기 도 4와 도 5 및 도 6을 참조하여 상기한 몸통 중심선을 추출하는 과정에 관하여 설명한다.
여기서, 도 5 및 도 6은 뎁스 영상으로부터 추출된 사용자 부분에서 몸통 중심선 검출을 위해 상단중심점 및 하단중심점을 추출하는 과정을 설명하기 위한 도면이다. 상기 도 6은 설명의 편의를 위해 뎁스 영상의 사용자 부분에 대한 y-z 평면상의 사용자 측면 부분(10S)을 가정하여 표현한 것이다.
도 4 내지 도 6에 도시된 바와 같이, 사용자의 정면에 설치된 뎁스 영상 취득부에 의해 뎁스 영상이 취득되고(S61), 상기 취득된 뎁스 영상으로부터 사용자 부분이 추출된다(S62).
추출된 사용자 부분에 대해 머리 영역의 검출이 이루어지고(S63), 사용자 부분에 대해 무게중심의 좌표 정보(XG, YG, ZG)를 산출한다(S64). 상기 무게중심은 추출된 사용자 부분을 이루는 모든 데이터들의 좌표의 평균위치로써 산출될 수 있다.
한편, 상기 검출된 머리 영역의 하단에 위치하는 데이터를 기준으로 미리 설정된 크기의 영역을 설정하고 그 설정 영역 내의 데이터들의 평균 위치를 추출한다(S65). 여기서 평균 위치는 x 및 y 성분에 대한 평균 위치이며 그 좌표를 (xa, ya)라 하기로 한다.
그리고 상기 평균 위치의 ya 값을 기준으로 미리 설정된 크기의 영역, 즉 상단중심점 추출을 위한 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 데이터의 뎁스 방향 성분의 값(ZUC)을 상단중심점으로서 추출한다(S66).
한편, 상기 추출된 무게중심의 YG 값을 기준으로 미리 설정된 크기의 영역, 즉 하단중심점 추출을 위한 영역을 설정하고 그 설정 영역 내에서 가장 많이 분포하는 데이터의 뎁스 방향 성분의 값(ZLC)을 하단중심점으로서 추출한다(S67).
상기한 상단중심점 및 하단중심점의 추출에 관하여 도 5 및 도 6을 참조하여 좀 더 구체적으로 설명하면, 도 5에 도시된 뎁스 영상으로부터 추출된 사용자 부분(10)에 대해, 머리 영역(HR)의 하단에 위치하는 데이터를 포함하는 미리 설정된 크기의 영역(Ru)을 설정하고 그 Ru 영역 내에 존재하는 데이터들의 평균 위치(xa, ya)를 추출한다. 상기 평균 위치(xa, ya)는 상단중심점의 x축 및 y축 상의 좌표값이 된다.
상기 평균 위치 좌표 중 ya 값을 기준으로 그 아래의 미리 설정된 영역(Rz1) 내에 존재하는 데이터들에 대해, 도 6에 도시된 바와 같이 가장 많이 분포하는 뎁스 방향 성분의 값(ZUC)을 추출하여 상단중심점(PTU)의 z축 상의 좌표값으로 결정한다.
그리고, 다시 도 5에서, 무게중심의 x성분 및 y성분인 XG 및 YG를 하단중심점의 x축 및 y축 상의 좌표값으로 결정하고, 좌표 (XG, YG)의 데이터를 중심으로 하는 미리 설정된 크기의 영역(Rz2) 내에 존재하는 데이터들에 대해, 도 6에 도시된 바와 같이 가장 많이 분포하는 뎁스 방향 성분의 값(ZLC)을 추출하여 하단중심점(PTL)의 z축 상의 좌표값으로 결정한다.
상기한 바와 같이 상단중심점(PTU)과 하단중심점(PTL)을 각각 추출하여 도 6에 도시된 바와 같이 상기 상단중심점(PTU)과 하단중심점(PTL)을 연결하는 몸통중심선(LC)을 추출한다(도 4의 플로우차트 상의 S68 단계).
결국 상기 몸통 중심선은 뎁스 영상상의 사용자 부분의 몸통 영역으로서 검출된 부분의 상단과 하단을 연결하며 상기 몸통 영역 검출의 기준이 되는 선으로서 추출된 것이다.
상기한 바와 같이 추출한 몸통 중심선은 사용자의 골프 스윙에 따라 사용자의 팔 영역이 회전하는 회전의 중심을 이루는 것으로 가정하고 추출한 것이며, 상기 몸통 중심선이 사용자 부분의 몸통 영역의 중심을 관통하는 선이라고 볼 수 있다.
상기한 바와 같이 몸통 중심선(LC)이 추출되면, 도 7에 도시된 바와 같이 동작 분석 평면(500)을 설정한다.
도 7의 (a)는 몸통 중심선(LC)을 기준으로 동작 분석 평면(500)을 설정하는 일 예를 나타낸 것이고, 도 7의 (b)는 도 7의 (a)에 도시된 상태에서 머리 영역(HR), 몸통 영역(TR) 및 하체 영역(LR)이 제거된 후 팔 영역(AR)만 남은 상태를 나타낸 것이다.
도 7의 (a) 및 (b)에 도시된 바와 같이, 동작 분석 평면(500)은 몸통 중심선(LC)에 수직하게 설정됨이 바람직하다. 즉, 동작 분석 평면(500)은 몸통 중심선(LC)에 평행한 벡터 성분을 법선 벡터 성분으로 하는 평면으로서 정의되어 설정됨이 바람직하다.
상기한 바와 같이 동작 분석 평면(500)이 설정되면, 도 7의 (b)에 도시된 바와 같이 팔 영역(AR) 상의 3차원 데이터들은 동작 분석 평면(500) 상으로 모두 사영(Projection)되고, 동작 분석 평면(500) 상의 데이터들, 즉 2차원 데이터들을 분석함으로써 팔 영역의 움직임을 분석할 수 있고 그 팔 영역의 움직임에 따라 사용자의 동작을 인식할 수 있게 되는 것이다.
여기서, 본 발명에 따른 사용자 동작 인식 방법은, 상기 동작 분석 평면이 상기 몸통 중심선에 수직하게 설정되는 것에 반드시 한정되지 않고 다른 방식으로 동작 분석 평면이 설정되는 경우도 모두 포함할 수 있다.
예컨대, 동작 분석 평면은 y축 방향을 법선 방향으로 하는 평면(z-x평면)이나, z축 방향을 법선 방향으로 하는 평면(x-y평면)상에 설정되는 것도 가능하다.
그러나, 골프 스윙 동작의 경우, 사용자마다 또는 골프 샷의 종류에 따라 허리를 많이 숙이고 샷을 할 수도 있고 허리를 거의 숙이지 않고 샷을 할 수도 있는 등 골프 스윙 동작이 매우 다양하게 이루어질 수 있기 때문에, 상기한 z-x평면이나 x-y평면상에 동작 분석 평면이 설정되는 경우 팔 영역의 움직임에 대한 변별력이 크게 떨어지는 경우가 상당히 많을 수 있으며 사용자에 따라 또는 골프 샷의 종류에 따라 분석 결과에 큰 오차가 발생할 수 있는 문제점이 있을 수 있다.
그런데, 특히 골프 스윙 동작의 경우 어떤 사용자이든 어떤 골프 샷이든 사용자가 몸통 중심선을 기준축으로 하여 몸통과 팔을 회전시킴으로써 완성하는 동작이므로, 상기한 바와 같이 뎁스 영상상의 사용자 부분에서 몸통 중심선을 추출하여 이에 수직을 이루는 동작 분석 평면을 설정하면 어떤 사용자이든 어떤 골프 샷이든 동작 분석 평면상에 정확하게 팔 영역의 데이터가 사영될 수 있어 동작 인식의 정확도를 크게 향상시킬 수 있다. 따라서 상기 동작 분석 평면은 상기한 바와 같이 몸통 중심선에 수직을 이루도록 설정함이 바람직하다.
한편, 도 8은 도 7의 (b)에 도시된 바와 같은 상태에서 팔 영역(AR) 상의 데이터, 즉 3차원 데이터들을 동작 분석 평면(500) 상으로 사영한 것의 일 예를 나타낸 것이다.
여기서 점 C는 뎁스 영상상의 사용자 부분에 대해 추출된 몸통 중심선 상의한 점을 동작 분석 평면(500) 상으로 사영한 동작 기준점(C)이며, D는 팔 영역 상의 데이터들이 동작 분석 평면(500)으로 사영된 데이터들을 나타낸 것이다.
즉, 동작 분석 평면(500)과 상기 몸통 중심선은 서로 수직을 이루므로 상기 몸통 중심선상의 모든 점은 동작 분석 평면(500) 상에서 한 점으로 나타나게 되고 그것이 바로 동작 기준점(C)이 되는 것이다. 상기 동작 기준점(C)은 후술할 동작 구간을 설정하는 기준이 되는 위치이다.
상기 동작 분석 평면(500) 상의 2차원 데이터들(D)을 분석함으로써 팔 영역의 움직임을 분석할 수 있고 이를 통해 사용자의 스윙 동작을 인식할 수 있다.
상기한 바와 같은 동작 분석 평면 상의 2차원 데이터들의 분석을 통해 사용자의 동작을 인식하는 일 예로서, '동작 판정 인자'를 추출하여 이를 추적함으로써 사용자의 동작을 인식하는 방법이 있다.
여기서 '동작 판정 인자'는 도 8에 도시된 바와 같이 상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점(Pw)으로서 정의될 수 있다.
즉, 상기 무게중심점(Pw)의 동작 분석 평면(500) 상에서의 위치와 이동 방향 등에 따라 사용자가 현재 취하고 있는 동작이 어떤 동작인지를 판정할 수 있는 것이다.
상기 동작 판정 인자(Pw)를 이용한 사용자 동작 인식을 더욱 효과적으로 수행하기 위해, 도 9에 도시된 바와 같이 동작 분석 평면(500) 상에서 사용자의 동작에 대한 구간을 구분하여 설정하고 상기 동작 판정 인자(Pw)가 어느 구간에 위치하는지 또는 상기 동작 판정 인자(Pw)가 어느 구간에서 어느 구간으로 이동하는지 등에 따라 사용자의 동작을 인식할 수 있는 방법이 있다.
예컨대, 골프 스윙 동작의 경우 어드레스, 백스윙, 다운스윙, 임팩트, 팔로스루 등으로 구분할 수 있으며, 이와 같은 구분에 대응하여 도 9에 도시된 바와 같이 동작 분석 평면 상에서 어드레스 또는 임팩트 구간(Ra 구간), 백스윙 또는 다운스윙 구간(Rb 구간), 그리고 임팩트 이후의 구간(Rc 구간)으로 각각 동작 구간을 설정하고, 상기 동작 판정 인자(Pw)가 어느 동작 구간(Ra, Rb, Rc)에 위치하는지 또는 어느 동작 구간에서 어느 동작 구간으로 이동하는지(다수 프레임의 뎁스 영상 각각에 대해 모두 동작 분석 평면으로 데이터의 사영이 이루어지고 각각 동작 판정 인자를 추출함으로써 연속된 프레임에 대해 동작 판정 인자가 어느 쪽으로 이동하는지 분석할 수 있다) 등을 분석함으로써 사용자의 동작을 판정하여 인식할 수 있게 되는 것이다.
상기한 각 동작 구간(Ra, Rb, Rc)은 동작 기준점(C)을 중심으로 각각 구분되어 설정되는 것이 바람직하다.
상기 동작 기준점(C)은 몸통 중심선상의 점이 사영된 점인 것이 바람직하지만 반드시 이에 한정되는 것은 아니며, 뎁스 영상상의 사용자 부분의 무게중심점을 산출하고 그 점을 동작 분석 평면으로 사영함에 따라 얻어진 점을 동작 기준점으로 삼고 동작 구간을 설정하는 것도 가능하다.
한편, 도 10에 도시된 바와 같이 본 발명의 일 실시예에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법에 관하여 설명한다. 여기서 사용자의 동작은 골프 스윙 동작이며 그 분석 과정에서 획득된 동작 분석 평면상의 데이터는 도 9에 도시된 것을 기준으로 하여 설명하도록 한다.
먼저, 사용자의 정면에 설치된 뎁스 영상 취득부(100, 도 1 참조)에 의해 뎁스 영상이 취득되고(S71), 뎁스 영상 분석부(200, 도 1 참조)는 그 취득된 뎁스 영상으로부터 사용자 부분을 추출한다(S72).
뎁스 영상 분석부는 상기 S72 단계에서 추출된 사용자 부분에서 사용자의 머리 영역, 하체 영역 및 몸통 영역을 검출한다(S73). 그리고, 상기 사용자 부분에서 상기 검출된 머리, 하체 및 몸통 영역을 모두 제거함으로써 남은 부분을 팔 영역으로서 추출한다(S74).
동작 인식부(300, 도 1 참조)는 상기 사용자 부분에서 몸통 중심선을 추출하고(이에 관하여는 도 4 내지 도 6을 통해 설명한 바 있다), 상기 몸통 중심선과 평행한 벡터를 법선 벡터로 하는 평면을 동작 분석 평면으로서 설정한다(S75). 여기서 상기 몸통 중심선은 사용자 부분의 몸통 영역을 검출하는 과정에서 추출될 수 있는데 이 경우에는 상기 동작 인식부가 아닌 뎁스 영상 분석부에 의해 상기 몸통 중심선이 추출될 수도 있다.
한편, 상기 동작 인식부는, 몸통 중심선상의 한 점을 동작 분석 평면상으로 사영함으로써 얻어진 동작 기준점을 중심으로 동작 분석 평면상에서 사용자의 동작 단계에 대응되는 복수개의 동작 구간을 설정한다(S76). 상기 S76 단계에 따라 획득된 것의 일 예가 도 9에 도시된 것이다.
그리고, 상기 동작 인식부는, 상기 S74 단계에서 추출된 팔 영역상의 데이터들을 상기 동작 분석 평면상으로 사영(Projection)한다(S77).
또한 상기 동작 인식부는, 상기 사영된 데이터들의 무게중심점을 추출함으로써 동작 판정 인자를 추출한다(S78).
그리고, 상기 동작 인식부는, 스윙이 현재 진행중인지 여부를 판단한다(S80). 스윙이 현재 진행중이 아닌 경우, 즉 사용자가 골프 스윙 동작을 하기 전에 어드레스 자세에서 잠시 정지해 있는 경우, 상기 동작 인식부는 스윙 트리거가 발생하는지 여부를 판단한다(S90).
여기서 스윙 트리거는 스윙이 시작되는 순간을 의미하는데, 도 9에 도시된 예를 볼 때 연속적으로 취득되는 복수개의 뎁스 영상에 대해 동작 판정 인자(Pw)가 Ra 구간에 그대로 머물러 있다면 현재 사용자는 어드레스 자세를 유지하고 있는 상태로 인식되며 아직 스윙 트리거가 발생하지 않은 상태이다.
만약, 동작 판정 인자(Pw)가 Ra 구간에서 Rb 구간으로 움직이기 시작하면, 그 순간에 스윙 트리거가 발생하고, 상기 동작 인식부는 상기한 바와 같이 스윙 트리거가 발생함에 따라 사용자의 스윙 동작에 대한 인식을 시작한다(S92).
만약, 상기 S80 단계에서 상기 동작 인식부가 사용자가 현재 스윙 진행중인 것으로 판단하는 경우에는 동작 분석 평면상의 동작 판정 인자가 존재하는 동작 구간을 식별하고 그로부터 사용자의 현재 스윙 동작을 인식한다(S82).
여기서, 도 9에 도시된 바를 참조하면, 정상적인 스윙 동작은 동작 판정 인자(Pw)가 Ra 구간 -> Rb 구간 -> Ra 구간 -> Rc 구간 순서로 이동하게 된다.
만약, 현재 동작 판정 인자(Pw)가 Rb 구간에 있는 경우(백스윙 동작일 수도 있고 다운스윙 동작일 수도 있다) 동작 인식부는 그 이전에 동작 판정 인자가 존재했었던 구간을 조사하거나 동작 판정 인자가 어느 방향으로 이동하고 있는지를 조사하여 현재 사용자의 동작이 백스윙인지 다운스윙인지를 판정하여 해당 동작을 인식한다.
한편, 정상스윙이 종료한 경우, 즉, 도 9의 예에 따라 동작 판정 인자(Pw)가 Ra 구간 -> Rb 구간 -> Ra 구간 -> Rc 구간을 순서대로 이동한 경우에는(S84), 동작 인식부는 사용자의 스윙 동작이 종료하였음을 인식하게 된다(S86).
만약, 정상스윙이 종료하지 않은 경우에는 다음 프레임의 뎁스 영상에 대해 다시 S71부터 그 이후의 단계들이 진행된다.
한편, 상기한 동작 분석 평면상에서의 동작 구간은 더욱 세분화하여 설정될 수 있고 상기 설정된 동작 구간에 대해 동작 판정 인자의 위치 및 이동 방향 등에 따라 사용자의 스윙 동작을 매우 구체적으로 판정하여 인식할 수 있는데, 도 11 내지 도 17에서는 사용자의 스윙 동작 각 단계마다 동작 분석 평면상에서의 동작 판정 인자의 위치 및 이동 양태에 관하여 나타내고 있다.
도 11 내지 도 17에서 동작 분석 평면(500)에는 동작 기준점(C)을 중심으로 어드레스/임팩트 구간인 R1 구간, 테이크 백 구간인 R2 구간, 백스윙 탑 구간인 R3 구간, 팔로스루 구간인 R4 구간, 그리고 피니시 구간인 R5 구간으로 각각 동작 구간이 설정되어 있고, 사용자의 스윙 동작에 따라 동작 분석 평면(500)상의 동작 구간들 사이를 동작 판정 인자가 이동하는 양태를 각각 나타내고 있다.
도 11은 동작 분석 평면(500)상에서 동작 판정 인자 Pw1이 R1 구간에 위치하는 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 어드레스 동작으로 인식하게 된다.
도 12는 동작 분석 평면(500)상에서 동작 판정 인자 Pw2가 R1 구간에서 R2 구간으로 이동한 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 테이크 백 동작으로 인식하게 된다.
도 13은 동작 분석 평면(500)상에서 동작 판정 인자 Pw3가 R2 구간에서 R3 구간으로 이동한 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 백스윙 탑 동작으로 인식하게 된다.
도 14는 동작 분석 평면(500)상에서 동작 판정 인자 Pw4가 R3 구간에서 R2 구간으로 이동한 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 다운스윙 동작으로 인식하게 된다.
도 15는 동작 분석 평면(500)상에서 동작 판정 인자 Pw5가 R2 구간에서 R1 구간으로 이동한 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 임팩트 동작으로 인식하게 된다.
도 16은 동작 분석 평면(500)상에서 동작 판정 인자 Pw6이 R1 구간에서 R4 구간으로 이동한 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 팔로스루 동작으로 인식하게 된다.
도 17은 동작 분석 평면(500)상에서 동작 판정 인자 Pw7이 R4 구간에서 R5 구간으로 이동한 경우이며, 동작 인식부(300, 도 1 참조)는 이 경우 사용자의 동작을 피니시 동작으로 인식하게 된다.
상기한 바와 같이, 본 발명에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치는, 간단한 방법에 의해 사용자의 동작을 인식할 수 있고 뎁스 영상에서 사용자가 예측 불가능한 형상으로 나타나거나 일부 신체 부위가 온전히 나타나지 않더라도 사용자의 동작을 정확하게 인식할 수 있으며, 뎁스 영상상의 3차원 데이터가 아닌 이를 기반으로 한 2차원 데이터로 간소화한 분석을 수행하기 때문에 처리속도를 빠르게 할 수 있는 특장점이 있다.
상기한 [발명의 실시를 위한 최선의 형태] 항목에서 구체적으로 기재하고 있다.
본 발명에 따른 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치는 사용자의 골프 스윙에 대한 스윙 모션 분석 등의 스포츠와 관련된 산업 분야, 스포츠 지도와 관련된 산업 분야 및 가상 현실 기반의 골프 시뮬레이션이 이루어지도록 함으로써 사용자가 가상의 골프 경기를 즐길 수 있도록 할 수 있는 소위 스크린 골프 산업 분야 등에 이용 가능하다.

Claims (18)

  1. 사용자에 대한 뎁스 영상을 취득하여 분석함으로써 상기 사용자의 동작을 인식하는 방법으로서,
    획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계;
    상기 추출된 사용자 부분에서 분석의 대상이 되는 신체 영역을 추출하는 단계;
    상기 추출된 분석 대상 신체 영역의 동작을 분석하기 위한 동작 분석 평면을 설정하는 단계;
    상기 추출된 분석 대상 신체 영역 상의 3차원 데이터를 상기 동작 분석 평면 상으로 사영하는 단계; 및
    상기 동작 분석 평면 상의 데이터를 분석하여 사용자의 동작을 인식하는 단계;
    를 포함하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  2. 제1항에 있어서, 상기 분석 대상 신체 영역을 추출하는 단계는,
    상기 추출된 사용자 부분에 대해 상기 분석 대상 신체 영역을 제외한 나머지 신체 부위를 모두 검출하여 제거함으로써 남은 부분을 상기 분석 대상 신체 영역으로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  3. 제1항에 있어서, 상기 동작 분석 평면을 설정하는 단계는,
    미리 설정된 방향에 대해 평행한 방향을 법선 방향으로 하는 평면을 상기 동작 분석 평면으로서 설정하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  4. 제1항에 있어서, 상기 사용자의 동작을 인식하는 단계는,
    상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점을 동작 판정 인자로서 추출하는 단계와,
    연속하는 복수 프레임의 뎁스 영상으로부터 상기 동작 판정 인자를 추출하여 그 변화를 분석함으로써 사용자의 동작을 인식하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  5. 제1항에 있어서, 상기 사용자의 동작을 인식하는 단계는,
    사용자의 동작을 미리 설정된 복수개의 단계로 구분하고, 상기 동작 분석 평면상에 상기 미리 설정된 복수개의 동작 단계 각각에 대응되는 동작 구간을 설정하는 단계와,
    상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점을 동작 판정 인자로서 추출하는 단계와,
    상기 동작 분석 평면 상에서 상기 동작 판정 인자가 존재하는 동작 구간에 대응되는 동작을 사용자의 동작으로서 인식하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  6. 제1항에 있어서, 상기 사용자의 동작을 인식하는 단계는,
    사용자의 동작을 미리 설정된 복수개의 단계로 구분하고, 상기 동작 분석 평면상에 상기 미리 설정된 복수개의 동작 단계 각각에 대응되는 동작 구간을 설정하는 단계와,
    상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점을 동작 판정 인자로서 추출하는 단계와,
    상기 동작 분석 평면 상에서 상기 동작 판정 인자가 상기 각 동작 구간을 이동하는 양태에 따라 사용자의 동작을 인식하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  7. 제1항에 있어서, 상기 사용자의 동작을 인식하는 단계는,
    상기 추출된 사용자 부분의 뎁스 영상 상의 무게중심점을 상기 동작 분석 평면 상으로 사영한 점을 동작 기준점으로서 추출하는 단계와,
    사용자의 동작을 미리 설정된 복수개의 단계로 구분하고 상기 동작 분석 평면상에서 상기 동작 기준점을 중심으로 상기 미리 설정된 복수개의 동작 단계 각각에 대응되는 동작 구간을 설정하는 단계와,
    상기 동작 분석 평면상의 데이터들을 상기 동작 구간과 관련하여 분석함으로써 사용자의 동작을 인식하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  8. 뎁스 영상을 통해 골프 스윙하는 사용자의 스윙 동작을 인식하는 사용자 동작 인식 방법으로서,
    획득된 뎁스 영상으로부터 사용자 부분을 추출하는 단계;
    상기 추출된 사용자 부분에서 사용자의 팔 영역을 추출하는 단계;
    상기 추출된 팔 영역의 동작을 분석하기 위한 동작 분석 평면을 설정하는 단계;
    상기 추출된 팔 영역에 해당하는 3차원 데이터를 상기 동작 분석 평면 상으로 사영하는 단계; 및
    상기 동작 분석 평면 상의 데이터를 분석하여 사용자의 스윙 동작을 인식하는 단계;
    를 포함하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  9. 제8항에 있어서, 상기 사용자의 팔 영역을 추출하는 단계는,
    상기 추출된 사용자 부분에 대해 머리 영역, 하체 영역 및 몸통 영역을 각각 검출하여 제거하고 남은 부분을 상기 사용자의 팔 영역으로서 추출하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  10. 제9항에 있어서, 상기 동작 분석 평면을 설정하는 단계는,
    상기 추출된 사용자 부분의 몸통 영역의 상단에서 미리 설정된 사항에 따라 추출된 상단중심점과 상기 추출된 사용자 부분의 무게중심점을 연결하는 선에 평행한 벡터 성분을 법선 벡터 성분으로 하는 평면을 상기 동작 분석 평면으로서 설정하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  11. 제9항에 있어서, 상기 동작 분석 평면을 설정하는 단계는,
    상기 검출된 몸통 영역의 중심을 지나는 몸통 중심선에 평행한 벡터 성분을 법선 벡터 성분으로 하는 평면을 상기 동작 분석 평면으로서 설정하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  12. 제9항에 있어서, 상기 사용자의 스윙 동작을 인식하는 단계는,
    상기 몸통 영역의 상단과 하단을 연결하며 상기 몸통 영역 검출의 기준이 되는 선으로서 추출된 몸통 중심선 상의 점을 상기 동작 분석 평면 상으로 사영함으로써 동작 기준점을 추출하는 단계와,
    골프 스윙 모션을 미리 설정된 복수개의 단계로 구분하고 상기 동작 분석 평면상에서 상기 동작 기준점을 중심으로 상기 구분된 복수개의 동작 단계 각각에 대응되는 동작 구간을 설정하는 단계와,
    상기 동작 분석 평면상에 사영된 데이터들을 상기 설정된 동작 구간을 기준으로 분석함으로써 사용자의 스윙 동작을 인식하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  13. 제12항에 있어서, 상기 설정된 동작 구간을 기준으로 분석함으로써 사용자의 스윙 동작을 인식하는 단계는,
    상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점을 동작 판정 인자로서 추출하는 단계와,
    상기 설정된 동작 구간에 대해 상기 동작 판정 인자가 존재하는 동작 구간에 대응되는 스윙 동작을 사용자의 스윙 동작으로서 인식하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  14. 제12항에 있어서, 상기 설정된 동작 구간을 기준으로 분석함으로써 사용자의 스윙 동작을 인식하는 단계는,
    상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점을 동작 판정 인자로서 추출하는 단계와,
    복수 프레임의 뎁스 영상에 대해 각각 추출된 상기 동작 판정 인자가 상기 동작 구간을 이동하는 순서를 체크함으로써 사용자의 정상 스윙 여부를 판정하는 단계를 포함하는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 인식 방법.
  15. 사용자의 동작에 대한 뎁스 영상을 취득하는 뎁스 영상 취득부;
    상기 취득된 뎁스 영상으로부터 사용자 부분을 추출하며 상기 추출된 사용자 부분에서 사용자의 팔 영역으로서 검출하도록 구성되는 뎁스 영상 분석부; 및
    상기 뎁스 영상상에서 상기 팔 영역의 동작을 분석하기 위한 동작 분석 평면을 설정하고, 상기 추출된 팔 영역에 해당하는 3차원 데이터를 상기 동작 분석 평면 상으로 사영하여 얻은 2차원 데이터를 분석하여 사용자의 스윙 동작을 인식하도록 구성되는 동작 인식부;
    를 포함하는 뎁스 영상 분석을 통한 사용자 동작 분석 장치.
  16. 제15항에 있어서, 상기 뎁스 영상 분석부는,
    상기 추출된 사용자 부분에서 머리 영역, 하체 영역 및 몸통 영역을 각각 검출하며, 상기 각 검출된 영역을 제거하고 남은 부분을 상기 사용자의 팔 영역으로서 검출하도록 구성되는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 분석 장치.
  17. 제15항에 있어서, 상기 동작 인식부는,
    복수 프레임의 뎁스 영상에 대해, 상기 동작 분석 평면으로 사영된 데이터들에 대한 상기 동작 분석 평면에서의 무게중심점을 동작 판정 인자로서 추출하여 그 변화를 분석함으로써 사용자의 동작을 인식하도록 구성되는 것을 특징으로 하는 뎁스 영상 분석을 통한 사용자 동작 분석 장치.
  18. 제1항 내지 제14항 중 어느 한 항에 따른 방법을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체.
PCT/KR2014/012416 2013-12-16 2014-12-16 뎁스 영상 분석을 통한 사용자 동작 인식 방법, 이를 이용한 사용자 동작 분석 장치 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체 WO2015093827A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0156092 2013-12-16
KR1020130156092A KR101394279B1 (ko) 2013-12-16 2013-12-16 뎁스 영상 분석을 통한 사용자 동작 인식 방법 및 이를 이용한 사용자 동작 분석 장치

Publications (1)

Publication Number Publication Date
WO2015093827A1 true WO2015093827A1 (ko) 2015-06-25

Family

ID=50893905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012416 WO2015093827A1 (ko) 2013-12-16 2014-12-16 뎁스 영상 분석을 통한 사용자 동작 인식 방법, 이를 이용한 사용자 동작 분석 장치 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체

Country Status (2)

Country Link
KR (1) KR101394279B1 (ko)
WO (1) WO2015093827A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102514697B1 (ko) * 2015-04-09 2023-03-29 한국전자통신연구원 골프 동작 분석 장치 및 방법
CN108363941A (zh) * 2017-12-07 2018-08-03 上海悠络客电子科技股份有限公司 一种基于局部运动线条分析的人形判定方法
KR20220082127A (ko) 2020-12-09 2022-06-17 서강대학교산학협력단 골프 클럽 헤드 궤적 추정을 위한 학습용 데이터 셋 구축 방법 및 이를 이용한 클럽 헤드 궤적 추정 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000039192A (ko) * 1998-12-11 2000-07-05 정선종 극좌표 상의 궤적분석에 의한 동적 제스쳐 인식 시스템 및 방법
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2005270484A (ja) * 2004-03-26 2005-10-06 Sumitomo Rubber Ind Ltd キャリブレーション方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000039192A (ko) * 1998-12-11 2000-07-05 정선종 극좌표 상의 궤적분석에 의한 동적 제스쳐 인식 시스템 및 방법
JP2004246814A (ja) * 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
JP2005270484A (ja) * 2004-03-26 2005-10-06 Sumitomo Rubber Ind Ltd キャリブレーション方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JU ET AL.: "Real-time Hand Region Detection and Tracking using Depth Information.", THESIS OF IPS., vol. 1, no. 3, December 2012 (2012-12-01), pages 177 - 186 *
JUNG, SEUNG DAE ET AL.: "Motion Plane Estimation for Real-Time Hand Motion Recognition.", JOURNAL OF IPS., vol. 16 -B, no. 5, October 2009 (2009-10-01), pages 347 - 358 *

Also Published As

Publication number Publication date
KR101394279B1 (ko) 2014-05-13

Similar Documents

Publication Publication Date Title
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
WO2013015528A1 (en) Apparatus, method, and medium detecting object pose
CN105407346B (zh) 影像分割方法
WO2012128574A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
JP4752721B2 (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
US11238653B2 (en) Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program
WO2017042673A1 (en) Determination of a currently treated body portion of a user
WO2012128568A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
JP2012518236A (ja) ジェスチャー認識のための方法及びシステム
TWI704530B (zh) 注視度判斷裝置及方法
CN106981091A (zh) 人体三维建模数据处理方法及装置
WO2015093827A1 (ko) 뎁스 영상 분석을 통한 사용자 동작 인식 방법, 이를 이용한 사용자 동작 분석 장치 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2022039404A1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
CN102944180B (zh) 一种基于图像处理的乒乓球抛球高度检测系统及方法
KR102531041B1 (ko) 고속 카메라 영상에서 골프공과 골프클럽의 움직임을 인식하는 방법 및 이를 이용한 골프용 모션 분석 장치
JP2004248725A (ja) 打球の解析装置及び方法
WO2018097612A1 (ko) 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
WO2015167081A1 (ko) 신체 부분 검출 방법 및 장치
CN104102895B (zh) 用于检测被拍摄用户的身体部位的设备和方法
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
Stronger et al. Selective visual attention for object detection on a legged robot
WO2012128572A2 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
WO2024029880A1 (ko) 시선 방향을 검출하는 딥러닝 기반의 시선 방향 검출 모델을 학습하는 학습방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치
CN112667088B (zh) 基于vr行走平台的手势应用识别方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14873048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14873048

Country of ref document: EP

Kind code of ref document: A1