WO2019088697A1 - 포즈 인식 방법 및 장치 - Google Patents

포즈 인식 방법 및 장치 Download PDF

Info

Publication number
WO2019088697A1
WO2019088697A1 PCT/KR2018/013109 KR2018013109W WO2019088697A1 WO 2019088697 A1 WO2019088697 A1 WO 2019088697A1 KR 2018013109 W KR2018013109 W KR 2018013109W WO 2019088697 A1 WO2019088697 A1 WO 2019088697A1
Authority
WO
WIPO (PCT)
Prior art keywords
position information
body part
pose
image
information
Prior art date
Application number
PCT/KR2018/013109
Other languages
English (en)
French (fr)
Inventor
신승호
장원일
임국찬
조익환
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201880071142.3A priority Critical patent/CN111316283B/zh
Priority to US16/760,428 priority patent/US11205066B2/en
Priority to EP18874348.8A priority patent/EP3696715A4/en
Publication of WO2019088697A1 publication Critical patent/WO2019088697A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a pose recognition method and apparatus, and more particularly, to a method and apparatus for recognizing a pose using a body part.
  • the present application claims priority based on Korean patent application (Application No. 10-2017-0143716) filed on October 31, 2017. The entire contents of which are incorporated herein by reference in their entirety.
  • NUI natural user interface
  • the interface using body parts has the advantage of being able to interact naturally and intuitively and not requiring additional equipment. Due to these advantages, it is actively used in HCI (Human-Computer Interaction), HRI (Human-Robot Interaction), and HMI (Human-Machine Interaction) fields.
  • HCI Human-Computer Interaction
  • HRI Human-Robot Interaction
  • HMI Human-Machine Interaction
  • a technique of recognizing a pose using a body part acquires a database of a pose using a body part in advance, generates a body model to be used as reference information by machine learning, Recognize pose using body part based on similarity rate with model.
  • the accuracy of recognition of a pose using a body part has not reached a satisfactory level.
  • the accuracy of the image analysis deteriorates, so that there is a problem that the accuracy of recognition of the pose using the body part falls.
  • the positional information calculated through the calculation based on the anatomical characteristics of the skeleton using the result of analyzing the image of the body part and the positional information of the part of the body part And a pose recognizing method and apparatus for recognizing a pose.
  • a pose recognition method performed by a pose recognition apparatus includes analyzing an image of a body part to be pose recognition, and acquiring first position information about a part and a remaining part of the body part And a third step of inputting the first positional information on the part of the three-dimensional skeleton model to a model capable of performing physical joint motion by simulating the skeletal shape of the body, and then performing an arithmetic based on the anatomical characteristics of the three- Acquiring second position information for the remaining part through the first position information and the second position information, recognizing a pose by the body part based on the first position information and the second position information, The first positional information and the second positional information are interpolated for a portion where the information and the second positional information are different from each other And recognizing a pose by the body part by correcting the position information based on the body part.
  • a pose recognition apparatus comprising: an image acquisition unit that acquires an image of a body part to be recognized as a pose; and an image acquisition unit that analyzes images of the body part,
  • the pose due to the body part is recognized based on the position information calculated through the calculation based on the anatomical characteristic using the result of analyzing the image of the body part and the position information of the part of the body part do. Therefore, the accuracy of the pose recognition is further improved when compared with the prior art in which the pose due to the body part is recognized using only the result of analyzing the image of the body part.
  • FIG. 1 is a block diagram of a pose recognition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an example of a pause recognition method performed by the pose recognition apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating another example of a pause recognition method performed by the pose recognition apparatus according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a pose recognition apparatus according to an embodiment of the present invention.
  • the pose recognition apparatus 100 includes an image acquisition unit 110, an image analysis unit 120, a storage unit 130, a control unit 140, and an output unit 150 .
  • the image acquisition unit 110 acquires an image of a body part to be pose recognition.
  • the image acquiring unit 110 may include a camera for photographing a real world. In this case, the image obtaining unit 110 can directly generate an image of a body part to be a pose recognition object using a camera.
  • the image acquisition unit 110 may include a communication interface for receiving information from a camera provided separately from the pose recognition apparatus 100. In this case, image information about a body part to be pose recognition is generated by a separate camera, and the image acquisition part 110 receives image information about a body part to be pose recognition through a communication interface can do.
  • the image analysis unit 120 analyzes the image of the body part to be pose recognition obtained by the image acquisition unit 110 to acquire first position information on a part of the body part.
  • the image analysis unit 120 may analyze the image of the body part, which is the object of pose recognition, acquired by the image acquisition unit 110 to acquire the first position information on the remaining part of the body part.
  • the image analysis unit 120 may include a processor such as a CPU (Central Processing Unit) or the like.
  • the image analyzing unit 120 can previously learn the big data about the first part information about the body part and the body part about the pose recognition object. Then, the image analysis unit 120 can obtain the result of the machine learning as reference information.
  • the image analyzing unit 120 may calculate the similarity rate by comparing the changed image information of the body part obtained after the user pose with the obtained reference information. Then, the image analysis unit 120 can recognize the region based on the calculated similarity rate and obtain the first location information.
  • the image analysis unit 120 outputs a graphical user interface through which the user can designate a specific part of the body part through the output unit 150.
  • the image analysis unit 120 outputs an image of a body part input in real time through the image acquisition unit 110 to the graphic user interface so that a user can select a specific part of his or her body part in the graphic user interface So that the initial state can be set.
  • the image analysis unit 120 may acquire, as reference information, image information about a body part obtained in an initial state.
  • the image analyzing unit 120 may calculate the similarity rate by comparing the changed image information of the body part obtained after the user pose with the obtained reference information. Then, the image analysis unit 120 can recognize the region based on the calculated similarity rate and obtain the first location information.
  • the storage unit 130 stores a three-dimensional skeleton model that can simulate the shape of the skeleton of the body to enable physical joint movement.
  • the storage unit 130 may store computer executable instructions for performing various processes when the control unit 140 executes the program.
  • the storage unit 130 may store various processing results by the image analysis unit 120 and the control unit 140.
  • the storage unit 130 may store at least one of a flash memory type, a hard disk type, a multimedia card micro type, a card type memory, a RAM, and a ROM Readable < / RTI > type of recording medium.
  • the control unit 140 can execute various processes by executing computer executable instructions stored in the storage unit 130. [ The control unit 140 inputs the first position information of a part of the body part obtained by the image analysis unit 120 to the three-dimensional skeleton model previously stored in the storage unit 130. [ Then, the controller 140 obtains second position information on the remaining part of the body part through inverse kinematics, which is a calculation based on the anatomical characteristics of the three-dimensional skeleton model. The controller 140 recognizes a pose based on the body part based on the first position information acquired by the image analysis unit 120 and the second position information acquired by the first position information. In this way, the controller 140 can acquire the second position information for the rest of the body parts (excluding some parts).
  • the controller 140 corrects the positional information based on the interpolated values of the first positional information and the second positional information for the portion of the remaining portion where the first positional information and the second positional information are different from each other
  • the pose due to the body part can be recognized.
  • the similarity rate used when the image analysis unit 120 acquires the first position information that is, the similarity rate between the image of the body part and predetermined reference information is higher
  • the interpolation ratio can be adjusted to be high and the interpolation ratio of the second position information can be adjusted to be low.
  • the controller 140 after the controller 140 measures (calculates) the motion velocity of the body part, it adjusts the interpolation rate of the first position information to be lower than that when the motion velocity is slower and the interpolation ratio of the second position information to Can be adjusted high.
  • the control unit 140 may include a processor such as a CPU.
  • the output unit 150 may output the pose recognition result by the control unit 140.
  • the output unit 150 may output the graphic user interface required for the image analysis unit 120 to acquire the first position information on the body part on the screen.
  • the output unit 150 may output an image of the body part obtained in real time by the image obtaining unit 110 in the graphic user interface.
  • the output unit 150 is not included in the pose recognition apparatus 100 but is shown as a dotted line because it can be implemented as a separate apparatus.
  • the output unit 150 may include a flat panel display device such as a liquid crystal display (LCD) or the like.
  • FIG. 2 is a flowchart illustrating an example of a pause recognition method performed by the pose recognition apparatus according to an embodiment of the present invention.
  • the pose recognition method includes a step S210 of acquiring an image of a body part to be pose recognition.
  • the pose recognition method further includes a step S220 of acquiring first position information on a part of a body part by analyzing an image of a body part to be pose recognition.
  • the pose recognition method includes inputting first position information on a part of a body part to a three-dimensional skeleton model (a model in which a physical joint motion can be simulated by simulating a skeletal shape of a body) (S230) acquiring second position information for the remaining part of the body part through inverse kinematics, which is a calculation based on the anatomical characteristics of the skeleton model.
  • a three-dimensional skeleton model a model in which a physical joint motion can be simulated by simulating a skeletal shape of a body
  • the pose recognition method further includes a step S240 of recognizing a pose by a body part based on the first position information obtained in step S220 and the second position information obtained in step S230 .
  • the image acquisition unit 110 of the pose recognition apparatus 100 acquires an image of a body part to be pose recognition.
  • the image acquiring unit 110 can directly generate an image of a body part to be pose recognition using a camera.
  • image information about a body part to be recognized as a pose recognition object is generated by a separate camera, and the image acquisition part 110 may acquire and acquire image information about a body part as a pose recognition object through a communication interface (S210).
  • the image analysis unit 120 of the pose recognition apparatus 100 analyzes the image of the body part, which is the object of pose recognition, acquired by the image acquisition unit 110, and outputs the first position information .
  • the image analysis unit 120 compares reference information previously stored in the storage unit 130 with changed image information about a body part obtained after a user pauses according to a result of a previously performed machine learning The similarity rate is calculated. Then, the image analysis unit 120 can recognize the region based on the calculated similarity rate and obtain the first location information.
  • the image analysis unit 120 outputs a graphical user interface through which the user can designate a specific part of the body part through the output unit 150.
  • the image analysis unit 120 outputs an image of a body part input in real time through the image acquisition unit 110 to the graphic user interface so that a user can select a specific part of his or her body part in the graphic user interface So that the initial state can be set.
  • the image analysis unit 120 may acquire, as reference information, image information about a body part obtained in an initial state.
  • the image analyzing unit 120 may calculate the similarity rate by comparing the changed image information of the body part obtained after the user pose with the obtained reference information. Subsequently, the image analyzing unit 120 recognizes the region based on the calculated similarity rate and obtains the first location information (S220).
  • the controller 140 of the pose recognition apparatus 100 transmits the first position information about a part of the body part acquired by the image analysis unit 120 to the three-dimensional skeleton model previously stored in the storage unit 130 . Then, the controller 140 acquires second position information on the remaining part of the body part through inverse kinematics, which is a calculation based on the anatomical characteristics of the three-dimensional skeleton model. That is, when the user pose, the image analysis unit 120 may acquire the first position information through image analysis for a limited part of the body part, for example, a limited part such as the wrist, head, torso center, The controller 140 may acquire the second position information through the inverse kinematics in consideration of the anatomical characteristics of the skeleton (S230).
  • the controller 140 recognizes the pose by the body part based on the first position information obtained by the image analyzer 120 and the second position information obtained by the image analyzer 120 (S240).
  • the first position information is obtained through image analysis in a part of the body part to be pose recognition.
  • the remaining part of the body part acquires the second position information through the inverse kinematics, and recognizes the pose due to the body part based on the first position information and the second position information.
  • the position information is acquired through the image analysis for the entire body part that is the object of the pose recognition in the related art, There is a difference in that the position information is acquired through image analysis only for a part of the body part that is the subject of the pose recognition.
  • the accuracy of the image analysis may deteriorate when the user moves at a high speed and poses or changes the position of the user.
  • the recognition accuracy of the pose using the body part is improved as compared with the prior art.
  • FIG. 3 is a flowchart illustrating another example of a pause recognition method performed by the pose recognition apparatus according to an embodiment of the present invention.
  • the pose recognition method includes a step S310 of acquiring an image of a body part to be pose recognition.
  • the pose recognition method further includes a step (S321) of acquiring first position information on a part of the body part by analyzing an image of the body part to be pose recognition, (S322) of acquiring first position information on the remaining part of the body part by analyzing the image of the body part.
  • the pose recognition method includes inputting first position information on a part of a body part to a three-dimensional skeleton model (a model in which a physical joint motion can be simulated by simulating a skeletal shape of a body) (S330) acquiring second positional information on the remaining part of the body part through inverse kinematics, which is a calculation based on the anatomical characteristics of the skeleton model.
  • a three-dimensional skeleton model a model in which a physical joint motion can be simulated by simulating a skeletal shape of a body
  • the pose recognition method further includes a step S340 of recognizing a pose by a body part based on the first position information obtained in step S320 and the second position information obtained in step S330 .
  • the position information is corrected based on the value obtained by interpolating the first position information and the second position information So that a pose due to a body part can be recognized.
  • the similarity rate used when acquiring the first position information that is, the similarity rate between the image of the body part and predetermined reference information is higher
  • the interpolation ratio of the first position information is adjusted to be higher than when the similarity rate is lower 2 It is possible to adjust the interpolation rate of position information low.
  • the image acquisition unit 110 of the pose recognition apparatus 100 acquires an image of a body part to be pose recognition.
  • the image acquiring unit 110 can directly generate an image of a body part to be pose recognition using a camera.
  • image information about a body part to be recognized as a pose recognition object is generated by a separate camera, and the image acquisition part 110 may acquire and acquire image information about a body part as a pose recognition object through a communication interface (S310).
  • the image analysis unit 120 of the pose recognition apparatus 100 analyzes the image of the body part, which is the object of pose recognition, acquired by the image acquisition unit 110, and outputs the first position information .
  • the image analyzing unit 120 analyzes the image of the body part to be pose recognition, and obtains first position information for the rest of the body except for a part of the body part .
  • the image analysis unit 120 compares reference information previously stored in the storage unit 130 with changed image information about a body part obtained after a user pauses according to a result of a previously performed machine learning The similarity rate is calculated. Then, the image analysis unit 120 can recognize the region based on the calculated similarity rate and obtain the first location information.
  • the image analysis unit 120 outputs a graphical user interface through which the user can designate a specific part of the body part through the output unit 150.
  • the image analysis unit 120 outputs an image of a body part input in real time through the image acquisition unit 110 to the graphic user interface so that a user can select a specific part of his or her body part in the graphic user interface So that the initial state can be set.
  • the image analysis unit 120 may acquire, as reference information, image information about a body part obtained in an initial state.
  • the image analyzing unit 120 may calculate the similarity rate by comparing the changed image information of the body part obtained after the user pose with the obtained reference information. Subsequently, the image analyzing unit 120 recognizes the region based on the calculated similarity rate and obtains the first location information (S321, S322).
  • the controller 140 of the pose recognition apparatus 100 transmits the first position information about a part of the body part acquired by the image analysis unit 120 to the three-dimensional skeleton model previously stored in the storage unit 130
  • second positional information on the rest of the body part is obtained through inverse kinematics, which is an operation based on the anatomical characteristics of the three-dimensional skeleton model. That is, when the user pose, the image analysis unit 120 may acquire the first position information through image analysis for a limited part of the body part, for example, a limited part such as the wrist, head, torso center,
  • the controller 140 can acquire the second position information together with the first position information through the calculation based on the anatomical characteristics of the skeleton through the inverse kinematics at step S330.
  • the controller 140 recognizes a pose based on the body part based on the first position information acquired by the image analysis unit 120 and the second position information acquired by the first position information.
  • the controller 140 determines whether the first positional information and the second positional information are different from each other, except for a part of the body part, by comparing the first positional information with the second positional information
  • the position information is corrected based on the interpolated value of the information, and the pose due to the body part is recognized.
  • the controller 140 corrects the median value to recognize a pose due to the body part.
  • control unit 140 may determine that the similarity rate used when the image analysis unit 120 acquires the first position information, that is, the similarity rate between the image of the body region and the predetermined reference information is higher than when the similarity rate is lower.
  • the pose by the body part can be recognized by adjusting the interpolation ratio of the first position information to be high and the interpolation ratio of the second position information to be low.
  • the controller 140 after the controller 140 measures (calculates) the motion velocity of the body part, it adjusts the interpolation rate of the first position information to be lower than that when the motion velocity is slower and the interpolation ratio of the second position information to It is also possible to recognize the pose due to the body part by adjusting the height.
  • the movement speed of the body part can be recognized as the movement speed of the body part by measuring the rate of change of the position information of the specific part or each part of the body part.
  • the pose can be reduced. It is possible to improve the accuracy of the recognition of the user (S340).
  • the first position information is obtained through image analysis for the entire body part to be pose recognition.
  • the remaining part of the body part excluding the partial part acquires the second position information through the inverse kinematics, and recognizes the pose by the body part based on the first position information and the second position information.
  • the position information is obtained only through the image analysis for the entire body part, which is the subject of pose recognition in the related art,
  • the position information is calculated based on the first position information obtained through image analysis and the second position information obtained through the inverse kinematics, for the rest of the body parts, And recognizes the pose due to the body part.
  • the accuracy of recognition of a pose using a body part is improved compared with the prior art.
  • the present invention based on the result of analyzing the image of the body part and the position information calculated through the inverse kinematics using the position information of a part of the body part Recognize poses by body parts. Therefore, the accuracy of the pose recognition is further improved when compared with the prior art in which the pose due to the body part is recognized using only the result of analyzing the image of the body part.
  • Combinations of each step of the flowchart and each block of the block diagrams appended to the present invention may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which may be executed by a processor of a computer or other programmable data processing apparatus, And means for performing the functions described in each step are created.
  • These computer program instructions may be stored on a computer usable or computer readable recording medium capable of directing a computer or other programmable data processing apparatus to implement a function in a particular manner so that the computer usable or computer readable It is also possible for the instructions stored in the recording medium to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of each block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.
  • each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.
  • a pose due to the body part is recognized based on the result of analyzing the image of the body part and the position information calculated through the inverse kinematics using the position information of a part of the body part. Therefore, the accuracy of the pose recognition is further improved when compared with the prior art in which the pose due to the body part is recognized using only the result of analyzing the image of the body part.
  • Such pose recognition technology can be used in technical fields such as HCI (Human-Computer Interaction), HRI (Human-Robot Interaction), and HMI (Human-Machine Interaction) fields.
  • HCI Human-Computer Interaction
  • HRI Human-Robot Interaction
  • HMI Human-Machine Interaction

Abstract

개시된 포즈 인식 장치가 수행하는 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위 중에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 단계와, 일부 부위에 대한 제 1 위치 정보를 3차원 뼈대 모델 - 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델 - 에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계와, 제 1 위치 정보와 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식하되, 신체 부위의 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식하는 단계를 포함한다.

Description

포즈 인식 방법 및 장치
본 발명은 포즈(pose) 인식 방법 및 장치에 관한 것으로서, 신체 부위를 이용한 포즈를 인식하는 방법 및 장치에 관한 것이다. 참고로, 본 출원은 2017년 10월 31일자로 출원된 한국특허출원(출원번호 10-2017-0143716)을 기초로 우선권을 주장한다. 이러한 우선권의 기초가 되는 해당 출원의 전체 내용은 본 출원에서 참조문헌으로서 인용된다.
사람과 상호작용할 수 있는 기기, 예컨대 컴퓨터, 스마트폰 등이 널리 보급됨에 따라 사람과 기기 간의 자연스러운 상호작용 인터페이스(Natural User Interface: NUI) 기술에 대한 연구가 활발하다.
NUI 기술 중 하나로서 신체 부위를 이용한 인터페이스는 자연스럽고 직관적이 상호작용이 가능하며 부가적인 장비를 요구하지 않는 장점이 있다. 이러한 장점으로 인하여 HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), 및 HMI(Human-Machine Interaction) 분야 등에서 활발히 이용되고 있으며, 이러한 신체 부위를 이용한 인터페이스를 NUI에 채용하기 위해서는 신체 부위를 활용한 포즈를 인식하는 기술이 요구된다.
종래 기술에 따라 신체 부위를 이용한 포즈를 인식하는 기술은, 신체 부위를 이용한 포즈에 대한 데이터베이스를 미리 취득하고 이를 기계 학습하여 기준 정보로 이용할 신체 모델을 생성하고, 신체 부위에 대한 영상 분석 결과와 신체 모델과의 유사율을 기준으로 하여 신체 부위를 이용한 포즈를 인식한다.
그러나, 종래 기술에 의하면 신체 부위를 이용한 포즈에 대한 인식의 정확도가 만족할만한 수준에 이르지 못하였다. 특히, 사용자가 빠른 속도로 움직여서 포즈를 취하거나 변경하는 경우에는 영상 분석의 정확도가 떨어지기 때문에 신체 부위를 이용한 포즈에 대한 인식의 정확도가 함께 떨어지는 문제점이 있었다.
본 발명의 실시예에 의하면, 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 뼈대의 해부학적 특성에 기초한 연산을 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식하는 포즈 인식 방법 및 장치를 제공한다.
본 발명의 일 관점에 따라 포즈 인식 장치가 수행하는 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 상기 신체 부위 중에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 단계와, 상기 일부 부위에 대한 상기 제 1 위치 정보를 3차원 뼈대 모델 - 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델 - 에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계와, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하되, 상기 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식하는 단계를 포함한다.
본 발명의 다른 관점에 따라 포즈 인식 장치는, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 영상 획득부와, 상기 신체 부위에 대한 영상을 분석하여 상기 신체 부위 중에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 영상 분석부와, 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 3차원 뼈대 모델이 저장된 저장부와, 제어부를 포함하며, 상기 제어부는, 상기 일부 부위에 대한 상기 제 1 위치 정보를 상기 3차원 뼈대 모델에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하며, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하되, 상기 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식한다.
본 발명의 실시예에 의하면, 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 해부학적 특성에 기초한 연산을 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식한다. 따라서, 신체 부위에 대한 영상을 분석한 결과만을 이용하여 신체 부위에 의한 포즈를 인식하는 종래 기술과 비교할 때에 포즈 인식의 정확도가 더 향상된다.
도 1은 본 발명의 일 실시예에 따른 포즈 인식 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 다른 예를 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 포즈 인식 장치의 블록 구성도이다.
이에 나타낸 바와 같이 일 실시예에 따른 포즈 인식 장치(100)는, 영상 획득부(110), 영상 분석부(120), 저장부(130), 제어부(140), 출력부(150)를 포함한다.
영상 획득부(110)는 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득한다. 이러한 영상 획득부(110)는 현실 세계를 촬영하는 카메라를 포함할 수 있다. 이 경우라면, 영상 획득부(110)는 카메라를 이용하여 포즈 인식 대상이 되는 신체 부위에 대한 영상을 직접 생성할 수 있다. 또는, 영상 획득부(110)는 포즈 인식 장치(100)와는 별도로 구비된 카메라로부터 정보를 입력받을 수 있는 통신 인터페이스를 포함할 수 있다. 이 경우라면, 별도의 카메라에 의해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보를 입력받아 획득할 수 있다.
영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득한다. 아울러, 영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 나머지 부위에 대한 제 1 위치 정보를 획득할 수 있다. 예를 들어, 영상 분석부(120)는 CPU(Central Processing Unit) 등과 같은 프로세서를 포함할 수 있다. 예를 들어, 영상 분석부(120)는 포즈 인식 대상이 되는 신체 부위에 대한 영상과 신체 부위에 대한 제 1 위치 정보에 관한 빅데이터를 사전에 기계학습할 수 있다. 그리고, 영상 분석부(120)는 기계학습의 결과를 기준 정보로서 획득할 수 있다. 그리고, 영상 분석부(120)는 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출할 수 있다. 그리고, 영상 분석부(120)는 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다. 또는, 영상 분석부(120)는 출력부(150)를 통해 사용자의 신체 부위 중에서 특정 부위를 지정할 수 있는 그래픽 사용자 인터페이스를 출력한다. 그리고, 영상 분석부(120)는 영상 획득부(110)를 통해 실시간으로 입력되는 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력하여, 사용자가 상기 그래픽 사용자 인터페이스 내에 자신의 신체 부위 중에서 특정 부위를 맞추어 초기 상태를 설정할 수 있도록 한다. 여기서, 영상 분석부(120)는 초기 상태에서 획득되는 신체 부위에 대한 영상 정보를 기준 정보로서 획득할 수 있다. 그리고, 영상 분석부(120)는 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출할 수 있다. 이어서, 영상 분석부(120)는 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다.
저장부(130)에는 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 3차원 뼈대 모델이 저장된다. 그리고, 저장부(130)에는 제어부(140)에 의한 실행시에, 각종 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장될 수 있다. 아울러, 저장부(130)에는 영상 분석부(120) 및 제어부(140)에 의한 각종 처리 결과물이 저장될 수도 있다. 예를 들어, 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
제어부(140)는 저장부(130)에 저장된 컴퓨터 실행가능 명령어를 실행하여 각종 프로세스를 수행할 수 있다. 이러한 제어부(140)는 영상 분석부(120)에 의해 획득된 신체 부위의 일부 부위에 대한 제 1 위치 정보를 저장부(130)에 기 저장된 3차원 뼈대 모델에 입력한다. 그리고, 제어부(140)는 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스(Inverse Kinematics)를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득한다. 그리고, 제어부(140)는 영상 분석부(120)에 의해 획득된 제 1 위치 정보와 자신이 획득한 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 이처럼, 제어부(140)는 신체 부위 중에서 (일부 부위를 제외한) 나머지 부위에 대한 제 2 위치 정보를 획득할 수 있다. 그리고, 제어부(140)는 나머지 부위 중 제 1 위치 정보와 제 2 위치 정보가 서로 상이한 부위에 대해서는, 제 1 위치 정보와 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식할 수 있다. 이때, 영상 분석부(120)가 제 1 위치 정보를 획득할 때에 이용한 유사율, 즉 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율이 높을수록 유사율이 낮을 때보다 제 1 위치 정보의 보간 비율을 높게 조정하고 제 2 위치 정보의 보간 비율을 낮게 조정할 수 있다. 또는, 제어부(140)는 신체 부위의 움직임 속도를 측정(계산)한 후, 움직임 속도가 빠를수록 움직임 속도가 늦을 때보다 제 1 위치 정보의 보간 비율을 낮게 조정하고 제 2 위치 정보의 보간 비율을 높게 조정할 수 있다. 예를 들어, 제어부(140)는 CPU 등과 같은 프로세서를 포함할 수 있다.
출력부(150)는 제어부(140)에 의해 포즈 인식 결과를 출력할 수 있다. 또, 출력부(150)는 영상 분석부(120)가 신체 부위에 대한 제 1 위치 정보를 획득할 때에 필요한 상기 그래픽 사용자 인터페이스를 화면으로 출력할 수 있다. 그리고, 출력부(150)는 영상 획득부(110)에 의해 실시간으로 획득된 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력할 수 있다. 이러한 출력부(150)는 포즈 인식 장치(100)에 포함되지 않고, 별도의 장치로서 구현될 수 있기 때문에 점선으로 도시하였다. 예를 들어, 출력부(150)는 LCD(Liquid Crystal Display) 등과 같은 평판 디스플레이 소자를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예를 설명하기 위한 흐름도이다.
도 2에 나타낸 바와 같이 일 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 단계(S210)를 포함한다.
이어서, 일 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 단계(S220)를 더 포함한다.
그리고, 일 실시예에 따른 포즈 인식 방법은, 신체 부위의 일부 부위에 대한 제 1 위치 정보를 3차원 뼈대 모델(신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델)에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계(S230)를 더 포함한다.
다음으로, 일 실시예에 따른 포즈 인식 방법은, 단계 S220에서 획득된 제 1 위치 정보와 단계 S230에서 획득된 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식하는 단계(S240)를 더 포함한다.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예에 대해 더 자세히 살펴보기로 한다.
먼저, 포즈 인식 장치(100)의 영상 획득부(110)는 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득한다. 이러한 영상 획득부(110)는 카메라를 이용하여 포즈 인식 대상이 되는 신체 부위에 대한 영상을 직접 생성할 수 있다. 또는, 별도의 카메라에 의해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보를 입력받아 획득할 수도 있다(S210).
그러면, 포즈 인식 장치(100)의 영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득한다. 예를 들어, 영상 분석부(120)는 사전에 수행한 기계학습의 결과에 따라 저장부(130)에 기 저장된 기준 정보와 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 비교하여 유사율을 산출한다. 그리고, 영상 분석부(120)는 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다. 또는, 영상 분석부(120)는 출력부(150)를 통해 사용자의 신체 부위 중에서 특정 부위를 지정할 수 있는 그래픽 사용자 인터페이스를 출력한다. 그리고, 영상 분석부(120)는 영상 획득부(110)를 통해 실시간으로 입력되는 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력하여, 사용자가 상기 그래픽 사용자 인터페이스 내에 자신의 신체 부위 중에서 특정 부위를 맞추어 초기 상태를 설정할 수 있도록 한다. 여기서, 영상 분석부(120)는 초기 상태에서 획득되는 신체 부위에 대한 영상 정보를 기준 정보로서 획득할 수 있다. 그리고, 영상 분석부(120)는 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출할 수 있다. 이어서, 영상 분석부(120)는 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다(S220).
다음으로, 포즈 인식 장치(100)의 제어부(140)는 영상 분석부(120)에 의해 획득된 신체 부위의 일부 부위에 대한 제 1 위치 정보를 저장부(130)에 기 저장된 3차원 뼈대 모델에 입력한다. 그리고, 제어부(140)는 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득한다. 즉, 사용자가 포즈를 취할 때에 신체 부위의 일부 부위, 예컨대, 손목, 머리, 몸통 중심, 발 등의 제한된 부위에 대해서는 영상 분석부(120)가 영상 분석을 통해 제 1 위치 정보를 획득할 수 있으며, 나머지 신체 부위의 움직임은 제어부(140)가 인버스 키네마틱스를 통해 뼈대의 해부학적 특성을 고려한 연산을 통해 제 2 위치 정보를 획득할 수 있다(S230).
그리고, 제어부(140)는 영상 분석부(120)에 의해 획득된 제 1 위치 정보와 자신이 획득한 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다(S240).
이처럼, 본 발명의 일 실시예에 따른 포즈 인식 방법에 의하면, 포즈 인식의 대상이 되는 신체 부위 중에서 일부 부위는 영상 분석을 통해 제 1 위치 정보를 획득한다. 그리고, 신체 부위 중에서 나머지 부위는 인버스 키네마틱스를 통해 제 2 위치 정보를 획득한 후, 제 1 위치 정보와 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 이러한 본 발명의 일 실시예에 따른 포즈 인식 방법과 종래 기술을 비교하여 보면, 종래에는 포즈 인식의 대상이 되는 신체 부위 전체에 대해 영상 분석을 통해 위치 정보를 획득하였으나, 본 발명의 일 실시예에 의하면 포즈 인식의 대상이 되는 신체 부위 중에서 일부 부위에 대해서만 영상 분석을 통해 위치 정보를 획득하는 차이점이 있다. 사용자가 빠른 속도로 움직여서 포즈를 취하거나 변경하는 경우에는 영상 분석의 정확도가 떨어질 수 있는데, 본 발명의 일 실시예에 의하면 종래 기술보다 영상 분석의 정확도가 떨어질 수 있는 위치 정보가 줄어들기 때문에, 그 만큼 신체 부위를 이용한 포즈에 대한 인식의 정확도가 종래 기술보다 향상된다.
도 3은 본 발명의 일 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 다른 예를 설명하기 위한 흐름도이다.
도 3에 나타낸 바와 같이 다른 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 단계(S310)를 포함한다.
이어서, 일 실시예에 따른 포즈 인식 방법은, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득하는 단계(S321)를 더 포함하며, 신체 부위에 대한 영상을 분석하여 신체 부위의 나머지 부위에 대한 제 1 위치 정보를 획득하는 단계(S322)를 더 포함한다.
그리고, 일 실시예에 따른 포즈 인식 방법은, 신체 부위의 일부 부위에 대한 제 1 위치 정보를 3차원 뼈대 모델(신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델)에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계(S330)를 더 포함한다.
다음으로, 일 실시예에 따른 포즈 인식 방법은, 단계 S320에서 획득된 제 1 위치 정보와 단계 S330에서 획득된 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식하는 단계(S340)를 더 포함한다. 여기서, 신체 부위의 (일부 부위를 제외한) 나머지 부위 중에서 제 1 위치 정보와 제 2 위치 정보가 서로 상이한 부위에 대해서는, 제 1 위치 정보와 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식할 수 있다. 이때, 제 1 위치 정보를 획득할 때에 이용한 유사율, 즉 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율이 높을수록 유사율이 낮을 때보다 제 1 위치 정보의 보간 비율을 높게 조정하고 제 2 위치 정보의 보간 비율을 낮게 조정할 수 있다. 또는, 신체 부위의 움직임 속도를 측정(계산)한 후, 움직임 속도가 빠를수록 움직임 속도가 늦을 때보다 제 1 위치 정보의 보간 비율을 낮게 조정하고 제 2 위치 정보의 보간 비율을 높게 조정할 수 있다.
이하, 도 1 및 도 3을 참조하여 본 발명의 다른 실시예에 따른 포즈 인식 장치가 수행하는 포즈 인식 방법의 일 예에 대해 더 자세히 살펴보기로 한다.
먼저, 포즈 인식 장치(100)의 영상 획득부(110)는 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득한다. 이러한 영상 획득부(110)는 카메라를 이용하여 포즈 인식 대상이 되는 신체 부위에 대한 영상을 직접 생성할 수 있다. 또는, 별도의 카메라에 의해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보가 생성되며, 영상 획득부(110)는 통신 인터페이스를 통해 포즈 인식 대상이 되는 신체 부위에 대한 영상 정보를 입력받아 획득할 수도 있다(S310).
그러면, 포즈 인식 장치(100)의 영상 분석부(120)는 영상 획득부(110)에 의해 획득된 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위에 대한 제 1 위치 정보를 획득한다. 아울러, 영상 분석부(120)는 도 2를 참조하여 설명한 실시예와는 달리, 포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 신체 부위의 일부 부위를 제외한 나머지 부위에 대해서도 제 1 위치 정보를 획득한다. 예를 들어, 영상 분석부(120)는 사전에 수행한 기계학습의 결과에 따라 저장부(130)에 기 저장된 기준 정보와 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 비교하여 유사율을 산출한다. 그리고, 영상 분석부(120)는 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다. 또는, 영상 분석부(120)는 출력부(150)를 통해 사용자의 신체 부위 중에서 특정 부위를 지정할 수 있는 그래픽 사용자 인터페이스를 출력한다. 그리고, 영상 분석부(120)는 영상 획득부(110)를 통해 실시간으로 입력되는 신체 부위에 대한 영상을 상기 그래픽 사용자 인터페이스 내에 출력하여, 사용자가 상기 그래픽 사용자 인터페이스 내에 자신의 신체 부위 중에서 특정 부위를 맞추어 초기 상태를 설정할 수 있도록 한다. 여기서, 영상 분석부(120)는 초기 상태에서 획득되는 신체 부위에 대한 영상 정보를 기준 정보로서 획득할 수 있다. 그리고, 영상 분석부(120)는 사용자가 포즈를 취한 후에 획득되는 신체 부위에 대한 변화된 영상 정보를 기 획득된 기준 정보와 비교하여 유사율을 산출할 수 있다. 이어서, 영상 분석부(120)는 산출된 유사율을 기초로 부위를 인식하고 제 1 위치 정보를 획득할 수 있다(S321, S322).
다음으로, 포즈 인식 장치(100)의 제어부(140)는 영상 분석부(120)에 의해 획득된 신체 부위의 일부 부위에 대한 제 1 위치 정보를 저장부(130)에 기 저장된 3차원 뼈대 모델에 입력한 후, 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산인 인버스 키네마틱스를 통해 신체 부위 중에서 나머지 부위에 대한 제 2 위치 정보를 획득한다. 즉, 사용자가 포즈를 취할 때에 신체 부위의 일부 부위, 예컨대, 손목, 머리, 몸통 중심, 발 등의 제한된 부위에 대해서는 영상 분석부(120)가 영상 분석을 통해 제 1 위치 정보를 획득할 수 있으며, 나머지 신체 부위의 움직임은 제어부(140)가 인버스 키네마틱스를 통해 뼈대의 해부학적 특성을 고려한 연산을 통해 제 2 위치 정보를 제 1 위치 정보와 함께 획득할 수 있다(S330).
그리고, 제어부(140)는 영상 분석부(120)에 의해 획득된 제 1 위치 정보와 자신이 획득한 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 여기서, 제어부(140)는 신체 부위의 일부 부위를 제외한 나머지 부위 중 제 1 위치 정보와 제 2 위치 정보가 서로 상이하거나 기 설정된 임계값 이상 차이가 나는 부위에 대해서는, 제 1 위치 정보와 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식한다. 이때, 제어부(140)는 제 1 위치 정보와 제 2 위치 정보가 서로 상이한 경우에 중간값으로 보정하여 신체 부위에 의한 포즈를 인식할 수 있다. 또는, 제어부(140)는 영상 분석부(120)가 제 1 위치 정보를 획득할 때에 이용한 유사율, 즉 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율이 높을수록 유사율이 낮을 때보다 제 1 위치 정보의 보간 비율을 높게 조정하고 제 2 위치 정보의 보간 비율을 낮게 조정하여 신체 부위에 의한 포즈를 인식할 수 있다. 또는, 제어부(140)는 신체 부위의 움직임 속도를 측정(계산)한 후, 움직임 속도가 빠를수록 움직임 속도가 늦을 때보다 제 1 위치 정보의 보간 비율을 낮게 조정하고 제 2 위치 정보의 보간 비율을 높게 조정하여 신체 부위에 의한 포즈를 인식할 수도 있다. 예컨대, 신체 부위의 움직임 속도는 신체 부위 중에서 특정 부위 또는 각 부위에 대한 위치 정보의 변화 속도를 측정하여 신체 부위의 움직임 속도로서 인지할 수 있다. 사용자가 빠른 속도로 움직여서 포즈를 취하거나 변경하는 경우에는 영상 분석의 정확도가 떨어질 수 있는데, 본 발명의 다른 실시예에 의하면 인버스 키네마틱스를 통한 연산 값을 영상 분석을 통한 값보다 더 신뢰함으로써, 포즈에 대한 인식의 정확도를 향상시킬 수 있다(S340).
이처럼, 본 발명의 다른 실시예에 따른 포즈 인식 방법에 의하면, 포즈 인식의 대상이 되는 신체 부위의 전체에 대해 영상 분석을 통해 제 1 위치 정보를 획득한다. 그리고, 신체 부위 중에서 일부 부위를 제외한 나머지 부위는 인버스 키네마틱스를 통해 제 2 위치 정보를 획득한 후, 제 1 위치 정보와 제 2 위치 정보를 기초로, 신체 부위에 의한 포즈를 인식한다. 이러한 본 발명의 다른 실시예에 따른 포즈 인식 방법과 종래 기술을 비교하여 보면, 종래에는 포즈 인식의 대상이 되는 신체 부위 전체에 대해 영상 분석을 통해서만 위치 정보를 획득하였으나, 본 발명의 다른 실시예에 의하면 포즈 인식의 대상이 되는 신체 부위 중에서 일부 부위를 제외한 나머지 부위에 대해서는 영상 분석을 통해 획득한 제 1 위치 정보와 인버스 키네마틱스를 통해 획득된 제 2 위치 정보를 보간한 값을 기초로 위치 정보를 보정하여 신체 부위에 의한 포즈를 인식한다. 따라서, 본 발명의 다른 실시예에 의하면 종래 기술보다 신체 부위를 이용한 포즈에 대한 인식의 정확도가 향상된다.
지금까지 설명한 바와 같이, 본 발명의 일 실시예 및 다른 실시예에 따르면 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 인버스 키네마틱스를 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식한다. 따라서, 신체 부위에 대한 영상을 분석한 결과만을 이용하여 신체 부위에 의한 포즈를 인식하는 종래 기술과 비교할 때에 포즈 인식의 정확도가 더 향상된다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면, 신체 부위에 대한 영상을 분석한 결과와 신체 부위의 일부에 대한 위치 정보를 이용한 인버스 키네마틱스를 통해 연산된 위치 정보를 기초로 신체 부위에 의한 포즈를 인식한다. 따라서, 신체 부위에 대한 영상을 분석한 결과만을 이용하여 신체 부위에 의한 포즈를 인식하는 종래 기술과 비교할 때에 포즈 인식의 정확도가 더 향상된다.
이러한 포즈 인식 기술은 HCI(Human-Computer Interaction), HRI(Human-Robot Interaction), 및 HMI(Human-Machine Interaction) 분야 등과 같은 기술분야에 이용할 수 있다.

Claims (5)

  1. 포즈 인식 장치가 수행하는 포즈 인식 방법으로서,
    포즈 인식 대상이 되는 신체 부위에 대한 영상을 분석하여 상기 신체 부위 중에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 단계와,
    상기 일부 부위에 대한 상기 제 1 위치 정보를 3차원 뼈대 모델 - 신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 모델 - 에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 나머지 부위에 대한 제 2 위치 정보를 획득하는 단계와,
    상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하되, 상기 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식하는 단계를 포함하는
    포즈 인식 방법.
  2. 제 1 항에 있어서,
    상기 제 1 위치 정보를 획득하는 단계는, 상기 신체 부위에 대한 영상과 기 설정된 기준 정보와의 유사율을 기준으로 하여 상기 제 1 위치 정보를 획득하며,
    상기 신체 부위에 의한 포즈를 인식하는 단계에서는, 상기 유사율이 높을수록 상기 유사율이 낮을 때보다 상기 제 1 위치 정보의 보간 비율을 높게 조정하고 상기 제 2 위치 정보의 보간 비율을 낮게 조정하는
    포즈 인식 방법.
  3. 제 1 항에 있어서,
    상기 신체 부위에 의한 포즈를 인식하는 단계에서는, 상기 신체 부위의 움직임 속도를 측정한 후, 상기 움직임 속도가 빠를수록 상기 움직임 속도가 늦을 때보다 상기 제 1 위치 정보의 보간 비율을 낮게 조정하고 상기 제 2 위치 정보의 보간 비율을 높게 조정하는
    포즈 인식 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 기재된 포즈 인식 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는
    컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
  5. 포즈 인식 대상이 되는 신체 부위에 대한 영상을 획득하는 영상 획득부와,
    상기 신체 부위에 대한 영상을 분석하여 상기 신체 부위 중에서 일부 부위와 나머지 부위에 대한 제 1 위치 정보를 획득하는 영상 분석부와,
    신체의 뼈대 형상을 모사하여 물리적 관절 움직임이 가능한 3차원 뼈대 모델이 저장된 저장부와,
    제어부를 포함하며,
    상기 제어부는, 상기 일부 부위에 대한 상기 제 1 위치 정보를 상기 3차원 뼈대 모델에 입력한 후, 상기 3차원 뼈대 모델에 대한 해부학적 특성에 기초한 연산을 통해 상기 나머지 부위에 대한 제 2 위치 정보를 획득하며, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 기초로, 상기 신체 부위에 의한 포즈를 인식하되, 상기 나머지 부위 중 상기 제 1 위치 정보와 상기 제 2 위치 정보가 서로 상이한 부위에 대해서는, 상기 제 1 위치 정보와 상기 제 2 위치 정보를 보간(interpolation)한 값을 기초로 위치 정보를 보정하여 상기 신체 부위에 의한 포즈를 인식하는
    포즈 인식 장치.
PCT/KR2018/013109 2017-10-31 2018-10-31 포즈 인식 방법 및 장치 WO2019088697A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880071142.3A CN111316283B (zh) 2017-10-31 2018-10-31 姿势识别方法及装置
US16/760,428 US11205066B2 (en) 2017-10-31 2018-10-31 Pose recognition method and device
EP18874348.8A EP3696715A4 (en) 2017-10-31 2018-10-31 APPLICATION RECOGNITION PROCESS AND DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0143716 2017-10-31
KR1020170143716A KR102147930B1 (ko) 2017-10-31 2017-10-31 포즈 인식 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019088697A1 true WO2019088697A1 (ko) 2019-05-09

Family

ID=66332405

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013109 WO2019088697A1 (ko) 2017-10-31 2018-10-31 포즈 인식 방법 및 장치

Country Status (5)

Country Link
US (1) US11205066B2 (ko)
EP (1) EP3696715A4 (ko)
KR (1) KR102147930B1 (ko)
CN (1) CN111316283B (ko)
WO (1) WO2019088697A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063999A (ko) * 2019-11-25 2021-06-02 뉴턴1665 주식회사 신체상태 모니터링 서비스 제공방법.
JP2022006708A (ja) * 2020-06-24 2022-01-13 オムロン株式会社 動作認識システム、方法及びプログラム
KR102526091B1 (ko) * 2022-11-21 2023-04-26 주식회사 드랩 제품 사용 이미지 생성 시스템 및 제품 사용 이미지 생성 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104228A (ko) * 2009-03-17 2010-09-29 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
KR20120052669A (ko) * 2010-11-16 2012-05-24 주식회사 케이티 사용자 동작에 기초한 입력 제어 시스템 및 방법
KR101156154B1 (ko) * 2011-03-29 2012-06-18 전남대학교산학협력단 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
KR20140114741A (ko) * 2013-03-19 2014-09-29 삼성전자주식회사 인체 포즈 추정 장치 및 방법
KR101662022B1 (ko) * 2015-08-12 2016-10-10 연세대학교 산학협력단 제스쳐를 이용한 디바이스 제어 장치 및 그 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355305B2 (en) * 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
KR101908284B1 (ko) * 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
KR101907077B1 (ko) * 2012-03-06 2018-10-11 삼성전자주식회사 자세 인식 방법 및 장치
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
JP2015061577A (ja) * 2013-01-18 2015-04-02 株式会社東芝 動作情報処理装置
JP6433149B2 (ja) * 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
DE102013017425A1 (de) * 2013-10-19 2015-05-07 Drägerwerk AG & Co. KGaA Verfahren für die Erkennung von Gesten eines menschlichen Körpers
KR102026382B1 (ko) * 2014-03-31 2019-09-30 한국전자통신연구원 모션 추정 시스템 및 방법
JP2016096889A (ja) * 2014-11-19 2016-05-30 株式会社東芝 画像解析装置、画像解析方法、およびプログラム
KR101711736B1 (ko) 2015-05-26 2017-03-02 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
US20170193289A1 (en) 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
CN105930767B (zh) * 2016-04-06 2019-05-17 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN106022213B (zh) * 2016-05-04 2019-06-07 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106326643B (zh) * 2016-08-16 2020-01-14 完美鲲鹏(北京)动漫科技有限公司 一种应用于类人形骨架的反向动力学解算方法及装置
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104228A (ko) * 2009-03-17 2010-09-29 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
KR20120052669A (ko) * 2010-11-16 2012-05-24 주식회사 케이티 사용자 동작에 기초한 입력 제어 시스템 및 방법
KR101156154B1 (ko) * 2011-03-29 2012-06-18 전남대학교산학협력단 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템
KR20140114741A (ko) * 2013-03-19 2014-09-29 삼성전자주식회사 인체 포즈 추정 장치 및 방법
KR101662022B1 (ko) * 2015-08-12 2016-10-10 연세대학교 산학협력단 제스쳐를 이용한 디바이스 제어 장치 및 그 방법

Also Published As

Publication number Publication date
EP3696715A4 (en) 2021-07-07
US11205066B2 (en) 2021-12-21
KR102147930B1 (ko) 2020-08-25
CN111316283A (zh) 2020-06-19
KR20190048614A (ko) 2019-05-09
EP3696715A1 (en) 2020-08-19
CN111316283B (zh) 2023-10-17
US20200342218A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
EP3979047A1 (en) Information processing apparatus, information processing method, and recording medium
CN106527709B (zh) 一种虚拟场景调整方法及头戴式智能设备
EP2879022A1 (en) Three-dimensional user-interface device, and three-dimensional operation method
CN107395958B (zh) 一种图像处理方法、装置、电子设备及存储介质
EP2879097A1 (en) Three-dimensional user-interface device, and three-dimensional operation method
WO2019088697A1 (ko) 포즈 인식 방법 및 장치
EP3628380B1 (en) Method for controlling virtual objects, computer readable storage medium and electronic device
CN105374251A (zh) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训系统
JP2019028843A (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
US10943383B2 (en) Information processing apparatus and information processing method
CN107479712B (zh) 基于头戴式显示设备的信息处理方法及装置
WO2021034211A1 (ru) Способ и система передачи движения субъекта из видео на анимированного персонажа
CN112580582B (zh) 动作学习方法、装置、介质及电子设备
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
CN113289327A (zh) 移动终端的显示控制方法及装置、存储介质及电子设备
CN112927259A (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN112416126B (zh) 页面滚动控制方法和装置、存储介质及电子设备
EP3309713B1 (en) Method and device for interacting with virtual objects
CN113051973A (zh) 用于姿势矫正的方法及装置、电子设备
KR101519589B1 (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
US10080963B2 (en) Object manipulation method, object manipulation program, and information processing apparatus
CN113342157B (zh) 眼球追踪处理方法及相关装置
CN113761965A (zh) 动作捕捉方法、装置、电子设备和存储介质
CN115294623B (zh) 一种人体全身动作捕捉方法、装置、存储介质及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874348

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018874348

Country of ref document: EP

Effective date: 20200512